KR102381258B1 - CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM - Google Patents

CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM Download PDF

Info

Publication number
KR102381258B1
KR102381258B1 KR1020210156980A KR20210156980A KR102381258B1 KR 102381258 B1 KR102381258 B1 KR 102381258B1 KR 1020210156980 A KR1020210156980 A KR 1020210156980A KR 20210156980 A KR20210156980 A KR 20210156980A KR 102381258 B1 KR102381258 B1 KR 102381258B1
Authority
KR
South Korea
Prior art keywords
power
cloud
detection target
bridge support
monitoring system
Prior art date
Application number
KR1020210156980A
Other languages
Korean (ko)
Inventor
박승균
송민혁
양세화
김건희
박윤용
이정동
김은진
Original Assignee
에스티건설 주식회사
서울시설공단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스티건설 주식회사, 서울시설공단 filed Critical 에스티건설 주식회사
Priority to KR1020210156980A priority Critical patent/KR102381258B1/en
Application granted granted Critical
Publication of KR102381258B1 publication Critical patent/KR102381258B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy

Abstract

The present invention relates to a cloud and IoT sensing-based bridge bearing monitoring system. According to the present invention, the cloud and IoT sensing-based bridge bearing monitoring system comprises: a power supply module; an event driven system (EDS) module switching so that the power of the power supply module can be applied to a place needing the power at preset time intervals; a control module installed on a bridge bearing which has a possibility of generating a displacement, and driving by receiving the power from the power supply module, and transmitting an image on a displacement detection target; and a cloud-based server analyzing the image on the displacement detection target transmitted from the control module by a deep learning method, and measuring a three-dimensional displacement, and linking a web-based platform, and visualizing and displaying the three-dimensional displacement information in real time. The present invention is able to have an excellent price competitiveness, be available to various structures/measuring systems, be easily extended, be simply attached/detached, and be rapidly and easily installed on the site.

Description

클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템{CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM} Cloud and IoT sensing based bridge bearing monitoring system {CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM}

본 발명은 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템에 관한 것으로써, 더욱 상세하게는 클라우드 기반 보급이 용이하고, 저가형이자 저전력의 비접촉식 IoT 영상 모니터링 센서를 통해 교량의 받침부의 장기적인 거동 계측을 수행할 수 있는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템에 관한 것이다.The present invention relates to a cloud and IoT sensing-based bridge support monitoring system, and more particularly, to measure the long-term behavior of the bridge support part through an easy cloud-based distribution and low-cost and low-power non-contact IoT image monitoring sensor. It relates to a bridge support monitoring system based on cloud and IoT sensing that can be

교량 받침 및 이음부는 구조물들을 연결시키는 시설물로 교량 전체의 거동 특성을 좌우하기 때문에 유지관리가 중요하다.Bridge bearings and joints are facilities that connect structures, and maintenance is important because they influence the behavioral characteristics of the entire bridge.

특히, 도 1a, 및 도 1b에 도시된 바와 같이 현재 교량과 교량을 지지하는 구조물 사이의 베어링은 수축 및 크립(CREEP: 중압에 의한 변형), 교통량으로 인한 움직임, 교량 자체의 고정하중으로 인한 움직임, 가속과 같은 수평 하중으로 인한 움직임, 제동, 미끄러짐 또는 견인력 등에 의해 비틀림이 발생하거나, 이탈되는 문제점이 있다.In particular, as shown in FIGS. 1A and 1B , the bearing between the current bridge and the structure supporting the bridge shrinks and creeps (CREEP: deformation by medium pressure), movement due to traffic volume, and movement due to the fixed load of the bridge itself. , there is a problem in that torsion occurs or is separated by movement, braking, sliding, or traction due to a horizontal load such as acceleration.

하지만, 도 1c, 및 도 1d에 도시된 바와 같이 현재의 인력중심의 관리는 접근이 어렵고, 장기적인 계측이 가능한 장비가 없으며, 주관적 판단이 개입될 우려가 있는 장비를 사용하기 때문에 장기적인 모니터링이 어려운 문제점이 있다.However, as shown in FIGS. 1c and 1d, the current manpower-oriented management is difficult to access, there is no equipment capable of long-term measurement, and long-term monitoring is difficult because equipment is used that may involve subjective judgment. There is this.

또한, 교량의 내구수명은 30년으로 이를 초과한 노후교량은 전체 교량의 12.5%에 달한다. 이 수치는 1년 전보다 4.7%가 증가한 수치로 이 수치대로라면 10년 후에는 전체 교량의 50%에 달할 것으로 보인다. 이는 대부분의 교량에서 국부적 변형 및 파괴 등의 손상들이 발생하는 문제점이 있다.In addition, the durability of bridges is 30 years, and the number of old bridges exceeding this is 12.5% of the total bridges. This figure is an increase of 4.7% from a year ago, and if this figure is maintained, it is expected to reach 50% of the total bridges in 10 years. This has a problem in that damage such as local deformation and destruction occurs in most bridges.

대한민국 등록특허공보 제10-1960415호(2019.03.14)Republic of Korea Patent Publication No. 10-1960415 (2019.03.14)

상술한 문제점을 해결하기 위해 본 발명은 모니터링이 필요한 교량의 받침부에 진동과 같은 외력에 의한 움직을 확인할 수 있는 변위감지 타겟을 설치하고, 마주보는 방향으로 카메라를 설치하여, 카메라가 촬영한 변위감지 타겟 이미지를 서버에 전공하면, 해당 서버가 이미지를 분석하여 3차원 변위를 계측함으로써 교량이음부 등을 모니터링 할 수 있는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템을 제공하는데 목적이 있다.In order to solve the above problems, the present invention installs a displacement detection target that can check the movement by an external force such as vibration in the support part of a bridge that needs monitoring, and installs the camera in the opposite direction, so that the displacement captured by the camera The purpose of this is to provide a cloud and IoT sensing-based bridge support monitoring system that can monitor bridge joints, etc. by measuring the three-dimensional displacement by analyzing the image by the server when the detection target image is majored in the server.

상술한 목적을 달성하기 위해 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템은 전원모듈; 설정된 시간 주기마다 상기 전원모듈의 전원이 필요한 곳에 인가될 수 있도록 스위칭하는 이디에스(EDS:Event Driven System) 전원 제어부; 변위 발생 가능성이 있는 교량 받침부에 설치되어 상기 전원모듈로부터 전원을 인가받아 구동되면서 변위감지 타겟에 대한 이미지를 전달하는 MCU 제어모듈; 및 상기 MCU 제어모듈에서 전달되는 변위감지 타겟에 대한 이미지를 딥러닝 방식으로 분석하여 3차원 변위를 계측하고, 상기 교량 받침부 주변의 소음 계측 데이터로 해당 교량 받침부 신축이음부의 이상상태를 판정하여 웹 기반 플랫폼과 연동하며, 3차원 변위 정보에 대해 실시간 시각화하여 표시해 주는 클라우드 기반의 서버;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the cloud and IoT sensing-based bridge support monitoring system according to the present invention includes a power module; an EDS (Event Driven System) power control unit that switches so that the power of the power module can be applied to a required place at every set time period; an MCU control module installed in a bridge support part with a possibility of displacement, receiving power from the power module and driving the MCU control module to deliver an image of a displacement detection target; And the image of the displacement detection target transmitted from the MCU control module is analyzed in a deep learning method to measure the three-dimensional displacement, and the noise measurement data around the bridge support part determines the abnormal state of the expansion joint of the bridge support part and a cloud-based server that interworks with the web-based platform to visualize and display 3D displacement information in real time.

본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템은 하드웨어 구성이 기존에 상용화된 저 비용의 라즈베리파이 Zero W와 저가의 카메라가 사용되어 가격 경쟁력이 우수하고, 다양한 구조물/계측 시스템에 사용 가능하여 높은 확장성이 있으며, 간단한 탈/부착이 가능하여 빠른 현장 설치가 용이한 효과가 있다.The cloud and IoT sensing-based bridge support monitoring system according to the present invention has excellent price competitiveness by using the low-cost Raspberry Pi Zero W and low-cost cameras that have been commercialized in hardware configuration, and can be used in various structures/measurement systems Therefore, it has high expandability, and simple detachment/attachment is possible, so it has the effect of quick on-site installation and easy installation.

도 1은 종래 교량과 교량을 지지하는 구조물 사이의 베어링 상태, 그 상태를 점검하는 방법을 도시한 도면이다.
도 2는 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템의 블록도 이다.
도 3은 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템의 실제 설치예를 도시한 도면이다.
도 4는 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템에서 딥러닝을 통한 변위값을 데이터를 도시한 도면이다.
도 5는 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템에서 변위값을 시각화한 도면이다.1 is a view showing a bearing state between a conventional bridge and a structure supporting the bridge, and a method of checking the state.
2 is a block diagram of a cloud and IoT sensing-based bridge support monitoring system according to the present invention.
3 is a view showing an actual installation example of the cloud and IoT sensing-based bridge support monitoring system according to the present invention.
4 is a diagram illustrating displacement value data through deep learning in the cloud and IoT sensing-based bridge support monitoring system according to the present invention.
5 is a diagram visualized displacement values in the cloud and IoT sensing-based bridge support monitoring system according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가 장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention and do not represent all the technical spirit of the present invention, so they can be substituted at the time of the present application It should be understood that various equivalents and modifications may exist.

이하, 첨부된 도면을 참조하여 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템에 대해 상세히 설명한다.Hereinafter, a cloud and IoT sensing-based bridge support monitoring system according to the present invention will be described in detail with reference to the accompanying drawings.

도 2에 도시된 바와 같이 본 발명에 따른 클라우드 기반 교량 받침부 3차원 변위 계측을 위한 IoT 모니터링 시스템은 전원모듈(100), 이디에스(EDS:Event Driven System) 전원 제어부(200), MCU 제어모듈(300) 및 서버(400)를 포함한다.As shown in FIG. 2, the IoT monitoring system for three-dimensional displacement measurement of the cloud-based bridge support part according to the present invention includes a power module 100, an EDS (Event Driven System) power control unit 200, and an MCU control module. 300 and server 400 .

상기 전원모듈(100)은 태양광 패널(110)과 배터리(120)를 포함하여, 상기 태양광 패널(110)을 통해 빛에너지를 전기에너지로 변환하여, 상기 배터리(120)에 저장하면서, 상기 이디에스(EDS:Event Driven System) 전원 제어부(200) 및 MCU 제어모듈(300) 등 전원을 필요로 하는 구성에 제공한다.The power module 100 includes a photovoltaic panel 110 and a battery 120, converts light energy into electrical energy through the photovoltaic panel 110, and stores it in the battery 120, the It is provided to components that require power, such as an Event Driven System (EDS) power control unit 200 and an MCU control module 300 .

이때, 상기 전원모듈(100)은 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템이 교량의 하부에 설치되는 특성상, 상기 태양광 패널(110)이 빛에너지를 발전시키는데 한계가 있는 만큼, 소형 풍향 발전기(130)를 더 포함하여 교량하부의 풍력에 의해 전원을 생성할 수 있는 하이브리드 방식으로 전원을 공급하는 것이 바람직하다.At this time, in the power module 100, the cloud and IoT sensing-based bridge support monitoring system according to the present invention is installed in the lower part of the bridge, so that the solar panel 110 has a limit in generating light energy, It is preferable to supply power in a hybrid method capable of generating power by wind power under the bridge by further including a small wind direction generator 130 .

상기 상기 이디에스 전원 제어부(200)는 시간 설정부(210), 및 스위칭부(220)를 포함한다.The EDS power control unit 200 includes a time setting unit 210 and a switching unit 220 .

상기 시간 설정부(210)는 상기 전원모듈(100)에서 상기 MCU 제어모듈(300)로 필요한 전원이 인가될 수 있도록 하는 시간이 소정주기로 설정되어 있다.In the time setting unit 210 , the time required to apply power from the power module 100 to the MCU control module 300 is set to a predetermined period.

상기 스위칭부(220)는 상기 시간 설정부(210)에 설정된 주기의 시간마다 스위칭되어 상기 전원모듈(100)의 전원이 상기 MCU 제어모듈(300)의 각 구성에 필요한 전원이 인가될 수 있도록 한다.The switching unit 220 is switched at every time of the cycle set in the time setting unit 210 so that the power of the power module 100 can be applied to the power required for each configuration of the MCU control module 300 . .

상기 MCU 제어모듈(300)은 MCU 제어부(310), 카메라(320), 변위감지 타겟(330), 마이크(340) 및 모뎀(350)을 포함한다.The MCU control module 300 includes an MCU controller 310 , a camera 320 , a displacement detection target 330 , a microphone 340 , and a modem 350 .

상기 MCU 제어모듈(300)과 상기 이디에스 전원 제어부(200)은 하나의 PCB 회로기판으로 구성될 수 있으며, 현장에 어떤 환경에서도 장기적으로 구동될 수 있도록 IP(Ingress Protection)67 등급의 케이스로 케이싱되는 것이 바람직하다.The MCU control module 300 and the EDS power control unit 200 may be composed of a single PCB circuit board, and are casing with an IP (Ingress Protection) 67 rating so that they can be operated for a long time in any environment in the field. It is preferable to be

상기 MCU 제어부(310)는 상기 이디에스 전원 제어부(200)의 시간 설정부(210)와 연결되어, 해당 시간 설정부(210)에 설정된 작동시간이 도래함에 따라 전원을 인가받아 구동된다.The MCU control unit 310 is connected to the time setting unit 210 of the EDS power control unit 200, and is driven by receiving power as the operating time set in the corresponding time setting unit 210 arrives.

이후, 상기 MCU 제어부(310)는 상기 이디에스 전원 제어부(200)의 스위칭부(220)를 제어하여 상기 카메라(320), 변위감지 타겟(330), 마이크(340), 및 모뎀(350)에 필요한 전원이 인가될 수 있도록 한다.Thereafter, the MCU control unit 310 controls the switching unit 220 of the EDS power control unit 200 to provide the camera 320 , the displacement detection target 330 , the microphone 340 , and the modem 350 . Ensure that the necessary power is applied.

상술한 바와 같이 상기 시간 설정부(210)에 설정된 일정 주기에 따라 상기 MCU 제어모듈(300)에 전력이 공급되면서 상기 카메라(320), 변위감지 타겟(330), 및 모뎀(350)이 작동하기 때문에, 본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템은 작동을 하지 않는 휴면시에 태양열 또는 풍향을 통해 상기 배터리를 충전시켜 사용가능하고 낭비되는 전력도 없도록 구성할 수 있다.As described above, while power is supplied to the MCU control module 300 according to a predetermined period set in the time setting unit 210, the camera 320, the displacement detection target 330, and the modem 350 are operated. Therefore, the cloud and IoT sensing-based bridge support monitoring system according to the present invention can be configured to be usable by charging the battery through solar heat or wind direction during dormancy when not in operation, and there is no wasted power.

상기 변위감지 타겟(330)은 도 3a에 도시된 바와 같이 변위감지가 필요한 교량, 교량과 지지 구조물 사이에 설치된다.The displacement detection target 330 is installed between the bridge and the supporting structure, the displacement detection is required as shown in FIG. 3A.

상기 변위감지 타겟(330)은 인식 가능한 마커가 사용되었으며, 상기 카메라(320)가 해당 마커를 촬영할 수 있도록 한다. A recognizable marker is used as the displacement detection target 330 , and the camera 320 allows the corresponding marker to be photographed.

상기 변위감지 타켓(330)은 후면 또는 측면으로 엘이디 소자가 형성되어, 상기 카메라(320)가 야간에도 정확하고 용이하게 촬영할 수 있도록 한다.The displacement detection target 330 has an LED element formed on the back or side, so that the camera 320 can accurately and easily photograph even at night.

상기 카메라(320)는 도 3b에 도시된 바와 같이 각도와 방향 조절이 용이하게 전용 케이스에 형성되고 상기 전원모듈(100)과 연결된 상태에서, 도 3c에 도시된 바와 같이 상기 변위감지 타겟(330)과 대향하게 설치되어 해당 변위감지 타겟(330)을 촬영한다.The camera 320 is formed in a dedicated case for easy angle and direction adjustment as shown in FIG. 3B and connected to the power module 100, as shown in FIG. 3C , the displacement detection target 330 It is installed to face and shoots the corresponding displacement detection target 330 .

참고로, 상기 MCU 제어부(310)는 Raspberry pi Zero W가 사용될 수 있으며, 상기 카메라(320)는 웹캠을 사용하여 기존 센서들과 비교하여 상당히 저렴하게 시스템을 구성할 수 있다.For reference, the MCU control unit 310 may use a Raspberry pi Zero W, and the camera 320 may configure a system using a webcam at a significantly lower cost compared to existing sensors.

상기 마이크(340)는 받침부 주변의 소음을 감지하여 받침부 및 신축이음부의 통행 소음을 측정할 수 있다. 측정된 마이크늬 소음은 MCU 제어부(310)를 통해 주파수 영역의 데이터로 변환된다.The microphone 340 may measure the noise of the support part and the expansion joint by detecting noise around the support part. The measured microphone noise is converted into data in the frequency domain through the MCU controller 310 .

상기 모뎀(350)은 상기 MCU 제어부(310)의 제어를 받아 상기 카메라(320)가 촬영한 상기 변위감지 타겟(330)에 대한 이미지 및 상기 마이크(340)을 통해 수신한 소음 데이터를 상기 서버(400)로 전송한다.The modem 350 receives the control of the MCU controller 310 and transmits the image of the displacement detection target 330 photographed by the camera 320 and the noise data received through the microphone 340 to the server ( 400) is sent.

이때, 상기 모뎀(350)은 상기 서버(400)와 IoT 통신 가능하도록 내부적으로 IoT 센서가 포함되어 IoT 통신을 통해 상기 변위감지 타겟(330)에 대한 이미지 및 주파수영역으로 변환된 소음데이터를 상기 서버(400)로 전송한다.At this time, the modem 350 includes an IoT sensor internally to enable IoT communication with the server 400 , and transmits the image for the displacement detection target 330 through IoT communication and noise data converted into the frequency domain to the server (400).

상기 서버(400)는 상기 MCU 제어모듈(300)의 모뎀(350)에서 전달받은 변위감지 타켓 이미지를 수신하여 기계학습(Machine Learning)의 일종인 딥러닝(DL:Deep Learning)을 통해 변위감지 타켓의 변화를 식별하는 고 연산 처리가 이루어진다.The server 400 receives the displacement detection target image received from the modem 350 of the MCU control module 300 and performs the displacement detection target through Deep Learning (DL), a type of machine learning. A high computational process is performed to identify changes in

좀더 구체적으로 상기 MCU 제어모듈(300)에서 상기 변위감지 타켓의 사진이 촬영되면, 해상 사진은 상기 모뎀(350)을 통해 상기 서버(400)로 전송된다.More specifically, when the picture of the displacement detection target is taken by the MCU control module 300 , the ocean picture is transmitted to the server 400 through the modem 350 .

상기 서버(400)로 전송된 이미지는 이미지 자체의 해상도가 낮고 이미지 센서의 자체 노이즈로 인하여 정적 거동 계측을 위한 특징점 추적이 용이하지 못하는 어려움이 있다.In the image transmitted to the server 400 , the resolution of the image itself is low, and the characteristic point tracking for static behavior measurement is not easy due to the noise of the image sensor itself.

따라서, 상기 서버(400)는 상기 딥러닝의 심층 CNN 연산을 적용하여 낮은 해상도(Low Resolution)를 높은 해상도(Super Resolution)로 개선하여 상기 변위감지 타켓의 사진 이미지를 정확하게 식별해 낸다.Therefore, the server 400 applies the deep CNN operation of the deep learning to improve the low resolution to high resolution (Super Resolution) to accurately identify the photo image of the displacement detection target.

상술한 바와 같은 상기 서버(400)는 상기 변위감지 타켓의 아루코 마커의 좌표변화를 통해 x, y, z 방향의 이동 변위를 감지한다.As described above, the server 400 detects movement displacements in the x, y, and z directions through a change in the coordinates of the Aruko marker of the displacement detection target.

보다 구체적으로, 상기 서버(400)는 아래의 [수학식 1]을 이용하여 마커와 카메라의 상대좌표를 측정한다.More specifically, the server 400 measures the relative coordinates of the marker and the camera using the following [Equation 1].

Figure 112021131654108-pat00001
Figure 112021131654108-pat00001

상기 [수학식 1]에서 x는 이미지상 마커의 좌표, X는 실제 마커 X의 물리적 좌표, K는 주점, 초점거리를 포함하는 내부보정요소, R은 카메라와 마커의 회전관계를 나타내는 3차원 회전 행렬, T는 마커와 카메라의 상대 위치를 나타낸다. 실제 마커의 점과 이미지 상에서의 마커의 점을 서로 매칭하여 수학식 1의 해를 구하면 카메라와 마커의 상대 좌표 T를 산출할 수 있다.In [Equation 1], x is the coordinates of the marker on the image, X is the physical coordinates of the actual marker X, K is an internal correction factor including the main point and focal length, and R is a three-dimensional rotation representing the rotation relationship between the camera and the marker. The matrix, T, represents the relative positions of the marker and the camera. When the solution of Equation 1 is obtained by matching the actual marker point with the marker point on the image, the relative coordinates T between the camera and the marker can be calculated.

한편, 상기 R은 롤(roll), 피치(pitch), 및 롤(roll)로 구성되어 카메라와 마커의 회전관계를 나타내는 3×3매트릭스(matrix)에 해당된다.Meanwhile, R corresponds to a 3×3 matrix that is composed of roll, pitch, and roll and represents the rotational relationship between the camera and the marker.

따라서, 종래에는 3차원 변위만을 추출하지만, 본 발명은 상기 변위감지 타겟(330)에 대한 x, y, z 3차원 변위와 회전변위를 나타내는 롤(roll), 피치(pitch), 및 요(yaw) 총 6자유도 추출이 가능하다.Therefore, in the prior art, only three-dimensional displacement is extracted, but the present invention provides roll, pitch, and yaw indicating the x, y, z three-dimensional displacement and rotational displacement with respect to the displacement detection target 330 . ), a total of 6 degrees of freedom can be extracted.

즉, 상술한 바와 같이 상기 서버(400)는 상기 카메라(320)가 촬영한 상기 인공지능의 딥러닝을 통해 변위감지 타겟에 대한 이미지 속 3차원 변위 데이터를 도 4에 도시된 바와 같이 식별해 냄으로써 교량 받침 또는 이음부가 변형되는 이상징후들을 모니터링할 수 있다.That is, as described above, the server 400 identifies the three-dimensional displacement data in the image for the displacement detection target through the deep learning of the artificial intelligence photographed by the camera 320 as shown in FIG. It is possible to monitor abnormal signs of deformation of bridge bearings or joints.

또한 상기 서버(400)는 상기 MCU 제어모듈(300)의 모뎀(350)에서 전달받은 주파수 처리된 소음데이터를 수신하여 받침부 및 신축이음부의 이상을 판단하는 과정을 수행한다. 상기 마이크(340)에서 계측한 소음데이터를 주파수 영역으로 데이터를 변환하는 과정은 퓨리에 변환을 거치며 아래 [수학식 2]을 적용하여 산출한다.In addition, the server 400 receives the frequency-processed noise data received from the modem 350 of the MCU control module 300 and determines the abnormality of the support part and the expansion joint. The process of converting the noise data measured by the microphone 340 into the frequency domain is calculated by applying the following [Equation 2] through Fourier transform.

Figure 112021131654108-pat00002
Figure 112021131654108-pat00002

상기 [수학식 2]에서 x(n)은 마이크에서 측정한 소음의 신호를 나타내며, X(k)는 주파수 영역으로 변환된 신호, w(n)은 시간영역의 창 함수, n은 소음 데이터의 샘플 인덱스, k는 주파수 데이터의 인덱스, 그리고 N은 퓨리에 변환에 사용된 데이터의 샘플 수를 나타낸다. In [Equation 2], x(n) represents the noise signal measured by the microphone, X(k) is the signal converted to the frequency domain, w(n) is the window function of the time domain, and n is the noise data. A sample index, k represents an index of frequency data, and N represents the number of samples of data used for Fourier transform.

상기 데이터 수신을 통해 계측 초기값을 정상상태로 가정하여, 매 번 계측값과 정상상태 값의 차이인 잔차를 구하며, 잔차의 누적이 증가하는 시점을 이상 시점으로 판별한다. 이상치 탐색에는 다양한 머신러닝 알고리즘이 활용될 수 있다.Assuming that the initial measurement value is a steady state through the data reception, a residual that is the difference between the measured value and the steady state value is obtained each time, and a time point at which the accumulation of the residual increases is determined as an abnormal time point. Various machine learning algorithms can be used for outlier detection.

한편, 상기 서버(400)는 클라우드 서버를 이용하여 데이터를 이력 관리 및 사용자 중심의 웹플랫폼 구축이 가능하다.On the other hand, the server 400 can use a cloud server to manage data history and build a user-centered web platform.

즉, 상기 서버(400)는 처리된 데이터들을 데이터 Schema에 맞게 분류되고 교량 받치부의 안전 이력 관리를 가능하게 한다.That is, the server 400 classifies the processed data according to the data schema and enables the management of the safety history of the bridge support part.

본 발명에 따른 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템은 센서 내부의 전압 측정기 등 자가진단 모뎀을 통하여 센서가 스스로 문제를 파악하고 해결하는 방식을 통해 사람의 개입이 없이 자율구동이 가능하다. The cloud and IoT sensing-based bridge support monitoring system according to the present invention enables autonomous driving without human intervention through a method in which the sensor detects and solves problems by itself through a self-diagnosis modem such as a voltage measuring device inside the sensor.

상기 서버(400)는 도 5에 도시된 바와 같이 웹 기반 플랫폼과 연동되어 상기 3차원 변위 정보에 대해 실시간 시각화 한다. As shown in FIG. 5 , the server 400 is interlocked with a web-based platform to visualize the three-dimensional displacement information in real time.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다. In the above, the technical idea of the present invention has been described along with the accompanying drawings, but the preferred embodiment of the present invention is exemplarily described and does not limit the present invention. In addition, it is clear that various modifications and imitations are possible without departing from the scope of the technical spirit of the present invention by anyone having ordinary knowledge in the technical field to which the present invention pertains.

100 : 전원모듈
110 : 태양광 패널
120 : 배터리
130 : 소형 풍력 발전기
200 : 이디에스(EDS:Event Driven System) 전원 제어부
210 : 시간 설정부
220 : 스위칭부
300 : MCU 제어모듈
310 : MCU 제어부
320 : 카메라
330 : 변위감지 타겟
340 : 마이크
350 : 모뎀
400 : 서버100: power module
110: solar panel
120: battery
130: small wind generator
200: EDS (Event Driven System) power control unit
210: time setting unit
220: switching unit
300: MCU control module
310: MCU control unit
320 : camera
330: displacement detection target
340: microphone
350: modem
400 : server

Claims (5)

전원모듈;
설정된 시간 주기마다 상기 전원모듈의 전원이 필요한 곳에 인가될 수 있도록 스위칭하는 이디에스 전원 제어부;
변위 발생 가능성이 있는 교량 받침부에 설치되어 상기 전원모듈로부터 전원을 인가받아 구동되면서 변위감지 타겟에 대한 이미지를 전달하는 MCU 제어모듈; 및
상기 MCU 제어모듈에서 전달되는 변위감지 타겟에 대한 이미지를 딥러닝 방식으로 분석하여 3차원 변위를 계측하고, 상기 교량 받침부 주변의 소음 계측 데이터로 해당 교량 받침부 신축이음부의 이상상태를 판정하여 웹 기반 플랫폼과 연동하며, 3차원 변위 정보에 대해 실시간 시각화하여 표시해 주는 클라우드 기반의 서버;를 포함하고,
상기 이디에스 전원 제어부는
상기 전원모듈에서 상기 MCU 제어모듈로 필요한 전원이 인가될 수 있는 시간주기를 설정하기 위한 시간 설정부;를 포함하되,
상기 MCU 제어모듈은
상기 이디에스 전원 제어부의 시간 설정부와 연결되어, 설정된 작동시간이 도래함에 따라 전원을 인가받아 구동하는 MCU 제어부;
마커가 사용되고, 후면 또는 측면으로 엘이디 소자가 형성되며, 상기 교량 받침부에 설치되는 변위감지 타켓;
상기 교량 받침부 주변의 소음을 계측하는 마이크;
상기 변위감지 타겟과 대향하게 설치되어 해당 변위감지 타겟을 촬영하는 카메라; 및
상기 MCU 제어부의 제어를 받아 상기 카메라가 촬영한 상기 변위감지 타겟에 대한 이미지 및 상기 마이크가 측정한 소음이 주파수 영역으로 변환된 소음 계측 데이터를 상기 서버로 전송하는 모뎀;을 포함하는 것을 특징으로 하는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템.
power module;
an EDS power control unit for switching so that the power of the power module can be applied to a required place at every set time period;
an MCU control module installed in a bridge support part with a possibility of displacement, receiving power from the power module and driving the MCU control module to deliver an image of a displacement detection target; and
The three-dimensional displacement is measured by analyzing the image of the displacement detection target transmitted from the MCU control module in a deep learning method, and the abnormal state of the expansion joint of the bridge support part is determined with the noise measurement data around the bridge support part. A cloud-based server that interworks with a web-based platform and visualizes and displays three-dimensional displacement information in real time;
The EDS power control unit is
A time setting unit for setting a time period during which power required from the power module can be applied to the MCU control module is included;
The MCU control module
an MCU control unit connected to the time setting unit of the EDS power control unit to receive and drive power as a set operating time arrives;
a displacement detection target in which a marker is used, an LED element is formed on the rear or side surfaces, and is installed in the bridge support part;
a microphone for measuring the noise around the bridge support part;
a camera installed to face the displacement detection target and photographing the displacement detection target; and
and a modem for transmitting, to the server, the image of the displacement detection target photographed by the camera and noise measurement data in which the noise measured by the microphone is converted into a frequency domain under the control of the MCU controller to the server Cloud and IoT sensing-based bridge support monitoring system.
 제 1항에 있어서,
상기 전원모듈은
빛 에너지를 전기 에너지로 발전시켜 전원을 생성하는 태양광 패널;
상기 태양광 패널과 별개로 풍력에 의해 전원을 생성하는 소형 풍력 발전기; 및
상기 태양과 패널 또는 소형 풍력 발전기가 생성한 전원을 저장하는 배터리;를 포함하는 것을 특징으로 하는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템.
The method of claim 1,
The power module is
a solar panel generating power by generating light energy into electrical energy;
a small wind power generator for generating power by wind power separately from the solar panel; and
A cloud and IoT sensing-based bridge support monitoring system comprising a; battery for storing the power generated by the solar panel or the small wind generator.
 제 2항에 있어서,
상기 이디에스 전원 제어부은
상기 시간 설정부에서 설정된 시간주기마다 스위칭되어 상기 전원모듈의 전원이 상기 MCU 제어모듈로 인가될 수 있도록 하는 스위칭부;를 더 포함하는 것을 특징으로 하는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템.
3. The method of claim 2,
The EDS power control unit is
The cloud and IoT sensing-based bridge support monitoring system further comprising a; a switching unit that is switched every time period set in the time setting unit so that the power of the power module can be applied to the MCU control module.
 삭제delete 제 3항에 있어서,
상기 서버는
실제 마커와 카메라에서 획득된 이미지상의 매칭되는 점을 통해 카메라와 마커의 상대적인 3차원 변위 데이터를 확인하고, 전송된 주파수 영역의 소음데이터를 정상상태 데이터와의 차이를 누적하여 이상상태 징후를 나타내는 것을 특징으로 하는 클라우드 및 IoT 센싱 기반 교량 받침부 모니터링 시스템.4. The method of claim 3,
the server is
Check the relative three-dimensional displacement data of the camera and the marker through the matching points on the actual marker and the image acquired from the camera, and accumulate the difference between the transmitted noise data in the frequency domain and the steady state data to indicate abnormal state signs. Cloud and IoT sensing-based bridge support monitoring system featuring.
KR1020210156980A 2021-11-15 2021-11-15 CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM KR102381258B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210156980A KR102381258B1 (en) 2021-11-15 2021-11-15 CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210156980A KR102381258B1 (en) 2021-11-15 2021-11-15 CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM

Publications (1)

Publication Number Publication Date
KR102381258B1 true KR102381258B1 (en) 2022-03-30

Family

ID=80947959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210156980A KR102381258B1 (en) 2021-11-15 2021-11-15 CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM

Country Status (1)

Country Link
KR (1) KR102381258B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616568B1 (en) * 2023-03-27 2023-12-21 주식회사 건설방재기술연구원 Inspection device and its installation method for optically inspecting and diagnosing the safety condition of bridge and tunnel joints

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961614B1 (en) * 2008-12-08 2010-06-04 연세대학교 산학협력단 Wireless strain measurement device having power saving functions and system using thereof
KR101960415B1 (en) 2017-12-13 2019-03-20 서울시설공단 Bridge behavior monitoring device by tracking displacement trajectory
KR102026567B1 (en) * 2018-05-30 2019-09-27 한국도로공사 IoT bridge displacement prediction system
KR102190742B1 (en) * 2020-02-21 2020-12-15 주식회사 미래건설안전 Displacement measuring system for structure based on IoT technology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961614B1 (en) * 2008-12-08 2010-06-04 연세대학교 산학협력단 Wireless strain measurement device having power saving functions and system using thereof
KR101960415B1 (en) 2017-12-13 2019-03-20 서울시설공단 Bridge behavior monitoring device by tracking displacement trajectory
KR102026567B1 (en) * 2018-05-30 2019-09-27 한국도로공사 IoT bridge displacement prediction system
KR102190742B1 (en) * 2020-02-21 2020-12-15 주식회사 미래건설안전 Displacement measuring system for structure based on IoT technology

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616568B1 (en) * 2023-03-27 2023-12-21 주식회사 건설방재기술연구원 Inspection device and its installation method for optically inspecting and diagnosing the safety condition of bridge and tunnel joints

Similar Documents

Publication Publication Date Title
KR101660456B1 (en) Monitoring apparatus for photovoltaic generating system
CN102280005B (en) Early warning system for fire prevention of forest based on infrared thermal imaging technology and method
Ozbek et al. Feasibility of monitoring large wind turbines using photogrammetry
CN109186902A (en) A kind of bridge structure health detection system of view-based access control model sensing
Bartilson et al. Target-less computer vision for traffic signal structure vibration studies
US11373286B2 (en) Status checking device for built-in object, operation checking device and method for checking built-in object
KR102381258B1 (en) CLOUD AND IoT SENSING BASED BRIDGE BEARING MONITORING SYSTEM
BR112016003409B1 (en) SYSTEM AND METHOD FOR MONITORING THE MOVEMENTS OF A STRUCTURE
Malik et al. Low cost internet of things platform for structural health monitoring
CN108776040B (en) Bridge safety inspection system and diagnosis method
CN112414393B (en) Boundary pile state monitoring method and device based on multi-element sensor
KR100922631B1 (en) Monitoring and diagnosis apparatus of power transmission road having temperature measurement module
Abdullahi et al. Accelerometer Based Structural Health Monitoring System on the Go: Developing Monitoring Systems with NI LabVIEW.
KR100927050B1 (en) Line monitoring diagnosis device with transmission line shift measurement module
KR100803317B1 (en) Dange diagnosis system of power steel tower
CN115046578A (en) Circuit structure integrating multiple sensing assemblies and terminal comprising circuit structure
Buttarazzi et al. Smart Sensor Box: a real implementation of devices network for Structural Health Monitoring
CN113007037A (en) Structure monitoring system and method
US11151728B2 (en) Structure monitoring system and method
CN107367345B (en) System for detecting stress state of power transmission line
KR20220096452A (en) Intellectual image-integrated system capable of tracking image based on time-series change of measuring information
Ranganathan et al. Smart Wireless sensors for Impairment detection of the offshore Wind Turbines
WO2022203294A1 (en) Prediction method and systems of wind turbine load and life-time based on vibration data
CN216249516U (en) Structure dynamic displacement real-time monitoring and early warning network system based on computer vision
KR102431550B1 (en) Connection device between a plurality of battery cells and a Mattery Management System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant