KR20230020220A - System for warning of structural and method ithereof - Google Patents
System for warning of structural and method ithereof Download PDFInfo
- Publication number
- KR20230020220A KR20230020220A KR1020210102045A KR20210102045A KR20230020220A KR 20230020220 A KR20230020220 A KR 20230020220A KR 1020210102045 A KR1020210102045 A KR 1020210102045A KR 20210102045 A KR20210102045 A KR 20210102045A KR 20230020220 A KR20230020220 A KR 20230020220A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- coordinates
- structural
- optical flow
- health
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000036541 health Effects 0.000 claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract description 51
- 230000008569 process Effects 0.000 description 26
- 238000013473 artificial intelligence Methods 0.000 description 22
- 230000006399 behavior Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 구조물 건전성 경보 시스템 및 이를 이용한 경보 방법에 관한 것으로, 보다 구체적으로 구조물의 건전성(Structural Health)을 실시간으로 관측하며, 관측한 결과를 알려 구조물 건전성 평가가 이루어질 수 있도록 하는 구조물 건전성 경보 시스템 및 이를 이용한 경보 방법에 관한 것이다. The present invention relates to a structural health warning system and an alarm method using the same, and more particularly, to a structural health warning system that observes structural health in real time and informs the results of the observation so that structural health evaluation can be performed, and It relates to a warning method using this.
이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다. The contents described below are only described for the purpose of providing background information related to an embodiment of the present invention, and the contents described do not naturally constitute prior art.
건설된 대형 구조물과 시설물들은 설계 및 시공 과정에서의 결함 또는 설계 당시에 고려하지 못하였던 각종 요인으로 인하여 구조 손상이 발생되며, 이러한 구조물들의 사용 기간이 경과함에 따라 점차 노후화됨으로써 그 안전성이 크게 위협을 받고 있다. 예를 들면, 심각한 정도의 구조 손상이 발생한 구조물의 경우, 설계 당시에 계획되었던 설계 사용 연한에 크게 못 미칠 정도로 사용 연한의 단축을 초래하는 경우도 빈번히 발생하고 있다. 이에 따라 건축 구조물의 장기적인 안전성 및 작동성을 확보하기 위한 노력이 절실히 요구되고 있다. 특히, 건물, 교량, 댐 등과 같은 대형 구조물은 각종 운영 하중, 외부 물체에 의한 충격, 지진, 풍하중, 파랑 하중, 부식 등에 지속적으로 노출되어 있기 때문에 이들로부터 구조물의 안전을 확보하는 문제는 경제, 사회적으로 지대한 관심의 현안이 되고 있다. 이러한 대형 구조물들의 정확한 안전 진단을 위해서는 적절한 실험 계측을 통한 구조물 변위의 관측, 구조물 손상을 역학적으로 분석하는 기술 및 구조물 손상을 모델화하는 해석 기술을 통한 진단 기술이 요구된다.Large structures and facilities constructed are subject to structural damage due to defects in the design and construction process or various factors not considered at the time of design. there is. For example, in the case of a structure in which a serious degree of structural damage occurs, it frequently occurs that the service life is shortened to a degree that is far short of the designed service life planned at the time of design. Accordingly, efforts to secure long-term safety and operability of building structures are urgently required. In particular, since large structures such as buildings, bridges, and dams are continuously exposed to various operational loads, impacts by external objects, earthquakes, wind loads, wave loads, and corrosion, the problem of securing the safety of structures from them is an economic and social problem. has become a subject of great interest. In order to accurately diagnose the safety of these large structures, diagnosis technology through observation of structure displacement through appropriate experimental measurement, mechanically analyzing structure damage, and analysis technology modeling structure damage is required.
구조 건전성 모니터링(SHM: structural health monitoring)은 비파괴 검사를 이용하여 구조물의 구조적 손상을 관측하는 방법으로 토목 공학 분야에서 많은 관심을 받고 있다. 예를 들어, 구조물이 자연적 또는 인위적인 해저드(hazard)의해 여기(excited)되었을 때, 구조물의 강성과 댐핑과 같은 속성들은 변하게 된다. 이를, 센서를 통해 관측된 구조물의 변화들은 SHM 시스템에 전달되고, SHM 시스템은 사전에 대처할 수 있도록 손상 정도와 위치 등을 특정하여 실시간으로 제공한다.Structural health monitoring (SHM) is a method of observing structural damage of a structure using non-destructive testing and is receiving a lot of attention in the field of civil engineering. For example, when a structure is excited by a natural or man-made hazard, properties such as stiffness and damping of the structure change. Changes in the structure observed through the sensor are transmitted to the SHM system, and the SHM system specifies and provides the degree of damage and location in real time so as to cope with it in advance.
그러나, 개시된 구조 건전성 관측은 주로 센서를 기반으로 하며, 센서에 기 저장된 기준 레벨과 비교하기 위해 측정 구조물에 센서가 직접 접촉해야 한다는 한계가 있다. 더불어, 구조물이 대형화 될수록 설치하는 센서의 개수가 증가해야 구조 건전성 평가가 이루어질 수 있다. 이에 따라 보다 정확한 구조 건전성 평가를 위해서는 센서 설치 비용이 증가한다는 한계가 있다. However, the disclosed structure integrity observation is mainly based on a sensor, and has a limitation in that the sensor must directly contact the measurement structure in order to compare with a reference level previously stored in the sensor. In addition, as the size of the structure increases, the number of sensors to be installed must increase so that structural integrity can be evaluated. Accordingly, in order to more accurately evaluate structural integrity, there is a limitation in that the sensor installation cost increases.
또한, 최근 딥러닝 알고리즘 개발에 따라 구조물의 건전성을 딥러닝 알고리즘을 이용하여 예측하고자 하는 기술이 요구되고 있다. 그러나, 딥러닝 알고리즘을 이용한 구조물 건전성 판단은 엄청난 양의 데이터 관리에 대한 한계가 있다. In addition, with the recent development of deep learning algorithms, there is a demand for a technique for predicting the soundness of structures using deep learning algorithms. However, structural health determination using deep learning algorithms has limitations in managing a huge amount of data.
이에 따라 대형화된 구조물의 건전성을 평가할 수 있으며, 직접 설치를 최소화하여 구조물의 건전성을 관측할 수 있는 기술이 필요한 실정이다. Accordingly, it is possible to evaluate the soundness of a large-sized structure, and there is a need for a technology capable of observing the soundness of a structure by minimizing direct installation.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The foregoing background art is technical information that the inventor possessed for derivation of the present invention or acquired during the derivation process of the present invention, and cannot necessarily be said to be known art disclosed to the general public prior to filing the present invention.
본 발명의 일 과제는, 건전성을 관측하기 위한 장치를 구조물에 직접 설치하지 않고도 구조물의 건전성을 관측할 수 있도록 한다. One object of the present invention is to make it possible to observe the soundness of a structure without directly installing a device for observing the soundness on the structure.
또한, 본 발명의 일 과제는 건전성을 판단하기 위한 구조물을 촬영한 영상을 이용하여 구조물의 실제 거동을 판단할 수 있도록 한다. In addition, an object of the present invention is to determine the actual behavior of a structure by using an image taken of the structure for determining soundness.
또한, 본 발명의 일 과제는 인공지능을 이용하여 구조물의 건전성을 평가할 수 있도록 하는데 있다. In addition, one object of the present invention is to evaluate the soundness of a structure using artificial intelligence.
또한, 본 발명의 일 과제는 지리정보에 기반하여 구조물의 건전성 여부를 판단할 수 있도록 하여 보다 정확한 구조물의 건전성을 예측할 수 있도록 한다.In addition, an object of the present invention is to determine the soundness of a structure based on geographic information, so that the soundness of a structure can be more accurately predicted.
또한, 본 발명의 일 과제는 외부 하중에 의해 구조물에 손상이 발생했는지를 판단하기 위해 구조 해석을 할 필요가 없으며 설치 및 유지 보수 비용을 최소화할 수 있도록 하는데 있다. In addition, one object of the present invention is to eliminate the need for structural analysis to determine whether damage to a structure has occurred due to an external load, and to minimize installation and maintenance costs.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned tasks, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the embodiments of the present invention. It will also be seen that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.
본 발명의 실시 예에 따른 구조물의 건전성(Structural Health)을 관측하여 알리는 방법은 건전성을 판단하기 위한 구조물을 촬영한 영상으로부터 상기 구조물 건전성을 추정하기 위한 유효 프레임을 수집하고, 상기 구조물 건전성 정보를 출력하도록 훈련된 딥러닝을 기반하여 생성된 광학 흐름 예측 모델에 상기 유효 프레임을 입력하여 상기 구조물 건전성 정도를 출력하면, 상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태를 지리 시스템에 기반하여 관측하고 관측한 상기 구조물 건전성 상태를 알리는 과정으로 실행될 수 있다. In the method of observing and notifying structural health according to an embodiment of the present invention, effective frames for estimating structural health are collected from images taken of structures for determining structural health, and the structural health information is output. When the effective frame is input to an optical flow prediction model generated based on deep learning trained to output the structural integrity level, the structure health status output by the optical flow prediction model is observed and observed based on the geographic system. It can be executed as a process of notifying the health status of the structure.
광학 흐름 예측 모델을 훈련하기 위한 훈련 데이터를 생성하고, 상기 훈련 데이터를 생성할 때, 상기 구조물을 촬영한 3차원의 이미지를 2차원의 이미지로 보정할 수 있다. Training data for training the optical flow prediction model may be generated, and when the training data is generated, a 3D image of the structure may be corrected into a 2D image.
상기 보정하는 과정에서 상기 3차원 이미지에서 임의의 좌표를 선택하고, 상기 임의의 좌표를 기준으로 상기 2차원 이미지에 투영되는 투영 좌표를 생성하는 과정으로 수행될 수 있다. In the process of correcting, an arbitrary coordinate may be selected from the 3D image, and projection coordinates projected onto the 2D image may be generated based on the arbitrary coordinate.
상기 투영 좌표를 생성한 후, 상기 2차원 이미지의 스케일, 호모그래피 행렬을 이용한 변환 행렬 및 상기 투영 좌표를 순차적으로 곱하여 실제 좌표를 추출할 수 있다. After generating the projected coordinates, real coordinates may be extracted by sequentially multiplying the scale of the 2D image, a conversion matrix using a homography matrix, and the projected coordinates.
출력하는 과정에서, 상기 실제 좌표를 가우시안 필터(Gaussian Kernel)에 적용할 수 있다. In the process of outputting, the real coordinates may be applied to a Gaussian Kernel.
수집하는 과정에서 상기 2차원 이미지에서 특징점(feature detection)을 기반으로 하는 투영 좌표를 추출하고, 상기 출력하는 과정에서 기 저장된 기준 좌표와 상기 투영 좌표를 비교하여 상기 투영 좌표의 이동을 판단할 수 있다. In the process of collecting, projected coordinates based on feature detection are extracted from the 2D image, and in the process of outputting, the movement of the projected coordinates can be determined by comparing the projected coordinates with previously stored reference coordinates. .
상기 출력하는 과정에서, 상기 2차원 이미지의 포커스 후방에 위치한 이미지는 가중치를 낮추고, 상기 2차원 이미지의 포커스 전방에 위치한 이미지는 가중치를 높일 수 있다. In the process of outputting, the weight of an image positioned behind the focus of the 2D image may be lowered, and the weight of an image positioned in front of the focus of the 2D image may be increased.
상기 출력하는 과정에서, 상기 유효 프레임의 흔들림을 보정하고, 흔들림이 보정된 상기 유효 프레임들을 미리 훈련된 상기 광학 흐름 추정 예측 모델에 입력하는 과정으로 수행될 수 있다. In the process of outputting, shaking of the effective frames may be corrected, and the shaking-corrected effective frames may be input into the pre-trained optical flow estimation prediction model.
상기 관측하는 과정에서 QGIS(Open Source Geographic Information System)를 기반할 수 있다. The observation process may be based on QGIS (Open Source Geographic Information System).
상기 관측하는 과정 이후에, 상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태가 기 설정된 기준에서 벗어난 경우 상기 구조물 건전성 상태를 외부 장치로 전송하는 과정을 더 포함할 수 있다. After the observing process, the method may further include transmitting the structural integrity state to an external device when the structure integrity state output by the optical flow prediction model deviates from a preset standard.
한편, 본 발명의 실시 예에 따른 구조물의 건전성(Structural Health)을 관측하여 알리는 시스템은, 적어도 하나의 프로세서 및 상기 프로세서와 동작 가능하게 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서로 하여금, 건전성을 판단하기 위한 구조물을 촬영한 영상으로부터 상기 구조물 건전성을 추정하기 위한 유효 프레임을 수집하고, 상기 구조물 건전성 정보를 출력하도록 훈련된 딥러닝을 기반하여 생성된 광학 흐름 예측 모델에 상기 유효 프레임을 입력하여 상기 구조물 건전성 정도를 출력한 후, 상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태를 지리 시스템에 기반하여 관측하고, 관측한 상기 구조물 건전성 상태를 알리기 위한 코드를 저장할 수 있다. Meanwhile, a system for observing and reporting structural health according to an embodiment of the present invention includes at least one processor and a memory operatively connected to the processor and storing at least one code executed by the processor. And, when the memory is executed by the processor, to cause the processor to collect valid frames for estimating the health of the structure from an image taken of the structure for determining the health, and to output the structure health information. After inputting the effective frame into an optical flow prediction model generated based on trained deep learning to output the degree of structural integrity, observing the structural integrity output by the optical flow prediction model based on a geographic system, A code for notifying the observed state of health of the structure may be stored.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims and detailed description of the invention.
본 발명에 의하면, 변위가 발생할 수 있는 구조물을 촬영하고, 촬영한 구조물의 이미지를 학습 데이터로 생성한 뒤, 생성된 학습 데이터를 학습하고, 구조물을 촬영한 이미지를 구조물 변위 예측 모델에 입력하여 구조물의 건전성을 관측할 수 있도록 한다. According to the present invention, a structure in which displacement may occur is photographed, an image of the photographed structure is generated as learning data, the generated learning data is learned, and the image of the structure is input to a structure displacement prediction model. to be able to observe the integrity of
즉, 구조물 변위를 측정하는 장치를 구조물에 별도로 설치하지 않고도 구조물의 건전성을 추정할 수 있게 되어 구조물 건전성 평가를 위한 설치 비용을 효과적으로 절감할 수 있다. That is, since it is possible to estimate the soundness of a structure without separately installing a device for measuring the displacement of the structure, it is possible to effectively reduce installation costs for structural soundness evaluation.
또한, 변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력함으로써, 변위가 발생한 구조물이 위치한 지역의 지형정보를 기반으로 해당 지역의 환경적 조건을 고려하여 보다 정확한 구조물의 변위를 예측할 수 있다. In addition, by inputting an image containing information about a displaced structure into QGIS, it is possible to more accurately predict the displacement of a structure by considering the environmental conditions of the area based on the geographic information of the area where the displaced structure is located.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 실시 예에 따른 구조물 건전성 경보 시스템의 환경을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따라 구조물을 관측하는 예를 도시한 도면이다.
도 3은 본 발명의 실시 예에 따라 구조물의 건전성을 추정하기 위한 서버의 구성을 도시한 도면이다.
도 4 및 도 5는 본 발명의 실시 예에 따라 구조물을 촬영한 이미지 프레임을 통해 구조물 변위를 확인하는 예를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 광학 흐름의 예를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따라 구조물의 거동을 계산하는 과정을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따라 구조물의 건전성 경보 과정을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 지리정보시스템을 이용한 구조물의 건전성 경보를 예시한 예시도이다.
도 10은 본 발명의 실시 예에 따른 인공 지능 모델을 이용한 구조물 건전성 경보의 예시도이다. 1 is a diagram illustrating an environment of a structure health warning system according to an embodiment of the present invention.
2 is a diagram illustrating an example of observing a structure according to an embodiment of the present invention.
3 is a diagram showing the configuration of a server for estimating the soundness of a structure according to an embodiment of the present invention.
4 and 5 are diagrams illustrating an example of confirming the displacement of a structure through an image frame in which the structure is photographed according to an embodiment of the present invention.
6 is a diagram illustrating an example of an optical flow according to an embodiment of the present invention.
7 is a diagram illustrating a process of calculating the behavior of a structure according to an embodiment of the present invention.
8 is a diagram illustrating a structure soundness warning process according to an embodiment of the present invention.
9 is an exemplary diagram illustrating a health warning of a structure using a geographic information system according to an embodiment of the present invention.
10 is an exemplary view of a structure health warning using an artificial intelligence model according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예들에 한정되지 않는다. 이하 실시 예에서는 본 발명을 명확하게 설명하기 위해서 설명과 직접적인 관계가 없는 부분을 생략하지만, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 생략된 구성이 불필요함을 의미하는 것은 아니다. 아울러, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조번호를 사용한다.Hereinafter, the present invention will be described in more detail with reference to the drawings. The invention may be embodied in many different forms and is not limited to the embodiments set forth herein. In the following embodiments, parts not directly related to the description are omitted in order to clearly describe the present invention, but this does not mean that the omitted configuration is unnecessary in implementing a device or system to which the spirit of the present invention is applied. . In addition, the same reference numbers are used for the same or similar elements throughout the specification.
이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 되며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 이하의 설명에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following description, terms such as first and second may be used to describe various components, but the components should not be limited by the above terms, and the terms refer to one component from another. Used only for distinguishing purposes. Also, in the following description, singular expressions include plural expressions unless the context clearly indicates otherwise.
이하의 설명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the following description, terms such as "comprise" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other It should be understood that it does not preclude the possibility of addition or existence of features, numbers, steps, operations, components, parts, or combinations thereof.
도 1은 본 발명의 실시 예에 따른 구조물 건전성 경보 시스템의 통신 환경을 도시한 도면이고, 도 2는 본 발명의 실시 예에 따라 구조물을 관측하는 예를 도시한 도면이다.1 is a diagram illustrating a communication environment of a structure health warning system according to an embodiment of the present invention, and FIG. 2 is a diagram showing an example of observing a structure according to an embodiment of the present invention.
도면을 참고하면, 구조물 건전성(Structural Health)을 알리는 경보 시스템(10)은 교량, 대형 건물 등의 구조물을 촬영하고, 촬영한 영상이나 이미지에서 구조물의 건전성을 추정할 수 있는 유효 프레임을 수집하고, 수집된 유효 프레임을 구조물 건전성 정보를 출력하도록 훈련된 딥러닝을 기반한 광학 흐름 예측 모델에 입력하여 구조물의 건전성 정도를 출력할 수 있는 시스템이다. Referring to the drawings, the
본 발명의 실시 예들에 있어서 구조물 건전성 경보 시스템(10)은 촬영된 영상을 기초로 구조물의 변위를 측정하여 구조물의 변위가 발생한 경우 구조물을 관리하는 관리자나 촬영장치 등의 장치와 통신 연결된 단말로 변위를 알려 구조물의 상태를 확인할 수 있도록 한다.In the embodiments of the present invention, the structure
일 실시 예에서 구조물 건전성 경보 시스템(10)은 수집된 유효 프레임을 입력하여 구조물의 건전성 정도를 수치로 출력하거나, 기 저장된 정보와 대응되는 값으로 구조물의 건전성 정도를 출력하도록 한다.In an embodiment, the structure
한편, 본 발명의 실시 예들에 있어서 구조물 건전성 경보 시스템(10)은 설명한 바와 같이 구조물을 촬영한 영상을 통해 변위를 예측하는 것으로서, 촬영장치(100), 서버(200), 단말(equipment)(300)이 네트워크(400)가 통신 연결될 수 있다. On the other hand, in the embodiments of the present invention, the structure
구체적으로, 촬영장치(100)는 카메라, CCTV 등과 같이 교량, 대형 건물 등과 같은 구조물을 실시간으로 촬영할 수 있는 장치 중 하나일 수 있으며, 본 발명의 실시 예에서는 CCTV인 예를 들어 설명하기로 한다. Specifically, the photographing
이러한 촬영장치(100)는 구조물과 소정의 거리를 두고 설치될 수 있으며, 적어도 두 대 이상의 촬영장치(100)가 구조물을 중심으로 구조물을 다르게 촬영할 수 있는 위치에 설치되어 다양한 변위 변화를 확인할 수 있도록 한다. The photographing
촬영장치(100)는 촬영 모드에서 정지영상 또는 동영상 등의 화상 프레임을 획득한다. 획득한 화상 프레임은 촬영장치(100)에 포함된 메모리(미도시)에 저장되거나 서버(200)로 전송되어 서버(200)의 메모리(240)에 저장될 수 있다. The photographing
서버(200)는 본 발명의 실시 예에서 설명되는 구조물의 변위를 관측하기 위한 각종 서비스를 제공한다. 구체적으로 서버(200)는 촬영장치(100)가 촬영한 구조물 영상이나 이미지에서 구조물의 위치가 변화하였는지를 판단할 수 있는 유효한 이미지 프레임을 인공지능을 이용하여 추출할 수 있다. The
이러한 서버(200)는 추출된 유효 프레임을 기초로 구조물의 변위 정도(거동 변화)를 계산할 수 있으며, 계산된 결과를 단말(300)로 전송할 수도 있다. 이하 서버(200)에서 구조물의 변위를 추출하고 건전성 추정할 수 있는 인공지능에 관하여는 후술하기로 한다. The
단말(300)은 촬영장치(100)에서 촬영한 구조물 영상에 기반하여 구조물 건전성 결과를 확인할 수 있는 장치이다. 즉, 단말(300)을 통해 구조물의 건전성 정보를 알림 받을 수 있다. 이러한 단말(300)은 예를 들어 휴대단말, 노트북, 태블릿 PC 등과 같은 장치 중 하나일 수 있으며, 단말(300)의 종류는 한정하지 않는다. 단말(300)을 통해 구조물 건전성 결과를 확인할 수 있게 되므로 구조물 관리자는 보다 빠르고 쉽게 구조물 건전성 결과에 대응하는 관리가 이루어질 수 있다. The terminal 300 is a device capable of confirming a structure integrity result based on a structure image captured by the photographing
이러한 단말(300)은 네트워크(400)를 통해 서버(200)로 데이터를 전송하고 수신할 수 있다. 구체적으로 단말(300)과 서버(200)는 네트워크(400)를 통해 모바일 브로드밴드(Enhanced Mobile Broadband, eMBB), URLLC(Ultra-reliable and low latency communications) 및 mMTC(Massive Machine-type communications) 중에서 적어도 하나의 서비스를 이용하여 데이터를 통신할 수 있도록 구성될 수 있다. The terminal 300 may transmit and receive data to and from the
여기서, eMBB(Enhanced Mobile Broadband)는 모바일 브로드밴드 서비스로, 이를 통해 멀티미디어 콘텐츠, 무선데이터 액세스 등이 제공된다. 또한, 폭발적으로 증가하고 있는 모바일 트래픽을 수용하기 위한 핫스팟 (hot spot)과 광대역 커버리지 등 보다 향상된 모바일 서비스가 eMBB를 통해 제공될 수 있다. 핫스팟을 통해 사용자 이동성이 작고 밀도가 높은 지역으로 대용량 트래픽이 수용될 수 있다. 광대역 커버리지를 통해 넓고 안정적인 무선 환경과 사용자 이동성이 보장될 수 있다.Here, eMBB (Enhanced Mobile Broadband) is a mobile broadband service, through which multimedia contents, wireless data access, etc. are provided. In addition, more advanced mobile services such as hot spots and broadband coverage to accommodate explosively increasing mobile traffic can be provided through eMBB. Hotspots allow high-capacity traffic to be accommodated in areas with low user mobility and high density. Wide and stable wireless environment and user mobility can be guaranteed through broadband coverage.
URLLC(Ultra-reliable and low latency communications) 서비스는 데이터 송수신의 신뢰성과 전송 지연 측면에서 기존 LTE 보다 훨씬 엄격한 요구사항을 정의하고 있으며, 산업 현장의 생산 프로세스 자동화, 원격 진료, 원격 수술, 운송, 안전 등을 위한 5G 서비스가 여기에 해당한다.The URLLC (Ultra-reliable and low latency communications) service defines much stricter requirements than the existing LTE in terms of reliability and transmission delay of data transmission and reception, and is used in industrial field production process automation, remote medical treatment, remote surgery, transportation, safety, etc. 5G service for
mMTC(Massive Machine-type communications)는 비교적 작은 양의 데이터 전송이 요구되는 전송지연에 민감하지 않은 서비스이다. 센서 등과 같이 일반 휴대폰 보다 훨씬 더 많은 수의 단말기들이 동시에 무선액세스 네트워크에 mMTC에 의해 접속할 수 있다. 이 경우, 단말기의 통신모듈 가격은 저렴해야 하고, 배터리 교체나 재충전 없이 수년 동안 동작할 수 있도록 향상된 전력 효율 및 전력 절감 기술이 요구된다.Massive machine-type communications (mMTC) is a service that is not sensitive to transmission delays that require transmission of relatively small amounts of data. A much larger number of terminals than general mobile phones, such as sensors, can be simultaneously connected to the wireless access network by mMTC. In this case, the price of the communication module of the terminal should be low, and improved power efficiency and power saving technology are required so that the terminal can operate for several years without battery replacement or recharging.
네트워크(400)는 유선 및 무선 네트워크, 예를 들어 LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, 5G, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
한편, 본 발명의 실시 예에 따른 구조물 건전성 경보 시스템(10)을 이용하여 구조물 변위 여부를 추출할 때, 인공지능(artificial intelligence, AI)을 이용하여 구조물 변위 변화를 추출할 수 있다. Meanwhile, when extracting whether a structure is displaced using the structure
이를 위해, 서버(200)는 인공 지능 모델과 관련하여 각종 인공 지능 모델을 생성하고, 이를 학습시키며, 이를 평가하고, 이를 완성하고, 그리고 사용자의 개인 데이터를 이용하여 이를 업데이트 하는 과정에서 로컬 영역과 서버(200)에 저장된 각종 인고지능 알고리즘과 관련된 프로그램을 이용할 수도 있다. To this end, the
또한, 서버(200)는 각종 인공 지능 모델의 훈련에 필요한 학습 데이터를 수집하고, 수집된 데이터를 이용하여 인공지능 모델을 훈련시키는 역할을 할 수 있다. 서버(200)를 통해 훈련된 각종 인공 지능 모델이 평가를 통해 완성되면 단말(300)이 완성된 인공지능 모델을 이용하거나, 인공지능 모델 자체가 주체가 되어 구조물이 거동한 변위를 추출하는 과정이 수행될 수 있다. In addition, the
본 발명의 실시 예에 따른 서버(200)는 촬영장치(100)를 통해 촬영한 영상에서 추출한 유효 프레임을 통해 구조물의 변위 변화를 추정하기 위한 인공 지능 모델과 관련하여 각종 인공 지능 모델을 생성하고, 이를 학습시키고, 이를 평가하고, 이를 완성하고, 그리고 사용자의 개인 데이터를 이용하여 이를 업데이트 하는 과정에서 로컬 영역과 서버(200)에 저장된 각종 인공지능 알고리즘과 관련된 프로그램을 이용할 수 있다.The
또한 본 발명의 실시 예에 따른 구조물 건전성 경보 시스템(10)은 추출한 유효 프레임에서 광학 흐름 감지(Optical flow detection)를 통해 구조물의 변위를 식별하는 서버(200)를 기준으로 본 발명의 실시 예에 대해 설명하기로 한다. 그리고 다른 특별한 가정 또는 조건이 없다면 서버(200)에 관한 설명 내용이 다른 형태의 실시 예에도 그대로 적용될 수 있다. In addition, the structure
그리고 서버(200)는 각종 인공 지능 모델의 훈련에 필요한 학습 데이터를 수집하고, 수집된 데이터를 이용하여 인공지능 모델을 훈련시키는 역할을 할 수 있다. 서버(200)에 의해 훈련된 각종 인공 지능 모델이 평가를 통해 완성되면, 서버(200)가 각종 인공 지능 모델을 이용하거나, 인공 지능 모델 자체가 주체가 되어 구조물 변위 감지를 수행할 수 있다. In addition, the
도 3은 본 발명의 실시 예에 따라 구조물의 건전성을 추정하기 위한 서버의 구성을 도시한 도면이고, 도 4 및 도 5는 본 발명의 실시 예에 따라 구조물을 촬영한 이미지 프레임을 통해 구조물 변위를 확인하는 예를 도시한 도면이며, 도 6은 본 발명의 실시 예에 따른 광학 흐름의 예를 도시한 도면이고, 도 7은 본 발명의 실시 예에 따라 구조물의 거동을 계산하는 과정을 도시한 도면이다. 3 is a diagram showing the configuration of a server for estimating the soundness of a structure according to an embodiment of the present invention, and FIGS. 4 and 5 show structure displacement through image frames taken of the structure according to an embodiment of the present invention. 6 is a diagram showing an example of an optical flow according to an embodiment of the present invention, and FIG. 7 is a diagram showing a process of calculating the behavior of a structure according to an embodiment of the present invention. am.
도 3을 참고하면, 서버(200)는 통신부(210), 데이터 획득부(220), 러닝 프로세서(230), 메모리(240) 및 프로세서(260)를 포함한다. Referring to FIG. 3 , the
통신부(210)는 단말(300) 및 촬영장치(100)와 통신 연결될 수 있다. 구체적으로 통신부(210)는 촬영장치(100)에서 촬영한 구조물 영상을 수신하고, 수신한 영상을 통해 구조물 거동이 변화하였는지에 대한 결과를 단말(300)로 송신할 수 있다. The communication unit 210 may be communicatively connected to the terminal 300 and the photographing
메모리(240)는 모델 저장부(241)를 포함할 수 있다. 모델 저장부(241)는 러닝 프로세서(230)를 통해 학습 전 또는 학습된 모델(241a)을 저장할 수 있다. 학습된 모델 또는 학습 전 모델을 포함하는 학습 모델은 인공 신경망 기반하며 특별히 그 종류를 한정하지 않는다. The memory 240 may include a model storage unit 241 . The model storage unit 241 may store the
러닝 프로세서(230)는 학습 데이터를 이용하여 학습 모델(241a)을 학습시킬 수 있다. 학습 모델(241a)은 서버(200)에 탑재된 상태에서 이용될 수 있다. The learning processor 230 may train the
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(240)에 저장될 수 있다. A learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented as software, one or more instructions constituting the learning model may be stored in the memory 240 .
본 발명의 학습 모델은 딥러닝을 기반으로 하는 광학 흐름 예측 모델이며, 광학 흐름 예측 모델은 구조물을 촬영한 영상으로부터 입력 받은 유효 프레임을 통해 훈련될 수 있다. The learning model of the present invention is an optical flow prediction model based on deep learning, and the optical flow prediction model can be trained through valid frames input from an image of a structure.
구체적으로 다양한 구조물의 거동을 통해 구조물의 건전성을 판단해야 하므로 유효 프레임은 구조물이 손상된 상태의 정보(도 6의 ①, ③, ⑥과 같은 이미지일 수 있다)와 도 6의 ②, ④, ⑤와 같은 손상되지 않은 상태의 정보일 수 있다. Specifically, since the integrity of the structure must be determined through the behavior of various structures, the effective frame includes information on the damaged state of the structure (it may be images such as ①, ③, and ⑥ in FIG. 6) and ②, ④, ⑤ and It can be information in the same intact state.
예를 들어 구조물을 촬영할 때, 구조물의 정위치를 기준할 수 있는 기준 좌표(도 6의 BC 참고)가 설정될 수 있다. 설정된 기준 좌표(BC)를 기준으로 기준 좌표(BC)에서 벗어난 좌표가 발생한 이미지를 구조물이 손상된 상태의 정보라고 가정하고, 기준좌표(BC)와 동일한 좌표를 포함한 이미지를 구조물이 손상되지 않은 정보라고 가정할 수 있다. For example, when photographing a structure, reference coordinates (refer to BC in FIG. 6 ) may be set to determine the exact position of the structure. Based on the set reference coordinates (BC), it is assumed that the image with coordinates that deviate from the reference coordinates (BC) is information in a damaged structure, and the image including the same coordinates as the reference coordinates (BC) is called information with the structure intact. can be assumed
이미지를 분류하면, 촬영한 이미지를 기 설정된 광학 흐름 예측 모델에 입력할 수 있다. 이때, 광학 흐름 예측 모델은 구조물이 손상된 상태의 정보와 구조물이 손상되지 않은 정보로 레이블링된 데이터로 훈련될 수 있다. When the image is classified, the captured image may be input to a preset optical flow prediction model. In this case, the optical flow prediction model may be trained with data labeled as information of a damaged structure and information of a non-damaged structure.
훈련 데이터는 앞서 설명한 바와 같이 구조물의 정위치를 기준할 수 있는 기준 좌표를 기준으로 촬영되어 수집된 이미지가 기준 좌표(BC)에서 벗어난 좌표가 발생한 이미지를 구조물이 손상된 상태의 정보라고 가정하고, 기준좌표(BC)와 동일한 좌표를 포함한 이미지를 구조물이 손상되지 않은 정보라고 가정한 값을 기초로 생성할 수 있다. As described above, the training data is taken based on the reference coordinates that can refer to the correct position of the structure, and the collected image assumes that the coordinates deviating from the reference coordinates (BC) are information on the damaged state of the structure. An image including coordinates identical to the coordinates BC may be generated based on a value assumed to be information in which the structure is not damaged.
한편 본 발명의 실시 예에 따른 광학 흐름 예측 모델은 딥러닝 알고리즘에 기반할 수 있다. 예를 들어, 촬영한 이미지로부터 구조물이 손상된 상태의 정보와 구조물이 손상되지 않은 정보로 레이블링된 데이터를 샘플링하여 데이터셋(datasets)을 구성할 수 있다. 구성된 데이터셋에 촬영한 구조물 이미지에서 추출한 유효 이미지를 입력하여 데이터셋에서 대응하는 이미지를 응답값(출력값)으로 결정하여 촬영한 구조물의 변위 상태를 추정할 수 있다. Meanwhile, the optical flow prediction model according to an embodiment of the present invention may be based on a deep learning algorithm. For example, a data set may be formed by sampling data labeled as information of a damaged structure and information of a non-damaged structure from a photographed image. It is possible to estimate the displacement state of the captured structure by inputting an effective image extracted from the captured structure image to the constructed dataset and determining the corresponding image in the dataset as a response value (output value).
이때, 광학 흐름 예측 모델을 통해 구조물의 변위 상태를 정확히 추정하기 위해 촬영한 이미지를 변환할 수 있다. 구체적으로 촬영된 3차원 이미지에는 구조물, 주변 환경 등 다양한 이미지를 포함한다. 여기서 이미지 변환 과정은 도 4에 도시된 바와 같이 구조물을 표시할 수 있는 점들을 2차원 이미지로 투영하는 과정을 의미한다. 즉, 이미지 변환은 3차원으로 촬영된 이미지에 포함된 실제 좌표 중 임의의 좌표를 2차원 평면 이미지에 투영하여 투영 좌표를 생성하는 것이다. At this time, the captured image may be converted to accurately estimate the displacement state of the structure through the optical flow prediction model. Specifically, the captured 3D image includes various images such as a structure and a surrounding environment. Here, the image conversion process means a process of projecting points capable of displaying a structure into a two-dimensional image, as shown in FIG. 4 . That is, image conversion is to generate projected coordinates by projecting arbitrary coordinates among real coordinates included in a 3D captured image onto a 2D flat image.
이러한 좌표 투영은 호모그래피 행렬을 통해 변환할 수 있고, 이와 같은 이미지 변환을 카메라 캘리브레이션이라고 한다. 이때, 촬영장치(100)가 영상을 촬영할 때의 조건인 렌즈, 구조물과의 거리, 구조물을 촬영하는 각도 등을 제거해야 보다 정확하게 이미지 변환이 이루어질 수 있다. This coordinate projection can be converted through a homography matrix, and such image conversion is called camera calibration. In this case, the image conversion can be performed more accurately only when conditions for capturing an image by the photographing
캘리브레이션 과정은 예를 들어 보정계수법(scale factor), 전체 투영행렬(Full Projection Matrix), 평면 호모그래피 행렬 전환법(Planar Homography matrix Transforms, PHT) 등의 방법 중 어느 하나를 이용할 수 있으며, 본 발명의 실시 예는 호모그래피 행렬 전환법(PHT)을 이용하여 3차원 영상에서 2차원 이미지를 획득하는 예를 들기로 한다.The calibration process may use any one of methods such as, for example, a scale factor, a full projection matrix, and a planar homography matrix transforms (PHT). In the embodiment, an example of acquiring a 2D image from a 3D image using a homography matrix conversion (PHT) will be given.
여기서, 호모그래피 행렬 전환법은 다음의 식으로 표현된다. Here, the homography matrix conversion method is expressed by the following equation.
식 (1) Equation (1)
여기서, X는 실제 좌표라고 할 수 있으며, x는 2차원 이미지에서 추출한 좌표인 투영 좌표를 의미한다. 또한, H는 3x3 행렬인 호모그래피 행렬 중 하나이며, s는 이미지 스케일을 의미한다. Here, X can be referred to as real coordinates, and x refers to projected coordinates that are coordinates extracted from a 2D image. In addition, H is one of homography matrices that are 3x3 matrices, and s means an image scale.
호모그래피 행렬 전환법은 카메라 렌즈의 축과 대상 구조물의 축이 평행하지 않아도 원본 이미지를 재 투영하여 이미지를 왜곡 없이 투영할 수 있는 특징이 있다. 구체적으로, 도 5를 참고하면 PHT는 3차원 이미지에 임의의 4 개의 좌표를 선택하여(도 4 (a)의 a, b, c, d), 2차원 이미지로 투영된 투영 좌표(SC)가 생성될 수 있도록 한다(도 4 (b)의 a, b, c, d).The homography matrix conversion method is characterized in that the original image can be re-projected and the image can be projected without distortion even if the axis of the camera lens and the axis of the target structure are not parallel. Specifically, referring to FIG. 5, PHT selects four random coordinates on a 3D image (a, b, c, d in FIG. (a, b, c, d in FIG. 4 (b)).
이때, 식 (1)에서 2차원 이미지로 투영된 투영 좌표(SC)는 x이며, 실제 좌표(X)와 호모그래피 행렬(H)의 역행렬 및 이미지 스케일(S)의 역함수의 곱으로 계산될 수 있다. At this time, the projection coordinate (SC) projected to the two-dimensional image in Equation (1) is x, and can be calculated as the product of the real coordinate (X), the inverse matrix of the homography matrix (H), and the inverse function of the image scale (S). there is.
여기서, 투영 좌표(SC) x는 다음의 식으로 표현된다. Here, the projection coordinate (SC) x is expressed by the following equation.
식 (2) Equation (2)
여기서, Iij 는 3차원 이미지의 픽셀(i, j)의 그레이스케일 값(gray value_명암값)을 의미하며, m과 n은 촬영하는 구조물에서 관심 영역(Region of interest; RoI)를 의미한다. Here, I ij means the gray scale value (gray value_contrast value) of the pixel (i, j) of the 3D image, and m and n mean the region of interest (RoI) in the structure to be photographed. .
또한, 이미지 스케일은 실제 물체의 사이즈와 이미지 사이즈 비율, 카메라에서 측정 대상까지의 거리와 초점거리의 비율 등을 의미할 수 있다. In addition, the image scale may mean a ratio between a size of a real object and an image size, a ratio between a distance from a camera to a target to be measured and a focal length, and the like.
이와 같이, 3차원 이미지의 임의의 좌표에서 2차원 이미지의 투영 좌표(SC)를 추출할 때, 구조물에서 변위가 발생하였는지를 추측할 수 있는 유효 프레임을 결정할 수 있다.In this way, when the projected coordinates SC of the 2D image are extracted from arbitrary coordinates of the 3D image, it is possible to determine an effective frame capable of inferring whether displacement has occurred in the structure.
결정되는 유효 프레임은 특징점(feature detection)에 대한 딥러닝 설계를 기반으로 결정될 수 있다. 앞서 설명한 바와 같이, 구조물을 설계할 때, 구조물의 정위치를 기준할 수 있는 기준 좌표(BC)가 설정될 수 있다. 기준 좌표(BC)를 기준으로 보정된 2차원 이미지에서 도출한 투영 좌표(SC)가 기준 좌표(BC)에서 벗어난 2차원 이미지를 유효 프레임으로 결정할 수 있다.The determined effective frame may be determined based on deep learning design for feature detection. As described above, when designing a structure, reference coordinates (BC) that can refer to the exact position of the structure may be set. A 2D image in which the projected coordinates SC derived from the corrected 2D image based on the reference coordinates BC may deviate from the reference coordinates BC may be determined as an effective frame.
즉, 구조물의 거동 여부는 기준 좌표(BC)를 기준으로 구조물의 움직임을 측정하는 것이며, 구조물의 가장자리와 같이 이미지 상에서 주변환경과 구조물을 구분할 수 있는 점들로 정의될 수 있다. 또한, 유효 프레임은 기준 좌표(BC)로부터 시간에 따라 발생하는 움직임을 비교하여 투영 좌표(SC)가 기준 좌표(BC)에서 벗어난 경우의 이미지를 의미할 수 있다. That is, the motion of the structure is determined by measuring the motion of the structure based on the reference coordinates (BC), and may be defined as points that can distinguish the structure from the surrounding environment on the image, such as the edge of the structure. In addition, the effective frame may refer to an image when the projected coordinates SC deviate from the reference coordinates BC by comparing movement occurring over time from the reference coordinates BC.
설명한 바와 같이 정의된 기준 좌표(BC) 기준으로 2차원 이미지로 투영된 투영 좌표(SC)를 기준 좌표(BC)와 비교하여 구조물의 거동 여부를 판단할 수 있으며, 거동이 발생한 프레임만을 유효 프레임으로 인식할 수 있다As described above, the motion of the structure can be determined by comparing the projected coordinates (SC) projected into a 2D image based on the defined reference coordinates (BC) with the reference coordinates (BC). can recognize
이때, 유효 좌표는 앞서 획득한 투영 좌표(SC) 중에서 움직임이 발생한 좌표를 연결하여 구조물의 거동을 웨이블릿(wavelet)으로 변환한 것을 의미한다. In this case, the effective coordinate means that the behavior of the structure is converted into a wavelet by connecting the coordinates where the movement occurs among the previously acquired projection coordinates SC.
여기서, 유효 프레임을 결정하기 위해 2차원 이미지 포커스 후방에 위치한 이미지는 가중치를 낮추고 2차원 이미지 포커스 전방에 위치한 이미지는 가중치를 높여 유효 프레임을 결정할 수 있다. 즉, 초점에 가까운 데이터에 가중치를 부여함으로써 이미지 노이즈를 줄일 수 있다. Here, in order to determine an effective frame, an image positioned behind the focus of the 2D image may have a lower weight and an image positioned in front of the focus of the 2D image may have an increased weight. That is, image noise can be reduced by weighting data close to the focus.
이때, 유효 프레임을 결정하기 위한 딥러닝 알고리즘은 Convolutional Neural Networks(CNN), Boltzmann Machines, Belief Network, Recurrent Neural Networks, Auto-encoders, GANs(Generative Adversarial Networks)와 같은 딥러닝 알고리즘을 활용할 수 있다. 여기서 CNN 다음에 최대풀링계층(Max Pooling layer)과 드랍아웃 비율이 다른 드랍아웃계층(Drop-out layer)은 기록된 거동을 분류하고 전이학습계층(Transfer learning System, FC)을 활용하여 거동을 식별할 수 있다. In this case, deep learning algorithms such as Convolutional Neural Networks (CNN), Boltzmann Machines, Belief Networks, Recurrent Neural Networks, Auto-encoders, and Generative Adversarial Networks (GANs) may be used as the deep learning algorithm for determining the effective frame. Here, a drop-out layer with a different drop-out ratio and a Max Pooling layer after the CNN classify the recorded behavior and identify the behavior by utilizing the transfer learning system (FC). can do.
이와 같이 촬영된 영상에서 유효 프레임을 추출하면 유효 프레임에 대한 광학 흐름(Optical flow)을 추정할 수 있다. By extracting an effective frame from the photographed image as described above, an optical flow for the effective frame may be estimated.
광학 흐름이란, 촬영된 영상 내 구조물과 배경이 구분될 수 있는 구조물의 가장자리에서의 움직임을 추정하는 것을 의미한다. 도 6에 도시된 바와 같이 움직이는 물체가 있을 때, 시간 t에서 좌표 (x, y)에 위치한 물체가 이후의 시간 t+1에서 위치할 좌표를 추정하도록 영상에서 인접한 이미지에 나타나는 명암의 변화를 고려하여 물체의 움직임을 추정할 수 있는 알고리즘이다. 광학 흐름을 추정하기 위한 유효 프레임은 3차원의 3차원 이미지에서 추출한 2차원의 2차원 이미지를 통해 수행될 수 있으며, 딥러닝 알고리즘을 통해 추정할 수 있다. Optical flow means estimating motion at the edge of a structure in which a structure and a background in a photographed image can be distinguished. As shown in FIG. 6, when there is a moving object, consider the change in contrast appearing in adjacent images in the image to estimate the coordinates at which the object located at coordinates (x, y) at time t will be located at a later time t + 1 It is an algorithm capable of estimating the motion of an object. An effective frame for estimating the optical flow may be performed through a 2-dimensional 2-dimensional image extracted from a 3-dimensional 3-dimensional image, and may be estimated through a deep learning algorithm.
유효 프레임에 대한 광학 흐름을 추정하는 딥러닝 알고리즘으로는 예를 들어, FlowNet 또는 FlowNet2을 이용할 수 있다. FlowNet 또는 FlowNet2는, 앞서 유효 좌표를 통해 구조물의 거동을 웨이블릿(wavelet)으로 변환된 서로 다른 유효 프레임을 적층하고 9개의 합성곱 계층(Convolution layer)이 있는 일반 네트워크(Generic Network)를 통과하면서 네트워크가 구조물의 거동 정보를 추출하기 위해 이미지 쌍(pair)을 처리하는 방법을 스스로 결정할 수 있도록 하는 알고리즘이다. For example, FlowNet or FlowNet2 may be used as a deep learning algorithm for estimating the optical flow for an effective frame. FlowNet or FlowNet2 stacks different effective frames in which the behavior of the structure has been transformed into wavelets through effective coordinates and passes through a generic network with 9 convolution layers, so that the network becomes It is an algorithm that allows itself to decide how to process image pairs to extract structure behavior information.
여기서 적층하는 서로 다른 유효 프레임은 시간흐름에 따른 연속적인 이미지일 수 있으며, 다르게는 서로 대응되는 연속 이미지일 수 있다. Here, the different effective frames stacked may be successive images according to the lapse of time, or may be successive images corresponding to each other.
FlowNet-S에서는 첫 번째 계층은 
구체적으로, FlowNet-S는 투영 좌표(SC)의 정확도를 개선할 수 있다. 이미지의 해상도에 따라 구조물 가장자리를 형성하는 라인이 부정확할 수 있는데, 이를 FlowNet-S를 통해 배경과 구조물의 경계를 확실하게 구분하도록 하며, 투영 좌표(SC)가 보다 명확하게 투영될 수 있도록 하여 광학 흐름이 보다 정확하게 추정될 수 있도록 한다. Specifically, FlowNet-S can improve the accuracy of projected coordinates (SC). Depending on the resolution of the image, the line forming the edge of the structure may be inaccurate. Through FlowNet-S, the background and the boundary of the structure can be clearly distinguished, and the projection coordinates (SC) can be projected more clearly so that optical Allows flow to be estimated more accurately.
FlowNet-C는 두 개의 이미지를 직접 적층하는 대신에, 먼저 두 이미지를 세 개의 합성곱 계층(Convolution layer)에 개별적으로 공급한 후 correlation layer와 함께 결합한다. 남은 6개의 합성곱 계층 이후에 개선작업이 추가되면서 유효 프레임의 광학 흐름이 산출될 수 있다. Instead of directly stacking two images, FlowNet-C first feeds the two images individually into three convolution layers and then combines them together with a correlation layer. The optical flow of the effective frame can be calculated by adding improvement work after the remaining 6 convolution layers.
FlowNet2는 FlowNet을 기반으로 앞서 설명한 FlowNet-C와 FlowNet-S를 적층하고 작은 거동에 특화된 sub-network를 통합하여 기존의 FlowNet의 정확도와 속도를 향상한다는 효과가 있다. FlowNet2 has the effect of improving the accuracy and speed of the existing FlowNet by stacking the previously described FlowNet-C and FlowNet-S based on FlowNet and integrating a sub-network specialized for small behavior.
구체적으로, 3차원 이미지로부터 획득한 유효 프레임에 FlowNet(or FlowNet2 등)을 적용할 경우, 획득한 유효 프레임에서의 투영 좌표(SC) 결과 신뢰성이 향상될 수 있다. Specifically, when FlowNet (or FlowNet2, etc.) is applied to an effective frame obtained from a 3D image, reliability of projection coordinates (SC) results in the obtained effective frame can be improved.
이와 같이 유효 프레임에 대한 광학 흐름을 추정하면, 추정된 광학 흐름에 기반하여 유효 프레임에 나타난 구조물의 건전성을 결정할 수 있다. If the optical flow for the effective frame is estimated in this way, the integrity of the structure displayed in the effective frame can be determined based on the estimated optical flow.
구조물의 건전성을 결정하기 전에, 추출된 유효 프레임에 흔들림이 있는지에 따라 흔들림을 보정할 수 있다. 촬영장치(100)로 구조물을 촬영하는 과정에서 지면의 진동이나 바람과 같은 촬영장치(100)가 설치된 환경적 요인에 의하여 촬영장치(100)에 흔들림이 발생할 수 있다. 이러한 촬영장치(100)의 흔들림은 구조물 거동과 혼재될 수 있으며, 이로 인해 구조물 건전성을 산출하는 과정에서 오차로 유발될 수 있다. 따라서 촬영장치(100) 흔들림 오차를 제거하기 위해 촬영장치(100)에 촬영장치(100)의 거동을 측정할 수 있는 거동측정센서를 설치할 수 있다. Before determining the soundness of the structure, shake can be corrected according to whether there is shake in the extracted effective frame. In the process of photographing a structure with the photographing
또한, 촬영장치(100)에는 잡음을 가지는 영상(이미지)의 잡음을 제거하고, 영상 내 패턴을 인식하기 위한 프로그램 중 하나인 웨이블릿 필터(wavelet filter)가 포함되어 구조물의 거동에 대한 신호를 개선할 수 있다. In addition, the photographing
결론적으로, 촬영장치(100)를 이용하여 촬영하는 경우, 주변 환경의 변화(예: 지진, 바람 등)에 의해 촬영장치(100)가 흔들릴 수 있다. 따라서, 촬영장치(100)가 촬영한 이미지에 구조물의 거동뿐 아니라 촬영장치(100)의 흔들림이 포함되어 촬영될 수 있는 것이다. 이때, 촬영장치(100)에 웨이블릿 필터를 설치하고, 설치된 웨이블릿 필터를 통해 촬영장치(100)의 움직임만을 제거할 수 있도록 하여 구조물의 건전성을 판단할 수 있는 유효 프레임을 획득할 수 있도록 한다. In conclusion, when taking pictures using the photographing
이와 같이 2차원 이미지로 표현된 유효 프레임의 흔들림을 보정한 후, 2차원 이미지에서 실제 좌표를 추출하기 위해 다시 호모그래피 행렬 전환법을 이용하여 실제 좌표를 변환할 수 있다. In this way, after correcting the shaking of the effective frame represented by the 2D image, the real coordinates may be converted using the homography matrix conversion method again to extract the real coordinates from the 2D image.
여기서, 실제 좌표(X)는 2차원 이미지의 스케일, 호모그래피 행렬을 이용한 변환 행렬 및 2차원 이미지의 픽셀을 이용하여 추출한 이미지 좌표를 순차적으로 곱하여 도출할 수 있다.Here, the actual coordinates (X) may be derived by sequentially multiplying the scale of the 2D image, the transformation matrix using the homography matrix, and the image coordinates extracted using pixels of the 2D image.
식 (1) 참고See equation (1)
즉, 실제 좌표를 추출하기 위해 3차원 영상에 호모그래피 행렬 전환법을 적용하여 2차원 이미지를 추출한다. 추출한 2차원 이미지에 다시 호모그래피 행렬 전환법을 적용하여 실제 좌표를 추출할 수 있도록 하는 것이다. That is, in order to extract real coordinates, a 2D image is extracted by applying a homography matrix conversion method to a 3D image. It is to apply the homography matrix conversion method again to the extracted 2D image so that the actual coordinates can be extracted.
도 8에 도시된 바와 같이, 구조물의 변위가 발생하는 관심 영역에 위치한 구조물의 영상을 촬영한다. 촬영된 영상은 3차원 이므로 이미지 캘리브레이션 중 호모그래피 행렬 전환법을 3차원 영상에 적용하여 움직임을 대변할 수 있는 투영 좌표(SC)의 시간에 대한 변화값을 획득할 수 있다(도 8의 (a) 참고: 이미지 변환_캘리브레이션). As shown in FIG. 8 , an image of a structure located in a region of interest where displacement of the structure occurs is captured. Since the captured image is 3D, the homography matrix conversion method during image calibration can be applied to the 3D image to obtain a change value with respect to time of projection coordinates (SC) that can represent motion (FIG. 8 (a ) Note: image conversion_calibration).
획득한 투영 좌표(SC)를 호모그래피 행렬에 다시 대입하여 실제 구조물을 나타내는 실제 좌표로 변환하게 된다.The acquired projected coordinates (SC) are substituted into the homography matrix again to be converted into real coordinates representing the real structure.
이후, 이미지 캘리브레이션으로 추출한 투영 좌표(SC)와 실제 좌표 사이의 거리를 계산하여 실제 구조물이 거동한 변위를 계산하도록 한다. 이때, 실제 구조물의 거동 변위는 가우시안 필터(Gaussian Kernel)에 적용할 수 있다.Thereafter, the distance between the projected coordinates (SC) extracted by image calibration and the actual coordinates is calculated to calculate the displacement of the actual structure. At this time, the behavioral displacement of the actual structure can be applied to a Gaussian filter (Gaussian Kernel).
가우시안 필터(Gaussian Kernel)란 다음의 식으로 표현된다.A Gaussian filter is expressed by the following equation.
식 (3) Equation (3)
여기서, w와 h는 이미지의 너비와 높이이며, 
정리하면, 2차원의 이미지에서 추출한 투영 좌표(SC)를 통해 거동이 발생한 유효 좌표를 추출하고, 유효 좌표가 추출된 이미지만을 유효 프레임으로 설정할 수 있다. 이러한 유효 프레임 설정은 전체 영상(이미지)에서 필요한 영역만을 추출하는 것이므로 구조물 거동을 확인하고자 하는 영상의 크기(사이즈)를 최소화할 수 있다. In summary, effective coordinates where behavior has occurred can be extracted through projected coordinates (SC) extracted from a two-dimensional image, and only images from which effective coordinates have been extracted can be set as valid frames. Since this valid frame setting extracts only the necessary area from the entire image (image), the size (size) of the image to check the behavior of the structure can be minimized.
특히, 유효프레임으로 추출한 구조물이 거동하는 프레임만 있는 이미지에서 구조물의 거동을 보다 정확하게 추적할 수 있게 된다. 앞서 설명한 바와 같이, 촬영된 영상 내 구조물과 배경이 구분될 수 있는 구조물의 가장자리에서의 움직임을 추정하는 것을 의미하는 광학 흐름을 통해 획득한 구조물의 움직임은 구조물 가장자리에서의 움직임일 수 있다. In particular, it is possible to more accurately track the behavior of a structure in an image having only a frame in which a structure extracted as an effective frame moves. As described above, the motion of a structure acquired through optical flow, which means estimating motion at the edge of a structure in which a structure and a background in a photographed image can be distinguished, may be a motion at the edge of a structure.
이때, 구조물의 건전성(d)은 보다 구체적으로 다음의 식으로 계산될 수 있다. At this time, the soundness (d) of the structure can be more specifically calculated by the following equation.
식 (4)Equation (4)
여기서, Xi와 Xo는 이미지 픽셀의 현재 위치 좌표 및 원본 위치좌표이고, *은 요소 별 곱셈 연산자인일 수 있다. Here, X i and X o are the current location coordinates and original location coordinates of image pixels, and * may be an element-by-element multiplication operator.
구체적으로, Xo: 실제 구조물을 촬영한 이미지의 프레임에서 좌표(Original coordinate)를 의미하고, Xi: 실제 구조물을 촬영한 이미지의 i번째 프레임에서 좌표를 의미할 수 있다. 따라서, Xo-Xi 는 변위 벡터를 의미할 수 있다. Specifically, X o : coordinates in a frame of an image capturing an actual structure, and X i : coordinates in an i-th frame of an image capturing an actual structure. Accordingly, X o -X i may mean a displacement vector.
데이터 획득부(220)는 모델 학습을 위한 입력 데이터를 획득할 수 있다. 이러한 데이터 획득부(220)는 가공되지 않는 입력 데이터를 획득할 수 있으며, 이 경우 프로세서(260) 또는 러닝 프로세서(230)에서 획득한 입력 데이터를 전처리하여 모델 학습에 입력이 가능한 훈련 데이터 또는 전처리된 입력 데이터를 생성할 수 있도록 한다. The data acquisition unit 220 may acquire input data for model learning. The data acquisition unit 220 may acquire raw input data. In this case, the input data obtained from the
여기서, 입력 데이터에 대한 전처리는 입력 데이터로부터 입력 특징점(input feature)을 추출하는 것을 의미한다. Here, the preprocessing of the input data means extracting input features from the input data.
또한, 메모리(240)는 촬영장치(100)에서 촬영한 영상 데이터를 저장할 수 있으며, 이외에 서버(200)에서 수행하는 다양한 기능을 지원하는 데이터를 저장한다. In addition, the memory 240 may store image data taken by the photographing
예를 들어 메모리(240)는 촬영장치(100)에서 촬영한 영상 데이터를 통해 구조물의 위치가 변경되었는지를 확인할 수 있는 유효 프레임을 추출하는 명령어, 추출된 유효 프레임을 기초로 구조물의 변위를 판단할 수 있는 명령어, 러닝 프로세서(230)가 동작하기 위한 데이터 등을 저장할 수 있다. For example, the memory 240 provides a command for extracting an effective frame capable of confirming whether the location of a structure has changed through image data captured by the photographing
이러한 메모리(240)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수도 있다. The memory 240 may store the learned model by dividing it into a plurality of versions according to the learning time or learning progress, if necessary.
이때, 메모리(240)는 데이터 획득부(220)에서 획득한 입력 데이터, 모델 학습을 위한 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 더 저장할 수도 있다. In this case, the memory 240 may further store input data acquired by the data acquisition unit 220, learning data (or training data) for model learning, and a learning history of the model.
이와 같이 메모리(240)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐 아니라 가공되지 않은 입력 데이터 그 자체가 될 수도 있다. In this way, the input data stored in the memory 240 may be not only processed data suitable for model learning but also unprocessed input data itself.
데이터 베이스(242)는 데이터 획득부(220)에서 획득한 영상 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장한다.The database 242 stores image data acquired by the data acquisition unit 220, learning data (or training data) used for model learning, and a learning history of the model.
이러한 데이터 베이스(242)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.The input data stored in the database 242 may be not only processed data suitable for model learning, but also unprocessed input data itself.
프로세서(260)는 앞서 설명된 응용 프로그램과 관련한 동작 이외에 통상적으로 서버(200)의 전반적인 동작을 제어할 수 있다. 프로세서(260)는 앞서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(240)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.The
또한, 프로세서(260)는 데이터 분석 및 기계 학습 알고리즘을 사용하여 결정되거나, 생성된 정보에 기초하여 서버(200)의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위해 프로세서(260)는 러닝 프로세서(230)의 데이터를 요청하거나 검색하고 수신할 수 있으며, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나 바람직한 것으로 판단되는 동작하도록 서버(200)를 제어할 수도 있다. In addition, the
프로세서(260)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템에 적용될 수 있다.
또한, 프로세서(260)는 촬영장치(100)에서 촬영한 구조물 영상 정보를 수집하여 메모리(240)에 저장할 수 있다. 프로세서(260)에 저장된 구조물 영상 정보와 기 저장된 사용 히스토리 정보 및 예측 모델링을 사용하여 특정 기능을 실행하기 위한 최상의 매치를 결정하게 된다. In addition, the
프로세서(260)는 특정 동작이 수행되는 경우, 데이터 분석 및 기계 학습 알고리즘 및 기법을 통해 특정 동작의 실행을 나타내는 이력 정보를 분석하고, 분석된 정보에 기초하여 이전에 학습 한 정보의 업데이트를 수행 할 수 있다.When a specific operation is performed, the
따라서 프로세서(260)는 러닝 프로세서(230)와 함께 업데이트 된 정보에 기초하여 데이터 분석 및 기계 학습 알고리즘 및 기법의 미래 성능의 정확성을 향상시킬 수 있다.Accordingly,
도 8은 본 발명의 실시 예에 따라 구조물의 건전성 경보 과정을 도시한 도면이고, 도 9는 본 발명의 실시 예에 따른 지리정보시스템을 이용한 구조물의 건전성 경보를 예시한 예시도이다. 8 is a diagram illustrating a structure health warning process according to an embodiment of the present invention, and FIG. 9 is an exemplary diagram illustrating a structure health warning using a geographic information system according to an embodiment of the present invention.
도면을 참고하면, 구조물 건전성 경보 과정은 우선 교량, 대형 건물 등의 구조물을 촬영한 영상 데이터를 획득할 수 있다.Referring to the drawing, in the structure health warning process, first, image data obtained by photographing structures such as bridges and large buildings may be acquired.
획득한 데이터는 3차원 이미지는 구조물의 형상을 나타내는 것일 뿐 구조물의 변위를 나타내지는 못한다. 따라서, 촬영된 3차원 이미지를 2차원 이미지로 보정해야 구조물의 변위를 변화를 계산할 수 있다. 이를 위해 촬영된 영상은 이미지 보정이 수행될 수 있다. The 3D image of the obtained data only represents the shape of the structure, but does not represent the displacement of the structure. Therefore, a change in displacement of a structure can be calculated only when the captured 3D image is corrected with a 2D image. Image correction may be performed on the captured image for this purpose.
보정된 이미지는 구조물이 손상된 상태의 정보와 구조물이 손상되지 않은 정보로 분류되어 저장될 수 있다. 저장된 데이터는 구조물을 촬영한 이미지를 통해 구조물의 변위 상태를 추정할 수 있도록 훈련 데이터가 될 수 있다. The corrected image may be stored after being classified into information in which the structure is damaged and information in which the structure is not damaged. The stored data may be training data for estimating the displacement state of the structure through a photographed image of the structure.
앞서 설명한 바와 같이, 훈련 데이터는 구조물의 정위치를 기준할 수 있는 기준 좌표를 기준으로 촬영되어 수집된 이미지가 기준 좌표(BC)에서 벗어난 좌표가 발생한 이미지를 구조물이 손상된 상태의 정보라고 가정하고, 기준좌표(BC)와 동일한 좌표를 포함한 이미지를 구조물이 손상되지 않은 정보라고 가정한 값을 기초로 한다. As described above, the training data is taken based on reference coordinates that can refer to the correct position of the structure, and the collected image assumes that the image in which the coordinates deviate from the reference coordinates (BC) is information on the damaged state of the structure, The image including the same coordinates as the reference coordinates (BC) is based on the value assumed to be the information that the structure is not damaged.
이후, 촬영한 이미지를 훈련 데이터와 비교하여 구조물에서 변위가 발생하였는지를 평가할 수 있다. Thereafter, it may be evaluated whether displacement has occurred in the structure by comparing the captured image with the training data.
본 발명의 실시 예에서, 유효 프레임을 지리 시스템에 기반한 QGIS(Open Source Geographic Information System)에 입력할 수 있다. QGIS는 지리정보시스템(GIS)의 응용프로그램이며, 특히 변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력하면 지리 정보 상에 변위가 발생한 구조물이 표시될 수 있다. In an embodiment of the present invention, a valid frame may be input into QGIS (Open Source Geographic Information System) based on a geographic system. QGIS is a geographic information system (GIS) application program. In particular, if an image containing information about a displaced structure is input to QGIS, the displaced structure can be displayed on the geographic information.
이와 같이 변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력함으로써, 변위가 발생한 구조물이 위치한 지역의 지형정보를 기반으로 해당 지역의 환경적 조건을 고려하여 보다 정확한 구조물의 변위를 예측할 수 있다. In this way, by inputting an image containing information about a displaced structure into QGIS, it is possible to more accurately predict the displacement of a structure by considering the environmental conditions of the area based on the topographical information of the area where the displaced structure is located.
예컨대, 서버(200)에 저장된 저장 정보와 비교한 이미지에 포함된 구조물에서 변위가 발생하고, 변위가 발생한 구조물이 위치한 지역이 특정 지역에 집중될 수 있다. 이 경우, 변위 발생 지역을 "구조물 변위 발생이 발생할 지역"으로 가정할 수 있다. For example, a displacement may occur in a structure included in an image compared with stored information stored in the
가정한 "구조물 변위 발생이 발생할 지역"의 지형 정보를 QGIS를 기반으로 추정할 수 있으며, 추정한 지형 정보를 통해 구조물 변위 발생이 발생할 수 있는 이유를 추정할 수 있다. 또한, 지형 정보를 기반으로 구조물의 변위 범위 등을 예측하여 구조물 변위 발생 시 구조물의 보간 방법을 추출할 수 있다. The assumed topographical information of the "area where structural displacement will occur" can be estimated based on QGIS, and the reason why structural displacement can occur can be estimated through the estimated topographical information. In addition, a structure interpolation method can be extracted when a structure displacement occurs by predicting the displacement range of the structure based on topographical information.
이러한 정보는 앞서 설명된 외부 장치인 단말(300)로 전송되어 구조물의 변위를 측정하는 작업자에게 실시간으로 알릴 수 있다. 즉, 위험도가 발생한 구조물에 대한 정보를 알림으로써, 구조물에서 발생할 수 있는 사고를 미연에 방지할 수 있다. 또한, 지리 시스템을 기반으로 변위가 발생한 구조물의 위치를 단말(300)로 전송함으로써, 작업자가 구조물 변위에 따른 보간 방법을 지시할 수 있다. This information may be transmitted to the terminal 300, which is an external device described above, and notify the operator who measures the displacement of the structure in real time. That is, it is possible to prevent an accident that may occur in a structure in advance by notifying information on a structure having a risk level. In addition, by transmitting the position of the structure where the displacement has occurred to the terminal 300 based on the geographic system, the operator can instruct an interpolation method according to the displacement of the structure.
변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력하는 과정을 도 6을 참고하여 살펴보면, ADO(Activex Data Objects)를 기반으로 변위가 발생한 구조물 정보를 포함하는 이미지를 저장할 수 있다. 이후, 사용자가 ASP를 이용하여 데이터에 접근하여 변위가 발생한 구조물 정보를 포함하는 이미지에 대한 정보를 획득할 수 있다. Looking at the process of inputting an image containing information about a displaced structure into QGIS with reference to FIG. 6 , an image including information on a displaced structure can be saved based on ADO (Active Data Objects). Thereafter, the user may obtain information about an image including information about a structure in which displacement occurs by accessing data using ASP.
도 10은 본 발명의 실시 예에 따른 인공 지능 모델을 이용한 구조물 건전성 경보의 예시도이다. 10 is an exemplary view of a structure health warning using an artificial intelligence model according to an embodiment of the present invention.
도 10을 참고하면, 구조물을 촬영한 동영상으로부터 유효 프레임을 수집할 수 있다(단계 S110). Referring to FIG. 10 , effective frames may be collected from a moving picture of a structure (step S110).
이때, 유효 프레임은 다양한 구조물의 거동을 통해 구조물의 건전성을 판단해야 하므로 유효 프레임은 구조물이 손상된 상태의 정보와 손상되지 않은 상태의 정보를 포함할 수 있다. At this time, since the soundness of the structure must be determined through the behavior of various structures, the effective frame may include information on a damaged state and information on a non-damaged state.
유효 프레임을 추정하면 추정된 유효 프레임을 기반으로 구조물 건전성을 출력할 수 있다(단계 S120).If the effective frame is estimated, structure integrity may be output based on the estimated effective frame (step S120).
구체적으로, 촬영한 이미지를 기 설정된 광학 흐름 예측 모델에 입력할 수 있다. 이때, 광학 흐름 예측 모델은 구조물이 손상된 상태의 정보와 구조물이 손상되지 않은 정보로 레이블링된 데이터로 훈련될 수 있다. Specifically, the captured image may be input to a preset optical flow prediction model. In this case, the optical flow prediction model may be trained with data labeled as information of a damaged structure and information of a non-damaged structure.
광학 흐름 예측 모델은 예를 들어 촬영한 이미지로부터 구조물이 손상된 상태의 정보와 구조물이 손상되지 않은 정보로 레이블링된 데이터를 샘플링하여 데이터셋(datasets)을 구성할 수 있다. 구성된 데이터셋에 촬영한 구조물 이미지에서 추출한 유효 이미지를 입력하여 데이터셋에서 대응하는 이미지를 응답값(출력값)으로 결정하여 촬영한 구조물의 변위 상태를 추정할 수 있는 학습모델이다. The optical flow prediction model may configure datasets by sampling, for example, data labeled as information on a structure being damaged and information on a structure not being damaged from a photographed image. It is a learning model that can estimate the displacement state of a photographed structure by inputting an effective image extracted from a photographed structure image into the constructed dataset and determining the corresponding image in the dataset as a response value (output value).
이후, 구조물의 건전성이 추정되면, 유효 프레임을 지리 시스템에 기반한 QGIS(Open Source Geographic Information System)에 입력할 수 있다(단계 S130).Then, if the soundness of the structure is estimated, a valid frame may be input into QGIS (Open Source Geographic Information System) based on a geographic system (step S130).
QGIS는 지리정보시스템(GIS)의 응용프로그램이며, 특히 변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력하면 지리 정보 상에 변위가 발생한 구조물이 표시될 수 있다. QGIS is a geographic information system (GIS) application program. In particular, if an image containing information about a displaced structure is input to QGIS, the displaced structure can be displayed on the geographic information.
이와 같이 변위가 발생한 구조물 정보를 포함하는 이미지를 QGIS에 입력함으로써, 변위가 발생한 구조물이 위치한 지역의 지형정보를 기반으로 해당 지역의 환경적 조건을 고려하여 보다 정확한 구조물의 변위를 예측할 수 있다. In this way, by inputting an image containing information about a displaced structure into QGIS, it is possible to more accurately predict the displacement of a structure by considering the environmental conditions of the area based on the topographical information of the area where the displaced structure is located.
이상과 같이 건전성이 발생할 수 있는 구조물을 촬영하고, 딥러닝 알고리즘을 이용하여 촬영된 영상을 통해 구조물의 건전성을 관측할 수 있도록 한다. 이때, 구조물에 구조물 변위를 측정하는 장치를 별도로 설치하지 않고도 구조물의 건전성을 측정할 수 있으므로 구조물 건전성을 평가하기 위한 장치 설치 비용을 효과적으로 절감할 수 있다. As described above, a structure in which soundness may occur is photographed, and the soundness of the structure can be observed through the captured image using a deep learning algorithm. At this time, since the soundness of the structure can be measured without separately installing a device for measuring the displacement of the structure, the cost of installing a device for evaluating the soundness of the structure can be effectively reduced.
또한, 본 발명의 구조물 변위 관측은 인공지능 기술을 이용하여 구조물 변위를 예측할 수 있다. 이로써, 구조물의 변위를 보다 빠르게 측정할 수 있어 구조물에 발생 가능한 문제를 미연에 방지할 수 있다. In addition, the structure displacement observation of the present invention can predict the structure displacement using artificial intelligence technology. As a result, the displacement of the structure can be measured more quickly, and problems that may occur in the structure can be prevented in advance.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed on a computer through various components, and such a computer program may be recorded on a computer-readable medium. At this time, the medium is a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and a ROM hardware devices specially configured to store and execute program instructions, such as RAM, flash memory, and the like.
한편, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. An example of a computer program may include not only machine language code generated by a compiler but also high-level language code that can be executed by a computer using an interpreter or the like.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification of the present invention (particularly in the claims), the use of the term "above" and similar indicating terms may correspond to both singular and plural. In addition, when a range is described in the present invention, it includes the invention to which individual values belonging to the range are applied (unless there is a description to the contrary), as if each individual value constituting the range was described in the detailed description of the invention. .
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 따른 방법들에 포함된 단계들은 프로세서 또는 해당 단계의 기능을 수행하기 위한 모듈들을 통해서 수행될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The steps may be performed in any suitable order, provided that the order of steps constituting the method according to the present invention is not explicitly stated or stated to the contrary. The present invention is not necessarily limited by the order of description of the steps. In addition, the steps included in the methods according to the present invention may be performed by a processor or modules for performing the functions of the steps. The use of all examples or exemplary terms (eg, etc.) in the present invention is simply to explain the present invention in detail, and the scope of the present invention is limited due to the above examples or exemplary terms that are not limited by the claims. It is not. In addition, those skilled in the art can appreciate that various modifications, combinations and changes can be made according to design conditions and factors within the scope of the appended claims or equivalents thereof.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments and should not be determined, and not only the claims described below but also all ranges equivalent to or equivalent to these claims belong to the scope of the spirit of the present invention. will do it
Claims (11)
건전성을 판단하기 위한 구조물을 촬영한 영상으로부터 상기 구조물 건전성을 추정하기 위한 유효 프레임을 수집하는 단계;
상기 구조물 건전성 정보를 출력하도록 훈련된 딥러닝을 기반하여 생성된 광학 흐름 예측 모델에 상기 유효 프레임을 입력하여 상기 구조물 건전성 정도를 출력하는 단계;
상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태를 지리 시스템에 기반하여 관측하는 단계; 및
관측한 상기 구조물 건전성 상태를 알리는 단계를 포함하는,
구조물 건전성 경보 방법.
As a method of informing structural health,
Collecting valid frames for estimating the soundness of the structure from images of the structure for determining the soundness;
outputting the degree of structural integrity by inputting the effective frame to an optical flow prediction model generated based on deep learning trained to output the structural integrity information;
Observing the state of health of the structure output by the optical flow prediction model based on a geographic system; and
Including the step of informing the observed structure health state,
Structural health alert method.
상기 광학 흐름 예측 모델을 훈련하기 위한 훈련 데이터를 생성하는 단계를 포함하고,
상기 훈련 데이터를 생성하는 단계는,
상기 구조물을 촬영한 3차원의 이미지를 2차원의 이미지로 보정하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 1,
generating training data for training the optical flow prediction model;
Generating the training data,
Comprising the step of correcting the three-dimensional image of the structure into a two-dimensional image,
Structure sound line alarm method.
상기 보정하는 단계는,
상기 3차원 이미지에서 임의의 좌표를 선택하는 단계; 및
상기 임의의 좌표를 기준으로 상기 2차원 이미지에 투영되는 투영 좌표를 생성하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 2,
The correcting step is
selecting an arbitrary coordinate in the 3D image; and
Generating projection coordinates projected on the two-dimensional image based on the arbitrary coordinates,
Structure sound line alarm method.
상기 투영 좌표를 생성한 단계 이후에,
상기 2차원 이미지의 스케일, 호모그래피 행렬을 이용한 변환 행렬 및 상기 투영 좌표를 순차적으로 곱하여 실제 좌표를 추출하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 3,
After generating the projected coordinates,
Extracting real coordinates by sequentially multiplying the scale of the two-dimensional image, a transformation matrix using a homography matrix, and the projection coordinates,
Structure sound line alarm method.
상기 출력하는 단계는,
상기 실제 좌표를 가우시안 필터(Gaussian Kernel)에 적용하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 3,
The outputting step is
Including applying the real coordinates to a Gaussian filter (Gaussian Kernel),
Structure sound line alarm method.
상기 수집하는 단계는,
상기 2차원 이미지에서 특징점(feature detection)을 기반으로 하는 투영 좌표를 추출하는 단계를 포함하고,
상기 출력하는 단계는,
기 저장된 기준 좌표와 상기 투영 좌표를 비교하여 상기 투영 좌표의 이동을 판단하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 2,
The collecting step is
Extracting projection coordinates based on feature detection from the two-dimensional image;
The outputting step is
Comprising the step of determining the movement of the projected coordinates by comparing the previously stored reference coordinates with the projected coordinates,
Structure sound line alarm method.
상기 출력하는 단계는
상기 2차원 이미지의 포커스 후방에 위치한 이미지는 가중치를 낮추고, 상기 2차원 이미지의 포커스 전방에 위치한 이미지는 가중치를 높이는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 6,
The output step is
Lowering the weight of an image located behind the focus of the two-dimensional image and increasing the weight of an image located in front of the focus of the two-dimensional image.
Structure sound line alarm method.
상기 출력하는 단계는,
상기 유효 프레임의 흔들림을 보정하는 단계;
흔들림이 보정된 상기 유효 프레임들을 미리 훈련된 상기 광학 흐름 추정 예측 모델에 입력하는 단계를 포함하는,
구조물 건전선 경보 방법.
According to claim 1,
The outputting step is
correcting shaking of the effective frame;
Including the step of inputting the shake-corrected valid frames to the pre-trained optical flow estimation prediction model,
Structure sound line alarm method.
상기 관측하는 단계는,
QGIS(Open Source Geographic Information System)를 기반하는,
구조물 건전선 경보 방법.
According to claim 1,
The observation step is
Based on QGIS (Open Source Geographic Information System),
Structure sound line alarm method.
상기 관측하는 단계 이후에,
상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태가 기 설정된 기준에서 벗어난 경우 상기 구조물 건전성 상태를 외부 장치로 전송하는 단계를 더 포함하는,
구조물 건전선 경보 방법.
According to claim 1,
After the above observation step,
Further comprising the step of transmitting the structure integrity state outputted by the optical flow prediction model to an external device when the structure integrity state is out of a predetermined criterion.
Structure sound line alarm method.
적어도 하나의 프로세서; 및
상기 프로세서와 동작 가능하게 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서로 하여금,
건전성을 판단하기 위한 구조물을 촬영한 영상으로부터 상기 구조물 건전성을 추정하기 위한 유효 프레임을 수집하고, 상기 구조물 건전성 정보를 출력하도록 훈련된 딥러닝을 기반하여 생성된 광학 흐름 예측 모델에 상기 유효 프레임을 입력하여 상기 구조물 건전성 정도를 출력한 후, 상기 광학 흐름 예측 모델이 출력한 상기 구조물 건전성 상태를 지리 시스템에 기반하여 관측하고, 관측한 상기 구조물 건전성 상태를 알리기 위한 코드를 저장하는,
구조물 건전성 경보 시스템.
As a system to inform structural health (Structural Health),
at least one processor; and
a memory operatively connected to the processor and storing at least one code executed by the processor;
When the memory is executed by the processor, it causes the processor to:
Collect effective frames for estimating the structural integrity from images taken of structures for determining the structural integrity, and input the effective frames to the optical flow prediction model generated based on deep learning trained to output the structural integrity information. After outputting the degree of structural integrity, observing the structural integrity output by the optical flow prediction model based on a geographic system, and storing a code for notifying the observed state of structural integrity,
Structural health alert system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102045A KR102600548B1 (en) | 2021-08-03 | 2021-08-03 | System for warning of structural and method ithereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102045A KR102600548B1 (en) | 2021-08-03 | 2021-08-03 | System for warning of structural and method ithereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230020220A true KR20230020220A (en) | 2023-02-10 |
| KR102600548B1 KR102600548B1 (en) | 2023-11-09 |
Family
ID=85223575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210102045A KR102600548B1 (en) | 2021-08-03 | 2021-08-03 | System for warning of structural and method ithereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102600548B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117607959A (en) * | 2023-11-14 | 2024-02-27 | 哈尔滨工业大学 | Medical system earthquake response monitoring method based on monocular monitoring |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101480955B1 (en) * | 2013-09-26 | 2015-01-14 | 전남대학교산학협력단 | System and method for measuring displacement of floating structure using a moving image |
| KR101885356B1 (en) * | 2016-05-04 | 2018-08-03 | 임재형 | Apparatus for determining position information of object and method thereof |
| JP2018136191A (en) * | 2017-02-21 | 2018-08-30 | 株式会社竹中工務店 | Measurement device, soundness determination device, and building management system |
| WO2019054419A1 (en) * | 2017-09-12 | 2019-03-21 | 日本電気株式会社 | State determining device, state determining method, and computer-readable recording medium |
| KR102056564B1 (en) * | 2019-03-27 | 2019-12-16 | 주식회사 지오플랜코리아 | Method And Apparatus for Managing Facility by using Machine Vision |
-
2021
- 2021-08-03 KR KR1020210102045A patent/KR102600548B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101480955B1 (en) * | 2013-09-26 | 2015-01-14 | 전남대학교산학협력단 | System and method for measuring displacement of floating structure using a moving image |
| KR101885356B1 (en) * | 2016-05-04 | 2018-08-03 | 임재형 | Apparatus for determining position information of object and method thereof |
| JP2018136191A (en) * | 2017-02-21 | 2018-08-30 | 株式会社竹中工務店 | Measurement device, soundness determination device, and building management system |
| WO2019054419A1 (en) * | 2017-09-12 | 2019-03-21 | 日本電気株式会社 | State determining device, state determining method, and computer-readable recording medium |
| KR102056564B1 (en) * | 2019-03-27 | 2019-12-16 | 주식회사 지오플랜코리아 | Method And Apparatus for Managing Facility by using Machine Vision |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117607959A (en) * | 2023-11-14 | 2024-02-27 | 哈尔滨工业大学 | Medical system earthquake response monitoring method based on monocular monitoring |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102600548B1 (en) | 2023-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230351573A1 (en) | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges | |
| US11893538B1 (en) | Intelligent system and method for assessing structural damage using aerial imagery | |
| CN113724259B (en) | Well lid abnormity detection method and device and application thereof | |
| CN111489354A (en) | Method and device for detecting bird nest on power tower, server and storage medium | |
| CN113505643B (en) | Method and related device for detecting violation target | |
| CN105607288A (en) | Intelligent glasses omnibearing vehicle part completeness detection method based on acoustic detection assistance | |
| CN111026115A (en) | Robot obstacle avoidance control method and device based on deep learning | |
| KR102563346B1 (en) | System for monitoring of structural and method ithereof | |
| Miao et al. | Deep learning‐based evaluation for mechanical property degradation of seismically damaged RC columns | |
| CN116563384A (en) | Image acquisition device calibration method, device and computer device | |
| KR102600548B1 (en) | System for warning of structural and method ithereof | |
| JP2009545223A (en) | Event detection method and video surveillance system using the method | |
| CN117194868B (en) | Surrounding rock deformation monitoring method and device, electronic equipment and storage medium | |
| CN117593702A (en) | Remote monitoring method, device, equipment and storage medium | |
| WO2021036669A1 (en) | Intelligent vibration detection method and related products | |
| Byun et al. | Vision-based virtual vibration sensor using error calibration convolutional neural network with signal augmentation | |
| CN116246200A (en) | Screen display information candid photographing detection method and system based on visual identification | |
| WO2022153432A1 (en) | Information processing device, information processing system, information processing method, and recording medium | |
| JP4673241B2 (en) | Moving object tracking device, moving object tracking method, and recording medium storing program realizing the method | |
| CN114549613A (en) | Structural displacement measuring method and device based on deep super-resolution network | |
| CN113326793A (en) | Long-distance pedestrian position identification method, system and storage medium | |
| JP2021071919A (en) | Road monitoring device | |
| CN113516703A (en) | Camera coverage detection method, device, equipment and storage medium | |
| CN110674764A (en) | Method, device and system for detecting exposed earthwork of construction site | |
| CN117058767B (en) | Training field monitoring method, training field monitoring equipment, storage medium and training field monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |