KR102494829B1 - Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method - Google Patents

Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method Download PDF

Info

Publication number
KR102494829B1
KR102494829B1 KR1020220057728A KR20220057728A KR102494829B1 KR 102494829 B1 KR102494829 B1 KR 102494829B1 KR 1020220057728 A KR1020220057728 A KR 1020220057728A KR 20220057728 A KR20220057728 A KR 20220057728A KR 102494829 B1 KR102494829 B1 KR 102494829B1
Authority
KR
South Korea
Prior art keywords
damage
image
building
value
severity
Prior art date
Application number
KR1020220057728A
Other languages
Korean (ko)
Inventor
김법렬
이동은
피터 다밀-롤라 오군진미
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020220057728A priority Critical patent/KR102494829B1/en
Application granted granted Critical
Publication of KR102494829B1 publication Critical patent/KR102494829B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

The present invention discloses a building damage evaluation method for evaluating a structural damage of a building using a convolutional neural network. Specifically, the building damage evaluation method, by transfer learning of a pre-trained neural network model, automatically classifies the structural damage of the building through a damage image of the building that has been impacted due to an earthquake. In addition, the building damage evaluation method evaluates a damage grade for each damage image in response to the automatically classified structural damage of the building.

Description

컨볼루션 신경망을 이용한 건물 손상 평가 방법 및 상기 방법을 수행하는 컴퓨팅 장치{STRUCTURE DAMAGE EVALUATION METHOD FOR USING THE CONVOLUTIONAL NEURAL NETWORK, AND COMPUTING APPARATUS FOR PERFORMING THE METHOD}Building damage evaluation method using convolutional neural network and computing device performing the method

본 발명은 건물 손상 평가 방법 및 컴퓨팅 장치에 관한 것으로, 보다 구체적으로는 컨볼루션 신경망을 이용하여 지진으로 의해 건물에 가해지는 구조적 손상(SD: Structural Damage)을 평가하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a building damage evaluation method and computing device, and more particularly, to a method and device for evaluating structural damage (SD) applied to a building by an earthquake using a convolutional neural network.

지진 발생으로 인한 건물 및 기반 시설의 피해 규모를 분류하는 것은 지진으로 인한 정찰을 강화하고 보다 안전하고 효과적인 복구 노력을 보장하는 데 필수적입니다. 일반적으로 지진으로 인한 재산 피해는 노동 집약적인 방법으로 수작업으로 기록된다. 수동 손상 검사는 시간이 많이 소요될 수 있으며 적절하게 훈련되지 않은 초보 검사자가 임의적인 판단을 내릴 수 있다.Classifying the extent of damage to buildings and infrastructure from earthquake events is essential to strengthen earthquake reconnaissance and ensure safer and more effective recovery efforts. Typically, property damage from earthquakes is documented manually, a labor-intensive method. Manual damage inspection can be time consuming and can lead to arbitrary judgments by novice inspectors who are not properly trained.

이러한 단점은 컴퓨터 비전 기술을 사용하는 완전 자동화된 검사로 해결한다. 자동화된 딥 러닝 방법은 지진으로 인한 구조적 손상(SD)을 실시간으로 신속하게 감지하고 분류할 수 있는 중요한 도구가 될 수 있다.This shortcoming is addressed by fully automated inspection using computer vision technology. Automated deep learning methods can be an important tool to rapidly detect and classify earthquake-induced structural damage (SD) in real time.

여기서, 딥러닝 방법은 이미지 하트맵을 이용하여 구조적 손상의 심각도를 정향화하는 접근 방식으로 지진 이후 피해 펴가 및 철골 손상 조사를 통해 구조적 손상을 자동을 분류하는 다중 클래스 손상 평가 접근 방식을 사용한다.Here, the deep learning method uses a multi-class damage assessment approach that automatically classifies structural damage through post-earthquake damage calculation and steel structure damage investigation as an approach to standardize the severity of structural damage using an image heartmap. .

그러나, 이러한 다중 클래스 손상 평가 접근 방식은 과적합으로 이어지는 데이터 세트 클래스 불균형, 다양한 문제를 해결하기 위한 CNN 아키텍처의 확장성 및 유연성 부족, 노이즈가 많은 훈련 데이터의 영향, CNN 아키텍처의 복잡성과 같은 단점이 존재한다.However, this multi-class damage evaluation approach has disadvantages such as dataset class imbalance leading to overfitting, lack of scalability and flexibility of CNN architecture to solve various problems, influence of noisy training data, and complexity of CNN architecture. exist.

본 발명은 나선형 신경망(CNN: Convolutional Neural Networks) 및 전이 학습(TL: Transfer Learning)을 사용하여 지진 후 건물에서 나타나는 구조적 손상을 보다 효율적으로 평가하는 건물 손상 평가 방법을 제공한다.The present invention provides a building damage evaluation method that more efficiently evaluates structural damage occurring in a building after an earthquake using convolutional neural networks (CNN) and transfer learning (TL).

본 발명은 지진으로 인한 구조적 손상을 자동으로 분류하여 건물의 피해 규모를 신속하게 파악이 가능함으로써, 지진 후 정찰을 강화하고 안전하고 효과적인 복구 노력을 보장하는 건물 손상 평가 방법을 제공한다.The present invention provides a building damage assessment method that automatically classifies structural damage caused by an earthquake and quickly grasps the scale of damage to a building, thereby enhancing post-earthquake reconnaissance and ensuring safe and effective restoration efforts.

본 발명의 일실시예에 따른 건물 손상 평가 방법은 지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하는 단계; 신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행하는 단계; 전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지 내 구조적 손상이 발생한 위치를 시각화 하는 단계; 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 단계; 및 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하는 단계; 를 포함할 수 있다.A building damage evaluation method according to an embodiment of the present invention includes the steps of applying a damage image of a building impacted by an earthquake to an image training model to perform neural network learning on structural damage formed in the building; performing transfer learning on an image evaluation model for evaluating whether or not a building is damaged using an image training model on which neural network learning has been performed; Visualizing a location where structural damage occurs in a damage image based on an image evaluation model on which transfer learning has been performed; Determining the damage severity according to the location in the visualized damage image; and evaluating a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the damage severity. can include

본 발명의 실시예에 따른 이미지 훈련 모델을 학습하는 단계는, 심층 신경망 기반의 각 계층에 따른 건물의 피해 이미지를 분석하는 단계; 분석 결과에 따라 건물에 형성된 구조적 손상에 관한 피해 이미지의 손상 레벨을 분류하는 단계; 피해 이미지의 손상 레벨에 대응하여 건물의 손상 패턴을 결정하는 단계; 및 상기 건물의 손상 패턴에 따른 건물에 형성된 구조적 손상을 파악하기 위한 이미지 훈련 모델을 학습하는 단계; 를 포함할 수 있다.The step of learning an image training model according to an embodiment of the present invention may include analyzing damage images of buildings according to each layer based on a deep neural network; Classifying a damage level of a damage image related to structural damage formed in a building according to an analysis result; Determining a damage pattern of the building in response to the damage level of the damage image; and learning an image training model for identifying structural damage formed in the building according to the damage pattern of the building. can include

본 발명의 실시예에 따른 건물의 피해 이미지를 분석하는 단계는, 상기 건물의 피해 이미지로부터 건물의 구조 요소 및 건물의 비구조 요소 중 적어도 하나에 형성된 박리, 균열, 붕괴, 파손 및 탈락 중 적어도 하나를 분석할 수 있다.Analyzing the damage image of the building according to an embodiment of the present invention may include at least one of delamination, cracking, collapse, damage, and detachment formed in at least one of a structural element of a building and a non-structural element of a building from the damage image of the building. can be analyzed.

본 발명의 실시예에 따른 건물의 피해 이미지는, 지진으로 인해 건물에 형성된 구조적 손상에 따른 서로 다른 손상 비율을 갖는 이미지일 수 있다.Damage images of a building according to an embodiment of the present invention may be images having different damage ratios according to structural damage formed on a building due to an earthquake.

본 발명의 실시예에 따른 전이 학습을 수행하는 단계는, 사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습할 수 있다.In the step of performing transfer learning according to an embodiment of the present invention, training weights of a pre-learned image training model are used as initial weights for transfer learning as evaluation weights of an image evaluation model for evaluating whether or not a building is damaged. transfer can be learned.

본 발명의 실시예에 따른 전이 학습을 수행하는 단계는, 이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지와 유사한 학습을 수행하는 건물의 특징 추출 기법, 및 이미지 훈련 모델의 훈련 가중치를 조정하는 미세 조정 기법 중 적어도 하나의 기법을 이용하여 이미지 평가 모델로 전이 학습을 수행할 수 있다.The step of performing transfer learning according to an embodiment of the present invention includes a feature extraction technique of a building that performs learning similar to a damaged image of a building used to learn an image training model, and fine tuning of training weights of the image training model. Transfer learning may be performed with the image evaluation model using at least one of the adjustment techniques.

본 발명의 실시예에 따른 구조적 손상이 발생한 위치를 시각화 하는 단계는, 피해 이미지에 그래디언트(Gradient)를 적용하여 학습된 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하는 단계; 관심 영역을 중심으로 열 분포 형태의 히트맵(Heat Map)을 생성하는 단계; 및 피해 이미지에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하는 단계; 를 포함할 수 있다.Visualizing a location where structural damage occurs according to an embodiment of the present invention includes determining a region of interest predicted by a damage pattern of the learned damage image by applying a gradient to the damage image; Generating a heat map in the form of heat distribution around the region of interest; and visualizing a location where structural damage occurs in the damage image by overlapping the heat map on the damage image. can include

본 발명의 실시예에 따른 히트맵을 생성하는 단계는, 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성할 수 있다.In the step of generating a heat map according to an embodiment of the present invention, a heat map expressed in a constant color may be generated in consideration of the intensity of each pixel of the damage image to which the gradient is applied.

본 발명의 실시예에 따른 손상 심각도를 결정하는 단계는, 히트맵이 오버랩 된 피해 이미지에 손상 평가치(DAV: Damage Assessment Value)를 할당하는 단계; 및 피해 이미지에 할당된 손상 평가치에 따라 시각화 된 위치의 손상 심각도를 결정하는 단계; 를 포함할 수 있다.Determining the damage severity according to an embodiment of the present invention may include allocating a damage assessment value (DAV) to a damage image in which a heat map overlaps; and determining a damage severity of the visualized location according to a damage evaluation value assigned to the damage image. can include

본 발명의 실시예에 따른 손상 등급을 평가하는 단계는, 시각화 된 피해 이미지 내 위치에 따른 손상 심각도 및 상기 위치에 해당하는 건물의 요소를 고려하여 피해 이미지 별로 손상 등급을 평가할 수 있다.In the step of evaluating the damage grade according to an embodiment of the present invention, the damage grade may be evaluated for each damage image in consideration of the damage severity according to the location in the visualized damage image and the element of the building corresponding to the location.

본 발명의 다른 실시예에 따른 건물 손상 평가 방법은 사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 지진에 의해 충격이 가해진 건물의 손상 여부를 평가하기 위한 전이 학습을 수행하는 단계; 전이 학습이 수행된 건물의 피해 이미지에 그래디언트를 적용하여 열 분포 형태의 히트맵을 생성하는 단계; 피해 이미지에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하는 단계; 히트맵이 오버랩 된 피해 이미지에 손상 평가치를 할당하여 구조적 손상이 발생한 위치의 손상 심각도를 결정하는 단계; 및 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하는 단계; 를 포함할 수 있다.A building damage evaluation method according to another embodiment of the present invention includes the steps of performing transfer learning to evaluate damage to a building impacted by an earthquake by applying a pre-learned damage image of a building to an image evaluation model; Generating a heat map in the form of a heat distribution by applying a gradient to a damage image of a building on which transfer learning has been performed; Overlapping a heat map on a damage image to visualize a location where structural damage occurs in the damage image; determining a damage severity at a location where structural damage occurs by assigning a damage evaluation value to a damage image in which a heat map overlaps; and evaluating a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the damage severity. can include

본 발명의 실시예에 따른 전이 학습을 수행하는 단계는, 지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하는 단계; 및 이미지 훈련 모델을 통해 사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 전이 학습을 수행하는 단계; 를 포함할 수 있다.The step of performing transfer learning according to an embodiment of the present invention may include: performing neural network learning on structural damage formed in a building by applying a damage image of a building subjected to impact due to an earthquake to an image training model; and performing transfer learning by applying damage images of buildings learned in advance through an image training model to an image evaluation model. can include

본 발명의 실시예에 따른 전이 학습을 수행하는 단계는, 사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습할 수 있다.In the step of performing transfer learning according to an embodiment of the present invention, training weights of a pre-learned image training model are used as initial weights for transfer learning as evaluation weights of an image evaluation model for evaluating whether or not a building is damaged. transfer can be learned.

본 발명의 실시예에 따른 전이 학습을 수행하는 단계는, 이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지와 유사한 학습을 수행하는 건물의 특징 추출 기법, 및 이미지 훈련 모델의 훈련 가중치를 조정하는 미세 조정 기법 중 적어도 하나의 기법을 이용하여 이미지 평가 모델로 전이 학습을 수행할 수 있다.The step of performing transfer learning according to an embodiment of the present invention includes a feature extraction technique of a building that performs learning similar to a damaged image of a building used to learn an image training model, and fine tuning of training weights of the image training model. Transfer learning may be performed with the image evaluation model using at least one of the adjustment techniques.

본 발명의 실시예에 따른 열 분포 형태의 히트맵을 생성하는 단계는, 피해 이미지에 그래디언트를 적용하여 학습된 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하는 단계; 및 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성하는 단계; 를 포함할 수 있다.Generating a heat map in the form of a thermal distribution according to an embodiment of the present invention may include determining a region of interest predicted as a damage pattern of the damaged image by applying a gradient to the damaged image; and generating a heat map in the form of a heat distribution around the region of interest. can include

본 발명의 실시예에 따른 히트맵을 생성하는 단계는, 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성할 수 있다.In the step of generating a heat map according to an embodiment of the present invention, a heat map expressed in a constant color may be generated in consideration of the intensity of each pixel of the damage image to which the gradient is applied.

본 발명의 일실시예에 따른 건물 손상 평가 방법을 수행하는 컴퓨팅 장치에 있어서, 상기 컴퓨팅 장치는 프로세서를 포함하고, 상기 프로세서는, 지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하고, 신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행하고, 전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지 내 구조적 손상이 발생한 위치를 시각화 하고, 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고, 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가할 수 있다.In a computing device for performing a building damage assessment method according to an embodiment of the present invention, the computing device includes a processor, and the processor applies a damage image of a building to which an impact due to an earthquake is applied to an image training model, Perform neural network learning on structural damage formed on the building, perform transfer learning as an image evaluation model to evaluate whether or not the building is damaged using the image training model on which the neural network learning was performed, and perform transfer learning on the image evaluation model on which the transfer learning was performed Based on this, it is possible to visualize the location of structural damage in the damage image, determine the damage severity according to the location in the visualized damage image, and evaluate the damage grade according to the impacted building element of each damage image in response to the damage severity. there is.

본 발명의 다른 실시예에 따른 건물 손상 평가 방법을 수행하는 컴퓨팅 장치에 있어서, 상기 컴퓨팅 장치는 프로세서를 포함하고, 상기 프로세서는, 사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 지진에 의해 충격이 가해진 건물의 손상 여부를 평가하기 위한 전이 학습을 수행하고, 전이 학습이 수행된 건물의 피해 이미지에 그래디언트를 적용하여 열 분포 형태의 히트맵을 생성하고, 피해 이미지에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하고, 히트맵이 오버랩 된 피해 이미지에 손상 평가치를 할당하여 구조적 손상이 발생한 위치의 손상 심각도를 결정하고, 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가할 수 있다.In a computing device for performing a building damage assessment method according to another embodiment of the present invention, the computing device includes a processor, and the processor applies a pre-learned damage image of a building to an image evaluation model to determine earthquake risk. Transfer learning is performed to evaluate the damage of the building impacted by the impact, and a heat map in the form of heat distribution is generated by applying a gradient to the damage image of the building on which the transfer learning has been performed, and the heat map is overlapped with the damage image. Visualize the location where structural damage occurred in the damage image, determine the damage severity of the location where structural damage occurred by assigning a damage assessment value to the damage image with overlapping heat maps, and respond to the damage severity to determine the impact of each damage image. It is possible to evaluate the damage grade according to the elements.

본 발명의 일실시예에 의하면, 건물 손상 평가 방법은 나선형 신경망(CNN: Convolutional Neural Networks) 및 전이 학습(TL: Transfer Learning)을 사용하여 지진 후 건물에서 나타나는 구조적 손상을 보다 효율적으로 평가할 수 있다.According to one embodiment of the present invention, the building damage evaluation method can more efficiently evaluate structural damage occurring in a building after an earthquake using convolutional neural networks (CNN) and transfer learning (TL).

본 발명의 일실시예에 의하면, 건물 손상 평가 방법은 지진으로 인한 구조적 손상을 자동으로 분류하여 건물의 피해 규모를 신속하게 파악이 가능함으로써, 지진 후 정찰을 강화하고 안전하고 효과적인 복구 노력을 보장할 수 있다.According to one embodiment of the present invention, the building damage assessment method can automatically classify structural damage caused by an earthquake and quickly grasp the scale of damage to a building, thereby strengthening post-earthquake reconnaissance and ensuring safe and effective recovery efforts. can

도 1은 본 발명의 일실시예에 따른 지진으로 인한 구조적 손상을 자동으로 분류 및 평가하는 전반적인 동작을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 건물의 피해 이미지를 수집, 분할 및 전처리하는 과정을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 피해 이미지를 이용하여 건물의 구조적 손상에 관한 신경망 학습을 수행하는 동작을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 전이 학습된 이미지 훈련 모델의 성능을 평가하기 위한 테스트 정확도를 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하는 동작을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 건물 내 구조적 손상이 발생한 위치의 손상 심각도를 결정하는 동작을 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 단말과 상호 작용하여 업로드 된 손상 이미지의 손상 등급을 제공하는 동작을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 건물 손상 평가 방법을 설명하기 위해 도시한 흐름도이다.1 is a diagram illustrating an overall operation of automatically classifying and evaluating structural damage caused by an earthquake according to an embodiment of the present invention.
2 is a diagram illustrating a process of collecting, segmenting, and pre-processing a damaged image of a building according to an embodiment of the present invention.
3 is a diagram illustrating an operation of performing neural network learning on structural damage of a building using a damage image according to an embodiment of the present invention.
4 is a diagram illustrating test accuracy for evaluating the performance of a transfer learned image training model according to an embodiment of the present invention.
5 is a diagram illustrating an operation of visualizing a location where structural damage occurs in a damage image according to an embodiment of the present invention.
6 is a diagram illustrating an operation of determining a damage severity of a location where structural damage occurs in a building according to an embodiment of the present invention.
7 is a diagram illustrating an operation of providing a damage grade of an uploaded damaged image by interacting with a user terminal according to an embodiment of the present invention.
8 is a flowchart illustrating a building damage evaluation method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 지진으로 인한 구조적 손상을 자동으로 분류 및 평가하는 전반적인 동작을 설명하기 위해 도시한 도면이다.1 is a diagram illustrating an overall operation of automatically classifying and evaluating structural damage caused by an earthquake according to an embodiment of the present invention.

도 1을 참고하면, 컴퓨팅 장치(101)는 지진으로 인해 충격이 가해진 건물(103)의 피해 이미지(102)를 이미지 훈련 모델에 적용하여 건물(103)에 형성된 구조적 손상에 관한 신경망 학습을 수행할 수 있다. 여기서, 건물(103)의 피해 이미지(102)는 지진으로 인해 건물(103)에 형성된 구조적 손상에 따른 서로 다른 손상 비율을 갖는 이미지일 수 있다.Referring to FIG. 1 , a computing device 101 applies a damage image 102 of a building 103 impacted by an earthquake to an image training model to perform neural network learning on structural damage formed in the building 103. can Here, the damage image 102 of the building 103 may be an image having different damage ratios according to structural damage formed on the building 103 due to the earthquake.

컴퓨팅 장치(101)는 건물의 피해 이미지(102)로부터 건물의 구조 요소 및 건물의 비구조 요소 중 적어도 하나에 형성된 박리, 균열, 붕괴, 파손 및 탈락 중 적어도 하나를 분석할 수 있다. 컴퓨팅 장치(101)는 신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물(103)의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행할 수 있다. 컴퓨팅 장치(101)는 사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물(103)의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습할 수 있다.The computing device 101 may analyze at least one of delamination, crack, collapse, breakage, and detachment formed in at least one of structural elements of the building and non-structural elements of the building from the damage image 102 of the building. The computing device 101 may perform transfer learning with an image evaluation model for evaluating whether or not the building 103 is damaged by using the image training model on which neural network learning has been performed. The computing device 101 may perform transfer learning as evaluation weights of an image evaluation model for evaluating whether or not the building 103 is damaged by using training weights of a previously learned image training model as initial weights for transfer learning.

컴퓨팅 장치(101)는 전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지(102) 내 구조적 손상이 발생한 위치를 시각화할 수 있다. 컴퓨팅 장치(101)는 피해 이미지(102)에 그래디언트를 적용하여 학습된 피해 이미지(102)의 손상 패턴으로 예측되는 관심 영역을 결정할 수 있다. 컴퓨팅 장치(101)는 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성한 후, 피해 이미지(102)에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화할 수 있다.The computing device 101 may visualize a location where structural damage occurs in the damage image 102 based on the image evaluation model on which transfer learning has been performed. The computing device 101 may apply a gradient to the damage image 102 to determine a region of interest predicted by the learned damage pattern of the damage image 102 . The computing device 101 may generate a heat map in the form of a heat distribution centered on the region of interest, and then overlap the heat map on the damage image 102 to visualize a location where structural damage occurs in the damage image.

컴퓨팅 장치(101)는 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정할 수 있다. 컴퓨팅 장치는 히트맵이 오버랩 된 피해 이미지에 손상 평가치를 할당하여 구조적 손상이 발생한 위치의 손상 심각도를 결정할 수 있다. 컴퓨팅 장치(101)는 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가할 수 있다. The computing device 101 may determine the damage severity according to the location in the visualized damage image. The computing device may determine a damage severity of a location where structural damage occurs by assigning a damage evaluation value to the damage image in which the heat map overlaps. The computing device 101 may evaluate a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the damage severity.

컴퓨팅 장치(101)는 사용자 단말(104)과 연동하는 대화형 웹 어플리케이션을 통해 피해 이미지의 업로드 성공 여부를 표시할 수 있으며, 업로드 된 피해 이미지의 손상 등급을 평가할 수 있다.The computing device 101 may display whether or not the damage image has been successfully uploaded through an interactive web application that works with the user terminal 104 and may evaluate a damage grade of the uploaded damage image.

도 2는 본 발명의 일실시예에 따른 건물의 피해 이미지를 수집, 분할 및 전처리하는 과정을 설명하기 위해 도시한 도면이다.2 is a diagram illustrating a process of collecting, segmenting, and pre-processing a damaged image of a building according to an embodiment of the present invention.

도 2를 참고하면, 컴퓨팅 장치는 서로 다른 지진에 대한 현장 조사에서 촬영된 건물의 피해 이미지를 수집할 수 있다. 컴퓨팅 장치는 일반화 가능성을 높이기 위해 다른 지진에서 얻은 피해 이미지를 사용하여 보다 강력한 모델을 구축할 수 있다.Referring to FIG. 2 , the computing device may collect damage images of buildings captured in field surveys for different earthquakes. Computing devices can build more robust models using images of damage from other earthquakes to increase generalizability.

컴퓨팅 장치는 심층 신경망 기반의 각 계층에 따른 건물의 피해 이미지를 분석할 수 있다. 컴퓨팅 장치는 건물의 피해 이미지로부터 건물의 구조 요소 및 건물의 비구조 요소 중 적어도 하나에 형성된 박리(Spalling), 균열(Crack), 백태 / 누수(Efflorescene), 철근 노출(Exposure), 강재 손상(SteelDefect), 도장 손상(Paint Damage), 붕괴, 파손 및 탈락 중 적어도 하나를 분석할 수 있다.The computing device may analyze damage images of buildings according to each layer based on a deep neural network. The computing device detects spalling, cracks, efflorescence/leakage, exposure of steel bars, and steel damage (SteelDefect) formed in at least one of the structural elements of the building and the non-structural elements of the building from the damage image of the building. ), at least one of paint damage, collapse, breakage, and omission may be analyzed.

컴퓨팅 장치는 분석 결과에 따라 건물에 형성된 구조적 손상에 관한 피해 이미지의 손상 레벨을 분류할 수 있다. 컴퓨팅 장치는 피해 이미지의 손상 레벨에 대응하여 건물의 손상 패턴을 결정할 수 있다.The computing device may classify the damage level of the damage image related to the structural damage formed on the building according to the analysis result. The computing device may determine a damage pattern of the building in response to the damage level of the damage image.

구조적 손상은 크게 4 가지 타입으로 구분될 수 있다.Structural damage can be classified into four types.

① 무손상(No Damage)은 별도의 손상이 발생하지 않은 것을 의미할 수 있다.① No Damage may mean that no separate damage has occurred.

② 경미한 손상(Light Damage)은 구조 요소에서 헤어라인 균열로 관찰되는 손상을 의미할 수 있다. ② Light damage may refer to damage observed as hairline cracks in structural elements.

③ 적당한 손상(Moderate Damage)은 더 넓은 균열 또는 콘크리트의 박리로 관찰되는 손상을 의미할 수 있다.③ Moderate damage can mean damage observed as wider cracks or delamination of concrete.

④ 심각한 손상(Serere Damage)은 요소 붕괴 또는 구조적 파손으로 관찰되는 손상을 의미할 수 있다.④ Serrere Damage may refer to damage observed as elemental collapse or structural damage.

도 3은 본 발명의 일실시예에 따른 피해 이미지를 이용하여 건물의 구조적 손상에 관한 신경망 학습을 수행하는 동작을 설명하기 위해 도시한 도면이다.3 is a diagram illustrating an operation of performing neural network learning on structural damage of a building using a damage image according to an embodiment of the present invention.

도 3을 참고하면, 컴퓨팅 장치는 CNN(Convolutional Neural Networks)를 이용하여 건물의 구조적 손상에 관한 신경망 학습을 수행할 수 있다. 여기서, CNN은 피해 데이터의 패턴을 인식할 수 있는 기본 알고리즘일 수 있다. CNN은 계층으로 구성된 일련의 뉴런으로 구성되며 각 계층에는 학습 가능한 가중치와 편향이 있다.Referring to FIG. 3 , the computing device may perform neural network learning on structural damage of a building using Convolutional Neural Networks (CNNs). Here, CNN may be a basic algorithm capable of recognizing a pattern of damage data. A CNN consists of a set of neurons organized into layers, and each layer has learnable weights and biases.

CNN의 컨볼루션 레이어는 커널(또는 필터)과 기능 맵으로 구성될 수 있다. 컨볼루션 연산은 지정된 컨볼루션 커널 크기로 수행되며, 커널은 학습 가능한 가중치 행렬이 있는 컨볼루션 계층 뉴런으로 작동될 수 있다. 스트라이드는 커널이 이전 레이어를 참조하여 입력 이미지의 픽셀 매트릭스를 가로질러 이동하는 단계 수를 나타낼 수 있다.A convolutional layer of a CNN can consist of a kernel (or filter) and a feature map. Convolution operations are performed with a specified convolution kernel size, and the kernel can be operated as a convolution layer neuron with a learnable weight matrix. The stride can indicate the number of steps the kernel takes to traverse the pixel matrix of the input image, referencing the previous layer.

컨볼루션 레이어의 출력은 활성화 함수에 의해 이용되어 컨볼루션 피쳐 맵을 생성할 수 있다. 컨볼루션 피쳐 맵은 이전 레이어에 필터를 적용한 출력이며, 이는 다음 컨볼루션 레이어의 입력으로 전달될 수 있으며, 복수의 컨볼루션 레이어를 체계적으로 쌓아서 더 복잡한 기능을 추출할 수 있다.The output of the convolutional layer can be used by an activation function to create a convolutional feature map. The convolutional feature map is the output of applying a filter to the previous layer, which can be passed as an input to the next convolutional layer, and more complex features can be extracted by systematically stacking multiple convolutional layers.

풀링 계층은 컨볼루션 계층에서 얻은 매개변수를 줄이고 계산 효율성을 향상시키며, 풀링 계층은 최대, 평균 및 랜덤 풀링 중 적어도 하나로 분류될 수 있다. 여기서, 평균 및 최대 풀링은 인접한 뉴런의 평균, 또는 최대값을 각각 결정하는 반면, 랜덤 풀링은 주어진 확률에 따라 뉴런의 값을 선택할 수 있다. 또한, 풀링 계층은 컨볼루션 피쳐 맵의 해상도를 감소시켜 네트워크 훈련을 위한 계산 작업량을 감소시킬 수 있다.The pooling layer reduces parameters obtained from the convolutional layer and improves computational efficiency, and the pooling layer may be classified as at least one of maximum, average, and random pooling. Here, mean and maximum pooling determine the mean or maximum value of adjacent neurons, respectively, whereas random pooling may select a value of a neuron according to a given probability. In addition, the pooling layer can reduce the computational workload for network training by reducing the resolution of the convolutional feature map.

완전 연결 계층(Fully Connected Layers)은 복수의 은닉 계층으로 구성되며, 복수의 은닉 계측 각각은 후속 계층의 뉴런에 완전히 연결된 많은 뉴런을 포함할 수 있다.Fully Connected Layers consist of multiple hidden layers, each of which may contain many neurons that are fully connected to neurons in subsequent layers.

입력 레이어(Input Layer)은 본질적으로 컨볼루션 및 풀링 작업을 수행한 후 얻은 1차원 벡터일 수 있다. 완전 연결 계층은 이러한 추출된 특징을 최종 분류 출력에 매핑될 수 있다. 일례로, 소프트맥스(Softmax)와 서포트 벡터 머신(SVM: Support Vector Machines)는 완전 연결 계층의 출력 레이어(Output Layer)에서의 분류 기능을 제공할 수 있다.An input layer can essentially be a one-dimensional vector obtained after performing convolution and pooling operations. A fully connected layer can map these extracted features to a final classification output. For example, Softmax and Support Vector Machines (SVMs) may provide a classification function in an output layer of a fully connected layer.

활성화 및 손실 함수는 CNN의 중요한 빌딩 블록이며, 활성화 함수는 비선형이므로 네트워크가 비선형 매핑에 따라 학습될 수 있다. 일례로, 활성화 함수는 ReLU(Rectified Linear Unit), Leaky ReLU, tanh 및 Sigmoid 함수를 포함할 수 있다. 손실 함수 또는 목적 함수는 예측 값과 실제 값의 차이를 수량화 할 수 있다. 교차 엔트로피는 다중 클래스 분류에 사용되는 손실 함수인 반면, 평균 제곱 오차는 연속 값의 회귀에 빈도가 높게 사용될 수 있다.Activation and loss functions are important building blocks of CNNs, and since the activation functions are non-linear, the network can be trained according to non-linear mapping. As an example, the activation function may include Rectified Linear Unit (ReLU), Leaky ReLU, tanh, and Sigmoid functions. A loss function or objective function can quantify the difference between predicted and actual values. Cross entropy is a loss function used for multi-class classification, whereas mean squared error can be used more frequently for regression of continuous values.

여기서, 컴퓨팅 장치는 심층 CNN에서 발생하는 과적합을 완화하기 위해 추가 L1 및 L2 정규화 단위가 손실 함수에 포함될 수 있다. L1 및 L2 정규화는 손실 함수의 매개변수를 제한하는데 사용되며, 심층 CNN 훈련에서 역전파의 주요 목표는 손실 함수를 최소화할 수 있다.Here, the computing device may include additional L1 and L2 regularization units in the loss function to mitigate overfitting in the deep CNN. L1 and L2 regularization are used to constrain the parameters of the loss function, and the main goal of backpropagation in deep CNN training is to minimize the loss function.

컴퓨팅 장치는 신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행할 수 있다. 여기서, 전이 학습은 소스 도메인의 거대한 데이터 세트에 대해 사전 훈련된 신경망을 대상 도메인에 적용하는 작은 데이터 세트에 대한 학습에 사용되는 효율적인 접근 방식일 수 있다. 전이 학습은 충분히 큰 데이터 세트에서 학습된 공통 기능이 다른 데이터 세트로 전송될 수 있다. 컴퓨팅 장치는 특징 추출 기법과 미세 조정 기법을 활용하여 전이 학습을 수행할 수 있다. The computing device may perform transfer learning with an image evaluation model for evaluating whether or not a building is damaged by using an image training model in which neural network learning has been performed. Here, transfer learning can be an efficient approach used for learning on small data sets where a neural network pretrained on a huge data set in the source domain is applied to the target domain. Transfer learning allows common features learned in a sufficiently large data set to be transferred to another data set. The computing device may perform transfer learning using a feature extraction technique and a fine-tuning technique.

① 특징 추출 기법(FE: Feature Extraction)① Feature Extraction (FE)

특징 추출 기법은 이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지의 특징과 유사한 특징을 이용하여 전이 학습을 수행할 수 있다. 상세하게, 특징 추출 기법은 전처리 된 피해 이미지로 구성된 데이터 세트에 대해 사전 훈련된 네트워크에서 완전 연결 계층을 제거하면서 컨벌루션 기반을 특징 추출기로 유지할 수 있다. 여기서, 사전 훈련된 네트워크는 순방향 전파 동안의 피해 이미지에 대해 컨볼루션 연산을 한 번 수행하고, 사전 지정된 레이어에서 중지하고 해당 레이어의 출력을 병목 현상으로 가져오는 임의의 특징을 추출할 수 있다.The feature extraction technique can perform transfer learning using features similar to those of the damaged image of the building used to learn the image training model. In detail, the feature extraction technique can keep the convolutional basis as the feature extractor while removing the fully connected layer from the pretrained network on the data set consisting of the preprocessed damage images. Here, the pre-trained network may perform a convolution operation once on the victim image during forward propagation, stop at a pre-specified layer, and extract an arbitrary feature that brings the output of that layer to the bottleneck.

특징 추출 기법은 병목 현상이 있는 방법으로 다음의 표 1은 사전 훈련된 이미지 평가 모델을 사용한 특징 추출 기법의 결과를 나타낼 수 있다.The feature extraction technique has a bottleneck, and Table 1 below can show the results of the feature extraction technique using a pre-trained image evaluation model.

Figure 112022049944716-pat00001
Figure 112022049944716-pat00001

표 1의 (a), (b)는 특징 추출 기법(FE)을 사용하여 훈련된 이미지 훈련 모델의 훈련 플랫과 검증 정확도 플롯을 나타낸 그래프이다. 사전 훈련된 이미지 평가 모델은 각각 약 59% 및 58.4%의 훈련 및 검증 정확도를 나타낼 수 있다.② 미세 조정 기법(FT: Fine-Tuning) Table 1 (a) and (b) are graphs showing the training flat and verification accuracy plots of the image training model trained using the feature extraction technique (FE). The pre-trained image evaluation model can exhibit training and validation accuracy of about 59% and 58.4%, respectively. ② Fine-Tuning (FT)

미세 조정 기법은 역전파를 통해 사전 훈련된 컨볼루션 기반의 일부를 고정 해제하고 재훈련을 수행할 수 있다. 본 발명에서 재학습하는 동안 컨볼루션 계층은 원본 도메인의 데이터 집합에서 일반적인 기능보다 대상 도메인의 데이터 집합에 더 특정한 가장자리와 같은 중간에서 고차 기능을 학습할 수 있다.Fine-tuning techniques can unfreeze and retrain parts of a pretrained convolutional basis via backpropagation. During retraining in the present invention, the convolutional layer may learn intermediate to higher order features, such as edges, that are more specific to the data set of the target domain than features common to the data set of the source domain.

다음의 표 2는 사전 훈련된 이미지 평가 모델에 대한 미세 조정 기법의 결과를 나타낼 수 있다.Table 2 below may show the results of the fine-tuning technique for the pre-trained image evaluation model.

Figure 112022049944716-pat00002
Figure 112022049944716-pat00002

표 2의 (a), (b)는 미세 조정 기법(TL)을 사용하여 훈련된 이미지 훈련 모델의 훈련 플랫 및 검증 정확도 플롯을 나타낸 그래프이다. 다시 사전 훈련된 이미지 평가 모델은 각각 약 73.4% 및 71.8%의 훈련 및 검증 정확도로 다른 모델보다 성능이 뛰어날 수 있다.Table 2 (a) and (b) are graphs showing the training flat and verification accuracy plots of the image training model trained using the fine-tuning technique (TL). Again, the pre-trained image evaluation model can outperform the other models with training and validation accuracies of around 73.4% and 71.8%, respectively.

도 4는 본 발명의 일실시예에 따른 전이 학습된 이미지 훈련 모델의 성능을 평가하기 위한 테스트 정확도를 설명하기 위해 도시한 도면이다.4 is a diagram illustrating test accuracy for evaluating the performance of a transfer learned image training model according to an embodiment of the present invention.

도 4를 참고하면, 컴퓨팅 장치는 전이 학습에 따른 미세 조정 기법을 이용해 미세 조정된 이미지 평가 모델의 성능을 평가하기 위해 유사한 형태를 갖는 구조적 손상을 자동으로 분류할 수 있다. 본 발명은 정확도 메트릭, 정밀도 메트릭, 회수 메트릭 중 적어도 하나를 고려하여 구조적 손상을 자동으로 분류할 수 있다.Referring to FIG. 4 , the computing device may automatically classify structural damage having a similar shape in order to evaluate the performance of a fine-tuned image evaluation model using a fine-tuning technique based on transfer learning. The present invention may automatically classify structural damage by considering at least one of an accuracy metric, a precision metric, and a recovery metric.

여기서, 정확도는 분류 알고리즘이 구조적 손상 유형을 올바르게 식별하는 빈도를 측정한 결과를 나타내며, 정확도 메트릭은 신경망 학습에 활용된 데이터 세트의 총 예측 사례에 대한 실제 예측의 비율로 표현될 수 있다. 정밀도는 분류 알고리즘이 인스턴스를 특정 클래스에 속하는 것으로 올바르게 식별하는 빈도를 측정한 결과를 나타내며, 정밀도 메트릭은 포지티브 클래스를 포지티브로 올바르게 식별하는 분류기의 능력을 측정한 것일 수 있다. 회수 메트릭은 총 포지티브 인스턴스의 수를 분류 방식에 의해 올바르게 감지된 포지티브 인스턴스의 비율입니다. Here, the accuracy represents a result of measuring the frequency at which the classification algorithm correctly identifies the structural damage type, and the accuracy metric may be expressed as a ratio of actual predictions to total predicted cases in a data set used for neural network training. Precision represents a measure of how often a classification algorithm correctly identifies an instance as belonging to a particular class, and a precision metric can be a measure of a classifier's ability to correctly identify a positive class as positive. The recall metric is the percentage of positive instances correctly detected by the classification method over the total number of positive instances.

또한, 재현율은 분류 알고리즘에 의해 특정 클래스에 속하는 것으로 식별된 모든 인스턴스가 실제로 해당 클래스에 속하는 빈도를 측정한 결과를 나타낼 수 있다. F1 점수는 정밀도와 재현율의 단순 가중 평가로 정의된 점수일 수 있으며, 이는 일반적으로 회상이나 정밀도 단독보다 더 유익한 것으로 간주될 수 있다. 이에 따른 본 발명의 정확도, 정밀도, 재현율 및 F1 점수의 수학적 표현은 아래의 수학식 1과 같은 방정식 1(a) - (d)를 통해 나타낼 수 있다.In addition, the recall may represent a result of measuring the frequency in which all instances identified as belonging to a specific class by the classification algorithm actually belong to the corresponding class. The F1 score can be a score defined as a simple weighted assessment of precision and recall, which can generally be considered more informative than either recall or precision alone. Accordingly, the mathematical expression of the accuracy, precision, recall, and F1 score of the present invention can be expressed through Equations 1 (a) to (d) as in Equation 1 below.

Figure 112022049944716-pat00003
Figure 112022049944716-pat00003

TP(True Positive)는 참 긍정의 수, TN(True Negative)는 참 부정의 수, FP(False Positive)는 거짓 긍정의 수, FN(False Negative)는 거짓 부정의 수를 의미할 수 있다.TP (True Positive) may mean the number of true positives, TN (True Negative) may mean the number of true negatives, FP (False Positives) may mean the number of false positives, and FN (False Negatives) may mean the number of false negatives.

여기서, 제안된 이미지 평가 모델은 관심 영역 외의 배경으로 잡음이 많거나 또는, 적게 포함되어 있음에 따라 배경에 따른 유사한 모든 구조 부재의 피해 이미지를 포함하는 데이터 세트에 대해 학습될 수 있다. 이에 따라, 본 발명은 카메라 뷰의 기울기와 피해 이미지의 광도가 다양함에도 불구하고 잘못된 예측 사례를 최소화하며, 구조적 손상에 관한 클래스를 성공적으로 예측할 수 있다.Here, the proposed image evaluation model can be trained on a data set including damage images of all structural members similar to the background according to a background other than the ROI that has more or less noise. Accordingly, the present invention can successfully predict the class of structural damage while minimizing the cases of incorrect prediction despite the varying inclination of the camera view and the luminous intensity of the damage image.

일례로, 본 발명은 도 4의 상부에 도시한 도면과 같이 무 손상, 경미한 손상, 적당한 손상, 심각한 손상 각각에 대응하여 79,1%, 75.1%, 92.3%, 99.9%의 확률로 손상 레벨을 정확하게 예측할 수 있다. For example, as shown in the upper part of FIG. 4, the present invention sets the damage level with a probability of 79.1%, 75.1%, 92.3%, and 99.9% in response to no damage, slight damage, moderate damage, and serious damage, respectively. can be accurately predicted.

다른 일례로, 본 발명은 도 4의 하부에 도시한 도면과 같이 경미한 손상과 적당한 손상을 분류하는데 있어, 오류가 발생할 수 있다. 이는 피해 이미지의 헤어 라인 크랙(경미한 손상)과 넓은 크랙(적당한 손상)이 서로 겹치기 때문일 수 있다. 다시 말해, 적당한 손상은 피해 이미지를 분석하는 상황에 따라 심각한 손상으로 잘못 분류될 수 있다. 이는 피해 이미지의 철창 및 큰 창 보이드의 존재와 같은 배경 소음의 존재로 인한 것일 수 있다.As another example, in the present invention, errors may occur in classifying minor damage and moderate damage as shown in the lower portion of FIG. 4 . This may be because hairline cracks (slight damage) and wide cracks (moderate damage) in the damage image overlap each other. In other words, moderate damage may be misclassified as severe damage depending on the context of analyzing the damage images. This may be due to the presence of background noise, such as the presence of iron bars and large window voids in the damage images.

따라서, 본 발명은 이러한 결함을 극복하기 위해 이미지 평가 모델에서 보다 강력하게 건물 내 구조적 손상이 발생한 위치를 파악할 수 있다.Therefore, in order to overcome this defect, the present invention can more strongly identify the location of structural damage in a building in an image evaluation model.

도 5는 본 발명의 일실시예에 따른 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하는 동작을 설명하기 위해 도시한 도면이다.5 is a diagram illustrating an operation of visualizing a location where structural damage occurs in a damage image according to an embodiment of the present invention.

도 5를 참고하면, 컴퓨팅 장치는 전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지 내 구조적 손상이 발생한 위치를 시각화 할 수 있다. 보다 자세하게, 컴퓨팅 장치는 피해 이미지에 그래디언트를 적용하여 학습된 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정할 수 있다. 컴퓨팅 장치는 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성할 수 있다.Referring to FIG. 5 , the computing device may visualize a location where structural damage occurs in a damage image based on an image evaluation model on which transfer learning has been performed. In more detail, the computing device may apply a gradient to the damage image to determine a region of interest predicted by the learned damage pattern of the damage image. The computing device may generate a heat map in the form of a heat distribution around the region of interest.

일례로, 컴퓨팅 장치는 Grad-CAM을 사용하여 구조적 손상이 발생한 위치를 시각화 함으로써, 피해 이미지 내 위치를 파악할 수 있다. 여기서, GradCAM은 CNN 기반의 이미지 평가 모델에서 결정에 대한 클래스에서 예측을 시각화 하여 보다 투명하게 만드는 시각화 기술일 수 있다. GradCAM은 모든 대상 개념의 그라디언트를 사용하여 최종적으로 컨벌루션 레이어로 흘러가는 개념을 예측하기 위해 이미지의 관심 영역을 강조 표시하는 거친 히트맵을 생성할 수 있다.As an example, the computing device can identify the location in the damage image by visualizing the location where structural damage has occurred using Grad-CAM. Here, GradCAM can be a visualization technique that visualizes predictions in classes for decisions in CNN-based image evaluation models to make them more transparent. GradCAM can use the gradients of all target concepts to generate a rough heatmap highlighting regions of interest in the image to predict concepts that eventually flow to the convolutional layer.

컴퓨팅 장치는 피해 이미지 내 관심 영역을 식별하는 히트맵을 생성하기 위해 최종 컨볼루션 레이어에서 미세 조정된 이미지 평가 모델에서 그래디언트를 추출할 수 있다. 컴퓨팅 장치는 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성할 수 있다. 컴퓨팅 장치는 피해 이미지에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화 할 수 있다.The computing device may extract gradients from the fine-tuned image evaluation model in a final convolutional layer to generate a heatmap identifying regions of interest within the damage image. The computing device may generate a heat map expressed in a constant color by considering the intensity of each pixel of the damage image to which the gradient is applied. The computing device may overlay a heat map on the damage image to visualize the location of structural damage in the damage image.

도 6은 본 발명의 일실시예에 따른 건물 내 구조적 손상이 발생한 위치의 손상 심각도를 결정하는 동작을 설명하기 위해 도시한 도면이다.6 is a diagram illustrating an operation of determining a damage severity of a location where structural damage occurs in a building according to an embodiment of the present invention.

도 6을 참고하면, 컴퓨팅 장치는 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정할 수 있다. 자세하게, 본 발명은 그래디언트의 가중 클래스 활성화 매핑(Grad-CAM)을 기반으로 하는 피해 이미지 상에 부드러운 히트맵을 적용함으로써, 구조적 손상의 손상 심각도를 정량화하는 접근 방식을 제공할 수 있다. 본 발명의 접근 방식은 지진으로 인해 건물에 가해진 충격으로 인한 피해 평가 및 철골 손상을 조사하기 위한 다양한 응용 프로그램에 적용이 가능할 수 있다.Referring to FIG. 6 , the computing device may determine a damage severity according to a location in a visualized damage image. In detail, the present invention can provide an approach to quantify the damage severity of structural damage by applying a smooth heat map on the damage image based on gradient-weighted class activation mapping (Grad-CAM). The approach of the present invention can be applied to a variety of applications for assessing damage and investigating steel frame damage due to impacts on buildings due to earthquakes.

컴퓨팅 장치는 그래이언트 기반의 손상 감지 맵(DDM: Damage Detection Map)에서 얻는 손상 평가치(DAV: Damage Assessment Value)를 할당하여 피해 이미지 상의 건물의 손상 심각도를 정량화할 수 있다. 여기서, 손상 평가치는 이미지의 각 픽셀의 강도를 수치로 측정된 값으로, 강도가 높을수록 손상이 심할 수 있다. 컴퓨팅 장치는 이를 히트맵으로 표현할 수 있다. 또한, 본 발명은 주어진 피해 이미지의 히트맵에 있는 모든 숫자 값에 대한 평균을 취한 후, 평균으로 도출된 결과 값을 손상 심각도에 대한 전체 점수로 사용할 수 있다.The computing device may quantify the damage severity of the building in the damage image by assigning a damage assessment value (DAV) obtained from a gradient-based damage detection map (DDM). Here, the damage evaluation value is a value obtained by numerically measuring the intensity of each pixel of the image, and the higher the intensity, the more severe the damage. The computing device may express this as a heat map. In addition, the present invention may take the average of all numerical values in the heat map of the given damage image and then use the resulting value derived as the average as the overall score for the damage severity.

컴퓨팅 장치는 전이 학습이 수행된 이미지 평가 모델의 출력 손상 클래스(Output Class) yD가 있는 주어진 피해 이미지(Input Image) x에 대해 기울기 기반의 가중치 매개 변수 wk를 결정할 수 있다. 해당 가중치 매개 변수 wk는 다음의 수학식 2와 같이 나타낼 수 있다.The computing device may determine a gradient-based weight parameter w k for a given input image x having an output damage class y D of an image evaluation model on which transfer learning has been performed. The corresponding weight parameter w k can be expressed as in Equation 2 below.

Figure 112022049944716-pat00004
Figure 112022049944716-pat00004

다음의 수학식 2는 모든 i, j에 대해 fk(i, j)에 대한 y의 기울기 집계로 나타낼 수 있다. 여기서, fk(i, j)는 마지막 컨볼루션 레이어(여기서, 차원 14 Х 14 Х 512)의 k번째 피쳐 맵을 나타낼 수 있다.Equation 2 below can be expressed as a gradient aggregation of y with respect to f k (i, j) for all i and j. Here, f k (i, j) may represent the k-th feature map of the last convolution layer (here, dimension 14 Х 14 Х 512).

Figure 112022049944716-pat00005
로 표현되는 특성 맵(히트맵) fk와 해당 가중치 wk가 주어지면, 14 Х 14 행렬 S는 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112022049944716-pat00005
Given a feature map (heat map) f k expressed as , and a corresponding weight w k , the 14 Х 14 matrix S can be expressed as in Equation 3 below.

Figure 112022049944716-pat00006
Figure 112022049944716-pat00006

여기서, 수학식 3의 ReLU()는 음수 값의 영향을 제거하고, 양수 값을 강조하는 함수일 수 있다. 손상 감지 맵은 픽셀 강도를 기반으로 손상의 심각도를 수량화하기 위해 숫자 값이 할당될 수 있다. 여기서, 손상 감지 맵은 픽셀 강도가 높을수록 더 심각한 손상이 반영되며, 이는 손상 감지 맵의 히트맵으로 표시될 수 있다. 피해 이미지의 히트맵에서 얻은 평균 수치는 피해 이미지의 손상 심각도를 수량화하는 전체의 손상 평가치(DAV)로 사용될 수 있다. 따라서, 손상 평가치는 손상 평가치로 표현되는 수량이 높을수록 심각한 손상을 나타낼 수 있다. 손상 평가치는 다음의 도 4와 같이 나타낼 수 있다.Here, ReLU() of Equation 3 may be a function that removes the influence of negative values and emphasizes positive values. The damage detection map may be assigned a numeric value to quantify the severity of damage based on pixel intensity. Here, the damage detection map reflects more serious damage as pixel intensity increases, and this may be displayed as a heat map of the damage detection map. The average value obtained from the heat map of the damaged image can be used as the Overall Damage Assessment (DAV) to quantify the damage severity of the damaged image. Therefore, the damage evaluation value may indicate serious damage as the quantity expressed as the damage evaluation value is higher. The damage evaluation value can be represented as shown in FIG. 4 below.

Figure 112022049944716-pat00007
Figure 112022049944716-pat00007

여기서, si,j는 행렬 S의 요소를 나타내고, 14 Х 14는 행렬 S의 차원을 나타낼 수 있다. 손상 평가치의 범위는 '0'과 '1' 사이이며, '0'에 가까울수록 무 손상일 확률이 높게 나타나며, '1'에 가까울수록 전체 붕괴일 확률이 높게 나타날 수 있다. 본 발명은 손상 평가치에 따라 시각화 된 위치의 손상 심각도를 결정할 수 있다. 각 손상 평가치에 따른 숫자 값은 다음의 표 3과 같이 지정될 수 있다.Here, s i,j represents an element of matrix S, and 14 Х 14 may represent a dimension of matrix S. The range of the damage evaluation value is between '0' and '1', and the closer to '0', the higher the probability of no damage, and the closer to '1', the higher the probability of total collapse. The present invention can determine the damage severity of the visualized position according to the damage evaluation value. Numerical values according to each damage evaluation value may be designated as shown in Table 3 below.

손상 레벨damage level 손상 평가치damage estimate 무 손상(No Damage)No Damage 00 경미한 손상(Light Damage)Light Damage 0.250.25 적당한 손상(Moderate Damage)Moderate Damage 0.50.5 심각한 손상(Severe Damage)Severe Damage 0.750.75 전체 붕괴(Total Damage)Total Damage 1One

일례로, 컴퓨팅 장치는 별도의 주석 도구를 사용하여 피해 이미지에 주석을 첨가할 수 있다. 컴퓨팅 장치는 도 6에 표현된 것과 같이 ① 경미한 손상, ② 적당한 손상, ③ 심각한 손상 각각의 손상 평가치 및 손상 심각도를 피해 이미지의 주석으로 첨가할 수 있다.For example, the computing device may annotate the damage image using a separate annotation tool. As shown in FIG. 6 , the computing device may add a damage evaluation value and damage severity of each of ① minor damage, ② moderate damage, and ③ serious damage as annotations to the damage image.

도 7은 본 발명의 일실시예에 따른 사용자 단말과 상호 작용하여 업로드 된 손상 이미지의 손상 등급을 제공하는 동작을 설명하기 위해 도시한 도면이다.7 is a diagram illustrating an operation of providing a damage grade of an uploaded damaged image by interacting with a user terminal according to an embodiment of the present invention.

도 7을 참고하면, 컴퓨팅 장치는 최적의 전이 학습된 이미지 평가 모델을 통해 지진으로 인한 건물의 구조적 손상을 자동으로 분류하는 대화형 웹 어플리케이션을 제공할 수 있다. 보다 자세하게, 컴퓨팅 장치는 건물의 피해 이미지를 입력 받기 위한 사용자 인터페이스를 제공하며, 사용자 단말은 구조적 손상을 포함하는 건물의 피해 이미지를 사용자 인터페이스를 통해 컴퓨팅 장치에 업로드할 수 있다. 컴퓨팅 장치는 사용자 단말로부터 업로드 된 피해 이미지를 전이 학습된 이미지 평가 모델에 적용하여 실시간으로 피해 이미지 상 건물의 손상 등급을 평가할 수 있다. 컴퓨팅 장치는 대화형 웹 어플리케이션을 통해 피해 이미지에 대응한 손상 등급을 제공할 수 있다.Referring to FIG. 7 , the computing device may provide an interactive web application that automatically classifies structural damage to a building due to an earthquake through an optimal transfer-learned image evaluation model. In more detail, the computing device provides a user interface for receiving an input of a damaged image of a building, and the user terminal may upload the damaged image of a building including structural damage to the computing device through the user interface. The computing device may evaluate the damage grade of the building on the damage image in real time by applying the damage image uploaded from the user terminal to the transfer-learned image evaluation model. The computing device may provide a damage grade corresponding to the damage image through an interactive web application.

일례로, 본 발명의 전이 학습된 이미지 평가 모델은 피해 이미지를 분류하기 위한 Tensorflow.js 호환 형식으로 변환되어 사용자 인터페이스로 구성된 대화형 웹 어플리케이션으로 배포될 수 있다. 여기서, 대화형 웹 어플리케이션에 빌드된 이미지 평가 모델은 텐서플로(Tensor flow)에 따른 프레임워크에서 대화형 웹 어플리케이션을 통해 액세스할 수 있는 자바 스크립트(JavaScript) 형식으로 변환될 수 있다.For example, the transfer learned image evaluation model of the present invention can be converted into a Tensorflow.js compatible format for classifying damaged images and deployed as an interactive web application composed of a user interface. Here, the image evaluation model built in the interactive web application may be converted into a JavaScript format accessible through the interactive web application in a framework based on Tensor flow.

대화형 웹 어플리케이션은 사용자에 의해 구조적 손상이 포함된 새로운 피해 이미지가 업로드 되면, 예측에 관한 높은 신뢰 수준으로 손상 등급을 보다 신속하게 결정할 수 있도록 하는 유용한 도구일 수 있다.An interactive web application can be a useful tool to more quickly determine a damage grade with a high level of confidence in the prediction when a new damage image containing structural damage is uploaded by the user.

따라서, 컴퓨팅 장치는 대화형 웹 어플리케이션을 사용하여 지진에 의해 건물에 가해진 구조적 손상을 신속 및 자동으로 분류하여 지진 대응 상황을 보다 용이하게 의사 결정하는데 도움을 줄 수 있다.Accordingly, the computing device may use the interactive web application to quickly and automatically classify structural damage inflicted on a building by an earthquake to help make decisions more easily in an earthquake response situation.

일례로, 컴퓨팅 장치는 대화형 웹 어플리케이션을 사용하여 피해 이미지의 업로드 성공 여부를 표시할 수 있으며, 업로드 된 피해 이미지의 손상 등급을 평가할 수 있다. 피해 이미지의 손상 등급은 ① 무 손상, ② 경미한 손상, ③ 적당한 손상 및 ④심각한 손상 중 적어도 하나의 손상 등급으로 나타낼 수 있다. 컴퓨팅 장치는 전이 학습된 이미지 평가 모델을 통해 결정된 피해 이미지의 손상 등급에 대한 예측 정확도를 각각 98.66%, 98.13%, 88.83% 및 97.29%의 확률로 나타낼 수 있다.For example, the computing device may display whether or not the damage image has been successfully uploaded using an interactive web application, and may evaluate a damage level of the uploaded damage image. The damage grade of the damage image may be represented by at least one damage grade among ① no damage, ② slight damage, ③ moderate damage, and ④ serious damage. The computing device may represent the prediction accuracy of the damage grade of the damage image determined through the transfer-learned image evaluation model with a probability of 98.66%, 98.13%, 88.83%, and 97.29%, respectively.

도 8은 본 발명의 일실시예에 따른 건물 손상 평가 방법을 설명하기 위해 도시한 흐름도이다.8 is a flowchart illustrating a building damage evaluation method according to an embodiment of the present invention.

단계(810)에서 컴퓨팅 장치는 지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행할 수 있다. 자세하게, 컴퓨팅 장치는 심층 신경망 기반의 각 계층에 따른 건물의 피해 이미지를 분석할 수 있다. 컴퓨팅 장치는 분석 결과에 따라 건물에 형성된 구조적 손상에 관한 피해 이미지의 손상 레벨을 분류할 수 있다.In operation 810, the computing device may perform neural network training on structural damage formed in the building by applying the damage image of the building impacted by the earthquake to the image training model. In detail, the computing device may analyze damage images of buildings according to each layer based on a deep neural network. The computing device may classify the damage level of the damage image related to the structural damage formed on the building according to the analysis result.

컴퓨팅 장치는 피해 이미지의 손상 레벨에 대응하여 건물의 손상 패턴을 결정할 수 있다. 컴퓨팅 장치는 건물의 손상 패턴에 따른 건물에 형성된 구조적 손상을 파악하기 위한 이미지 훈련 모델을 학습할 수 있다.The computing device may determine a damage pattern of the building in response to the damage level of the damage image. The computing device may learn an image training model for identifying structural damage formed on a building according to a damage pattern of the building.

단계(820)에서 컴퓨팅 장치는 신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행할 수 있다. 컴퓨팅 장치는 사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습할 수 있다.In operation 820, the computing device may perform transfer learning on an image evaluation model for evaluating whether or not a building is damaged by using the image training model on which neural network learning has been performed. The computing device may perform transfer learning as evaluation weights of an image evaluation model for evaluating whether or not a building is damaged by using training weights of a previously learned image training model as initial weights for transfer learning.

여기서, 컴퓨팅 장치는 특징 추출 기법 또는, 미세 조정 기법 중 적어도 하나를 이용하여 전이 학습을 수행할 수 있다.Here, the computing device may perform transfer learning using at least one of a feature extraction technique and a fine tuning technique.

① 특징 추출 기법은 이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지의 특징과 유사한 특징을 이용하여 전이 학습을 수행할 수 있다.① The feature extraction technique can perform transfer learning using features similar to those of the damaged image of the building used to learn the image training model.

② 미세 조정 기법은 이미지 훈련 모델을 구성하는 각 단계별로 설정된 훈련 가중치를 조정하여 건물의 피해 이미지에 대한 전이 학습을 수행할 수 있다.② The fine-tuning technique can perform transfer learning on the damaged image of a building by adjusting the training weights set for each step constituting the image training model.

단계(830)에서 컴퓨팅 장치는 전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지 내 구조적 손상이 발생한 위치를 시각화 할 수 있다. 컴퓨팅 장치는 피해 이미지에 그래디언트를 적용하여 학습된 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정할 수 있다.In operation 830, the computing device may visualize a location where structural damage occurs in the damage image based on the image evaluation model on which transfer learning has been performed. The computing device may apply a gradient to the damage image to determine a region of interest predicted by the learned damage pattern of the damage image.

컴퓨팅 장치는 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성할 수 있다. 이때, 컴퓨팅 장치는 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성할 수 있다. 컴퓨팅 장치는 피해 이미지에 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화 할 수 있다.The computing device may generate a heat map in the form of a heat distribution around the region of interest. At this time, the computing device may generate a heat map expressed in a constant color in consideration of the intensity of each pixel of the damage image to which the gradient is applied. The computing device may overlay a heat map on the damage image to visualize the location of structural damage in the damage image.

단계(840)에서 컴퓨팅 장치는 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정할 수 있다. 컴퓨팅 장치는 히트맵이 오버랩 된 피해 이미지에 손상 평가치(DAV: Damage Assessment Value)를 할당할 수 있다. 이후, 컴퓨팅 장치는 피해 이미지에 할당된 손상 평가치에 따라 시각화 된 위치의 손상 심각도를 결정할 수 있다.In step 840, the computing device may determine the damage severity according to the location in the visualized damage image. The computing device may assign a damage assessment value (DAV) to the damage image in which the heat map overlaps. Thereafter, the computing device may determine the damage severity of the visualized location according to the damage evaluation value assigned to the damage image.

단계(850)에서 컴퓨팅 장치는 손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가할 수 있다. 컴퓨팅 장치는 시각화 된 피해 이미지 내 위치에 따른 손상 심각도 및 상기 위치에 해당하는 건물의 요소를 고려하여 피해 이미지 별로 손상 등급을 평가할 수 있다.In operation 850, the computing device may evaluate a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the damage severity. The computing device may evaluate the damage grade for each damage image in consideration of the damage severity according to the location in the visualized damage image and the element of the building corresponding to the location.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, and digital storage media.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be a computer program product, i.e., an information carrier, e.g., a machine-readable storage, for processing by, or for controlling, the operation of a data processing apparatus, e.g., a programmable processor, computer, or plurality of computers. It can be implemented as a computer program tangibly embodied in a device (computer readable medium) or a radio signal. A computer program, such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be written as a stand-alone program or in a module, component, subroutine, or computing environment. It can be deployed in any form, including as other units suitable for the use of. A computer program can be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communication network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from read only memory or random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include, receive data from, send data to, or both, one or more mass storage devices that store data, such as magnetic, magneto-optical disks, or optical disks. It can also be combined to become. Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, compact disk read only memory (CD-ROM) ), optical media such as DVD (Digital Video Disk), magneto-optical media such as floptical disks, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. The processor and memory may be supplemented by, or included in, special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, computer readable media may be any available media that can be accessed by a computer, and may include both computer storage media and transmission media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although this specification contains many specific implementation details, they should not be construed as limiting on the scope of any invention or what is claimed, but rather as a description of features that may be unique to a particular embodiment of a particular invention. It should be understood. Certain features that are described in this specification in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Further, while features may operate in particular combinations and are initially depicted as such claimed, one or more features from a claimed combination may in some cases be excluded from that combination, and the claimed combination is a subcombination. or sub-combination variations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Similarly, while actions are depicted in the drawings in a particular order, it should not be construed as requiring that those actions be performed in the specific order shown or in the sequential order, or that all depicted actions must be performed to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various device components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the program components and devices described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in this specification and drawings are only presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is obvious to those skilled in the art that other modified examples based on the technical idea of the present invention can be implemented.

101: 컴퓨팅 장치
102: 피해 이미지
103: 건물
104: 사용자 단말101: computing device
102: damage image
103: building
104: user terminal

Claims (18)

지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하는 단계;
신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행하는 단계;
전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지에 그래디언트(Gradient)를 적용하여 상기 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하는 단계;
관심 영역을 중심으로 생성된 히트맵(Heat Map)을 피해 이미지에 오버랩하여 상기 히트맵이 오버랩 된 피해 이미지에서 구조적 손상이 발생한 위치를 시각화 하는 단계;
상기 히트맵이 오버랩 된 피해 이미지에 손상 평가치(DAV: Damage Assessment Value)를 할당하여 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 단계; 및
손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하는 단계;
를 포함하고,
상기 손상 심각도를 결정하는 단계는,
상기 히트맵으로 표현되는 행렬 S의 요소 및 상기 행렬 S의 차원을 고려하여 상기 피해 이미지에 오버랩 된 히트맵을 구성하는 각 픽셀의 강도를 나타내는 값들 중에서 음수 값이 제거된 양수 값을 도출하는 단계;
상기 도출된 양수 값에 대응하여 상기 히트맵이 오버랩 된 피해 이미지에 대한 손상 평가치를 할당하는 단계 - 상기 손상 평가치는 '0'과 '1' 사이의 범위에 포함되는 숫자 값임 -; 및
상기 손상 평가치로 할당된 모든 값에 대한 평균을 산출하여 상기 평균으로 산출된 값을 손상 심각도로 결정하는 단계
를 포함하고,
상기 손상 심각도를 결정하는 단계는,
상기 손상 평가치의 값이 가 '0'이면, 상기 피해 이미지의 손상 레벨을 무 손상(No Damage)으로 분류하고,
상기 손상 평가치의 값이 '0' 이상 '0.25' 미만이면, 상기 피해 이미지의 손상 레벨을 경미한 손상(Light Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.25' 이상 '0.5' 미만이거나 또는, '0.5' 이상 '0.75' 미만이면, 상기 피해 이미지의 손상 레벨을 적당한 손상(Moderate Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.75' 초과 '1' 이하이면, 상기 피해 이미지의 손상 레벨을 심각한 손상(Severe Damage)으로 분류하고,
에 가까울수록 상기 결정된 손상 레벨 중 무 손상(No Damage)에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고,
상기 손상 평가치의 값이가 '1' 이면, 상기 피해 이미지의 에 가까울수록 상기 결정된 손상 레벨을 중 전체 붕괴(Total Damage)로 분류하며,
상기 분류된 피해 이미지의 손상 레벨에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 건물 손상 평가 방법.performing neural network learning on structural damage formed in a building by applying an image of damage to a building subjected to impact due to an earthquake to an image training model;
performing transfer learning on an image evaluation model for evaluating whether or not a building is damaged using an image training model on which neural network learning has been performed;
determining a region of interest predicted as a damage pattern of the damaged image by applying a gradient to the damaged image based on an image evaluation model on which transfer learning has been performed;
Overlapping a heat map generated around a region of interest with a damage image to visualize a location where structural damage occurs in the damage image in which the heat map is overlapped;
determining a damage severity according to a location in the visualized damage image by allocating a damage assessment value (DAV) to the damage image in which the heat map overlaps; and
Evaluating a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the severity of the damage;
including,
Determining the severity of the damage,
Deriving a positive value from which negative values are removed from among values representing the intensity of each pixel constituting a heatmap overlapped with the damage image in consideration of elements of the matrix S represented by the heatmap and dimensions of the matrix S;
assigning a damage evaluation value to the damage image overlapped with the heat map in response to the derived positive value, wherein the damage evaluation value is a numerical value included in a range between '0' and '1'; and
Calculating an average of all values assigned as the damage evaluation value and determining the averaged value as the damage severity
including,
Determining the severity of the damage,
If the value of the damage evaluation value is '0', the damage level of the damage image is classified as no damage,
If the value of the damage evaluation value is '0' or more and less than '0.25', the damage level of the damage image is classified as light damage,
If the value of the damage evaluation value is '0.25' or more and less than '0.5' or '0.5' or more and less than '0.75', the damage level of the damage image is classified as moderate damage,
If the value of the damage evaluation value exceeds '0.75' and is less than or equal to '1', the damage level of the damage image is classified as severe damage;
Determines the damage severity according to the position in the visualized damage image to correspond to no damage among the determined damage levels,
If the value of the damage evaluation value is '1', the determined damage level is classified as total damage as it is closer to the damage image,
Building damage evaluation method for determining the damage severity according to the location in the damage image visualized to correspond to the damage level of the classified damage image. 제1항에 있어서,
상기 이미지 훈련 모델을 학습하는 단계는,
심층 신경망 기반의 각 계층에 따른 건물의 피해 이미지를 분석하는 단계;
분석 결과에 따라 건물에 형성된 구조적 손상에 관한 피해 이미지의 손상 레벨을 분류하는 단계;
피해 이미지의 손상 레벨에 대응하여 건물의 손상 패턴을 결정하는 단계; 및
상기 건물의 손상 패턴에 따른 건물에 형성된 구조적 손상을 파악하기 위한 이미지 훈련 모델을 학습하는 단계;
를 포함하는 건물 손상 평가 방법.According to claim 1,
The step of learning the image training model,
Analyzing damage images of buildings according to each layer based on a deep neural network;
Classifying a damage level of a damage image related to structural damage formed in a building according to an analysis result;
Determining a damage pattern of the building in response to the damage level of the damage image; and
learning an image training model for identifying structural damage formed in the building according to the damage pattern of the building;
Building damage assessment method comprising a. 제2항에 있어서,
상기 건물의 피해 이미지를 분석하는 단계는,
상기 건물의 피해 이미지로부터 건물의 구조 요소 및 건물의 비구조 요소 중 적어도 하나에 형성된 박리, 균열, 붕괴, 파손 및 탈락 중 적어도 하나를 분석하는 건물 손상 평가 방법.According to claim 2,
Analyzing the damage image of the building,
A building damage evaluation method of analyzing at least one of delamination, cracks, collapse, breakage, and omission formed in at least one of a structural element of a building and a non-structural element of a building from the damage image of the building. 제1항에 있어서,
상기 건물의 피해 이미지는,
지진으로 인해 건물에 형성된 구조적 손상에 따른 서로 다른 손상 비율을 갖는 이미지인 건물 손상 평가 방법.According to claim 1,
The damage image of the building is,
A method for evaluating building damage, which is an image with different damage rates according to structural damage formed on a building due to an earthquake. 제1항에 있어서,
상기 전이 학습을 수행하는 단계는,
사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습하는 건물 손상 평가 방법.According to claim 1,
The step of performing the transfer learning,
A building damage evaluation method for transfer learning using the training weights of a pre-learned image training model as initial weights for transfer learning and using the evaluation weights of an image evaluation model to evaluate whether or not a building is damaged. 제5항에 있어서,
상기 전이 학습을 수행하는 단계는,
이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지와 유사한 학습을 수행하는 건물의 특징 추출 기법, 및 이미지 훈련 모델의 훈련 가중치를 조정하는 미세 조정 기법 중 적어도 하나의 기법을 이용하여 이미지 평가 모델로 전이 학습을 수행하는 건물 손상 평가 방법.According to claim 5,
The step of performing the transfer learning,
Transfer to an image evaluation model using at least one of a building feature extraction technique that performs learning similar to the damage image of a building used to learn the image training model, and a fine-tuning technique that adjusts training weights of the image training model. A building damage assessment method that conducts learning. 삭제delete 제1항에 있어서,
상기 히트맵을 생성하는 단계는,
상기 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성하는 건물 손상 평가 방법.According to claim 1,
The step of generating the heat map is,
Building damage evaluation method for generating a heat map expressed in a constant color in consideration of the intensity of each pixel of the damage image to which the gradient is applied. 삭제delete 제1항에 있어서,
상기 손상 등급을 평가하는 단계는,
상기 시각화 된 피해 이미지 내 위치에 따른 손상 심각도 및 상기 위치에 해당하는 건물의 요소를 고려하여 피해 이미지 별로 손상 등급을 평가하는 건물 손상 평가 방법.According to claim 1,
Evaluating the damage grade,
Building damage evaluation method for evaluating the damage grade for each damage image in consideration of the damage severity according to the location in the visualized damage image and the element of the building corresponding to the location. 사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 지진에 의해 충격이 가해진 건물의 손상 여부를 평가하기 위한 전이 학습을 수행하는 단계;
전이 학습이 수행된 건물의 피해 이미지에 그래디언트를 적용하여 상기 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하는 단계;
상기 결정된 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성하는 단계;
피해 이미지에 상기 생성된 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하는 단계;
히트맵이 오버랩 된 피해 이미지에 손상 평가치를 할당하여 구조적 손상이 발생한 위치의 손상 심각도를 결정하는 단계; 및
손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하는 단계;
를 포함하고,
상기 손상 심각도를 결정하는 단계는,
상기 히트맵으로 표현되는 행렬 S의 요소 및 상기 행렬 S의 차원을 고려하여 상기 피해 이미지에 오버랩 된 히트맵을 구성하는 각 픽셀의 강도를 나타내는 값들 중에서 음수 값이 제거된 양수 값을 도출하는 단계;
상기 도출된 양수 값에 대응하여 상기 히트맵이 오버랩 된 피해 이미지에 대한 손상 평가치를 할당하는 단계 - 상기 손상 평가치는 '0'과 '1' 사이의 범위에 포함되는 숫자 값임 -; 및
상기 손상 평가치로 할당된 모든 값에 대한 평균을 산출하여 상기 평균으로 산출된 값을 손상 심각도로 결정하는 단계
를 포함하고,
상기 손상 심각도를 결정하는 단계는,
상기 손상 평가치가의 값이 '0' 이면, 상기 피해 이미지의 손상 레벨을 무 손상(No Damage)으로 분류하고,
상기 손상 평가치의 값이 '0' 이상 '0.25' 미만이면, 상기 피해 이미지의 손상 레벨을 경미한 손상(Light Damage)으로 분류하고에 가까울수록 상기 결정된 손상 레벨 중 무 손상(No Damage),
상기 손상 평가치의 값이 '0.25' 이상 '0.5' 미만이거나 또는, '0.5' 이상 '0.75' 미만이면, 상기 피해 이미지의 손상 레벨을 적당한 손상(Moderate Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.75' 초과 '1' 이하이면, 상기 피해 이미지의 손상 레벨을 심각한 손상(Severe Damage)으로 분류하고,
에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고,
상기 손상 평가치의 값이가 '1' 이면, 상기 피해 이미지의 에 가까울수록 상기 결정된 손상 레벨을 중 전체 붕괴(Total Damage)로 분류하며,
상기 분류된 피해 이미지의 손상 레벨에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 건물 손상 평가 방법.performing transfer learning to evaluate damage to a building subjected to impact by an earthquake by applying a pre-learned damage image of a building to an image evaluation model;
determining a region of interest predicted as a damage pattern of the damaged image by applying a gradient to a damaged image of a building on which transfer learning has been performed;
generating a heat map in the form of a thermal distribution around the determined region of interest;
visualizing a location where structural damage occurs in the damage image by overlapping the generated heat map with the damage image;
determining a damage severity at a location where structural damage occurs by assigning a damage evaluation value to a damage image in which a heat map overlaps; and
Evaluating a damage grade according to an element of a building to which an impact has been applied for each damage image in response to the severity of the damage;
including,
Determining the severity of the damage,
Deriving a positive value from which negative values are removed from among values representing the intensity of each pixel constituting a heatmap overlapped with the damage image in consideration of elements of the matrix S represented by the heatmap and dimensions of the matrix S;
assigning a damage evaluation value to the damage image overlapped with the heat map in response to the derived positive value, wherein the damage evaluation value is a numerical value included in a range between '0' and '1'; and
Calculating an average of all values assigned as the damage evaluation value and determining the averaged value as the damage severity
including,
Determining the severity of the damage,
If the value of the damage evaluation value is '0', the damage level of the damage image is classified as no damage;
If the value of the damage evaluation value is greater than or equal to '0' and less than '0.25', the damage level of the damage image is classified as light damage, and as it is closer to 'No Damage' among the determined damage levels,
If the value of the damage evaluation value is '0.25' or more and less than '0.5' or '0.5' or more and less than '0.75', the damage level of the damage image is classified as moderate damage,
If the value of the damage evaluation value exceeds '0.75' and is less than or equal to '1', the damage level of the damage image is classified as severe damage;
Determine the damage severity according to the location in the damage image visualized to correspond to,
If the value of the damage evaluation value is '1', the determined damage level is classified as total damage as it is closer to the damage image,
Building damage evaluation method for determining the damage severity according to the location in the damage image visualized to correspond to the damage level of the classified damage image. 제11항에 있어서,
상기 전이 학습을 수행하는 단계는,
지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하는 단계; 및
이미지 훈련 모델을 통해 사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 전이 학습을 수행하는 단계;
를 포함하는 건물 손상 평가 방법.According to claim 11,
The step of performing the transfer learning,
performing neural network learning on structural damage formed in a building by applying an image of damage to a building subjected to impact due to an earthquake to an image training model; and
performing transfer learning by applying a damage image of a building previously learned through an image training model to an image evaluation model;
Building damage assessment method comprising a. 제12항에 있어서,
상기 전이 학습을 수행하는 단계는,
사전에 학습된 이미지 훈련 모델의 훈련 가중치를 전이 학습을 위한 초기 가중치로 활용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델의 평가 가중치로 전이 학습하는 건물 손상 평가 방법.According to claim 12,
The step of performing the transfer learning,
A building damage evaluation method for transfer learning using the training weights of a pre-learned image training model as initial weights for transfer learning and using the evaluation weights of an image evaluation model to evaluate whether or not a building is damaged. 제12항에 있어서,
상기 전이 학습을 수행하는 단계는,
이미지 훈련 모델을 학습하는데 사용된 건물의 피해 이미지와 유사한 학습을 수행하는 건물의 특징 추출 기법, 및 이미지 훈련 모델의 훈련 가중치를 조정하는 미세 조정 기법 중 적어도 하나의 기법을 이용하여 이미지 평가 모델로 전이 학습을 수행하는 건물 손상 평가 방법.According to claim 12,
The step of performing the transfer learning,
Transfer to an image evaluation model using at least one of a building feature extraction technique that performs learning similar to the damage image of a building used to learn the image training model, and a fine-tuning technique that adjusts training weights of the image training model. A building damage assessment method that conducts learning. 삭제delete 제11항에 있어서,
상기 히트맵을 생성하는 단계는,
상기 그래디언트가 적용된 피해 이미지의 각 픽셀의 강도를 고려하여 일정한 색상으로 표현된 히트맵을 생성하는 건물 손상 평가 방법.According to claim 11,
The step of generating the heat map is,
Building damage evaluation method for generating a heat map expressed in a constant color in consideration of the intensity of each pixel of the damage image to which the gradient is applied. 건물 손상 평가 방법을 수행하는 컴퓨팅 장치에 있어서,
상기 컴퓨팅 장치는 프로세서를 포함하고,
상기 프로세서는,
지진으로 인해 충격이 가해진 건물의 피해 이미지를 이미지 훈련 모델에 적용하여 건물에 형성된 구조적 손상에 관한 신경망 학습을 수행하고,
신경망 학습이 수행된 이미지 훈련 모델을 이용하여 건물의 손상 여부를 평가하기 위한 이미지 평가 모델로 전이 학습을 수행하고,
전이 학습이 수행된 이미지 평가 모델을 기반으로 피해 이미지에 그래디언트를 적용하여 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하고,
관심 영역을 중심으로 생성된 히트맵을 피해 이미지에 오버랩하여 상기 히트맵이 오버랩 된 피해 이미지에서 구조적 손상이 발생한 위치를 시각화 하고,
상기 히트맵이 오버랩 된 피해 이미지에 손상 평가치(DAV: Damage Assessment Value)를 할당하여 상기 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고,
손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하고,
상기 손상 심각도를 결정함에 있어,
상기 히트맵으로 표현되는 행렬 S의 요소 및 상기 행렬 S의 차원을 고려하여 상기 피해 이미지에 오버랩 된 히트맵을 구성하는 각 픽셀의 강도를 나타내는 값들 중에서 음수 값이 제거된 양수 값을 도출하고,
상기 도출된 양수 값에 대응하여 상기 히트맵이 오버랩 된 피해 이미지에 대한 손상 평가치를 할당- 상기 손상 평가치는 '0'과 '1' 사이의 범위에 포함되는 숫자 값임 - 하며,
상기 손상 평가치로 할당된 모든 값에 대한 평균을 산출하여 상기 평균으로 산출된 값을 손상 심각도로 결정하고,
상기 손상 심각도를 결정함에 있어,
상기 손상 평가치의 값이가 '0'에 가까울수록 상기 결정된 손상 레벨 중 무 손상에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고, 이면, 상기 피해 이미지의 손상 레벨을 무 손상(No Damage)으로 분류하고,
상기 손상 평가치의 값이 '0' 이상 '0.25' 미만이면, 상기 피해 이미지의 손상 레벨을 경미한 손상(Light Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.25' 이상 '0.5' 미만이거나 또는, '0.5' 이상 '0.75' 미만이면, 상기 피해 이미지의 손상 레벨을 적당한 손상(Moderate Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.75' 초과 '1' 이하이면, 상기 피해 이미지의 손상 레벨을 심각한 손상(Severe Damage)으로 분류하고,
상기 손상 평가치의 값이 가 '1' 이면, 상기 피해 이미지의 에 가까울수록 상기 결정된 손상 레벨을 중 전체 붕괴(Total Damage)로 분류하며,
상기 분류된 피해 이미지의 손상 레벨에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 컴퓨팅 장치.A computing device for performing a building damage assessment method,
The computing device includes a processor;
the processor,
Applying damage images of buildings impacted by earthquakes to image training models to perform neural network learning on structural damage formed in buildings,
Transfer learning is performed as an image evaluation model for evaluating whether a building is damaged using an image training model in which neural network learning has been performed,
Based on the image evaluation model in which transfer learning has been performed, a gradient is applied to the damage image to determine a region of interest predicted as a damage pattern of the damage image,
Visualize the location of structural damage in the damage image where the heat map is overlapped by overlapping the heat map generated around the region of interest with the damage image,
assigning a damage assessment value (DAV) to a damage image in which the heat map overlaps to determine a damage severity according to a location in the visualized damage image;
In response to the severity of the damage, the damage grade according to the elements of the building to which the impact was applied for each damage image is evaluated,
In determining the severity of the damage,
In consideration of the elements of the matrix S represented by the heatmap and the dimension of the matrix S, a positive value from which negative values are removed is derived from values representing the intensity of each pixel constituting the heatmap overlapped with the damage image,
Corresponding to the derived positive value, a damage evaluation value for the damage image overlapped with the heat map is assigned - the damage evaluation value is a numerical value included in the range between '0' and '1'.
An average of all values assigned as the damage evaluation value is calculated and the value calculated as the average is determined as a damage severity;
In determining the severity of the damage,
As the value of the damage evaluation value is closer to '0', the damage severity is determined according to the position in the visualized damage image to correspond to no damage among the determined damage levels. damage),
If the value of the damage evaluation value is '0' or more and less than '0.25', the damage level of the damage image is classified as light damage,
If the value of the damage evaluation value is '0.25' or more and less than '0.5' or '0.5' or more and less than '0.75', the damage level of the damage image is classified as moderate damage,
If the value of the damage evaluation value exceeds '0.75' and is less than or equal to '1', the damage level of the damage image is classified as severe damage;
If the value of the damage evaluation value is '1', the determined damage level is classified as total damage as it is closer to the damage image,
A computing device for determining a damage severity according to a location in a visualized damage image to correspond to a damage level of the classified damage image. 건물 손상 평가 방법을 수행하는 컴퓨팅 장치에 있어서,
상기 컴퓨팅 장치는 프로세서를 포함하고,
상기 프로세서는,
사전에 학습된 건물의 피해 이미지를 이미지 평가 모델에 적용하여 지진에 의해 충격이 가해진 건물의 손상 여부를 평가하기 위한 전이 학습을 수행하고,
전이 학습이 수행된 건물의 피해 이미지에 그래디언트를 적용하여 상기 피해 이미지의 손상 패턴으로 예측되는 관심 영역을 결정하고,
상기 결정된 관심 영역을 중심으로 열 분포 형태의 히트맵을 생성하고,
피해 이미지에 상기 생성된 히트맵을 오버랩하여 피해 이미지에서 구조적 손상이 발생한 위치를 시각화하고,
히트맵이 오버랩 된 피해 이미지에 손상 평가치를 할당하여 구조적 손상이 발생한 위치의 손상 심각도를 결정하고,
손상 심각도에 대응하여 피해 이미지 별 충격이 가해진 건물의 요소에 따른 손상 등급을 평가하며,
상기 손상 심각도를 결정함에 있어,
상기 히트맵으로 표현되는 행렬 S의 요소 및 상기 행렬 S의 차원을 고려하여 상기 피해 이미지에 오버랩 된 히트맵을 구성하는 각 픽셀의 강도를 나타내는 값들 중에서 음수 값이 제거된 양수 값을 도출하고,
상기 도출된 양수 값에 대응하여 상기 히트맵이 오버랩 된 피해 이미지에 대한 손상 평가치를 할당- 상기 손상 평가치는 '0'과 '1' 사이의 범위에 포함되는 숫자 값임 - 하며,
상기 손상 평가치로 할당된 모든 값에 대한 평균을 산출하여 상기 평균으로 산출된 값을 손상 심각도로 결정하고,
상기 손상 심각도를 결정함에 있어,
상기 손상 평가치의 값이 가 '0'에 가까울수록 상기 결정된 손상 레벨 중 무 손상에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하고, 이면, 상기 피해 이미지의 손상 레벨을 무 손상(No Damage)으로 분류하고,
상기 손상 평가치의 값이 '0' 이상 '0.25' 미만이면, 상기 피해 이미지의 손상 레벨을 경미한 손상(Light Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.25' 이상 '0.5' 미만이거나 또는, '0.5' 이상 '0.75' 미만이면, 상기 피해 이미지의 손상 레벨을 적당한 손상(Moderate Damage)으로 분류하고,
상기 손상 평가치의 값이 '0.75' 초과 '1' 이하이면, 상기 피해 이미지의 손상 레벨을 심각한 손상(Severe Damage)으로 분류하고,
상기 손상 평가치의 값이가 '1' 이면, 상기 피해 이미지의 에 가까울수록 상기 결정된 손상 레벨을 중 전체 붕괴(Total Damage)로 분류하며,
상기 분류된 피해 이미지의 손상 레벨에 대응하도록 시각화 된 피해 이미지 내 위치에 따른 손상 심각도를 결정하는 컴퓨팅 장치.A computing device for performing a building damage assessment method,
The computing device includes a processor;
the processor,
Transfer learning is performed to evaluate the damage of a building impacted by an earthquake by applying a pre-learned damage image of a building to an image evaluation model,
Determining a region of interest predicted by a damage pattern of the damage image by applying a gradient to the damage image of the building on which transfer learning has been performed;
Creating a heat map in the form of a heat distribution centered on the determined region of interest;
Overlapping the generated heat map on the damage image to visualize the location where structural damage occurred in the damage image;
Determine the damage severity of the location where structural damage occurs by assigning a damage estimate to the damage image with the heat map overlapping;
In response to the severity of the damage, the damage grade according to the elements of the building to which the impact was applied for each damage image is evaluated,
In determining the severity of the damage,
In consideration of the elements of the matrix S represented by the heatmap and the dimension of the matrix S, a positive value from which negative values are removed is derived from values representing the intensity of each pixel constituting the heatmap overlapped with the damage image,
Corresponding to the derived positive value, a damage evaluation value for the damage image overlapped with the heat map is assigned - the damage evaluation value is a numerical value included in the range between '0' and '1'.
An average of all values assigned as the damage evaluation value is calculated and the value calculated as the average is determined as a damage severity;
In determining the severity of the damage,
As the value of the damage evaluation value is closer to '0', the damage severity is determined according to the position in the visualized damage image to correspond to no damage among the determined damage levels. damage),
If the value of the damage evaluation value is '0' or more and less than '0.25', the damage level of the damage image is classified as light damage,
If the value of the damage evaluation value is '0.25' or more and less than '0.5' or '0.5' or more and less than '0.75', the damage level of the damage image is classified as moderate damage,
If the value of the damage evaluation value exceeds '0.75' and is less than or equal to '1', the damage level of the damage image is classified as severe damage;
If the value of the damage evaluation value is '1', the determined damage level is classified as total damage as it is closer to the damage image,
A computing device for determining a damage severity according to a location in a visualized damage image to correspond to a damage level of the classified damage image.
KR1020220057728A 2022-05-11 2022-05-11 Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method KR102494829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220057728A KR102494829B1 (en) 2022-05-11 2022-05-11 Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220057728A KR102494829B1 (en) 2022-05-11 2022-05-11 Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method

Publications (1)

Publication Number Publication Date
KR102494829B1 true KR102494829B1 (en) 2023-02-06

Family

ID=85223991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220057728A KR102494829B1 (en) 2022-05-11 2022-05-11 Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method

Country Status (1)

Country Link
KR (1) KR102494829B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953235A (en) * 2024-03-27 2024-04-30 中建国际工程有限公司 Wall damage degree evaluation method and system based on infrared polarization imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
KR20210085761A (en) * 2019-12-31 2021-07-08 동의대학교 산학협력단 Building collapse prevention system
KR102346676B1 (en) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 Method for creating damage figure using the deep learning-based damage image classification of facility

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
KR20210085761A (en) * 2019-12-31 2021-07-08 동의대학교 산학협력단 Building collapse prevention system
KR102346676B1 (en) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 Method for creating damage figure using the deep learning-based damage image classification of facility

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953235A (en) * 2024-03-27 2024-04-30 中建国际工程有限公司 Wall damage degree evaluation method and system based on infrared polarization imaging

Similar Documents

Publication Publication Date Title
Chen et al. A self organizing map optimization based image recognition and processing model for bridge crack inspection
US20200175352A1 (en) Structure defect detection using machine learning algorithms
KR102166458B1 (en) Defect inspection method and apparatus using image segmentation based on artificial neural network
JP2019035626A (en) Recognition method of tire image and recognition device of tire image
CN109284779A (en) Object detecting method based on the full convolutional network of depth
CN111368634B (en) Human head detection method, system and storage medium based on neural network
Savino et al. Automated classification of civil structure defects based on convolutional neural network
CN114882215A (en) Shape selection identification method for particle aggregate region of photoelectric coal gangue sorting image
KR102494829B1 (en) Structure damage evaluation method for using the convolutional neural network, and computing apparatus for performing the method
CN116612120A (en) Two-stage road defect detection method for data unbalance
CN111369526A (en) Multi-type old bridge crack identification method based on semi-supervised deep learning
Iraniparast et al. Surface concrete cracks detection and segmentation using transfer learning and multi-resolution image processing
CN117103790A (en) Corrugated board production line and control method thereof
CN115070780A (en) Industrial robot grabbing method and device based on digital twinning and storage medium
CN114170168A (en) Display module defect detection method, system and computer readable storage medium
CN113516652A (en) Battery surface defect and adhesive detection method, device, medium and electronic equipment
Ehtisham et al. Computing the characteristics of defects in wooden structures using image processing and CNN
Alfaz et al. Bridge crack detection using dense convolutional network (densenet)
CN117422990A (en) Bridge structure classification and evaluation method based on machine learning
CN116912625A (en) Data enhancement method based on priori defect characteristics and SSPCAB attention mechanism
US11481891B1 (en) Systems and methods for quantifying concrete surface roughness
CN116777865A (en) Underwater crack identification method, system, device and storage medium
Kirthiga et al. A survey on crack detection in concrete surface using image processing and machine learning
CN110163081A (en) Regional invasion real-time detection method, system and storage medium based on SSD
Stephen et al. X-ray Weld Defect Recognition Using Deep Learning Technique

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant