KR102313627B1 - Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure - Google Patents

Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure Download PDF

Info

Publication number
KR102313627B1
KR102313627B1 KR1020200054091A KR20200054091A KR102313627B1 KR 102313627 B1 KR102313627 B1 KR 102313627B1 KR 1020200054091 A KR1020200054091 A KR 1020200054091A KR 20200054091 A KR20200054091 A KR 20200054091A KR 102313627 B1 KR102313627 B1 KR 102313627B1
Authority
KR
South Korea
Prior art keywords
defect
steel plate
concrete structure
actual
information
Prior art date
Application number
KR1020200054091A
Other languages
Korean (ko)
Inventor
주영규
배재훈
이종훈
장아름
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020200054091A priority Critical patent/KR102313627B1/en
Priority to KR1020210114915A priority patent/KR102400954B1/en
Application granted granted Critical
Publication of KR102313627B1 publication Critical patent/KR102313627B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

According to one aspect of the present invention, provided is a method for measuring a defect in concrete in a steel plate concrete structure in which the concrete is covered with a steel plate. The method includes the following steps of: inputting training data including the thickness of a steel plate of a defect simulation body comprising concrete with a simulation defect simulated on one side and the steel plate covering the one side of the concrete, simulation defect information corresponding to the simulation defect, and temperature distribution information of the simulation defect extracted from a thermal image of the defect simulation body photographed from the steel plate; performing machine learning with respect to a defect information output learning model so as to output actual defect information using the training data; inputting actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure, and temperature distribution information of the concrete defect part extracted from a thermal image of the actual steel plate concrete structure; and outputting actual defect information from the actual measurement data through the machine-learned defect information output learning model. Therefore, the present invention is capable of calculating actual defect information of the actual steel plate concrete structure.

Description

강판 콘크리트 구조물의 결함 측정 방법 및 강판 콘크리트 구조물의 결함 측정 장치{Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure}Method for measuring defects of steel plate concrete structures and apparatus for measuring defects of steel plate concrete structures {Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure}

본 발명은 강판 콘크리트 구조물의 결함 측정 방법 및 강판 콘크리트 구조물의 결함 측정 장치에 관한 것이다. The present invention relates to a method for measuring defects in a steel plate concrete structure and an apparatus for measuring defects in a steel plate concrete structure.

강판 조립체를 거푸집으로 하여 강판 내부에 콘크리트를 타설하고 강판이 콘크리트를 구속하여 강성, 내력, 변형성능, 시공 등의 측면에 우수한 특성을 발휘할 수 있는 강판 콘크리트 구조(Steel plate concrete structure)가 알려져 있다.A steel plate concrete structure that can exhibit excellent properties in aspects such as rigidity, proof strength, deformation performance, construction, etc. by pouring concrete inside a steel plate using a steel plate assembly as a formwork and constraining the concrete by the steel plate is known.

이러한 강판 콘크리트 구조는 스터드, 타이 바(Tie bar)가 결합된 두 개의 강판 내측에 콘크리트를 타설하여 강판과 콘크리트가 일체적으로 거동할 수 있도록 한 것으로서, 원자력 발전소 등의 대형 구조물에 시공되고 있다.This steel plate concrete structure is constructed by pouring concrete inside two steel plates combined with studs and tie bars so that the steel plate and concrete can behave integrally, and is being constructed in large structures such as nuclear power plants.

그런데, 이런 강판 콘크리트 구조물의 경우 표면에 강판으로 피복되어 있기 때문에 유지관리를 위한 안전 검사 시 내부의 콘크리트의 결함을 검사하기가 어려운 점이 있다.However, in the case of such a steel plate concrete structure, since the surface is coated with a steel plate, it is difficult to inspect the defects of the concrete during safety inspection for maintenance.

구조물의 안전 검사는 육안 검사와 비파괴 검사로 나눌 수 있는데 육안 검사는 구조물의 결함을 육안으로 측정하는 것이고, 비파괴 검사는 내부의 균열 등의 결함을 검사하기 위해 구조물에 손상이나 파괴하지 않고 외부에서 검사하는 방법이다.The safety inspection of structures can be divided into visual inspection and non-destructive inspection. Visual inspection measures the defects of the structure with the naked eye, and the non-destructive inspection inspects the structure from the outside without damaging or destroying the structure to inspect defects such as internal cracks. way to do it

최근 비파괴 검사 중 열화상 카메라를 이용한 건축물의 균열 측정 방법이 개발되어 있다. 열화상 카메라를 이용하면 사물의 표면으로부터 방출되는 복사열을 감지 및 측정하고 이를 통하여 사물의 표면 온도를 수치화 할 수 있는데, 이 때 건물의 균열부는 균열을 통하여 내부에서 열이 방출되어 주변온도보다 상대적으로 높게 측정되는 원리를 통하여 균열 여부를 판단하는 측정방법이다.Recently, a method for measuring cracks in buildings using a thermal imaging camera during non-destructive inspection has been developed. Using a thermal imaging camera, the radiant heat emitted from the surface of an object can be detected and measured, and the surface temperature of the object can be quantified through this. It is a measurement method to determine whether a crack is present through the principle of high measurement.

그런데, 강판 콘크리트 구조물의 경우 콘크리트의 외면에 강판이 피복되어 있어 표면에서 방출되는 복사열의 감지가 용이하지 않아 표면 온도를 수치화하는데 어려움이 있고, 이로 인해 결함 정보를 명확히 검사하는 데 어려움이 있다.However, in the case of a steel plate concrete structure, since the outer surface of the concrete is coated with a steel plate, it is difficult to detect the radiant heat emitted from the surface, so it is difficult to quantify the surface temperature, which makes it difficult to clearly inspect the defect information.

대한민국 공개특허공보 제 10-2016-0031119호(2016.03.22 공개)Republic of Korea Patent Publication No. 10-2016-0031119 (published on March 22, 2016)

본 발명은 강판 콘크리트 결함 모사체의 강판 두께, 모사 결함 정보, 열화상 영상을 통한 온도 분포 정보 등을 학습 데이터로 기계 학습을 진행함으로써 실제 강판 콘크리트 구조물의 실제 결함 정보를 산출할 수 있는 강판 콘크리트 구조물의 결함 측정 방법 및 강판 콘크리트 구조물의 결함 측정 장치를 제공하는 것이다.The present invention is a steel plate concrete structure capable of calculating actual defect information of an actual steel plate concrete structure by performing machine learning on the steel plate thickness of the steel plate concrete defect replica, simulated defect information, and temperature distribution information through thermal image as learning data. To provide a method for measuring defects and an apparatus for measuring defects in steel plate concrete structures.

본 발명의 일 측면에 따르면, 콘크리트에 강판이 피복된 강판 콘크리트 구조물(Steel plate concrete structure) 내부의 상기 콘크리트의 결함 측정 방법으로서, 일면에 모사 결함이 모사된 콘크리트와 상기 콘크리트의 일면을 피복하는 강판으로 구성되는 결함 모사체의 상기 강판의 두께, 상기 모사 결함에 대응되는 모사 결함 정보, 상기 강판 측에서 촬영된 상기 결함 모사체의 열화상 영상으로부터 추출된 상기 모사 결함의 온도 분포 정보를 포함하는 훈련 데이터를 입력하는 단계와; 상기 훈련 데이터를 이용하여 실제 결함 정보를 출력하도록 결함 정보 출력 학습 모델에 대해 기계 학습(Machine Learning)을 진행하는 단계와; 상기 실제 강판 콘크리트 구조물의 강판의 두께, 상기 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 상기 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력하는 단계와; 상기 기계 학습된 상기 결함 정보 출력 학습 모델을 통해 상기 실제 측정 데이터로부터 실제 결함 정보를 출력하는 단계를 포함하는, 강판 콘크리트 구조물의 결함 측정 방법이 제공된다.According to an aspect of the present invention, as a method for measuring the defects of the concrete inside a steel plate concrete structure in which a steel plate is coated on the concrete, the concrete having a simulated defect on one surface and a steel plate covering one surface of the concrete Training including the thickness of the steel plate of the defective base body composed of inputting data; performing machine learning on the defect information output learning model to output actual defect information using the training data; inputting actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image image of the actual steel plate concrete structure; A method for measuring defects in a steel plate concrete structure is provided, including outputting actual defect information from the actual measurement data through the machine-learned defect information output learning model.

상기 훈련 데이터를 입력하는 단계와; 상기 기계 학습(Machine Learning)을 진행하는 단계는, 서로 다른 두께의 강판 규격을 갖는 결함 모사체에 대해 반복적으로 수행할 수 있다.inputting the training data; The step of performing the machine learning (Machine Learning) may be repeatedly performed on a defect base body having a steel plate standard of different thickness.

상기 결함 모사체의 상기 강판에는 모사 용접부가 형성될 수 있다.A simulation welding part may be formed on the steel plate of the defect base body.

상기 훈련 데이터는, 상기 결함 모사체의 상기 열화상 영상 촬영 시 촬영 환경 정보를 포함할 수 있으며, 이 경우, 상기 실제 측정 데이터를 입력하는 단계는, 상기 실제 강판 콘크리트 구조물의 열화상 영상 촬영 시 상기 촬영 환경 정보에 상응하는 실제 촬영 환경 정보를 측정하여 입력하는 단계를 포함할 수 있다.The training data may include photographing environment information when photographing the thermal image of the defective base body, and in this case, the step of inputting the actual measurement data includes: The method may include measuring and inputting actual photographing environment information corresponding to the photographing environment information.

상기 훈련 데이터는, 상기 결함 모사체의 상기 열화상 영상으로부터 추출된 상기 모사 결함의 형상 정보를 포함할 수 있으며, 이 경우, 상기 실제 측정 데이터는, 상기 실제 강판 콘크리트 구조물의 상기 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함할 수 있다.The training data may include shape information of the simulated defect extracted from the thermal image of the defective replica, in this case, the actual measurement data is extracted from the thermal image of the actual steel plate concrete structure The shape information of the actual defect may be included.

상기 결함 정보 출력 학습 모델은, 인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함할 수 있다.The defect information output learning model may include a supervised learning algorithm having an artificial neural network model.

본 발명의 다른 측면에 따르면, 콘크리트에 강판이 피복된 강판 콘크리트 구조물(Steel plate concrete structure) 내부의 상기 콘크리트의 결함 측정 장치로서, 일면에 모사 결함이 모사된 콘크리트와 상기 콘크리트의 일면을 피복하는 강판으로 구성되는 결함 모사체와 실제 강판 콘크리트 구조물의 열화상 영상을 촬영하는 열화상 카메라와; 상기 열화상 영상으로부터 온도 분포 정보를 추출하는 온도 정보 추출부와; 상기 결함 모사체의 상기 강판의 두께, 상기 모사 결함에 대응되는 모사 결함 정보, 상기 온도 분포 정보를 포함하는 훈련 데이터에 대해 기계 학습이 진행되는 결함 정보 출력 학습 모델을 포함하는 기계 학습부와; 상기 실제 강판 콘크리트 구조물의 강판의 두께, 상기 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 상기 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력받고 상기 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 결함 정보를 출력하는 결함 정보 출력부를 포함하는, 강판 콘크리트 구조물의 결함 측정 장치가 제공된다.According to another aspect of the present invention, as an apparatus for measuring the defects of the concrete inside a steel plate concrete structure in which a steel plate is coated on the concrete, a concrete having a simulated defect on one surface and a steel plate covering one surface of the concrete A thermal imaging camera that takes a thermal image of the defect model and the actual steel plate concrete structure consisting of; a temperature information extraction unit for extracting temperature distribution information from the thermal image; a machine learning unit including a defect information output learning model in which machine learning is performed on training data including the thickness of the steel plate of the defect mimetic body, simulated defect information corresponding to the simulated defect, and the temperature distribution information; The actual measurement data including the thickness of the steel plate of the real steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image of the real steel plate concrete structure are received and the machine-learned defect information output learning model There is provided a defect measuring apparatus for a steel plate concrete structure, including a defect information output unit for outputting actual defect information.

상기 강판 콘크리트 구조물의 결함 측정 장치는, 상기 열화상 영상 촬영 시 촬영 환경 정보를 측정하는 환경 정보 측정부를 더 포함할 수 있다.The apparatus for measuring defects of the steel plate concrete structure may further include an environment information measuring unit configured to measure photographing environment information when the thermal image is captured.

그리고, 상기 열화상 카메라와, 가시광 카메라가 탑재되어 상기 실제 강판 콘크리트 구조물 주위를 비행하는 촬영 드론을 더 포함할 수 있다.The thermal imaging camera and the visible light camera may further include a photographing drone mounted around the actual steel plate concrete structure.

상기 기계 학습부는, 서로 다른 두께의 강판 규격을 갖는 결함 모사체에 대해 기계 학습이 반복적으로 수행될 수 있다.In the machine learning unit, machine learning may be repeatedly performed on a defect imitation body having a steel plate standard of different thickness.

상기 결함 모사체의 상기 강판에는 모사 용접부가 형성될 수 있다.A simulation welding part may be formed on the steel plate of the defect base body.

상기 훈련 데이터는, 상기 결함 모사체의 상기 열화상 영상으로부터 추출된 상기 모사 결함의 형상 정보를 포함할 수 있으며, 이 경우, 상기 실제 측정 데이터는, 상기 실제 강판 콘크리트 구조물의 상기 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함할 수 있다.The training data may include shape information of the simulated defect extracted from the thermal image of the defective replica, in this case, the actual measurement data is extracted from the thermal image of the actual steel plate concrete structure The shape information of the actual defect may be included.

상기 결함 정보 출력 학습 모델은, 인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함할 수 있다.The defect information output learning model may include a supervised learning algorithm having an artificial neural network model.

본 발명의 실시예에 따르면, 강판 콘크리트 결함 모사체의 강판 두께, 모사 결함 정보, 열화상 영상을 통한 온도 분포 정보 등을 학습 데이터로 기계 학습을 진행함으로써 실제 강판 콘크리트 구조물의 실제 결함 정보를 산출할 수 있다.According to an embodiment of the present invention, the actual defect information of the actual steel plate concrete structure can be calculated by performing machine learning on the steel plate thickness of the steel plate concrete defect replica, the simulated defect information, and the temperature distribution information through the thermal image as learning data. can

도 1은 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 순서도.
도 2는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 결함 모사체의 분해 사시도.
도 3은 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 결함 모사체의 단면도.
도 4는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법에 따른 열화상 촬영 상황을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법을 수행하는 결함 측정 장치의 블록도.1 is a flowchart of a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention.
Figure 2 is an exploded perspective view of a defect mimetic body of the defect measurement method of the steel plate concrete structure according to an embodiment of the present invention.
Figure 3 is a cross-sectional view of the defect mimetic body of the defect measuring method of the steel plate concrete structure according to an embodiment of the present invention.
4 is a view showing a thermal imaging situation according to a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention.
5 is a block diagram of a defect measuring apparatus for performing a defect measuring method of a steel plate concrete structure according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

이하, 본 발명에 따른 강판 콘크리트 구조물의 결함 측정 방법 및 강판 콘크리트 구조물의 결함 측정 장치를 첨부한 도면을 참조하여 상세히 설명하기로 하며, 첨부한 도면을 참조하여 설명함에 있어서, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, a method for measuring defects of a steel plate concrete structure and an apparatus for measuring defects of a steel plate concrete structure according to the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 순서도이다. 그리고, 도 2는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 결함 모사체의 분해 사시도이고, 도 3은 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법의 결함 모사체의 단면도이다. 그리고, 도 4는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법에 따른 열화상 촬영 상황을 도시한 도면이다.1 is a flowchart of a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention. And, FIG. 2 is an exploded perspective view of a defect model of a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention, and FIG. 3 is a defect model of a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention. It is a cross-sectional view of the body. And, FIG. 4 is a view showing a thermal imaging condition according to a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention.

도 1 내지 도 4에는, 결함 모사체(12), 콘크리트(14, 26), 모사 결함(16), 강판(18, 28), 모사 용접부(20), 열화상 카메라(22), 강판 콘크리트 구조물(24), 촬영 드론(30), 가시광 카메라(32)가 도시되어 있다.1 to 4, the defect replica 12, the concrete 14, 26, the simulated defect 16, the steel plates 18 and 28, the simulated weld 20, the thermal imaging camera 22, the steel plate concrete structure 24 , a photographing drone 30 , and a visible light camera 32 are shown.

본 실시예에 강판 콘크리트 구조물의 결함 측정 방법은, 프로세스 상에서 구현될 수 있으며, 콘크리트(26)에 강판(28)이 피복된 강판 콘크리트 구조물(24)(Steel plate concrete structure) 내부의 콘크리트(26)의 결함 측정 방법으로서, 일면에 모사 결함(16)이 모사된 콘크리트(14)와 콘크리트(14)의 일면을 피복하는 강판(18)으로 구성되는 결함 모사체(12)의 강판의 두께(t), 모사 결함(16)에 대응되는 모사 결함 정보, 강판(18) 측에서 촬영된 결함 모사체(12)의 열화상 영상으로부터 추출된 모사 결함(16)의 온도 분포 정보를 포함하는 훈련 데이터를 입력하는 단계와; 훈련 데이터를 이용하여 실제 결함 정보를 출력하도록 결함 정보 출력 학습 모델에 대해 기계 학습(Machine Learning)을 진행하는 단계와; 실제 강판 콘크리트 구조물(24)의 강판의 두께, 실제 강판 콘크리트 구조물(24)의 열화상 영상으로부터 추출된 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력하는 단계와; 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 측정 데이터로부터 실제 결함 정보를 출력하는 단계를 포함한다.The method for measuring the defects of the steel plate concrete structure in this embodiment can be implemented on the process, and the steel plate 28 is coated on the concrete 26. The concrete 26 inside the steel plate concrete structure 24 (Steel plate concrete structure) As a method for measuring defects, the thickness (t) of the steel plate of the defect mimetic body 12 composed of the concrete 14 on which the simulated defect 16 is simulated on one surface and the steel plate 18 covering one surface of the concrete 14 , Input training data including simulated defect information corresponding to the simulated defect 16, and temperature distribution information of the simulated defect 16 extracted from the thermal image of the defective replica 12 photographed from the steel plate 18 side. step of; performing machine learning on the defect information output learning model to output actual defect information using training data; inputting actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure 24 and the temperature distribution information of the concrete defect part extracted from the thermal image of the actual steel plate concrete structure 24; and outputting actual defect information from actual measurement data through a machine-learned defect information output learning model.

본 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법은 컴퓨터를 포함한 프로세스상에서 구현될 수 있을 것이다.The method for measuring defects of the steel plate concrete structure according to the present embodiment may be implemented in a process including a computer.

도 1을 참조하여, 본 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법을 자세히 설명하면 다음과 같다.Referring to FIG. 1 , a method for measuring defects of a steel plate concrete structure according to the present embodiment will be described in detail as follows.

먼저, 일면에 모사 결함(16)이 모사(模寫)된 콘크리트(14)와 콘크리트(14)의 일면을 피복하는 강판(18)으로 구성되는 결함 모사체(12)의 강판의 두께(t), 모사 결함(16)에 대응되는 모사 결함 정보, 강판(18) 측에서 촬영된 결함 모사체(12)의 열화상 영상으로부터 추출된 모사 결함(16)의 온도 분포 정보를 포함하는 훈련 데이터를 입력한다(S100). First, the thickness (t) of the steel plate of the defect imitation body 12 composed of the concrete 14 on which the simulated defect 16 is simulated on one surface and the steel plate 18 covering one surface of the concrete 14 , Input training data including simulated defect information corresponding to the simulated defect 16, and temperature distribution information of the simulated defect 16 extracted from the thermal image of the defective replica 12 photographed from the steel plate 18 side. do (S100).

도 2 및 도 3을 참고하면, 결함 모사체(12)는, 일면에 모사 결함(16)이 모사된 일정 두께의 콘크리트(14)와, 모사 결함(16)이 형성된 콘크리트(14)의 일면을 피복하는 강판(18)으로 구성된다. 모사 결함(16)은 실제 콘크리트(26)의 타설 과정에서 발생할 수 있는 공극, 재료 분리, 양생 과정 또는 사용 과정에서 발생할 수 있는 균열을 모사한 것으로서 다양한 형태로 형성될 수 있다. 모사 결함(16)을 형성할 때는 각 모사 결함(16)의 크기, 폭, 길이, 깊이 등의 모사 결함 정보를 명확히 측정하여 둔다. Referring to FIGS. 2 and 3 , the defect mimetic body 12 is a surface of the concrete 14 of a certain thickness in which the imitation defect 16 is simulated on one surface, and the concrete 14 in which the imitation defect 16 is formed. It is comprised by the steel plate 18 to cover. The simulation defect 16 simulates voids that may occur during the actual concrete pouring process, material separation, and cracks that may occur during the curing process or use process, and may be formed in various forms. When the simulated defects 16 are formed, the simulated defect information such as the size, width, length, and depth of each simulated defect 16 is clearly measured.

한편, 강판 콘크리트 구조물의 결함 측정 방법에 있어서, 실제 강판 콘크리트 구조물(24)을 모사하는 결함 모사체(12)에 관한 정보로서 콘크리트를 피복하는 강판 두께가 매우 중요하다. On the other hand, in the method for measuring the defects of the steel plate concrete structure, the thickness of the steel plate covering the concrete is very important as information about the defect replica 12 that simulates the actual steel plate concrete structure 24 .

콘크리트의 열전도율은 강판의 열전도율에 비해 상대적으로 많이 낮은데, 강판 내부의 콘크리트의 결함에 따른 온도 변화가 강판의 두께에 의해 다른 양상을 보이게 되므로 결함 모사체(12)의 강판의 두께(t)도 미리 측정하여 훈련 데이터로 활용한다. 그리고, 실제 강판 콘크리트 구조물(24)에 있어서 규격화된 강판(28)은 용접에 의해 서로 연결되어 콘크리트(26)를 피복하기 때문에, 실제 강판 콘크리트 구조물을 모사하기 위해 결함 모사체(12)의 강판(18)에 모사 용접부(20)를 형성할 수 있다. 모사 용접부(20)에 대한 정보도 훈련 데이터로 사용될 수 있다.The thermal conductivity of concrete is relatively much lower than that of the steel plate, and since the temperature change according to the defects of the concrete inside the steel plate shows different aspects depending on the thickness of the steel plate, the thickness (t) of the steel plate of the defect mimetic body 12 is also It is measured and used as training data. And, in the actual steel plate concrete structure 24, the standardized steel plates 28 are connected to each other by welding to cover the concrete 26, so the steel plate ( 18), a simulated welding portion 20 may be formed. Information on the simulated welding part 20 may also be used as training data.

그리고, 열화상 카메라(22)를 이용하여 강판(18) 측에서 결함 모사체(12)에 대해 촬영하여 열화상 영상을 얻고 이미지 프로세싱을 거쳐 열화상 영상으로부터 결함 모사체(12)의 온도 분포 정보를 획득한다. 이때 열화상 영상으로부터 모사 결함(16) 부위의 온도 분포 정보를 획득할 수 있다.Then, using the thermal imaging camera 22, the temperature distribution information of the defective base member 12 from the thermal image image through image processing to obtain a thermal image by photographing the defective base member 12 from the side of the steel plate 18 to acquire At this time, information on the temperature distribution of the simulated defect 16 region may be obtained from the thermal image.

상술한 결함 모사체(12)의 강판(18) 두께, 모사 결함(16)의 크기, 폭, 길이, 깊이 등의 모사 결함 정보, 모사 결함(16)의 온도 분포 정보는 후술할 결함 정보 출력 학습 모델의 훈련 데이터로 활용된다. 보다 정확한 결함 정보의 출력을 위해서는 다양한 형태의 모사 결함(16)과, 서로 다른 강판의 두께를 갖는 강판 규격을 갖는 결함 모사체(12)에 대해 훈련 데이터를 확보한다.The thickness of the steel plate 18 of the defect base 12 described above, the simulated defect information such as the size, width, length, and depth of the simulated defect 16, and the temperature distribution information of the simulated defect 16 are defect information output learning to be described later. It is used as training data for the model. In order to output more accurate defect information, training data is secured for the simulated defects 16 of various types and the defect replicas 12 having steel plate standards having different thicknesses of steel plates.

한편, 훈련 데이터로서 결함 모사체(12)의 촬영 환경 정보가 포함될 수 있다. 실제 강판 콘크리트 구조물(24)의 결함 정보를 얻기 위한 열화상 촬영 시 외부 환경에 따른 영향을 고려해야 하기 때문에, 결함 모사체(12)의 열화상 촬영 시 주변 온도, 풍속, 습도, 조도 등을 측정하는데, 이를 촬영 환경 정보라 한다.On the other hand, as training data, the photographing environment information of the defective base body 12 may be included. When taking thermal imaging to obtain defect information of the actual steel plate concrete structure 24, it is necessary to consider the influence of the external environment. , this is called shooting environment information.

열화상 영상을 촬영 시 하나의 결함 모사체(12)에 대해 주변 온도, 풍속, 습도, 조도 등을 변경하면서 촬영 환경 정보를 획득함으로써 많은 훈련 데이터를 확보할 수 있다.When taking a thermal image, it is possible to secure a lot of training data by acquiring photographing environment information while changing the ambient temperature, wind speed, humidity, illuminance, etc. for one defective base member 12 .

또한, 훈련 데이터는, 결함 모사체(12)의 열화상 영상으로부터 추출된 모사 결함(16)의 형상 정보를 포함할 수 있다. 모사 결함(16)의 형상 정보는 열화상 영상으로부터 이미지 프로세싱을 거쳐 생성될 수 있는데, 이에 대응되어 실제 측정 데이터 또한 실제 강판 콘크리트 구조물(24)의 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함하게 된다. 모사 결함(16)의 형상 정보는 결함 정보 출력 학습 모델의 훈련 데이터로 함께 학습될 수 있다. In addition, the training data may include shape information of the replica defect 16 extracted from the thermal image of the defect replica 12 . The shape information of the simulated defect 16 may be generated from the thermal image through image processing, and correspondingly, the actual measurement data also includes the shape information of the actual defect extracted from the thermal image of the real steel plate concrete structure 24. will do The shape information of the simulated defect 16 may be learned together as training data of the defect information output learning model.

다음에, 훈련 데이터를 이용하여 실제 결함 정보를 출력하도록 결함 정보 출력 학습 모델에 대해 기계 학습(Machine Learning)을 진행한다(S200). 위 단계에서 입력된 결함 모사체(12)의 강판의 두께, 모사 결함(16)의 크기, 폭, 길이, 깊이 등의 모사 결함 정보, 열화상 영상에 따른 모사 결함(16)의 온도 분포 정보를 훈련 데이터로 하여 기 등록된 결함 정보 출력 학습 모델에 기계 학습을 진행한다. 결함 정보 출력 학습 모델은 인공 지능 알고리즘으로서 인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함하여 구성될 수 있다. Next, machine learning is performed on the defect information output learning model to output actual defect information using the training data (S200). The simulated defect information such as the thickness of the steel plate of the defect base 12 input in the above step, the size, width, length, and depth of the simulated defect 16, and the temperature distribution information of the simulated defect 16 according to the thermal image Machine learning is performed on the previously registered defect information output learning model using the training data. The defect information output learning model may be configured by including a supervised learning algorithm having an artificial neural network model as an artificial intelligence algorithm.

지도 학습 알고리즘(supervised learning algorithm)은 입력하는 훈련 데이터에, 입력과 이에 대응되는 미리 알려진 출력값을 입력하여 학습하도록 하는 것으로서, 결함 모사체(12)의 강판(18) 두께, 모사 결함(16) 부위의 온도 분포 정보에 따른 모사 결함 정보를 훈련 데이터로 학습하도록 함으로써 실제 강판 콘크리트 구조물(24)의 실제 결함 정보를 산출하도록 구성할 수 있다.The supervised learning algorithm is to learn by inputting an input and a known output value corresponding thereto to the input training data, and the thickness of the steel plate 18 of the defect mimetic body 12, the replica defect 16 part It can be configured to calculate the actual defect information of the actual steel plate concrete structure 24 by learning the simulated defect information according to the temperature distribution information of the training data.

더불어, 결함 모사체(12)의 열화상 영상 획득 시 다양한 외부 환경에 따른 촬영 환경 정보를 변화시켜 학습시킴으로써 실제 강판 콘크리트 구조물(24)의 외부 환경에 따른 결함 정보를 산출할 수 있다.In addition, by changing and learning the photographing environment information according to various external environments when acquiring the thermal image of the defect base body 12 , it is possible to calculate defect information according to the external environment of the actual steel plate concrete structure 24 .

다음에, 실제 강판 콘크리트 구조물(24)의 강판의 두께, 실제 강판 콘크리트 구조물(24)의 열화상 영상으로부터 추출된 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력한다(S300). 결함 모사체(12)의 훈련 데이터로 학습된 결함 정보 출력 학습 모델에 실제 강판 콘크리트 구조물(24)의 강판의 두께, 실제 강판 콘크리트 구조물(24)의 열화상 영상으로부터 추출된 콘크리트 결함 부분의 온도 분포 정보를 입력한다.Next, actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure 24 and the temperature distribution information of the concrete defect part extracted from the thermal image of the actual steel plate concrete structure 24 is input (S300). The thickness of the steel plate of the real steel plate concrete structure 24 and the temperature distribution of the concrete defect part extracted from the thermal image of the real steel plate concrete structure 24 to the defect information output learning model learned with the training data of the defect mimetic body 12 Enter information.

실제 강판 콘크리트 구조물(24)의 강판의 두께는 현장에서 실측하거나 설계도로부터 획득할 수 있다.The actual thickness of the steel plate of the steel plate concrete structure 24 may be measured on site or obtained from a design drawing.

실제 강판 콘크리트 구조물(24)의 강판(28) 측에서 열화상 카메라(22)를 이용하여 열화상 영상을 획득하고 이미지 프로세싱을 거쳐 열화상 영상으로부터 실제 강판 콘크리트 구조물(24)의 온도 분포 정보를 획득할 수 있다. 이때, 실제 강판 콘크리트 구조물(24)의 열화상 영상 획득 시, 결함 모사체(12)의 촬영 환경 정보에 상응하는 실제 촬영 환경 정보를 측정하여 입력할 수 있다.A thermal image is obtained using a thermal imaging camera 22 on the steel plate 28 side of the actual steel plate concrete structure 24, and temperature distribution information of the real steel plate concrete structure 24 is obtained from the thermal image through image processing. can do. At this time, when the thermal image image of the actual steel plate concrete structure 24 is obtained, actual photographing environment information corresponding to the photographing environment information of the defect base body 12 may be measured and input.

실제 강판 콘크리트 구조물(24)의 열화상 영상을 획득하기 위해 열화상 카메라(22)와 가시광 카메라(32)가 탑재된 촬영 드론(30)을 활용할 수 있다. 실제 강판 콘크리트 구조물(24)은 관측자 보다 훨씬 큰 고층 구조물일 수 있으므로 촬영 드론(30)을 활용함으로써 고층의 실제 강판 콘크리트 구조물(24)의 열화상 영상을 용이하게 획득할 수 있다. 도 4에 도시된 바와 같이, 가시광 카메라(32)를 이용하여 실제 강판 콘크리트 구조물(24)의 외관을 촬영하면서 측정하고자 하는 위치와 상응한 높이에 촬영 드론(30)을 이동시키고 열화상 카메라(22)로 측정 부위의 열화상 영상을 획득할 수 있다.In order to acquire a thermal image of the actual steel plate concrete structure 24 , a photographing drone 30 equipped with a thermal imaging camera 22 and a visible light camera 32 may be utilized. Since the actual steel plate concrete structure 24 may be a high-rise structure that is much larger than the observer, it is possible to easily obtain a thermal image of the high-rise actual steel plate concrete structure 24 by using the photographing drone 30 . As shown in FIG. 4 , the photographing drone 30 is moved to a height corresponding to the position to be measured while photographing the exterior of the actual steel plate concrete structure 24 using the visible light camera 32 , and the thermal imaging camera 22 ) to obtain a thermal image of the measurement site.

다음에, 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 측정 데이터로부터 실제 결함 정보를 출력한다(S400). 실제 강판 콘크리트 구조물(24)의 실제 결함 정보는 훈련 데이터의 모사 결함 정보에 상응하여 실제 결함의 크기, 폭, 길이, 깊이 등이 될 수 있다.Next, the actual defect information is output from the actual measurement data through the machine-learned defect information output learning model (S400). The actual defect information of the actual steel plate concrete structure 24 may be the size, width, length, depth, etc. of the actual defect corresponding to the simulated defect information of the training data.

다양한 형태를 갖는 모사 결함(16) 및 강판 두께를 갖는 결함 모사체(12)에 대해 결함 정보 출력 학습 모델에 대한 학습을 진행함으로써 보다 정밀한 실제 강판 콘크리트 구조물(24)의 실제 결함 정보를 얻을 수 있을 것이다. More precise actual defect information of the real steel plate concrete structure 24 can be obtained by learning about the defect information output learning model for the simulated defects 16 having various shapes and the defect mimetic body 12 having a steel plate thickness. will be.

도 5는 본 발명의 일 실시예에 따른 강판 콘크리트 구조물의 결함 측정 방법을 수행하는 결함 측정 장치의 블록도로서, 컴퓨터를 포함한 프로세스상에서 강판 콘크리트 구조물의 결함 측정 방법이 구현될 수 있을 것이다.5 is a block diagram of an apparatus for measuring defects for performing a method for measuring defects of a steel plate concrete structure according to an embodiment of the present invention, and the method for measuring defects of a steel plate concrete structure may be implemented in a process including a computer.

도 5에는, 촬영 드론(30), 열화상 카메라(32), 온도 정보 추출부(34), 환경 정보 측정부(36), 제어부(38), 기계 학습부(40), 송수신부(42), 결함 정보 출력부(44)가 도시되어 있다.In FIG. 5 , a photographing drone 30 , a thermal imaging camera 32 , a temperature information extracting unit 34 , an environmental information measuring unit 36 , a control unit 38 , a machine learning unit 40 , and a transmitting/receiving unit 42 . , the defect information output unit 44 is shown.

본 실시예에 따른 강판 콘크리트 구조물의 결함 측정 장치는, 콘크리트에 강판이 피복된 강판 콘크리트 구조물(Steel plate concrete structure) 내부의 콘크리트의 결함 측정 장치로서, 일면에 모사 결함이 모사된 콘크리트와 콘크리트의 일면을 피복하는 강판으로 구성되는 결함 모사체와 실제 강판 콘크리트 구조물의 열화상 영상을 촬영하는 열화상 카메라(32)와; 열화상 영상으로부터 온도 분포 정보를 추출하는 온도 정보 추출부(34)와; 결함 모사체의 강판의 두께, 모사 결함에 대응되는 모사 결함 정보, 온도 분포 정보를 포함하는 훈련 데이터에 대해 기계 학습이 진행되는 결함 정보 출력 학습 모델을 포함하는 기계 학습부(40)와; 실제 강판 콘크리트 구조물의 강판의 두께, 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력받고 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 결함 정보를 출력하는 결함 정보 출력부(44)를 포함한다.Defect measuring apparatus of a steel plate concrete structure according to this embodiment, as a defect measuring apparatus of concrete inside a steel plate concrete structure coated with a steel plate in concrete, one side of concrete and concrete with simulated defects on one side A thermal imaging camera 32 for taking a thermal image of the defect imitation body composed of a steel plate covering the actual steel plate and concrete structure; a temperature information extraction unit 34 for extracting temperature distribution information from the thermal image; a machine learning unit 40 including a defect information output learning model in which machine learning is performed on training data including the thickness of the steel plate of the defect mimetic body, simulated defect information corresponding to the simulated defect, and temperature distribution information; It receives the actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image of the real steel plate concrete structure, and receives the actual defect information through the machine-learned defect information output learning model. and a defect information output unit 44 for outputting it.

열화상 카메라(22)는, 도 2 및 도 3에 도시된 바와 같이, 일면에 모사 결함(16)이 모사된 콘크리트(14)와 콘크리트(14)의 일면을 피복하는 강판(18)으로 구성되는 결함 모사체(12) 및 실제 강판 콘크리트 구조물(24)의 열화상 영상을 촬영한다. 별개의 열화상 카메라(22)가 결함 모사체(12)와 실제 강판 콘크리트 구조물(24)을 각각 촬영할 수도 있고, 하나의 열화상 카메라(22)가 결함 모사체(12)와 실제 강판 콘크리트 구조물(24)의 열화상 영상을 촬영할 수 있다.The thermal imaging camera 22, as shown in Figs. 2 and 3, is composed of a steel plate 18 covering one surface of the concrete 14 and the concrete 14 with the simulation defect 16 on one surface simulated. The thermal image of the defect base 12 and the actual steel plate concrete structure 24 is taken. A separate thermal imaging camera 22 may photograph the defective replica 12 and the actual steel plate concrete structure 24, respectively, and a single thermal imaging camera 22 may capture the defective replica 12 and the actual steel plate concrete structure ( 24) can take thermal images.

도 4에 도시된 바와 같이, 실제 강판 콘크리트 구조물(24)의 열화상 영상을 획득하기 위해 열화상 카메라(22)와 가시광 카메라(32)가 탑재된 촬영 드론(30)을 활용할 수 있다. 실제 강판 콘크리트 구조물(24)은 관측자 보다 훨씬 큰 고층 구조물일 수 있으므로 촬영 드론(30)을 활용함으로써 고층의 실제 강판 콘크리트 구조물(24)의 열화상 영상을 용이하게 획득할 수 있다. 가시광 카메라(32)를 이용하여 실제 강판 콘크리트 구조물(24)의 외관을 촬영하면서 측정하고자 하는 위치와 상응한 높이에 촬영 드론(30)을 이동시키고 열화상 카메라(22)로 측정부위의 열화상 영상을 획득할 수 있다.As shown in FIG. 4 , in order to acquire a thermal image of the actual steel plate concrete structure 24 , a photographing drone 30 equipped with a thermal imaging camera 22 and a visible light camera 32 may be utilized. Since the actual steel plate concrete structure 24 may be a high-rise structure that is much larger than the observer, it is possible to easily obtain a thermal image of the high-rise actual steel plate concrete structure 24 by using the photographing drone 30 . While photographing the exterior of the actual steel plate concrete structure 24 using the visible light camera 32 , the drone 30 is moved to a height corresponding to the position to be measured, and a thermal image of the measurement site is performed with the thermal imaging camera 22 . can be obtained.

온도 정보 추출부(34)는, 열화상 영상으로부터 온도 분포 정보를 추출한다. 열화상 카메라로 강판 측에서 결함 모사체 촬영하여 얻는 열화상 영상으로부터 이미지 프로세싱을 거쳐 모사 결함(16) 부위의 온도 분포 정보를 추출한다.The temperature information extraction unit 34 extracts temperature distribution information from the thermal image. Temperature distribution information of the simulated defect 16 is extracted through image processing from a thermal image obtained by photographing a defect replica from the side of the steel plate with a thermal imaging camera.

결함 모사체의 강판의 두께, 모사 결함에 대응되는 모사 결함 정보는 미리 측정하여 두고, 결함 모사체의 강판 측에서 열화상 카메라(22)로 촬영하여 결함 모사체의 표면의 열화상 영상을 얻고 이로부터 모사 결함 부위의 온도 분포 정보를 추출한다.The thickness of the steel plate of the defective base body and the simulated defect information corresponding to the simulated defects are measured in advance and photographed with the thermal imaging camera 22 from the steel plate side of the defective base body to obtain a thermal image of the surface of the defective base body. Extract the temperature distribution information of the simulated defect area from

또한, 온도 정보 추출부(34)는, 실제 강판 콘크리트 구조물의 표면을 강판 측에서 촬영하여 얻은 열화상 영상으로부터 이미지 프로세싱을 거쳐 콘크리트 결함 부위의 온도 분포 정보를 추출할 수 있다.In addition, the temperature information extraction unit 34 may extract the temperature distribution information of the concrete defect portion through image processing from a thermal image obtained by photographing the actual surface of the steel plate concrete structure from the steel plate side.

기계 학습부(40)는, 결함 모사체의 강판의 두께, 모사 결함에 대응되는 모사 결함 정보, 결함 모사체의 열화상 영상으로부터 추출된 온도 분포 정보를 포함하는 훈련 데이터에 대해 기계 학습이 진행되는 결함 정보 출력 학습 모델을 포함한다.Machine learning unit 40, the thickness of the steel plate of the defective base body, simulated defect information corresponding to the simulated defect, and machine learning is performed on training data including temperature distribution information extracted from the thermal image of the defective base body It includes a defect information output learning model.

결함 모사체의 강판 두께, 모사 결함의 크기, 폭, 길이, 깊이 등의 모사 결함 정보, 모사 결함의 온도 분포 정보는 결함 정보 출력 학습 모델의 훈련 데이터로 활용된다. 보다 정확한 결함 정보의 출력을 위해서는 다양한 형태의 모사 결함과, 서로 다른 강판의 두께를 갖는 결함 모사체에 대해 훈련 데이터를 확보한다.The simulated defect information such as the thickness of the steel plate of the defect replica, the size, width, length, and depth of the simulated defect, and the temperature distribution information of the simulated defect are used as training data for the defect information output learning model. In order to output more accurate defect information, training data are secured for various types of simulated defects and defect replicas having different thicknesses of steel plates.

한편, 훈련 데이터로서 결함 모사체의 촬영 환경 정보가 포함될 수 있다. 실제 강판 콘크리트 구조물의 결함 정보를 얻기 위한 열화상 촬영 시 외부 환경에 따른 영향을 고려해야 하기 때문에, 결함 모사체의 열화상 촬영 시 주변 온도, 풍속, 습도, 조도 등을 측정하여 이를 촬영 환경 정보로서 사용한다. On the other hand, as the training data, the photographing environment information of the defective base may be included. When taking thermal imaging to obtain defect information of the actual steel plate concrete structure, the influence of the external environment must be considered, so when taking thermal imaging of a defective replica, the ambient temperature, wind speed, humidity, illuminance, etc. are measured and used as the shooting environment information. do.

촬영 환경 정보를 획득하기 위해 본 실시예에 따른 강판 콘크리트 구조물의 결함 측정 장치는, 환경 정보 측정부(36)를 포함할 수 있다. 환경 정보 측정부(36)에는 주변 온도를 측정하는 온도계, 풍속계, 습도계, 조도계 등을 포함하여 열화상 촬영 시 주변 온도, 풍속, 습도, 조도 등을 측정하여 촬영 환경 정보를 얻을 수 있다.In order to obtain photographing environment information, the apparatus for measuring defects of a steel plate concrete structure according to the present embodiment may include an environmental information measuring unit 36 . The environmental information measuring unit 36 includes a thermometer, anemometer, hygrometer, illuminometer, and the like for measuring ambient temperature, and measures ambient temperature, wind speed, humidity, illuminance, etc. during thermal imaging to obtain photographing environment information.

또한, 훈련 데이터는, 결함 모사체의 열화상 영상으로부터 추출된 모사 결함의 형상 정보를 포함할 수 있다. 모사 결함의 형상 정보는 열화상 영상으로부터 이미지 프로세싱을 거쳐 생성될 수 있다. 이에 대응되어 실제 측정 데이터 또한 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함하게 된다. 모사 결함의 형상 정보는 결함 정보 출력 학습 모델의 훈련 데이터로 함께 학습될 수 있다. In addition, the training data may include shape information of the simulated defect extracted from the thermal image of the defect replica. The shape information of the simulated defect may be generated from a thermal image through image processing. Correspondingly, the actual measurement data also includes the shape information of the actual defect extracted from the thermal image of the actual steel plate concrete structure. The shape information of the simulated defect may be learned together as training data of the defect information output learning model.

결함 정보 출력 학습 모델은 인공 지능 알고리즘으로서 인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함하여 구성될 수 있다. 상술한 훈련 데이터로 하여 기 등록된 결함 정보 출력 학습 모델에 기계 학습을 진행한다.The defect information output learning model may be configured by including a supervised learning algorithm having an artificial neural network model as an artificial intelligence algorithm. Machine learning is performed on the previously registered defect information output learning model using the above-described training data.

결함 정보 출력부(44)는, 실제 강판 콘크리트 구조물의 강판의 두께, 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력받고 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 결함 정보를 출력한다. 실제 강판 콘크리트 구조물(24)의 실제 결함 정보는 훈련 데이터의 모사 결함 정보에 상응하여 실제 결함의 크기, 폭, 길이, 깊이 등이 될 수 있다.The defect information output unit 44 receives actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image of the actual steel plate concrete structure, and machine-learned defect information Output the actual defect information through the output learning model. The actual defect information of the actual steel plate concrete structure 24 may be the size, width, length, depth, etc. of the actual defect corresponding to the simulated defect information of the training data.

제어부(38)는, 열화상 영상이 입력되면 온도 정보 추출부(34)를 통해 이미지 프로세싱을 거쳐 온도 분포 정보를 추출하도록 제어하고, 이러한 온도 분포 정보를 포함하는 훈련 데이터가 입력되면 이를 기계 학습부(40)에서 기계 학습되도록 기계 학습부(40)를 제어한다. 또한, 제어부(38)는, 실제 강판 콘크리트 구조물(24)의 온도 정보 추출부(34)를 통한 열화상 영상의 온도 분포 정보의 추출을 제어하며, 입력된 온도 분포 정보를 포함하는 실제 측정 데이터가 입력되면 학습된 결함 정보 출력 학습 모델을 통해 실제 결함 정보를 출력하도록 제어한다. When a thermal image is input, the control unit 38 controls to extract temperature distribution information through image processing through the temperature information extraction unit 34, and when training data including such temperature distribution information is input, it is transmitted to the machine learning unit In step 40, the machine learning unit 40 is controlled to be machine learned. In addition, the control unit 38 controls the extraction of the temperature distribution information of the thermal image through the temperature information extraction unit 34 of the actual steel plate concrete structure 24, and the actual measurement data including the input temperature distribution information is When it is input, it controls to output actual defect information through the learned defect information output learning model.

송수신부(42)는 무선 통신망을 통해 촬영 드론과 연결되며, 제어부(38)가 송수신부(42)를 통해 무선으로 촬영 드론(30)을 제어하도록 하거나, 열화상 카메라와 가시광 카메라에 무선으로 연결되어 제어부(38)가 실제 강판 콘크리트 구조물의 열화상 영상을 촬영하도록 제어하도록 할 수 있다.The transceiver 42 is connected to the shooting drone through a wireless communication network, and the control unit 38 wirelessly controls the shooting drone 30 through the transceiver 42 or wirelessly connected to the thermal imaging camera and the visible light camera. It can be controlled so that the controller 38 takes a thermal image of the actual steel plate concrete structure.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those skilled in the art can variously modify the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. and can be changed.

12: 결함 모사체 14: 26: 콘크리트
16: 모사 결함 18, 28: 강판
20: 모사 용접부 22: 열화상 카메라
24: 강판 콘크리트 구조물 30: 촬영 드론
32: 가시광 카메라 34: 온도 정보 추출부
26: 환경 정보 측정부 38: 제어부
40: 기계 학습부 42: 송수신부
44: 결함 정보 출력부12: defect mimetic 14: 26: concrete
16: simulation defects 18, 28: steel plate
20: simulated welding portion 22: thermal imaging camera
24: steel plate concrete structure 30: shooting drone
32: visible light camera 34: temperature information extraction unit
26: environmental information measurement unit 38: control unit
40: machine learning unit 42: transceiver unit
44: defect information output unit

Claims (13)

콘크리트에 강판이 피복된 강판 콘크리트 구조물(Steel plate concrete structure) 내부의 상기 콘크리트의 결함 측정 방법으로서,
일면에 모사 결함이 모사된 콘크리트와 상기 콘크리트의 일면을 피복하는 강판으로 구성되는 결함 모사체의 상기 강판의 두께, 상기 모사 결함에 대응되는 모사 결함 정보, 상기 강판 측에서 촬영된 상기 결함 모사체의 열화상 영상으로부터 추출된 상기 모사 결함의 온도 분포 정보를 포함하는 훈련 데이터를 입력하는 단계와;
상기 훈련 데이터를 이용하여 실제 결함 정보를 출력하도록 결함 정보 출력 학습 모델에 대해 기계 학습(Machine Learning)을 진행하는 단계와;
실제 강판 콘크리트 구조물의 강판의 두께, 상기 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 상기 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력하는 단계와;
상기 기계 학습된 상기 결함 정보 출력 학습 모델을 통해 상기 실제 측정 데이터로부터 실제 결함 정보를 출력하는 단계를 포함하며,
상기 훈련 데이터를 입력하는 단계와;
상기 기계 학습(Machine Learning)을 진행하는 단계는,
서로 다른 두께의 강판 규격을 갖는 결함 모사체에 대해 반복적으로 수행하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 방법.
As a method for measuring defects of the concrete inside a steel plate concrete structure in which a steel plate is coated on concrete,
The thickness of the steel plate of the defect base body consisting of concrete with simulated defects on one surface and a steel plate covering one surface of the concrete, simulated defect information corresponding to the simulated defects, and the defect base body photographed from the steel plate side inputting training data including temperature distribution information of the simulated defect extracted from the thermal image;
performing machine learning on the defect information output learning model to output actual defect information using the training data;
inputting actual measurement data including the thickness of the steel plate of the actual steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image image of the actual steel plate concrete structure;
outputting actual defect information from the actual measurement data through the machine-learned defect information output learning model,
inputting the training data;
The step of performing the machine learning (Machine Learning) is,
A method for measuring defects in a steel plate concrete structure, characterized in that it is repeatedly performed on a defect model having a steel plate standard of different thickness.
 삭제delete 제1항에 있어서,
상기 결함 모사체의 상기 강판에는 모사 용접부가 형성되는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 방법.
According to claim 1,
Defect measurement method of the steel plate concrete structure, characterized in that the simulation welding portion is formed on the steel plate of the defect base body.
 제1항에 있어서,
상기 훈련 데이터는,
상기 결함 모사체의 상기 열화상 영상 촬영 시 촬영 환경 정보를 포함하며,
상기 실제 측정 데이터를 입력하는 단계는,
상기 실제 강판 콘크리트 구조물의 열화상 영상 촬영 시 상기 촬영 환경 정보에 상응하는 실제 촬영 환경 정보를 측정하여 입력하는 단계를 포함하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 방법.
According to claim 1,
The training data is
Includes shooting environment information when shooting the thermal image of the defective base body,
The step of inputting the actual measurement data,
Defect measuring method of a steel plate concrete structure, comprising the step of measuring and inputting actual photographing environment information corresponding to the photographing environment information when taking a thermal image of the actual steel plate concrete structure.
 제1항에 있어서,
상기 훈련 데이터는,
상기 결함 모사체의 상기 열화상 영상으로부터 추출된 상기 모사 결함의 형상 정보를 포함하며,
상기 실제 측정 데이터는,
상기 실제 강판 콘크리트 구조물의 상기 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 방법.
According to claim 1,
The training data is
Includes shape information of the simulated defect extracted from the thermal image of the defect replica,
The actual measurement data is,
Defect measuring method of the steel plate concrete structure, characterized in that it includes shape information of the actual defect extracted from the thermal image of the actual steel plate concrete structure.
 제1항에 있어서,
상기 결함 정보 출력 학습 모델은,
인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 방법.
According to claim 1,
The defect information output learning model,
A method for measuring defects in a steel plate concrete structure, comprising a supervised learning algorithm having an artificial neural network model.
 콘크리트에 강판이 피복된 강판 콘크리트 구조물(Steel plate concrete structure) 내부의 상기 콘크리트의 결함 측정 장치로서,
일면에 모사 결함이 모사된 콘크리트와 상기 콘크리트의 일면을 피복하는 강판으로 구성되는 결함 모사체와 실제 강판 콘크리트 구조물의 열화상 영상을 촬영하는 열화상 카메라와;
상기 열화상 영상으로부터 온도 분포 정보를 추출하는 온도 정보 추출부와;
상기 결함 모사체의 상기 강판의 두께, 상기 모사 결함에 대응되는 모사 결함 정보, 상기 온도 분포 정보를 포함하는 훈련 데이터에 대해 기계 학습이 진행되는 결함 정보 출력 학습 모델을 포함하는 기계 학습부와;
상기 실제 강판 콘크리트 구조물의 강판의 두께, 상기 실제 강판 콘크리트 구조물의 열화상 영상으로부터 추출된 상기 콘크리트 결함 부분의 온도 분포 정보를 포함하는 실제 측정 데이터를 입력받고 상기 기계 학습된 결함 정보 출력 학습 모델을 통해 실제 결함 정보를 출력하는 결함 정보 출력부를 포함하며,
상기 기계 학습부는,
서로 다른 두께의 강판 규격을 갖는 결함 모사체에 대해 기계 학습이 반복적으로 수행되는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 장치.
As a defect measuring device of the concrete inside the steel plate concrete structure in which the steel plate is coated on the concrete,
A thermal imaging camera for photographing a thermal image of a concrete structure having a simulated defect on one surface and a defect model composed of a steel plate covering one surface of the concrete and an actual steel plate;
a temperature information extraction unit for extracting temperature distribution information from the thermal image;
a machine learning unit including a defect information output learning model in which machine learning is performed on training data including the thickness of the steel plate of the defect mimetic body, simulated defect information corresponding to the simulated defect, and the temperature distribution information;
The actual measurement data including the thickness of the steel plate of the real steel plate concrete structure and the temperature distribution information of the concrete defect part extracted from the thermal image of the real steel plate concrete structure are received and the machine-learned defect information output learning model and a defect information output unit for outputting actual defect information,
The machine learning unit,
Defect measuring apparatus of a steel plate concrete structure, characterized in that machine learning is repeatedly performed on the defect replica having different thicknesses of steel plate specifications.
 제7항에 있어서,
상기 열화상 영상 촬영 시 촬영 환경 정보를 측정하는 환경 정보 측정부를 더 포함하는, 강판 콘크리트 구조물의 결함 측정 장치.
8. The method of claim 7,
Defect measuring apparatus of a steel plate concrete structure further comprising an environment information measuring unit for measuring the photographing environment information when the thermal image is taken.
 제7항에 있어서,
상기 열화상 카메라와, 가시광 카메라가 탑재되어 상기 실제 강판 콘크리트 구조물 주위를 비행하는 촬영 드론을 더 포함하는, 강판 콘크리트 구조물의 결함 측정 장치.
8. The method of claim 7,
The thermal imaging camera, and a visible light camera is mounted, further comprising a photographing drone flying around the actual steel plate concrete structure, the defect measuring device of the steel plate concrete structure.
 삭제delete 제7항에 있어서,
상기 결함 모사체의 상기 강판에는 모사 용접부가 형성되는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 장치.
8. The method of claim 7,
Defect measuring device of the steel plate concrete structure, characterized in that the simulated welding portion is formed on the steel plate of the defect base body.
 제7항에 있어서,
상기 훈련 데이터는,
상기 결함 모사체의 상기 열화상 영상으로부터 추출된 상기 모사 결함의 형상 정보를 포함하며,
상기 실제 측정 데이터는,
상기 실제 강판 콘크리트 구조물의 상기 열화상 영상으로부터 추출된 실제 결함의 형상 정보를 포함하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 장치.
8. The method of claim 7,
The training data is
Includes shape information of the simulated defect extracted from the thermal image of the defect replica,
The actual measurement data is,
Defect measuring apparatus of the steel plate concrete structure, characterized in that it includes shape information of the actual defect extracted from the thermal image of the actual steel plate concrete structure.
 제7항에 있어서,
상기 결함 정보 출력 학습 모델은,
인공 신경망 모델(artificial neural network model)를 갖는 지도 학습 알고리즘을 포함하는 것을 특징으로 하는, 강판 콘크리트 구조물의 결함 측정 장치.8. The method of claim 7,
The defect information output learning model,
An apparatus for measuring defects in a steel plate concrete structure, comprising a supervised learning algorithm having an artificial neural network model.
KR1020200054091A 2020-05-06 2020-05-06 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure KR102313627B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200054091A KR102313627B1 (en) 2020-05-06 2020-05-06 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure
KR1020210114915A KR102400954B1 (en) 2020-05-06 2021-08-30 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054091A KR102313627B1 (en) 2020-05-06 2020-05-06 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210114915A Division KR102400954B1 (en) 2020-05-06 2021-08-30 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure

Publications (1)

Publication Number Publication Date
KR102313627B1 true KR102313627B1 (en) 2021-10-19

Family

ID=78228021

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200054091A KR102313627B1 (en) 2020-05-06 2020-05-06 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure
KR1020210114915A KR102400954B1 (en) 2020-05-06 2021-08-30 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210114915A KR102400954B1 (en) 2020-05-06 2021-08-30 Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure

Country Status (1)

Country Link
KR (2) KR102313627B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189670A (en) * 1996-01-11 1997-07-22 Nitto Chem Ind Co Ltd Method for detecting defect of structure reinforced with steel plate
KR20160031119A (en) 2014-09-11 2016-03-22 한국표준과학연구원 Nondestructive infrared thermography system and inspection method using thermal conduction controller
JP2019027908A (en) * 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ Exterior surface material investigation system
KR20190139270A (en) * 2017-04-18 2019-12-17 사우디 아라비안 오일 컴퍼니 Apparatus, Systems, and Methods for Inspecting Composite Structures Using Quantitative Infrared Thermography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189670A (en) * 1996-01-11 1997-07-22 Nitto Chem Ind Co Ltd Method for detecting defect of structure reinforced with steel plate
KR20160031119A (en) 2014-09-11 2016-03-22 한국표준과학연구원 Nondestructive infrared thermography system and inspection method using thermal conduction controller
KR20190139270A (en) * 2017-04-18 2019-12-17 사우디 아라비안 오일 컴퍼니 Apparatus, Systems, and Methods for Inspecting Composite Structures Using Quantitative Infrared Thermography
JP2019027908A (en) * 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ Exterior surface material investigation system

Also Published As

Publication number Publication date
KR102400954B1 (en) 2022-05-24
KR20210135944A (en) 2021-11-16

Similar Documents

Publication Publication Date Title
KR102256181B1 (en) Method of inspecting and evaluating coating state of steel structure and system for the same
KR102122893B1 (en) System and method for autonomous crack evaluation of structure based on uav mounted-hybrid image scanning
JP2018181235A (en) Report generator, wind power generation equipment inspection system, program, and method for generating inspection report of wind power generation equipment
CN109931878A (en) A kind of building curtain wall seismic deformation monitoring method based on digital speckle label
KR102095793B1 (en) Method and apparatus for measuring crack depth of structure using thermo-graphical image
KR101942182B1 (en) Residual strength evaluation method for fire damaged structure
JPWO2018034057A1 (en) Defect inspection apparatus, defect inspection method, and program
KR101792435B1 (en) Damage evaluation method for fire damaged structure
KR20190130257A (en) Prediction method for compression strength of concrete structure based on deep convolutional neural network algorithm and prediction system using the method
CN110006896A (en) A kind of the virtual detection instrument and detection method of 3D printing concrete performance
JP2021035833A (en) Inspection system
Ramón et al. Thermal point clouds of buildings: A review
JPH05322778A (en) Remote sensing method for building
CN107972885A (en) Apparatus and method for checking inconsistency caused by lightning
JP2021021669A (en) Inspection assisting method, inspection assisting system, and inspection assisting program
JP2016035424A (en) Concrete evaluation device and concrete evaluation method
Park et al. Learning‐based image scale estimation using surface textures for quantitative visual inspection of regions‐of‐interest
KR102313627B1 (en) Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure
Zdziebko et al. Synthetic image generation using the finite element method and blender graphics program for modeling of vision-based measurement systems
Wang et al. Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production.
KR101081937B1 (en) A Method for Assessing the Possibility of Joining Structures Using Terrestrial Laser Scanner
Garrido et al. Algorithms for the automatic detection and characterization of pathologies in heritage elements from thermographic images
Merkle et al. Sensor evaluation for crack detection in concrete bridges
KR20240064037A (en) How to identify and characterize surface defects of objects and cracks in brake discs by artificial intelligence through fatigue testing
Žnidarič et al. Detection of delaminated and cracked concrete with unmanned aerial vehicles

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant