KR102256181B1 - 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 - Google Patents

강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 Download PDF

Info

Publication number
KR102256181B1
KR102256181B1 KR1020200132248A KR20200132248A KR102256181B1 KR 102256181 B1 KR102256181 B1 KR 102256181B1 KR 1020200132248 A KR1020200132248 A KR 1020200132248A KR 20200132248 A KR20200132248 A KR 20200132248A KR 102256181 B1 KR102256181 B1 KR 102256181B1
Authority
KR
South Korea
Prior art keywords
image
steel structure
thermal
coating film
deterioration
Prior art date
Application number
KR1020200132248A
Other languages
English (en)
Inventor
손훈
황순규
김현진
임형진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US17/128,680 priority Critical patent/US11494891B2/en
Priority to CN202011592461.4A priority patent/CN113125458B/zh
Application granted granted Critical
Publication of KR102256181B1 publication Critical patent/KR102256181B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/62—Insulation or other protection; Elements or use of specified material therefor
    • E04B1/64—Insulation or other protection; Elements or use of specified material therefor for making damp-proof; Protection against corrosion
    • E04B1/642—Protecting metallic construction elements against corrosion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Biology (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템이 개시된다. 비전 카메라와 열화상 카메라를 이용하여 강구조물의 원하는 영역을 각각 촬영하여 다수의 실화상과 열화상을 획득한다. 열화상 촬영 시 그 원하는 영역을 가열한다. 동적 상태의 다수의 열화상과 다수의 실화상을 시공 통합 좌표 변환을 통해 정적 상태의 시공 통합 열화상과 실화상으로 각각 재구성한 다음, 그 두 화상을 정합하여 정합 이미지를 생성한다. 인공지능 기반 도막 열화 검출 모델에 정합 이미지를 입력하여 도막의 열화 영역을 검출하고, 도막 열화 분류 모델에 입력하여 도막 열화를 특성별로 분류한다. 도막 열화 영역의 크기를 정량화한다. 도막 두께 검사 알고리즘에 기초하여, 시공 통합 열화상으로부터 계측되는 열에너지를 분석하여 도막 두께를 검사한다. 도막 열화 검사 결과와 도막 두께 검사 결과를 종합적으로 평가하여 도막 등급을 산출한다. 강구조물에 관련된 부가 정보를 더 하여, 강구조물에 대한 상태평가 보고서를 자동으로 작성한다.

Description

강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 {Method of inspecting and evaluating coating state of steel structure and system for the same}
본 발명은 구조물의 도막 상태 검사 및 평가 기술에 관한 것으로, 보다 상세하게는, 구조물에 도포된 도막의 상태를 검사하여 내구성을 평가할 수 있는 도막 상태 검사 및 평가 방법과 시스템에 관한 것이다.
일반적으로, 예컨대 강구조물 등은 그 표면에 부식 방지 등 여러 가지 목적을 위해 페인트를 칠할 수 있다. 구조물 안전과 관련하여, 구조물의 도막 두께의 정도 및/또는 열화 상태 등을 검사하고 평가하는 작업은 구조물의 내구성을 확인하고 안전성을 확보하기 위하여 필수적으로 요구되는 과정이다.
도막 두께를 측정하여 구조물의 내구성을 확인하기 위해 초음파를 이용한 장비가 개발되었었다. 그러나 그 장비는 3~5mm 이내의 국부영역만 측정 가능하며, 사용자의 숙련도에 따라 검사 결과가 달라질 수 있어서, 검사 결과에 객관성이 결여될 수 있다.
또한 도막 열화 상태의 탐지 및 분류를 위해 육안검사, 비전 카메라를 이용한 인공지능 검사 기법이 개발되었다. 육안검사는 검사자의 주관이 개입되어 검사 결과의 신뢰도가 낮다. 비전 카메라를 이용한 인공지능 기반 검사 기법은 도막 표면의 열화만 탐지할 수 있을 뿐, 도막 내부의 열화를 탐지할 수는 없다. 즉, 대부분 구조물 표면에 발생한 부식과 박리만 탐지 및 구별할 수 있을 뿐이다.
도막의 열화 특성 내지 종류도 다양하다. 열화는 부식(corrosion), 박리(delamination), 체킹(checking), 초킹(chalking)으로 분류될 수 있다. 열화의 특성에 따라 구조물 안전에 미치는 중요도가 다르며, 안전을 위해 취해야 할 조치도 다르다. 그러므로 도막의 열화를 탐지하는 것에 그치는 것이 아니라, 탐지되는 열화의 형태까지 정확하게 파악할 필요가 있다.
일본 공개특허공보 특개2004-037276호(2004.02.05.) 대한민국 공개특허공보 제10-2019-0142626호(2019.12.27.) 대한민국 등록특허공보 제10-1877480호(2018.08.07.)
본 발명은 열화상 시스템과 비전 시스템을 모두 이용해 구조물의 전 영역에 대해 도막 두께를 시각화 및 정량화할 수 있음과 동시에, 도막 내부 및 외부에 발생 가능한 다양한 특성의 열화를 종합적이고 효율적으로 탐지하고 각 특성별로 분류하는 작업을 수행할 수 있으며, 이러한 검사의 결과를 바탕으로 도막 상태를 평가하고 관련 보고서를 자동으로 생성할 수 있는 도막 상태 검사 및 평가 방법과 이를 위한 시스템을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 실시예들에 따른 도막 상태 검사 및 평가 방법은 도막이 도포된 검사대상 강구조물의 도막 상태를 검사하는 방법이다. 상기 도막 상태 검사 및 평가 방법은, 비전 카메라를 이용하여 상기 강구조물의 표면의 원하는 영역을 촬영하여 다수의 실화상을 획득하는 단계; 상기 강구조물의 상기 원하는 영역을 가열하면서, 열화상 카메라를 이용하여 가열된 상기 강구조물의 표면의 상기 원하는 영역을 촬영하여 다수의 열화상을 획득하는 단계; 동적 상태의 상기 다수의 열화상들과 다수의 실화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환을 수행하여 정적 상태의 시간-공간 통합 열화상과 시간-공간 통합 실화상으로 각각 재구성하는 전처리 단계; 상기 시간-공간 통합 실화상과 상기 시간-공간 통합 열화상을 정합하여 정합 이미지를 생성하는 단계; 복수 개의 학습용 정합 이미지를 인공신경망을 기반으로 하여 미리 학습하여 구축된 인공지능 기반 도막 열화 검출 모델에 상기 정합 이미지를 입력하여 상기 강구조물에 도포된 도막의 열화를 검출하는 단계; 검출된 도막 열화의 위치에 따라 정해지는 도막 열화 영역의 이미지를 도막 열화 분류 모델에 입력하여 상기 강구조물의 도막 열화를 특성별로 분류하는 단계; 상기 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화하는 단계; 상기 도막 열화의 특성별 분류 결과와 정량화 결과를 종합하여 도막 열화 검사 결과를 생성하는 단계; 도막 두께 검사 알고리즘에 기초하여, 상기 시간-공간 통합 열화상으로부터 계측되는 열에너지를 분석하여 상기 강구조물의 도막 두께를 검사하는 단계; 및 상기 도막의 열화 상태 검사 결과와 상기 도막의 두께 검사 결과를 소정의 도막 평가 기준에 기초하여 종합적으로 평가하여 도막 등급을 산출하는 단계를 포함한다.
예시적인 실시예에서, 상기 소정의 도막 평가 기준은 상기 강구조물 표면의 정상 상태의 이미지, 상기 강구조물의 부재 정보, 시방서, 강설 횟수 중 적어도 하나를 포함할 수 있다.
예시적인 실시예에서, 상기 도막 상태 검사 및 평가 방법은 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 종합하여 상기 강구조물에 대한 상태평가 보고서를 자동으로 작성하는 단계를 더 포함할 수 있다.
예시적인 실시예에서, 상기 '상태평가 보고서를 자동으로 작성하는 단계'는 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 입력 변수로 하여 강구조물의 내구성능을 평가하는 단계; 상기 강구조물에 대하여 안전성능 평가와 사용성능 평가를 수행하는 단계; 상기 강구조물의 내구성능 평가결과와, 상기 강구조물의 안전성능 평가 및 사용성능 평가 결과를 합산하여 상기 강구조물에 대한 종합 평가 점수 및 등급을 산정하는 단계; 및 소정의 보고서 작성 방법에 따라 상기 강구조물과 도막에 대한 종합 상태평가 보고서를 자동으로 작성하는 단계를 포함할 수 있다.
예시적인 실시예에서, 상기 도막 열화는 그 특성에 따라 부식, 박리, 체킹, 초킹으로 분류될 수 있다.
예시적인 실시예에서, 상기 원하는 영역의 촬영은 상기 비전 카메라, 상기 열원, 상기 열화상 카메라가 무인 이동체에 함께 장착되어 상기 강구조물의 표면에 대하여 상대적인 이동을 하면서 수행될 수 있다.
예시적인 실시예에서, 상기 정합 이미지를 생성하는 단계는, 상기 비전 카메라 및 상기 열화상 카메라를 이용하여 기준점들이 표시된 대상면을 촬영하여 그 대상면에 대한 실화상 및 열화상을 각각 획득하는 단계; 상기 열화상에 포함된 기준점을 기준으로, 상기 실화상에 포함된 기준점에 대하여 변환행렬을 구하는 단계; 상기 변환행렬을 이용하여 상기 강구조물 표면의 실화상을 변환하는 단계; 및 변환된 상기 강구조물 표면의 실화상을 상기 강구조물 표면의 열화상과 정합하여 상기 정합 이미지를 얻는 단계를 포함할 수 있다.
예시적인 실시예에서, 상기 변환행렬을 구하는 단계는, 상기 열화상과 상기 실화상 내에서 제1 및 제2 기준점들을 각각 탐지하는 단계; 탐지된 제1 및 제2 기준점들을 이용하여 상기 열화상과 상기 실화상의 왜곡을 각각 보정하는 단계; 왜곡이 보정된 열화상과 실화상 각각에서, 상기 제1 및 제2 기준점들 간의 거리를 이용하여 픽셀 비율을 각각 구하는 단계; 상기 열화상의 관심 영역에 대응하는 상기 실화상의 관심 영역을 절취하는 단계; 절취된 실화상의 관심 영역을 상기 픽셀 비율에 따라 축소하여 상기 열화상의 관심 영역과 동일한 픽셀 수를 가지도록 하는 단계; 열화상과 실화상 각각의 관심 영역에서 상기 제1 및 제2 기준점들을 재탐지하는 단계; 및 재탐지된 상기 제1 기준점들과 제2 기준점들을 고정점과 이동점으로 각각 설정하여, 상기 고정점을 기준으로 동일한 이동점에 대한 변환 행렬을 구하는 단계를 포함할 수 있다.
예시적인 실시예에서, 상기 실화상의 관심 영역을 절취하는 단계는, 상기 열화상의 상기 제1 기준점들 각각으로부터 상기 열화상의 경계선까지의 픽셀 수들을 구하는 단계; 구해진 픽셀 수들과 상기 픽셀 비율을 이용하여, 상기 실화상 내에서 상기 제2 기준점들로부터 경계선들까지의 픽셀 수들을 산출하는 단계; 산출된 상기 제2 기준점들로부터 경계선들까지의 픽셀 수들을 이용하여 상기 실화상에서 상기 열화상의 관심 영역에 대응하는 경계선을 구하는 단계; 구해진 경계선으로 정의되는 실화상의 관심 영역만을 절취하는 단계를 포함할 수 있다.
예시적인 실시예에서, 상기 열화 영역의 크기를 정량화하는 단계는, 첨예화 마스크를 이용해 이미지 색상을 포함하는 상기 정합 이미지의 특징을 강조하는 처리를 하는 단계; 특징의 강조 처리가 된 정합 이미지를 그레이스케일의 정합 이미지로 변환하는 단계; 그레이 스케일로 변환된 정합 이미지에 소정 크기의 평균값 필터를 적용하여 필터링하는 단계; 필터링 된 정합 이미지를 이진화 하여 각 픽셀이 열화 영역에 해당하는지 여부에 따라 0 또는 1의 값을 갖는 흑백 이미지를 생성하는 단계; 상기 흑백 이미지에서 열화 영역에 해당하는 픽셀 수를 합산하는 단계; 및 합산된 픽셀 수에 픽셀 해상도를 곱하여 열화 면적의 크기를 정량화하는 단계를 포함할 수 있다.
예시적인 실시예에서, 상기 강구조물의 도막 두께를 검사하는 단계는, 열원의 열에너지를 상기 강구조물에 인가하기 전에 촬영된 시간-공간 통합 열화상을 상기 열원의 열에너지를 상기 강구조물에 인가한 상태에서 촬영된 시공 통합 열화상에서 빼주어 노이즈 열원에 의한 열화상 성분을 제거하는 단계; 및 노이즈 성분이 제거된 시간-공간 통합 열화상을 이용하여 푸리에 열전도식 L = Q/kAΔTt* 에 기반하여 상기 강구조물의 도막 두께를 계측하는 단계를 포함할 수 있다. 여기서 Q는 가열 후 반사되는 열에너지, ΔT는 가해진 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t* 는 열에너지 파(thermal wave)의 전파시간을 나타낸다.
한편, 본 발명의 실시예들에 따른 도막 상태 검사 및 평가 시스템은 비전 카메라, 가진기, 열화상 카메라, 이동부, 그리고 제어부를 포함한다. 상기 비전 카메라는 도막이 도포된 검사대상 강구조물의 표면의 원하는 영역을 촬영하여 다수의 실화상을 획득하도록 구성된다. 상기 가진기는 상기 강구조물에 열원을 조사하여 상기 강구조물을 가열시키도록 구성된다. 상기 열화상 카메라는 상기 가진기에 의해 가열되는 상기 강구조물의 표면의 상기 원하는 영역을 다수의 열화상을 획득하도록 구성된다. 상기 이동부는 무인 이동체와 이동체 콘트롤러를 포함한다. 상기 무인 이동체는 상기 비전 카메라, 상기 열화상 카메라 및 상기 가진기를 탑재한 상태에서 상기 강구조물의 표면에 대하여 원하는 간격을 유지하면서 이동할 수 있는 움직임을 제공하도록 구성되어, 상기 비전 카메라와 상기 열화상 카메라가 상기 원하는 영역을 촬영할 수 있도록 해준다. 상기 이동체 콘트롤러는 상기 무인 이동체의 움직임을 제어할 수 있도록 구성된다. 상기 제어부는 컴퓨터 프로그램을 실행하여 상기 강구조물의 도막 상태를 검사하도록 구성된다.
상기 컴퓨터 프로그램은, 상기 비전 카메라와 상기 열화상 카메라가 각각 제공하는 동적 상태의 상기 다수의 열화상들과 다수의 실화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환을 수행하여 정적 상태의 시간-공간 통합 열화상과 시간-공간 통합 실화상으로 각각 재구성하는 전처리 기능; 상기 시간-공간 통합 실화상과 상기 시간-공간 통합 열화상을 정합하여 정합 이미지를 생성하는 기능; 복수 개의 학습용 정합 이미지를 인공신경망을 기반으로 하여 미리 학습하여 구축된 인공지능 기반 도막 열화 검출 모델에 상기 정합 이미지를 입력하여 상기 강구조물에 도포된 도막의 열화를 검출하는 기능; 검출된 도막 열화의 위치에 따라 정해지는 도막 열화 영역의 이미지를 도막 열화 분류 모델에 입력하여 상기 강구조물의 도막 열화를 특성별로 분류하는 기능; 상기 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화하는 기능; 상기 도막 열화의 특성별 분류 결과와 정량화 결과를 종합하여 도막 열화 검사 결과를 생성하는 기능; 도막 두께 검사 알고리즘에 기초하여, 상기 시간-공간 통합 열화상으로부터 계측되는 열에너지를 분석하여 상기 강구조물의 도막 두께를 검사하는 기능; 및 상기 도막의 열화 상태 검사 결과와 상기 도막의 두께 검사 결과를 소정의 도막 평가 기준에 기초하여 종합적으로 평가하여 도막 등급을 산출하는 기능을 포함한다.
예시적인 실시예에서, 상기 컴퓨터 프로그램은 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 종합하여 상기 강구조물에 대한 상태평가 보고서를 자동으로 작성하는 기능을 더 포함할 수 있다.
예시적인 실시예에서, 상기 '상태평가 보고서를 자동으로 작성하는 기능'은 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 입력 변수로 하여 강구조물의 내구성능을 평가하는 기능; 상기 강구조물에 대하여 안전성능 평가와 사용성능 평가를 수행하는 기능; 상기 강구조물의 내구성능 평가결과와, 상기 강구조물의 안전성능 평가 및 사용성능 평가 결과를 합산하여 상기 강구조물에 대한 종합 평가 점수 및 등급을 산정하는 기능; 및 소정의 보고서 작성 방법에 따라 상기 강구조물과 도막에 대한 종합 상태평가 보고서를 자동으로 작성하는 기능을 포함할 수 있다.
예시적인 실시예에서, 상기 무인 이동체는 영구 자석으로 형성된 적어도 하나의 바퀴를 구비하여 그 영구자석 바퀴와 상기 강구조물 간에 작용하는 인력에 의해 상기 강구조물에 달라붙은 상태로 이동할 수 있도록 구성된 이동 로봇일 수 있다.
예시적인 실시예에서, 상기 '정합 이미지를 생성하는 기능'은, 상기 비전 카메라 및 상기 열화상 카메라가 기준점들이 표시된 대상면을 촬영하여 제공하는 실화상 및 열화상을 각각 수신하는 기능; 상기 열화상에 포함된 기준점을 기준으로, 상기 실화상에 포함된 기준점에 대하여 변환행렬을 구하는 기능; 상기 변환행렬을 이용하여 상기 강구조물 표면의 실화상을 변환하는 기능; 및 변환된 상기 강구조물 표면의 실화상을 상기 강구조물 표면의 열화상과 정합하여 상기 정합 이미지를 얻는 기능을 포함할 수 있다.
예시적인 실시예에서, 상기 '변환행렬을 구하는 기능'은, 상기 열화상과 상기 실화상 내에서 제1 및 제2 기준점들을 각각 탐지하는 기능; 탐지된 제1 및 제2 기준점들을 이용하여 상기 열화상과 상기 실화상의 왜곡을 각각 보정하는 기능; 왜곡이 보정된 열화상과 실화상 각각에서, 상기 제1 및 제2 기준점들간의 거리를 이용하여 픽셀 비율을 각각 구하는 기능; 상기 열화상의 관심 영역에 대응하는 상기 실화상의 관심 영역을 절취하는 기능; 절취된 실화상의 관심 영역을 상기 픽셀 비율에 따라 축소하여 상기 열화상의 관심 영역과 동일한 픽셀 수를 가지도록 하는 기능; 열화상과 실화상 각각의 관심 영역에서 상기 제1 및 제2 기준점들을 재탐지하는 기능; 및 재탐지된 상기 제1 기준점들과 제2 기준점들을 고정점과 이동점으로 각각 설정하여, 상기 고정점을 기준으로 동일한 이동점에 대한 변환 행렬을 구하는 기능을 포함할 수 있다.
예시적인 실시예에서, 상기 '열화 영역의 크기를 정량화하는 기능'은, 첨예화 마스크를 이용해 이미지 색상을 포함하는 상기 정합 이미지의 특징을 강조하는 처리를 하는 기능; 특징의 강조 처리가 된 정합 이미지를 그레이스케일의 정합 이미지로 변환하는 기능; 그레이 스케일로 변환된 정합 이미지에 소정 크기의 평균값 필터를 적용하여 필터링하는 기능; 필터링 된 정합 이미지를 이진화 하여 각 픽셀이 열화 영역에 해당하는지 여부에 따라 0 또는 1의 값을 갖는 흑백 이미지를 생성하는 기능; 상기 흑백 이미지에서 열화 영역에 해당하는 픽셀 수를 합산하는 기능; 및 합산된 픽셀 수에 픽셀 해상도를 곱하여 열화 면적의 크기를 정량화하는 기능을 포함할 수 있다.
예시적인 실시예에서, 상기 '강구조물의 도막 두께를 검사하는 기능'은, 열원의 열에너지를 상기 강구조물에 인가하기 전에 촬영된 시간-공간 통합 열화상을 상기 열원의 열에너지를 상기 강구조물에 인가한 상태에서 촬영된 시공 통합 열화상에서 빼주어 노이즈 열원에 의한 열화상 성분을 제거하는 기능; 및 노이즈 성분이 제거된 시간-공간 통합 열화상을 이용하여 푸리에 열전도식 L = Q/kAΔTt* 에 기반하여 상기 강구조물의 도막 두께를 계측하는 기능을 포함할 수 있다. 여기서 Q는 가열 후 반사되는 열에너지, ΔT는 가해진 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t* 는 열에너지 파(thermal wave)의 전파시간을 나타낸다.
예시적인 실시예에서, 상기 강구조물의 도막 상태 검사 및 평가 시스템은 상기 제어부가 제공하는 영상을 표시하는 디스플레이; 및 상기 무인 이동체에 탑재되어 상기 무인 이동체가 주행할 영역을 촬영하여 상기 제어부에 실시간으로 제공하여 상기 디스플레이에 표시될 수 있도록 하는 주행확인용 카메라를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 구조물에 도포된 도막의 실화상과 그 구조물을 가열하면서 촬영한 열화상이 정합되어 생성된 정합 이미지를 분석함으로써, 도막의 외부뿐만 아니라 도막의 내부의 열화 진행 상태를 종합적으로 검사할 수 있다.
본 발명의 실시예들에 따르면, 무인 이동체가 제공되어 도막 상태 검사 위치를 이동할 수 있으므로, 구조물 전 영역에 대한 도막 상태 검사를 수행할 수 있다.
본 발명의 실시예들에 따르면, 도막 열화를 탐지(detect)하는 열화 탐지 인공지능 알고리즘을 이용하여 구조물의 도막의 열화를 탐지할 수 있다. 뿐만 아니라, 본 발명은 열화 탐지에 그치지 않고 별도의 열화 분류 인공지능 알고리즘을 구축하여, 그것에 기반하여 그 탐지된 열화를 특성에 따라 부식(corrosion), 박리(delamination), 체킹(checking), 초킹(chalking) 등으로 자동 분류함으로써, 도막 상태 검사의 객관성을 확보할 수 있다.
열화 탐지 인공지능 알고리즘을 이용하여 도막의 열화를 탐지함에 있어서, 열화상과 비전 이미지를 각각 별도로 탐지(개별 탐지 방식)하지 않고 그 두 이미지의 정합된 이미지를 탐지하는 방식을 취한다. 이 방식은 개별 탐지 방식에 비해 열화 탐지에 소요되는 컴퓨팅 실행시간(running time)을 크게 줄일 수 있다.
나아가, 본 발명의 실시예에 따르면, 도막의 열화 상태 검사 결과, 도막 두께 검사 결과와 구조물과 관련된 부가정보를 종합하여 구조물의 도막 상태 평가 보고서를 자동으로 작성함으로써, 도막 상태 평가의 객관성을 확보하고 작업의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 도막 상태 평가 시스템의 개념적 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 도막 상태 평가 시스템을 이용하여 구조물의 도막 상태를 검사하는 방법의 실행 순서를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 도막 상태 평가 시스템을 이용하여 구조물 표면의 열화상을 획득하여 전처리하는 과정을 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 실화상 및 상기 열화상을 정합하여 정합 이미지를 생성시키는 단계를 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따라 실화상과 열화상을 정합하기 위해 필요한 변수들을 얻는 과정을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 도막 열화 검사 알고리즘 모델을 이용하여 구조물의 도막 열화 상태를 검사하는 단계를 나타내는 순서도이다.
도 7은 도막 열화의 특성에 따라 구분된 도막의 부식 이미지, 박리 이미지, 초킹 이미지, 체킹 이미지를 예시한다.
도 8은 본 발명의 일 실시예에 따른 검출된 열화 영역을 정량화하는 이미지 프로세싱 과정을 예시한다.
도 9는 본 발명의 일 실시예에 따라 이미지 프로세싱을 통한 열화 면적을 추출하는 것을 예시한다.
도 10은 본 발명의 일 실시예에 따라 구조물의 도막 상태를 평가하는 방법을 도식적으로 표현한다.
도 11은 본 발명의 일 실시예에 따른 도막 상태평가 시스템을 이용하여 구조물의 도막 상태평가 보고서를 자동 작성하는 과정을 예시한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
도 1에는 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)의 구성이 개념적으로 도시되어 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)은 구조물의 안전성을 평가하기 위한 시스템으로서, 특히 구조물(60)에 도포된 도막의 두께와 열화 상태 등 도막의 전체적인 상태를 계측, 검사하여 자동으로 구조물(60)의 내구성을 평가할 수 있도록 구성될 수 있다. 나아가, 이 시스템(1)은 그 평가 결과를 바탕으로 상태평가 보고서를 자동으로 작성하도록 구성될 수 있다. 이 때, 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)의 검사 또는 평가대상이 되는 구조물(60)은 강구조물일 수 있다.
일 실시예에 따른 도막 상태 평가 시스템(1)은 비전 카메라(10), 열화상 카메라(20), 가진기(30), 이동부(40), 주행확인용 카메라(50) 및 제어부(70)를 포함할 수 있다.
비전 카메라(10)는 구조물(60)과 일정거리 이격된 거리에서 구조물(60)의 표면(62)을 촬영함으로써 도막이 도포된 구조물 표면(62)에 대한 실화상을 획득하기 위해 제공될 수 있다. 비전 카메라(10)는 도막 상태 평가 시스템(1)의 일측에 배치될 수 있다. 비전 카메라(10)는 그 획득된 실화상을 제어부(70)로 제공할 수 있다.
제어부(70)에서, 그 실화상은 구조물 표면(62)의 열화 즉, 도막의 외부에 발생된 부식(corrosion)과 박리(delamination)와 같은 열화를 탐지하기 위해 이용될 수 있을 뿐만 아니라, 체킹(checking), 초킹(chalking)의 탐지에도 이용될 수 있다.
열화상 카메라(20)는 구조물(60)의 열화상을 획득하기 위해 제공될 수 있다. 열화상 카메라(20)는 비전 카메라(10)와 인접하게 배치될 수 있다. 또한 후술될 가진기(30)에 인접하게 배치될 수 있다. 열화상 카메라(20)에 의해 촬영된 열화상은 제어부(70)로 전송될 수 있다. 제어부(70)에서, 열화상은 구조물 표면(62)의 온도 계측을 위해 이용될 수 있다.
보다 상세히, 먼저 가진기(30)의 열원에서 생성된 열에너지가 구조물(60)에 전달될 수 있다. 이 때 가진기(30)의 열원을 통한 열에너지 전달은 선형 레이저 빔(32)를 연속적으로 가진하는 것에 의해 이루어질 수 있다. 전달된 열에너지는 구조물(60)의 도막으로부터 강재 부분까지 전파될 수 있다. 이 때 구조물(60)의 열에너지 전파 정도에 따라 도막이 도포된 구조물 표면(62)의 온도가 상이할 수 있다. 구조물 표면(62)의 상이한 표면 온도는 열화상에 반영된다. 따라서 구조물 표면(62)의 열화상을 획득함으로써 도막이 도포된 구조물(60)의 표면 온도가 계측될 수 있다.
구조물(60)의 열에너지 전파 정도는 도막의 두께에 따라 달라질 수 있다. 도막의 두께가 두꺼울수록 도막에 의하여 보호되는 강재로의 열에너지 전달이 지연될 수 있다. 따라서 도막의 두께가 두꺼울수록 도막이 포함된 구조물 표면(62)의 온도가 높게 계측될 수 있다.
이와 같은 점들에 기초하여, 도막 상태 평가 시스템(1)은 구조물 표면(62)의 열화상을 이용하여 구조물(60)의 표면 온도를 계측하고, 그 온도 계측값으로부터 도막의 두께를 추정할 수 있다. 또한 도막 내부의 열화 탐지는 비전 카메라(10)로 촬영한 실화상으로는 불가하지만, 열화상 카메라(20)로 촬영한 열화상으로는 가능하다.
예시적인 실시예에서, 도막 상태 평가 시스템(1)은 이동부(40)에 의해 이동할 수 있도록 구성될 수 있다. 도막 상태 평가 시스템(1)의 이동에 따라, 비전 카메라(10) 및 열화상 카메라(20)에 의한 구조물 표면(62)의 촬영은 구조물 표면(62)의 영역을 달리하여 복 수회 이루어질 수 있다. 즉, 비전 카메라(10) 및 열화상 카메라(20)는 구조물(60)의 일부에 제한되지 않고, 전체 표면(62)에 대한 열화 탐지를 수행할 수 있다.
예시적인 실시예에서, 이동부(40)는 무인 이동체(42)와 그 무인 이동체(42)의 이동을 제어하기 위한 이동체 콘트롤러(44)를 포함할 수 있다. 이동체 콘트롤러(44)는 무선통신 또는 유선통신 방식으로 무인 이동체(42)와 통신할 수 있다. 그 통신을 통해, 이동체 콘트롤러(44)는 무인 이동체(42)의 이동, 비전 카메라(10)와 열화상 카메라(20)의 촬영, 가진기(30)의 가열 등에 관련된 동작을 원격으로 제어할 수 있다. 비전 카메라(10), 열화상 카메라(20), 가진기(30)는 그 무인 이동체(42)와 결합되거나 그 무인 이동체(42)에 장착되어 그 전체가 한 몸체가 되어 움직일 수 있도록 구성될 수 있다. 무인 이동체(42)는 비전 카메라(10), 열화상 카메라(20), 가진기(30)가 구조물 표면(62)의 원하는 영역으로 원하는 간격을 유지하면서 이동할 수 있도록 움직임을 제공할 수 있다.
주행확인용 카메라(50)는 무인 이동체(42)에 탑재되어 무인 이동체(42)가 주행할 전방 영역을 촬영할 수 있다. 주행확인용 카메라(50)가 촬영하는 영상은 실시간으로 제어부(70)에 제공되어, 디스플레이(72)에 표시될 수 있다. 도막 상태 평가 시스템(1)의 운용자는 그 디스플레이(72)에 표시되는 화면을 보면서 이동체 콘트롤러(44)를 조작하여 무인 이동체(42)의 이동을 제어할 수 있다. 이러한 이동 제어를 통해, 비전 카메라(10)와 열화상 카메라(20)가 검사대상 구조물(60)의 원하는 영역을 주행하면서 촬영할 수 있다.
예시적인 실시예에서, 도 1에 도시된 것처럼 무인 이동체(42)는 영구 자석으로 형성된 적어도 하나의 바퀴(46)를 구비하는 이동 로봇일 수 있다. 이 때, 이동 로봇의 영구자석 바퀴(46)와 구조물(60) 간 작용하는 인력에 의하여 구조물(60)에 달라붙은 상태로 도막 상태 평가 시스템(1)은 구조물(60)로부터 이탈되지 않고 구조물(60)의 전체 영역을 안정적으로 이동할 수 있다.
또한 본 발명의 일 실시예에서, 이동부(40)는 무인 비행체(Unmanned Aerial Vehicle: UAV)일 수도 있다. 즉, 비전 카메라(10), 열화상 카메라(20), 가진기(30)가 UAV에 탑재되어 구조물 표면(62)과 이격된 거리에서 비행하는 동안 실화상 및 열화상이 수집될 수 있다. 다만, 도막 상태 평가 시스템(1)에 적용되는 이동부(40)가 이에 제한되는 것은 아니다.
예시적인 실시예에서, 제어부(70)는 실화상 또는 열화상을 입력 받아 도막 상태를 평가할 수 있도록 구성될 수 있다. 제어부(70)는 실화상 또는 열화상을 입력 받아 도막 상태를 평가할 수 있는 프로그램을 실행할 수 있는 컴퓨팅 장치일 수 있다. 이를 위해, 제어부(70)는 중앙연산처리장치(CPU), 메모리, 통신부, 데이터 저장소 등과 같은 컴퓨팅 자원들(비도시)과, 평가 결과 등을 표시하고 사용자 인터페이스 수단으로 기능하는 디스플레이(72)를 포함할 수 있다. 디스플레이(72)는 제어부(70)를 구성하는 컴퓨팅 장치와 무선통신 또는 유선통신 방식으로 통신할 수 있도록 연결될 수 있다.
다음으로, 제어부(70)를 이용하여 도막 상태 평가 시스템(1)이 구조물(60)의 도막 상태를 검사하는 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)을 이용하여 구조물(60)의 도막 상태를 검사하는 방법의 실행 순서를 예시한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)의 구조물(60)의 도막 상태를 검사하는 방법은 비전 카메라(10)로 구조물 표면(62)의 원하는 영역을 촬영하여 구조물 표면(62)의 실화상을 획득하는 단계(S10)와, 구조물 표면(62)의 상기 원하는 영역을 가열하면서, 열화상 카메라(20)로 가열된 구조물 표면(62)을 촬영하여 구조물 표면(62)의 열화상을 획득하는 단계(S20)를 포함할 수 있다. 단계 S10과 S20에서 비전 카메라(10)와 열화상 카메라(20)는 구조물 표면(62)을 이동하면서 촬영하여 여러 영역에 대하여 다수의 실화상과 열화상을 생성할 수 있다. 또한, 촬영 시, 비전 카메라(10)와 열화상 카메라(20)는 동일한 영역을 동시에 촬영하여, 각 촬영영역별로 실화상과 열화상을 각각 획득할 수 있다. 비전 카메라(10)와 열화상 카메라(20)를 이용하여 단계 S10과 S20에서 실화상과 열화상을 각각 촬영할 때, 전술한 바와 같이 두 카메라(10, 20)와 구조물 표면(62) 간에 소정의 이격 거리를 유지한 상태에서 이미지를 촬영할 수 있다. 제어부(70)는 비전 카메라(10)와 열화상 카메라(20)로부터 그들이 촬영한 실화상과 열화상을 각각 제공받을 수 있다.
상기 방법은 비전 카메라(10)로 촬영한 동적 상태의 다수의 실화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환하여 정적 상태의 한 장의 시간-공간 통합 실화상으로 이미지 통합을 하는 전처리 단계(S30)와, 열화상 카메라(20)로 촬영한 동적 상태의 다수의 열화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환하여 정적 상태의 한 장의 시간-공간 통합 열화상으로 이미지 통합을 하는 전처리 단계(S40)를 포함할 수 있다. 상기 방법은 또한, 전처리된 시간-공간 통합 실화상과 전처리된 시간-공간 통합 열화상을 이미지 정합 알고리즘을 이용하여 정합시켜 정합 이미지를 생성하는 단계(S50)와, 그 정합 이미지와 도막 열화 검사 알고리즘을 이용하여 구조물(60)에 도포된 도막의 열화 상태를 검사하는 단계(S60)를 포함할 수 있다. 이와 별도로, 상기 방법은 도막 두께 검사 알고리즘에 기초하여, 전처리된 시간-공간 통합 열화상으로부터 계측되는 열에너지를 분석하여 구조물 표면(62)에 도포된 도막의 두께를 검사하는 수행하는 단계(S70)를 포함할 수 있다.
이하에서는 구조물의 도막 상태 검사 및 평가 방법 중 도막의 열화 상태를 검사하고 도막의 두께를 계측하는 과정(S10-S70)을 좀 더 구체적으로 설명한다. 도 3에는 본 발명의 일 실시예에 따른 도막 상태 평가 시스템(1)을 이용하여 구조물 표면(62)의 열화상을 획득하여 전처리 하는 과정(S20, S40)이 예시되어 있다.
도 3을 참조하면, 열화상을 획득하기 위해 우선 열원을 구조물 표면(62)의 촬영 대상 영역에 조사하여 구조물(60)을 가열시킬 수 있다(S21). 구조물(60)이 가열되는 동안에 열화상 카메라(20)로 그 구조물(60)의 표면(62)을 촬영하여 다수의 열화상을 획득할 수 있다(S22). 동적 상태의 다수의 열화상들을 시간-공간 통합 좌표 변환 알고리즘에 따라 좌표 변환하여 정적 상태의 하나의 시간-공간 통합 열화상으로 변환할 수 있다(S23).
예시적인 일 실시예에서, 상기 열원을 조사하여 구조물(60)의 표면(62)을 가열하는 단계(S21)에서는, 가진기(30)의 열원이 생성하는 예컨대 레이저 빔(32)을 구조물(60)에 조사하는 방식으로 열에너지를 구조물(60)에 전달할 수 있다. 전달된 열에너지가 구조물(60)을 통해 전파되면서 구조물(60)이 가열된다. 구조물(60)을 통해 열에너지가 전파되는 정도는 도막의 열화 정도와 관련이 있다. 따라서 구조물(60)을 통해 열에너지가 전파되는 정도를 감지하여 도막의 상태를 검사하기 위해, 열화상 카메라(20)로 구조물 표면(62)을 촬영하여 열화상을 획득할 수 있다.
획득된 열화상은 제어부(70)로 전송될 수 있다. 제어부(70)에서는 시간-공간 통합 좌표 변환 알고리즘(time-spatial-integrated coordinate transformation algorithm: TSICT 알고리즘)을 사용하여 열화상의 좌표 변환이 수행될 수 있다(S23).
구조물(60)의 표면에 관한 다수의 열화상들을 시간-공간 좌표 변환하여 정적 상태의 하나의 시간-공간 통합 열화상으로 재구성하는 전처리 과정을 좀 더 구체적으로 설명한다. 열화상 카메라(20)는 시야각(Field of View: FOV)에 해당하는 영역을 촬영할 수 있다. 구조물 표면(62)의 계측 대상 영역이 시야각 영역보다 넓으면 한 번의 촬영으로는 전체 영역을 촬영할 수 없다. 이는 비전 카메라(10)도 마찬가지이다. 이동 로봇 등 무인 이동체(42)를 구동하여 도막 상태 평가 시스템(1)이 구조물 표면(62)에 대한 상대적인 이동을 하면서 구조물(60)의 원하는 계측 대상 영역 전체를 촬영할 수 있다. 여기서 상대적인 움직임이라 함은 도막 상태평가 시스템(1)과 구조물 표면(62) 중 적어도 어느 하나가 움직이거나 둘 다 움직이는 경우를 의미한다.
하지만 이동부(40)에 의해 구조물(60)과 도막 상태 평가 시스템(1) 사이에 상대적인 운동이 있는 경우, 구조물(60)의 특정 위치에서 열에너지를 조사함에 따른 열에너지 전파 현상을 계측하는 것이 불가하다. 구조물 표면(62)과 도막 상태평가 시스템(1)이 계속 상대적인 움직임을 하고 있는 상태에서 이미지가 계측되므로, 특정 위치에서 선형 레이저 빔(32)을 가하는 것에 의한 시간에 따른 온도 변화 경향을 확인할 수 없다. 또한, 전체 계측 대상 영역에 대한 검사 결과의 확인이 어렵다. 이런 문제들을 해소하기 위해 시간-공간 통합 좌표 변환 알고리즘(time-spatial-integrated coordinate transformation algorithm: TSICT 알고리즘)을 이용하여 시간-공간 통합 열화상으로 재구성할 수 있다.
시간-공간 통합 좌표 변환 알고리즘에 의한 좌표 변환은 동적 상태의 열화상들을 정적 상태의 열화상으로 변환하기 위한 것이다. 이 때, 시간-공간 통합 좌표 변환 알고리즘은 아래 수학식1로 표현될 수 있다.
[식 1]
Figure 112020108155893-pat00001
여기서, x와 y는 변환 전 열화상에서의 x축과 y축을 각각 나타내며, t는 시간을 나타낸다. 또한, x*와 y*는 변환된 열화상에서의 x축과 y축을 각각 나타낸다. t*는 열에너지 전파 시간(thermal wave propagating time)을 나타낸다. v는 구조물(60)과 열화상 카메라(20) 간의 상대 속도를 나타낸다.
식 (1)에 따르면, x*, y*, t*는 x* = tv, y* = y, t* = x/v로 각각 변환된다. 이 변환을 통해 동적 상태의 계측 구조물(60)은 정적 상태의 계측 구조물(60)로 변환될 수 있다. 이를 구체적으로 설명하면, 변환 전의 열화상의 x축 데이터는 선형 레이저 빔(32)의 위치를 기준으로, 선형 레이저 빔(32)을 인가하기 전과 후에 계측
구조물(60)의 시간에 따른 온도 변화 경향을 나타낸다. 따라서 열화상 이미지의 x 축에 위치한 데이터를 상대 속도 v로 나눈 것을 ROI 이미지의 시간축(t*)으로 지정할 수 있다. 열화상은 열화상 카메라(20)에 대하여 일정한 속도 v로 움직이는 계측 구조물(60)을 계측한 것이므로, 시간에 따라 열화상의 각 지점에서 계측 구조물(60)의 위치가 달라진다. 따라서 열화상의 시간 t축에 위치한 데이터를 상대속도 v로 곱한 것을 ROI 이미지의 가로 공간 축(x*)으로 지정할 수 있다. 반면, 열화상의 y축 데이터는 별도의 좌표축 변환 없이 그대로 ROI 이미지의 세로 공간 축(y*)으로 지정할 수 있다. 식 (1)을 이용한 변환을 통해 얻어진 한 장의 시간-공간 통합 열화상은 계측이 수행된 모든 영역 즉, 계측 대상 영역을 전부 표현하는 이미지일 수 있다. 그 한 장의 시공 통합 열화상을 통해 시간에 따른 열에너지 전파 특성을 확인할 수 있다.
열화상과 동시에 촬영되는 실화상에 대해서도 열화상과 동일한 방법을 이용하여 시간-공간 통합 좌표 변환을 수행하여 시간-공간 통합 실화상으로 재구성할 수 있다. 이때, 열에너지 전파 시간은 열화상 변환에서 사용된 값을 사용할 수 있다.
다음으로, 도 4의 순서도는 예시적인 실시예에 따라 시간-공간 통합 좌표 변환 전처리를 통해 얻어지는 실화상과 열화상의 정합 이미지를 생성시키는 단계(S50)의 구체적인 절차를 나타낸다. 도 5는 예시적인 실시예에 따라 실화상과 열화상의 정합 이미지를 생성하기 위해 필요한 변수들을 얻는 과정을 도식적으로 나타낸다. 실화상과 열화상의 정합 이미지를 얻고자 하는 이유는 비전 카메라(10)와 열화상 카메라(20)는 서로 카메라 위치 또는 촬영 각도 차이가 존재하므로 이를 보정할 필요가 있기 때문이다. 정합 이미지의 생성 과정을 도 4 및 5를 참조하여 좀 더 구체적으로 설명한다.
정합 이미지를 생성시키는 단계(S50)는 비전 카메라(10) 및 열화상 카메라(20)를 이용하여 기준점이 표시된 대상면에 대한 실화상 및 열화상을 획득하는 단계(S51)를 포함할 수 있다. 제어부(70)는 비전 카메라(10)와 열화상 카메라(20)가 기준점들이 표시된 대상면을 촬영하여 제공하는 실화상 및 열화상을 각각 수신할 수 있다.
실제 검사대상인 구조물(60)의 도막에 대한 이미지 획득, 구조물 표면(62)의 계측을 수행하기 전에, 변환행렬을 구할 필요가 있다. 이를 위해, 우선 기준점이 표시된 대상면에 대하여 실화상(68) 및 열화상(69)를 획득할 수 있다. 일례로 구조물 표면(62)에 격자무늬가 표시된 체크보드(65)를 붙이고 비전 카메라(10)와 열화상 카메라(20)로 그 체크보드(65)를 포함하는 영역을 촬영할 수 있다. 그리고 열화상(68)와 실화상(69) 내에서 기준점(67-1, 67-2)을 각각 탐지할 수 있다(S502). 그 기준점은 체크보드 이미지(65)의 꼭지 즉, 격자무늬의 교차점일 수 있다. 기준점(67-1, 67-2) 탐지를 위해 특징점 추출 방법(Feature Extraction method)을 사용하거나 또는 특정 소프트웨어에서 제공하는 체크포인트 탐지 기능을 사용할 수도 있다.
정합 이미지를 생성시키는 단계(S50)는 열화상(68)에 포함된 기준점(67-1)을 기준으로, 실화상(69)에 포함된 기준점(67-2)에 대하여 변환행렬을 구하는 단계(S52)를 포함할 수 있다. 변환행렬을 구하기 위해, 다음과 같은 처리들을 수행할 수 있다.
우선, 탐지된 기준점(67-1, 67-2)을 이용하여 열화상(68)와 실화상(69)의 왜곡 보정을 수행할 수 있다(S504). 채용 가능한 왜곡 보정 방법의 일예로는 matlab 프로그램을 들 수 있으나, 이것에 한정되지 않고 다른 다양한 보정 기법을 사용할 수도 있다. 또한, 열화상(68)와 실화상(69) 각각에서, 탐지된 기준점들(67-1) 또는 (67-2) 간의 거리를 이용하여 픽셀 비율을 구할 수 있다(S506). 이때 픽셀 비율은 열화상(68)에서의 1 픽셀이 상대적으로 고화질인 실화상(69)에서 몇 픽셀에 해당하는지를 나타낸다.
실화상(69)를 상대적으로 관심영역(FOV)이 작은 열화상(68)와 동일한 관심 영역을 갖도록 이미지를 자르는 과정이 수행될 수 있다. 이를 위해 실화상(69) 내 관심영역 경계선(border)을 계산할 수 있다(S508). 열화상(68) 내 외곽에 위치한 기준점(67-1)들 각각으로부터 열화상(68)의 경계선(모서리)(63)까지의 픽셀 수를 구하고, 앞서 구한 픽셀 비율을 이용하여 실화상(69)의 기준점들로부터 경계선들(64)까지의 픽셀 수들을 각각 구한다. 이렇게 구한 기준점들로부터 경계선들까지의 픽셀 수들을 이용하여 실화상(69)에서 열화상(68)의 관심 영역에 해당하는 경계선(모서리)을 구할 수 있다. 그 경계선(모서리)으로 정의되는 실화상(69)의 관심 영역만 절취할 수 있다. 열화상과 실화상을 정합하기 위해서는 동일한 픽셀 수를 가질 필요가 있다. 상대적으로 해상도가 낮은 열화상을 정합하기 위해, 앞서 구한 픽셀 비율을 이용하여 실화상을 축소시킬 수 있다(S510).
축소된 열화상(68-1)과 실화상(69-1) 각각의 관심 영역에서 제1 및 제2 기준점들(이미지 내 체크보드 포인트)을 다시 탐지할 수 있다(S512).
앞서 경계면 탐색을 통해 동일한 관심영역을 갖지만 상대적인 위치에 의해 이미지 내 회전, 이동 등이 필요할 수 있다. 열화상 카메라(20)와 비전 카메라(10) 간의 상대적인 위치(수직, 수평, 회전 등)에 따른 계측 이미지 보정을 수행할 수 있다. 이를 위해 재탐지된 기준점을 이용하여 변환 행렬을 구할 수 있다. 더욱 상세하게, 열화상(68-1)에 포함된 기준점(67-1)을 고정점(fixed points)으로, 실화상(69-1)에 포함된 동일한 기준점(67-2)을 이동점(moving point)으로 각각 설정하여, 고정점(67-1)을 기준으로 동일한 이동점(67-2)에 대하여 변환행렬을 구할 수 있다(S514). 구해진 변환행렬을 이용하여 실화상을 보정(변환)할 수 있다. 변환행렬을 구하는 데 Matlab의 tform 함수를 이용할 수 있다.
구조물 표면(62)의 그 변환된 실화상(68-1)을 동일한 구조물 표면(62)에 대하여 획득된 열화상(69-1)와 정합(overlay)하여 정합 이미지(66)를 얻을 수 있다(S516).
위와 같은 방법으로 변환행렬을 구하면, 그 변환행렬을 이용하여 검사대상이 되는 구조물 표면(62)의 실화상을 변환할 수 있다. 이를 위해, 정합 이미지를 생성시키는 단계(S50)는 변환행렬을 이용하여 상기 구조물 표면(62)의 실화상을 변환하는 단계(S53)를 포함할 수 있다. 나아가, 정합 이미지를 생성시키는 단계(S50)는 위와 같이 미리 구한 변환행렬을 이용하여 변환된 구조물 표면(62)의 실화상을 상기 구조물 표면(62)의 열화상과 정합하는 단계(S54)를 포함할 수 있다.
3차원 RGB 값을 갖는 보정된 실화상에 1차원 계측 데이터를 갖는 열화상을 정합할 수 있다. 실제 정합 이미지는 4차원(640x480x4)으로 구성되어 있지만 시각적 표현을 위해 3차원으로 표현할 수 있다. 이때 표현되는 3차원 이미지는 실화상의 RGB값 중 적어도 하나의 값을 열화상의 1차원 데이터로 대체한 이미지이다. 도 5에서 설명한 방법에 따라 체크보드 이미지를 이용하여 구한 변수들을 이용하여 실제로 계측된 열화상과 실화상을 전처리한 다음 정합함으로써 정합 이미지를 얻을 수 있다. 여기서, 상기 변수들은 즉, 픽셀 비율, 기준점들의 위치, 각 기준점에서 경계면까지의 픽셀 수, 변환 행렬 등을 포함할 수 있다.
실화상만으로는 도막 내부의 상태를 파악할 수 없다. 하지만, 실화상과 열화상의 정합 이미지를 이용하면 도막 내부의 상태까지 파악할 수 있어 그런 단점이 보완될 수 있다. 이는 전술한 바처럼 도막 두께와 같은 도막 내부의 상태가 구조물(60)에서의 열에너지 전달에 영향을 미침으로써 열화상에 반영될 수 있기 때문이다.
위에서 설명한 방법으로 실제 검사 대상인 구조물 표면(62)의 소정 영역에 대한 열화상과 실화상의 정합 이미지를 구한 다음에는, 그 정합 이미지와 도막 열화 검사 알고리즘 모델을 이용하여 구조물(60)의 도막 열화 상태를 검사할 수 있다. 도 6은 일 실시예에 따른 도막 열화 검사 알고리즘 모델을 이용하여 구조물의 도막 열화 상태를 검사하는 단계(S60)를 구체적으로 나타내는 순서도이다.
도막 열화 검사 알고리즘 모델은 도막의 열화를 탐지하고 분류하기 위하여 인공신경망(artificial neural network, ANN) 기반의 기계 학습을 통해 구축될 수 있다. 즉, 도막 열화 검사 알고리즘 모델은 사전에 도막의 열화가 포함된 다양한 이미지 또는 정상 상태의 이미지를 머신 러닝을 통해 학습함으로써, 도막에 포함된 열화 탐지 및 분류의 정확도를 높일 수 있다. 일 실시예에서, 도막 열화 검사 알고리즘 모델은 도막 열화를 검출(또는 탐지, detection)하는 도막 열화 검출 모델과 검출된 열화를 특성별로 부식(corrosion), 박리(delamination), 체킹(checking), 초킹(chalking) 등으로 분류하는 도막 열화 분류 모델을 포함할 수 있다. 도막 열화 검출 시, 연산 시간을 단축하기 위해 Faster R-CNN 알고리즘이 이용될 수도 있을 것이다. 또한, 열화 분류 시 연산 속도를 빠르게 하기 위해 YOLO v2 기반 검출 알고리즘과 VGG16 네트워크를 이용한 컨벌루션 인공 신경망(convolutional neural network, CNN) 기반 분류 알고리즘을 사용할 수 있다. 상용 프로그램인 MATLAB을 이용하여 머신 러닝 학습 모델을 구축할 수 있다. 다만, 본 발명의 도막 열화 검사 알고리즘 모델이 이에 제한되는 것은 아니다.
도 6을 참조하면, 도막 열화 상태를 검사하는 단계(S60)는 먼저 정합 이미지를 도막 열화 검출 모델에 입력하여 구조물(60)에 도포된 도막의 열화를 검출하는 단계(S110)를 포함할 수 있다. 상기 도막 열화 검출 모델은 복수 개의 학습용 정합 이미지를 인공신경망을 기반으로 하여 미리 기계 학습하여 구축된 인공지능 기반 도막 열화 검출 모델일 수 있다. 도막 열화 검출 모델은 제어부(70)의 일부로 구현될 수 있다. 제어부(70)에 포함된 도막 열화 검출 모델은 입력된 정합 이미지로부터 구조물(60)에 도포된 도막의 열화가 있는 영역을 검출하여 특정할 수 있다. 이때 열화란 도막의 내구성이 약화되어 나타나는 현상으로 규정될 수 있다. 도막의 열화는 구조물(60)의 내, 외부적인 영향에 따라 도막의 화학적, 물리적 성질이 변화됨에 따라 발생할 수 있다.
도막 열화 상태를 검사하는 단계(S60)는 또한, 검출된 도막 열화의 위치에 따라 정해지는 도막 열화 영역의 이미지를 도막 열화 분류 모델에 입력하여 도막 열화를 특성별로 분류하는 단계(S112)를 포함할 수 있다. 도막 열화 분류 모델제어부(70)의 일부로 구현될 수 있다. 도막 열화를 특성별로 분류하는 것은 후술할 도막 상태 평가 시, 도막의 내구성 약화 정도를 분류함과 동시에, 도막의 상태를 정량화하여 평가하기 위함이다. 도막 열화는 그 특성에 따라 부식(corrosion), 박리(delamination), 초킹(chalking), 체킹(checking)으로 분류될 수 있다. 도 7은 도막 열화의 특성에 따라 구분된 도막의 부식 이미지, 박리 이미지, 초킹 이미지, 체킹 이미지를 예시한다.
도막 열화 검사에 정합 이미지가 이용되므로, 실화상으로부터 탐지하기 어려웠던 초킹, 체킹 등의 열화 현상도 효과적으로 검출하고 분류할 수 있다.
실화상과 열화상을 각각 별도로 이용하여 도막 열화를 검출하는 방식은 각 이미지마다 별도의 도막 열화 검출을 수행해야 한다. 컴퓨팅 시간이 길어지는 단점이 있다. 또한, 정합 이미지를 이용하지 않으면, 열화의 검출에 그치고 검출된 열화를 특성별로 정확하게 분류하기가 어렵다. 이에 비해, 본 발명의 실시예는 열화상과 실화상을 하나로 정합한 정합 이미지를 이용하여 도막의 열화를 검출한다. 정합 이미지를 이용하여 도막 열화를 검출하는 방식은 그 정합 이미지에 대하여 한 번의 열화 검출만 수행하면 되므로, 상대적으로 컴퓨팅 시간을 크게 줄일 수 있는 장점이 있다. 나아가, 그 정합 이미지를 이용하면 검출된 도막 열화를 특성에 맞게 정확하게 분류하는 데 훨씬 유리하다.
도막 열화 상태를 검사하는 단계(S60)는 검출된 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화 하는 단계(S114)를 포함할 수 있다.
도막 열화를 분류하는 것과 별도로, 단계 S110에서 검출된 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화할 수 있다(S114). 이를 위해, 제어부(70)의 열화 검사 알고리즘 모델은 검출된 박스형태의 열화 영역 중 열화 영역만을 추출하고 이를 정량화하는 이미지 프로세싱 기능을 포함할 수 있다.
도 8에는 본 발명의 일 실시예에 따른 검출된 도막 열화 영역을 정량화하는 이미지 프로세싱 과정이 예시되어 있다.
도 8을 참조하면, 도막 열화 영역의 크기를 정량화 하는 단계(S114)는 첨예화 마스크(Sharpening mask)를 이용해 정합 이미지(80)의 이미지 색상 등을 포함하는 특징을 강조하는 처리를 하는 단계(S120)와, 특징의 강조 처리가 된 정합 이미지(80)를 그레이 스케일(gray scale)의 이미지로 변환하는 단계(S122)를 포함할 수 있다. 그레이 스케일 이미지로 변환하는 것은 실화상의 RGB 값의 가중치를 줄이기 위함이다. 도막 열화 영역의 크기를 정량화 하는 단계(S114)는 또한 그레이 스케일로 변환된 이미지에 소정 크기(예컨대 3x3 크기)의 평균값 필터(median filter)를 적용하여 필터링하는 단계(S124)와, 필터링 된 이미지를 이진화(binarization) 하여 각 픽셀이 0 또는 1의 값을 갖는 흑백 이미지(82)를 생성하는 단계(S126)를 포함할 수 있다. 그 흑백 이미지(82)에서, 각 픽셀이 열화 영역에 해당하는지 여부에 따라 0 또는 1의 값을 가질 수 있다. 예컨대, 0은 정상 영역을 나타내고, 1은 열화 영역을 나타낼 수 있다. 구체적인 변수 설정에 따라 1이 정상영역을, 0이 열화 영역을 나타나게 할 수도 있다. 열화 영역에 해당하는 픽셀의 수를 합하고 이에 앞서 구한 픽셀 해상도(pixel resolution)를 곱하여 열화 면적을 정량화할 수 있다.
도 9는 예시적인 실시예에 따라 이미지 프로세싱을 통한 열화 면적을 추출하는 것을 보여준다. 도 9를 참조하면, 한 장의 정합 이미지에서 검출된 열화 영역(Regions 1 - 6)이 6곳인 경우가 예시되어 있다. 그 열화 영역(Regions 1 - 6)에 관한 원래의 정합 이미지(Originals)들 각각에 대해 위에서 설명한 방법(S120, S122, S124, S126)으로 각각 이미지 프로세싱을 수행하여 이진화된 열화 영역(Regions 1 - 6: Result)을 추출할 수 있다. 그렇게 추출된 2진화 열화 영역들 각각에 대하여 열화 면적을 산출할 수 있다.
도막 열화 상태를 검사하는 단계(S60)는 도막 열화 검사 결과를 생성하는 단계(S116)를 포함할 수 있다. 도막 열화 검사의 결과는 위에서 구한 도막 열화의 특성별 분류 결과와 열화 영역 정량화 결과를 포함할 수 있다. 제어부(70)는 산출된 도막 열화 검사 결과에 관한 데이터를 저장할 수 있다.
한편, 다시 도 2를 참조하면, 구조물(60)의 도막 상태를 검사하는 방법은 구조물 표면(62)에 도포된 도막의 두께를 검사하는 수행하는 단계(S70)를 더 포함할 수 있다. 일 실시예에서, 제어부(70)는 전처리된 열화상으로부터 계측된 열에너지를 분석하여 상기 구조물(60)의 도막 두께를 계측할 수도 있다(S70). 도막 두께 계측을 위해 도막 두께 검사 알고리즘을 이용할 수 있다.
도막 두께를 계측하기 위해, 우선 구조물(60)을 가열하면서 그 가열되는 영역의 열화상을 촬영할 수 있다. 구체적으로, 구조물(60)의 가열을 위해, 가진기(30)의 열원을 구조물(60)의 원하는 영역에 조사할 수 있다. 이에 의해, 열에너지가 구조물(60)에 가해질 수 있다. 그 열에너지는 구조물 표면(62)을 이루는 도막의 두께방향으로 전파될 수 있다. 그 열에너지는 전파되는 매체의 물성이 변하는 지점, 즉 구조물(60)과 도막의 경계면에서 반사하여 도막 표면(62) 방향으로 다시 전파될 수 있다. 열에너지의 반사는 구조물(60)과 도막 간의 열전도도(thermal conductivity) 차이에 기인한다. 도막의 열전도도(k1)가 구조물(60)의 열전도도(k2)에 비해 매우 작으면(즉, k1 << k2), 그 경계면에서의 열에너지 반사율은 100%에 근접할 수 있다.
열화상 카메라(10)는 열에너지에 의해 가열되는 구조물(60)의 영역을 촬영하여 획득한 열화상을 제어부(70)에 제공할 수 있다. 제어부(70)는 도막 두께 검사 알고리즘을 이용하여 도막 두께를 계측할 수 있다. 구체적으로, 제어부(70)는 그 열화상을 분석하여 가열 후 반사되는 열에너지를 계측할 수 있다. 이것을 아래 수학식 2로 표현된 푸리에 열전도식에 적용함으로써 도막의 두께를 산출할 수 있다.
[수학식 2]
L = Q/kAΔTt*
여기서 Q는 가열 후 반사되는 열에너지, ΔT는 가해진 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t*는 열에너지 파(thermal wave)의 전파시간을 나타낸다. ΔT는 가해진 가진기(30)의 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t*는 열에너지 파(thermal wave)의 전파 시간을 나타낸다. 이 때, t*는 푸리에 열전도식에 기초하여 적정한 값으로 선택될 필요가 있다.
이렇게 계측된 도막 두께는 두께 계측과는 관련 없는 다양한 노이즈 성분을 포함할 수 있다. 두께 계측과 상관없는 주변의 외부 열원(ambient external heat source), 예를 들어 태양열, 또는 주변에 존재하는 발열체, 다양한 외기 조건(주변 공기의 온도 및/또는 습도 조건 등)에 의해서 노이즈가 생길 수 있다. 이러한 노이즈는 가진기(30)의 열원을 통해 열에너지를 가하기 전의 열화상에도 포함되어 있다. 이런 외부 노이즈 열원들에 의한 열 반응은 통합 열화상으로부터 제거되어야 한다.
예시적인 실시예에 따르면, 열원의 열에너지 즉, 선형 레이저 빔(32)을 계측 구조물(60)에 인가하기 전에 촬영된 시공 통합 열화상을 선형 레이저 빔(32)을 구조물(60)에 인가한 상태에서 촬영된 시공 통합 열화상에서 빼줄 수 있다. 즉, 열원을 구조물(60)에 가하기 직전에 구조물(60)에 대한 열화상을 촬영한 다음, 시간-공간 통합 좌표변환을 하여 제1 시공통합 열화상 이미지를 생성할 수 있다. 그런 다음, 열원을 구조물(60)에 인가한 상태에서 열화상을 촬영하고 시간-공간 통합 좌표변환을 하여 제2 시공통합 열화상 이미지를 생성할 수 있다. 노이즈 열원에 의한 열화상은 제1 및 제2 시공 통합 열화상에 공통적으로 존재한다. 따라서 제2 시공 통합 열화상에서 제1 시공 통합 열화상을 빼서 얻어지는 제3 시공 통합 열화상이 바로 얻고자 하는 외부 열원 노이즈가 제거된 열화상이다.
제어부(70)는 노이즈 성분이 제거된 열화상을 이용하여 도막의 정확한 두께를 산출할 수 있다. 나아가, 산출된 구조물(60)의 도막 두께를 시각화 또는 정량화할 수 있으며, 이것은 후술될 도막 상태 평가 시 입력 데이터로 이용될 수 있다.
한편, 예시적인 실시예에 따른 구조물의 도막 상태 검사 및 평가 방법은 S60 단계에서 얻은 도막의 열화 검사 결과와 S70 단계에서 얻은 도막 두께 검사 결과를 이용하여 도막 상태를 종합적으로 평가하여 도막의 등급을 산출하는 단계(S80)를 더 포함할 수 있다. 도 10은 구조물(60)의 도막 상태를 평가하는 방법이 도식적으로 표현되어 있다.
도 10을 참조하면, 도막 상태평가 시스템(1)의 제어부(70)는 앞서 살펴본 도막 두께 계측 결과 및 도막 열화 상태 검사 결과를 소정의 도막 평가 기준에 기초하여 평가함으로써, 구조물(60)의 도막 등급을 자동으로 산출하는 등 도막 상태의 종합적으로 평가할 수 있다. 상기 도막 평가 기준은 '시설물의 안전 및 유지관리 실시 세부지침' 등 검사대상 구조물별 도막 평가 기준일 수 있다. 일예로, 도막 평가 기준은 구조물 표면(62)의 정상 상태의 이미지, 구조물(60)의 부재 정보, 시방서, 강설 횟수 중 적어도 하나를 포함할 수 있다. 이러한 평가 기준에 기초하여 도막의 두께 또는 열화 상태의 정도를 평가함으로써, 구조물(60)의 특수성을 반영한 도막 등급이 산출될 수 있다.
구체적으로, 도막 열화 검사에서 획득한 열화 종류별 열화 면적을 이용하여 각 열화 종류에 대한 등급과 점수를 산정할 수 있다. 이때 검사 기준에서 주어지는 표준 사진(열화 등급(심각도) 산정하는 데 기준이 되는 사진)과의 비교와 전체 검사 면적 대비 열화 면적의 비를 이용하여 등급과 점수가 산정될 수 있다. 이후, 검사 기준에서 주어지는 열화 종류별 가중치를 적용하여 도막 열화에 대한 등급과 점수가 산정될 수 있다. 도막 두께 등급과 점수 또한 구조물별 허용 도막 두께와 계측된 도막 두께 값을 비교하여 불만족비율을 산정하여 그 등급과 점수를 산정할 수 있다.
도막 상태평가 시스템(1)으로부터 구한 검사 결과 외에 구조물의 부재 정보, 시방서, 강설 횟수 중 적어도 하나를 포함하여 외부적 요인에 대한 등급과 점수를 산정할 수 있다.
일예로, 도막 열화 등급 및 점수, 도막 두께 등급 및 점수, 외부적 요인 등급 및 점수를 이용하여 구조물의 도막 등급을 산정할 수 있다. 이러한 평가 기준을 고려하여 도막의 두께 또는 열화 상태의 정도를 평가함으로써, 구조물의 특수성을 반영한 도막 등급이 산출될 수 있다.
이 때, 도막 등급은 정량적 또는 정성적 지표일 수 있다. 도막 등급의 산출은 제어부(70)에 미리 설정된 평가 알고리즘 모델을 통해 산출될 수 있다. 이러한 과정을 통해 작성자의 주관이 개입되지 않고 미리 정해진 기준에 따라 평가할 수 있다. 이에 의해, 객관적인 도막 등급의 산출이 가능하다.
도 11은 본 발명의 일 실시예에 따른 도막 상태평가 시스템을 이용하여 구조물의 도막 상태 평가 보고서를 자동 작성하는 과정을 예시한다.
도 11을 참조하면, 제어부(70)는 구조물과 관련된 부가 정보와 전 단계(S70)에서 산출된 도막 등급을 입력 변수로 하여 구조물 상태평가 보고서를 자동으로 작성할 수 있다(S90).
이때, 구조물과 관련된 부가 정보는 구조물의 형식, 부재에 따른 가중치, 위치 정보 중 적어도 하나를 포함할 수 있으나, 부가 정보가 전술한 항목으로 제한되는 것은 아니다. 즉, 작성 기준 또는 방향에 따라 다양한 부가 정보가 포함될 수 있다.
예시적인 실시예에서, 산정된 도막 등급 외에, 상기 구조물(60)에 관련된 부가정보를 이용하여 상기 구조물(60)의 내구성능(내구성능 점수 및 등급)을 평가할 수 있다. 이와는 별도로, 구조물(60)에 대하여 안전성능 평가와 사용성능 평가를 수행할 수 있다. 구조물(60)의 내구성능 평가 결과와 안전성능 평가 및 사용성능 평가 결과를 합산하여 종합 평가 점수 및 등급을 산정할 수 있다.
이러한 평가 결과를 이용하여 시방서 등 등급 산정 기준에 명시된 보고서 작성 방법을 바탕으로 구조물(60)과 도막에 대한 종합 상태평가 보고서를 자동으로 작성할 수 있다. 이때, 시설물 개요 및 이력사항, 기존 보수/보강 이력 등을 데이터베이스(DB)화하여 자동 입력하게 할 수 있다. 자동 작성되는 상태평가 보고서는 입력된 데이터(시설물 개요, 보수/보강 이력, 결함 분석, 평가 등급 등)에 관한 정보를 포함할 수 있다.
이와 같은 부가 정보와 도막 등급을 종합적으로 고려하여 자동으로 작성되는 보고서에는 구조물의 구조 형식, 도막 등급, 열화 등급 및 최종 안전 등급 등의 내용이 기재될 수 있다.
위에서 설명한 도막의 열화 상태를 검사하고 도막의 두께를 계측하는 과정(S30-S70)은 컴퓨터 프로그램으로 구현될 수 있다. 또한, 도막의 등급을 산출하는 단계(S80)와 구조물 상태평가 보고서를 자동으로 작성하는 단계(S90)도 컴퓨터 프로그램으로 구현될 수 있다. 그 컴퓨터 프로그램은 실행파일 형태로 구현되어 컴퓨터가 판독할 수 있는 기록매체에 저장될 수 있다. 제어부(70)는 그 기록매체에 저장된 그 컴퓨터 프로그램 파일을 실행함으로써, 구조물과 그에 도포된 도막의 상태를 정확하게 평가하고 관련된 보고서를 자동으로 생성할 수 있다.
살펴본 바와 같이, 도막 상태평가 시스템(1)에 의해 자동으로 구조물 상태평가 보고서가 작성됨으로써, 보고서의 객관성을 향상시킬 수 있으며, 또한 기존 수기 작성으로부터 야기되는 작업 효율성의 문제를 개선할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
1: 도막 상태 평가 시스템 10: 비전 카메라
20: 열화상 카메라 30: 가진기
40: 이동부 42: 무인 이동체
44: 이동체 콘트롤러 50: 주행확인용 카메라
60: 검사대상 구조물 62: 구조물 표면
70: 제어부

Claims (20)

  1. 도막이 도포된 검사대상 강구조물의 도막 상태를 검사하는 방법으로서,
    비전 카메라를 이용하여 상기 강구조물의 표면의 원하는 영역을 촬영하여 다수의 실화상을 획득하는 단계;
    열원으로 상기 강구조물의 상기 원하는 영역을 가열하면서, 열화상 카메라를 이용하여 가열된 상기 강구조물의 표면의 상기 원하는 영역을 촬영하여 다수의 열화상을 획득하는 단계;
    동적 상태의 상기 다수의 열화상들과 상기 다수의 실화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환을 수행하여 정적 상태의 시간-공간 통합 열화상과 시간-공간 통합 실화상으로 각각 재구성하는 전처리 단계;
    상기 시간-공간 통합 실화상과 상기 시간-공간 통합 열화상을 정합하여 정합 이미지를 생성하는 단계;
    복수 개의 학습용 정합 이미지를 인공신경망을 기반으로 하여 미리 학습하여 구축된 인공지능 기반 도막 열화 검출 모델에 상기 정합 이미지를 입력하여 상기 강구조물에 도포된 도막의 열화를 검출하는 단계;
    검출된 도막 열화의 위치에 따라 정해지는 도막 열화 영역의 이미지를 도막 열화 분류 모델에 입력하여 상기 강구조물의 도막 열화를 특성별로 분류하는 단계;
    상기 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화하는 단계;
    상기 도막 열화의 특성별 분류 결과와 정량화 결과를 종합하여 도막 열화 검사 결과를 생성하는 단계;
    도막 두께 검사 알고리즘에 기초하여, 상기 시간-공간 통합 열화상으로부터 계측되는 열에너지를 분석하여 상기 강구조물의 도막 두께를 검사하는 단계; 및
    상기 도막의 열화 상태 검사 결과와 상기 도막의 두께 검사 결과를 소정의 도막 평가 기준에 기초하여 종합적으로 평가하여 도막 등급을 산출하는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  2. 제1항에 있어서, 상기 소정의 도막 평가 기준은 상기 강구조물 표면의 정상 상태의 이미지, 상기 강구조물의 부재 정보, 시방서, 강설 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  3. 제1항에 있어서, 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 종합하여 상기 강구조물에 대한 상태평가 보고서를 자동으로 작성하는 단계를 더 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  4. 제3항에 있어서, 상기 '상태평가 보고서를 자동으로 작성하는 단계'는 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 입력 변수로 하여 강구조물의 내구성능을 평가하는 단계; 상기 강구조물에 대하여 안전성능 평가와 사용성능 평가를 수행하는 단계; 상기 강구조물의 내구성능 평가결과와, 상기 강구조물의 안전성능 평가 및 사용성능 평가 결과를 합산하여 상기 강구조물에 대한 종합 평가 점수 및 등급을 산정하는 단계; 및 소정의 보고서 작성 방법에 따라 상기 강구조물과 도막에 대한 종합 상태평가 보고서를 자동으로 작성하는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  5. 제1 항에 있어서, 상기 도막 열화는 그 특성에 따라 부식, 박리, 체킹, 초킹으로 분류되는 것을 특징으로 하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  6. 제1항에 있어서, 상기 원하는 영역의 촬영은 상기 비전 카메라, 상기 열원, 상기 열화상 카메라가 무인 이동체에 함께 장착되어 상기 강구조물의 표면에 대하여 상대적인 이동을 하면서 수행되는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  7. 제1항에 있어서, 상기 정합 이미지를 생성하는 단계는, 상기 비전 카메라 및 상기 열화상 카메라를 이용하여 기준점들이 표시된 대상면을 촬영하여 그 대상면에 대한 실화상 및 열화상을 각각 획득하는 단계; 상기 열화상에 포함된 기준점을 기준으로, 상기 실화상에 포함된 기준점에 대하여 변환행렬을 구하는 단계; 상기 변환행렬을 이용하여 상기 강구조물 표면의 실화상을 변환하는 단계; 및 변환된 상기 강구조물 표면의 실화상을 상기 강구조물 표면의 열화상과 정합하여 상기 정합 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  8. 제7항에 있어서, 상기 변환행렬을 구하는 단계는, 상기 열화상과 상기 실화상 내에서 제1 및 제2 기준점들을 각각 탐지하는 단계; 탐지된 제1 및 제2 기준점들을 이용하여 상기 열화상과 상기 실화상의 왜곡을 각각 보정하는 단계; 왜곡이 보정된 열화상과 실화상 각각에서, 상기 제1 및 제2 기준점들 간의 거리를 이용하여 픽셀 비율을 각각 구하는 단계; 상기 열화상의 관심 영역에 대응하는 상기 실화상의 관심 영역을 절취하는 단계; 절취된 실화상의 관심 영역을 상기 픽셀 비율에 따라 축소하여 상기 열화상의 관심 영역과 동일한 픽셀 수를 가지도록 하는 단계; 열화상과 실화상 각각의 관심 영역에서 상기 제1 및 제2 기준점들을 재탐지하는 단계; 및 재탐지된 상기 제1 기준점들과 제2 기준점들을 고정점과 이동점으로 각각 설정하여, 상기 고정점을 기준으로 동일한 이동점에 대한 변환 행렬을 구하는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  9. 제8항에 있어서, 상기 실화상의 관심 영역을 절취하는 단계는, 상기 열화상의 상기 제1 기준점들 각각으로부터 상기 열화상의 경계선까지의 픽셀 수들을 구하는 단계; 구해진 픽셀 수들과 상기 픽셀 비율을 이용하여, 상기 실화상 내에서 상기 제2 기준점들로부터 경계선들까지의 픽셀 수들을 산출하는 단계; 산출된 상기 제2 기준점들로부터 경계선들까지의 픽셀 수들을 이용하여 상기 실화상에서 상기 열화상의 관심 영역에 대응하는 경계선을 구하는 단계; 구해진 경계선으로 정의되는 실화상의 관심 영역만을 절취하는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  10. 제1항에 있어서, 상기 열화 영역의 크기를 정량화하는 단계는, 첨예화 마스크를 이용해 이미지 색상을 포함하는 상기 정합 이미지의 특징을 강조하는 처리를 하는 단계; 특징의 강조 처리가 된 정합 이미지를 그레이스케일의 정합 이미지로 변환하는 단계; 그레이 스케일로 변환된 정합 이미지에 소정 크기의 평균값 필터를 적용하여 필터링하는 단계; 필터링 된 정합 이미지를 이진화 하여 각 픽셀이 열화 영역에 해당하는지 여부에 따라 0 또는 1의 값을 갖는 흑백 이미지를 생성하는 단계; 상기 흑백 이미지에서 열화 영역에 해당하는 픽셀 수를 합산하는 단계; 및 합산된 픽셀 수에 픽셀 해상도를 곱하여 열화 면적의 크기를 정량화하는 단계를 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  11. 제1항에 있어서, 상기 강구조물의 도막 두께를 검사하는 단계는, 열원의 열에너지를 상기 강구조물에 인가하기 전에 촬영된 시간-공간 통합 열화상을 상기 열원의 열에너지를 상기 강구조물에 인가한 상태에서 촬영된 시공 통합 열화상에서 빼주어 노이즈 열원에 의한 열화상 성분을 제거하는 단계; 및 노이즈 성분이 제거된 시간-공간 통합 열화상을 이용하여 푸리에 열전도식 L = Q/kAΔTt* 에 기반하여 상기 강구조물의 도막 두께를 계측하는 단계를 포함하며, 여기서 Q는 가열 후 반사되는 열에너지, ΔT는 가해진 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t*는 열에너지 파(thermal wave)의 전파시간을 나타내는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 방법.
  12. 도막이 도포된 검사대상 강구조물의 표면의 원하는 영역을 촬영하여 다수의 실화상을 획득하도록 구성된 비전 카메라;
    상기 강구조물에 열원을 조사하여 상기 강구조물을 가열시키도록 구성된 가진기;
    상기 가진기에 의해 가열되는 상기 강구조물의 표면의 상기 원하는 영역을 다수의 열화상을 획득하도록 구성된 열화상 카메라;
    상기 비전 카메라, 상기 열화상 카메라 및 상기 가진기를 탑재한 상태에서 상기 강구조물의 표면에 대하여 원하는 간격을 유지하면서 이동할 수 있는 움직임을 제공하도록 구성되어, 상기 비전 카메라와 상기 열화상 카메라가 상기 원하는 영역을 촬영할 수 있도록 해주는 무인 이동체와, 상기 무인 이동체의 움직임을 제어할 수 있도록 구성된 이동체 콘트롤러를 포함하는 이동부; 및
    컴퓨터 프로그램을 실행하여 상기 강구조물의 도막 상태를 검사하도록 구성된 제어부를 구비하고,
    상기 컴퓨터 프로그램은,
    상기 비전 카메라와 상기 열화상 카메라가 각각 제공하는 동적 상태의 상기 다수의 열화상들과 다수의 실화상들을 시간-공간 통합 좌표 변환 알고리즘에 따른 좌표 변환을 수행하여 정적 상태의 시간-공간 통합 열화상과 시간-공간 통합 실화상으로 각각 재구성하는 전처리 기능;
    상기 시간-공간 통합 실화상과 상기 시간-공간 통합 열화상을 정합하여 정합 이미지를 생성하는 기능;
    복수 개의 학습용 정합 이미지를 인공신경망을 기반으로 하여 미리 학습하여 구축된 인공지능 기반 도막 열화 검출 모델에 상기 정합 이미지를 입력하여 상기 강구조물에 도포된 도막의 열화를 검출하는 기능;
    검출된 도막 열화의 위치에 따라 정해지는 도막 열화 영역의 이미지를 도막 열화 분류 모델에 입력하여 상기 강구조물의 도막 열화를 특성별로 분류하는 기능;
    상기 도막 열화 영역의 이미지를 프로세싱하여 열화 영역의 크기를 정량화하는 기능;
    상기 도막 열화의 특성별 분류 결과와 정량화 결과를 종합하여 도막 열화 검사 결과를 생성하는 기능;
    도막 두께 검사 알고리즘에 기초하여, 상기 시간-공간 통합 열화상으로부터 계측되는 열에너지를 분석하여 상기 강구조물의 도막 두께를 검사하는 기능; 및
    상기 도막의 열화 상태 검사 결과와 상기 도막의 두께 검사 결과를 소정의 도막 평가 기준에 기초하여 종합적으로 평가하여 도막 등급을 산출하는 기능을 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  13. 제12항에 있어서, 상기 컴퓨터 프로그램은 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 종합하여 상기 강구조물에 대한 상태평가 보고서를 자동으로 작성하는 기능을 더 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  14. 제 13항 있어서, 상기 '상태평가 보고서를 자동으로 작성하는 기능'은 산출된 도막 등급과 상기 강구조물에 관련된 부가 정보를 입력 변수로 하여 강구조물의 내구성능을 평가하는 기능; 상기 강구조물에 대하여 안전성능 평가와 사용성능 평가를 수행하는 기능; 상기 강구조물의 내구성능 평가결과와, 상기 강구조물의 안전성능 평가 및 사용성능 평가 결과를 합산하여 상기 강구조물에 대한 종합 평가 점수 및 등급을 산정하는 기능; 및 소정의 보고서 작성 방법에 따라 상기 강구조물과 도막에 대한 종합 상태평가 보고서를 자동으로 작성하는 기능을 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  15. 제 12 항에 있어서, 상기 무인 이동체는 영구 자석으로 형성된 적어도 하나의 바퀴를 구비하여 그 영구자석 바퀴와 상기 강구조물 간에 작용하는 인력에 의해 상기 강구조물에 달라붙은 상태로 이동할 수 있도록 구성된 이동 로봇인 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  16. 제12항에 있어서, 상기 '정합 이미지를 생성하는 기능'은, 상기 비전 카메라 및 상기 열화상 카메라가 기준점들이 표시된 대상면을 촬영하여 제공하는 실화상 및 열화상을 각각 수신하는 기능; 상기 열화상에 포함된 기준점을 기준으로, 상기 실화상에 포함된 기준점에 대하여 변환행렬을 구하는 기능; 상기 변환행렬을 이용하여 상기 강구조물 표면의 실화상을 변환하는 기능; 및 변환된 상기 강구조물 표면의 실화상을 상기 강구조물 표면의 열화상과 정합하여 상기 정합 이미지를 얻는 기능을 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  17. 제16항에 있어서, 상기 '변환행렬을 구하는 기능'은, 상기 열화상과 상기 실화상 내에서 제1 및 제2 기준점들을 각각 탐지하는 기능; 탐지된 제1 및 제2 기준점들을 이용하여 상기 열화상과 상기 실화상의 왜곡을 각각 보정하는 기능; 왜곡이 보정된 열화상과 실화상 각각에서, 상기 제1 및 제2 기준점들간의 거리를 이용하여 픽셀 비율을 각각 구하는 기능; 상기 열화상의 관심 영역에 대응하는 상기 실화상의 관심 영역을 절취하는 기능; 절취된 실화상의 관심 영역을 상기 픽셀 비율에 따라 축소하여 상기 열화상의 관심 영역과 동일한 픽셀 수를 가지도록 하는 기능; 열화상과 실화상 각각의 관심 영역에서 상기 제1 및 제2 기준점들을 재탐지하는 기능; 및 재탐지된 상기 제1 기준점들과 제2 기준점들을 고정점과 이동점으로 각각 설정하여, 상기 고정점을 기준으로 동일한 이동점에 대한 변환 행렬을 구하는 기능을 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  18. 제12항에 있어서, 상기 '열화 영역의 크기를 정량화하는 기능'은, 첨예화 마스크를 이용해 이미지 색상을 포함하는 상기 정합 이미지의 특징을 강조하는 처리를 하는 기능; 특징의 강조 처리가 된 정합 이미지를 그레이스케일의 정합 이미지로 변환하는 기능; 그레이 스케일로 변환된 정합 이미지에 소정 크기의 평균값 필터를 적용하여 필터링하는 기능; 필터링 된 정합 이미지를 이진화 하여 각 픽셀이 열화 영역에 해당하는지 여부에 따라 0 또는 1의 값을 갖는 흑백 이미지를 생성하는 기능; 상기 흑백 이미지에서 열화 영역에 해당하는 픽셀 수를 합산하는 기능; 및 합산된 픽셀 수에 픽셀 해상도를 곱하여 열화 면적의 크기를 정량화하는 기능을 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  19. 제12항에 있어서, 상기 '강구조물의 도막 두께를 검사하는 기능'은, 열원의 열에너지를 상기 강구조물에 인가하기 전에 촬영된 시간-공간 통합 열화상을 상기 열원의 열에너지를 상기 강구조물에 인가한 상태에서 촬영된 시공 통합 열화상에서 빼주어 노이즈 열원에 의한 열화상 성분을 제거하는 기능; 및 노이즈 성분이 제거된 시간-공간 통합 열화상을 이용하여 푸리에 열전도식 L = Q/kAΔTt* 에 기반하여 상기 강구조물의 도막 두께를 계측하는 기능을 포함하며, 여기서 Q는 가열 후 반사되는 열에너지, ΔT는 가해진 열원에 의한 도막의 온도 증가분, k는 도막의 열전도도, L은 도막의 두께, 그리고 t*는 열에너지 파(thermal wave)의 전파시간을 나타내는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
  20. 제12항에 있어서, 상기 제어부가 제공하는 영상을 표시하는 디스플레이; 및 상기 무인 이동체에 탑재되어 상기 무인 이동체가 주행할 영역을 촬영하여 상기 제어부에 실시간으로 제공하여 상기 디스플레이에 표시될 수 있도록 하는 주행확인용 카메라를 더 포함하는 것을 특징으로 하는 강구조물의 도막 상태 검사 및 평가 시스템.
KR1020200132248A 2019-12-30 2020-10-13 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 KR102256181B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/128,680 US11494891B2 (en) 2019-12-30 2020-12-21 Method of inspecting and evaluating coating state of steel structure and system therefor
CN202011592461.4A CN113125458B (zh) 2019-12-30 2020-12-29 钢结构涂层状态的检查与评估方法及系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190177318 2019-12-30
KR1020190177318 2019-12-30

Publications (1)

Publication Number Publication Date
KR102256181B1 true KR102256181B1 (ko) 2021-05-27

Family

ID=76135929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132248A KR102256181B1 (ko) 2019-12-30 2020-10-13 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템

Country Status (3)

Country Link
US (1) US11494891B2 (ko)
KR (1) KR102256181B1 (ko)
CN (1) CN113125458B (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114324584A (zh) * 2021-12-16 2022-04-12 浙江工业大学 一种基于智能算法和超声相控阵技术的钢结构检测方法
CN114877843A (zh) * 2022-04-19 2022-08-09 邹新芹 一种装配式钢结构建筑防火涂料厚度检测工具
GB2607575A (en) * 2021-06-01 2022-12-14 Stratasys Powder Production Ltd Method, controller and apparatus for correcting thermal images
KR102501893B1 (ko) * 2022-05-09 2023-02-21 주식회사 제이디 이차전지 전극 표면 및 코팅 상태 검사 장치
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
WO2024053760A1 (ko) * 2022-09-07 2024-03-14 주식회사 솔루더스 이동형 로봇을 이용한 무인 국사 모니터링 시스템 및 그 방법
CN118115499A (zh) * 2024-04-29 2024-05-31 深圳市金利源绝缘材料有限公司 一种电力铜排的生产质量视觉检测方法
CN118521808A (zh) * 2024-07-24 2024-08-20 浪潮通用软件有限公司 一种粮堆库图片对比分析方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
CN113834852B (zh) * 2021-11-25 2022-03-25 单县多米石墨烯科技有限公司 一种具有石墨烯涂层的产品的散热性能检测方法和系统
CN114331973B (zh) * 2021-12-08 2024-06-04 博迈科海洋工程股份有限公司 一种适用于油气模块制造过程的钢结构信息提取方法
CN114463293A (zh) * 2022-01-22 2022-05-10 广东省建筑工程监理有限公司 基于图像处理技术的钢结构质量无线检测分析方法及系统
CN114594106B (zh) * 2022-03-08 2024-08-20 苏州菲利达铜业有限公司 一种铜管电镀工艺的实时监测方法及系统
CN116380782B (zh) * 2022-12-14 2023-11-14 无锡普天铁心股份有限公司 一种取向硅钢涂层附着性的测定装置及其测定方法
CN116576806B (zh) * 2023-04-21 2024-01-26 深圳市磐锋精密技术有限公司 一种基于视觉分析的厚度检测设备用的精密度管控系统
CN117517325B (zh) * 2024-01-04 2024-04-02 江苏海德曼新材料股份有限公司 一种基于机器视觉的铝单板喷涂质量检测分析系统
CN117952971B (zh) * 2024-03-26 2024-06-14 中机凯博表面技术江苏有限公司 一种热喷涂超细粉末用等离子重熔监测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037276A (ja) 2002-07-04 2004-02-05 Kansai Paint Co Ltd 塗膜劣化診断方法
KR20140036897A (ko) * 2012-09-18 2014-03-26 한국건설기술연구원 강교량의 통합형 도장 진단 및 보수 시스템 및 그 방법
JP2017096834A (ja) * 2015-11-26 2017-06-01 三菱日立パワーシステムズ株式会社 コーティング剥離の検査装置および検査方法
KR101877480B1 (ko) 2017-11-24 2018-08-07 한국과학기술원 도막 두께 분포 시각화 방법 및 이를 위한 능동형 열화상 장치
KR101948852B1 (ko) * 2017-10-25 2019-05-29 세종대학교산학협력단 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치
KR20190142626A (ko) 2018-06-18 2019-12-27 세종대학교산학협력단 Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692887B2 (en) * 2010-08-27 2014-04-08 General Electric Company Thermal imaging method and apparatus for evaluating coatings
JP2013134217A (ja) * 2011-12-27 2013-07-08 Nippon Zeon Co Ltd 塗布層の検査方法、及び、複層フィルムの製造方法
US20160027172A1 (en) * 2012-04-04 2016-01-28 James G. Spahn Method of Monitoring the Status of a Wound
CN103674256A (zh) * 2012-09-21 2014-03-26 杭州美盛红外光电技术有限公司 热像分析切换装置和热像分析切换方法
BR112016020894B1 (pt) * 2014-03-12 2022-05-03 Swimc Llc Sistema e método implantado por processador para determinar espessuras de revestimento e meio legível por computador
JP6318429B2 (ja) * 2014-05-30 2018-05-09 一般財団法人電力中央研究所 コーティング層における剥離の非破壊検査方法および非破壊検査装置
EP3404403B1 (de) * 2017-05-18 2019-03-27 Grob-Werke GmbH & Co. KG Verfahren und vorrichtung zur prüfung der qualität von beschichteten oberflächen
CN109427049B (zh) * 2017-08-22 2022-01-18 成都飞机工业（集团）有限责任公司 一种涂层缺陷的检测方法
FR3074596B1 (fr) * 2017-12-01 2019-12-06 Universite De Reims Champagne Ardenne Procede de caracterisation d'echantillons utilisant des reseaux de neurones
US10761032B1 (en) * 2019-02-26 2020-09-01 Bwxt Nuclear Operations Group, Inc. Apparatus and method for inspection of a film on a substrate

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037276A (ja) 2002-07-04 2004-02-05 Kansai Paint Co Ltd 塗膜劣化診断方法
KR20140036897A (ko) * 2012-09-18 2014-03-26 한국건설기술연구원 강교량의 통합형 도장 진단 및 보수 시스템 및 그 방법
JP2017096834A (ja) * 2015-11-26 2017-06-01 三菱日立パワーシステムズ株式会社 コーティング剥離の検査装置および検査方法
KR101948852B1 (ko) * 2017-10-25 2019-05-29 세종대학교산학협력단 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치
KR101877480B1 (ko) 2017-11-24 2018-08-07 한국과학기술원 도막 두께 분포 시각화 방법 및 이를 위한 능동형 열화상 장치
KR20190142626A (ko) 2018-06-18 2019-12-27 세종대학교산학협력단 Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2607575A (en) * 2021-06-01 2022-12-14 Stratasys Powder Production Ltd Method, controller and apparatus for correcting thermal images
US12086966B2 (en) 2021-06-01 2024-09-10 Stratasys Powder Production Ltd. Method, controller and apparatus for correcting thermal images
CN114324584A (zh) * 2021-12-16 2022-04-12 浙江工业大学 一种基于智能算法和超声相控阵技术的钢结构检测方法
CN114324584B (zh) * 2021-12-16 2023-09-05 浙江工业大学 一种基于智能算法和超声相控阵技术的钢结构检测方法
CN114877843A (zh) * 2022-04-19 2022-08-09 邹新芹 一种装配式钢结构建筑防火涂料厚度检测工具
CN114877843B (zh) * 2022-04-19 2024-05-03 邹新芹 一种装配式钢结构建筑防火涂料厚度检测工具
KR102501893B1 (ko) * 2022-05-09 2023-02-21 주식회사 제이디 이차전지 전극 표면 및 코팅 상태 검사 장치
WO2024053760A1 (ko) * 2022-09-07 2024-03-14 주식회사 솔루더스 이동형 로봇을 이용한 무인 국사 모니터링 시스템 및 그 방법
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN117115114B (zh) * 2023-08-29 2024-01-30 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN118115499A (zh) * 2024-04-29 2024-05-31 深圳市金利源绝缘材料有限公司 一种电力铜排的生产质量视觉检测方法
CN118521808A (zh) * 2024-07-24 2024-08-20 浪潮通用软件有限公司 一种粮堆库图片对比分析方法

Also Published As

Publication number Publication date
CN113125458B (zh) 2023-12-22
US20210201472A1 (en) 2021-07-01
CN113125458A (zh) 2021-07-16
US11494891B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
KR102256181B1 (ko) 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
US11893724B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
EP3243166B1 (en) Structural masking for progressive health monitoring
Prasanna et al. Automated crack detection on concrete bridges
EP3049793B1 (en) Structural hot spot and critical location monitoring
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
Jeong et al. Literature review and technical survey on bridge inspection using unmanned aerial vehicles
Protopapadakis et al. Autonomous robotic inspection in tunnels
Miao et al. Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques
WO2013020143A1 (en) Image-based crack quantification
Panella et al. Deep learning and image processing for automated crack detection and defect measurement in underground structures
Malek et al. Methodology to integrate augmented reality and pattern recognition for crack detection
Zhou et al. UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation
Turkan et al. Terrestrial laser scanning-based bridge structural condition assessment
CN105787870A (zh) 一种图形图像拼接融合系统
Das et al. Application of deep convolutional neural networks for automated and rapid identification and computation of crack statistics of thin cracks in strain hardening cementitious composites (SHCCs)
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
O'Byrne et al. Effects of turbidity and lighting on the performance of an image processing based damage detection technique
Neeli Use of photogrammetry aided damage detection for residual strength estimation of corrosion damaged prestressed concrete bridge girders
Han Crack detection of UAV concrete surface images
Shah et al. Structural surface assessment of ship structures intended for robotic inspection applications
JP7478000B2 (ja) ３ｄ画像データ解析装置
JP7433623B2 (ja) 構造物画像管理システム
McLaughlin A Deep Learning Approach for Automating Concrete Bridge Defect Assessment Using Computer Vision
Liu et al. Quantifying surface deformation with the edge of light-enhanced visual inspection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant