KR101993881B1 - 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 - Google Patents

딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 Download PDF

Info

Publication number
KR101993881B1
KR101993881B1 KR1020170107060A KR20170107060A KR101993881B1 KR 101993881 B1 KR101993881 B1 KR 101993881B1 KR 1020170107060 A KR1020170107060 A KR 1020170107060A KR 20170107060 A KR20170107060 A KR 20170107060A KR 101993881 B1 KR101993881 B1 KR 101993881B1
Authority
KR
South Korea
Prior art keywords
deterioration
type
pattern
image
learning
Prior art date
Application number
KR1020170107060A
Other languages
English (en)
Other versions
KR20190021809A (ko
Inventor
천경식
윤태양
김철환
전진택
Original Assignee
주식회사 포스코건설
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코건설 filed Critical 주식회사 포스코건설
Priority to KR1020170107060A priority Critical patent/KR101993881B1/ko
Publication of KR20190021809A publication Critical patent/KR20190021809A/ko
Application granted granted Critical
Publication of KR101993881B1 publication Critical patent/KR101993881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

딥 러닝 기반의 구조물 표면 열화 진단 방법 및 장치에 관한 것이며, 구조물 표면 열화 진단 방법은, (a) 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 단계; 및 (b) 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 단계를 포함할 수 있다.

Description

딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 {METHOD AND APPARATUS FOR DETERIORATION DIAGNOSIS OF STRUCTURE SURFACE BASED ON DEEP LEARNING}
본원은 딥 러닝 기반으로 강교량의 도장면과 같은 구조물 표면의 열화를 진단하는 방법 및 장치에 관한 것이다.
종래에 교량의 열화상태 등을 진단하는 방법으로, 교량 상부 구조물의 하측에 사다리, 받침대, 난간 지지대, 교량 점검용 전용 차량 등의 구성된 전용 점검 시설을 설치한 후 작업자가 직접 통로를 따라 이동하면서 직접 육안으로 검사를 수행하거나 사진(영상)을 촬영한 다음 상기 작업자 또는 다른 검사자가 촬영된 사진을 살펴보며 육안으로 간접적인 검사를 수행하는 방법이 있다.
그런데, 이러한 종래의 진단 방법의 경우에는 다양한 형상으로 나타나는 교량의 열화 유형이나 열화 정도 등의 열화상태 진단이 교량의 도장면과 같이 광범위한 면적에 대하여 검사자(작업자)의 육안 관찰에 의해 이루어짐에 따라 상당한 시간이 소요되는 단점이 있었다. 특히, 검사자(작업자)의 숙련도가 낮을 경우에는 상당한 시간이 소요되는 진단임에도 검사 결과가 일정치 못하고 편차가 커, 신뢰성 있는 정확한 진단이 이루어지지 못하는 측면 또한 존재하였다.
또한, 이러한 종래의 진단 방법의 경우, 전용 점검 시설을 점검 대상 교량에 맞게 설치하거나, 기설치된 점검 시설을 이용하여 이루어지게 되는데, 하천이나 해상을 가로지르는 장경간 교량과 같이 교량 상부의 하면이나 측면에 대한 이미지(영상) 획득에 제한이 있는 구조물의 경우, 진단을 위한 이미지 획득 자체가 어려운 측면이 있었다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1194412호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 딥 러닝 기반으로 강교량의 도장면과 같은 구조물 표면의 열화를 신속하면서도 합리적으로 진단할 수 있는 구조물 표면 열화 진단 방법 및 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 다양한 형상으로 나타나는 교량의 열화 유형이나 열화 정도 등의 열화상태를 보다 정확하게 진단할 수 있는 구조물 표면 열화 진단 방법 및 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 종래에 교량의 면적이 광범위함에 따라 검사시 상당한 시간이 소요되고, 해당 교량을 주기적으로 유지보수하는 데에 큰 어려움이 있었던 문제를 해소할 수 있는 구조물 표면 열화 진단 방법 및 장치를 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 구조물 표면 열화 진단 방법은, (a) 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 단계; 및 (b) 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 단계를 포함할 수 있다.
또한, 상기 열화패턴의 유형은, 상기 (b) 단계에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분될 수 있다.
또한, 상기 (b) 단계에서, 열화 진단 결과는 상기 조사 대상 구조물의 잔존 수명 또는 상기 조사 대상 구조물의 유지보수와 관련하여 둘 이상의 결과로 분류될 수 있다.
또한, 상기 (b) 단계는, 상기 열화 진단 결과로서 상기 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출하고, 상기 분포면적은 상기 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 상기 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 산출될 수 있다.
또한, 상기 (a) 단계에서, 상기 획득 이미지는 딥 러닝 기반 학습에 있어서 상기 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지일 수 있다.
또한, 상기 전처리는, 상기 조사 대상 구조물의 표면 중 상기 열화패턴에 해당하는 표면 및 상기 열화패턴에 미해당하는 표면 중 적어도 하나를, 기설정된 색상, 기설정된 명도, 기설정된 채도, 기설정된 레벨값, 기설정된 대비값 및 기설정된 색상 균형값 중 적어도 하나에 대하여 동일한 범주 내에 속하도록 표준화하는 이미지 처리일 수 있다.
또한, 상기 (a) 단계에서, 상기 열화패턴의 유형에 따른 분류는, 복수의 유형별 학습 이미지를 입력값으로 하고 상기 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여 이루어질 수 있다.
한편, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 방법은, (a) 무인 비행체를 이용하여 조사 대상 구조물의 표면에 대한 이미지를 획득하는 단계; (b) 상기 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 단계; 및 (c) 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 단계를 포함할 수 있다.
또한, 상기 (a) 단계에서, 상기 무인 비행체는 획득된 상기 이미지 내에 이상 의심 영역이 존재하는 것으로 판단되는 경우, 상기 이상 의심 영역에 대한 상세 이미지를 획득할 수 있다.
또한, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 방법은, 상기 (a) 단계 이전에, 상기 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석하는 단계를 더 포함하고, 상기 반사강도를 획득하고 분석하는 단계는, 열화가 미발생한 표면에 대한 기준강도와 대비하여 상기 반사강도가 허용치를 벗어나면 상기 (a) 단계를 진행하도록 할 수 있다.
또한, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 방법은, 상기 (a) 단계 이전에, 상기 무인 비행체가 상기 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서와의 통신 가능 영역 내에 진입한 경우, 상기 무인 비행체를 통해 상기 열화 측정 센서로부터 측정된 열화 관련 센싱값을 획득하고 분석하는 단계를 더 포함하고, 상기 열화 관련 센싱값을 획득하고 분석하는 단계는, 상기 열화 관련 센싱값이 기준치를 벗어나면 상기 (a) 단계를 진행하도록 할 수 있다.
또한, 상기 열화 관련 센싱값은 상기 조사 대상 구조물의 표면의 열화를 측정한 표면 열화 센싱값 및 대기 중의 열화 유발 환경인자 센싱값을 포함할 수 있다.
한편, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치는, 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 분류부; 및 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 진단부를 포함할 수 있다.
또한, 상기 열화패턴의 유형은, 상기 진단부에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분될 수 있다.
또한, 상기 진단부에서, 열화 진단 결과는 상기 조사 대상 구조물의 잔존 수명 또는 상기 조사 대상 구조물의 유지보수와 관련하여 둘 이상의 결과로 분류될 수 있다.
또한, 상기 진단부는, 상기 열화 진단 결과로서 상기 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출하고, 상기 분포면적은 상기 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 상기 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 산출될 수 있다.
또한, 상기 분류부에서, 상기 획득 이미지는 딥 러닝 기반 학습에 있어서 상기 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지일 수 있다.
또한, 상기 전처리는, 상기 조사 대상 구조물의 표면 중 상기 열화패턴에 해당하는 표면 및 상기 열화패턴에 미해당하는 표면 중 적어도 하나를, 기설정된 색상, 기설정된 명도, 기설정된 채도, 기설정된 레벨값, 기설정된 대비값 및 기설정된 색상 균형값 중 적어도 하나에 대하여 동일한 범주 내에 속하도록 표준화하는 이미지 처리일 수 있다.
또한, 상기 분류부에서, 상기 열화패턴의 유형에 따른 분류는, 복수의 유형별 학습 이미지를 입력값으로 하고 상기 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여 이루어질 수 있다.
한편, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 장치는, 무인 비행체를 이용하여 조사 대상 구조물의 표면에 대한 이미지를 획득하는 획득부; 상기 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 분류부; 및 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 진단부를 포함하고, 상기 획득부에서, 상기 무인 비행체는 획득된 상기 이미지 내에 이상 의심 영역이 존재하는 것으로 판단되는 경우, 상기 이상 의심 영역에 대한 상세 이미지를 획득할 수 있다.
또한, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 장치는, 상기 이미지를 획득하기 이전에, 상기 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석하는 반사강도 분석부를 더 포함하고, 상기 반사강도 분석부는, 열화가 미발생한 표면에 대한 기준강도와 대비하여 상기 반사강도가 허용치를 벗어나면 상기 획득부에서 상기 이미지를 획득하도록 할 수 있다.
또한, 본원의 다른 일 실시예에 따른 구조물 표면 열화 진단 장치는, 상기 이미지를 획득하기 이전에, 상기 무인 비행체가 상기 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서와의 통신 가능 영역 내에 진입한 경우, 상기 무인 비행체를 통해 상기 열화 측정 센서로부터 측정된 열화 관련 센싱값을 획득하고 분석하는 열화 관련 센싱값 분석부를 더 포함하고, 상기 열화 관련 센싱값 분석부는, 상기 열화 관련 센싱값이 기준치를 벗어나면 상기 획득부에서 상기 이미지를 획득하도록 할 수 있다.
또한, 상기 열화 관련 센싱값은 상기 조사 대상 구조물의 표면의 열화를 측정한 표면 열화 센싱값 및 대기 중의 열화 유발 환경인자 센싱값을 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하며, 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 획득 이미지에 대응하는 열화 진단 결과를 도출함으로써, 획득 이미지 내의 표면에 대한 열화 상태를 효과적으로 인식할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 딥 러닝 기반으로 강교량의 도장면과 같은 구조물 표면의 열화를 진단할 수 있으며, 특히 다양한 형상으로 나타나는 교량의 열화 유형이나 열화 정도 등의 열화상태를 보다 정확하게 진단할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 획득 이미지의 열화패턴의 유형을 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분함으로써, 진단부를 통한 열화 진단 결과 도출시 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록 할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 상기 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 상기 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 상기 열화 진단 결과로서 상기 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출함으로써, 열화 상태 정도(수준)를 효과적으로 판단할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 딥 러닝 기반 기학습 사항에 기초하여 조사 대상 구조물의 잔존 수명 또는 조사 대상 구조물의 유지 보수와 관련하여 보다 면밀한 열화 진단 결과를 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 무인 비행체를 이용하여 획득된 이미지에 기초하여 구조물 표면의 열화를 진단함으로써, 종래에 교량의 면적이 광범위함에 따라 검사시 상당한 시간이 소요되고, 해당 교량을 주기적으로 유지보수 하는데에 큰 어려움이 있었던 문제를 해소할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치의 개략적인 구성을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 열화패턴의 유형별 획득 이미지의 예를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 열화패턴의 유형의 예를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 거리 측정 레이저를 통한 열화패턴의 분포면적 산출 예를 설명하기 위한 도면이다.
도 5a는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 반사강도를 획득하여 분석하는 과정에 대한 흐름을 개략적으로 나타낸 도면이다.
도5b는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어에 따른 동작 예를 설명하기 위한 도면이다.
도 6a는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어 경로의 예를 설명하기 위한 도면이다.
도 6b 및 도 6c는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어 경로의 다른 예를 설명하기 위한 도면이다.
도 6d는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체를 통해 획득한 이미지를 3차원으로 시각화하여 표현한 예를 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 구조물 표면 열화 진단 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치의 개략적인 구성을 나타낸 도면이다.
도 1을 참조하면, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 분류부(12) 및 진단부(13)를 포함할 수 있다. 또한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 획득부(11)를 포함할 수 있다.
획득부(11)는 무인 비행체(5)를 이용하여 조사 대상 구조물의 표면에 대한 이미지를 획득할 수 있다.
여기서, 조사 대상 구조물은 교량(강교량), 건물 등을 포함하는 다양한 구조물을 의미할 수 있다. 예시적으로, 조사 대상 구조물은 교량의 상부 구조물일 수 있다. 또한, 조사 대상 구조물의 표면은 도장면(도장외관)일 수 있다. 이에 따르면, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 바람직하게 강교량과 같은 교량(교량 상부 구조물)의 도장면에 대한 열화를 진단할 수 있다. 또한, 본원에서 열화라 함은 부식, 박리, 체킹, 쵸킹 등을 포괄하는 넓은 개념으로 이해될 수 있다.
또한, 무인 비행체(5)는 드론(drone), 무인기 등으로 달리 표현될 수 있다.
본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)로부터 열화 진단 관련 데이터를 무선 통신을 통해 획득할 수 있다. 여기서, 열화 진단 관련 데이터는 무인 비행체(5)에 구비된 카메라를 통해 촬영된 조사 대상 구조물의 표면에 대한 이미지, 레이저 스캐너에 의한 레이저 스캐닝을 통해 획득된 반사강도 데이터 및 공간 좌표 데이터, 무인 비행체(5)에 구비된 거리 측정 레이저를 통해 획득된 거리 데이터, 및 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서부로부터 획득된 열화 관련 센싱값을 포함할 수 있다. 예시적으로, 레이저 스캐너는 교량의 하측 또는 상측에서 레이저 스캐닝을 수행하는 장비일 수 있다. 다른 예로, 레이저 스캐너는 드론과 같은 무인 비행체에 탑재될 수 있는 규모의 장비로 구비될 수 있다. 이와 같이, 레이저 스캐너는 다양한 규모로 구비될 수 있고, 무인 비행체와 별도로 배치되거나, 필요에 따라서는 무인 비행체에 탑재될 수 있다. 보다 구체적인 설명은 후술하여 설명하기로 한다.
구조물 표면 열화 진단 장치(10)와 무인 비행체(5) 간의 무선 통신의 일예로는 RF(Radio Frequency) 통신, NFC(Near Field Communication) 통신, 블루투스(Bluetooth) 통신, 비콘(Beacon) 통신 등이 포함될 수 있으나, 이에 한정된 것은 아니다. 다른 일예로, 구조물 표면 열화 진단 장치(10)는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함하는 네트워크를 통해 무인 비행체(5)로부터 열화 진단 관련 데이터를 획득할 수 있다.
또한, 무인 비행체(5)는 구조물 표면 열화 진단 장치(10)의 자체 판단에 의하여 생성된 제어 명령 또는 구조물 표면 열화 진단 장치(10)를 통한 사용자 입력에 기반하여 생성된 제어 명령에 기초하여 제어될 수 있으며, 이에 대한 설명은 후술하여 보다 자세히 설명하기로 한다.
분류부(12)는 조사 대상 구조물의 표면에 대한 획득 이미지(즉, 조사 대상 구조물의 표면에 대하여 획득된 이미지)를 열화패턴의 유형에 따라 분류할 수 있다. 여기서, 열화패턴이라 함은 앞서 말한 바와 같이 부식, 박리, 체킹, 쵸킹 등의 열화에 대한 패턴을 의미할 수 있다.
일예로, 획득 이미지에 대한 열화 패턴의 유형에 따른 분류는 복수의 유형별 학습 이미지를 입력값으로 하고 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여 이루어질 수 있다. 달리 표현하여, 분류부(12)는 일예로, 복수의 유형별 학습 이미지를 입력값으로 하고 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반의 기학습 사항에 기초하여, 획득부(11)를 통해 획득한 이미지를 열화패턴의 유형에 따라 분류할 수 있다.
다만, 획득 이미지에 대한 열화패턴의 유형에 따른 분류는 딥 러닝 기반 기학습 사항에 기초하여 수행되는 것으로만 한정되는 것은 아니고, 다른 일예로, 획득 이미지에 대한 열화패턴의 유형에 따른 분류는 이미지 인식 프로세싱(예를 들어, 이미지 인식 알고리즘)을 통해 이루어질 수 있다. 달리 표현하여, 분류부(12)는 일예로 이미지 인식 프로세싱을 통해 획득부(11)를 통해 획득한 이미지를 열화패턴의 유형에 따라 분류할 수 있다. 또한, 획득 이미지에 대한 열화패턴의 유형에 따른 분류는 일예로 이미지 인식 프로세싱을 통해 열화 영역에 대한 인식(식별)이 이루어진 이후에, 인식(식별)된 열화 영역에 대하여 딥 러닝 기반 기학습 사항을 적용함으로써 이루어질 수 있다.
분류부(12)에서 열화패턴의 유형 분류시 이용되는 딥 러닝 기반의 기학습 사항에 의하면, 획득 이미지가 복수의 열화패턴의 유형 중 어느 유형에 속하는지 식별되어 열화패턴의 유형에 따라 분류될 수 있다. 한편, 후술할 진단부(13)에서 열화 진단 결과 도출시 이용되는 딥 러닝 기반 기학습 사항에 의하면, 획득 이미지에 대응하는 열화 상태에 대한 열화 진단 결과(예를 들어, 조사 대상 구조물의 잔존 수명 관련 진단, 조사 대상 구조물의 유지보수 관련 진단)가 도출될 수 있다.
분류부(12)는 이미지 인식 프로세싱 또는 딥 러닝 기반 기학습 사항에 기초하여, 획득부(11)를 통해 획득된 획득 이미지가 복수의 열화패턴의 유형 중 어느 유형에 속하는지 식별하여 분류할 수 있다.
또한, 분류부(12)에 의하여 분류되는 획득 이미지의 열화패턴의 유형은, 후술할 진단부(13)에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분될 수 있다.
구체적으로, 조사 대상 구조물의 표면 열화는 열화의 종류나 속성(예를 들어, 부식, 박리, 체킹, 쵸킹 등), 열화 정도 등에 따라 그 형태가 매우 다양하게 나타난다. 그런데, 획득 이미지 내에 포함된 표면의 열화 상태를 진단(판단)함에 있어서 열화패턴의 유형을 구분(분류)하는 과정 없이 단순히 획득 이미지만으로 열화상태를 진단하여 열화 진단 결과를 도출하는 경우에는 열화 패턴(형태)의 유형이 매우 다양함에 따라 열화에 대한 정확한 진단이 이루어지지 못하여 판단 오류가 발생할 확률이 높다. 이에 따라, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 열화패턴의 유형을 구분하지 않고 열화 진단 결과를 도출하는 것 대비 판단 오류의 발생 확률을 효과적으로 저감시키기 위하여, 획득 이미지를 분산형 반점 유형(점 유형), 격자 무늬 유형(선 유형 또는 무늬 유형) 및 비정형 유형을 포함하는 열화패턴의 유형에 따라 분류할 수 있으며, 이후에 딥 러닝 기반 기학습 사항을 기초로 하여 획득 이미지에 대응하는 열화 진단 결과를 도출함으로써 획득 이미지에 대응하는 열화의 종류나 속성, 열화 정도, 열화 색상 변화 형태 등의 열화 상태를 보다 정확하게 진단, 판단할 수 있다.
도 2는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 열화패턴의 유형별 획득 이미지의 예를 나타낸 도면이고, 도 3은 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 열화패턴의 유형의 예를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 도 2(a)는 열화패턴의 유형 중 분산형 반점 유형에 대응하는 실제 획득 이미지의 예를 나타내고, 도 3(a)는 분산형 반점 유형에 대한 열화패턴의 예를 나타낸다. 도 2(b)는 열화패턴의 유형 중 비정형 유형에 대응하는 실제 획득 이미지의 예를 나타내고, 도 3(b)는 비정형 유형에 대한 열화패턴의 예를 나타낸다. 도 2(c)는 열화패턴의 유형 중 격자 무늬 유형에 대응하는 실제 획득 이미지의 예를 나타내고, 도 3(c)는 격자 무늬 유형에 대한 열화패턴의 예를 나타낸다. 여기서, 격자 무늬 유형이라 함은 가로/세로의 직선이 직각으로 교차해나가는 모양의 무늬만을 의미하는 것으로 좁게 해석되기 보다는, 복수개로 구획된 영역이 다양한 크기와 모양을 가지도록 형성된 무늬를 의미하는 것으로 넓게 해석될 수 있다.
일예로, 획득부(11)는 무인 비행체(5)를 통해 강교량의 도장외관을 촬영한 이미지로서 도 2(a)와 같은 이미지(획득 이미지)를 획득할 수 있다. 분류부(12)는 도 2(a)와 같은 획득 이미지에 이미지 인식 프로세싱을 적용하거나 딥 러닝 기반 기학습 사항에 기초하여, 획득 이미지를 열화패턴의 유형에 따라 분류할 수 있다. 분류부(12)는 일예로 도 2(a)와 같은 획득 이미지를 열화패턴의 유형으로서 분산형 반점 유형으로 분류할 수 있다.
분류부(12)는 일예로 이미지 인식 프로세싱을 통해 획득 이미지에 포함된 부식, 박리, 체킹, 쵸킹 등과 관련된 열화 영역을 인식할 수 있다. 분류부(12)는 인식된 열화 영역에 대한 특징을 추출함으로써 획득 이미지에 대응하는 열화패턴을 생성할 수 있다. 도 2(a)와 같은 획득 이미지에 대응하여 생성된 열화패턴은 일예로 도 3(a)와 같을 수 있다. 이때, 획득 이미지에 대응하여 생성된 열화패턴은 획득 이미지 내에 포함된 열화의 패턴을 도 3(a)와 같이 단순화하여 표현한 단순 열화패턴을 의미할 수 있다. 달리 표현하여, 분류부(12)는 획득 이미지로부터 열화에 대한 특징을 추출함으로써 획득 이미지에 포함된 열화패턴을 도 3(a)와 같이 단순화하여 표현할 수 있다. 이후, 분류부(12)는 단순화되어 표현된 획득 이미지 내의 열화패턴을 딥 러닝 기반 기학습 사항에 기초하여 열화패턴의 유형에 따라 분류할 수 있다. 분류부(12)는 도 3(a)와 같이 단순화되어 표현된 획득 이미지 내의 열화패턴을 딥 러닝 기반 기학습 사항에 기초하여 분산형 반점 유형으로 분류할 수 있다. 이후, 진단부(13)는 분류된 획득 이미지의 열화패턴의 유형인 분산형 반점 유형에 속하는 복수의 학습 이미지를 이용하여 학습된 딥 러닝 기반 기학습 사항에 기초하여, 분류된 획득 이미지에 대응하는 열화 진단 결과를 도출할 수 있다. 진단부(13)에 대한 구체적인 설명은 후술하여 설명하기로 한다.
한편, 분류부(12)에서 분류의 대상이 되는 획득 이미지는 딥 러닝 기반 학습에 있어서 딥 러닝 기반 학습의 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지일 수 있다. 여기서 전처리는 조사 대상 구조물의 표면 중 열화패턴에 해당하는 표면 및 열화패턴에 미해당하는 표면 중 적어도 하나를, 기설정된 색상, 기설정된 명도, 기설정된 채도, 기설정된 레벨값, 기설정된 대비값 및 기설정된 색상 균형값 중 적어도 하나에 대하여 동일한 범주 내에 속하도록 표준화하는 이미지 처리를 의미할 수 있다.
즉, 무인 비행체(5)를 통해 획득된 이미지의 경우 태양광이나 그림자 등에 의하여 이미지 내의 표면 색상이나 열화 영역의 색상 등이 다르게 나타날 수 있으므로, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 분류부(12)에 의하여 획득 이미지를 열화패턴의 유형에 따라 분류하기 이전에, 획득 이미지에 대하여 획득 이미지의 표준화(정규화) 처리를 위한 전처리를 수행할 수 있다. 이를 위해, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 전처리부(미도시)를 포함할 수 있다. 일예로, 전처리부(미도시)는 전처리를 통해 획득 이미지의 레벨(level)을 일정하게 조정할 수 있다.
진단부(13)는 분류부(12)를 통해 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류부(120)를 통해 분류된 획득 이미지에 대응하는 열화 진단 결과를 도출할 수 있다.
진단부(13)를 통해 도출되는 열화 진단 결과는 조사 대상 구조물의 잔존 수명 또는 조사 대상 구조물의 유지보수와 관련하여 둘 이상의 결과로 분류될 수 있다. 달리 표현하여, 진단부(13)는 열화 진단 결과로서 조사 대상 구조물의 잔존 수명 관련 열화 진단 결과 또는 조사 대상 구조물의 유지 보수 관련 열화진단 결과를 도출할 수 있다.
진단부(13)는 일예로 조사 대상 구조물의 잔존 수명이 '10년 이내', '10년 내지 20년 사이', '20년 내지 30년 사이' 등인 것으로 잔존 수명 관련 열화 진단 결과를 도출할 수 있다.
또한, 진단부(13)는 일예로, 조사 대상 구조물의 표면에 대한 유지보수가 '필요함' 또는 '불필요함'인 것으로 유지 보수 관련 열화 진단 결과를 도출할 수 있다. 더하여, 진단부(13)는 '필요함', '불필요함' 외에 조사 대상 구조물의 표면에 대한 유지보수가 '관찰대상임'인 것으로 유지 보수 관련 열화 진단 결과를 도출할 수 있다.
또한, 진단부(13)는 조사 대상 구조물의 표면에 대한 유지보수가 필요한 정도에 따라 등급화하여 분류된 열화 진단 결과를 제공할 수 있다. 일예로, 유지보수가 필요한 정도는 5개의 등급으로 등급화되어 구분될 수 있다. 여기서, 일예로 1등급은 조사 대상 구조물의 표면에 대한 유지보수가 필요없는 '최상의 상태'를 의미할 수 있고, 등급이 높아질수록 유지보수가 필요한 상태로서, 5등급은 조사 대상 구조물의 표면에 대한 유지보수가 매우 필요한 '최악의 상태(달리 표현하여, 긴급 상태)'를 의미할 수 있다. 여기서, 유지보수와 관련된 등급화의 등급 개수나 등급 유형은 앞선 예로만 한정되는 것은 아니고, 다양하게 구현 가능하다.
이러한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 획득 이미지의 열화패턴을 분산형 반점 유형, 격자무늬 유형 및 비정형 유형(비정형화된 불규칙적 모양의 유형)으로 분류할 때, 열화패턴의 유형(형태에 대한 유형)에 대하여 '이미지'와 그 이미지에 대한 '결과 형태(즉, 열화패턴의 유형)'를 쌍으로 학습시키는 딥 러닝 기반의 1차 학습에 기초하여 분류하거나 또는 이미지 인식 프로세싱을 통해 분류할 수 있다.
또한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 획득 이미지의 열화패턴의 유형이 분류된 이후에, 일예로 특정 유형에 속하는 열화패턴에 대한 유지보수의 필요 정도를 복수의 단계로 등급화한 '이미지'와 그 이미지에 대한 '결과 등급'을 쌍으로 학습시키는 딥 러닝 기반의 2차 학습에 기초하여, 획득 이미지 내의 열화패턴에 대응하는 열화 진단 결과로서 유지보수 필요 등급을 도출할 수 있다.
본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 획득 이미지의 열화패턴을 1차적으로 단순화하여 표현한 이후에, 딥러닝(Deep Learning)에 의한 기계학습을 통해 1차적으로 단순화되어 표현된 열화패턴을 근간으로 하여 파생적으로 열화패턴의 확장 인식이 이루어지도록 함으로써, 획득 이미지 내의 열화 패턴에 대한 인식률을 높일 수 있다. 달리 표현하여, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 획득 이미지 내의 열화패턴을 1차적으로 특정화하여 단순화 표현하고, 이후 단순화되어 표현된 열화패턴을 딥러닝에 의한 기계학습을 통해 단계적으로 확장하여 인식함으로써 열화패턴의 인식률을 보다 향상시킬 수 있다.
또한, 진단부(13)는 열화 진단 결과로서 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출할 수 있다. 여기서, 분포면적은 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 산출될 수 있다. 또한, 분포면적은 일예로 이미지 내의 픽셀 단위로 산출될 수 있으며, 또는 레이저나 기준 좌표점을 기준으로 산출될 수 있다. 구체적인 설명은 다음과 같다.
일예로, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 레이저 스캐너를 이용한 조사 대상 구조물의 표면에 대한 레이저 스캐닝을 통해 조사 대상 구조물의 표면에 대한 3차원 위치 정보, 달리 표현하여 공간 좌표 데이터를 획득할 수 있다. 진단부(13)는 레이저 스캐닝을 통해 획득된 공간 좌표 데이터에 기반하여 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출할 수 있다. 한편, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 레이저 스캐닝을 통해 반사강도 데이터를 획득하고, 획득한 반사강도 데이터에 기초하여 획득 이미지 내에 이상 영역의 존재 여부를 판단할 수 있으며, 이에 대한 설명은 후술하여 구체적으로 설명하기로 한다.
다른 일예로, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)에 구비된 거리 측정 레이저를 통해 무인 비행체(5)로부터 조사 대상 구조물의 표면까지의 거리 측정값, 즉 거리 데이터를 획득할 수 있으며, 획득된 거리 데이터에 기반하여 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출할 수 있다.
단순히 무인 비행체(5)를 통해 획득한 획득 이미지로부터 획득 이미지 내의 열화패턴의 분포면적을 산출하는 경우에는, 분포면적이 이미지의 사이즈(크기) 대비 상대적인 값으로만 산출됨에 따라, 실제 조사 대상 구조물의 표면에 형성된 절대적인(또는 실질적인) 열화패턴의 분포면적을 산출하기 어려워 결과적으로 열화패턴의 분포면적값이 왜곡될 수 있으므로, 본원에서는 분포면적 산출시 무인 비행체(5)에 구비된 거리 측정 레이저를 통해 획득한 거리 데이터를 고려함으로써 절대적인(또는 실질적인) 열화패턴의 분포면적을 산출할 수 있다. 이는 도 4를 참조하여 보다 쉽게 이해될 수 있다.
도 4는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 거리 측정 레이저를 통한 열화패턴의 분포면적 산출 예를 설명하기 위한 도면이다.
도 4를 참조하면, 조사 대상 구조물(1)의 표면(2)은 일예로 조사 대상 구조물(1)의 하면일 수 있다. 조사 대상 구조물(1)의 표면(2)에는 일예로 비정형 유형의 열화패턴(3)이 형성되어 있을 수 있다.
무인 비행체(5)는 조사 대상 구조물(1)의 표면(2)과 이격된 상태로 이동될 수 있으며, 이동시 무인 비행체(5)에 구비된 거리 측정 레이저를 통해 무인 비행체(5)로부터 조사 대상 구조물의 표면(2)까지의 거리를 측정할 수 있다. 무인 비행체(5)는 열화패턴(3)의 분포면적을 산출하기 위해 무인 비행체(5)로부터 조사 대상 구조물의 표면(2)까지의 거리 측정시 표면(2)에 대한 수직 거리(L)를 측정할 수 있다. 일예로 도 4에서 무인 비행체(5)의 이동을 기준으로 y축 방향은 전후 방향, x축 방향은 좌우 방향, z축 방향은 상하 방향을 의미할 수 있다. 이때, 무인 비행체(5)로부터 조사 대상 구조물의 표면(2)에 대한 수직 거리(L)는 무인 비행체(5)의 위치를 기준으로 상측 방향의 z축 방향으로 표면(2)까지의 거리를 의미할 수 있다. 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)의 거리 측정 레이저를 통해 측정된 거리 데이터를 무선 통신을 통해 무인 비행체(5)로부터 획득할 수 있다.
진단부(13)는 무인 비행체(5)로부터 획득한 구조 대상 조사물의 표면(2)까지의 거리(L) 데이터와 열화패턴(3)을 포함하는 표면(2)에 대한 획득 이미지의 전체 화각 범위(2α)의 절반인 α 각도를 고려한 수학식 "b = L × tanα"에 기초하여, 획득 이미지 내에서 인식된 열화패턴의 실제 분포면적을 산출할 수 있다.
한편, 조사 대상 구조물의 표면에 대한 이미지를 획득하는 무인 비행체(5)는 획득된 이미지 내에 이상 의심 영역이 존재하는 것으로 판단되는 경우, 이상 의심 영역에 대한 상세 이미지를 획득하고, 획득한 상세 이미지를 구조물 표면 열화 진단 장치(10)로 전송할 수 있다. 여기서, 상세 이미지는 이상 의심 영역에 접근하도록 제어된 무인 비행체에 의하여 이상 의심 영역이 확대 촬영된 확대 이미지를 의미할 수 있다. 다만 이에만 한정되는 것은 아니고, 상세 이미지는 무인 비행체가 이상 의심 영역에 접근하지 않고 카메라의 줌인 기능에 의하여 이상 의심 영역이 확대 촬영된 확대 이미지를 의미할 수 있다.
이에 따르면, 획득부(11)를 통해 획득된 획득 이미지는 조사 대상 구조물의 표면에 대하여 확대가 이루어지지 않은 이미지일 수 있고, 또는 조사 대상 구조물의 표면에 대하여 확대가 이루어진 상세 이미지일 수 있다. 또한, 분류부(12)는 표면에 대한 확대가 이루어지지 않은 이미지를 열화패턴의 유형에 따라 분류할 수 있고, 또는 표면에 대한 확대가 이루어진 상세 이미지를 열화패턴의 유형에 따라 분류할 수 있다. 이때, 분류부(12)에 의하여 열화패턴의 유형에 따라 분류되는 상세 이미지는 전처리된 이미지일 수 있다. 전처리에 대한 자세한 설명은 앞서 설명했으므로, 이하 생략하기로 한다.
일예로, 무인 비행체(5)를 통해 획득된 이미지 내에 이상 의심 영역이 존재하는지 여부의 판단은 이미지 인식 프로세싱(이미지 인식 알고리즘)을 통해 자동으로 식별될 수 있다. 즉, 구조물 표면 열화 진단 장치(10)는 이미지 인식 프로세싱을 통해 획득 이미지 내에 이상 의심 영역이 존재하는지 여부를 판단할 수 있다. 여기서, 이상 의심 영역이 존재하는 것으로 판단되는 경우, 구조물 표면 열화 진단 장치(10)는 이상 의심 영역에 대한 상세 이미지를 획득하기 위한 제어 명령을 생성할 수 있으며, 무인 비행체(5)는 이미지 인식 프로세싱을 통한 구조물 표면 열화 진단 장치(10)의 자체 판단에 의하여 생성된 제어 명령에 기초하여 이상 의심 영역에 대한 상세 이미지를 획득하도록 제어될 수 있다. 이때, 무인 비행체(5)의 제어는 앞서 말한 바와 같이 무인 비행체(5)가 이상 의심 영역에 접근하도록 제어되는 것 또는 카메라의 줌인 기능으로 이상 의심 영역을 확대 촬영하도록 제어되는 것을 의미할 수 있다.
다른 일예로, 무인 비행체(5)를 통해 획득된 이미지 내에 이상 의심 영역이 존재하는지 여부의 판단은, 사용자가 무인 비행체(5)로부터 획득된 이미지를 구조물 표면 열화 진단 장치(10)를 통해 모니터링하던 중 모니터링중인 이미지 내에 이상 의심 영역인 존재하는 것으로 판단되어 해당 의심 영역을 클릭 또는 터치(즉, 구조물 표면 열화 진단 장치의 화면을 마우스 등을 이용하여 클릭하거나 화면을 터치)하는 입력을 수행함으로써 이루어질 수 있다.
구체적으로, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)로부터 획득된 이미지를 실시간으로 디스플레이하는 디스플레이부(미도시)를 포함할 수 있으며, 디스플레이부를 통해 디스플레이되는 이미지는 사용자가 모니터링할 수 있다. 디스플레이되는 이미지를 모니터링하던 중 이미지 내에 열화 영역으로 의심되는 이상 의심 영역이 존재하는 것으로 판단되는 경우, 사용자는 디스플레이되는 이미지 상에서 이상 의심 영역을 터치하거나 클릭하는 등의 입력을 수행할 수 있다. 이후, 이상 의심 영역에 대한 터치, 클릭 등의 입력이 이루어진 경우, 디스플레이부는 사용자 입력이 이루어진 영역에 대한 상세 이미지 획득을 위한 제어 명령을 생성할 수 있으며, 무인 비행체(5)는 사용자 입력에 기반하여 생성된 제어 명령에 기초하여 이상 의심 영역에 대한 상세 이미지를 획득하도록 제어될 수 있다. 이때, 무인 비행체(5)의 제어는 앞서 말한 바와 같이 무인 비행체(5)가 이상 의심 영역에 접근하도록 제어되는 것 또는 카메라의 줌인 기능으로 이상 의심 영역을 확대 촬영하도록 제어되는 것을 의미할 수 있다.
한편, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 반사강도 분석부(미도시)를 포함할 수 있다. 반사강도 분석부(미도시)는 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석할 수 있다. 이는 도 5a를 참조하여 보다 쉽게 이해될 수 있다.
도 5a는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 반사강도를 획득하여 분석하는 과정에 대한 흐름을 개략적으로 나타낸 도면이다.
도 5a를 참조하면, 단계S11에서는 레이저 스캐너를 이용한 조사 대상 구조물의 표면에 대한 레이저 스캐닝을 통해 조사 대상 구조물의 표면의 반사강도(Intensity)를 획득할 수 있다. 단계S11에서 구조물 표면 열화 진단 장치(10)는 획득부(11)에서 이미지를 획득하기 이전에, 반사강도 분석부(미도시)를 통해 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석할 수 있다.
반사강도 분석부(미도시)는 레이저 스캐닝에 의하여 획득된 반사 강도를 분석할 수 있다. 구체적으로, 단계S12에서 반사강도 분석부(미도시)는 열화가 미발생한 표면에 대한 기준강도와 대비하여 획득 이미지 내의 표면에 대한 반사강도가 허용치를 벗어나는지 여부를 분석할 수 있다. 단계S13에서는 열화가 미발생한 표면에 대한 기준강도와 대비하여 획득 이미지 내의 표면에 대한 반사강도가 허용치를 벗어나면, 분석 결과에 따라 획득부(11)를 통해 이미지를 획득하도록 할 수 있다. 달리 말해, 단계S13에서 반사강도 분석부(미도시)는 획득 이미지 내의 표면에 대한 반사강도가 기준강도 대비 허용치를 벗어나는 것으로 판단되는 경우 획득 이미지 내에 열화 영역이 존재하는 것으로 판단하여, 무인 비행체(5)가 획득 이미지에 대한 상세 이미지를 획득하도록 하는 제어 명령을 생성하여 무인 비행체(5)로 전송할 수 있으며, 제어 명령에 응답하여 무인 비행체(5)가 제어됨에 따라 획득부(11)는 무인 비행체(5)를 통해 상세 이미지를 획득할 수 있다.
이때, 반사강도 분석부(미도시)는 획득 이미지 내의 표면에 대한 반사강도(즉, 측정 강도)가 " 허용치 ≤ |측정강도-기준강도| "의 조건을 만족하는 경우, 획득 이미지 내에 열화 영역(이상 영역)이 존재하는 것으로 판단할 수 있다.
반사강도 분석부(미도시)는 표면에 대한 반사강도와 열화가 미발생한 표면에 대한 기준강도 간의 차이가 허용치를 벗어나는 정도로 큰 차이가 나타나는 것으로 판단되는 경우, 이를 획득 이미지 내의 표면에 열화 영역, 즉 열화된 표면이 존재하는 것으로 판단할 수 있다. 즉, 반사강도를 이용하여 획득 이미지 내에 열화 영역의 존재 유무를 판단할 수 있다. 이후, 열화 영역이 존재하는 것으로 판단되는 경우, 무인 비행체(5)로부터 열화 영역에 대한 상세 이미지를 획득하고, 획득한 상세 이미지를 열화패턴의 유형에 따라 분류 및 상세 이미지에 대응하는 열화 진단 결과를 도출함으로써, 본원은 상세 이미지 내에 포함된 열화의 유형을 식별할 수 있고, 거리 측정 레이저 등을 이용하여 열화된 영역의 분포면적을 산출할 수 있으며, 조사 대상 구조물의 잔존 수명과 유지보수 관련 열화 진단 결과를 도출할 수 있다.
상술한 설명에서, 단계 S11 내지 S13은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)를 통해 레이저 스캔과 이미지 획득이 병행으로 이루어지도록 무인 비행체(5)를 제어할 수 있다. 더불어, 구조물 표면 열화 진단 장치(10)는 거리 측정 레이저를 통한 거리 측정 또한 레이저 스캔 및 이미지 획득과 병행으로 이루어지도록 무인 비행체(5)를 제어할 수 있다.
일예로, 구조물 표면 열화 진단 장치(10)는 레이저 스캔을 통해 1차적으로 획득한 반사강도에 기반하여 이상 영역에 대한 상세 이미지를 획득할지에 대한 여부를 결정할 수 있다. 또한, 구조물 표면 열화 진단 장치(10)는 레이저 스캔을 통해 획득한 3차원 위치 정보를 이용하여 무인 비행체(5)의 이동경로(비행경로)를 설정할 수 있으며, 이상 영역이 존재하는 경우, 이상 영역에 대한 상세 이미지가 획득될 수 있도록 무인 비행체(5)의 이동을 제어할 수 있다.
구조물 표면 열화 진단 장치(10)는 무인 비행체가 조사 대상 구조물의 표면에 대하여 일정 거리를 두고 이동함에 따라 표면에 대한 이미지를 획득할 수 있으며, 획득 이미지 내에 이상 영역 내지 이상 의심 영역 감지시 이상 영역 내지 이상 의심 영역을 근접 촬영하도록 무인 비행체가 제어될 수 있다. 근접 촬영에 의하여 무인 비행체로부터 획득한 상세 이미지에 기초하여 구조물 표면 열화 진단 장치(10)는 표면에 형성된 열화 영역의 분포면적을 산출할 수 있으며, 열화 색상 정도, 열화 분포 형상에 따른 열화 상태 수준을 진단 및 평가할 수 있다.
도 5b는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어에 따른 동작 예를 설명하기 위한 도면이다.
도 5b를 참조하면, 단계S21에서는 무인 비행체에 구비된 카메라(고성능 카메라)를 이용하여 조사 대상 구조물의 표면(조사대상 강도장면)에 대한 이미지를 획득할 수 있다. 단계S22에서는 획득한 이미지 내에 이상 영역이 존재하는 것으로 판단되는 경우, 무인 비행체가 이상 영역이 감지된 부분(이상감지부)을 상세 촬영하도록 제어될 수 있다. 단계S23에서는 이상 영역에 대응하는 열화 부위(열화로 인한 손상 부위, 열화 영역)의 분포면적을 계산할 수 있다. 이때, 단계S23에서는 레이저 스캐너를 통한 레이저 스캔(S24)에 의하여 획득된 3차원 위치정보(공간정보)(S25)를 이용하여 분포면적을 계산할 수 있다. 또는, 단계S23에서는 무인 비행체에 구비된 거리 측정 레이저를 통해 획득된 거리 데이터를 이용하여 분포면적을 계산할 수 있다.
한편, 레이저 스캐너를 통한 레이저 스캔(스캐닝)을 통해, 무인 비행체는 3차원 위치정보(공간정부) 및 조사 대상 구조물의 표면에 대한 반사강도(S26)를 획득할 수 있다. 이때, 반사강도 분석부(미도시)는 획득된 반사강도와 열화가 미발생한 표면에 대한 기준강도 간의 차이가 허용치를 벗어나는 경우(S27-Y), 허용치가 벗어나는 해당 영역에 열화 영역(열화에 의해 손상된 손상부)이 존재하는 것으로 탐지(S28)할 수 있다. 이후, 무인 비행체를 통해 열화 영역에 대응하는 부분(손상부, 이상감지부)에 대한 상세 촬영(S22)을 수행함으로써, 열화 영역에 대응하는 상세 이미지를 획득할 수 있다. 한편, 획득된 반사강도와 열화가 미발생한 표면에 대한 기준강도 간의 차이가 허용치를 벗어나지 않는 경우(S27-N), 무인 비행체는 조사 대상 구조물에서 반사강도를 획득한 표면의 다음에 위치한 표면에 대한 이미지를 획득하도록 이동이 제어될 수 있다.
도 6a는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어 경로의 예를 설명하기 위한 도면이다.
도 6을 참조하면, 무인 비행체(5)의 이동을 기준으로 y축 방향은 전후 방향, x축 방향은 좌우 방향, z축 방향은 상하 방향을 의미할 수 있다. 또한, y축 방향은 조사 대상 구조물의 길이 방향에 대응하는 방향을 의미할 수 있다.
일예로 조사 대상 구조물(1)의 하면에 대응하는 표면(2)에 대한 이미지 획득시에는 무인 비행체(5)가 제1 경로(r1)와 같이 이동되도록 제어될 수 있다. 이때 제1 경로(r1)는 무인 비행체(5)가 전 방향(즉, y축 방향)으로 이동하되 좌우 방향(즉, x축 방향)에 대하여 지그재그로 이동하는 경로를 의미할 수 있다.
또한, 일예로 조사 대상 구조물(1)의 측면에 대응하는 표면(2a)에 대한 이미지 획득시에는 무인 비행체(5)가 제2 경로(r2)와 같이 이동되도록 제어될 수 있다. 이때, 제2 경로(r2)는 무인 비행체(5)가 측면의 표면(2a)의 길이방향을 따라 전 방향(즉, y 축 방향)으로 선형 이동하는 경로를 의미할 수 있다.
도 6b 및 도 6c는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체의 제어 경로의 다른 예를 설명하기 위한 도면이다.
도 6b를 참조하면, 일예로 무인 비행체(5)는 조사 대상 구조물(1)의 제1 측면(예를 들어, 우측면)에서 하면을 경유하여 제2 측면(예를 들어, 좌측면)으로 이동되도록 제어될 수 있다. 획득부(11)는 조사 대상 구조물(1)의 제1 측면(예를 들어, 우측면)에 대응하는 표면에 대한 이미지, 조사 대상 구조물(1)의 하면에 대응하는 표면에 대한 이미지 및 조사 대상 구조물(1)의 제2 측면(예를 들어, 좌측면)에 대응하는 표면에 대한 이미지를 획득할 수 있다.
도 6c를 참조하면, 구조물 표면 열화 진단 장치(10)는 무인 비행체(5)를 통한 조사 대상 구조물(1)의 표면에 대한 이미지 획득시 조사 대상 구조물(1)인 교량의 교대, 교각부를 기준좌표점(A, B, C, D, …)으로 설정할 수 있다. 무인 비행체(5)는 설정된 기준좌표점을 따라 조사 대상 구조물(1)의 측면과 하면을 촬영할 수 있으며, 획득부(11)는 이를 통해 무인 비행체(5)로부터 조사 대상 구조물(1)의 측면과 하면에 대한 이미지를 획득할 수 있다. 일예로, 하면에 대한 이미지는 무인 비행체가 지그재그로 이동함에 따라 획득될 수 있다. 또한, 일예로 제1 측면에 대한 이미지는 무인 비행체(5)를 기준좌표점 A에서 기준좌표점 D까지 선형으로 이동시킴에 따라 획득될 수 있다. 또한, 일예로 제2 측면에 대한 이미지는 무인 비행체(5)를 기준좌표점 B에서 기준좌표점 C까지 선형으로 이동시킴에 따라 획득될 수 있다.
또한, 일예로 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 무인 비행체를 통해 획득한 이미지를 3차원으로 시각화할 수 있다.
도 6d는 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치에서 무인 비행체를 통해 획득한 이미지를 3차원으로 시각화하여 표현한 예를 나타낸 도면이다.
도 6d를 참조하면, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 일예로 도 6a 내지 도 6c와 같이 무인 비행체를 제어함에 따라 획득된 이미지를 기준좌표점을 기준으로 도 6d와 같이 3차원으로 투영하여 시각화할 수 있다. 조사 대상 구조물이 교량인 경우, 시각화된 모델은 교량의 경간별로 구성될 수 있으며, 교량 전체로 모델링될 수 있다. 이를 통해 사용자는 조사 대상 구조물의 표면인 도장면에서 열화패턴에 대응하는 열화영역(열화 부위)의 위치, 열화영역의 분포도 등을 직관적으로 손쉽게 확인(파악)할 수 있다. 또한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 기준좌표점을 이용하여 조사 대상 구조물의 표면인 도장의 열화 위치 및 분포면적 등을 산출할 수 있다.
한편, 획득부(11)를 통해 이미지를 획득하기 이전에, 본원의 일 실시예에 따른 구조물 표면 열화 진단 장치(10)는 열화 관련 센싱값 분석부(미도시)를 통해, 무인 비행체가 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서와의 통신 가능 영역 내에 진입한 경우, 무인 비행체를 통해 열화 측정 센서로부터 측정된 열화 관련 센싱값을 획득하고 획득된 열화 관련 센싱값을 분석할 수 있다.
여기서, 열화 관련 센싱값은 조사 대상 구조물의 표면의 열화를 측정한 표면 열화 센싱값 및 대기 중의 열화 유발 환경인자를 측정한 열화 유발 환경인자 센싱값을 포함할 수 있다.
열화 관련 센싱값 분석부(미도시)는 획득된 열화 관련 센싱값이 기준치를 벗어나면 획득부(11)를 통해 이미지를 획득하도록 할 수 있다. 즉, 열화 관련 센싱값 분석부(미도시)는 획득된 열화 관련 센싱값이 기준치를 벗어나면 획득된 열화 관련 센싱값을 전송한 열화 측정 센서가 포함된 표면에 대한 상세 이미지가 획득되도록 무인 비행체를 제어하는 제어 명령을 생성하고, 생성된 제어 명령을 무인 비행체로 전송할 수 있다. 제어 명령에 응답하여 획득부(11)는 무인 비행체를 통해 기준치를 벗어나는 열화 관련 센싱값을 전송한 열화 측정 센서가 포함된 표면에 대한 상세 이미지를 획득할 수 있다.
여기서, 기준치는 열화 측정 센서로부터 이전에 획득한 열화 관련 센싱값 대비 금번 획득된 열화 관련 센싱값의 차이에 대하여 열화 여부 판단을 위해 미리 설정된 기준 범위를 의미할 수 있다. 일예로, 열화 관련 센싱값 분석부는 열화 측정 센서로부터 이전에 획득한 열화 관련 센싱값 대비 금번 획득된 열화 관련 센싱값의 차이가 미리 설정된 기준 범위 이상인 경우, 해당 열화 측정 센서가 위치한 표면이 심하게 열화된 것으로 판단할 수 있으며, 판단 결과에 기반하여 해당 열화 측정 센서가 위치한 표면에 대한 상세 이미지가 획득되도록 무인 비행체가 제어될 수 있다.
또한, 기준치는 열화 측정 센서로부터 획득된 금번 열화 관련 센싱값에 대하여 열화 여부 판단을 위해 미리 설정된 기준값을 의미할 수 있다. 일예로, 열화 관련 센싱값 분석부는 열화 측정 센서로부터 금번 획득된 열화 관련 센싱값이 미리 설정된 기준값 이상인 경우, 해당 열화 측정 센서가 위치한 표면이 심하게 열화된 것으로 판단할 수 있으며, 판단 결과에 기반하여 해당 열화 측정 센서가 위치한 표면에 대한 상세 이미지가 획득되도록 무인 비행체가 제어될 수 있다.
구체적인 예로, 무인 비행체는 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서와 연동될 수 있다. 여기서, 열화 측정 센서는 표면의 열화를 측정하는 표면 열화 측정 센서 및 대기중 표면의 열화를 유발하는 환경인자를 측정하는 열화 유발 환경인자 측정 센서를 포함할 수 있다.
일예로 열화 측정 센서와 무인 비행체가 연동되지 않을 경우에는 구조물 표면 열화 진단 장치(10)가 열화 측정 센서를 통해 측정된 열화 관련 센싱값을 서버 등을 통하여 전달받을 수 있음에 따라, 서버 등의 이상 발생시 열화 관련 센싱값을 전달받을 수 없는 문제가 있다. 이에 반해, 본원은 무인 비행체가 표면에 구비(부착)된 열화 측정 센서의 열화 관련 센싱값을 예를 들어 지그비 통신, 와이파이, RFID, 블루투스 등의 무선 통신을 통해 열화 측정 센서로부터 전달받을 수 있음에 따라 서버 등의 이상 발생과 관계없이 열화 관련 센싱값을 용이하게 획득할 수 있다. 무인 비행체는 열화 측정 센서로부터 획득된 열화 관련 센싱값을 자체 메모리에 저장할 수 있으며, 또는 자체 메모리에 저장하지 않고 열화 관련 센싱값의 획득 즉시 구조물 표면 열화 진단 장치(10)로 전달할 수 있다.
열화 측정 센서와 무인 비행체 간에는 무선 통신으로서 경제성과 효율성을 고려하여 일예로 지그비 통신이 이용될 수 있으며, 이에만 한정되는 것은 아니고, 앞서 말한 바와 같이, 와이파이, RFID, 블루투스 등의 무선 통신이 이용될 수 있다.
한편, 열화 측정 센서는 자체 구비된 배터리를 통해 전원이 공급될 수 있다. 또한, 열화 측정 센서는 전력소모를 최소화하기 위해, 상기 열화 관련 센싱을 수행하지 않고, 일예로 미리 설정된 시간 간격으로 열화 관련 센싱을 수행할 수 있다. 또한, 열화 측정 센서는 센싱된 열화 관련 센싱값을 자체 메모리에 저장해둘 수 있으며, 메모리에 저장된 열화 관련 센싱값을 무인 비행체가 열화 측정 센서에 인접했을 때, 특히 열화 측정 센서와 무인 비행체 간의 무선 통신 가능 영역 내에 진입했을 때 무인 비행체로 전송할 수 있다.
또한, 열화 측정 센서로부터 획득한 열화 관련 센싱값이 기준치를 벗어나지 않는 경우, 예를 들어 금번 획득된 열화 관련 센싱값이 이전에 획득된 열화 관련 센싱값 대비 급격한 변화(상승 또는 하락)가 발생하지 않거나 건전한 정상 상태의 표면(달리 말해, 열화가 이루어지지 않은 표면)에서 측정된 열화 관련 센싱값과 대비하여 금번 획득된 열화 관련 센싱값이 미리 설정된 기준 이상으로 차이가 나지 않는 경우에는, 무인 비행체가 해당 열화 측정 센서가 위치한 표면에 대한 상세 이미지를 획득하지 않고 현재 이동하고 있는 경로를 따라 이동하면서 표면에 대한 이미지를 획득하도록 제어될 수 있다. 이를 통해, 본원은 조사 대상 구조물의 전체에 대한 열화 진단을 위한 모니터링 시간을 최소화할 수 있다.
또한, 본원은 열화 측정 센서로부터 획득한 열화 관련 센싱값과 그에 대응하여 무인 비행체를 통해 획득한 이미지를 빅데이터화하고, 이로부터 열화 관련 센싱값과 이미지 내의 열화 상태 간의 상관 관계를 도출할 수 있다. 이러한 경우 본원은 도출된 상관 관계에 기반하여 획득 이미지 내에 포함된 열화 영역의 현 상태를 정량화하고, 획득 이미지에 대응하는 조사 대상 구조물의 잔존 수명을 예측할 수 있다.
또한, 본원에 적용되는 열화 측정 센서는 일예로 용량성 웨이크-업(Capacitive Wake-Up) 기능을 구비할 수 있다. 용량성 웨이크-업 기능을 통해 열화 측정 센서는 배터리를 절감할 수 있도록 슬립 모드에서 5μA 미만으로 전력을 소모할 수 있다. 또한, 열화 측정 센서는 저전력 모드로 작동하면서 무인 비행체의 접근 여부를 인식할 수 있다.
또한, 일예로 무인 비행체를 통해 획득한 이미지는 사용자 단말로 제공될 수 있다. 사용자 단말은 일예로, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 데스크탑 PC 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 구조물 표면 열화 진단 방법에 대한 동작 흐름도이다.
도 7에 도시된 구조물 표면 열화 진단 방법은 앞서 설명된 구조물 표면 열화 진단 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 구조물 표면 열화 진단 장치(10)에 대하여 설명된 내용은 구조물 표면 열화 진단 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계S31에서는 무인 비행체를 이용하여 조사 대상 구조물의 표면에 대한 이미지를 획득할 수 있다.
다음으로, 단계S32에서는 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류할 수 있다.
여기서, 열화패턴의 유형은, 단계S33에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분될 수 있다.
또한, 단계S32에서 획득 이미지는 딥 러닝 기반 학습에 있어서 상기 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지일 수 있다. 여기서, 전처리는, 조사 대상 구조물의 표면 중 열화패턴에 해당하는 표면 및 열화패턴에 미해당하는 표면 중 적어도 하나를, 기설정된 색상, 기설정된 명도, 기설정된 채도, 기설정된 레벨값, 기설정된 대비값 및 기설정된 색상 균형값 중 적어도 하나에 대하여 동일한 범주 내에 속하도록 표준화하는 이미지 처리일 수 있다.
또한, 단계S32에서 열화패턴의 유형에 따른 분류는, 복수의 유형별 학습 이미지를 입력값으로 하고 상기 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여 이루어질 수 있다.
다음으로, 단계S33에서는 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 획득 이미지에 대응하는 열화 진단 결과를 도출할 수 있다.
또한, 단계S33에서 열화 진단 결과는 조사 대상 구조물의 잔존 수명 또는 상기 조사 대상 구조물의 유지보수와 관련하여 둘 이상의 결과로 분류될 수 있다.
또한, 단계S33에서는 상기 열화 진단 결과로서 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출할 수 있다. 여기서, 분포면적은 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 산출될 수 있다.
한편, 단계S31에서 무인 비행체는 획득된 상기 이미지 내에 이상 의심 영역이 존재하는 것으로 판단되는 경우, 이상 의심 영역에 대한 상세 이미지를 획득할 수 있다.
또한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 방법은, 단계S21이전에, 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석하는 단계를 더 포함할 수 있다. 반사강도를 획득하고 분석하는 단계는, 열화가 미발생한 표면에 대한 기준강도와 대비하여 상기 반사강도가 허용치를 벗어나면 단계S21을 진행하도록 할 수 있다.
또한, 본원의 일 실시예에 따른 구조물 표면 열화 진단 방법은, 단계S21이전에, 무인 비행체가 조사 대상 구조물(예를 들면, 조사 대상 구조물의 표면)에 구비된 열화 측정 센서와의 통신 가능 영역 내에 진입한 경우, 무인 비행체를 통해 열화 측정 센서로부터 측정된 열화 관련 센싱값을 획득하고 분석하는 단계를 더 포함할 수 있다. 열화 관련 센싱값을 획득하고 분석하는 단계는, 열화 관련 센싱값이 기준치를 벗어나면 단계S31을 진행하도록 할 수 있다.
여기서 열화 관련 센싱값은 조사 대상 구조물의 표면의 열화를 측정한 표면 열화 센싱값 및 대기 중의 열화 유발 환경인자 센싱값을 포함할 수 있다.
상술한 설명에서, 단계 S31 내지 S33은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 구조물 표면 열화 진단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 구조물 표면 열화 진단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 구조물 표면 열화 진단 장치
11: 획득부
12: 분류부
13: 진단부
5: 무인 비행체

Claims (12)

  1. 구조물 표면 열화 진단 방법에 있어서,
    (a) 무인 비행체를 이용하여 조사 대상 구조물에서 반사강도가 허용치를 벗어나는 해당 영역의 표면에 대한 이미지를 획득하는 단계;
    (b) 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 단계; 및
    (c) 분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 단계를 포함하되,
    상기 (a) 단계 이전에, 상기 조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석하는 단계를 더 포함하고,
    상기 반사강도를 획득하고 분석하는 단계는, 열화가 미발생한 표면에 대한 기준강도와 대비하여 상기 반사강도가 허용치를 벗어나면 허용치를 벗어나는 해당 영역에 열화 영역이 존재하는 것으로 판단하여 상기 (a) 단계를 진행하도록 하며,
    상기 (b) 단계에서 상기 열화패턴의 유형은, 상기 (c) 단계에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분되되, 획득 이미지와 획득 이미지에 대한 결과 형태인 열화패턴의 유형을 쌍으로 학습시키는 딥 러닝 기반의 1차 학습에 기초하여 구분되고,
    상기 (b) 단계에서, 상기 획득 이미지는 딥 러닝 기반 학습에 있어서 상기 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지이며,
    상기 전처리는, 상기 조사 대상 구조물의 표면 중에서 상기 열화패턴에 해당하는 표면 또는 상기 열화패턴에 미해당하는 표면을 동일한 범주 내에 속하도록 표준화하는 이미지 처리인 것인, 구조물 표면 열화 진단 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (c) 단계에서, 열화 진단 결과는 상기 조사 대상 구조물의 잔존 수명 또는 상기 조사 대상 구조물의 유지보수와 관련하여 둘 이상의 결과로 분류되는 것인, 구조물 표면 열화 진단 방법.
  4. 제3항에 있어서,
    상기 (c) 단계는, 상기 열화 진단 결과로서 상기 획득 이미지 내에서 인식된 열화패턴의 분포면적을 산출하고,
    상기 분포면적은 상기 조사 대상 구조물의 표면에 대한 레이저 스캐닝 결과 또는 상기 조사 대상 구조물의 표면에 대한 거리측정 레이저 조사 결과에 기반하여 산출되는 것인, 구조물 표면 열화 진단 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 (b) 단계에서, 상기 열화패턴의 유형에 따른 분류는, 복수의 유형별 학습 이미지를 입력값으로 하고 상기 복수의 유형별 학습 이미지 각각과 매칭되는 열화패턴의 유형을 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여 이루어지는 것인, 구조물 표면 열화 진단 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 구조물 표면 열화 진단 장치에 있어서,
    조사 대상 구조물의 표면에 대해 레이저 스캐닝으로 반사강도를 획득하고 분석하는 반사강도 분석부;
    무인 비행체를 이용하여 상기 조사 대상 구조물에서 상기 반사강도가 허용치를 벗어나는 해당 영역의 표면에 대한 이미지를 획득하는 획득부;
    상기 조사 대상 구조물의 표면에 대한 획득 이미지를 열화패턴의 유형에 따라 분류하는 분류부; 및
    분류된 열화패턴의 유형에 속하는 복수의 유형 내 학습 이미지를 입력값으로 하고 상기 복수의 유형 내 학습 이미지 각각과 매칭되는 열화 진단 결과를 출력값으로 한 딥 러닝 기반 기학습 사항에 기초하여, 분류된 상기 획득 이미지에 대응하는 열화 진단 결과를 도출하는 진단부를 포함하되,
    상기 반사강도 분석부는, 열화가 미발생한 표면에 대한 기준강도와 대비하여 상기 반사강도가 허용치를 벗어나면 허용치를 벗어나는 해당 영역에 열화 영역이 존재하는 것으로 판단하여 상기 무인 비행체를 통해 이미지가 획득되도록 하며,
    상기 열화패턴의 유형은, 상기 진단부에서 열화패턴의 유형 구분없이 열화 진단 결과를 도출하는 것과 대비하여 판단 오류 발생 확률이 저감되도록, 분산형 반점 유형, 격자 무늬 유형 및 비정형 유형을 포함하도록 구분되되, 획득 이미지와 획득 이미지에 대한 결과 형태인 열화패턴의 유형을 쌍으로 학습시키는 딥 러닝 기반의 1차 학습에 기초하여 구분되고,
    상기 획득 이미지는 딥 러닝 기반 학습에 있어서 상기 입력값의 기설정된 이미지 상태에 대응하도록 전처리된 이미지이며,
    상기 전처리는, 상기 조사 대상 구조물의 표면 중에서 상기 열화패턴에 해당하는 표면 또는 상기 열화패턴에 미해당하는 표면을 동일한 범주 내에 속하도록 표준화하는 이미지 처리인 것인, 구조물 표면 열화 진단 장치.
  12. 제1항, 제3항, 제4항 및 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020170107060A 2017-08-24 2017-08-24 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 KR101993881B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170107060A KR101993881B1 (ko) 2017-08-24 2017-08-24 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107060A KR101993881B1 (ko) 2017-08-24 2017-08-24 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190021809A KR20190021809A (ko) 2019-03-06
KR101993881B1 true KR101993881B1 (ko) 2019-06-27

Family

ID=65761473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107060A KR101993881B1 (ko) 2017-08-24 2017-08-24 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101993881B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142432B1 (ko) * 2020-06-09 2020-08-07 안광석 폐골재 처리 장치 및 방법
KR102374706B1 (ko) * 2020-12-18 2022-03-15 한국해양과학기술원 인공지능 기반의 적재 컨테이너 잔존 사용기간 추정 시스템 및 방법
KR102626346B1 (ko) * 2023-09-04 2024-01-17 주식회사 올니스 공작 기계의 공구 마모 및 파손 상태 여부를 감지하는 방법 및 장치
KR102712607B1 (ko) * 2021-11-29 2024-10-04 신성종합건축사사무소(주) 이미지 촬영 기반 건축물 관리 시스템 및 이의 실행 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130564B1 (ko) * 2019-06-26 2020-07-06 한화시스템 주식회사 피아 식별 및 전술 정보 교환 방법 및 장치
KR102254773B1 (ko) * 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
KR102575082B1 (ko) * 2022-11-07 2023-09-06 (주)한맥기술 프리팹 구조물 손상 분석 방법 및 장치
KR102577483B1 (ko) * 2022-11-23 2023-09-13 주식회사 에프엠웍스 드론영상을 통한 건축물 외피 열화 손상에 대한 검사관리 시스템과 그에 따른 영상데이터 관리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225889A (ja) 2011-04-22 2012-11-15 Taiheiyo Consultant:Kk コンクリート構造物の劣化診断用画像表示システム
JP2015034428A (ja) * 2013-08-09 2015-02-19 一般財団法人土木研究センター 橋梁の損傷状態調査システム、橋梁の損傷状態調査方法および空中移動機器
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225889A (ja) 2011-04-22 2012-11-15 Taiheiyo Consultant:Kk コンクリート構造物の劣化診断用画像表示システム
JP2015034428A (ja) * 2013-08-09 2015-02-19 一般財団法人土木研究センター 橋梁の損傷状態調査システム、橋梁の損傷状態調査方法および空中移動機器
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142432B1 (ko) * 2020-06-09 2020-08-07 안광석 폐골재 처리 장치 및 방법
KR102374706B1 (ko) * 2020-12-18 2022-03-15 한국해양과학기술원 인공지능 기반의 적재 컨테이너 잔존 사용기간 추정 시스템 및 방법
KR102712607B1 (ko) * 2021-11-29 2024-10-04 신성종합건축사사무소(주) 이미지 촬영 기반 건축물 관리 시스템 및 이의 실행 방법
KR102626346B1 (ko) * 2023-09-04 2024-01-17 주식회사 올니스 공작 기계의 공구 마모 및 파손 상태 여부를 감지하는 방법 및 장치

Also Published As

Publication number Publication date
KR20190021809A (ko) 2019-03-06

Similar Documents

Publication Publication Date Title
KR101993881B1 (ko) 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치
US9075026B2 (en) Defect inspection device and defect inspection method
CN112534470B (zh) 用于基于图像的目标对象检验的系统及方法
US9595091B2 (en) Defect classification using topographical attributes
US9858658B2 (en) Defect classification using CAD-based context attributes
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
JP6476861B2 (ja) 電磁界特徴分類提示装置
KR20170024024A (ko) 결함 정량화 방법, 결함 정량화 장치 및 결함 평가값 표시 장치
US11928813B2 (en) Method and system for detecting change to structure by using drone
Asjodi et al. Arc Length method for extracting crack pattern characteristics
KR101994412B1 (ko) 무인 비행체와 센서 인터페이스를 이용한 구조물 표면 열화 진단 장치 및 그 방법
Mohammadkhorasani et al. Augmented reality-computer vision combination for automatic fatigue crack detection and localization
CN102081045B (zh) 一种基于激光电视全息技术的结构损伤识别方法
CN118451449A (zh) 使用机器学习的喷漆缺陷检测的系统和方法
Ye et al. Method for automatic railway track surface defect classification and evaluation using a laser‐based 3D model
AVENDAÑO Identification and quantification of concrete cracks using image analysis and machine learning
CN112083413B (zh) 一种雷达波隐身武器装备维护测试方法
Liu et al. An approach for auto bridge inspection based on climbing robot
CN111698128A (zh) 物联网网络质量检测方法、装置、计算机设备和存储介质
CN108764264A (zh) 烟雾检测方法、烟雾检测系统及计算机装置
Ye et al. Deep learning and laser-based 3-D pixel-level rail surface defect detection method
Lin et al. Accurate measurement of bridge vibration displacement via deep convolutional neural network
TWI832931B (zh) 半導體檢測系統與方法及相關的非暫時性電腦可讀儲存媒體
CN109884078B (zh) 分层晶片检测
O'Byrne et al. Effects of turbidity and lighting on the performance of an image processing based damage detection technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right