KR20200143149A - 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 - Google Patents

드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 Download PDF

Info

Publication number
KR20200143149A
KR20200143149A KR1020190071086A KR20190071086A KR20200143149A KR 20200143149 A KR20200143149 A KR 20200143149A KR 1020190071086 A KR1020190071086 A KR 1020190071086A KR 20190071086 A KR20190071086 A KR 20190071086A KR 20200143149 A KR20200143149 A KR 20200143149A
Authority
KR
South Korea
Prior art keywords
image
drone
artificial intelligence
neural network
crack
Prior art date
Application number
KR1020190071086A
Other languages
English (en)
Other versions
KR102261323B1 (ko
Inventor
이래철
Original Assignee
주식회사 한국건설방재연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국건설방재연구원 filed Critical 주식회사 한국건설방재연구원
Priority to KR1020190071086A priority Critical patent/KR102261323B1/ko
Publication of KR20200143149A publication Critical patent/KR20200143149A/ko
Application granted granted Critical
Publication of KR102261323B1 publication Critical patent/KR102261323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 드론을 이용하여 촬영된 영상을 인공지능 기반으로 분석하여 결함을 검출하고 분석하므로 안전진단의 효율성을 크게 향상시킨 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 제공한다.
본 발명의 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법은 카메라가 설치된 드론을 사용하여 구조물에 대한 영상을 촬영하고, 촬영된 영상을 이진화처리하여 균열후보 픽셀을 검출하고, 독립점 등의 노이즈영역을 제거하고 균열후보 영역을 연결하고, 균열후보 영역을 균열과 비균열로 분류하여 균열을 검출하고, 검출된 균열 영역의 속성을 측정하여 균열의 안전여부를 진단하는 과정을 포함한다.

Description

드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 {Safety Inspection Check Method of Structure through Artificial Intelligence Analysis of Scan Image by Drone}
본 발명은 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 관한 것으로서, 보다 상세하게는 드론을 이용하여 촬영된 영상을 인공지능 기반으로 분석하여 균열, 박리, 박락, 백태 부식 등의 결함을 검출하고 이들 결함의 제원(길이, 폭 및 면적)을 자동 측정하여 분석하므로 인간의 육안 관찰에 의한 접근성 등의 한계를 극복하고 안전진단의 시간 및 경제성 등의 효율성이 향상되는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 관한 것이다.
일반적으로, 교량은 사람이나 차량 등이 통행하는 도로로서 기능하는 상판과, 상기 상판을 지면으로부터 이격된 상태로 지지하는 교각으로 이루어진다.
교량은 사람이나 차량이 지면에서 이격된 상태에서 통행하도록 이루어지므로, 부분적으로 손상이 발생하게 된다. 한편, 교량이 제 기능을 발휘하지 못하여 다른 경로로 교통을 유도하게 되면 엄청난 경제적 손실을 가져오게 되므로, 수시 및 정기적으로 안전진단을 수행하여 점검 및 보수하여야 한다.
최근에는 지가(地價) 상승 등으로 고속도로나 철로 등이 고지대 및 연약지반 등을 통과하면서 교량이 계곡이나 강 등을 높게 가로질러 설치되는 경우가 많아 교각의 높이가 수십미터 내지 일백여미터로 매우 높게 시공되어, 기존의 굴절차와 고소차로 작업자가 육안으로 점검하는 방법이 힘들거나 불가능하게 되었고, 접근이 가능하더라도 육안 조사를 수행하는 작업자들의 안전사고가 빈번히 발행하고 있으며, 안전진단을 위한 조사시간 및 비용이 많이 소요된다.
예를 들면, 대한민국 등록특허공보 제10-0359386호, 제10-1194413호, 제10-0784296호, 제10-1851908호, 제10-0370107호, 공개특허공보 제10-2005-0090795호, 제10-2008-0058988호, 제10-2016-0034013호 등에는 교량의 안전점검을 위한 다양한 장치 및 방법에 대한 기술이 공개되어 있다.
또한, 댐이나 고층건물, 대형 구조물의 경우에도 정기적으로 안전점검을 수행할 필요가 있으며, 법으로 안전점검에 관한 사항이 규정되어 있다.
그런데, 종래 구조물의 안전점검을 위한 장치 및 방법의 경우에는 점검에 소요되는 시간이 오래 걸리고, 작업자가 직접 검사하는 데에는 안전상의 문제와 숙련도에 따른 결과의 편차에 의한 신뢰성의 문제 등이 있어 어렵다는 문제가 있다.
대한민국 등록특허공보 제10-0376100호, 제10-0478676호, 제10-1785410호, 공개특허공보 제10-2003-0083359호 등에는 구조물을 촬영한 영상을 분석하여 안전진단을 행하는 다양한 기술들이 공개되어 있다.
종래 영상을 분석하여 구조물의 안전을 진단하는 기술은 영상 분석의 정확도와 효율성이 일부 부족한 점이 있다.
본 발명은 상기와 같은 점에 조감하여 이루어진 것으로서, 드론을 이용하여 촬영된 영상을 학습기반의 인공지능으로 분석하여 균열, 박리, 박락, 백태, 부식 등의 다양한 결함을 검출하고, 이들 결함의 제원(길이, 폭 및 면적 등)을 자동 측정하여 분석하므로 안전진단의 효율성을 크게 향상시킨 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 제공하는데, 그 목적이 있다.
본 발명의 실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법은 카메라가 설치된 드론을 사용하여 구조물에 대해 높은 중복도로 영상을 촬영하고, 촬영된 영상을 이진화처리하여 균열후보 픽셀을 검출하고, 독립점 등의 노이즈영역을 제거하고 균열후보 영역을 연결하고, 균열후보 영역을 균열과 비균열로 분류하여 균열을 검출하고, 검출된 균열 영역의 속성을 측정하여 균열의 안전여부를 진단하는 과정을 포함하여 이루어진다.
상기에서 촬영된 영상은 중복된 영상들을 영상정합(image stitching 또는 image registration)함으로써 영상의 왜곡을 제거한 후에 이진화처리하도록 구성하는 것도 가능하다.
상기에서 높은 중복도로 촬영된 영상들의 영상정합은 동일한 장면에 대해 얻은 여러 종류의 영상들을 하나의 통일된 좌표계상에서 표현하는 것으로서, 영상의 특징점(feature point 또는 key point)을 검출하고, 이 특징점들을 이용하여 정합을 빠르게 처리하여 얻도록 구성하는 것도 가능하다.
상기에서 촬영된 영상에 대한 이진화처리는 컨볼루셔널 인코더-디코더 네트워크(convolutional encoder-decoder network)를 활용하는 것도 가능하다.
상기 균열과 비균열로 분류하여 균열을 검출하는 과정에서는 신경망(neural network)을 활용하여 분류하는 것도 가능하다.
상기 신경망을 활용하는 과정은 촬영한 영상데이터를 수집하고 균열을 포함한 이미지와 균열을 포함하지 않은 이미지를 분류하는 단계와, 인공신경망의 아키텍처를 선정하는 단계와, 인공신경망의 규모를 결정하고 상세하게 설계하는 단계와, 목표로 하는 정확도가 도달할 때까지 30여가지의 하이퍼 파라메터(hyper parameter)를 변경하면서 인공신경망을 학습하는 단계를 포함하여 이루어진다.
상기에서 목표로 하는 정확도에 도달할 수 없는 경우에는 영상데이터의 수를 증가시키고 영상의 품질을 개선하는 단계를 포함하여 이루어진다.
또, 상기에서 인공신경망의 아키텍처로는 FFNN(feed-forward neural network), CNN(convolutional neural network), RNN(recurrent neural network), RVM(relevance vector machine), SVM(support vector machine), Auto-Encoder, Stylenet, GAN(generative adversarial network), 의사결정트리 등에서 선택하여 사용하는 것이 가능하다.
그리고, 상기에서 인공신경망의 규모를 결정하고 상세하게 설계하는 단계에서는 레이어수, 필터 개수, 필터 사이즈, 노드수, 활성화함수 종류, 학습율, 최적화방법, 학습알고리즘, 과적합방지 등의 30여가지 하이퍼 파라메터(hyper parameter)를 실험적으로 결정하는 것이 가능하다.
상기 균열의 안전여부를 진단하는 과정에서는 신경망을 활용한 회귀분석(regression analysis)을 활용하는 것도 가능하다.
본 발명의 실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 의하면, 드론으로 촬영한 영상을 인공지능 기법을 이용하여 균열을 검출하여 분석하는 것이 가능하므로, 정확한 분석이 가능하며 안전진단의 효율성을 확보하는 것이 가능하다.
또, 본 발명의 실시예에 따른 드론 촬영 영상의 인공지능 분석을 통항 구조물의 안전진단방법에 의하면, 드론을 이용하여 촬영한 영상을 이용하여 구조물의 안전진당을 행하므로, 작업자가 용이하게 접근하기 위한 교량이나 댐, 고층 건물 등에 대한 안전진단도 짧은 시간에 안전하게 수행하는 것이 가능하며, 작업환경의 개선과 위험작업으로부터의 보호 등의 효과도 얻는 것이 가능하다.
도 1은 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 개략적으로 나타내는 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 있어서, 신경망을 활용하는 과정을 개략적으로 나타내는 순서도이다.
도 4는 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하여 촬영된 영상 이미지를 처리하는 과정을 나타내는 이미지이다.
도 5는 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하여 촬영된 영상 이미지와 처리된 영상 이미지를 대조하여 나타내는 이미지이다.
도 6은 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하여 촬영된 영상 이미지와 처리된 영상 이미지의 다양한 결함에 대한 이미지이다.
도 7은 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 있어서, 사용되는 드론의 일예를 나타내는 사시도이다.
도 8은 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 있어서, 드론을 사용하여 교량의 상판 저면과 교각을 촬영하는 상태를 나타내는 사시도이다.
다음으로 본 발명에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다.
본 발명은 여러가지 다양한 형태로 구현하는 것이 가능하며, 이하에서 설명하는 실시예들에 한정되지 않는다.
이하에서는 본 발명을 명확하게 설명하기 위해서 본 발명과 밀접한 관계가 없는 부분은 상세한 설명을 생략하였으며, 발명의 설명 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이고, 반복적인 설명을 생략한다.
먼저, 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법은, 도 1에 나타낸 바와 같이, 영상데이터수집단계(S10)와, 이진화처리단계(S20)와, 노이즈제거단계(S30)와, 균열검출단계(S40)와, 균열진단단계(S50)를 포함하여 이루어진다.
상기 영상데이터수집단계(S10)에서는 카메라가 설치된 드론을 사용하여 구조물에 대한 영상을 촬영하여 영상데이터를 수집한다.
상기에서 카메라가 설치된 드론은, 도 7에 나타낸 바와 같이, 프레임(10)과, 복수의 프로펠러(20)와, 상부짐벌(36)과, 하부짐벌(30)과, 상부 영상카메라(56)와, 상부 적외선카메라(66)와, 하부 영상카메라(50)와, 하부 적외선카메라(60)를 포함하여 이루어진다.
상기 프레임(10)은 전체적인 틀구조를 이루도록 강체로 구성된다.
상기 프레임(10)에는 상기 프로펠러(20)를 설치하기 위한 지지암(16)이 "+" 형상으로 길게 연장되어 설치되는 것도 가능하다.
상기 프로펠러(20)는 하나의 지지암(16)에 하나씩 설치되는 것도 가능하고, 하나의 지지암(16)에 상하로 한쌍씩 설치되는 것도 가능하다.
상기 상부짐벌(36)은 상기 프레임(10)의 중앙부 상면에 설치된다.
상기 상부짐벌(36)은 3축 회전이 가능하게 구성된다.
상기 하부짐벌(30)은 상기 프레임(20)의 중앙부 저면에 설치된다.
상기 하부짐벌(30)은 3축 회전이 가능하게 구성된다.
상기 상부짐벌(36) 및 하부짐벌(30)은 일반적으로 비행장치나 로봇 등에 카메라를 설치하기 위하여 사용되는 다양한 짐벌(gimbal)을 적용하여 실시하는 것이 가능하므로 상세한 설명은 생략한다.
상기 상부 영상카메라(56)는 상기 상부짐벌(36)에 설치된다.
상기 상부 적외선카메라(66)는 상기 상부짐벌(36)에 설치된다.
상기 하부 영상카메라(50)는 상기 하부짐벌(30)에 설치된다.
상기 하부 적외선카메라(60)는 상기 하부짐벌(30)에 설치된다.
상기 상부 영상카메라(56) 및 상부 적외선카메라(66)는, 도 8에 나타낸 바와 같이, 교량의 상판(2)과 같은 구조물의 상부 수평면이나 수직면 등에 대해 촬영하여 영상데이터를 제공한다.
또, 상기 하부 영상카메라(50) 및 하부 적외선카메라(60)는, 도 8에 나타낸 바와 같이, 교각(4)과 같은 수직면이나 하부 수평면 등에 대해 촬영하여 영상데이터를 제공한다.
상기 상부 영상카메라(56), 상부 적외선카메라(66), 하부 영상카메라(50), 하부 적외선카메라(60)는 일반적으로 건축 구조물의 안전점검을 위하여 사용되는 다양한 영상카메라와 적외선카메라를 적용하여 실시하는 것이 가능하므로 상세한 설명은 생략한다.
상기에서는 한번의 운행으로 보다 다양한 측면의 영상데이터를 수집하기 위해서 프레임(10)의 상부와 하부에 각각 영상카메라와 적외선카메라를 설치하는 것으로 구성하였지만, 상부 또는 하부에만 영상카메라와 적외선카메라를 설치하는 것도 가능하고, 영상카메라 또는 적외선카메라만 설치하는 것도 가능하다.
그리고, 도 2에 나타낸 바와 같이, 상기 영상데이터수집단계(S10)에서 촬영된 영상에서 중복된 영상들을 영상정합(image stitching 또는 image registration)함으로써 영상의 왜곡을 제거하는 영상왜곡제거단계(S18)를 더 수행하는 것도 가능하다.
상기에서 높은 중복도로 촬영된 영상들의 영상정합은 동일한 장면에 대해 얻은 여러 종류의 영상들을 하나의 통일된 좌표계상에서 표현하는 것으로서, 영상의 특징점(feature point 또는 key point)을 검출하고, 이 특징점들을 이용하여 정합을 빠르게 처리하여 얻어진다.
상기 이진화처리단계(S20)에서는 상기 영상데이터수집단계(S10)에서 수집된 영상테이터인 촬영된 영상을 이진화처리하여 균열후보 픽셀을 검출한다.
상기에서 영상왜곡단계(S18)를 수행하는 경우에는 상기 이진화처리단계(S20)는 영상의 왜곡을 제거한 영상데이터를 사용하여 수행하도록 구성한다.
상기에서 촬영된 영상에 대한 이진화처리는 컨볼루셔널 인코더-디코더 네트워크(convolutional encoder-decoder network)를 활용하는 것도 가능하다.
상기 노이즈제거단계(S30)에서는 독립점 등의 노이즈영역을 제거하고 균열후보 영역을 연결하는 작업을 수행한다.
상기 균열검출단계(S40)에서는 균열후보 영역을 균열과 비균열로 분류하여 균열을 검출하는 작업을 수행한다.
상기 균열과 비균열로 분류하여 균열을 검출하는 과정에서는 신경망(neural network)을 활용하여 분류하는 것도 가능하다.
그리고, 도 3에 나타낸 바와 같이, 상기 신경망을 활용하는 과정은 이미지분류단계(S42)와, 아키텍처설정단계(S43)와, 인공신경망설계단계(S44)와, 인공신경망학습단계(S45)를 포함한다.
상기 이미지분류단계(S42)에서는 촬영한 영상데이터를 수집하고 균열을 포함한 이미지와 균열을 포함하지 않은 이미지를 분류하는 작업을 수행한다.
상기 아키텍처설정단계(S43)에서는 인공신경망의 아키텍처를 선정하는 작업을 수행한다.
상기에서 인공신경망의 아키텍처로는 FFNN(feed-forward neural network), CNN(convolutional neural network), RNN(recurrent neural network), RVM(relevance vector machine), SVM(support vector machine), Auto-Encoder, Stylenet, GAN(generative adversarial network), 의사결정트리 등에서 선택하여 사용하는 것이 가능하다.
상기 인공신경망설계단계(S44)에서는 인공신경망의 규모를 결정하고 상세하게 설계하는 작업을 수행한다.
예를 들면, 상기 인공신경망설계단계(S44)에서는 레이어수, 필터 개수, 필터 사이즈, 노드수, 활성화함수 종류, 학습율, 최적화방법, 학습알고리즘, 과적합방지 등의 30여가지 하이퍼 파라메터(hyper parameter)를 실험적으로 결정하는 것이 가능하다.
상기 인공신경망학습단계(S45)에서는 목표로 하는 정확도가 도달할 때까지 30여가지의 하이퍼 파라메터(hyper parameter)를 변경하면서 인공신경망을 학습하는 작업을 수행한다.
상기 인공신경망학습단계(S45)를 수행하면서 목표로 하는 정확도에 도달하였지의 여부를 판단하는 단계(S46)에서 목표로 하는 정확도에 도달하였다고 판단하면(S46), 얻어진 데이터를 이용하여 상기 균열검출(S40)를 수행한다.
상기 목표로 하는 정확도에 도달하였는지의 여부를 판단하는 단계(S46)에서 목표로 하는 정확도에 도달할 수 없다고 판단되는 경우에는 영상데이터의 수를 증가시키고 영상의 품질을 개선하는 영상품질개선단계(S47)를 수행하고, 다시 인공신경망학습단계(S45)를 수행하도록 구성하는 것도 가능하다.
상기 균열진단단계(S50)에서는 검출된 균열 영역의 속성을 측정하여 균열의 안전여부를 진단하는 작업을 수행한다.
예를 들면, 상기 균열진단단계(S50)에서는 신경망을 활용한 회귀분석(regression analysis)을 활용하는 것도 가능하다.
도 4에는 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통항 구조물의 안전진단방법을 수행하여 얻어지는 이미지를 각 단계별로 나타낸다.
그리고, 도 5에는 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법에 있어서, 촬영된 영상 이미지와 최종 처리된 영상 이미지를 나타낸다.
도 5에 나타낸 바와 같이, 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하여 벽면이 심하게 오염된 상태의 콘크리트 구조물에 대한 촬영된 영상 이미지를 분석하여 균열을 검출한 결과, 균열의 95% 이상이 검출되는 것이 확인되었다.
따라서, 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하면, 구조물의 안전진단의 정확도를 향상시키는 것이 가능하다.
또, 도 6에는 본 발명의 일실시예에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법을 사용하여 촬영된 영상 이미지를 처리하여 얻어지는 다양한 결함에 대한 영상 이미지를 나타낸다.
예를 들면, 균열, 박리, 박락, 파손, 누수, 백태, 부식, 재료분리, 철근노출, 망상균열 등의 결함에 따라 얻어지는 이미지가 다르므로, 이들 결함의 제원(길이, 폭 및 면적 등)을 분석하면 안전진단을 효율적으로 행하는 것이 가능하다.
상기에서는 본 발명에 따른 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고, 청구범위와 발명의 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고, 이 또한 본 발명의 범위에 속한다.
2 - 상판, 4 - 교각, 10 - 프레임, 16 - 지지암, 20 - 프로펠러
30 - 하부짐벌, 36 - 상부 짐벌, 50 - 하부 영상카메라
56 - 상부 영상카메라, 60 - 하부 적외선카메라, 66 - 상부 적외선카메라

Claims (10)

  1. 카메라가 설치된 드론을 사용하여 구조물에 대한 영상을 촬영하고,
    촬영된 영상을 이진화처리하여 균열후보 픽셀을 검출하고,
    독립점 등의 노이즈영역을 제거하고 균열후보 영역을 연결하고,
    균열후보 영역을 균열과 비균열로 분류하여 균열을 검출하고,
    검출된 균열 영역의 속성을 측정하여 균열의 안전여부를 진단하는 과정을 포함하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  2. 청구항 1에 있어서,
    상기 촬영된 영상은 중복된 영상들을 영상정합함으로써 영상의 왜곡을 제거한 후에 이진화처리하도록 구성하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  3. 청구항 2에 있어서,
    상기 높은 중복도로 촬영된 영상들의 영상정합은 동일한 장면에 대해 얻은 여러 종류의 영상들을 하나의 통일된 좌표계상에서 표현하는 것으로서, 영상의 특징점을 검출하고, 이 특징점들을 이용하여 정합을 빠르게 처리하여 얻도록 구성하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  4. 청구항 1에 있어서,
    상기 촬영된 영상에 대한 이진화처리는 컨볼루셔널 인코더-디코더 네트워크(convolutional encoder-decoder network)를 활용하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  5. 청구항 1에 있어서,
    상기 균열과 비균열로 분류하여 균열을 검출하는 과정에서는 신경망(neural network)을 활용하여 분류하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  6. 청구항 1 내지 청구항 5 중 어느 한항에 있어서,
    상기 신경망을 활용하는 과정은 촬영한 영상데이터를 수집하고 균열을 포함한 이미지와 균열을 포함하지 않은 이미지를 분류하는 단계와, 인공신경망의 아키텍처를 선정하는 단계와, 인공신경망의 규모를 결정하고 상세하게 설계하는 단계와, 목표로 하는 정확도가 도달할 때까지 30여가지의 하이퍼 파라메터(hyper parameter)를 변경하면서 인공신경망을 학습하는 단계를 포함하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  7. 청구항 6에 있어서,
    상기 목표로 하는 정확도에 도달할 수 없는 경우에는 영상데이터의 수를 증가시키고 영상의 품질을 개선하는 단계를 더 포함하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  8. 청구항 6에 있어서,
    상기 인공신경망의 아키텍처로는 FFNN(feed-forward neural network), CNN(convolutional neural network), RNN(recurrent neural network), RVM(relevance vector machine), SVM(support vector machine), Auto-Encoder, Stylenet, GAN(generative adversarial network), 의사결정트리 중에서 선택하여 사용하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  9. 청구항 6에 있어서,
    상기 인공신경망의 규모를 결정하고 상세하게 설계하는 단계에서는 레이어수, 필터 개수, 필터 사이즈, 노드수, 활성화함수 종류, 학습율, 최적화방법, 학습알고리즘, 과적합방지의 하이퍼 파라메터(hyper parameter)를 실험적으로 결정하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
  10. 청구항 6에 있어서,
    상기 균열의 안전여부를 진단하는 과정에서는 신경망을 활용한 회귀분석(regression analysis)을 활용하는 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법.
KR1020190071086A 2019-06-14 2019-06-14 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 KR102261323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190071086A KR102261323B1 (ko) 2019-06-14 2019-06-14 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190071086A KR102261323B1 (ko) 2019-06-14 2019-06-14 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법

Publications (2)

Publication Number Publication Date
KR20200143149A true KR20200143149A (ko) 2020-12-23
KR102261323B1 KR102261323B1 (ko) 2021-06-07

Family

ID=74089339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190071086A KR102261323B1 (ko) 2019-06-14 2019-06-14 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법

Country Status (1)

Country Link
KR (1) KR102261323B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299295B1 (ko) * 2021-04-19 2021-09-07 (주)레인보우테크 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 유지 보수 견적 산출 방법, 장치 및 시스템
KR102299586B1 (ko) * 2021-04-19 2021-09-08 (주)레인보우테크 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 시공법 도출 방법, 장치 및 시스템
KR20220117039A (ko) * 2021-02-16 2022-08-23 충북대학교 산학협력단 딥러닝 기반 교량 구성요소 자동 분류 방법 및 시스템
KR20220125982A (ko) * 2021-03-08 2022-09-15 주식회사 지엔아이티 3ｄ 디지털 트윈 댐 안전 관리 시스템 및 방법
CN118670275A (zh) * 2024-08-22 2024-09-20 洛阳市奥美工程设计有限公司 一种建筑裂缝检测设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102666787B1 (ko) * 2021-11-03 2024-05-17 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
KR102685180B1 (ko) 2023-06-27 2024-07-12 에코빅풋 주식회사 스마트 드론 기반 콘크리트 구조물 안전진단 및 이에 따른 비정상 또는 균열 부위 마킹이 가능하고, 보수현장의 유해가스 감지가 가능한 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132976B1 (ko) * 2010-12-14 2012-04-09 한국과학기술원 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
JP2018074757A (ja) * 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132976B1 (ko) * 2010-12-14 2012-04-09 한국과학기술원 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
JP2018074757A (ja) * 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220117039A (ko) * 2021-02-16 2022-08-23 충북대학교 산학협력단 딥러닝 기반 교량 구성요소 자동 분류 방법 및 시스템
KR20220125982A (ko) * 2021-03-08 2022-09-15 주식회사 지엔아이티 3ｄ 디지털 트윈 댐 안전 관리 시스템 및 방법
KR102299295B1 (ko) * 2021-04-19 2021-09-07 (주)레인보우테크 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 유지 보수 견적 산출 방법, 장치 및 시스템
KR102299586B1 (ko) * 2021-04-19 2021-09-08 (주)레인보우테크 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 시공법 도출 방법, 장치 및 시스템
CN118670275A (zh) * 2024-08-22 2024-09-20 洛阳市奥美工程设计有限公司 一种建筑裂缝检测设备

Also Published As

Publication number Publication date
KR102261323B1 (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
KR102261323B1 (ko) 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법
Lim et al. Developing a crack inspection robot for bridge maintenance
Prasanna et al. Automated crack detection on concrete bridges
Schmugge et al. Detection of cracks in nuclear power plant using spatial-temporal grouping of local patches
KR102105568B1 (ko) 무인비행체를 이용한 구조물 진단방법 및 이를 이용한 구조물 진단시스템
Ersoz et al. Crack identification for rigid pavements using unmanned aerial vehicles
Prasanna et al. Computer-vision based crack detection and analysis
CN105158257B (zh) 滑板测量方法及装置
KR102565689B1 (ko) 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치
Pathak et al. An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data
Dubey et al. Maximally stable extremal region marking-based railway track surface defect sensing
KR20190066789A (ko) 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템
JP6811217B2 (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
Gibb et al. A multi-functional inspection robot for civil infrastructure evaluation and maintenance
KR20190024447A (ko) 실시간 선로 결함 검측 시스템
Tayo et al. Portable crack width calculation of concrete road pavement using machine vision
Crognale et al. Damage detection with image processing: A comparative study
Van Nguyen et al. A mobile robot for automated civil infrastructure inspection and evaluation
McLaughlin et al. Combining deep learning and robotics for automated concrete delamination assessment
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
Shatnawi Automatic pavement cracks detection using image processing techniques and neural network
JP3572750B2 (ja) コンクリート欠陥の自動評価方法
JP2019102031A (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
CN114235814A (zh) 一种建筑玻璃幕墙裂纹识别方法
Zhao et al. High-resolution infrastructure defect detection dataset sourced by unmanned systems and validated with deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant