KR102565689B1 - 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 - Google Patents

딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR102565689B1
KR102565689B1 KR1020220130689A KR20220130689A KR102565689B1 KR 102565689 B1 KR102565689 B1 KR 102565689B1 KR 1020220130689 A KR1020220130689 A KR 1020220130689A KR 20220130689 A KR20220130689 A KR 20220130689A KR 102565689 B1 KR102565689 B1 KR 102565689B1
Authority
KR
South Korea
Prior art keywords
shape
safety diagnosis
crack
image
defects
Prior art date
Application number
KR1020220130689A
Other languages
English (en)
Inventor
김윤태
하용수
밍 부옹 팜
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020220130689A priority Critical patent/KR102565689B1/ko
Application granted granted Critical
Publication of KR102565689B1 publication Critical patent/KR102565689B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Abstract

본 발명은, 대상 시설물에 대한 영상 정보 및/또는 3차원 형상 정보를 입력받아 이들을 분석하여 옹벽과 같은 사회 시설물에 대하여 1회 또는 수회 이동하면서 안전진단 및 모니터링을 수행함으로써, 빠르고 간단하게 안전 진단을 수행할 수 있도록 하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치에 관한 것이다. 본 발명은, 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로, 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 포함할 수 있다.

Description

딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 {Method of Mobile Safety Diagnosis and monitoring for facilities based on deep learning and Apparatus thereof}
본 발명은 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치에 관한 것으로, 보다 상세하게는 영상 정보 및/또는 3차원 형상 정보를 입력받아 이들을 분석하여 옹벽과 같은 사회 시설물에 대한 안전진단 및 모니터링이 가능하도록 하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치에 관한 것이다.
시설물 안전진단이란 경험과 기술을 갖춘 자가 육안이나 점검기구 등으로 검사하여 시설물에 내재되어 있는 위험요인을 조사하는 행위를 말하며, 점검목적 및 점검수준을 고려하여 법령으로 정하는 바에 따라 정기안전점검 및 정밀안전점검으로 구분할 수 있다.
공공의 건축물과 토목 구조물과 같은 사회 기반 시설물은 국민의 안전에 직접적인 관련이 있으므로, 지속적이고 체계적인 안전점검이 필수적이다. 시설물은 크게 교량, 터널, 항만, 댐, 건축물, 하천, 상하수도, 옹벽 및 절토사면, 공동구로 분류되며, 각각은 구조형식과 규모에 따라서 제1종시설물과 제2종시설물로 분류될 수 있다.
사회기반 시설물은 침하, 파손, 세굴, 활동, 균열 등의 다양한 형태의 상태평가 인자를 기반으로 안전점검이 수행될 수 있으며, 이는 인력이 투입되어 모든 부분을 세부적으로 확인해야 하므로 시간적인 소비도 크게 발생할 수 있다.
또한, 개별 전문가에 의해 안전 점검이 수행되는 경우에 객관성 및 동일성을 가지기가 어렵기 때문에 동일한 기준과 방법으로 수행할 수 있는 모니터링 기법이 필요하다.
한국등록특허 10-1909212 (2018.10.17.) 한국등록특허 10-2123983 (2020.06.11) 한국등록특허 10-2112046 (2020.05.18)
본 발명의 목적은, 대상 시설물에 대한 영상 정보 및/또는 3차원 형상 정보를 입력받아 이들을 분석하여 옹벽과 같은 사회 시설물에 대하여 1회 또는 수회 이동하면서 안전진단 및 모니터링을 수행함으로써, 빠르고 간단하게 안전 진단을 수행할 수 있도록 하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치를 제공하는 것이다.
본 발명에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치는, 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)의 균열을 검출하는 경우뿐만 아니라, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나 또는 그 조합에 의한 결함을 검출하여 검사 대상에 대한 안전진단을 수행하는 것에 관한 것이다.
본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치는, 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로, 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 포함할 수 있다.
이때, 상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상정보 및 상기 3차원 형상정보를 입력받을 수 있다.
상기 객체는 검사 대상영역에서 검출된 균열이고, 상기 영상분석부는, 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열이 감지되어 분할된 균열 감지 이미지를 생성
상기 균열 감지 이미지는, 상기 입력 영상을 1개 채널의 회색 이미지로 변환하고, 상기 회색 이미지의 각각의 픽셀이 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 큰 경우 균열에 해당하는 값을 할당하고, 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 작거나 같은 경우 배경에 해당하는 값을 할당하여 생성될 수 있다.
상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상으로부터 균열의 길이와 너비를 상기 객체의 상태로 계산할 수 있다.
상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상을 설정된 수평 또는 수직 픽셀 수의 단위로 복수의 세그먼트로 분할하고, 기준선과 균열의 경계의 두 교차점의 중심을 각각의 세그먼트의 중심점으로 하고, 해당 세그먼트의 중심점과 이전 세그먼트의 중심점 사이의 거리를 해당 세그먼트의 중심선으로 하고, 모든 세그먼트의 중심선의 합이 상기 균열의 길이로 계산될 수 있다.
상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 0~45도이면 균열 감지 이미지에서 수직선이 상기 기준선이 되고,
상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 45~90도이면 균열 감지 이미지에서 수평선이 상기 기준선이 될 수 있다.
해당 균열 세그먼트에서 상기 중심선에 수직인 선과 균열 경계의 교차하는 두 지점들 사이의 거리가 해당 균열 세그먼트의 너비가 되고, 전체 균열의 너비는 각각의 균열 세그먼트 너비들의 평균이 될 수 있다.
픽셀 단위로 계산된 상기 균열의 길이와 너비에 mm 단위 변환 계수를 곱하여 mm 단위의 상기 균열의 길이와 너비를 계산하며, 상기 mm 단위 변환 계수는 mm 단위의 설정된 면적에 포함되는 가로 픽셀수 X 세로 픽셀수의 값으로 나눈 값의 제곱근이 될 수 있다.
상기 3차원 형상정보는 입력되는 검사 대상의 3차원 형상을 포인트 클라우드로 구성되어 3차원 형상으로 생성될 수 있다.
상기 3차원 형상 분석부는, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열이 감지되어 분할된 3차원 균열 감지 형상을 생성할 수 있다.
상기 3차원 형상 분석부는 상기 형상의 상태를 계산하여 형상 결함 데이터를 생성하고, 상기 균열 감지 형상을 이미지 처리하여 식별된 3차원 균열 형상으로부터 균열의 깊이를 상기 형상의 상태로 계산할 수 있다.
상기 카메라 및 라이다가 차량에 서로 상대 위치가 고정되도록 설치되어 이동하거나, 상기 카메라 및 라이다가 이동 대차 또는 개인 휴대장치에 서로 상대 위치가 고정되도록 설치되어 이동할 수 있다.
상기 카메라 및 라이다의 설치 위치(예를 들어, 설치 높이) 또는 측정 위치(예를 들어, 설치 높이)에 따라 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치(예를 들어, 설치 높이)에 따라 입력되는 영상정보 및 3차원 형상정보가 보정될 수 있다.
미리 상기 카메라와 상기 라이다의 상대적 설치 위치 관계에 따른 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치에 따라 입력되는 영상정보 또는 3차원 형상정보가 보정될 수 있다.
상기 안전진단 결과 산출부는, 상기 객체 결함 및 상기 형상 결함을 각각 점수를 수치화하여 결함지수를 산출하고, 각각의 정보를 시계열로 나타내고, 설정된 기준 이내 분포 여부 및 특이점 발생 현황을 고려하여 안전진단 결과를 생성할 수 있다.
상기 검사 대상영역을 세부 영역으로 분할하고, 상기 세부 영역 단위로 안전진단 결과를 생성할 수 있다.
상기 안전진단 결과 출력부는 상기 결함지수가 설정된 기준값을 벗어나거나 특이점이 발생하면 경고 신호를 출력할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법은, 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치에 의하여 수행될 수 있다.
카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 단계; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 단계: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 상기 형상의 상태를 계산하여 형상 결함 데이터를 생성하는 단계; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 단계; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 단계;를 포함할 수 있다.
이때, 상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상 정도 및 상기 3차원 형상정보를 입력받을 수 있다.
상기 객체는 검사 대상영역에서 검출된 균열이고, 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열이 감지되어 분할된 균열 감지 이미지로부터 객체 결함 데이터를 생성하며, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열이 감지되어 분할된 3차원 균열 감지 형상으로부터 형상 결함 데이터를 생성할 수 있다.
본 발명에 따르면, 대상 시설물들을 1회 혹은 수회 이동하면서 모니터링하는 방법에 의하여 안전점검을 수행함으로써, 빠르고 쉽게 안전 진단을 수행하여 시간적 및 경제적으로 효과가 있다.
또한, 하나의 시스템으로 모든 시설물에 대해 동일한 방법으로 안전진단을 수행하므로, 객관성을 확보할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 블록도이다.
도 2는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 모니터링 데이터 입력부의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다.
도 3은 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 영상 분석부의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다.
도 4는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 3차원 형상 분석부의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다.
도 5는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 안전진단 결과 산출부의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다.
도 6은 본 발병의 일 실시예에 따라 도 3의 영상 분석부에서 옹벽의 균열을 인식하고 균열의 크기를 측정하여 구체적인 방법을 개략적으로 보여주는 도면이다.
도 7은 본 발병의 일 실시예에 따라 도 3의 영상 분석부에서 옹벽의 균열을 인식하는 방법을 개략적으로 보여주는 도면이다.
도 8은 본 발병의 일 실시예에 따라 도 3의 영상 분석부에서 옹벽의 균열의 크기(길이 및 너비)를 측정하는 방법을 개략적으로 보여주는 도면이다.
도 9는 본 발병의 일 실시예에 따라 도 5의 안전진단 결과 산출부에서 옹벽의 결함 및/또는 3차원 형상 결함으로부터 안전진단 결과를 생성하는 구체적인 방법을 개략적으로 보여주는 도면이다.
도 10은 초점거리 및 시설물 카메라 거리를 기반으로 표본 거리를 산출하는 방법을 보여주는 도면이다.
도 11은 도 10의 표본 거리 산출 방법에 의하여 시설물과의 거리에 대한 분해능의 관계를 개략적으로 보여주는 그래프이다.
이하, 본 발명을 실시하기 위한 구체적인 내용을 본 발명의 바람직한 실시예들을 기준으로 첨부 도면을 참조하여 상세히 설명한다. 이때, 하나의 실시예의 도면에 개시된 것으로, 다른 실시예의 도면에 개시된 구성 요소와 동일한 구성 요소에 대해서는 동일한 참조 번호를 부여하고, 다른 실시예에서의 설명이 동일하게 적용될 수 있으며, 이에 대한 자세한 설명은 생략할 수 있다. 또한, 본 발명과 관련된 공지 기능 혹은 구성은 공지 기술을 참조하고, 여기서는 그에 대한 상세한 설명은 간략히 하거나 생략한다.
아울러 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어(general term)들이 사용되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 발명자가 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서 전체에서 어떤 부분이 어떤 구성 요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에서 사용되는 '부'라는 용어는 FPGA 또는 ASIC과 같은 하드웨어 구성만이 아닌 소프트웨어 구성도 의미한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서 일례로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치는, 대상 시설물에 대한 2차원 영상 정보 및/또는 3차원 형상 정보를 입력받아 이들을 분석하여 옹벽과 같은 사회 시설물에 대하여 1회 또는 수회 설정된 간격으로 이동하면서 안전진단 및 모니터링을 수행함으로써, 빠르고 간단하고 정확하게 안전 진단을 수행하도록 할 수 있다.
본 발명에 따르면, 딥러닝 알고리즘 및/또는 이미지 프로세싱 기술을 사용하여, 대상 시설물들을 1회 혹은 수회 이동하면서 모니터링하는 방법에 의하여 안전점검을 수행함으로써, 빠르고 쉽고 정확하게 안전진단을 수행하여 시간적 및 경제적으로 탁월한 효과를 얻을 수 있다.
또한, 하나의 시스템으로 모든 시설물에 대해 동일한 방법으로 안전진단을 수행하므로, 객관성을 확보할 수 있게 된다. 또한, 본 발명에 의하여 수집되어 누적된 데이터를 기반으로 종래의 방법을 보완하는 빅데이터로 활용될 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치는 카메라 입력 영상 및/또는 LiDAR 입력 정보를 촬영 및 분석하여 옹벽과 같은 시설물의 안전점검을 수행하는 기술에 관한 것이다. 이때, 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나 또는 복수개의 조합에 의하여 옹벽 등의 사회 시설물의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행할 수 있다.
사회기반 시설물은 침하, 파손, 세굴, 활동, 균열 등의 다양한 형태의 상태평가 인자를 기반으로 안전점검이 필요한데, 종래의 기술에서는 인력을 투입하여 모든 부분을 세부적으로 확인해야하기 때문에 인력 및 시간적인 소비가 크게 발생할 수 있다. 또한, 개별 전문가에 의해 점검이 수행되기 때문에 객관성 및 동일성을 가지기가 어렵다. 따라서, 본 발명에서는 동일한 기준과 방법으로 수행할 수 있도록 하는 모니터링 기법을 제공한다,
본 발명은 영상과 LiDAR를 기반으로 저장된 2차원 영상 및 3차원 형상의 3차원 포인트 클라우드 데이터를 통해 옹벽 결함 및 3차원 형상을 검사할 수 있다. 옹벽 결함은 CNN을 기반으로 하는 mask R-CNN, YOLO 등의 객체 인식(object detection) 및 분할(segmentation) 등의 기술을 통해 실시간으로 균열 및 산사태 등을 감지할 수 있다. 또한, 3차원 형상에 대한 포인트 클라우드(point cloud)를 구성하여 3차원 형상 데이터를 구축할 수 있다. 위 두 가지 검사가 각각 혹은 함께 활용되어 상태 평가 기준을 정량적으로 평가하는 수치로 활용될 수 있다.
본 발명에서는 결함 및 형상 검사를 통해 추출된 정보를 기반으로 결함 기준 상태평가 및/또는 3차원 형상 기준 상태평가를 수행하여 각각의 점수를 수치화하여 결함 지수 등의 안전진단 결과로 산출하게 되며, 각각의 정보를 시계열로 나타내어 기준 내 분포 유무 및 특이점 발생 현황을 검토하여 종합적으로 안전진단 결과를 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 블록도이다. 도 2 내지 도 5에서는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 각각의 세부 구성의 상세한 구성 및/또는 기능을 더욱 상세하게 보여준다.
도면을 참조하면, 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치(1)는 모니터링 데이터 입력부(10); 영상 분석부(20): 3차원 형상 분석부(30); 안전진단 결과 산출부(40); 및 안전진단 결과 출력부(50);를 포함할 수 있다.
모니터링 데이터 입력부(10)는 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받을 수 있다.
영상 분석부(20)는 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 그 객체의 상태를 계산하여 객체 결함 데이터를 생성할 수 있다. 3차원 형상 분석부(30); 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성할 수 있다. 이때, 3차원 형상 분석부(30)는 형상의 상태를 계산하여 형상 결함 데이터를 생성할 수 있다.
안전진단 결과 산출부(40)는 객체 결함 데이터로부터 검사 대상영역의 객체 결함을 평가하고, 형상 결함 데이터로부터 검사 대상영역의 형상 결함을 평가하고, 객체 결함과 형상 결함으로부터 안전진단 결과를 생성할 수 있다. 안전진단 결과 출력부(50)는 안전진단 결과를 외부 또는 관제소로 내보낼 수 있다.
도 2에는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치(1)의 모니터링 데이터 입력부(10)의 상세한 구성 및/또는 기능이 더욱 상세하게 도시되어 있다.
도면을 참조하면, 모니터링 데이터 입력부(10)는 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받을 수 있다. 즉, 모니터링 데이터 입력부(10)는 카메라를 통한 2차원 영상정보와 라이다를 통한 3차원 형상정보를 동시에 획득할 수 있다.
카메라 및/또는 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 영상정보 및 상기 3차원 형상정보를 입력받을 수 있다. 이 경우, 카메라 및/또는 라이다(LiDAR)는 서로 상대 위치가 고정되도록 설치되어, 여러 상황 또는 다른 장소에서 촬영된 영상에 대해서도 카메라 영상과 라이다 영상을 서로 정합시키기 용이하도록 할 수 있다.
이를 위하여, 카메라 및/또는 라이다(LiDAR)는 도 2에 도시된 바와 같이 자동차와 같은 수송 수단에 설치되어 이동될 수 있다. 이때, 카메라 및 라이다(LiDAR)가 자율주행차에 설치되고, 미리 설정된 경로를 따라 설정된 진단 주기에 따라 무인 자동으로 안전진단을 수행할 수 있다. 다른 실시예로서 카메라 및/또는 라이다는 자율주행로봇에 설치되어 이동하면서 미리 설정된 경로를 따라 설정된 진단 주기에 따라 무인 자동으로 안전진단을 수행할 수 있다.
또한, 카메라 및 라이다는 차량에 서로 상대 위치가 고정되도록 설치되어 이동되거나, 카메라 및 라이다가 이동 대차 또는 개인 휴대장치에 서로 상대 위치가 고정되도록 설치되어 이동될 수 있다. 즉, 카메라와 라이다는 차량 기반 옹벽 모니터링 시스템 또는 도보 기반 옹벽 모니터링 시스템으로 구성될 수 있다.
이때, 카메라 및 라이다는 차량에 설치되어 이동되는 것을 기본으로 하고, 좁은 골목과 같이 차량이 가기 어려운 좁은 골목과 같은 장소에서는 도면에 도시된 바와 같이 도보식으로 운용될 수 있다.
한편, 카메라 및 라이다는 특정 차량에 탑재되어 입력을 받아 그 데이터를 기반으로 학습 등에 의하여 모델이 생성될 수 있는데, 카메라 및 라이다는 설치되는 위치가 달라지면 입력되는 영상이 달라지므로, 설치 위치 및/또는 각도에 따라 입력 영상을 보정하여, 기존의 모델을 그대로 이용하여 진단 및 모니터링을 수행할 수 있게 만들 수 있다.
이를 위하여, 카메라 및 라이다의 설치 위치(예를 들어, 설치 높이 및/또는 각도) 또는 측정 위치(예를 들어, 설치 높이 및/또는 각도)에 따라 보정 계수 또는 보정 정보가 생성되고, 카메라와 라이다의 상대적 설치 위치(예를 들어, 설치 높이 및/또는 각도)에 따라 입력되는 영상정보 및 3차원 형상정보가 보정될 수 있다.
다른 실시예로서, 미리 카메라와 라이다의 상대적 설치 위치 관계에 따른 보정 계수 또는 보정 정보가 생성되고, 카메라와 라이다의 상대적 설치 위치에 따라 입력되는 영상정보 또는 3차원 형상정보가 보정될 수 있다.
한편, 라이다(LiDAR)는 3차원 형상정보를 입력받는 센서로서, 본 발명은 이에 한정되지 아니하고 스테레오 카메, 3D 스케너, RGB-D센서 등 3차원 정보를 획득하는 다양한 센서가 적용될 수 있다. 다만, 라이다는 비교적 넓은 범위의 3차원 정보를 포인트 클라우드 형태로 획득할 수 있어서 본 발명에 따른 시설물 안전진단 및 모니터링에 더욱 효과적이다.
라이다를 통하여 획득된 3차원 영상정보의 포인트 클라우드 데이터는 딥러닝을 이용하여 3차원 물체 인식 및 분류에 의하여 결함의 종류 및 상태를 파악하는데 효과적으로 활용될 수 있다. 다른 실시예로서 3차원 영상정보의 포인트 클라우드에서 노이즈를 제거하고 포인트의 특징(feature)을 찾아서 서로 다른 위치에서 취득한 데이터를 정합하는데 사용될 수 있다.
도 3에는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치(1)의 영상 분석부(20)의 상세한 구성 및/또는 기능이 더욱 상세하게 도시되어 있다.
도면을 참조하면, 영상 분석부(20)는 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 그 객체의 상태를 계산하여 객체 결함 데이터를 생성할 수 있다.
이때, 객체 결함에 해당하는 객체는 검사 대상이 옹벽인 경우에 전도, 균열, 배부름, 물고임, 및 파손을 포함하는 다양한 결함 들 중의 어느 하나 또는 복수의 조합이 될 수 있다. 다만, 본 발명은 이에 한정되지 아니하고, 검사 대상은 콘크리트 옹벽, 보강토 옹벽, 개비온 옹벽, 및 석축 등을 포함한 다양한 사회 시설물이 될 수 있다. 또한, 결함 종류도 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근 노출, 세굴, 물고임, 및 배부름 등을 포함한 진단이 필요한 다양한 결함이 될 수 있다. 또한, 검사 대상에 따라 진단이 필요한 결함의 종류가 달라질 수 있다.
영상분석부(20)는 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 미리 설정된 다양한 결함들 중에서 어느 하나 또는 복수의 결함을 감지하고, 해당 결함을 분할하고, 결함이 분할되어 특정된 결함 감지 이미지를 생성할 수 있다.
도 6 내지 8의 실시예에서는 옹벽의 균열을 결함으로 감지하는 경우를 중심으로 본 발명을 설명한다. 다만, 본 발명은 이에 한정되지 아니하고, 다른 검사 대상에 대한 다른 결함에도 유사한 방법을 통하여 결함을 감지하고 결함을 진단할 수 있다.
이때, 영상분석부(20)는 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열을 감지하하여 균열을 분할하여 균열 감지 이미지를 생성할 수 있다.
도 6은 본 발병의 일 실시예에 따라 도 3의 영상 분석부(20)에서 옹벽의 균열을 인식하고 균열의 크기를 측정하여 구체적인 방법을 개략적으로 보여주는 도면이다. 도 7은 본 발병의 일 실시예에 따라 도 3의 영상 분석부(20)에서 옹벽의 균열을 인식하는 방법을 개략적으로 보여주는 도면이다. 도 8은 본 발병의 일 실시예에 따라 도 3의 영상 분석부(20)에서 옹벽의 균열의 크기(길이 및 너비)를 측정하는 방법을 개략적으로 보여주는 도면이다.
균열 감지 이미지는 입력 영상을 1개 채널의 회색 이미지로 변환하고, 회색 이미지의 각각의 픽셀이 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 큰 경우 균열에 해당하는 값을 할당하고, 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 작거나 같은 경우 배경에 해당하는 값을 할당하여 생성함으로써, 균열을 인식하고 배경으로부터 분할할 수 있다.
이때, 벽의 균열 감지는 컴퓨터 비전의 핵심 요소인 의미론적 분할을 포함할 수 있다. 옹벽의 균열 감지는 입력 이미지의 각 픽셀을 분류하는 것으로, 옹벽의 균열의 분할에는 픽셀 수준 감지를 위해 이미지의 각각의 픽셀을 균열과 배경을 두 가지 범주로 나누는 것이 포함될 수 있다.
이때, 도 7에 도시된 바와 같이 출력되는 이미지의 각각의 픽셀은 참양성(TP), 가양성(FP), 참음성(TN), 및 가음성(FN)으로 분할될 수 있다. 참양성(TP)은 크랙 픽셀이 올바르게 식별된 것이며, 가양성(FP)은 배경 픽셀이 균열 픽셀로 잘못 식별된 것이며, 참음성(TN)은 배경 픽셀이 올바르게 식별된 것이며, 가음성(FN)은 배경 픽셀로 식별된 균열 픽셀을 나타낸다.
도 8에는 옹벽의 균열 크기를 계산하는 방법이 도시되어 있다. 도면을 참조하면, 본 발명의 실시예에서는 식별된 균열의 크기가 이미지 처리를 통하여 산출될 수 있다. 즉, 균열 크기 산출 단계에 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상으로부터 균열의 길이와 너비를 계산할 수 있다.
이때, 옹벽의 균열을 식별한 후 이미지 처리를 사용하여 균열 길이와 너비를 자동으로 계산할 수 있다. 균열 형상을 설정된 수평 또는 수직 픽셀 수의 단위로 복수의 세그먼트로 분할하고, 기준선과 균열의 경계의 두 교차점의 중심을 각각의 세그먼트의 중심점으로 하고, 해당 세그먼트의 중심점과 이전 세그먼트의 중심점 사이의 거리를 해당 세그먼트의 중심선으로 하고, 모든 세그먼트의 중심선의 합이 균열의 길이로 계산될 수 있다.
균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 0~45도이면 균열 감지 이미지에서 수직선이 상기 기준선이 되고, 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 45~90도이면 균열 감지 이미지에서 수평선이 상기 기준선이 될 수 있다. 해당 균열 세그먼트에서 중심선에 수직인 선과 균열 경계의 교차하는 두 지점들 사이의 거리가 해당 균열 세그먼트의 너비가 될 수 있다. 전체 균열의 너비는 각각의 균열 세그먼트 너비들의 평균이 될 수 있다.
즉, 도 8에서 (a) 및 (b)에 따르면, 균열 길이는 균열 중심선의 길이가 될 수 있으며, 균열 폭은 여러 균열 세그먼트 폭의 평균이 될 수 있다.
이를 위하여 균열(crack)이 수평 균열(도 8의 (a) 및 (c))과 수직 균열(도 8의 (b) 및 (d))의 두 그룹으로 분할될 수 있다. 수평 균열은 각도가 0~45도인 균열이고, 수직 균열은 각도가 45~90도인 균열이 될 수 있다. 이때, 각도는 균열의 시작점(A)과 끝점(B)을 잇는 선과 수평선 사이의 각도이다. 작은 중심선 세그먼트의 길이를 계산할 때, 수직선(45~90도의 균열) 또는 수평선(0~45도의 균열) 각각 설정된 개수 예를 들어 5픽셀의 길이를 사용할 수 있다.
한편, 수직선(수평 균열의 경우) 또는 수평선(수직 균열의 경우)과 균열 경계 사이의 두 교차점(xu i, yu i) 및 (xl i, yl i)이 결정될 수 있다. 이 경우, 두 교차점을 사용하여 균열 세그먼트의 중심점이 식별될 수 있다. 균열의 전체 길이(L)는 수학식 1의 유클리드 거리 공식을 사용하여 계산된 각 중심선 세그먼트의 길이의 합이 될 수 있다.
Figure 112022107322340-pat00001
여기서,
Figure 112022107322340-pat00002
와
Figure 112022107322340-pat00003
는 두 개의 연속 균열 세그먼트의 중심점 좌표이고 n은 중심점의 총 개수이다. 균열 세그먼트 너비는 다음과 같이 계산할 수 있다. 각 중심점(xi yi)에서 각 중심선 균열 세그먼트에 수직인 선을 그리고 이 선이 균열 경계와 교차하는 두 점(xt i , yt i ) 및 (xb i , yb i)를 감지할 수 있다. 이 지점들 사이의 거리는 균열 세그먼트의 너비가 될 수 있다. 전체 균열의 평균 너비(
Figure 112022107322340-pat00004
)는 각각의 균열 세그먼트 너비들의 평균이 될 수 있다(수학식 2).
Figure 112022107322340-pat00005
픽셀 단위로 계산된 균열의 길이와 너비에 mm 단위 변환 계수를 곱하여 mm 단위의 균열의 길이와 너비를 계산할 수 있다. 이때, mm 단위 변환 계수는 mm 단위의 설정된 면적에 포함되는 가로 픽셀수 X 세로 픽셀수의 값으로 나눈 값의 제곱근이 될 수 있다.
균열 크기의 픽셀 단위를 mm로 변환하기 위해 기록된 표면의 면적을 사용할 수 있다(A = a × b in mm2 ). 수학식 3, 4에 의하여 픽셀 단위가 mm 단위로 변환될 수 있다.
Figure 112022107322340-pat00006
Figure 112022107322340-pat00007
여기서, nxm는 면적 A = a x b mm2에 대응되는 픽셀들에 의하여 선택된 이미지의 너비와 높이를 곱한 것이다.
도 4는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 3차원 형상 분석부의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다.
도면을 참조하면, 3차원 형상정보는 입력되는 검사 대상의 3차원 형상을 포인트 클라우드로 구성되어 3차원 형상으로 생성될 수 있다. 이 경우, 포인트 클라우드를 기반으로 3차원 구조물의 현황을 관리할 수 있게 된다.
이때, 하나의 실시예로서 3차원 형상 데이터를 통하여 옹벽의 균열을 감지하고, 균열의 상태를 진단 및/또는 모니터링할 수 있다. 3차원 형상 분석부(3)는, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열을 감지하여 분할하고, 분할된 3차원 균열 감지 형상을 생성할 수 있다.
3차원 형상 분석부(30)는 3차원 형상의 상태를 계산하여 형상 결함 데이터를 생성하고, 균열 감지 형상을 이미지 처리하여 식별된 3차원 균열 형상으로부터 균열의 깊이를 형상의 상태로 계산할 수 있다.
이 경우, 영상 분석부(20)에서는 카메라 영상으로부터 균열을 인식 및 분할하여 균열의 길이 및 너비를 계산하고, 3차원 형상 분석부(30)에서는 라이다를 통하여 입력된 3차원 형상정보로부터 균열을 인식 및 분할하여 균열의 깊이를 계산함으로써, 균열의 길이, 너비 및 깊이 정보를 활용하여 옹벽의 균열 상태를 진단 및 모니터링할 수 있도록 할 수 있다.
도 5는 도 1의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치의 안전진단 결과 산출부(40)의 상세한 구성 및/또는 기능을 더욱 상세하게 보여주는 도면이다. 도 9는 본 발병의 일 실시예에 따라 도 5의 안전진단 결과 산출부(40)에서 옹벽의 결함 및/또는 3차원 형상 결함으로부터 안전진단 결과를 생성하는 구체적인 방법의 일 실시예를 개략적으로 보여주는 도면이다. 이하에서는 3차원 형상 결함이 옹벽의 균열인 실시예를 중심으로 설명되었으나, 본 발명은 이에 한정되지 아니하고, LiDAR 등을 통하여 입력된 3차원 형상으로부터 알 수 있는 다양한 결함이 포함될 수 있다.
도면을 참조하면, 안전진단 결과 산출부(40)는 객체 결함(옹벽의 균열의 형상 및 크기) 및 형상 결함(옹벽의 깊이)을 각각 점수를 수치화하여 결함지수를 산출하고, 각각의 정보를 시계열로 나타내고, 설정된 기준 이내 분포 여부 및 특이점 발생 현황을 고려하여 안전진단 결과를 생성할 수 있다.
이때, 안전진단 결과 산출부(40)는 검사 대상영역을 세부 영역으로 분할하고, 세부 영역 단위로 안전진단 결과를 생성할 수 있다.
한편, 안전진단 결과 출력부(50)는 결함지수가 설정된 기준값을 벗어나거나 특이점이 발생하면 경고 신호를 출력할 수 있다.
도 10은 초점거리 및 시설물 카메라 거리를 기반으로 표본 거리를 산출하는 방법을 보여주는 도면이다. 도 11은 도 10의 표본 거리 산출 방법에 의하여 시설물과의 거리에 대한 분해능의 관계를 개략적으로 보여주는 도면이다.
도면을 참조하면, , 3차원 형상은 카메라 및/또는 LiDAR 등을 통하여 포인트 클라우드를 기반으로 계측될 수 있다. 3차원 형상 분석부(30)는 카메라 기반 3차원 형상의 경우에는 연속적인 이미지를 통해 DSM(수치 표면 모델) 및/또는 DTM(수치 표고 모델)을 제작하여 대상 시설물의 시계열에 따른 현상을 분석할 수 있다.
이때, 카메라와 시설물과의 거리, 초점거리를 기반으로 표본 거리를 측정할 수 있다. 예를 들어, 초점거리 50mm 및 픽셀 사이즈 0.001mm인 카메라를 사용하는 경우 시설물과의 거리가 5m인 경우 픽셀당 0.1mm의 분해능을 가질 수 있다. 그에 따라, 대상 시설물의 지형적 특성 및 필요 정확도에 따라 촬영 거리 및 위치가 조정될 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법은 앞에서 도 1 내지 9에 도시된 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치(1)에서 자세하게 설명된 방법이 그대로 적용될 수 있다.
딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법은 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 단계; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 단계: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 상기 형상의 상태를 계산하여 형상 결함 데이터를 생성하는 단계; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 단계; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 단계;를 포함할 수 있다.
이때, 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상 정도 및 상기 3차원 형상정보를 입력받을 수 있다.
일 실시예로서 옹벽을 검사 대상으로 하고 결함에 해당하는 객체는 검사 대상영역에서 검출된 균열이 될 수 있다.
미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열이 감지되어 분할된 균열 감지 이미지로부터 객체 결함 데이터를 생성하며, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열이 감지되어 분할된 3차원 균열 감지 형상으로부터 형상 결함 데이터를 생성할 수 있다.
이상에서 본 발명의 기술적 사상을 그 사상의 구체성을 담보하는 본 발명의 바람직한 실시예의 개시를 통해 개진하였다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 그 바람직한 실시예가 본 발명의 기술적 사상(본질적 특성)에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적 관점이 아닌 설명적 관점에서 고려되어야 하며, 본 발명의 권리범위에는 청구범위에 개시된 사항 뿐만 아니라 이와 균등한 범위 내에 있는 모든 차이도 포함되는 것으로 해석되어야 할 것이다. 특히, 하나의 실시예에서 설명된 기술적 특징은 다른 실시예에서도 적용될 수 있다.

Claims (20)

  1. 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로,
    카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부;
    상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부:
    상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부;
    상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및
    상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 구비하고,
    상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상정보 및 상기 3차원 형상정보를 입력받으며,
    상기 객체는 검사 대상영역에서 검출된 균열이고,
    상기 영상분석부는, 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열이 감지되어 분할된 균열 감지 이미지를 생성하며,
    상기 균열 감지 이미지는, 상기 입력 영상을 1개 채널의 회색 이미지로 변환하고, 상기 회색 이미지의 각각의 픽셀이 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 큰 경우 균열에 해당하는 값을 할당하고, 균열을 포함할 확률이 설정값(예를 들어, 0.5) 보다 작거나 같은 경우 배경에 해당하는 값을 할당하여 생성되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상으로부터 균열의 길이와 너비를 상기 객체의 상태로 계산하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  5. 제1항에 있어서,
    상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상을 설정된 수평 또는 수직 픽셀 수의 단위로 복수의 세그먼트로 분할하고,
    기준선과 균열의 경계의 두 교차점의 중심을 각각의 세그먼트의 중심점으로 하고,
    해당 세그먼트의 중심점과 이전 세그먼트의 중심점 사이의 거리를 해당 세그먼트의 중심선으로 하고,
    모든 세그먼트의 중심선의 합이 상기 균열의 길이로 계산되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  6. 제5항에 있어서,
    상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 0~45도이면 균열 감지 이미지에서 수직선이 상기 기준선이 되고,
    상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 45~90도이면 균열 감지 이미지에서 수평선이 상기 기준선이 되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  7. 제5항에 있어서,
    상기 세그먼트에서 상기 중심선에 수직인 선과 균열 경계의 교차하는 두 지점들 사이의 거리가 상기 세그먼트의 너비가 되고, 전체 균열의 너비는 각각의 상기 세그먼트 너비들의 평균인 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  8. 제4항에 있어서,
    픽셀 단위로 계산된 상기 균열의 길이와 너비에 mm 단위 변환 계수를 곱하여 mm 단위의 상기 균열의 길이와 너비를 계산하며,
    상기 mm 단위 변환 계수는 mm 단위의 설정된 면적에 포함되는 가로 픽셀수 X 세로 픽셀수의 값으로 나눈 값의 제곱근인 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  9. 제1항에 있어서,
    상기 3차원 형상정보는 입력되는 검사 대상의 3차원 형상을 포인트 클라우드로 구성되어 3차원 형상으로 생성되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  10. 제9항에 있어서,
    상기 3차원 형상 분석부는, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열이 감지되어 분할된 3차원 균열 감지 형상을 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  11. 제10항에 있어서,
    상기 3차원 형상 분석부는 상기 형상의 상태를 계산하여 형상 결함 데이터를 생성하고,
    상기 균열 감지 형상을 이미지 처리하여 식별된 3차원 균열 형상으로부터 균열의 깊이를 상기 형상의 상태로 계산하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  12. 삭제
  13. 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로,
    카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부;
    상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부:
    상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부;
    상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및
    상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 구비하고,
    상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상정보 및 상기 3차원 형상정보를 입력받으며,
    상기 카메라 및 라이다가 차량에 서로 상대 위치가 고정되도록 설치되어 이동하거나, 상기 카메라 및 라이다가 이동 대차 또는 개인 휴대장치에 서로 상대 위치가 고정되도록 설치되어 이동하며,
    상기 카메라 및 라이다의 설치 위치(예를 들어, 설치 높이) 또는 측정 위치(예를 들어, 설치 높이)에 따라 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치(예를 들어, 설치 높이)에 따라 입력되는 영상정보 및 3차원 형상정보가 보정되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  14. 제13항에 있어서,
    미리 상기 카메라와 상기 라이다의 상대적 설치 위치 관계에 따른 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치에 따라 입력되는 영상정보 또는 3차원 형상정보가 보정되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  15. 제1항에 있어서,
    상기 안전진단 결과 산출부는,
    상기 객체 결함 및 상기 형상 결함을 각각 점수를 수치화하여 결함지수를 산출하고, 각각의 정보를 시계열로 나타내고, 설정된 기준 이내 분포 여부 및 특이점 발생 현황을 고려하여 안전진단 결과를 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  16. 제1항에 있어서,
    상기 검사 대상영역을 세부 영역으로 분할하고, 상기 세부 영역 단위로 안전진단 결과를 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  17. 제15항에 있어서,
    상기 안전진단 결과 출력부는 상기 결함지수가 설정된 기준값을 벗어나거나 특이점이 발생하면 경고 신호를 출력하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치.
  18. 제1항, 제4항 내지 제11항, 및 제13항 내지 제17항 중의 어느 하나의 항의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치에 의하여 수행되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법.
  19. 삭제
  20. 삭제
KR1020220130689A 2022-10-12 2022-10-12 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 KR102565689B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220130689A KR102565689B1 (ko) 2022-10-12 2022-10-12 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220130689A KR102565689B1 (ko) 2022-10-12 2022-10-12 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102565689B1 true KR102565689B1 (ko) 2023-08-09

Family

ID=87567027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220130689A KR102565689B1 (ko) 2022-10-12 2022-10-12 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102565689B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629698B1 (ko) * 2023-09-11 2024-01-25 (재)대구기계부품연구원 기상측정을 이용한 공구의 마모량 예측방법 및 예측 시스템
CN117540178A (zh) * 2024-01-09 2024-02-09 武汉大学 一种隧道衬砌内部空洞病害评估方法及系统
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117745786B (zh) * 2024-02-20 2024-05-14 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170135065A (ko) * 2016-05-30 2017-12-08 한국과학기술원 구조물의 진단 방법 및 진단 시스템
KR101909212B1 (ko) 2017-11-06 2018-10-17 (주)바인테크 시설물 안전점검 시스템 및 방법
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102112046B1 (ko) 2019-12-04 2020-05-18 (주) 다음기술단 시설물 안전진단 및 유지관리 방법
KR102123983B1 (ko) 2019-10-21 2020-06-18 주식회사 지에스지 시설물 안전 진단용 스마트 드론 및 이를 이용한 시설물 안전 진단 방법
KR20220043458A (ko) * 2020-09-29 2022-04-05 주식회사 딥인스펙션 설명가능인공지능 및 포인트클라우드 기반 3차원 터널시설물 안전점검 자동화 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170135065A (ko) * 2016-05-30 2017-12-08 한국과학기술원 구조물의 진단 방법 및 진단 시스템
KR101909212B1 (ko) 2017-11-06 2018-10-17 (주)바인테크 시설물 안전점검 시스템 및 방법
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102123983B1 (ko) 2019-10-21 2020-06-18 주식회사 지에스지 시설물 안전 진단용 스마트 드론 및 이를 이용한 시설물 안전 진단 방법
KR102112046B1 (ko) 2019-12-04 2020-05-18 (주) 다음기술단 시설물 안전진단 및 유지관리 방법
KR20220043458A (ko) * 2020-09-29 2022-04-05 주식회사 딥인스펙션 설명가능인공지능 및 포인트클라우드 기반 3차원 터널시설물 안전점검 자동화 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629698B1 (ko) * 2023-09-11 2024-01-25 (재)대구기계부품연구원 기상측정을 이용한 공구의 마모량 예측방법 및 예측 시스템
CN117540178A (zh) * 2024-01-09 2024-02-09 武汉大学 一种隧道衬砌内部空洞病害评估方法及系统
CN117540178B (zh) * 2024-01-09 2024-03-29 武汉大学 一种隧道衬砌内部空洞病害评估方法及系统
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117745786B (zh) * 2024-02-20 2024-05-14 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法

Similar Documents

Publication Publication Date Title
KR102565689B1 (ko) 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
Li et al. Recognition and evaluation of bridge cracks with modified active contour model and greedy search-based support vector machine
KR101926561B1 (ko) 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
CN113516660B (zh) 适用于列车的视觉定位与缺陷检测方法和装置
KR102112046B1 (ko) 시설물 안전진단 및 유지관리 방법
JP7319432B2 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
JP5991489B2 (ja) 道路変状検出装置、道路変状検出方法及びプログラム
KR102239377B1 (ko) 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
KR102550707B1 (ko) 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
CN102162577B (zh) 管道缺陷表面完整性检测装置及其检测方法
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN107798293A (zh) 一种道路裂缝检测装置
Truong-Hong et al. Framework for bridge inspection with laser scanning
Mohamed et al. Steel crack depth estimation based on 2D images using artificial neural networks
KR102277632B1 (ko) 철도 터널의 통합 안전진단 기능을 갖춘 자율 주행형 진단 어셈블리
KR20200143149A (ko) 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법
Wu et al. Concrete spalling detection for metro tunnel from point cloud based on roughness descriptor
Belloni et al. Tack project: Tunnel and bridge automatic crack monitoring using deep learning and photogrammetry
Ravi et al. Highway and airport runway pavement inspection using mobile lidar
Shin et al. Defect-detection model for underground parking lots using image object-detection method
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치
Im et al. Multi-modal diagnostic method for detection of concrete crack direction using light-section method and hammering test
Catbas et al. Comprehensive structural health monitoring at local and global level with vision-based technologies
Koch et al. Machine vision techniques for condition assessment of civil infrastructure

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant