KR102008973B1 - 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 - Google Patents

Abstract

본 발명은 딥러닝 기법에 기반하여 CCTV 동영상을 분석하는 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법에 관한 것으로, 카메라로부터 하수관 내부조사 영상을 획득하는 단계, 상기 획득된 하수관 내부조사 영상을 이용하여 샘플링하는 단계, 상기 샘플링된 하수관 내부조사 샘플 이미지를 역량 증강(Augmentation) 시키는 단계, 상기 역량 증강 된 하수관 내부조사 이미지 학습하여 신경망 모델을 전이 학습하는 단계, 상기 획득된 하수관 내부조사 영상을 이용하여 상기 전이 학습된 탐지 알고리즘을 선정하여 적용하는 단계, 상기 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악하는 단계 및 상기 파악된 결함 종류 및 결함 위치 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 방법에 의해 하수도관 내부의 결합 유형을 정확히 식별하고 신속하게 결함 위치를 정확히 파악할 수 있는 하수도관 내부 결함 탐지 장치 및 방법을 제공할 수 있다.

Description

딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법{Apparatus and Method for Detection defect of sewer pipe based on Deep Learning}

본 발명은 하수도관 내부의 결함 탐지 기술에 관한 것으로 특히 딥러닝 기법에 기반하여 CCTV 동영상을 분석하는 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법에 관한 것이다.

일반적으로 노후화된 하수관을 정비하기 위한 공정에서, 초기 단계에 CCTV 자주차를 이용하여 관 내부 조사를 실시한다. CCTV 자주차를 이용하여 촬영한 동영상을 판독하여 이상항목 등급 판단 후 그 결과를 토대로 관 교체 및 보수를 시행하는 것이다.

하수관로 보수를 위한 단계별 순서를 살펴보면 하수도정비기본계획에 의거하여 수립된 연차별 정비계획에 따라 먼저 대상관로에 대한 CCTV 촬영을 하고, 촬영된 동영상을 판독하여 관로의 결함상태를 분석한다.

그리고 결함 분석이 종료되면 조사보고서를 작성하고, 이 보고서에 의거하여 설계자가 보수물량과 보수공법을 선정하여 보수에 필요한 예산을 산정한다. 예산 확정후 공사를 발주하면 시공자가 결정되고 시공자가 다시 관로 상태를 재조사후 조사 보고서를 감리자에게 제출한 후 승인을 받아 시공에 착수한다. 그런데 이때 재조사까지 통상 1~3년이 경과하기 때문에 실제 시공시 관로의 퇴적 상태나 균열상태가 변화하게 되는 문제가 있다.

또한 전술한 제반 과정에서 보수 필요성의 판단과 공법 결정에 필수적인 동영상 판독이 중요한 역할을 담당함에도 불구하고, 현재에는 대량의 CCTV 동영상을 육안으로 식별하여 판독하고 있다. 그러다보니 분석시간이 많이 소요되어 소모적이고 작업 능률이 저하된다는 문제가 있다.

또한 비효율적인 동시에 비 경제적이고, 판독자의 개인 경력, 하수도 결함에 대한 시각차, 조사자가 아닌 다른 판독자가 판정하는 등의 요인에 의해 판독 평가가 이루어지게 된다. 즉 판독자의 주관적인 해석에 따른 판정 결과의 차이, 판독자의 실수로 인한 부정확성등 여러 요인으로 재판독하는 경우가 빈번한 실정이다.

따라서 CCTV 동영상을 보다 객관적이고 정확하게 판독하는 기술이 요구되고 있으나 국내외적으로 판독의 객관적인 지표마련이 미확립되어 있기 때문에 한계가 있다.

KR 10-2013-0043801 A KR 10-2018-0080579 A KR 10-1557865 B

본 발명은 이 같은 배경에서 도출된 것으로, 딥러닝 기법을 이용하여 하수관의 결함을 탐지함으로써 사진촬영 데이터 혹은 CCTV 기반의 동영상 데이터를 통해 샘플링한 파이프 결함 이미지 데이터 세트를 신경망의 입출력으로 학습시켜서 이를 기반으로 하수관의 결함을 분류하고 판독결과를 정량적으로 분석 및 제공할 수 있는 하수도관 내부 결함 탐지 장치 및 방법을 제공하고자 한다.

또한 하수도관 내부의 결함 유형을 정확히 식별하고, 보다 신속하게 결함 위치를 정확히 파악할 수 있는 하수도관 내부 결함 탐지 장치 및 방법을 제공함에 그 목적이 있다.

상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.

즉 본 발명의 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 방법은 카메라로부터 하수관 내부조사 영상을 획득하는 단계, 상기 획득된 하수관 내부조사 영상을 이용하여 샘플링하는 단계, 상기 샘플링된 하수관 내부조사 샘플 이미지를 역량 증강(Augmentation) 시키는 단계, 상기 역량 증강 된 하수관 내부조사 이미지 학습하여 신경망 모델을 전이 학습하는 단계, 상기 획득된 하수관 내부조사 영상을 이용하여 상기 전이 학습된 탐지 알고리즘을 선정하여 적용하는 단계, 상기 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악하는 단계 및 상기 파악된 결함 종류 및 결함 위치 정보를 제공하는 단계를 포함하는 것을 특징으로 한다.

한편, 딥러닝 기반의 하수도관 내부의 결함 탐지 장치는 카메라로부터 하수관 내부조사 영상을 획득하는 영상 획득부, 상기 영상 획득부로 획득된 하수관 내부조사 영상을 이용하여 샘플링하는 샘플링부, 상기 샘플링된 하수관 내부조사 샘플 이미지를 역량 증강(Augmentation) 시키는 역량 증강부, 상기 역량 증강부에서 역량 증강 된 하수관 내부조사 이미지 학습하여 신경망 모델을 전이 학습하는 전이 학습부, 상기 획득된 하수관 내부조사 영상을 이용하여 상기 전이 학습된 탐지 알고리즘을 선정하여 적용하는 알고리즘 적용부,

상기 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악하는 결함 파악부 및 상기 결함 파악부 파악된 결함 종류 및 결함 위치 정보를 제공하는 정보 제공부를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 딥러닝 기법을 이용하여 하수도관 내부의 결함을 탐지함으로써, 과거 수동으로 하수도관 결함을 식별함에 의해 발생되는 인적 낭비, 시간적 낭비, 주관적 판단에 의한 오류 문제를 해결할 수 있고, 기존의 영상처리 기반의 과도한 컴퓨터 자원 및 처리 시간을 줄일 수 있는 하수도관 내부 결함 탐지 장치 및 방법을 제공하는 효과가 도출된다.

뿐만 아니라, 하수도관 내부의 결합 유형을 정확히 식별하고 신속하게 결함 위치를 정확히 파악할 수 있는 하수도관 내부 결함 탐지 장치 및 방법을 제공할 수 있다.

특히 하수도관 결함을 판정함에 있어 평균 정밀도(mAP)를 83%까지 향상시킬 수 있는 효과가 도출된다.

도 1 은 본 발명의 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 장치의 구성을 도시한 블록도,
도 2 및 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 방법을 설명하기위한 예시도,
도 4 는 본 발명의 일 실시예에 따른 CNN아키텍처의 예시도,
도 5 는 본 발명의 일 실시예에 있어서 영역 기반 지역 신경망 (R-CNN)을 적용한 전반적인 작업 과정을 도시한 예시도,
도 6 은 본 발명의 일 실시예에 따른 더 빠른 R-CNN(Faster R-CNN) 모델을 적용한 예시도,
도 7a 내지 도 7s는 실시예에 따른 하수관 결함 샘플 이미지의 예시도,
도 8 은 본 발명의 일 실시예에 따른 수정된 모델(faster R-CNN 모델)을 사용한 경우 각 결함에 대한 정밀도를 비교도시한 그래프,
도 9 는 원본 및 수정된 모델(faster R-CNN 모델)의 CNN계층 아키텍처의 예시도,
도 10 은 본 발명의 일 실시예에 따른 원본 및 수정된 모델(faster R-CNN 모델)의 성능 평가 결과를 도시한 테이블,
도 11 은 본 발명의 일 실시예에 따른 수정된 모델을 사용한 경우 각 결함에 대한 누락률 곡선을 비교도시한 그래프이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 1 은 본 발명의 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 장치의 구성을 도시한 블록도이다.

일 실시예에 따른 결함 탐지 장치는 영상 획득부(100), 샘플링부(110), 역량 증강부(120), 전이 학습부(130), 데이터베이스부(140), 알고리즘 적용부(150), 결함 파악부(160) 및 정보 제공부(170)를 포함한다.

일 실시예에 있어서 결함 탐지 장치는 프로세서를 포함하며 기능적인 동작은 프로세서 내에 탑재되어 해당 기능을 실행하도록 구동되는 프로그램이나 논리회로의 조합에 의해 구현될 수 있다.

영상 획득부(100)는 카메라로부터 하수관 내부조사 영상을 획득한다. 일 실시예에 있어서 영상 획득부(100)는 CCTV 카메라와 같은 내부 조사를 위해 직접 촬영하는 카메라로부터 하수관 내부조사 영상을 획득할 수 있고, 추가적으로 유무선 통신망을 통해 수집되는 하수관 내부조사 촬영 영상을 획득하는 것도 가능하다.

샘플링부(110)는 영상 획득부(100)로 획득된 하수관 내부조사 영상을 이용하여 샘플링한다.

역량 증강부(120)는 샘플링된 하수관 내부조사 샘플 이미지를 데이터 전처리 및 역량 증강(Augmentation) 시킨다. 이때 탐지 신경망 모델 훈련, 데이터 생성 모델 훈련, 데이터 생성등을 구현한다.

그리고 전이 학습부(130)는 역량 증강부에서 역량 증강 된 하수관 내부조사 이미지를 학습하여 신경망 모델을 전이 학습한다.

이때 전이 학습부(130)는 탐지 신경망을 이용하여 데이터 생성 모델 신경망을 훈련시켜 많은 결함 이미지 데이터를 새로 생성할 수 있고, 이를 데이터베이스부(140)에 저장한다. 즉 전이 학습부(130)에서 결함 이미지를 새로 생성하여 저장함으로써 학습된 탐지 신경망 모델의 성능을 지속적으로 더 증가시킬 수 있는 효과가 있다.

일 실시예에 있어서 전이 학습부(130)는 수신된 영상파일이나 동영상파일의 이미지에 포함되어 있는 물체에 해당하는 영역을 특정하기 위하여 RPN(Region Proposal Network)를 이용하여 객체영역을 추출한다.

그리고 추출된 객체 영역에 있는 물체를 하나의 객체로 인식하기 위하여 딥러닝 알고리즘인 R-CNN알고리즘을 이용하여 학습하여 저장된 데이터베이스부(140)의 여러 객체들과 비교하여 이미지속의 물체가 데이터베이스부(140)의 객체로 인식이 되면 인식된 객체의 명칭 결과를 다시 데이터베이스부(140)에 저장하여 학습 결과를 업그레이드한다. 이렇게 저장된 결과는 R-CNN알고리즘을 업그레이드하는 새로운 학습으로 저장되는 것이다.

알고리즘 적용부(150)는 획득된 하수관 내부조사 영상을 이용하여 전이 학습된 탐지 알고리즘을 선정하여 적용한다.

일 실시예에 있어서 알고리즘 적용부(150)는 객체영역을 특정하는 RPN과 특정된 객체를 인식하는 알고리즘인 Fast R-CNN을 하나의 네트워크로 컨볼루션 결합을 통해 보다 빠르게 객체인식을 수행하도록 할 수 있다. 즉, 객체인식을 위해 이미지내의 물체와 데이터베이스부(140)에 저장된 다양한 정보와 비교함으로써 발생하는 많은 연산에 따라 소요되는 시간을 줄일 수 있고, 기존 방식보다 훨씬 빠르게 결함 발생 여부 및 결함 종류와 결함 위치에 대한 인식할 수 있다.

결함 파악부(160)는 알고리즘 적용부(150)에서 선정된 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악한다.

그리고 정보 제공부(170)는 결함 파악부(160)에서 파악된 결함 종류 및 결함 위치 정보를 제공한다. 일 실시예에 있어서 정보 제공부(170)는 결함 종류 및 결함 위치 정보를 가시적인 데이터로 출력할 수 있는 기술적 구성은 모두 포괄하도록 해석된다.

본 발명의 일 양상에 따르면 전이 학습부(130)는 영역 기반 지역 신경망(R-CNN)을 이용하여 신경망 모델을 전이 학습한다.

특히 전이 학습부(130)는 내부조사 이미지에서 컨볼루션 신경망 (convolutional neural network)을 이용하여 특징을 추출하고, 피쳐 맵 (feature map)이 마지막 층에서 생성되며, 지역 제안 네트워크(RPN:region proposal network)가 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안을 생성하며, 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 제공할 수 있다.

도 2 및 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 방법을 설명하기위한 예시도이다.

보다 상세하게는 도 2는 하수도관 내부의 결함 탐지를 위한 학습과정을 도시한 예시도이고, 도 3 은 하수도관 내부의 결함 탐지 과정을 도시한 예시도이다.

도 2 와 3 에 도시된 바와 같이 일 실시예에 따른 하수도관 내부의 결함 탐지 방법은

도 2 에 도시된 바와 같이 학습 과정의 일환으로 하수관 CCTV 내부조사 영상을 이용하여 영상 샘플링 및 라벨링을 하고, 데이터 전처리 및 Augmentation(별도 데이터 주석), 탐지 신경망 모델 훈련, 데이터 생성 모델 훈련, 데이터 생성 등을 구현한다. 그리고 학습된 탐지 신경망 모델을 전이 학습한다.

학습 과정 이후에 결함 탐지 과정은 도 3 에서 알 수 있듯이, 개략적으로 하수관 CCTV 내부조사 영상을 이용한 탐지 알고리즘 선정 및 최종적으로 결함 분류 및 위치를 확인하는 과정을 거치게된다.

일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 장치 및 방법은 딥러닝 기법에서 파생된 다양한 알고리즘을 이용하여 하수관의 결함을 탐지한다. 일 실시예에 있어서, 사진 촬영 혹은 CCTV 기반의 동영상 데이터를 통해 샘플링한 파이프 결함 이미지 데이터 세트를 신경망의 입출력으로 학습시킨다.

그리고 카메라가 탑재된 로봇을 이용하여 촬영한 하수관 파이프 내부 영상을 통해 하수관 파이프의 결함을 탐지하여 결함 종류 및 위치를 파악할 수 있다.

또한 학습된 탐지 신경망을 이용하여 데이터 생성 모델 신경망을 훈련시켜서 많은 결함 이미지 데이터를 새로 생성함으로써 학습된 탐지 신경망 모델의 성능을 지속적으로 증가시킬 수 있다.

즉, 딥러닝 기법을 이용하여 하수도관 내부의 결함을 탐지함으로써 과거에 수동으로 하수도관 결함을 식별함에 의해 발생되는 인적 시간적 주관적 오류들을 해결할 수 있다.

또한 기존의 영상처리 기반의 과도한 컴퓨터 자원 및 처리 시간을 줄일 수 있음은 물론 정확도를 높일 수 있는 효과가 도출된다.

딥러닝(Deep Learning)은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 많은 양의 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다.

이때 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 기계학습 방법이다.

딥러닝 기술의 알고리즘은 이미지 인식을 위한 CNN(convolutional neural networks)이 있다. 이는 데이터로부터 자동으로 피쳐(feature)를 학습하는 알고리즘이다.

딥 러닝(deep learning) 기술은 심층 학습 (deep learning) 아키텍처를 통해 다양한 분야에서 광범위하게 개발되고 적용되며, 그 중 CNN (Convolutional Neural Network)이 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 장치에 적용될 수 있다.

머신러닝을 통해 데이터를 학습하기 위해 먼저 날것의 데이터(필셀단위의 데이터)를 조금더 추상적 레벨이 높은 피쳐(선, 면, 모설)로 가공하는 과정이 필요한데 딥러닝 기술, 특히 CNN은 이런 피쳐를 데이터로부터 효율적으로 학습한다.

도 4는 본 발명의 일 실시예에 따른 CNN아키텍처의 예시도이다.

도 4에서 볼 수 있듯이 CNN 모델은 컨볼루션(공진화), 활성화, 풀링, 정규화 및 완전 연결을 포함하는 레이어 스택을 통해 처리 한 후 입력에 대한 결과를 출력한다. 기존의 접근 방식과 비교하여 CNN은 이미지 사전 처리가 덜 필요하고 학습을 통해 기능을 추출하므로 피쳐 추출기의 수동 설계에 대한 전문 지식이 필요하지 않다는 장점이 있다.

또한, 영역 기반 지역 신경망 (R-CNN:Regions with CNN features)는 하나의 이미지에서 주요 객체들을 박스(Bounding box)로 표현하여 정확히 식별(identify) 하기 위한 것이다. 이는 이미지 데이터를 입력으로, 박스로 영역을 표시하고(Bounding box) 각 객체에 대한 라벨링(class label) 한 형태를 출력으로 갖는다. 즉, 이는 이미지 내에 물체가 있을 법한 영역 후보들을 먼저 제안하고 이들의 스코어를 매겨 물체를 인식하는 방법이다.

도 5는 본 발명의 일 실시예에 있어서 영역 기반 지역 신경망 (R-CNN)을 적용한 전반적인 작업 과정을 도시한 예시도이다.

영역 기반 지역 신경망 (R-CNN)은 객체 검출을 위한 전형적인 학습 방법 중 하나이며, 지역 제안이 생성되고 각각이 전술한 CNN 모델로 전달된다. 지형 훈련과 낮은 탐지 속도 문제를 개선하기 위해 고속 R-CNN이 나중에 개발되었는데, 지역 제안서가 지형지도 맵에서 생성되어 분류 및 바운딩 박스 회귀를 위해 두 개의 레이어로 공급된다.

나아가 Fast R-CNN, Faster R-CNN은 후속모델로 계산 성능과 정확도를 개선한 알고리즘이다. 이는 영역구분은 이미지 CNN 레이어들을 통해 작은 사이즈로 추상화한 뒤 그들을 다시 풀어헤치며 픽셀에 대한 단순화 추론을 가능케 한다.

빠른 R-CNN(Fast R-CNN)은 여전히 선택 탐색에 의존하기 때문에 영역 제안을 생성하는 별도의 지역 제안 네트워크 (RPN)와 기능을 위한 빠른 R-CNN 탐지기로 구성된 보다 빠른 R-CNN(Faster R-CNN)이 제안되었다. 보다 빠른 R-CNN(Faster R-CNN)의 주된 특징은 RPN과 고속 R-CNN 검출기가 회선 레이어를 공유할 수 있어 계산 비용을 크게 줄일 수 있다는 점이다.

도 6은 본 발명의 일 실시예에 따른 더 빠른 R-CNN(Faster R-CNN) 모델을 적용한 예시도이다.

더 빠른 R-CNN(Faster R-CNN) 모델은 일반적으로 도 6에서와 같이 RPN(region proposal network)과 빠른 R-CNN 감지기를 포함한다. 오브젝트 감지에 더 빠른 R-CNN을 적용하는 과정에는 세 가지 주요 단계가 있다.

첫째, 컨볼루션 신경망 (convolutional neural network)이 특징 추출을 위해 이용되고, 피쳐 맵 (feature map)이 마지막 층에서 생성된다. 둘째, RPN은 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안(Regional Proposals)을 생성한다. 그리고 세 번째 단계에서 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 공급한다.

보다 구체적으로 CNN을 이용한 특징 추출 과정을 살펴보면, 일실시예에 있어서, Zeiler-Fergus 네트워크의 CNN 레이어는 5 개의 컨벌루션 레이어와 3개의 최대 풀링 레이어를 포함한다.

컨볼루션 층은 입력 이미지의 픽셀 어레이 위로 슬라이딩하는 필터를 사용하고, 필터와 서브 어레이 사이의 내적이 계산된다. 내적의 값과 바이어스 값이 추가되어 하위 배열에 대한 회선 결과가 얻어진다.

이때 필터 및 바이어스의 초기 가중치는 무작위로 할당되며 SGD (Stochastic Gradient descent) 알고리즘을 통해 교육 중에 계속 조정가능하다. 최대 풀링 계층은 입력 픽셀 배열의 하위 배열에서 최대 값을 가져 와서 입력 데이터의 공간 크기를 줄일 수 있다.

ReLU 함수는 활성화 함수로 사용되며 max (0, x) 함수로 요소 단위 활성화를 적용하여 계산 비용을 줄이고 정확도를 향상시킬 수 있다. 과도한 피팅 문제를 피하기 위해 드롭 아웃 레이어는 두 개의 인접한 레이어에 있는 뉴런 사이의 연결 부분을 특정 드롭아웃 속도로 연결 해제하도록 설계된다.

정규화 레이어는 학습 속도에 영향을 주지 않고 입력 이미지의 화이트닝을 돕기 위해 적용되며 높은 학습 속도와 빠른 수렴 속도로 이어질 수 있다.

또한, 결함 탐지를 위한 영역 제안 네트워크(RPN)는 보다 빠른 R-CNN(faster R-CNN)에서 앵커를 사용하여 다양한 종횡비 및 비율로 객체 영역을 생성하도록 학습한다. 작은 슬라이딩 윈도우가 피쳐 맵 위로 미끄러지도록 제안 된 다음 더 낮은 차원의 피쳐 (ZF 네트워크의 경우 256 차원)로 투영된다.

2 개의 1×1 필터 및 ReLU 함수와의 컨볼루션 (convolution) 후, 추출 된 피쳐는 경계 박스 회귀 층 및 분류 층으로 각각 공급된다. 비 최대 억제(NMS)는 조합 (IoU)이 높은 제안서를 병합하는 데 사용될 수 있다. 이때 제안서는 객체 점수에 따라 순위가 매겨지며 최상위만 N 개의 순위가 매겨진 제안서가 보관된다.

그리고 RPN을 통해 생성된 영역 제안(Regional Proposals)은 고속 R-CNN 검출기의 입력 관심 영역 (RoI)으로 활용된다. 각 RoI에 대해, 컨볼루션 계층의 특징은 RoI 풀링 계층을 통해 고정 길이 벡터로 변환된다. 각 고정 길이 특징 벡터는 완전히 연결된 레이어의 시퀀스로 공급되고 최종 특징 벡터는 softmax 레이어로 공급되어 5개의 클래스에 대한 확률 점수와 경계 상자의 상대 좌표를 출력하는 회귀 레이어를 생성할 수 있다.

일 실시예에 있어서 RPN학습을 수행하기 전에 각 영역 제안서에 결함이 영역에 포함되어 있는지 여부를 나타 내기 위해 레이블이 붙는다. RPN은 다중 업무 손실 함수를 이용한 방정식 즉 아래 수학식1을 사용하여 훈련될 수 있다.

여기서,

는 앵커(anchor)의 수를 나타내고

는 (

,

) 앵커

의 예상 확률은 한 유형의 하수관 결함이다.

는 앵커

의 ground-truth label을 나타낸다.

또한

는 예상 경계 상자의 좌표를 나타내는 벡터이고

는 양의 앵커와 관련된 ground-truth bounding box를 나타낸다.

와

는 두 구성 요소의 두개의 정규화 계수이며 균형 매개 변수 λ에 의해 가중치가 부여된다.

일 실시예에 있어서

의 값은 256,

는 240, λ는 10으로 설정될 수 있다.

바운딩 박스(bounding box) 회귀의 목적은 제안 된 바운딩 박스의 정확한 위치를 예측하는 것이다. 앵커 좌표의 매개 변수화는 다음 방정식을 사용할 수 있다.

여기서

은 강력한 회기 손실함수이다.

또한 Mask R-CNN은 Faster R-CNN에 각 픽셀이 오브젝트에 해당하는 것인지 아닌지를 마스킹하는 네트워크(CNN)를 추가한 것이다. 이를 바이너리 마스크(binary mask)라 한다. 보다 정확한 픽셀 위치를 추출하기 위해 CNN을 통과하면서 RoIPool 영역의 위치에 생기는 소숫점 오차를 2D 선형보간법(bilinear interpolation)을 통해 감소시킨 것이고, 이를 RoIAlign이라고 한다. 이에 따라 마스킹 이미지가 만들어 질 수 있다.

이하, 딥 러닝 기반한 딥러닝 기반의 하수도관 내부의 결함 탐지 방법에서 결함 탐지 평가 과정을 보다 상세히 설명한다.

일 실시예에 있어서 탐지 정확도는 평균 정확도와 누락률을 사용하여 나타낼 수 있다. 탐지 속도와 훈련 시간을 더 반영할 수 있다.

평균 정밀도(AP : Average precision)는 다음과 같이 정의될 수 있다.

여기서,

평균 정밀도(AP: Average Precision)는 Recall value [0.0, 0.1, …, 1.0] 값들에 대응하는 정밀도(Precision) 값들의 Average 이다.

여기서 정밀도(Precision)라함은 분류기의 성능평가지표로 사용하는 Precision-Recall 에서의 Precision과 같은 의미이다. 인식기(object-detector) 가 검출한 정보들 중에서 Ground-Truth 와 일치하는 비율을 의미한다.

산술평균 정밀도(mAP:mean Average Precision)는 1개의 객체(object)당 1개의 평균 정밀도(AP) 값을 구하고, 여러 인식기(object-detector)에 대해서 mean 값을 구한 것이 mAP 이다.

mAP(mean Average Precision)는 다음과 같이 구할 수 있다.

누락률(missing rate)은 이미지당 오탐률 수를 계산하여 누락된 개체의 비율을 나타내며 다음과 같이 구할 수 있다.

탐지 학습(trainig) 속도 및 시간은 계산 비용을 반영하는 데 사용할 수 있다 탐지 속도는 초당 감지된 프레임(FPS)으로 표시된 각 이미지의 결함을 식별하고, 영역화(localizing)하는데 필요한 시간을 나타낸다.

일 실시예에 있어서 서로 다른 실험 설정과 네트워크 모델을 가진 19가지 하수관 결함 유형을 탐지하기 위한 제안된 접근법의 적용 가능성을 입증할 수 있다.

도 7 a 내지 도 7 s는 실시예에 따른 하수관 결함 샘플 이미지의 예시도이다.

일예로 1260개의 CCTV 하수도 검사 비디오에서 수집된 이미지는 수직 및 수평반전, 회전 및 크기 조정 및 색상 조정을 통해 데이터 세트 크기를 늘릴 수 있다. 즉 데이터 확대(Augmentation)가 수행된다. 데이터 확대후 3000개의 이미지가 224*224 픽셀의 동일한 크기로 축소되고 라벨이미지(Label Image)를 이용하여 주석이 추가될 수 있다.

주석이 달린 이미지는 1000, 2000 및 3000이미지로 세개의 서로 다른 데이터 세트 A,B,C로 나눌 수 있다. 데이터 세트의 85%는 학습및 검증에 사용되고 15%는 테스트(결함 파악)에 사용된다. 즉 본 발명의 일 실시예에 따른 결함 탐지 모델은 Caffe와 같은 심층적 학습 프레임 워크를 기반으로 개발될 수 있다.

구체적으로 도 7a는 하수관 결함 중 균열(Crack) 사례를 도시한 예시도이다. 균열(Crack)은 하수관로 벽에 균열 선이 나타나며 눈에 띄게 균열이 벌어져 있는 형태로, 콘트리트 조각 혹은 기타 골재들의 유실이 없는 상태이다. 구체적으로 '길이'라 함은 종방향 균열로써 하수관로의 축방향으로 나타난 균열을 말하고, '원주'라함은 하수관로의 축에 직각 방향으로 나타난 균열로써 관로의 경우 원주 형태로 나타난다. 또한 '복합'이라함은 길이/원주 방향으로 균열이 한구간에 '대'등급 이상으로 동시에 발생한 형태이다.

도 7b는 하수관 결함 중 표면손상(Surface Damage) 사례를 도시한 예시도이다. 표면손상(Surface Damage)은 하수관로의 표면이 파쇄나 마모로 인해 나타나는 결함항목으로 벽체 거칠기 증가, 쇄굴, 골재 노출, 철근 노출, 철근 부식 등 표면 손상으로 나타나는 현상들을 포함한다. 단, 해당 결함은 조사 관종이 철근콘트리트 등의 강성관의 경우에만 나타난다.

도 7c는 하수관 결함 중 라이닝 결함(Lining Defect) 사례를 도시한 것이다. 라이닝 결함(Lining Defect)은 보호 라이닝의 노후화, 변질 또는 파손으로 인해 나타나는 결함으로, 라이닝의 부품, 접착결함, 관로와의 분리등의 현상을 포함한다.

도 7d는 하수관 결함 중 좌굴(Bucking) 사례를 도시한 예시도이다. 좌굴(Bucking)은 강성관과 달리 연성관의 경우 낮은 탄성 계수로 인하여 나타나는 현상으로 외부 하중에 의해 하수관로가 구부러지는 현상을 의미한다. 등급은 하수관로의 구부러짐에 따른 관경(직경)의 변화율을 기준으로 산정한다.

도 7e는 하수관 결함 중 변형(Deformation) 사례를 도시한 예시도이다.

변형 (Deformation)은 하수관로의 단면형상이 눈에 띄게 변경된 결함을 말하며, 연성관에서 발생하는 파손 및 붕괴와 같은 가시적인 결함 없이 나타나는 변형으로 한정한다. 기준은 변형 발생으로 인한 관경(직경)의 변화율을 기준으로 등급을 구분한다.

도 7f는 하수관 결함 중 파손(Broken Pipe) 사례를 도시한 예시도이다.

파손(Broken Pipe)은 외부 공사 혹은 외압에 의해 하수관로가 파손된 상태로, 파손으로 인한 단면적 손실이 25% 미만에 해당하는 항목들로 구성된다. 단, 맨홀과 달리 고의적인 타관통과에 의한 천공구멍 발생은 천공(Hole) 결함으로 분류한다.

도 7g는 하수관 결함 중 붕괴(Collapsed pipe) 사례를 도시한 예시도이다.

붕괴 (Collapsed pipe)는 하수관로의 구조적 안정성을 완전히 상실한 상태를 말하며 관경 30% 이상 손실 혹은 파손(Broken)으로 횡단면 손실이 25% 이상 발생한 결함을 말한다.

도 7h는 하수관 결함 중 영구 장애물(Permanent Obstruction) 사례를 도시한 예시도이다.

영구 장애물(Permanent Obstruction)이라함은 하수관로에 수리적 용량 저하 혹은 흐름에 심각한 영향을 미치는 관로 내 장애물로써, 고정 물질, 하수관로 벽으로 침투한 외부 물체 또는 외부 공사장으로부터 유입된 모르타르 등 세척 장비를 사용하여 제거 할 수 없는 장애물을 존재하는 경우 해당 결함으로 분류한다.

도 7i는 하수관 결함 중 천공(Hole) 사례를 도시한 예시도이다.

천공(Hole)은 하수관로의 벽체에 구멍이 발생한 경우로, 해당 구멍을 통해 뒷채움재나, 공동이 관측된다. 혹은 고의적인 타관 통과로 인해 구멍이 발생한 경우도 해당 결함으로 포함한다. 결함 정도는 관둘레에서 해당 천공구멍이 차지하는 비율을 기준으로 산정한다.

도 7j는 하수관 결함 중 연결관(Lateral) 사례를 도시한 예시도이다.

연결관(Lateral)은 대상 하수관로에 연결된 연결관의 접합부 인근에서 발생하는 결함으로, 연결관 접합 후, 커팅이 제대로 이루어지지 않은 돌출 및 접합부 인근 발생하는 손상 현상을 포함한다.

구체적으로 '돌출'은 관로의 측면에 연결관이 튀어 나오는 결함으로 돌출로 인한 관경 손실로 등급 구분하고, '접합부 이상'은 하수관로와 연결관 사이의 접합부에 결함이 발생된 모든 경우를 통칭한다.

도 7k는 하수관 결함 중 이음부(Joint) 사례를 도시한 예시도이다.

이음부(Joint)는 대상 하수관로 본과 인접 하수관로 본을 연결하는 이음부에서 발생하는 결함으로, 수평/수직 벌어짐을 의미하는 단차 및 이탈 결함을 포함하여, 기타 손상으로 발생되는 현상을 포함한다.

구체적으로 '단차'는 대상 하수관로 본이 인접 하수관로 본과 동심 배치를 만족하지 못하는 상태이고, '손상'은 이음부 부근에서 관측되는 단차/이탈을 제외한 결함들(균열, 공동, 고무링 노출 등)이며, '이탈'은 이음부 부분 인접 하수관로와의 동심배치는 만족하나 축방향 단차가 존재하는 상태이다.

도 7l는 하수관 결함 중 침하(Sags) 사례를 도시한 예시도이다.

침하(Sags)는 조사구간 중 특정 본에 침하가 발생하여 관측되는 결함 항목으로, 일반적으로 조사 시, 수위 변화에 의해 관측된다. 조사 중, 장애물로 인한 수위 상승이 아닌, 육안으로 원인을 파악할 수 없는 수위 상승이 발생한 경우 해당 결함으로 분류한다.

도 7m는 하수관 결함 중 역경사(Negative Slope) 사례를 도시한 예시도이다.

역경사(Negative Slope)는 조사구간 중 특정 본에 침하가 발생하여 관측되는 침하(Sags)와 달리, 조사구간 전체에 해당하는 관로의 기울기가 역경사를 이루는 결함으로, 중력식 관로에 한정해서 결함으로 적용된다. 해당 결함으로 의심되는 구간이 발생 할 경우, 시각적인 CCTV 조사와 더불어 하수관로의 기울기를 측정하여 비고에 기록한다.

도 7n는 하수관 결함 중 내피생성(Deposits, Encruted) 사례를 도시한 예시도이다.

내피생성(Deposits, Encruted)은 하수관로 벽체 퇴적물로 인해 발생하는 운영적 결함으로, 수분이 증발되어 남게 되는 주황색(산화철)의 형태로 나타난다. 일반적으로, 이음부 마나 나타나며, 미세한 틈이 존재하는 관로의 경우 발생한다.

도 7o는 하수관 결함 중 토사퇴적(Deposits, Silty) 사례를 도시한 예시도이다.

토사퇴적(Deposits, Silty)은 하수관로 내부에 실트와 자갈이 퇴적되어 나타나는 결함으로, 이음부, 파손 및 천공으로 인한 뒷채움재의 소실이 주요 원인으로 작용한다. 관경(직경)을 기준으로 결함등급을 산정한다.

도 7p는 하수관 결함 중 폐유부착(Debris, Greasy) 사례를 도시한 예시도이다.

폐유부착(Debris, Greasy)은 산화철 성분으로 인한 주황색으로 나타나지는 내피생성과 달리, 기름, 지방, 스케일 및 파이프 벽면에 부착되어 관로의 수리기능을 저하시킨다.

도 7q는 하수관 결함 중 임시 장애물(Temporary Obstruction) 사례를 도시한 예시도이다.

임시 장애물(Temporary Obstruction)은 영구 장애물과 달리, 하수관로 벽에 부착되거나 퇴적되지 않았으며, 준설 및 세척을 통해 제거가 가능한 장애물로, 내피 생성, 토사퇴적 및 폐유부착에 해당되는 결함을 제외한 기타 장애물로 인한 결함을 나타낸다.

도 7r은 하수관 결함 중 뿌리침입(Roots Intrusion) 사례를 도시한 예시도이다.

뿌리침입(Roots Intrusion)은 하수관로, 이음부 또는 연결부의 결함을 통해 식물의 뿌리가 침입하는 결함으로, 등급은 관경(직경)의 손실 비율을 기준으로 선정한다.

도 7s는 하수관 결함 중 침입수(Infiltration) 사례를 도시한 예시도이다.

침입수(Infiltration)는 하수관로, 이음부, 연결부의 결함 혹은 관로 벽체의 다공성 구역을 통해 지하수가 내부로 유입되는 결함으로, 시각으로 관측되는 정도에 따라 결함등급을 선정한다.

도 8은 본 발명의 일 실시예에 따른 수정된 모델(faster R-CNN 모델)을 사용한 경우 각 결함에 대한 정밀도를 비교도시한 그래프이다.

먼저, 도 8의 (a)와 같은 기존의 딥 네트워크(ZF network)는 도 8의 (b)와 같은 faster R-CNN 모델을 초기화하는 데 사용되었다.

도 9 는 원본 및 수정된 모델(faster R-CNN 모델)의 CNN계층 아키텍처의 예시도이다.

도 9에서 알 수 있듯이, 다섯번째 컨볼루션 레이어의 끝 부분에 최대 풀링 레이어가 뒤따르는 2개의 컨볼루션 레이어가 추가된다. 두개의 컨볼루션 레이어에 적용된 컨볼루션 스트라이드(stride) 1에 384 개의 크기 3x3 커널이 있다. 최대 풀링 계층은 스트라이드 2에서 3 × 3 윈도우로 구성된다.

하이퍼 파라미터의 경우 공유 네트워크의 첫 번째 컨볼루션 계층에서 사용되는 커널의 크기가 7 × 7에서 5 × 5. 유사하게, 제 2 컨볼루션 층에 대한 커널의 크기는 5 × 5에서 3 × 3으로 변경된다. 두 번째 최대 풀링 계층의 스트라이드는 1로 설정된다. 즉 두 모델을 각각 세 개의 데이터 세트에 적용하고 성능을 평가하고 비교할 수 있다.

도 10은 본 발명의 일 실시예에 따른 원본 및 수정된 모델(faster R-CNN 모델)의 성능 평가 결과를 도시한 테이블이다.

도 10에서 알 수 있듯이, 데이터 세트 C를 사용하는 기존 네트워크를 사용하는 모델에서는 mFA가 79.8%이므로 높은 탐지 정확도를 달성했을 뿐 아니라, 20FPS의 높은 탐지속도를 보이는 것을 확인할 수 있다. 이같은 결과는 제안된 접근법이 하수도관을 보다 정확하고 신속하게 탐지할 수 있음을 나타낸다. 또한 수정된 모델 즉 faster R-CNN 모델을 적용한 경우에 성능이 향상되어 83%의 mAP를 달성함을 확인할 수 있다.

도 11 은 본 발명의 일 실시예에 따른 수정된 모델을 사용한 경우 각 결함에 대한 누락률 곡선을 비교도시한 그래프이다.

정밀도 리콜 곡선(AUC)에서의 면적은 AP 값을 반영한다. 그런데 도 11에서 알 수 있듯이 수정된 모델(faster R-CNN 모델)의 AUC는 동일한 데이터 세트를 사용하는 원래 모델의 AUC보다 높다.

이는 각 결함 형태 감지의 AP가 수정된 모델로 인해 개선되었음을 나타낸다.

또한 도 11에서 볼 수 있듯이 누락률 측면에서 보면 각 결함에 대해 동일한 데이터 세트로 학습 된 수정 된 모델의 누락률 곡선은 일반적으로 원래 모델의 누락율 곡선보다 낮아 수정 된 모델을 사용할 때 누락 된 결함이 거의 없음을 나타낸다. 수정 된 모델의 한 가지 한계는 검출 속도가 9 FPS로 감소되었지만, 하수관 검사의 검출 속도에 비해 검출 정확도가 더 높기 때문에 실제 검출에는 영향이 없다고 가정할 수 있다.

즉, 다시 말해 일 실시예에 따른 딥러닝 기반의 하수도관 내부의 결함 탐지 장치 및 방법은 faster R-CNN을 사용하여 CCTV 영상에서 하수관 결함을 자동으로 탐지하기 위한 딥러닝 기반의 접근 방식을 제안하는 것이다. 파이프 결함의 4가지 유형을 포함하는 이미지를 모으고 모델 훈련 및 평가를 위해 주석을 달았고 실험 결과, 제안된 접근법이 높은 mAP 및 낮은 누락률로 하수관 결함을 효과적으로 탐지 할 수 있음을 확인할 수 있다.

또한 기존 네트워크의 하이퍼 매개 변수(hyper-parameters)를 조정하여 개선함으로써 mAP가 83 %에 도달하도록 향상시킬 수 있다. 특히, 컨볼루션 레이어가 많을수록 검색 정확도가 높아진다. 또한 필터의 크기가 작을수록, 풀링, 컨볼루션 스트라이드(stride)에 따라 평균 정밀도를 향상시키고 누락률을 더 감소시키는 것도 가능하다.

전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 영상 획득부 110 : 샘플링부
120 : 역량 증강부 130 : 전이 학습부
140 : 데이터베이스부 150 : 알고리즘 적용부
160 : 결함 파악부 170 : 정보 제공부

Claims (10)

1. 카메라로부터 하수관 내부조사 영상을 획득하는 단계;
   상기 획득된 하수관 내부조사 영상을 이용하여 샘플링하는 단계;
   상기 샘플링된 하수관 내부조사 샘플 이미지를 역량 증강(Augmentation) 시키는 단계;
   상기 역량 증강 된 하수관 내부조사 이미지 학습하여 신경망 모델을 전이 학습하는 단계;
   상기 획득된 하수관 내부조사 영상을 이용하여 상기 전이 학습된 탐지 알고리즘을 선정하여 적용하는 단계;
   상기 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악하는 단계; 및
   상기 파악된 결함 종류 및 결함 위치 정보를 제공하는 단계;를 포함하는 것을 특징으로 하고,
   상기 전이학습 단계는,
   상기 샘플링된 하수관 내부조사 영상을 샘플링하여 획득되는 하수관의 결함 이미지 데이터 세트를 신경망의 입출력으로 학습시키는 것을 특징으로 하며,
   상기 전이 학습 단계는,
   영역 기반 지역 신경망(R-CNN)을 이용하여 CNN계층 아키텍처에서 다섯번째 컨볼루션 레이어의 끝 부분에 최대 풀링 레이어가 뒤따르는 2개의 컨볼루션 레이어가 추가되는 수정된 모델(faster R-CNN 모델)을 적용하는 신경망 모델을 전이 학습하는 것을 특징으로 하며,
   상기 파악하는 단계는, 하수관 결함 유형을 탐지하기 위한 하수관 결함 샘플 이미지를 참조하여 하수관 결함 종류를 분류하는 것을 특징으로 하고,
   상기 하수관 결함 샘플 이미지는 균열, 표면손상(Surface Damage), 라이닝 결함(Lining Defect), 좌굴(Bucking), 변형(Deformation), 파손(Broken Pipe), 붕괴(Collapsed pipe), 영구 장애물(Permanent Obstruction), 천공(Hole), 연결관(Lateral), 이음부(Joint), 침하(Sags), 역경사(Negative Slope), 내피생성(Deposits, Encruted), 토사퇴적(Deposits, Silty), 폐유부착(Debris, Greasy), 임시 장애물(Temporary Obstruction), 뿌리침입(Roots Intrusion), 및 침입수(Infiltration) 중 적어도 하나에 의한 하수관 결함 유형을 탐지하기 위한 것임을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 방법.
   
2. 삭제
3. 삭제
4. 제 1 항에 있어서, 상기 전이학습 단계는,
   컨볼루션 신경망 (convolutional neural network)을 이용하여 특징을 추출하고, 피쳐 맵 (feature map)이 마지막 층에서 생성되며, 지역 제안 네트워크(RPN:region proposal network)가 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안을 생성하며, 상기 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 제공하는 것을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 방법.
   
5. 제 1 항에 있어서, 상기 전이학습 단계는,
   탐지 신경망 모델 훈련, 데이터 생성 모델 훈련, 데이터 생성 중 적어도 하나를 구현하는 것을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 방법.
   
6. 하수관 내부조사 영상을 획득하는 영상 획득부;
   상기 영상 획득부로 획득된 하수관 내부조사 영상을 이용하여 샘플링하는 샘플링부;
   상기 샘플링된 하수관 내부조사 샘플 이미지를 역량 증강(Augmentation) 시키는 역량 증강부;
   상기 역량 증강부에서 역량 증강 된 하수관 내부조사 이미지 학습하여 신경망 모델을 전이 학습하는 전이 학습부;
   상기 획득된 하수관 내부조사 영상을 이용하여 상기 전이 학습된 탐지 알고리즘을 선정하여 적용하는 알고리즘 적용부;
   상기 탐지 알고리즘을 적용하여 결함 종류를 분류하고 결함 위치를 파악하는 결함 파악부; 및
   상기 결함 파악부 파악된 결함 종류 및 결함 위치 정보를 제공하는 정보 제공부;를 포함하는 것을 특징으로 하고,
   상기 전이학습부는,
   상기 샘플링된 하수관 내부조사 영상을 샘플링하여 획득되는 하수관 결함 이미지 데이터 세트를 신경망의 입출력으로 학습시키는 것을 특징으로 하며,
   상기 전이학습부는,
   영역 기반 지역 신경망(R-CNN)을 이용하여 CNN계층 아키텍처에서 다섯번째 컨볼루션 레이어의 끝 부분에 최대 풀링 레이어가 뒤따르는 2개의 컨볼루션 레이어가 추가되는 수정된 모델(faster R-CNN 모델)을 적용하는 신경망 모델을 전이 학습하는 것을 특징으로 하며,
   상기 결함 파악부는
   19가지 하수관 결함 유형을 탐지하기 위한 하수관 결함 샘플 이미지를 참조하여 하수관 결함 종류를 분류하는 것을 특징으로 하며,
   상기 하수관 결함 샘플 이미지는 균열, 표면손상(Surface Damage), 라이닝 결함(Lining Defect), 좌굴(Bucking), 변형(Deformation), 파손(Broken Pipe), 붕괴(Collapsed pipe), 영구 장애물(Permanent Obstruction), 천공(Hole), 연결관(Lateral), 이음부(Joint), 침하(Sags), 역경사(Negative Slope), 내피생성(Deposits, Encruted), 토사퇴적(Deposits, Silty), 폐유부착(Debris, Greasy), 임시 장애물(Temporary Obstruction), 뿌리침입(Roots Intrusion), 및 침입수(Infiltration) 중 적어도 하나에 의한 하수관 결함 유형을 탐지하기 위한 것임을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 장치.
   
7. 삭제
8. 삭제
9. 제 6 항에 있어서, 상기 전이학습부는,
   컨볼루션 신경망 (convolutional neural network)을 이용하여 특징을 추출하고, 피쳐 맵 (feature map)이 마지막 층에서 생성되며, 지역 제안 네트워크(RPN:region proposal network)가 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안을 생성하며, 상기 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 제공하는 것을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 장치.
   
10. 제 6 항에 있어서, 상기 전이학습부는
    탐지 신경망 모델 훈련, 데이터 생성 모델 훈련, 데이터 생성 중 적어도 하나를 구현하는 것을 특징으로 하는 딥러닝 기반의 하수도관 내부의 결함 탐지 장치.
    

Images