KR102202572B1 - 드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템 - Google Patents

Abstract

본 발명은, 드론에 장착된 카메라로 촬영하여 영상데이터를 확보하는 제1단계; 상기 영상데이터에서 도로 영상을 추출하는 제2단계; 상기 도로 영상에서 균열 영상을 추출하는 제3단계; 및 상기 균열의 균열정보를 정량화하는 제4단계;를 포함하고, 상기 제4단계는, 상기 균열의 중심선을 추출하는 제4-1단계; 상기 균열의 양쪽 외곽선을 추출하는 제4-2단계; 상기 중심선과 외곽선을 이용하여 균열의 폭을 계산하는 제4-3단계;로 이루어지는 것을 특징으로 하는 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법 및 시스템을 제공한다. 본 발명은 상기 구성에 의해서, 드론 촬영영상과 이를 딥러닝 모델을 활용하여 분석하는 인공지능을 이용함으로써 도로 표면 균열이나 손상을 신속하고 정확하게 탐지할 수 있어서 도로의 유지보수에 매우 큰 효과를 발휘된다.

Description

드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템{road crack assessment method and system using drone image and artificial intelligent algorithm}

본 발명은 드론의 촬영영상과 인공지능 알고리즘을 기반으로 한 도로의 균열을 검출하는 기술에 대한 것으로, 을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템에 관한 것으로, 드론을 활용하여 도로를 촬영한 후 촬영 이미지를 딥러닝을 통해 학습시키는 과정을 통해 도로의 파손이나 균열, 포트홀, 거북 등의 손상을 검출하는 것이며, 크게 보아 도로 이미지를 분리하는 제1단계와 분리된 도로 이미지에서 균열을 탐지하는 제2단계로 이루어지며 신속하고 정확하게 도로 표면의 균열을 검출하도록 하는 방법 및 시스템에 관한 것이다.

최근 선진국은 도로 인프라의 확대와 도로의 노후화에 따라 유지관리의 경제성과 효율성, 안전성에 대한 관심이 증가하고 있다 도로에 발생되는 균열은 도로의 성능과 수명에 미치는 영향이 크기 때문에, 균열 검사를 위한 효율적이고 체계적인 유지관리가 필요하다 현재 균열 검사는 사람이 직접 손상을 점검하는 육안점검으로 실시하고 있다 이와 같은 육안점검은 작업시간과 노동력이 많이 소요되고, 검사 도중에 사고가 발생할 수 있는 위험이 존재한다 이러한 한계를 개선하기 위해 영상 이미지를 사용하여 딥러닝(Deep Learing) 모델 기반으로 손상을 신속히 탐지하는 연구가 활발하게 진행되고 있다.

도로의 손상은 차량 운전자의 안전과 직결될 수 있으므로 정확하고 신속하게 모니터링되어야 할 것이다. 크랙(Crack), 스폴링(Spalling), 포트홀(Pot hole) 등은 도로 손상의 대표적인 예로써, 크랙은 도로의 갈라진 틈을 나타내고, 스폴링은 표면 균열이나 개재물 등이 있는 곳에 하중이 가해져 표면이 서서히 박리되는 것을 나타내며, 포트홀은 아스팔트 포장의 공용시에 포장 표면에 생기는 국부적인 홀을 나타낸다. 포트홀은 아스팔트 바인더 골재의 점착력이 침투한 수분에 의해 약화되어 발생될 수 있다. 포트홀은 도로의 공용 수명을 감소시킬 뿐만 아니라 차량 파손 및 교통사고 유발의 원인이 될 수 있다.

도로관리를 위해서는 일상점검 및 특별점검을 통해 크랙, 스폴링, 포트홀 등과 같이 긴급 보수가 필요한 포장 손상을 찾고, 도로 손상을 발견한 경우 빠른 시간 내에 보수하도록 하고 있지만, 육안 점검에 의한 관리체계는 고비용을 수반하면서도 도로 손상을 조기에 발견하기에는 역부족이다. 그러므로, 도로의 손상을 보다 신속하고 정확하게 탐지하는 방법이 필요하다.

본 발명은 최근 다양한 분야에서 사용되고 있는 드론과 인공지능을 활용하여 도로 표면 균열이나 손상을 탐지하도록 하는 기술을 제공하는 것이며, 특히, 본 발명은 드론을 이용하여 촬영한 영상데이터에서 도로 표면의 균열의 폭을 자동으로 검출해는 기술을 제공하는 것이 목적이다.

본 발명은, 드론에 장착된 카메라로 촬영하여 영상데이터를 확보하는 제1단계; 상기 영상데이터에서 도로 영상을 추출하는 제2단계; 상기 도로 영상에서 균열 영상을 추출하는 제3단계; 및 상기 균열의 균열정보를 정량화하는 제4단계;를 포함하고, 상기 제4단계는, 상기 균열의 중심선을 추출하는 제4-1단계; 상기 균열의 양쪽 외곽선을 추출하는 제4-2단계; 상기 중심선과 외곽선을 이용하여 균열의 폭을 계산하는 제4-3단계;로 이루어지는 것을 특징으로 하는 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법 및 시스템을 제공한다.

제4-3단계는, 상기 중심선에 수직인 법선을 구하는 a단계; 상기 법선이 양쪽 외곽선과 만나는 두 지점까지의 거리를 구하는 b단계;로 이루어진다.

상기 a단계는, 상기 균열 영상에서 중심선에 위치하며 특정 픽셀 수만큼 떨어져서 이웃하는 두 개의 중심픽셀을 선정하는 a-1단계; 상기 두 개의 중심픽셀의 중심을 연결한 제1선의 방향을 계산하는 a-2단계; 상기 두 개의 중심픽셀의 중심에 각각 위치하고 상기 제1선에 수직한 두 개의 법선인 제2선의 방향을 계산하는 a-3단계;를 포함한다.

상기 b단계는, 상기 균열의 영상에서 양쪽 외곽선에 위치하는 픽셀 중 상기 제2선과 만나는 두 개의 외곽픽셀을 선정하는 b-1단계; 및 상기 두 개의 외곽픽셀의 거리를 계산하는 b-2단계;를 포함한다.

상기 제4단계의 균열정보를 이용하여 균열의 실제 폭을 수치단위로 계산하는 제5단계;를 더 포함하고, 상기 균열의 실제 폭(Wc)은 아래 식으로 계산될 수 있다.

Wp: 영상데이터에서 픽셀단위로 표현된 균열의 폭, Pc: 카메라 센서의 ppcm(pixel per centimeter), Dw: 카메라 센서에서 균열부까지의 거리(mm), Lf: 카메라 센서에서 카메라 렌즈까지의 거리(mm), Dp: 영상데이터에서 하나의 단위 픽셀이 표현하는 거리(mm)

본 발명은 상기 구성에 의해서, 드론 촬영영상과 이를 분석하는 인공지능을 활용하여 도로 표면 균열이나 손상을 신속하고 정확하게 탐지할 수 있으며, 특히 도로 표면의 균열의 폭을 자동으로 검출해 내는 기술을 제공함으로써, 도로 위의 크랙 등의 크기를 식별함으로써 통상적인 보수와 긴급 보수가 필요한 포장 손상을 찾고, 도로 손상을 발견한 경우 빠른 시간 내에 보수할 수 있는 효과가 발휘된다.

도 1 내지 도 4는 본 발명에 따라 드론의 촬영영상과 인공지능 알고리즘에 기반하여 도로표면 균열을 검출하는 과정을 일 예로 도시하고 있으며,
도 5 내지 도 6은 본 발명에 따라 도로 영상 데이터에서 균열의 폭을 검출하는 과정을 도시하고 있으며,
도 7은 본 발명에 따라 도로 영상 데이터에서 균열의 폭의 폭을 계산하는 방법에 대한 이해를 돕기 위한 그림이다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 또한, 사용된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들이며 이는 사용자 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 도로 균열을 자동으로 탐지할 수 있는 딥러닝 모델 구축과 기술에 대한 것으로, 먼저, 드론을 이용하여 도로 표면에 대한 영상이미지를 수집하고, 수집된 영상 이미지를 이용하여 딥러닝 모델인 Mask R-CNN 모델을 활용하여 자동으로 균열을 탐지하는 기술을 개발하였고, 실제 콘크리트 촬영을 통해 성능을 검증한 결과 0.3mm 이상의 폭을 가진 균열에 대해 매우 신뢰성 있는 결과를 보여주었다.

딥러닝 모델은 기계 학습의 한 분야로 여러 비선형 변환 기법의 조합을 통해 다량의 데이터를 분류하기 위한 최적의 가중치를 갖는 인공신경망을 획득하는 방법이다. 인공신경망은 입력층과 출력층 사이를 연결하는 수많은 은닉층으로 구성되며 이들을 연결하는 최적의 가중치를 계산하기 위해 경사하강법(Gradient descent), 오차역전파법(Back-propagation), 드롭아웃(Dropout) 등과 같은 기법들이 적용될 수 있다. 최근 발달된 그래픽 처리 장치(Graphics Processing Unit, GPU)를 사용하면 최종적으로 가중치를 획득하기 위한 수많은 연산을 효율적으로 수행될 수 있다. 딥러닝 모델은 인터넷 기반 빅데이터가 발달하여 인공신경망의 성능을 결정짓는 학습 데이터 획득이 수월해지면서 기계 학습 분야에서 주목 받고 있는 모델이다.

본 실시예에 적용된 딥러닝 모델은 Mask R-CNN(mask and region-based convolutional neural network)을 이용하고 있다. 기존 딥러닝 모델을 사용 목적에 맞게 조정하여 사용하는 방법을 전이학습(Transfer Learning)이라고 하는데, 전이학습을 이용하면 기존의 영상 분석을 위해 학습된 딥러닝 모델을 사용하기 때문에 모델 자체를 구축하는 노력을 절감할 수 있는 장점이 있다. 또한 영상분석용으로 정렬된 신경망의 가중치 값에서 학습을 재시작하기 때문에 학습시간도 감소될 수 있다. 다만, 본 발명은 딥러닝 모델과 인공지능 알고리즘 등에 대한 것은 아니므로, 딥러닝과 인공지능 자체에 대한 구체적인 설명은 생략하기로 한다.

본 발명은 드론을 활용하여 도로 영상을 촬영한 후 이를 통해 도로의 파손이나 균열, 포트홀, 거북등의 손상을 탐지하는 기술로서 촬영 이미지를 딥러닝을 통해 학습시키는 것이며, 특징으로는 촬영된 영상에서 도로 이미지만을 분리하는 제1단계와 분리된 도로 이미지에서 균열을 탐지하는 제2단계로 나누고, 각각의 단계로 분리되는 것이 특징이다. 즉, 본 발명은 1단계 딥러닝 모델에서는 드론 영상데이터에서 도로영역 영상만을 분리하고, 2단계 딥러닝 모델에서는 분리된 영상에서 균열, 포트홀, 등 손상을 탐지하고 정량화 하는 과정으로 이루어진다. 특히, 2단계 딥러닝 모델에서 균열의 이미지를 특정하고 균열부 보다 조금 큰 영역을 활용하여 균열을 계량하며 수치화 하기 위한 알고리즘이 특징이다.

이하, 첨부된 도면을 참조하여 본 발명인 방법과 시스템에 대해 구체적으로 살펴본다.

도 1 내지 도 4를 보면, 본 발명은, 먼저 드론에 장착된 카메라로 도로 영상을 촬영하여 영상데이터를 확보하는 제1단계 과정과 상기 영상데이터에서 도로 영상을 추출하는 제2단계 과정을 거치고, 상기 도로 영상에서 균열 영상을 추출하는 제3단계을 거치게 된다. 상기 제2단계와 제3단계에서는 각각 딥러닝 모델을 이용한 학습과정을 거치게 되는 것은 위에서 설명한 바와 같다.

그리고, 본 발명은 제3단계에서 추출된 도로 균열의 균열정보를 정량화하는 제4단계를 수행하게 되는데, 상기 제4단계는, 상기 균열의 중심선을 추출하고(제4-1단계), 상기 균열의 양쪽 외곽선을 추출하게 된다(제4-2단계)하고, 이를 기초로 상기 중심선과 외곽선을 이용하여 균열의 폭을 계산한다(제4-3단계).

여기서, 균열의 폭을 계산하는 제4-3단계는, 상기 중심선에 수직인 법선을 구하는 a단계와 상기 법선이 양쪽 외곽선과 만나는 두 지점까지의 거리를 구하는 b단계로 이루어지는데, 법선과 만나는 지점 등은 드론이 촬영한 촬영 영상데이터를 기초로 하기 때문에 촬영 영상에서의 픽셀을 기초로 아래와 같은 과정을 통해 이루어지는 것이 특징이다.

도 5를 참조하여 보면, 촬영된 도로 영상에서 영상처리 기법을 이용한 균열 정보 이진화 과정을 수행한다. 영상의 이진화(binarization)란 모든 픽셀을 오로지 흑과 백으로만 표현하는 영상을 도출하는 과정으로, 어떤 경계값(threshold)를 기준으로 낮은 값을 가지는 픽셀은 흑으로 높은 값을 가지는 픽셀은 백으로 만드는 과정을 말한다. 그리고, 이진화된 균열에서 중심선과 외곽선을 추출하게 된다.

도 6을 보면, 상기 a단계는, 이진화된 균열 영상에서 중심선에 위치하며 이웃하는 두 개의 중심픽셀을 선정하고(a-1단계),

도 6을 보면, 상기 a단계는, 이진화된 균열 영상에서 중심선에 위치하며 특정 픽셀 수만큼 떨어져 이웃하는 두 개의 중심픽셀을 선정하고(a-1단계), 상기 두 개의 중심픽셀의 중심을 연결한 제1선의 방향을 선정하고(a-2단계), 상기 두 개의 중심픽셀의 중심에 각각 위치하고 상기 제1선에 수직한 두 개의 법선인 제2선의 방향을 선정하게 된다(a-3단계). 그리고, 상기 b단계는, 상기 균열의 영상에서 양쪽 외곽선에 위치하는 픽셀 중 상기 제2선과 만나는 두 개의 외곽픽셀을 선정하고(b-1단계), 상기 두 개의 외곽픽셀의 거리를 계산하는(b-2단계)로 이루어진다. 상기 a-1단계에서, "특정 픽셀 수"는 2개 이상으로서 요구되는 균열폭의 정확도를 고려하여 사용자가 적절한 조절이 가능하다.

이후, 상기 균열정보를 이용하여 균열의 실제 폭을 수치단위(mm)로 계산하는 과정을 더 포함하는데, 균열의 실제 폭(Wc)은 아래와 같은 식으로 계산될 수 있다.

위 식의 의미는 도 7에 도시된 바와 같은 비례 관계에서 나온 것으로, Wp는 영상데이터에서 픽셀단위로 표현된 균열의 폭(EX, 3픽셀 등), Pc는 카메라 센서의 ppcm(pixel per centimeter), Dw는 카메라 센서에서 균열부까지의 거리(mm), Lf는 카메라 센서에서 카메라 렌즈까지의 거리(mm), Dp는 영상데이터에서 하나의 단위 픽셀이 표현하는 거리(EX, 1mm/픽셀 등)를 각각 의미한다. 도 6과 도 7을 참조하면, 카메라 렌즈에서 균열이 있는 도로까지의 거리는 드론의 고도로 볼 수 있고, 드론의 고도 정보는 실제 고도 정보를 이용하여 드론에 장착된 GPS센서 등을 활용하여 구할 수 있다.

예를 들어, 촬영된 영상데이터에서에서 찾은 균열의 폭이 3픽셀이고, 하나의 픽셀(단위픽셀)이 1mm를 표현하게 된다면, 균열의 실제 폭(Wc)은 3픽셀 x 1mm/픽셀 = 3mm 가 된다(Wc= Dp x Wp).

본 발명은 위와 같은 과정을 통해서, 드론으로 촬영된 영상이미지에서 자동으로 도로 균열 유무와 함께 균열의 폭도 검출 가능하게 되고, 그 결과 도로의 일상점검 및 특별점검을 위해 필요한 도로 손상 정보를 신속하게 찾을 수 있게 되고, 필요한 경우 신속하게 보수가 가능하게 된다.

기존의 조사방법은 많은 인력과 시간이 소모되며 도로라는 여건상 교통 흐름의 일부를 방해하거나 조사자의 위험을 수반할 수 있고, 또한 수기로 균열을 표시하는 경우 주관적 판단이 개입되므로 작업자의 실수가 있을 수 있고 객관성이 확보되기 어려웠으나, 본 발명은 자동 균열 검출 방법 내지 시스템 장비를 개발함으로써 신속하고 객관적인 도로 파손 균열 검출이 가능하게 됨으로써 사회경제적인 비용과 비효율성을 줄일 수 있다. 또한, 도로의 파손의 확대로 인해 잠재적으로 발생할 수 있는 사고 위험을 최소화하고, 신속하고 효율적인 관리를 통해 더 안전하고 신뢰할 수 있는 사회 환경을 구축할 수 있을 것이다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

1. 드론에 장착된 카메라로 촬영하여 영상데이터를 확보하는 제1단계; 상기 영상데이터에서 도로 영상을 추출하는 제2단계; 상기 도로 영상에서 균열 영상을 추출하는 제3단계; 및 상기 균열 영상의 이진화 수행을 통해 균열정보를 정량화하는 제4단계;를 포함하고,
   상기 제4단계는, 상기 균열의 중심선을 추출하는 제4-1단계; 상기 균열의 양쪽 외곽선을 추출하는 제4-2단계; 상기 중심선과 외곽선을 이용하여 균열의 폭을 계산하는 제4-3단계;로 이루어지고,
   제4-3단계는, 상기 중심선에 수직인 법선을 구하는 a단계; 상기 법선이 양쪽 외곽선과 만나는 두 지점까지의 거리를 구하는 b단계;로 이루어지고,
   상기 a단계는, 상기 균열 영상에서 중심선에 위치하며 특정 픽셀 수만큼 떨어져서 이웃하는 두 개의 중심픽셀을 선정하는 a-1단계; 상기 두 개의 중심픽셀의 중심을 연결한 제1선의 방향을 선정하는 a-2단계; 상기 두 개의 중심픽셀의 중심에 각각 위치하고 상기 제1선에 수직한 두 개의 법선인 제2선의 방향을 선정하는 a-3단계;를 포함하는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 b단계는,
   상기 균열의 영상에서 양쪽 외곽선에 위치하는 픽셀 중 상기 제2선과 만나는 두 개의 외곽픽셀을 선정하는 b-1단계; 및
   상기 두 개의 외곽픽셀의 거리를 계산하는 b-2단계;를 포함하는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법.
5. 제1항에 있어서,
   상기 제4단계의 균열정보를 이용하여 균열의 실제 폭을 수치단위로 계산하는 제5단계;를 더 포함하는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법.
6. 제5항에 있어서,
   상기 균열의 실제 폭(Wc)은 아래 식으로 계산되는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 방법.
   

   

   
   Wp: 영상데이터에서 픽셀단위로 표현된 균열의 폭
   Pc: 카메라 센서의 ppcm(pixel per centimeter)
   Dw: 카메라 센서에서 균열부까지의 거리(mm)
   Lf: 카메라 센서에서 카메라 렌즈까지의 거리(mm)
   Dp: 영상데이터에서 하나의 단위 픽셀이 표현하는 거리(mm)
7. 도로표면의 균열 상태를 검출하는 시스템에 있어서,
   드론에 장착된 카메라로 촬영한 영상데이터로부터 도로 영상을 추출하는 도로 영상 추출부; 상기 도로 영상 추출부에서 추출된 영상에서 균열 영상을 추출하는 균열 영상 추출부; 상기 균열의 균열정보를 정량화하는 영상 분석부;를 포함하고,
   상기 영상 분석부는, 상기 균열의 중심선과 상기 균열의 양쪽 외곽선을 추출하고, 상기 중심선과 외곽선을 이용하여 균열의 폭을 계산하고,
   상기 영상 분석부는, 상기 중심선에 수직인 법선을 구하는 단계와, 상기 법선이 양쪽 외곽선과 만나는 두 지점까지의 거리를 구하는 단계를 수행하고,
   상기 영상 분석부는, 상기 균열 영상에서 중심선에 위치하며 이웃하는 두 개의 중심픽셀을 선정하는 단계와, 상기 두 개의 중심픽셀의 중심을 연결한 제1선의 방향을 계산하는 단계와, 상기 두 개의 중심픽셀의 중심에 각각 위치하고 상기 제1선에 수직한 두 개의 법선인 제2선의 방향을 계산하는 단계를 포함하는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 시스템.
8. 삭제
9. 삭제
10. 제7항에 있어서,
    상기 균열의 영상에서 양쪽 외곽선에 위치하는 픽셀 중 상기 제2선과 만나는 두 개의 외곽픽셀을 선정하는 단계와, 상기 두 개의 외곽픽셀의 거리를 계산하는 단계를 더 포함하는 것을 특징으로 하는, 드론의 촬영영상과 인공지능 기반의 도로 표면 균열 검출 시스템.

Images