KR101977052B1 - 무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법 - Google Patents

Abstract

무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법이 개시된다. 본 무인비행체를 이용한 도로상태 조사시스템은 기설정된 비행경로를 따라 비행하며, 도로를 촬영하여, 상기 촬영된 도로의 표면상태에 대한 영상정보를 수집하는 무인비행체; 및 상기 수집된 영상정보를 기반으로 상기 도로의 표면 파손 여부를 조사하는 도로상태 조사장치;를 포함하며, 상기 도로상태 조사장치는, 상기 수집된 영상정보를 복수의 제1 단위영역으로 분할하여, 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단하고, 적어도 하나의 제1 단위영역에 상기 객체가 존재하는 것으로 판단되면, 상기 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 상기 적어도 하나의 제1 단위영역에 상기 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하고, 상기 객체가 존재하지 않은 상태의 데이터가 획득되면, 상기 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 상기 객체가 존재하지 않은 상태의 데이터로 교체하며, 상기 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면, 상기 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 상기 촬영된 도로에 대한 도로데이터를 생성하여, 상기 도로의 표면 파손 여부를 조사할 수 있다. 이에 의해, 도로 유지보수 비용을 절약하고, 유지보수 효율을 향상시킬 수 있다.

Description

무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법{System for road surface condition investigation using unmanned air vehicle and method using the same}

본 발명은 도로상태 조사시스템 및 이를 이용한 조사방법에 관한 것으로, 더욱 상세하게는 무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법에 관한 것이다.

일반적으로 도로포장의 공용성에 영향을 미치는 주요파손으로는 소성변형과 피로균열(피로파손)이 존재한다. 소성변형은 과중한 교통하중으로 인하여 아스팔트 포장의 횡단면성에 변형이 축적되어, 차바퀴가 닿는 부분에 나타나는 영구변형이며, 피로균열은 반복되는 교통하중의 영향으로 교통 진행방향으로 발생되는 파손이다.

이러한 소성변형과 피로균열은 교통량이 많은 고속도로나 국도 등의 도로에 많이 발생하여, 자동차의 속도, 연료의 소비량, 도로주행시의 승차감, 도로표면의 내구성 등에 영향을 미치며, 이러한 도로의 균열은 장시간 방치 시 상당히 위험한 결과를 초래할 수 있지만, 찾아내어 적절한 조치를 취해야 하는데 이 같은 작업은 사람이 직접 하기엔 너무 많은 시간과 비용이 소모되며, 또한, 고가의 레이저 장비차량을 활용하기에는 초기비용이 너무 많이 들고 그 운용이 까다롭다는 단점이 존재하여, 이에 대한 방안의 모색이 요구된다.

한편, 딥 러닝(Deep learning)은 여러 비선형 변환 기법을 이용해서 학습 데이터에 대한 높은 수준의 추상화를 통해 데이터의 주요 특징들을 추출한 다음, 데이터 군집 및 분류를 수행하는 기계학습의 일종으로 Auto Encoder, DBN(Deep Belief Network), 콘벌루션 신경망(convolutional neural network) 등을 활용하는 방법이 있으며, 딥 러닝의 지도학습(Supervised Learning) 모델 가운데 하나인 콘벌루션 신경망은 최근 영상인식을 포함한 여러 영역에서 탁월한 성능을 보이고 있다.

또한, 최근 드론과 같은 무인비행체를 다양한 분야에서 활용할 수 있는 방안의 연구 역시, 활발히 진행되고 있음에 따라, 무인비행체를 이용하여 도로의 표면 파손 여부를 조사하기 위한 영상을 수집하되, 수집된 영상을 딥 러닝 기술을 이용하여 분석함으로써, 도로의 표면 파손 여부를 조사하는 방안의 모색이 요구된다.

한국등록특허 제10-1691620호 (발명의 명칭: 드론에서 항공 수집한 원시영상의 분석과 MMS 연동을 통한 도로기반시설물의 변화지역 갱신시스템)

한국도로포장공학회 논문집 제4권 제2호 (논문의 명칭: 이미지프로세싱을 이용한 도로포장의 균열폭 측정에 관한 연구)

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은, 무인비행체를 이용하여 도로의 표면 파손 여부를 조사하기 위한 영상을 수집하되, 수집된 영상을 딥 러닝 기술을 이용하여 분석함으로써, 도로의 표면 파손 여부를 조사하는 무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 기설정된 비행경로를 따라 복수에 걸쳐 비행하며 도로를 여러 번 촬영하여 수집된 복수의 영상들을 이용하여, 도로의 표면상태를 판단하는데 방해가 되는 객체를 제외한 도로데이터를 생성하고, 이를 분석함으로써, 도로의 표면 파손 여부를 조사하는 무인비행체를 이용한 도로상태 조사시스템 및 이를 이용한 조사방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템은 기설정된 비행경로를 따라 비행하며, 도로를 촬영하여, 상기 촬영된 도로의 표면상태에 대한 영상정보를 수집하는 무인비행체; 및 상기 수집된 영상정보를 기반으로 상기 도로의 표면 파손 여부를 조사하는 도로상태 조사장치;를 포함하며, 상기 도로상태 조사장치는, 상기 수집된 영상정보를 복수의 제1 단위영역으로 분할하여, 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단하고, 적어도 하나의 제1 단위영역에 상기 객체가 존재하는 것으로 판단되면, 상기 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 상기 적어도 하나의 제1 단위영역에 상기 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하고, 상기 객체가 존재하지 않은 상태의 데이터가 획득되면, 상기 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 상기 객체가 존재하지 않은 상태의 데이터로 교체하며, 상기 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면, 상기 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 상기 촬영된 도로에 대한 도로데이터를 생성하여, 상기 도로의 표면 파손 여부를 조사할 수 있다.

또한, 이때 상기 도로상태 조사장치는, 상기 도로데이터가 생성되면, 상기 생성된 도로데이터를 복수의 제2 단위영역으로 분할하여, 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단할 수 있다.

그리고 상기 도로상태 조사장치는, 콘벌루션 신경망(Convolutional Neural Network)을 이용하여, 상기 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단하도록, 상기 분할된 각각의 제2 단위영역에 대한 이미지데이터를 메타 데이터에 따라 필터링되도록 하여 복수의 콘벌루션 계층(Convolutional layer)을 생성할 수 있다.

또한, 상기 도로상태 조사장치는, 상기 각각의 제2 단위영역에 대한 이미지데이터들이 균열에 대한 추상적 특징이 포함된 제1 메타 데이터에 따라 필터링되도록 하여, 제1 콘벌루션 계층을 복수로 생성하고, 상기 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제1 서브 샘플링 계층을 복수로 생성하며, 상기 제1 서브 샘플링 계층이 복수로 생성되면, 상기 복수의 제1 서브 샘플링 계층이 소성변형 또는 피로균열에 대한 추상적 특징이 개별적으로 포함된 제2 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하고, 상기 제2 콘벌루션 계층이 복수로 생성되면, 상기 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하여, 각각의 제2 서브 샘플링 계층을 균열의 발생 정도(程度)에 따라 분류함으로써, 상기 발생된 균열의 정도를 정량(定量)적으로 분석할 수 있다.

그리고 상기 도로상태 조사장치는, 상기 각각의 제2 서브 샘플링 계층을 균열의 발생 정도에 따라 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 상기 무인비행체가 복수의 횟수로 상기 기설정된 비행경로를 비행하며, 상기 특정 지점에 대한 각각의 영상정보들을 수집하는 경우, 상기 각각의 영상정보들을 수집하는 시간간격이 기설정된 시간간격을 유지하도록 할 수 있다.

또한, 상기 도로상태 조사장치는, 상기 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터에 대하여, 동일한 제1 단위영역에 대하여 촬영된 다른 영상정보들 중 상기 객체가 존재하지 않은 상태의 데이터의 획득에 실패하는 경우, 상기 무인비행체가 상기 객체가 존재하지 않은 상태의 데이터의 획득에 실패한 영역을 재촬영하도록 비행경로를 재설정할 수 있다.

그리고 상기 도로상태 조사장치는, 기저장된 도로에 대한 지리정보를 기반으로 상기 무인비행체의 비행경로를 설정할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사방법은, 무인비행체가 기설정된 비행경로를 따라 비행하며, 도로를 촬영하여, 상기 촬영된 도로의 표면상태에 대한 영상정보를 수집하는 단계; 및 도로상태 조사장치가 상기 수집된 영상정보를 기반으로 상기 도로의 표면 파손 여부를 조사하는 단계;를 포함하고, 상기 도로의 표면 파손 여부를 조사하는 단계는, 상기 도로상태 조사장치가 상기 수집된 영상정보를 복수의 제1 단위영역으로 분할하는 단계; 상기 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단하는 단계; 적어도 하나의 제1 단위영역에 상기 객체가 존재하는 것으로 판단되면, 상기 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 상기 적어도 하나의 제1 단위영역에 상기 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하는 단계; 상기 객체가 존재하지 않은 상태의 데이터가 획득되면, 상기 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 상기 객체가 존재하지 않은 상태의 데이터로 교체하는 단계; 및 상기 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면, 상기 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 상기 촬영된 도로에 대한 도로데이터를 생성하여, 상기 도로의 표면 파손 여부를 조사하는 단계;를 포함할 수 있다.

이에 의해, 도로의 파손 여부를 딥 러닝 기술을 이용하여 분석함으로써, 도로 유지보수 비용을 절약하고, 유지보수 효율을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템이 개략적으로 도시된 도면이다.
도 2는 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템의 구성을 설명하기 위해 도시된 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템이 도로데이터를 생성하는 과정을 설명하기 위해 도시된 도면이다.
도 4는 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사방법을 설명하기 위해 도시된 도면이다.
도 5는 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템이 콘벌루션 신경망을 이용하여 도로데이터를 분석하는 과정을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사시스템이 콘벌루션 신경망의 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 무인비행체를 이용한 도로상태 조사방법을 더욱 상세히 설명하기 위해 도시된 도면이다.

이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 무인비행체(100)를 이용한 도로상태 조사시스템(이하에서는 '도로상태 조사시스템'으로 총칭함)이 개략적으로 도시된 도면이며, 도 2는 본 발명의 일 실시예에 따른 도로상태 조사시스템의 구성을 설명하기 위해 도시된 도면이다. 또한, 도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 도로상태 조사시스템이 도로데이터를 생성하는 과정을 설명하기 위해 도시된 도면이다. 이하에서는 도 1 내지 도 3e를 참조하여 본 실시예에 따른 도로상태 조사시스템에 대하여 설명하기로 한다.

본 실시예에 따른 도로상태 조사시스템은 무인비행체(100)를 이용하여 도로의 표면 파손 여부를 조사하기 위한 영상을 기설정된 비행경로를 따라 복수에 걸쳐 비행하며 도로를 여러 번 촬영하여 수집하되, 수집된 영상을 딥 러닝 기술을 이용하여 분석함으로써, 도로의 표면 파손 여부를 조사하기 위해 마련된다.

이를 위해, 본 도로상태 조사시스템은 무인비행체(100)와 도로상태 조사장치(200)로 구성될 수 있다.

무인비행체(100)는 기설정된 비행경로를 따라 일정한 고도로 비행하며, 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집하기 위해 마련된다.

이를 위해, 무인비행체(100)는 구동부(110), 카메라(120), 제어부(130) 및 제1 통신부(140)가 마련될 수 있다.

구동부(110)는, 무인비행체(100)가 비행경로를 따라 비행하도록 하기 위해 마련된다.

구체적으로, 구동부(110)는, 무인비행체(100)의 상측에 구비된 복수의 회전 구동 날개를 회전시킴으로써, 항력을 발생시키고, 발생시킨 항력에 의해 무인비행체(100)가 이륙되도록 하고, 이륙된 무인비행체(100)가 비행하도록 할 수 있다.

카메라(120)는 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집하기 위해 마련된다.

제어부(130)는, 무인비행체(100)의 제반사항을 제어하기 위해 마련된다. 구체적으로 제어부(130)는, 도로상태 조사장치(200)에 의해, 비행경로가 설정되고, 설정된 비행경로에 대한 정보를 수신하면, 수신된 비행경로에 대한 정보를 기반으로 구동부(110)를 이용하여 무인비행체(100)가 설정된 비행경로를 따라 일정한 고도로 비행하도록 하되, 카메라(120)를 이용하여 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집하도록 할 수 있다.

또한, 제어부(130)는, 무인비행체(100)가 복수의 횟수로 기설정된 비행경로를 비행하며, 특정 지점에 대한 각각의 영상정보들을 수집하도록 할 수 있으며, 이때, 각각의 비행시간이 기설정된 시간간격을 유지하도록 하여, 특정 지점에 대하여 수집된 각각의 영상정보들을 수집하는 시간간격이 기설정된 시간간격을 유지하도록 할 수 있다.

즉, 제어부(130)는, 특정 지점에 대하여 복수의 영상정보들을 수집하는 경우, 각각의 영상정보 간에 수집된 시점(時點)이 일정한 시간간격을 유지하도록 하여, 어느 하나의 영상정보에 객체가 존재한다 하더라도, 해당 영역의 데이터를 객체가 존재하지 않은 상태의 데이터로 교체할 수 있다.

또한, 제어부(130)는 이를 통해, 특정 시점에서의 영상정보에 의존하여 도로의 표면상태를 분석하지 않기 때문에, 데이터의 교체 과정 또는 교체된 데이터를 균열의 추상적 특징 및 균열의 발생 정도(程度)의 추상적 특징 등에 의해, 분류하는 과정에서 발생되는 오차를 최소화할 수 있다.

제1 통신부(140)는, 도로상태 조사장치(200)와 무선 또는 유선으로 연결되어, 정보를 전달하거나 수신하기 위해 마련된다. 구체적으로 제1 통신부(140)는 비행경로에 대한 정보를 수신하고, 수집된 영상정보를 도로상태 조사장치(200)에 전달할 수 있다.

도로상태 조사장치(200)는 무인비행체(100)를 이용하여 수집된 영상정보를 기반으로 도로의 표면 파손 여부를 조사하고, 균열의 발생 정도를 정량(定量)적으로 분석하기 위해 마련된다.

이를 위해, 도로상태 조사장치(200)는 제2 통신부(210), 정보처리부(220) 및 데이터베이스부(230)가 마련될 수 있다.

제2 통신부(210)는, 제1 통신부(140)와 무선 또는 유선으로 연결되어 정보를 전달하거나 수신하기 위해 마련된다. 구체적으로 제2 통신부(210)는, 비행경로에 대한 정보를 제1 통신부(140)에 전달하고, 수집된 영상정보를 수신할 수 있다.

정보처리부(220)는, 기저장된 도로에 대한 지리정보를 기반으로 무인비행체(100)의 비행경로를 설정하여, 무인비행체(100)가 설정된 비행경로를 따라 복수의 횟수로 비행하도록 하되, 카메라(120)를 이용하여 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집하도록 할 수 있으며, 수집된 영상정보를 기반으로 도로의 표면 파손 여부를 조사하고, 균열의 발생 정도를 정량적으로 분석할 수 있다.

이때, 정보처리부(220)는, 무인비행체(100)가 특정 지점에 대하여 복수의 영상정보들을 수집하는 경우, 각각의 영상정보 간에 수집된 시점(時點)이 일정한 시간간격을 유지하도록 하며, 무인비행체(100)를 이용하여 특정 지점에 대하여 복수의 영상정보들이 수집되면, 복수의 영상정보들을 개별적으로 복수의 제1 단위영역으로 분할하고, 분할된 각각의 제1 단위영역들을 조합하여, 도로에 차량과 같은 객체가 존재하지 않은 상태의 도로에 대한 도로데이터를 생성하고, 생성된 도로데이터를 이용하여 도로의 표면 파손 여부를 조사할 수 있다.

구체적으로, 정보처리부(220)는, 도 3a에 도시된 바와 같이 무인비행체(100)를 이용하여 도로(r)가 촬영된 영상정보가 수신되면, 도 3b에 도시된 바와 같이 영상정보를 복수의 제1 단위영역으로 분할하여, 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체(c)가 존재하는지 판단하고, 적어도 하나의 제1 단위영역에 객체가 존재하는 것으로 판단되면, 도 3c에 도시된 바와 같이 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 적어도 하나의 제1 단위영역에 객체가 존재하지 않은 상태의 데이터(d2)를 개별적으로 획득하고, 객체가 존재하지 않은 상태의 데이터(d2)가 획득되면, 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터(d1)를 객체가 존재하지 않은 상태의 데이터(d2)로 교체하며, 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면, 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 도 3d에 도시된 바와 같이 촬영된 도로에 대한 도로데이터(D)를 생성할 수 있다.

다만, 정보처리부(220)는, 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터에 대하여, 동일한 제1 단위영역에 대하여 촬영된 다른 영상정보들 중 객체가 존재하지 않은 상태의 데이터의 획득에 실패하는 경우, 무인비행체(100)가 객체가 존재하지 않은 상태의 데이터의 획득에 실패한 영역을 재촬영하도록 비행경로를 재설정할 수 있다.

한편, 정보처리부(220)는 도로데이터가 생성되면, 도 3e에 도시된 바와 같이 생성된 도로데이터를 복수의 제2 단위영역(1~6)으로 분할하여, 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단함으로써, 도로의 표면 파손 여부를 조사할 수 있다.

특히, 정보처리부(220)는, 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는 것으로 판단되면, 균열이 발생된 제2 단위영역에 대한 데이터에 균열의 크기, 폭, 형상에 대한 정보를 추출하여, 데이터베이스화할 수 있으며, 균열이 발생된 제2 단위영역에 대한 데이터베이스는 정보처리부(220)가 콘벌루션 신경망(Convolutional Neural Network)을 이용하여 도로의 표면 파손 여부를 조사하고, 발생된 균열의 발생 정도를 정량적으로 분석하는데 이용될 수 있다. 이와 관련된 더욱 상세한 설명은 후술하기로 한다.

데이터베이스부(230)는, 도로상태 조사장치(200)를 구동하는데 필요한 프로그램 및 데이터들을 저장하기 위해 마련된다. 구체적으로 데이터베이스부(230)는, 수집된 영상정보들과 콘벌루션 신경망을 이용하여 도로의 표면상태를 조사하는데 필요한 데이터들이 저장될 수 있다. 특히, 데이터베이스부(230)는, 균열이 발생된 제2 단위영역에 대한 데이터베이스와 소성변형 또는 피로균열에 대한 추상적 특징에 대한 데이터가 저장될 수 있다.

한편, 다른 예를 들면, 본 실시예에 따른 도로상태 조사시스템은 전술한 무인비행체(100) 및 도로상태 조사장치(200) 이외에, 버스용 영상정보 수집장치(미도시)가 추가로 마련될 수 있다.

버스용 영상정보 수집장치는, 무인비행체(100)와 별도로 버스에 버스용 카메라(120)가 설치되어, 버스용 영상정보를 수집함으로써, 무인비행체(100)가 높은 고도에서 촬영함에 따라 영상 분석 시 놓칠 수 있는 균열을 파악하거나 분석하는데 도움이 될 수 있다.

구체적으로 버스용 영상정보 수집장치는 버스의 지붕에 설치되어, 버스가 주행 중인 주행차로 및 주행차로의 주변차로를 촬영하여 버스용 영상정보를 수집하기 위해, 버스용 카메라(120)(미도시), 위치정보 수집부(미도시), 제3 제어부(미도시) 및 제3 통신부(미도시)가 마련될 수 있다.

버스용 카메라(120)는 특정 버스의 지붕에 복수로 마련되어, 버스의 주행차로와 주행차로의 좌, 우 차로를 촬영하여 버스용 영상정보를 수집할 수 있다.

위치정보 수집부는, 버스용 영상정보가 수집되는 위치의 위치정보를 수집하여, 제3 제어부가 도로상태 조사장치(200)에 버스용 영상정보를 전달하는 경우, 위치정보도 함께 전달하도록 할 수 있다.

제3 제어부는, 주행 중인 버스의 주행차로와 주행차로의 좌, 우 차로를 촬영하여, 각각의 버스용 영상정보를 수집하고, 각각의 버스용 영상정보가 수집된 위치에 대한 위치정보를 수집하여, 각각의 버스용 영상정보와 함께 도로상태 조사장치(200)에 전달할 수 있다.

제3 통신부는 도로상태 조사장치(200)에 유선 또는 무선으로 연결되어, 각각의 버스용 영상정보와 대응되는 위치정보를 전달할 수 있다.

그리고 도로상태 조사장치(200)는 버스용 영상정보 수집장치가 추가로 마련되어, 각각의 버스용 영상정보와 대응되는 위치정보가 수신되면, 수신된 버스용 영상정보들을 복수의 제1 단위영역으로 분할하여 대응되는 위치정보와 함께 저장하되, 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터에 대하여, 동일한 제1 단위영역에 대하여 촬영된 다른 영상정보들 중 객체가 존재하지 않은 상태의 데이터의 획득에 실패하는 경우, 저장된 버스용 영상정보 중 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터가 존재하는지 판단하고, 동일한 지점에 대한 제1 단위영역에 대한 데이터가 존재하면, 제1 단위영역에 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하도록 할 수 있다.

첨언하면, 본 도로상태 조사장치(200)는 버스용 영상정보와 무인비행체(100)를 이용한 영상정보의 경우, 무인비행체(100)의 비행 고도가 일정하게 유지되는 상태에서 촬영이 수행되도록 하되, 버스와 무인비행체(100)에서 도로를 촬영한 촬영 고도가 서로 다르기 때문에, 버스용 영상정보에서 제1 단위영역에 객체가 존재하지 않은 상태의 데이터를 획득하는데 이용하기에 앞서, 무인비행체(100)의 비행 고도와 버스용 영상정보 수집장치의 촬영 고도 차에 따라 보정하는 것이 바람직하다.

도 4는 본 발명의 일 실시예에 따른 무인비행체(100)를 이용한 도로상태 조사방법(이하에서는 '도로상태 조사방법'으로 총칭함)을 설명하기 위해 도시된 도면이다.

본 도로상태 조사방법은 무인비행체(100)를 이용하여 도로의 표면 파손 여부를 조사하기 위한 영상을 수집하되, 수집된 영상을 딥 러닝 기술을 이용하여 분석하기 위해, 우선 무인비행체(100)가 도로상태 조사장치(200)에 의해 설정된 비행경로를 따라 복수의 횟수로 비행하도록 하되, 카메라(120)를 이용하여 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집할 수 있다(S410).

또한, 영상정보가 수집되면, 도로상태 조사장치(200)가 수집된 영상정보를 복수의 제1 단위영역으로 분할하고(S420), 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단할 수 있다(S430).

구체적으로, 도로상태 조사장치(200)는 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 적어도 하나의 제1 단위영역에 존재하는 것으로 판단되면(S430-Yes), 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 적어도 하나의 제1 단위영역에 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하고(S440), 객체가 존재하지 않은 상태의 데이터가 획득되면, 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 객체가 존재하지 않은 상태의 데이터로 교체할 수 있다.

여기서 정보처리부(220)는, 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터에 대하여, 동일한 제1 단위영역에 대하여 촬영된 다른 영상정보들 중 객체가 존재하지 않은 상태의 데이터의 획득에 실패하는 경우, 무인비행체(100)가 객체가 존재하지 않은 상태의 데이터의 획득에 실패한 영역을 재촬영하도록 비행경로를 재설정할 수 있다.

그리고 도로상태 조사장치(200)는 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면(S430-No), 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 촬영된 도로에 대한 도로데이터를 생성할 수 있다(S450).

또한, 도로상태 조사장치(200)는 도로데이터가 생성되면, 생성된 도로데이터를 복수의 제2 단위영역으로 분할하고(S460), 콘벌루션 신경망을 이용하여 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단함으로써, 도로의 표면 파손 여부를 조사할 수 있다(S470).

도 5는 본 발명의 일 실시예에 따른 도로상태 조사시스템이 콘벌루션 신경망을 이용하여 도로데이터를 분석하는 과정을 설명하기 위해 도시한 도면이고, 도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 도로상태 조사시스템이 콘벌루션 신경망의 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이다. 이하에서는 도 5 내지 도 6b를 참조하여 본 실시예에 따른 도로상태 조사시스템이 콘벌루션 신경망을 이용하여 도로데이터를 분석하여 도로의 표면 파손 여부를 조사하는 과정에 대하여 더욱 상세히 설명하기로 한다.

도로상태 조사장치(200)는, 콘벌루션 신경망을 이용하여, 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단하도록, 분할된 각각의 제2 단위영역에 대한 이미지데이터를 메타 데이터에 따라 필터링되도록 하여 복수의 콘벌루션 계층(Convolutional layer)을 생성하고, 생성된 콘벌루션 계층의 사이즈를 축소하여 서브 샘플링 계층을 생성한 뒤, 이들을 분류하여, 균열의 정도를 정략적으로 분석할 수 있다.

구체적으로 설명하면, 도로상태 조사장치(200)는, 각각의 제2 단위영역에 대한 이미지데이터들이 균열에 대한 추상적 특징이 포함된 제1 메타 데이터에 따라 필터링되도록 하여, 제1 콘벌루션 계층을 복수로 생성할 수 있다.

이때, 제1 메타 데이터는 특정 이미지들의 정보들 가운데, 균열에 대한 추상적 특징과 같이 추출하고자 하는 정보들을 필터링하도록 하는 영상 필터의 속성 정보를 의미한다.

이러한 제1 메타 데이터는 실제로는 균열의 크기, 폭, 형상에 대하여 시각적으로 표현된 이미지 정보이지만, 설명의 편의를 위하여, 각각의 제2 단위영역에 대한 이미지데이터 및 영상 필터에 포함된 정보를 도 6a 내지 도 6b에 도시된 바와 같이 수치로 예를 들어 설명하기로 한다.

즉, 도로상태 조사장치(200)는 각각의 제2 단위영역에 대한 이미지데이터에 포함된 정보들(도 6a 내지 도 6b에 도시된 0 또는 1의 값에 해당함)을 도 6a에 도시된 영상 필터에서 X1, X0, X1, X0, X1, X0, X1, X0, X1 값(1행 1열부터 3행 3열)을 가지는 속성 정보인 제1 메타 데이터에 따라 필터링되도록 하여, 필터링 결과를 모두 합산하여 콘벌루션 특징을 추출할 수 있다.

도 6a을 참조하여 구체적으로 예를 들면, 각각의 제2 단위영역에 대한 이미지데이터들이 제1 메타 데이터에 따라 필터링되어 (1X1+1X0+0X1+1X0+1X1+1X0+0X1+1X0+1X1), 필터링 결과(1+0+0+0+1+0+0+0+1)를 합산하여 콘벌루션 특징(3)을 추출할 수 있다.

첨언하면, 도 6a 내지 도 6b은 설명의 편의를 위해, 각각의 제2 단위영역에 대한 이미지데이터들이 5X5 구조의 영상 데이터들의 결합으로 도시하고, 영상 필터는 3X3 구조의 메타 데이터들의 결합으로 도시하였으나, 실제 본 실시예에 따른 도로상태 조사장치(200)에서 처리하는 각각의 제2 단위영역에 대한 이미지데이터들은 32X32 구조의 영상 데이터들의 결합으로 구현되고, 영상 필터는 5X5 구조의 메타 데이터들의 결합으로 구현되어, 콘벌루션 특징들이 매핑된 28X28 구조의 콘벌루션 계층을 6장 생성할 수 있다.

또한, 도로상태 조사장치(200)는, 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 제1 서브 샘플링 계층을 복수로 생성할 수 있다.

여기서, 풀링 필터에 대하여 간략하게 설명하면, 풀링 필터는 각각의 제1 콘벌루션 계층의 사이즈를 개별적으로 축소하여, 서브 샘플링 계층을 생성하는데, 콘벌루션 특징(추상적 특징)을 선별하는 과정에 따라, 가장 중요한 추상적 특징만 남기는 최대 풀링 필터과 추상적 특징들의 평균값을 산출하는 평균 풀링 필터로 나뉠 수 있으나, 본 도로상태 조사장치(200)는 균열이 발생된 경우, 발생된 균열의 정도를 정량적으로 파악하기 위해, 평균 풀링 필터를 이용하여, 콘벌루션 계층의 사이즈를 축소하여 서브 샘플링 계층을 생성하도록 한다.

구체적으로, 도로상태 조사장치(200)는 28X28 구조의 콘벌루션 계층이 6장 생성된 경우, 각각의 콘벌루션 계층을 평균 풀링 필터를 이용하여, 서브 샘플링하여 14X14 구조의 서브 샘플링 계층을 6장 생성할 수 있다.

그리고 도로상태 조사장치(200)는 제1 서브 샘플링 계층이 복수로 생성되면, 복수의 제1 서브 샘플링 계층이 소성변형 또는 피로균열에 대한 추상적 특징이 개별적으로 포함된 제2 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성할 수 있으며, 제2 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성할 수 있다.

구체적으로, 도로상태 조사장치(200)는, 복수의 제1 서브 샘플링 계층이 제1 메타 데이터 보다 세분화된 추상적 특징이 포함된 제2 메타 데이터에 따라 필터링되도록 함으로써, 균열을 소성변형 또는 피로균열로 분류하여 발생된 균열의 정도를 파악할 수 있다.

즉, 제2 메타 데이터는 소성변형 또는 피로균열의 상태별 특징이 개별적으로 분류되어, 소성변형 또는 피로균열의 추상적 특징을 필터링하도록 하는 영상 필터의 속성 정보를 의미한다.

따라서, 도로상태 조사장치(200)는 제2 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하고, 각각의 제2 서브 샘플링 계층을 균열의 발생 정도(程度)에 따라 분류함으로써, 발생된 균열의 정도를 정량적으로 분석할 수 있다.

이때, 평균 풀링 필터를 이용하여 서브 샘플링 계층을 생성하는 경우, 콘벌루션 계층의 사이즈는 1/4로 축소됨에 따라, 제2 서브 샘플링 과정이 한번 수행하는 것이 아니라, 영상 데이터 유닛이 1X1 구조로 구현될 때까지 제2 서브 샘플링 과정이 반복 수행되어, 도로의 표면 파손 여부를 판단할 수 있는 학습 데이터베이스가 생성될 수 있다.

그리고 도로상태 조사장치(200)는 이러한 학습 데이터베이스를 지속적으로 생성 및 저장하며, 수집된 영상정보들에서 균열이 발생된 제2 단위영역에 대한 데이터베이스를 비교 분석 및 학습시켜, 균열의 발생 정도에 따른 분류화 과정이 수행되도록 하고, 이러한 분류화 과정에서 균열의 발생 정도에 대한 분류항목에 대응되는 수치 값은 퍼지 함수와 같은 비선형 함수를 이용하여 산출하도록 함으로써, 균열 상태를 정량적으로 분석할 수 있다.

도 7은 본 발명의 일 실시예에 따른 도로상태 조사방법을 더욱 상세히 설명하기 위해 도시된 도면이다.

본 도로상태 조사방법은 전술한 바와 같이 우선 무인비행체(100)가 도로상태 조사장치(200)에 의해 설정된 비행경로를 따라 복수의 횟수로 비행하도록 하되, 카메라(120)를 이용하여 도로를 촬영하여, 촬영된 도로의 표면상태에 대한 영상정보를 수집할 수 있다(S710).

또한, 영상정보가 수집되면, 도로상태 조사장치(200)가 수집된 영상정보를 복수의 제1 단위영역으로 분할하고(S720), 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단할 수 있다(S730).

구체적으로, 도로상태 조사장치(200)는 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 적어도 하나의 제1 단위영역에 존재하는 것으로 판단되면(S730-Yes), 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 적어도 하나의 제1 단위영역에 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하고(S740), 객체가 존재하지 않은 상태의 데이터가 획득되면, 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 객체가 존재하지 않은 상태의 데이터로 교체할 수 있다.

그리고 도로상태 조사장치(200)는 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면(S730-No), 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 촬영된 도로에 대한 도로데이터를 생성할 수 있다(S750).

또한, 도로상태 조사장치(200)는 도로데이터가 생성되면, 생성된 도로데이터를 복수의 제2 단위영역으로 분할하고(S760), 분할된 각각의 제2 단위영역에 대한 이미지데이터를 균열에 대한 추상적 특징이 포함된 제1 메타 데이터에 따라 필터링되도록 하여, 제1 콘벌루션 계층을 복수로 생성할 수 있다(S770).

또한, 도로상태 조사장치(200)는, 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제1 서브 샘플링 계층을 복수로 생성할 수 있다(S775).

그리고 도로상태 조사장치(200)는 제1 서브 샘플링 계층이 복수로 생성되면, 복수의 제1 서브 샘플링 계층이 소성변형 또는 피로균열에 대한 추상적 특징이 개별적으로 포함된 제2 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성할 수 있으며(S780), 제2 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여, 제2 서브 샘플링 계층을 복수로 생성할 수 있다(S785).

또한, 도로상태 조사장치(200)는 복수의 제2 서브 샘플링 계층이 생성되면, 각각의 제2 서브 샘플링 계층을 균열의 발생 정도에 따라 분류함으로써, 발생된 균열의 정도를 정량적으로 분석할 수 있다(S790). 이를 통해, 도로 유지보수 비용을 절약하고, 유지보수 효율을 향상시킬 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 무인비행체 110 : 구동부
120 : 카메라 130 : 제어부
140 : 제1 통신부 200 : 도로상태 조사장치
210 : 제2 통신부 220 : 정보처리부
230 : 데이터베이스부

Claims (8)

1. 기설정된 비행경로를 따라 비행하며, 도로를 촬영하여, 상기 촬영된 도로의 표면상태에 대한 영상정보를 수집하는 무인비행체; 및
   상기 수집된 영상정보를 기반으로 상기 도로의 표면 파손 여부를 조사하는 도로상태 조사장치;를 포함하며,
   상기 도로상태 조사장치는,
   상기 수집된 영상정보를 복수의 제1 단위영역으로 분할하여, 분할된 각각의 제1 단위영역에 대하여 도로의 표면상태를 판단하는데 방해가 되는 객체가 존재하는지 판단하고,
   적어도 하나의 제1 단위영역에 상기 객체가 존재하는 것으로 판단되면, 상기 영상정보가 수집된 지점에서 촬영된 다른 영상정보들과 비교하여, 상기 적어도 하나의 제1 단위영역에 상기 객체가 존재하지 않은 상태의 데이터를 개별적으로 획득하고,
   상기 객체가 존재하지 않은 상태의 데이터가 획득되면, 상기 객체가 존재하는 것으로 판단되는 적어도 하나의 제1 단위영역에 대한 데이터를 상기 객체가 존재하지 않은 상태의 데이터로 교체하며,
   상기 분할된 각각의 제1 단위영역 중 어느 제1 단위영역도 객체가 존재하지 않은 것으로 판단되면, 상기 각각의 제1 단위영역에 대한 데이터를 모두 조합하여, 상기 촬영된 도로에 대한 도로데이터를 생성하여, 상기 도로의 표면 파손 여부를 조사하고,
   상기 도로데이터가 생성되면, 상기 생성된 도로데이터를 복수의 제2 단위영역으로 분할하여, 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단하며,
   콘벌루션 신경망(Convolutional Neural Network)을 이용하여, 상기 분할된 각각의 제2 단위영역 중 균열이 발생된 제2 단위영역이 존재하는지 판단하도록, 상기 분할된 각각의 제2 단위영역에 대한 이미지데이터를 메타 데이터에 따라 필터링되도록 하여 복수의 콘벌루션 계층(Convolutional layer)을 생성하고,
   상기 객체가 존재하는 것으로 판단되는 제1 단위영역에 대한 데이터에 대하여, 동일한 제1 단위영역에 대하여 촬영된 다른 영상정보들 중 상기 객체가 존재하지 않은 상태의 데이터의 획득에 실패하는 경우, 상기 무인비행체가 상기 객체가 존재하지 않은 상태의 데이터의 획득에 실패한 영역을 재촬영하도록 비행경로를 재설정하는 것을 특징으로 하는 무인비행체를 이용한 도로상태 조사시스템.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 도로상태 조사장치는,
   상기 각각의 제2 단위영역에 대한 이미지데이터들이 균열에 대한 추상적 특징이 포함된 제1 메타 데이터에 따라 필터링되도록 하여, 제1 콘벌루션 계층을 복수로 생성하고,
   상기 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제1 서브 샘플링 계층을 복수로 생성하며,
   상기 제1 서브 샘플링 계층이 복수로 생성되면, 상기 복수의 제1 서브 샘플링 계층이 소성변형 또는 피로균열에 대한 추상적 특징이 개별적으로 포함된 제2 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하고,
   상기 제2 콘벌루션 계층이 복수로 생성되면, 상기 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하여, 각각의 제2 서브 샘플링 계층을 균열의 발생 정도(程度)에 따라 분류함으로써, 상기 발생된 균열의 정도를 정량(定量)적으로 분석하는 것을 특징으로 하는 무인비행체를 이용한 도로상태 조사시스템.
5. 제4항에 있어서,
   상기 도로상태 조사장치는,
   상기 각각의 제2 서브 샘플링 계층을 균열의 발생 정도에 따라 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 상기 무인비행체가 복수의 횟수로 상기 기설정된 비행경로를 비행하며, 특정 지점에 대한 각각의 영상정보들을 수집하는 경우, 상기 각각의 영상정보들을 수집하는 시간간격이 기설정된 시간간격을 유지하도록 하는 것을 특징으로 하는 무인비행체를 이용한 도로상태 조사시스템.
6. 삭제
7. 제1항에 있어서,
   상기 도로상태 조사장치는,
   기저장된 도로에 대한 지리정보를 기반으로 상기 무인비행체의 비행경로를 설정하는 것을 특징으로 하는 무인비행체를 이용한 도로상태 조사시스템.
8. 삭제

Images