KR20210092086A - 포장도로 파손 분석 시스템 및 파손 분석 방법 - Google Patents

포장도로 파손 분석 시스템 및 파손 분석 방법 Download PDF

Info

Publication number
KR20210092086A
KR20210092086A KR1020200005623A KR20200005623A KR20210092086A KR 20210092086 A KR20210092086 A KR 20210092086A KR 1020200005623 A KR1020200005623 A KR 1020200005623A KR 20200005623 A KR20200005623 A KR 20200005623A KR 20210092086 A KR20210092086 A KR 20210092086A
Authority
KR
South Korea
Prior art keywords
crack
pixel
pothole
pavement
damage
Prior art date
Application number
KR1020200005623A
Other languages
English (en)
Other versions
KR102302338B1 (ko
Inventor
낭종호
송진하
전준형
이동훈
배경록
김정수
김동은
박경원
박재형
Original Assignee
서강대학교산학협력단
주식회사 한국포장기술
주식회사 무한정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단, 주식회사 한국포장기술, 주식회사 무한정보기술 filed Critical 서강대학교산학협력단
Priority to KR1020200005623A priority Critical patent/KR102302338B1/ko
Publication of KR20210092086A publication Critical patent/KR20210092086A/ko
Application granted granted Critical
Publication of KR102302338B1 publication Critical patent/KR102302338B1/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 포장도로 파손 분석 시스템에 관한 것이다. 상기 파손 분석 시스템은, 도로 이미지를 사전 설정된 크기의 패치로 분할하는 데이터 전처리부; 상기 패치들에 대하여 파손 클래스를 분류하는 파손 클래스 분류기; 상기 파손 클래스 분류기에서 분류된 파손 클래스들 중 균열에 대하여 균열 클래스를 분류하는 균열 클래스 분류기; 상기 균열 클래스 분류기에 의해 균열로 분류된 패치들에 대하여 픽셀 단위로 균열을 검출하는 픽셀 단위 균열 검출기; 상기 픽셀 단위 균열 검출기에 의해 픽셀 단위로 균열이 검출된 패치들에 대한 결과를 같은 영역끼리 그룹핑하여 서로 연결하고 라벨링하는 패치 연결 및 라벨링 모듈; 상기 패치 연결 및 라벨링 모듈에 의해 검출된 균열 영역들에 대하여 사전 설정된 알고리즘을 이용하여 파손 심각도를 계산하여 제공하는 심각도 추정기;를 구비하여, 포장도로에 대한 파손 정도를 분석 및 추정하여 제공한다.

Description

포장도로 파손 분석 시스템 및 파손 분석 방법{Pavement road distress analysis system and method thereof}
본 발명은 포장도로 파손 분석 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 도로 이미지를 패치단위로 나누어 CNN기반 이미지 분류기를 통해 패치 이미지를 2단계 분류하고 픽셀단위 검출하고, 파손의 심각도를 산정하기 위해 분류결과를 파손의 형태별로 영역으로 묶고 영역에 대해 소정의 알고리즘을 이용하여 심각도를 계산하여 제공하는 것을 특징으로 하는 포장도로 파손 분석 시스템 및 방법에 관한 것이다.
포장도로는 시간에 지남에 따라 수명 연장과 도로 안전을 위해 유지보수를 해야 한다. 수십년 동안 포장도로 파손 분석을 자동화하기 위한 노력이 있었고, 현재까지 이루어진 대부분의 관련 연구는 이미지 프로세싱 기반 분류가 주를 이루고 있다. 최근 딥러닝 기반 컴퓨터 비전의 성능이 비약적으로 상승해 포장도로 파손 검출 영역에서도 딥러닝을 활용하려는 노력이 많이 보이고 있다. 하지만, 기존 연구는 포장도로의 균열의 형태 분류 혹은 픽셀단위 검출에 대한 성능 비교 실험이 대부분이고, 다양한 파손의 종류를 분류하고 각 파손의 심각도를 산정하는 연구는 진행된 바가 없다.
도 1은 일반적으로 분류되는 포장 도로에 대한 파손 클래스들을 예시적으로 도시한 사진들이다. 본 명세서에서는, 도 1을 참조하여, 포장도로를 5가지 파손 Class와 비 파손 상태인 Normal Class와 차선과 횡단보도와 같은 도색된 부분인 Line Class를 포함하여 총 7가지(AC, LC, TC, Patching, Pothole, Normal, Line)로 분류한다. 다만, Line 상의 도로 파손은 페인트 때문에 구별이 어렵고 진행된 기존 연구도 없어 본 발명에 따른 시스템에서는 분석을 제외하였다. 본 명세서에서는 AC, LC, TC는 균열이라 한다. 이하, 각 상태에 대하여 구체적으로 설명한다.
AC (Alligator Crack, 피로균열)는 도 1의 (a)에 도시된 바와 같이 반복적인 교통하중이 적용되는 영역에서 발생하는 균열로서, 균열의 모양이 거북등의 무늬를 가지며, 일반적으로 균열의 긴 면이 0.3m미만이다. LC (Longitudinal Crack, 종방향 균열)는 도 1의 (b)에 도시된 바와 같이 포장 중심선과 대체로 평행한 균열이다. TC (Transverse Crack, 횡방향 균열)는 도 1의 (c)에 도시된 바와 같이 포장 중심선에 대체로 수직인 균열이며, 수직에 가까운 균열만 횡방향 균열이고, 나머지는 종방향 균열로 규정한다. Patching (패칭)은 도 1의 (e)에 도시된 바와 같이 포장면의 일부를 시공 후 포장면에 추가 재료를 적용하거나, 교체된 부분으로 넓이가 0.1㎡이상이다. Pothole (포트홀)은 도 1의 (f)에 도시된 바와 같이 가로와 세로 중 최소 길이가 150mm인 포장면에 있는 사발 모양의 구멍이다.
따라서, 포장도로 파손 분석을 위해서는 5개의 파손 Class와 Normal과 Line까지의 7가지 Class 분류하여야 한다. 파손 형태에 따른 심각도 판단을 위해 패치마다 픽셀 단위로 파손을 검출하며 이후 픽셀 단위로 이진화 된 파손 영역에 대하여 서울시에 적용된 심각도 산정법을 토대로 심각도를 계산하여야 한다. 미국 FHWA 균열 심각도 구분 기준이 적용된 서울시의 포장도로 균열 심각도 분류 기준은 균열의 경우 최대폭을 기준으로 6mm 이하는 심각도 하, 6mm초과 19mm이하는 중, 19mm이상은 상으로 분류한다. Patching과 Pothole은 상, 중, 하로 분류하지 않고 파손 넓이를 통해 심각도를 파악한다.
이하, 기존의 포장도로 파손 검출방법에 대하여 설명한다. 기존의 포장도로 파손 검출방법은 크게 이미지 프로세싱 방법, 머신 러닝 및 CNN 기반 방법 등으로 분류될 수 있다. 먼저, 이미지 프로세싱 기반 방법은 (1) Gabor 필터 기반으로 한 방법으로서, 교량의 균열을 검출하기위해 Gabor 필터를 거친 특징을 SVM을 통하여 분류하는 방법, (2) 시계열 주파수 영역에서 특수한 신호의 집합을 말하는 Wavelet을 기반으로 하여, 최대 Wavelet coefficients를 최대 크기부터 최소 크기까지 검색하여 균열을 검출하는 방법, (3) HOG (Histogram of Oriented Gradient) 기반으로 하여, HOG특징 벡터를 추출하여 균열을 검출하는 방법, (4) LBP (Local Binary Pattern) 기반으로 하여, 이미지 패치로부터 균열의 LBP 특징벡터를 뽑아내 SVM으로 분류하는 방법, (5) MPS (Minimal Path Selection) 기반으로 하여, 균열의 전체적인 특징을 보기위해 광도 및 기하학적 특징을 고려하는 방법 등이 있다. 이와 같이, 기존에 이미지 프로세싱을 활용하여 균열을 검출할 수 있는 특징벡터를 추출하는 연구가 많이 진행되었지만, 이미지 프로세싱 기반 방법들은 다양한 포장도로의 상황에 강건한 성능을 보여주지 못하고 있는 실정이다.
다음, CNN 기반 방법은, 딥러닝 성능의 비약적인 향상으로 CNN기반으로 포장도로의 파손을 분석하려는 시도가 많아졌다.
하지만, 전술한 기존의 연구를 일반적인 포장 데이터에 적용하기에는 몇 가지 문제점이 있었다. 첫째, 이미지 프로세싱 방법을 이용한 방법들은 성능이 뽑아내는 특징벡터에 영향을 많이 받으며, 다양한 예외상황에 대해서 강건한 성능을 보여주지 못한다. CNN기반의 방법들은 비교적 강건한 성능을 보이지만, 사용한 데이터셋마다 데이터 특성과 태깅 방법이 달라 기존의 연구의 데이터를 그대로 학습하여 본 연구의 데이터셋을 딥러닝 추론하기에는 어려움이 있다. 둘째, 앞서 정의한 파손의 5가지 형태를 모두 분류하는 연구가 거의 없다. 기존 연구에서는 균열(AC, LC, TC)에 대해서는 분류나 픽셀단위 검출 등에 대해 다양한 연구가 진행되었지만, Patching이나 Pothole에 대한 연구는 적었다. 무엇보다 AC, LC, TC, Patching, Pothole 5가지 Class를 구분하는 연구는 존재하지 않았다. 도로 유지보수를 위해서라면, 균열뿐만 아니라 다양한 파손에 대해서도 분석할 수 있어야 한다. 셋째, 심각도 분석을 위해 균열의 최대 폭을 추정하는 알고리즘이 없다. 넷째, 대부분의 실험이 입력 이미지 한 장의 크기가 GPU에서 수용가능한 범위였고, 분석 시간에 대한 고려가 없었다. 하지만, 경기도 국도 포장 데이터만 하더라도 분석해야 하는 이미지가 3704×10000px로 수 만장이고, 심각도 분석을 하려면 이미지를 픽셀단위로 분석해야 한다. 이미지를 전체를 그대로 픽셀 단위 분석하게 된다면, 패치단위 분류보다 3배가량 느리다. 포장도로 유지보수 특성상 분석은 한번이 아니라 일년에도 여러 번 분석해야 하니, 위와 같은 분석시간은 합리적이지 못하다. 즉, 포장도로 파손 분석 시스템은 포장도로의 다양한 상황에 대해 강건한 성능가지고, 균열, Patching, Pothole 등 모든 파손 형태를 검출하고 심각도 산정도 가능해야 하며, 합리적인 연산량을 가져야 한다.
한국등록특허공보 제 10-0758705호 한국등록특허공보 제 10-1910066호 한국등록특허공보 제 10-2026685호
전술한 문제점을 해결하기 위한 본 발명의 목적은 CNN을 기반으로 하여 포장 도로의 파손 상태를 분석하고 파손의 심각도를 수치화하여 제공할 수 있는 포장도로 파손 분석 시스템 및 파손 분석 방법을 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템은, 분석할 도로 이미지를 입력받고, 입력된 도로 이미지를 사전 설정된 크기의 패치로 분할하여 제공하는 데이터 전처리부; 상기 패치들에 대하여 파손 클래스를 분류하는 파손 클래스 분류기; 상기 파손 클래스 분류기에서 분류된 파손 클래스들 중 균열에 대하여 균열 클래스를 분류하는 균열 클래스 분류기; 상기 균열 클래스 분류기에 의해 균열로 분류된 패치들에 대하여 픽셀 단위로 균열을 검출하는 픽셀 단위 균열 검출기; 상기 픽셀 단위 균열 검출기에 의해 픽셀 단위로 균열이 검출된 패치들에 대한 결과를 같은 영역끼리 그룹핑하여 서로 연결하고 라벨링하는 패치 연결 및 라벨링 모듈; 상기 패치 연결 및 라벨링 모듈에 의해 검출된 균열 영역들에 대하여 사전 설정된 알고리즘을 이용하여 파손 심각도를 계산하여 제공하는 심각도 추정기; 를 구비하여, 포장도로에 대한 파손 정도를 분석 및 추정하여 제공한다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템에 있어서, 상기 파손 클래스 분류기 및 상기 균열 클래스 분류기는 패치 단위로 나위어진 복수 개의 도로 이미지들을 포함하는 학습 데이터를 이용하여 CNN을 기반으로 하여 분류기를 사전 학습하여 얻는 학습 모델인 것이 바람직하다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템에 있어서, 상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치들에 대하여 픽셀 단위로 Pothole을 검출하는 픽셀 단위 Pothole 검출기를 더 구비하고, 상기 픽셀 단위 Pothole 검출기 및 상기 픽셀 단위 균열 검출기는 원본 이미지와 균열 또는 Pothole로 태깅된 이진 이미지를 학습 데이터로 하여 사전 학습하여 얻는 학습 모델인 것이 바람직하다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템은, 상기 파손 클래스 분류기에 의해 패칭으로 분류된 패치에 대하여, 이진 이미지를 만들고, 이진 이미지를 이용하여 패칭 영역에 대한 넓이를 계산하여 제공하는 패칭 영역 검출 모듈; 및
상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치에 대하여, 픽셀 단위 Pothole 검출기에 의해 검출된 픽셀 단위 검출 결과로부터 Pothole 영역을 검출하는 Pothole 영역 검출 모듈;을 더 구비하는 것이 바람직하다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템에 있어서, 상기 심각도 추정기는, 사정 설정된 균열 최대폭 산정 알고리즘을 이용하여 균열 최대폭을 산정하는 균열 최대폭 검출 모듈; 및 상기 균열 최대폭을 이용하여 포장 도로의 파손 상태에 대한 심각도를 추정하여 제공하는 파손 심각도 분류 모듈;을 구비하는 것이 바람직하다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템에 있어서, 상기 균열 최대폭 산정 알고리즘은, 균열 픽셀에 대하여 4 방향으로 연속된 최대 픽셀을 구하고, 4방향 중 가장 짧은 길이가 해당 픽셀의 균열의 최대폭으로 판단하고, 모든 균열 픽셀에 대해서 4방향 연속성을 조사하여 균열에 대한 최대 폭을 산정하는 것이 바람직하다.
본 발명의 제1 특징에 따른 포장도로 파손 분석 시스템에 있어서, 상기 파손 클래스 분류기는 도로 이미지의 패치에 대하여 정상(Normal), 선(Line), 균열, 패칭(Patching) 및 Pothole 중 하나로 분류하고, 상기 균열 클래스 분류기는 상기 균열로 분류된 패치에 대하여 AC (Alligator Crack, 피로균열), TC (Transverse Crack, 횡방향 균열), LC (Longitudinal Crack, 종방향 균열) 중 하나로 분류하는 것이 바람직하다.
본 발명의 제2 특징에 따른 포장도로 파손 분석 방법은, (a) 분석할 도로 이미지를 입력받고, 입력된 도로 이미지를 사전 설정된 크기의 패치로 분할하여 제공하는 단계; (b) 상기 패치들에 대하여 파손 클래스를 분류하는 파손 클래스 분류 단계; (c) 상기 파손 클래스 분류기에서 분류된 파손 클래스들 중 균열에 대하여 균열 클래스를 분류하는 균열 클래스 분류 단계; (d) 상기 균열 클래스 분류기에 의해 균열로 분류된 패치들에 대하여 픽셀 단위로 균열을 검출하는 픽셀 단위 균열 검출 단계; (e) 상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치들에 대하여 픽셀 단위로 Pothole을 검출하는 픽셀 단위 Pothole 검출 단계; (f) 상기 픽셀 단위 균열 검출기에 의해 픽셀 단위로 균열이 검출된 패치들에 대한 결과를 같은 영역끼리 그룹핑하여 서로 연결하고 라벨링하는 패치 연결 및 라벨링 단계; (g) 상기 패치 연결 및 라벨링 모듈에 의해 검출된 균열 영역들에 대하여 사전 설정된 알고리즘을 이용하여 파손 심각도를 계산하여 제공하는 심각도 추정 단계; 를 구비하여, 포장도로에 대한 파손 정도를 분석 및 추정하는 것이 바람직하다.
본 발명의 제2 특징에 따른 포장도로 파손 분석 방법에 있어서, 상기 (b) 파손 클래스 분류 단계 및 (c) 상기 균열 클래스 분류기는 패치 단위로 나뉘어진 복수 개의 도로 이미지들을 포함하는 학습 데이터를 이용하여 CNN을 기반으로 하여 분류기를 사전 학습하여 얻는 학습 모델에 의해 수행되는 것을 특징으로 하며,
상기 (e) 픽셀 단위 Pothole 검출 단계 및 상기 (d) 픽셀 단위 균열 검출 단계는 원본 이미지와 균열 또는 Pothole로 태깅된 이진 이미지를 학습 데이터로 하여 사전 학습하여 얻는 학습 모델에 의해 수행되는 것이 바람직하다.
본 발명의 제2 특징에 따른 포장도로 파손 분석 방법에 있어서, (h) 상기 파손 클래스 분류 단계에 의해 패칭으로 분류된 패치에 대하여, 이진 이미지를 만들고, 이진 이미지를 이용하여 패칭 영역에 대한 넓이를 계산하여 제공하는 패칭 영역 검출 단계; 및
(i) 상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치에 대하여, 픽셀 단위 Pothole 검출 단계에 의해 검출된 픽셀 단위 검출 결과로부터 Pothole 영역을 검출하는 Pothole 영역 검출 단계;를 더 구비하는 것이 바람직하다.
본 발명의 제2 특징에 따른 포장도로 파손 분석 방법에 있어서, 상기 (g) 심각도 추정 단계는, 사정 설정된 균열 최대폭 산정 알고리즘을 이용하여 균열 최대폭을 산정하는 균열 최대폭 검출 단계; 및 상기 균열 최대폭을 이용하여 포장 도로의 파손 상태에 대한 심각도를 추정하여 제공하는 파손 심각도 분류 단계;를 구비하는 것이 바람직하다.
본 발명에서는 효율적인 국도 포장관리를 위한 패치단위 2단계 분석법을 활용하여 영역별 파손형태를 분류하고 심각도를 산정하는 시스템을 제안하였다. 기존의 포장도로 파손 분석은 파손의 형태를 분류하고 각 파손 별 심각도를 산정하는 연구는 없었고, 파손의 형태를 분류하는 연구, 균열의 심각도를 산정하는 연구로 독립적으로 수행된 경우는 있었다. 하지만, 포장도로의 유지보수를 위해서는 균열뿐만 아니라, 균열외의 파손 검출도 필수적이며 단순히 분류하는 것이 아니라 각 파손영역의 심각도를 산정하여 유지보수의 긴급성을 판단해야 한다.
파손의 형태를 분류하기 위해 1차적으로 CNN기반 분류기를 통해 파손을 균열, Patching, Pothole, Line, Normal로 분류하였고, 균열과 Pothole영역에 대해서는 CNN 픽셀단위 분류기를 통해 균열 및 Pothole영역을 픽셀단위로 검출한다. 픽셀단위 검출된 균열 영역은 2차적으로 CNN기반 분류기를 통해 AC, LC, TC로 분류하고, Patching과 Pothole은 OpenCV기반의 이미지 프로세싱 기법을 활용하여 검출 영역의 정확도를 향상시킨다. 파손의 심각도를 분석하기 위해서는 파손형태별로 나누어진 영역에 대해서 본 발명에서 제안한 균열 폭 산정 알고리즘과 OpenCV기반 Contour넓이 계산 방법을 통해 정의한 모든 Class에 대한 심각도를 분석한다. 파손의 패치별 분석 성능은 F1-score 기준 0.7751 이다.
본 발명에 따른 시스템을 통해 포장도로 유지보수 실무자는 객관적이고 효율적인 도로의 유지보수가 가능할 것이며, 전국의 도로를 지속적으로 확인하여 파손된 도로로 인한 사고를 줄일 수 있을 것이다.
도 1은 일반적으로 분류되는 포장 도로에 대한 파손 클래스들을 예시적으로 도시한 사진들이다.
도 2은 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템을 전체적으로 도시한 구성도이다.
도 3은 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템에 있어서, 학습 과정을 도시한 구조도이며, 도 4는 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템에 있어서, 파손 심각도의 추론 과정을 도시한 구조도이다.
도 5는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 파손 클래스 분류기의 학습 명세표 및 학습 과정을 도시한 것이다.
도 6은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 픽셀단위 균열 검출기의 학습 명세표 및 학습 과정을 도시한 것이다.
도 7은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 균열 클래스 분류기의 학습 명세표 및 학습 과정을 도시한 것이다.
도 8은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 픽셀단위 Pothole 검출기의 학습 명세표 및 학습 과정을 도시한 것이다.
도 9는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패치 연결 및 라벨링 모듈(60)에 의해 연결된 패치를 그룹핑하는 과정을 도시한 그림이다.
도 10은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패치 연결 및 라벨링 모듈(60)에 대한 알고리즘을 도시한 것이다.
도 11은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패칭 영역 검출 모듈(70)에 대한 알고리즘을 도시한 것이며, 도 12는 패칭 영역 검출 모듈(70)에 의해 패칭 영역을 검출하는 과정을 도시한 이미지들이다.
도 13은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 의해 Pothole 픽셀 단위 검출이 잘못된 사례이다.
도 14는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 의한 Pothole 픽셀 단위 검출 결과를 OpenCV 기반 이미지 프로세싱으로 보완한 이미지로서, 빨간 색 곡선이 처리후 Pothole로 검출되는 부분이다.
도 15는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 대한 알고리즘을 도시한 것이다.
도 16은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 균열 최대폭 검출 모듈(92)의 균열 최대폭 검출 알고리즘을 도시한 것이다.
도 17은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 균열 최대폭 검출 알고리즘에 따라 균열 최대폭을 산정하기 위하여 4방향 최대 길이 확인 알고리즘을 도시한 것이다.
도 18은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 파손 심각도 분류 모듈의 파손 심각도 분류 알고리즘을 도시한 것이며, 도 19는 파손 심각도 분류 과정을 도시한 흐름도이다.
도 20은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 분석 Flow Chart이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템에 대하여 구체적으로 설명한다. 도 2은 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템을 전체적으로 도시한 구성도이다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템(1)은, 데이터 전처리부(10), 파손 클래스 분류기(20), 균열 클래스 분류기(30), 픽셀 단위 균열 검출기(40), 픽셀 단위 포트홀(Pothole) 검출기(50), 패치 연결 및 라벨링 모듈(60), 패칭 영역 검출 모듈(70), Pothole 영역 검출 모듈(80) 및 심각도 추정기(90)를 구비하여, 포장도로에 대한 이미지들을 분석하여 포장도로에 대한 파손의 심각도를 추정하게 된다.
상기 파손 클래스 분류기(20), 균열 클래스 분류기(30), 픽셀 단위 균열 검출기(40), 픽셀 단위 Pothole 검출기(50)은 학습이 필요한 CNN 모듈로서, 도 3에 도시된 바와 같이, 사전 준비된 학습 데이터를 이용하여 학습함으로써 얻게 된다. 학습데이터로는 포장도로 데이터를 사용하며, 3704x10000px의 이미지를 패치 크기를 256x256로 설정하여 파손 Class 태깅 도구로 태깅된 데이터를 학습 데이터로 사용할 수 있다.
도 3은 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템에 있어서, 학습 과정을 도시한 구조도이며, 도 4는 본 발명의 바람직한 실시예에 따른 포장도로 파손 분석 시스템에 있어서, 파손 심각도의 추론 과정을 도시한 구조도이다.
상기 데이터 전처리부(10)는 입력된 도로 이미지를 사전 설정된 크기의 패치 이미지로 처리한다. 이미지를 나누는 패치의 크기는 포장도로에서 발생한 파손의 특성들을 고려하여 설정하는 것이 바람직하다. 본 발명에서는 긴급 유지보수가 필요한 Pothole의 인식을 최우선으로 할 수 있는 패치 크기를 선정이 필요했고, Pothole의 크기가 일반적으로 150mm이상이니 Pothole을 온전히 담을 수 있는 256x256를 태깅 패치 크기로 선정하였다. 정답셋을 태깅하는 패치 사이즈 외에 태깅된 패치단위 이미지 주변으로 좀 더 확장하여 분류기의 입력으로 줄 수도 있다.
상기 파손 클래스 분류기(20)은 추론 과정의 1차 분류기에서 균열, Patching, Pothole, Line, Normal의 5가지 Class를 구분하기 위해 MobileNet 기반의 이미지 분류기를 학습시킨다.
상기 균열 클래스 분류기(30)는 추론 과정의 2차분류기에서 AC, LC, TC의 3가지 Class를 구분하기 위해 MobileNet기반의 이미지 분류기를 학습시킨다. 상기 파손 클래스 분류기 모듈(20)는 학습 데이터가 원본 이미지이나, 균열 클래스 분류기(30)은 학습 데이터가 원본 이미지가 아니라, HED기반의 픽셀단위 균열 검출기를 통해 출력된 균열의 확률 값 Gray이미지이다.
픽셀단위 균열 검출기(40)는 원본 이미지와 균열을 태깅된 이진 이미지를 입력으로 받아 HED기반의 모델을 학습시킨다. Patching과 Pothole은 시각적 특성이 균열과 달라 따로 학습을 시켜야 하므로, Pothole의 경우 이미지 프로세싱 기법으로 처리가 불가능해서 별도의 픽셀 단위 Pothole 검출기(50)를 구비하여, Pothole 이미지만 학습시킨다. 따라서, 상기 픽셀 단위 Pothole 검출기(50)는 Pothole 이미지만을 학습하여 검출하게 된다.
본 발명에 따른 파손 분석 시스템은 도 3의 CNN기반의 모듈의 학습이 끝나면, 도 4의 추론 과정을 통해 파손의 형태와 심각도를 분석한다. 학습한 4개의 CNN기반 모듈 외에도 추론과정에서는 패치 연결 및 라벨링 모듈(60), 패칭 영역 검출 모듈(70), Pothole 영역 검출 모듈(80) 및 심각도 추정기(90)를 구비한다.
상기 패치 연결 및 라벨링 모듈(60)은 파손 클래스 분류기(20), 균열 클래스 분류기(30), 픽셀 단위 균열 검출기(40), 픽셀 단위 Pothole 검출기(50)를 통해 검출된 패치단위의 이미지들을 파손 형태 별로 연결하여 영역으로 만들고 각 영역에 대하여 라벨링한다. Patching과 Pothole은 추가적인 Post-processing이 필요해 각각 패칭 영역 검출 모듈(70), Pothole 영역 검출 모듈(80)에서 처리한 후, 영역별 결과를 분석한 뒤 심각도 추정기(90)에서 파손의 형태별로 앞서 정의된 정의된 기준에 따라 심각도를 산정한다. 이하, 전술한 각 모듈들의 구성 및 동작에 대하여 보다 구체적으로 설명한다.
상기 파손 클래스 분류기(20)은 1차 분류기로서, 패치 이미지가 입력이고 이를 5 Class로 분류한다. 파손 클래스 분류기(20)인 1차 분류기의 목적은 패치 단위로 나누어진 이미지를 효율적으로 분류하여 픽셀단위 검출할 연산량을 줄이고 파손의 형태를 나누는 것이다. 분류 네트워크는 목적에 가장 부합하는 CNN기반 분류기인 MobileNet을 선택한다. MobileNet은 모바일 디바이스에 탑재하기 적절하게 최적화된 CNN 네트워크로 ImageNet 데이터셋에 대해서 VGG16와 거의 유사한 성능을 가지고 있지만, 파라미터 수가 32배 적은 네트워크이다.
도 5는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 파손 클래스 분류기의 학습 명세표 및 학습 과정을 도시한 것이다. 도 5를 참조하면, 상기 파손 클래스 분류기(20)는 학습을 진행하고, 학습이 완료된 1차 분류기는 딥러닝 추론과정에서 패치단위의 이미지를 입력 받아 MobileNet 네트워크를 거쳐 최종적으로 5 Class SoftMax 값을 출력하여 준다.
상기 픽셀단위 균열 검출기(40)는 5 Class중 균열에 해당하는 AC, LC, TC를 픽셀 단위 검출한다. 5 Class중 균열에 해당하는 AC, LC, TC는 심각도 산정을 위해 균열의 픽셀단위 검출이 필요하다. 1차 분류기를 거친 균열이 있는 패치들은 HED 기반의 픽셀단위 균열 검출기의 입력이다. HED는 ImageNet으로 Pretrain된 VGG16에 이미지를 입력하고 5개의 서로 다른 conv에서 나온 Multi-scale, Multi-level 출력의 융합을 태깅된 이미지와 차이를 최소화하는 방향으로 학습하는 Edge 검출 네트워크이다. 포장도로의 균열과 보통의 이미지에서 객체의 Edge와 비슷한 시각적 특징이 있어, 균열 검출에 Edge 검출 네트워크를 사용하면 우수한 성능이 나타난다.
도 6은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 픽셀단위 균열 검출기의 학습 명세표 및 학습 과정을 도시한 것이다. 도 6을 참조하면, 픽셀단위 균열 검출기(40)는 학습 과정을 진행하여, 추론시에는 출력으로 나오는 균열 확률 값 패치 이미지를 2차 분류기의 입력으로 준다.
상기 균열 클래스 분류기(30)는 2 분류기로서, 균열의 형태를 AC, LC, TC로 나누는데 있다. 본 발명에서는 균열이 픽셀단위로 검출되어 균열의 확률 값으로 나타난 Gray이미지를 CNN 기분 분류기의 입력으로 하여 기존의 원본 이미지를 입력했을 때보다 높은 성능을 얻을 수 있게 된다.
도 7은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 균열 클래스 분류기의 학습 명세표 및 학습 과정을 도시한 것이다. 도 7을 참조하면, 상기 균열 클래스 분류기(30)의 학습 설정은 1차 분류기와 동일하며 입력이 균열이 픽셀단위 검출된 패치 이미지이고, 학습 과정을 진행한다. 추론 때의 출력은 3 Class 균열의 SoftMax값이라는 점만 다르다.
균열과 시각적 특성이 다른 Patching과 Pothole은 단일 균열 픽셀단위 검출 모듈로는 검출에 어려움이 있다. Patching의 경우 파손되지 않은 부분과의 시각적 특성이 차이가 명확하여 OpenCV기반 이미지 프로세싱 방법으로 처리할 수 있었으나, Pothole은 파손되지 않은 도로와 색상 히스토그램도 유사하여 OpenCV기반 이미지 프로세싱 방법으로 처리하기가 어렵고, Pothole의 Edge부분은 균열과 시각적 특성이 유사하지만, Pothole의 내부는 균열과 시각적 특정이 달라 CNN기반 균열 픽셀단위 검출 모듈로도 검출이 어렵다. 따라서, 본 발명에서는 Pothole의 픽셀 단위 검출을 위해 상기 픽셀단위 Pothole 검출기(50)를 구비하여, 또 하나의 HED 네트워크를 Pothole에 대해서만 학습을 진행하였다. 입력 이미지가 Pothole이라는 것을 제외하면 학습 설정은 균열과 동일하다.
도 8은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 상기 픽셀단위 Pothole 검출기의 학습 명세표 및 학습 과정을 도시한 것이다.
상기 패치 연결 및 라벨링 모듈(60)은 패치의 결과를 같은 영역끼리 묶기 위해서 CCL(Connected Component Labeling)알고리즘을 사용한다. CCL 알고리즘은 Rosenfeld et al에서 정의한 것으로 본 발명에서는 패치별 파손 형태가 분류된 도로 이미지에 대해서 각 영역별 패치리스트를 연산하기 위해 CCL 알고리즘을 사용한다.
도 9는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패치 연결 및 라벨링 모듈(60)에 의해 연결된 패치를 그룹핑하는 과정을 도시한 그림이다. 본 발명에 따른 패치 연결 및 라벨링 모듈(60)은 도 9에 나타나는 흐름대로 연결된 패치들을 그룹핑한다. 도 10은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패치 연결 및 라벨링 모듈(60)에 대한 알고리즘을 도시한 것이다.
도 11은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 패칭 영역 검출 모듈(70)에 대한 알고리즘을 도시한 것이며, 도 12는 패칭 영역 검출 모듈(70)에 의해 패칭 영역을 검출하는 과정을 도시한 이미지들이다. 도 11 및 도 12를 참조하면, 패칭 영역 검출 모듈(70)에 있어서, Patching은 포장면에 새로운 재료를 추가하여 시공하거나 교체한 것으로서, Patching 부분의 시각적 특성이 파손되지 않은 부분과 확연히 차이가 난다. Patching의 심각도 분석은 Patching 영역의 넓이로 한다고 정의했다. 본 발명에서는 Patching의 경우 연산의 효율의 위해 CNN 네트워크를 사용하지 않고 OpenCV 라이브러리를 활용하여 Patching의 넓이를 구하는 방법을 제안한다. 제안하는 방법은 Patching 영역에 Otsu 이진화로 이진 이미지를 만들고, Gaussian Blur와 Otsu 이진화를 반복적으로 적용하여 Contour개수가 3개 이하가 될 때까지 반복문을 실행하고, 남은 Contour중 가장 넓이가 큰 Contour를 Patching의 넓이로 결정하는 것이다.
도 13은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 의해 Pothole 픽셀 단위 검출이 잘못된 사례이다. 도 13에서, 태깅 이미지의 흰색은 Pothole 부분이지만 픽셀 단위 검출 결과에서는 가운데 부분의 Pothole이 검출되지 않게 된다. 도 14는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 의한 Pothole 픽셀 단위 검출 결과를 OpenCV 기반 이미지 프로세싱으로 보완한 이미지로서, 빨간 색 곡선이 처리후 Pothole로 검출되는 부분이다. 도 15는 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, Pothole 영역 검출 모듈(80)에 대한 알고리즘을 도시한 것이다.
상기 Pothole 영역 검출 모듈(80)에 있어서, Pothole은 포장도로에서 심하게 파손되어 도로가 패어 있는 부분이다. CNN기반 Pothole 픽셀단위 검출 모듈로 검출하기는 했지만, 도 13과 같이 Pothole의 가운데 부분이 검출되지 않는 경우가 있다. 이는 Edge 검출 모델인 HED의 특성으로 외곽선과 비슷한 균열은 우수하게 검출하나 Pothole과 같이 넓이가 넓은 부분을 검출하는데 부족한 성능을 보인다. 본 발명에서는 Pothole의 검출성능을 보완하기 위해 Patching 검출에서 사용한 OpenCV 기반 이미지 프로세싱을 활용해서 Pothole의 영역 검출성능을 향상시킨다.
상기 심각도 추정기(90)는 균열 최대폭을 산정하는 균열 최대폭 검출 모듈(92) 및 이를 이용하여 심각도를 추정하는 파손 심각도 분류 모듈(94)을 구비한다. 상기 균열 최대폭 검출 모듈(92)은 균열의 최대폭을 구하기 위하여, 도 16의 알고리즘을 제시한다. 도 16은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 균열 최대폭 검출 모듈(92)의 균열 최대폭 검출 알고리즘을 도시한 것이다. 균열 최대폭 검출 알고리즘은 균열 픽셀에 대하여 4 방향으로 연속된 최대 픽셀을 구해 4방향 중 가장 짧은 길이가 해당 픽셀의 균열의 최대폭으로 판단하고 모든 균열 픽셀에 대해서 4방향 연속성을 조사해 최대 폭을 산정한다. 연산량을 줄이기 위해 Erosion 커널을 적용해 최대폭을 나올 수 없는 균열의 외곽부분을 처리하는 것이 바람직하다.
도 17은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 균열 최대폭 검출 알고리즘에 따라 균열 최대폭을 산정하기 위하여 4방향 최대 길이 확인 알고리즘을 도시한 것이다. 도 17을 참조하면, Grid 내에서 색이 채워지는 부분이 균열로 판단된 픽셀이다.
상기 파손 심각도 분류 모듈(94)는 파손 형태별 심각도를 구분하기 위하여, 영역별 처리 단계에서 균열은 최대 폭 산정 알고리즘을 통해, Patching과 Pothole은 OpenCV기반 Patching 영역 검출기를 통해 영역별로 파손 형태를 처리하고, 심각도 측정 모듈에서는 심각도 산정 결과를 출력해준다.
도 18은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 파손 심각도 분류 모듈의 파손 심각도 분류 알고리즘을 도시한 것이며, 도 19는 파손 심각도 분류 과정을 도시한 흐름도이다.
도 20은 본 발명의 바람직한 실시예에 따른 포장 도로 파손 분석 시스템에 있어서, 분석 Flow Chart이다. 도 20을 참조하면, 본 발명에 따른 포장도로 파손 분석 시스템은 크게 1) 패치별 파손 형태 분류와 2) 영역별 그룹핑의 단계로 구분할 수 있다.
1) 패치별 파손 형태 분류단계에서는 (1)과 같이 패치단위로 쪼개진 이미지를 (2) MobileNet 기반의 파손 분류기를 통해 7 Class(Normal, Line, AC, LC, TC, Patching, Pothole)로 구분한다. 분류된 Class중 균열인(AC, LC, TC)는 (3) 균열의 픽셀단위 검출기를 통해 균열의 픽셀들을 검출하고 (4)의 균열 형태 분류기를 통해 균열의 형태는 나눈다.
2) 영역별 그룹핑 단계에서는 (5) Connected Patch Labeling 모듈에서 검출된 패치단위의 파손들을 연결하여 하나의 영역으로 만든다. Patching의 경우 (7) OpenCV기반 Pathing 영역 검출 모듈을 통해 Patching을 픽셀단위로 검출한다. Pothole의 경우 (6) Pothole 픽셀단위 검출 모듈을 통해 Pothole에 대해 픽셀단위 검출된 것을 (8) OpenCV기반 Pothole 영역 검출 모듈로 정확도를 향상시킨다. 마지막으로 Class 영역별 검출된 파손의 픽셀들을 (9) 균열 심각도 측정 모듈을 통해 심각도를 파악하고 (10)의 결과를 도출한다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 포장도로 파손 분석 시스템
10 : 데이터 전처리부
20 : 파손 클래스 분류기
30 : 균열 클래스 분류기
40 : 픽셀 단위 균열 검출기
50 : 픽셀 단위 Pothole 검출기
60 : 패치 연결 및 라벨링 모듈
70 : 패칭 영역 검출 모듈
80 : Pothole 영역 검출 모듈
90 : 심각도 추정기

Claims (12)

  1. 분석할 도로 이미지를 입력받고, 입력된 도로 이미지를 사전 설정된 크기의 패치로 분할하여 제공하는 데이터 전처리부;
    상기 패치들에 대하여 파손 클래스를 분류하는 파손 클래스 분류기;
    상기 파손 클래스 분류기에서 분류된 파손 클래스들 중 균열에 대하여 균열 클래스를 분류하는 균열 클래스 분류기;
    상기 균열 클래스 분류기에 의해 균열로 분류된 패치들에 대하여 픽셀 단위로 균열을 검출하는 픽셀 단위 균열 검출기;
    상기 픽셀 단위 균열 검출기에 의해 픽셀 단위로 균열이 검출된 패치들에 대한 결과를 같은 영역끼리 그룹핑하여 서로 연결하고 라벨링하는 패치 연결 및 라벨링 모듈;
    상기 패치 연결 및 라벨링 모듈에 의해 검출된 균열 영역들에 대하여 사전 설정된 알고리즘을 이용하여 파손 심각도를 계산하여 제공하는 심각도 추정기;
    를 구비하여, 포장도로에 대한 파손 정도를 분석 및 추정하여 제공하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  2. 제1항에 있어서,
    상기 파손 클래스 분류기 및 상기 균열 클래스 분류기는 패치 단위로 나위어진 복수 개의 도로 이미지들을 포함하는 학습 데이터를 이용하여 CNN을 기반으로 하여 분류기를 사전 학습하여 얻는 학습 모델인 것을 특징으로 하는 포장도로 파손 분석 시스템.
  3. 제1항에 있어서, 상기 포장도로 파손 분석 시스템은,
    상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치들에 대하여 픽셀 단위로 Pothole을 검출하는 픽셀 단위 Pothole 검출기를 더 구비하고,
    상기 픽셀 단위 Pothole 검출기 및 상기 픽셀 단위 균열 검출기는 원본 이미지와 균열 또는 Pothole로 태깅된 이진 이미지를 학습 데이터로 하여 사전 학습하여 얻는 학습 모델인 것을 특징으로 하는 포장도로 파손 분석 시스템.
  4. 제1항에 있어서, 상기 포장도로 파손 분석 시스템은,
    상기 파손 클래스 분류기에 의해 패칭으로 분류된 패치에 대하여, 이진 이미지를 만들고, 이진 이미지를 이용하여 패칭 영역에 대한 넓이를 계산하여 제공하는 패칭 영역 검출 모듈을 더 구비하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  5. 제3항에 있어서, 상기 포장도로 파손 분석 시스템은,
    상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치에 대하여, 픽셀 단위 Pothole 검출기에 의해 검출된 픽셀 단위 검출 결과로부터 Pothole 영역을 검출하는 Pothole 영역 검출 모듈을 더 구비하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  6. 제1항에 있어서, 상기 심각도 추정기는,
    사정 설정된 균열 최대폭 산정 알고리즘을 이용하여 균열 최대폭을 산정하는 균열 최대폭 검출 모듈; 및
    상기 균열 최대폭을 이용하여 포장 도로의 파손 상태에 대한 심각도를 추정하여 제공하는 파손 심각도 분류 모듈;
    을 구비하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  7. 제6항에 있어서, 상기 균열 최대폭 산정 알고리즘은,
    균열 픽셀에 대하여 4 방향으로 연속된 최대 픽셀을 구하고,
    4방향 중 가장 짧은 길이가 해당 픽셀의 균열의 최대폭으로 판단하고,
    모든 균열 픽셀에 대해서 4방향 연속성을 조사하여 균열에 대한 최대 폭을 산정하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  8. 제1항에 있어서, 상기 파손 클래스 분류기는 도로 이미지의 패치에 대하여 정상(Normal), 선(Line), 균열, 패칭(Patching) 및 Pothole 중 하나로 분류하고,
    상기 균열 클래스 분류기는 상기 균열로 분류된 패치에 대하여 AC (Alligator Crack, 피로균열), TC (Transverse Crack, 횡방향 균열), LC (Longitudinal Crack, 종방향 균열) 중 하나로 분류하는 것을 특징으로 하는 포장도로 파손 분석 시스템.
  9. (a) 분석할 도로 이미지를 입력받고, 입력된 도로 이미지를 사전 설정된 크기의 패치로 분할하여 제공하는 단계;
    (b) 상기 패치들에 대하여 파손 클래스를 분류하는 파손 클래스 분류 단계;
    (c) 상기 파손 클래스 분류기에서 분류된 파손 클래스들 중 균열에 대하여 균열 클래스를 분류하는 균열 클래스 분류 단계;
    (d) 상기 균열 클래스 분류기에 의해 균열로 분류된 패치들에 대하여 픽셀 단위로 균열을 검출하는 픽셀 단위 균열 검출 단계;
    (e) 상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치들에 대하여 픽셀 단위로 Pothole을 검출하는 픽셀 단위 Pothole 검출 단계;
    (f) 상기 픽셀 단위 균열 검출기에 의해 픽셀 단위로 균열이 검출된 패치들에 대한 결과를 같은 영역끼리 그룹핑하여 서로 연결하고 라벨링하는 패치 연결 및 라벨링 단계; 및
    (g) 상기 패치 연결 및 라벨링 모듈에 의해 검출된 균열 영역들에 대하여 사전 설정된 알고리즘을 이용하여 파손 심각도를 계산하여 제공하는 심각도 추정 단계;
    를 구비하여, 포장도로에 대한 파손 정도를 분석 및 추정하는 것을 특징으로 하는 포장도로 파손 분석 방법.
  10. 제9항에 있어서,
    상기 (b) 파손 클래스 분류 단계 및 (c) 상기 균열 클래스 분류기는 패치 단위로 나뉘어진 복수 개의 도로 이미지들을 포함하는 학습 데이터를 이용하여 CNN을 기반으로 하여 분류기를 사전 학습하여 얻는 학습 모델에 의해 수행되는 것을 특징으로 하며,
    상기 (e) 픽셀 단위 Pothole 검출 단계 및 상기 (d) 픽셀 단위 균열 검출 단계는 원본 이미지와 균열 또는 Pothole로 태깅된 이진 이미지를 학습 데이터로 하여 사전 학습하여 얻는 학습 모델에 의해 수행되는 것을 특징으로 하는 포장도로 파손 분석 방법.
  11. 제9항에 있어서, 상기 포장도로 파손 분석 방법은,
    (h) 상기 파손 클래스 분류 단계에 의해 패칭으로 분류된 패치에 대하여, 이진 이미지를 만들고, 이진 이미지를 이용하여 패칭 영역에 대한 넓이를 계산하여 제공하는 패칭 영역 검출 단계; 및
    (i) 상기 파손 클래스 분류기에 의해 Pothole로 분류된 패치에 대하여, 픽셀 단위 Pothole 검출 단계에 의해 검출된 픽셀 단위 검출 결과로부터 Pothole 영역을 검출하는 Pothole 영역 검출 단계;를 더 구비하는 것을 특징으로 하는 포장도로 파손 분석 방법.
  12. 제9항에 있어서, 상기 (g) 심각도 추정 단계는,
    사정 설정된 균열 최대폭 산정 알고리즘을 이용하여 균열 최대폭을 산정하는 균열 최대폭 검출 단계; 및
    상기 균열 최대폭을 이용하여 포장 도로의 파손 상태에 대한 심각도를 추정하여 제공하는 파손 심각도 분류 단계;
    을 구비하는 것을 특징으로 하는 포장도로 파손 분석 방법.
KR1020200005623A 2020-01-15 2020-01-15 포장도로 파손 분석 시스템 및 파손 분석 방법 KR102302338B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200005623A KR102302338B1 (ko) 2020-01-15 2020-01-15 포장도로 파손 분석 시스템 및 파손 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005623A KR102302338B1 (ko) 2020-01-15 2020-01-15 포장도로 파손 분석 시스템 및 파손 분석 방법

Publications (2)

Publication Number Publication Date
KR20210092086A true KR20210092086A (ko) 2021-07-23
KR102302338B1 KR102302338B1 (ko) 2021-09-15

Family

ID=77155391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200005623A KR102302338B1 (ko) 2020-01-15 2020-01-15 포장도로 파손 분석 시스템 및 파손 분석 방법

Country Status (1)

Country Link
KR (1) KR102302338B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396169B1 (ko) * 2021-09-07 2022-05-11 주식회사 로드텍 머신러닝 및 영상처리기법을 이용한 도로 포장 상태 판별 장치 및 방법
KR20230079950A (ko) * 2021-11-29 2023-06-07 강원대학교산학협력단 콘크리트 도로포장의 정밀조사 필요성 판단방법
CN116844057A (zh) * 2023-08-28 2023-10-03 福建智涵信息科技有限公司 一种路面病害图像处理方法及车载检测装置
CN117517175A (zh) * 2024-01-02 2024-02-06 中交基础设施养护集团工程有限公司 一种路面渗水性能检测装置及检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758705B1 (ko) 2007-02-01 2007-09-21 위성동 도로의 포장상태 자동 조사장치
KR101651999B1 (ko) * 2015-12-11 2016-08-30 한국건설기술연구원 포트홀 및 크랙 검출 장치 및 방법
KR101910066B1 (ko) 2017-12-29 2018-10-22 주식회사 엘에스에이치 도로 포장관리 시스템
KR20190094005A (ko) * 2018-02-02 2019-08-12 한국도로공사 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법
KR102026685B1 (ko) 2018-11-12 2019-11-04 한국건설기술연구원 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758705B1 (ko) 2007-02-01 2007-09-21 위성동 도로의 포장상태 자동 조사장치
KR101651999B1 (ko) * 2015-12-11 2016-08-30 한국건설기술연구원 포트홀 및 크랙 검출 장치 및 방법
KR101910066B1 (ko) 2017-12-29 2018-10-22 주식회사 엘에스에이치 도로 포장관리 시스템
KR20190094005A (ko) * 2018-02-02 2019-08-12 한국도로공사 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법
KR102026685B1 (ko) 2018-11-12 2019-11-04 한국건설기술연구원 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396169B1 (ko) * 2021-09-07 2022-05-11 주식회사 로드텍 머신러닝 및 영상처리기법을 이용한 도로 포장 상태 판별 장치 및 방법
KR102416146B1 (ko) * 2021-09-07 2022-07-06 주식회사 로드텍 머신러닝 및 영상처리기법을 이용한 도로 포장 상태 판별 장치 및 방법
KR20230079950A (ko) * 2021-11-29 2023-06-07 강원대학교산학협력단 콘크리트 도로포장의 정밀조사 필요성 판단방법
CN116844057A (zh) * 2023-08-28 2023-10-03 福建智涵信息科技有限公司 一种路面病害图像处理方法及车载检测装置
CN116844057B (zh) * 2023-08-28 2023-12-08 福建智涵信息科技有限公司 一种路面病害图像处理方法及车载检测装置
CN117517175A (zh) * 2024-01-02 2024-02-06 中交基础设施养护集团工程有限公司 一种路面渗水性能检测装置及检测方法
CN117517175B (zh) * 2024-01-02 2024-03-12 中交基础设施养护集团工程有限公司 一种路面渗水性能检测装置及检测方法

Also Published As

Publication number Publication date
KR102302338B1 (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
KR102302338B1 (ko) 포장도로 파손 분석 시스템 및 파손 분석 방법
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
Fan et al. Automatic pavement crack detection based on structured prediction with the convolutional neural network
Racki et al. A compact convolutional neural network for textured surface anomaly detection
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
Mokhtari et al. Comparison of supervised classification techniques for vision-based pavement crack detection
Sheikh et al. Traffic sign detection and classification using colour feature and neural network
Yusof et al. Deep convolution neural network for crack detection on asphalt pavement
Marques et al. Automatic road pavement crack detection using SVM
Ji et al. Apple grading method based on features of color and defect
Nguyen et al. Machine learning algorithms application to road defects classification
Abbas et al. Automated pavement distress detection using image processing techniques
Abedin et al. Traffic sign recognition using surf: Speeded up robust feature descriptor and artificial neural network classifier
CN112183639B (zh) 一种矿物图像识别与分类方法
CN116682068B (zh) 油井防砂作业施工监控方法及其系统
Chen et al. Road damage detection and classification using mask R-CNN with DenseNet backbone
Abedin et al. Traffic sign recognition using hybrid features descriptor and artificial neural network classifier
Prunella et al. Deep learning for automatic vision-based recognition of industrial surface defects: a survey
Vishwanath et al. Connected component analysis for Indian license plate infra-red and color image character segmentation
Onshaunjit et al. Algorithmic Scheme for Concurrent Detection and Classification of Printed Circuit Board Defects.
CN114612403A (zh) 一种上料皮带破损缺陷智能检测方法及系统
Nguyen et al. A robust approach for road pavement defects detection and classification
Nhat-Duc et al. Computer Vision-Based Severity Classification of Asphalt Pavement Raveling Using Advanced Gradient Boosting Machines and Lightweight Texture Descriptors
Kim et al. Automatic defect detection from SEM images of wafers using component tree
Chandra et al. An automated system to detect and recognize vehicle license plates of Bangladesh

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant