KR102585146B1 - 딥러닝 기반의 도로손상 탐지 장치 및 방법 - Google Patents

딥러닝 기반의 도로손상 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102585146B1
KR102585146B1 KR1020200164731A KR20200164731A KR102585146B1 KR 102585146 B1 KR102585146 B1 KR 102585146B1 KR 1020200164731 A KR1020200164731 A KR 1020200164731A KR 20200164731 A KR20200164731 A KR 20200164731A KR 102585146 B1 KR102585146 B1 KR 102585146B1
Authority
KR
South Korea
Prior art keywords
pothole
road damage
image
outline
deep learning
Prior art date
Application number
KR1020200164731A
Other languages
English (en)
Other versions
KR20220075999A (ko
Inventor
정경용
백지원
강지수
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020200164731A priority Critical patent/KR102585146B1/ko
Publication of KR20220075999A publication Critical patent/KR20220075999A/ko
Application granted granted Critical
Publication of KR102585146B1 publication Critical patent/KR102585146B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 도로손상 탐지 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 다양한 모양과 크기를 가지는 포트홀의 특징을 추출하여 포트홀을 용이하게 탐지할 수 있다.

Description

딥러닝 기반의 도로손상 탐지 장치 및 방법{POTHOLE DETECTION DEVICE AND METHOD BASED ON DEEP LEARNING}
본 발명은 도로손상 탐지 기술에 관한 것으로, 더욱 상세하게는 딥러닝을 이용하여 도로손상 이미지에서 포트홀을 탐지하는 장치 및 방법에 관한 것이다.
도로는 기후 변화, 도로 노후 등의 다양한 요인으로 인해 흠집, 포트 홀 등이 발생한다. 도로 손상에서 포트홀은 차량의 손상과 교통사고를 유발하는 주요 원인으로, 교통 안전과 사고 발생을 대비하기 위해 실시간으로 도로의 유지 보수 및 관리가 이루어진다. 도로손상을 탐지하기 위한 방법으로 센서, 레이저 등을 이용하고 있으며, 실시간 영상에서 포트홀이나 크랙을 탐지하는 컴퓨터 비전, 딥러닝에 대한 연구가 활발하게 진행되고 있다.
그러나, 센서, 레이저를 이용한 도로손상 탐지에는 비용문제가 발생하며, 딥러닝을 이용한 도로손상 탐지에는 효과적으로 도로손상을 예측할 수 있는 알고리즘의 개발이 미약하다. 또한, 도로 손상과 관련된 이미지에는 포트 홀, 크랙, 그림자, 차선 등의 객체가 포함되어 있기 때문에 특정 객체를 탐지하기 어려운 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허 제 10-1969758호에 게시되어 있다.
본 발명은 에지 검출을 통해 포트홀의 윤곽선을 추출하는 딥러닝 기반의 도로손상 탐지 장치를 제공하는 것이다.
본 발명은 딥러닝을 이용하여 포트홀을 탐지하고 분류하는 딥러닝 기반의 도로손상 탐지 장치를 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 딥러닝 기반의 도로손상 탐지 장치가 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치는 도로손상 이미지에 대한 전처리를 수행하는 전처리부, 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 윤곽추출부 및 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 인식하는 포트홀분류부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥러닝 기반의 도로손상 탐지 방법이 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법은 도로손상 이미지에 대한 전처리를 수행하는 단계, 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 단계 및 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 인식하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 에지 검출을 통해 포트홀의 윤곽선을 추출할 수 있다.
본 발명의 실시예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 딥러닝을 이용하여 포트홀을 탐지하고 분류할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치를 설명하기 위한 도면들.
도 8 내지 도 16은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 성능을 예시한 도면들.
도 17은 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지와 기존 탐지 기법으로 분류된 포트홀 이미지를 비교하기 위한 또다른 예시 도면.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법을 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 딥러닝 기반의 도로손상 탐지 장치(100)는 전처리부(110), 윤곽추출부(130) 및 포트홀분류부(150)를 포함한다.
전처리부(110)는 입력 받은 도로손상 이미지에 대한 전처리를 수행한다. 구체적으로, 전처리부(110)는 도로손상 이미지에서 포트홀 영역을 제외한 객체를 탐지하여 제거하는 전처리 과정을 수행한다. 일반적으로, 도로손상 이미지는 사람, 자동차, 나무, 가로등, 건물 등의 많은 객체들이 포함되어 있으며, 이러한 객체들이 포트홀로 오인식되어 탐지 정확도를 낮출 수 있다. 전처리부(110)는 포트홀 영역을 제외한 객체들을 전처리 과정을 통해 제거함으로써 포트홀 탐지 정확도를 높일 수 있다.
도 2를 참조하면, 전처리부(110)는 이미지변환부(111), 객체탐지부(113) 및 객체제거부(115)를 포함한다.
이미지변환부(111)는 다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환한다. 예를 들어, 이미지변환부(111)는 다채널의 RGB 도로손상 이미지를 입력 받아 단일 채널의 그레이스케일 이미지(Grayscale Image)로 변환한다. 이미지변환부(111)는 이미지 변환을 통해 이미지의 형상에 손상을 주지 않고 데이터 양을 감소시킬 수 있다. 이미지변환부(111)는 컴퓨터 비전과 머신러닝에 관련된 다양한 알고리즘을 제공하는 OpenCV 라이브러리를 이용하여 다채널의 도로손상 이미지를 단일 채널의 그레이스케일 이미지로 변환할 수 있으며, 변환된 그레이스케일 이미지를 픽셀에 따라 수치화하여 행렬로 구성할 수 있다.
객체탐지부(113)는 단일 채널 이미지에서 객체 탐지를 수행한다. 구체적으로, 객체탐지부(113)는 기학습된 YOLO(You Only Look Once) 신경망을 이용하여 도로손상 영역을 제외한 객체를 탐지한다.
도 3을 참조하면, YOLO 신경망은 이미지 내에서 특정 대상을 인식하는 객체 탐지 모델로, 컨볼루션 레이어(Convolution Layer) 및 특징맵(Feature Map)을 거쳐 입력된 이미지(Input Image)에서의 객체 종류와 위치를 예측한다. YOLO 신경망은 하나의 네트워크를 사용하여 이미지 데이터에 대한 특징을 추출하고, 경계박스를 생성하여 클래스(class)를 분류한다.
다시 도 2를 참조하면, 객체제거부(115)는 YOLO 신경망을 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거한다. 여기서, 객체제거부(115)는 경계박스의 픽셀값을 255로 대체하여 흰 배경을 생성함으로써 포트홀의 특징과 구별되도록 한다.
다시 도 1을 참조하면, 윤곽추출부(130)는 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출한다. 구체적으로, 윤곽추출부(130)는 도 4와 같이 포트홀의 윤곽선을 추출하기 위해 에지 검출(edge detection)을 수행한다. 에지 검출은 윤곽선(edge)에 해당하는 픽셀을 추출하는 것으로, 편미분 연산을 통해 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선의 존재를 확인한 후, 이차 미분을 이용하여 윤곽선 픽셀의 밝고 어두운 부분의 위치를 확인하는 과정을 거쳐 포트홀의 윤곽선을 추출한다. 도로손상 이미지에서 포트홀은 주변보다 어두운 특징을 지니고 있으므로, 에지 검출을 통한 포트홀 윤곽선 추출이 가능하다.
윤곽추출부(130)는 라플라시안(Laplacian) 마스크를 이용하여 에지 검출을 수행한다. 여기서, 마스크는 영상 처리에서 잡음 제거, 예리화, 에지 검출 시에 사용되는 필터이다. 마스크는 미분 연산자와 동일한 효과를 가지며, 마스크 내의 모든 픽셀의 합이 0을 가지는 특징이 있다. 라플라시안 마스크는 날카로운 특징을 가진 필터로, 연산속도가 빠르며 모든 방향의 윤곽선을 검출할 수 있다. 윤곽추출부(130)는3x3 크기의 라플라시안 마스크를 이용하여 에지 검출을 수행할 수 있다.
다시 도 1을 참조하면, 포트홀분류부(150)는 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지한다. 구체적으로, 포트홀분류부(150)는 기학습된 YOLO 신경망을 이용하여 포트홀의 특징을 탐지한다. 포트홀분류부(150)는 도 5와 같이 YOLO 신경망 내에 CNN(Convolution Neural Network) 방식을 추가로 사용하여 포트홀의 특징을 탐지한다. YOLO 신경망은 24개의 컨볼루션 레이어와 2개의 풀리 커넥티드(Fully Connected) 레이어로 구성되며, 아래의 수학식 1을 손실 함수로 이용한다.
[수학식 1]
여기서, S는 그리드 셀의 크기를 나타내며, 전체 그리드 셀의 개수는 S2로 나타낸다. CS는 신뢰도 점수(Confidence Score)이고, 는 좌표(k,l,m,n)에 대한 밸런스 파라미터이며, 는 객체가 있는 박스와 없는 박스 사이의 균형을 위한 밸런스 파라미터이다. 일반적으로, 이미지에는 객체가 존재하는 셀보다 객체가 존재하지 않는 셀의 수가 상대적으로 더 많기 때문에 균형을 유지하기 위해 밸런스 파라미터를 사용한다.
수학식 1에서, 객체가 존재하는 그리드 셀의 프레딕터 바운딩 박스(predictor bounding box)에 대한 k와 l의 로스(loss)값을 연산한다. 이후, 객체가 존재하는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 h의 로스값을 연산한다. 큰 박스에 대해서는 제곱근을 적용한 후 오차 제곱의 합(sum squared error)을 계산한다. 다음으로, 객체가 존재하는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 신뢰도 점수의 로스값을 계산한다. 이후, 객체가 존재하지 않는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 신뢰도 점수의 로스값을 계산한다. 마지막으로, 객체가 존재하는 그리드 셀에 대해서 조건부 클래스 확률의 로스값을 계산한다.
포트홀분류부(150)는 손실 함수를 통해 생성된 모델에서 포트홀의 특징을 탐지한다. 예를 들어, 포트홀분류부(150)는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고, 바운딩 박스의 좌표를 통해 포트홀의 크기를 탐지할 수 있다. 또한, 포트홀분류부(150)는 포트홀의 길이, 높이 및 면적 등을 탐지할 수 있다.
이후, 포트홀분류부(150)는 아래의 수학식 2을 통해 탐지된 포트홀의 특징에 따라 포트홀을 분류한다.
[수학식 2]
여기서, w는 길이, h는 높이, a는 면적의 임계값을 나타낸다.
포트홀분류부(150)는 탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 클 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 그렇지 않은 경우 포트홀이 아님으로 판단하여 분류 결과를 0으로 출력한다.
도 6을 참조하면, 포트홀분류부(150)는 화면을 통해 포트홀 분류 결과를 포함한 정보를 출력할 수 있다. 포트홀분류부(150)는 현재 시간 및 날짜를 출력할 수 있다. 또한, 포트홀분류부(150)는 서울특별시, 인천광역시, 경기도, 전라 남·북도, 충청 남·북도, 경상남·북도 및 제주도 단위로 도로의 포트홀 발생 여부를 파악한 결과를 출력할 수 있다. 포트홀분류부(150)는 특정 지역에서의 포트홀 발생 결과를 출력함으로써 유지보수, 도로 이용 여부 등에 대한 정보를 제공할 수 있다.
도 7을 참조하면, 딥러닝 기반의 도로손상 탐지 장치(100)는 포트홀 분류를 위한 명령어를 구성한다. 명령어는 도로손상 이미지 데이터 전처리 단계, 포트홀 윤곽선 추출 단계 및 포트홀 분류 단계를 포함한다.
도 8 내지 도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능을 예시한 도면들이다.
도 8을 참조하면, 포트홀 분류 이미지의 왜곡률 및 복원율 성능평가 결과, MSE(Mean Square Error)는 최소 0.2에서 최대 0.44까지 측정되었으며, PSNR(Peak Signal-to-Noise Ratio)는 50db 이상의 값이 측정되었다. 여기서, MSE는 평균 제곱 오차를 의미하며, PSNR(Peak Signal-to-Noise Ratio)는 최대신호대 잡음비를 의미한다. 또한, 압축 및 변환에 의해 발생하는 왜곡에 대해 원본 데이터에 대한 유사도를 측정하는 구조적 유사 지수를 나타내는 SSIM(Structural similarity Index Map)은 0.71~0.82이 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능이 우수함을 확인할 수 있다.
도 9 및 도 10을 참조하면, 본 발명의 일 실시 예에 따른 포트홀 분류 이미지의 정확도 평가 결과, 최소 58.9%에서 최대 96.2%까지 포트홀 유무를 예측하는 것으로 측정되었다. 또한, 같은 구역의 도로에 포트홀이 복수 개 존재하거나 포트홀과 크랙이 모두 존재하는 등 포트홀과 다른 도로 손상의 결과가 동시에 포함된 이미지로 포트홀 분류를 진행한 결과, 평균 74%의 정확도가 측정되었으며, 6개의 이미지 데이터 모두 65% 이상의 정확도가 측정되었다. 여기서, Complex_1은 라인과 포트홀, 크랙이 포함된 이미지, Complex_2는 포트홀이 여러 개 존재하는 이미지, Complex_3은 자동차, 오토바이, 포트홀이 포함된 이미지, Complex_4는 라인과 포트홀이 포함된 이미지, Complex_5는 야간의 포트홀과 라인이 포함된 이미지이며, Complex_6은 크랙, 라인, 자동차가 포함된 이미지이다.
도 11 및 도 12를 참조하면, 오차 행렬(confusion matrix)을 이용한 본 발명의 일 실시 예에 따른 10개의 단일 포트홀 분류 이미지의 평가 결과, TP (True Positive)는 5, FN (False Negative)는 2, FP (False Positive)는 1, TN (True Negative)는 2로 측정되었으며, 정밀도로 환산한 값은 약 83%이다. 여기서, FN은 실제 포트홀일 때 결과가 포트홀이 아니라고 판단한 경우, FP는 실제 포트홀이 아니지만 예측 결과가 포트홀이라고 판단한 경우, TN은 실제 포트홀이 아닐 때 예측 결과가 포트홀이 아니라고 예측한 경우를 의미한다. 또한, AUC(Area Uner Curve)를 이용한 10개의 단일 포트홀 분류 이미지의 평가 결과, AUC의 면적은 0.9로 측정되었다. 여기서, 가로축은 FPR(False Positive Rate)를 나타내며, 세로축은 TPR(True Positive Rate)을 나타낸다.
도 13 및 도 14를 참조하면, 오차 행렬(confusion matrix)을 이용한 6개의 복합적인 환경의 포트홀 분류 이미지 평가 결과, TP (True Positive)는 3, FN (False Negative)는 2, FP (False Positive)는 1, TN (True Negative)는 0으로 측정되었으며, 정밀도로 환산한 값은 약 75%이다. 또한, AUC(Area Uner Curve)를 이용한 6개의 복합적인 환경의 포트홀 분류 이미지 평가 결과, AUC의 면적은 0.733으로 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능이 우수함을 확인할 수 있다.
도 15를 참조하면, 라플라시안 마스크를 이용하여 분류한 포트홀 이미지는 기존의 마스크를 이용하여 분류한 포트홀 이미지보다 더 효과적인 분류 성능을 나타낸다. 각각의 마스크를 이용하여 분류한 4개의 포트홀 이미지의 PSNR(Peak Signal to Noise Ratio)를 평가한 결과, 소벨(Sobel) 마스크의 경우 49.672, 프르윗(Prewitt) 마스크의 경우 50.156, 로버트(Robert) 마스크의 경우 46.852, 라플라시안(Laplacian) 마스크의 경우 54.859, 캐니(Canny) 마스크의 경우 52.020로 측정되었으며, 라플라시안 마스크를 사용했을 경우 PSNR의 값이 가장 높게 측정된 것을 확인할 수 있다.
도 16을 참조하면, 라플라시안 마스크를 이용하여 분류한 포트홀 이미지는 3x3 크기의 라플라시안 마스크를 이용했을 때 가장 높은 정확도 수치인 0.88이 측정된다는 것을 확인할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지와 기존 탐지 기법으로 분류된 포트홀 이미지를 비교하기 위한 또다른 예시이다. 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지(Ours)는 기존 기법을 통해 분류된 포트홀 이미지보다 정밀도(Precision) 및 정확도(Accuracy) 측면에서 더 효과적인 분류 성능을 나타낸다. Aparna et al. 기법의 경우 포트홀만 존재하는 이미지 데이터를 사용하므로 다른 객체가 존재하는 이미지에서는 포트홀을 정확히 탐지하지 못하기 때문에 성능이 낮게 측정된다. 또한, M. H. Yousaf et al. 기법의 경우 아스팔트의 도로 이미지만 사용 가능하여 제한적이며, 포트홀의 모양이 유사할 경우에만 탐지가 가능하다.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법을 설명하기 위한 도면이다.
도 18을 참조하면, 단계 S1801에서 딥러닝 기반의 도로손상 탐지 장치(100)는 다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환한다. 예를 들어, 딥러닝 기반의 도로손상 탐지 장치(100)는 다채널의 RGB 도로손상 이미지를 입력 받아 단일 채널의 그레이스케일 이미지로 변환한다. 딥러닝 기반의 도로손상 탐지 장치(100)는 이미지 변환을 통해 이미지의 형상에 손상을 주지 않고 데이터 양을 감소시킬 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 컴퓨터 비전과 머신러닝에 관련된 다양한 알고리즘을 제공하는 OpenCV 라이브러리를 이용하여 다채널의 도로손상 이미지를 단일 채널의 그레이스케일 이미지(Grayscale Image)로 변환할 수 있으며, 변환된 그레이스케일 이미지를 픽셀에 따라 수치화하여 행렬로 구성할 수 있다.
단계 S1803에서 딥러닝 기반의 도로손상 탐지 장치(100)는 단일 채널 이미지에서 객체 탐지를 수행한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 기학습된 YOLO(You Only Look Once) 신경망을 이용하여 도로손상 영역을 제외한 객체를 탐지한다.
단계 S1805에서 딥러닝 기반의 도로손상 탐지 장치(100)는 YOLO 신경망을 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거한다. 여기서, 딥러닝 기반의 도로손상 탐지 장치(100)는 경계박스의 픽셀값을 255로 대체하여 흰 배경을 생성함으로써 포트홀의 특징과 구별되도록 한다.
단계 S1807에서 딥러닝 기반의 도로손상 탐지 장치(100)는 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 도 4와 같이 포트홀의 윤곽선을 추출하기 위해 에지 검출(edge detection)을 수행한다. 에지 검출은 윤곽선(edge)에 해당하는 픽셀을 추출하는 것으로, 편미분 연산을 통해 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선의 존재를 확인한 후, 이차 미분을 이용하여 윤곽선 픽셀의 밝고 어두운 부분의 위치를 확인하는 과정을 거쳐 포트홀의 윤곽선을 추출한다. 도로손상 이미지에서 포트홀은 주변보다 어두운 특징을 지니고 있으므로, 에지 검출을 통한 포트홀 윤곽선 추출이 가능하다.
딥러닝 기반의 도로손상 탐지 장치(100)는 라플라시안(Laplacian) 마스크를 이용하여 에지 검출을 수행한다. 여기서, 마스크는 영상 처리에서 잡음 제거, 예리화, 에지 검출 시에 사용되는 필터이다. 마스크는 미분 연산자와 동일한 효과를 가지며, 마스크 내의 모든 픽셀의 합이 0을 가지는 특징이 있다. 라플라시안 마스크는 날카로운 특징을 가진 필터로, 연산속도가 빠르며 모든 방향의 윤곽선을 검출할 수 있다. 윤곽추출부(130)는3x3 크기의 라플라시안 마스크를 이용하여 에지 검출을 수행할 수 있다.
단계 S1809에서 딥러닝 기반의 도로손상 탐지 장치(100)는 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 기학습된 YOLO 신경망을 이용하여 포트홀의 특징을 탐지한다.
또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 손실 함수를 통해 생성된 모델에서 포트홀의 특징을 탐지한다. 예를 들어, 딥러닝 기반의 도로손상 탐지 장치(100)는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고, 바운딩 박스의 좌표를 통해 포트홀의 크기를 탐지할 수 있다. 또한, 포트홀분류부(150)는 포트홀의 길이, 높이 및 면적 등을 탐지할 수 있다.
단계 S1811에서 딥러닝 기반의 도로손상 탐지 장치(100)는 아래의 수학식 2을 통해 탐지된 포트홀의 특징에 따라 포트홀을 분류한다.
딥러닝 기반의 도로손상 탐지 장치(100)는 탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 클 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 그렇지 않은 경우 포트홀이 아님으로 판단하여 분류 결과를 0으로 출력한다. 또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 화면을 통해 포트홀 분류 결과를 포함한 정보를 출력할 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 현재 시간 및 날짜를 출력할 수 있다. 또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 서울특별시, 인천광역시, 경기도, 전라 남·북도, 충청 남·북도, 경상남·북도 및 제주도 단위로 도로의 포트홀 발생 여부를 파악한 결과를 출력할 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 특정 지역에서의 포트홀 발생 결과를 출력함으로써 유지보수, 도로 이용 여부 등에 대한 정보를 제공할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (4)

  1. 딥러닝 기반의 도로손상 탐지 장치에 있어서,
    다채널의 도로손상 이미지를 입력 받아 단일 채널 이미지로 변환하고,
    상기 단일 채널 이미지를 픽셀에 따라 수치화하여 행렬로 구성하고, 상기 단일 채널 이미지에서 도로 손상 영역을 제외한 객체를 탐지하고,
    상기 탐지된 객체를 통해 생성된 경계박스의 픽셀값을 255로 대체하고 객체를 제거하여 도로손상 이미지에 대한 전처리를 수행하는 전처리부;
    전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하되,
    상기 윤곽선은 편미분 연산을 사용하여 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선을 확인하고, 이차 미분을 사용하여 윤곽선 픽셀의 밝거나 또는 어두운 픽셀의 위치를 확인하며 포트홀의 윤곽선을 추출하는 윤곽추출부; 및
    상기 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지하고 분류하는 포트홀분류부를 포함하되,
    상기 포트홀분류부는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고 상기 바운딩 박스의 좌표를 통해 포트홀의 길이, 높이 및 면적 중 어느 하나인 크기를 탐지하고,
    탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 큰 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 기설정된 임계값보다 작은 경우 분류 결과를 0으로 출력하며,
    현재시간, 날짜 및 포트홀 발생 지역 단위 중 적어도 1개를 포함하는 포트홀의 분류 결과 정보를 출력하여 유지보수 및 도로 이용 여부에 대한 정보를 제공하고,
    아래 수학식 1의 포트홀 특징 탐지에 대한 손실함수를 생성하는 딥러닝 기반의 도로손상 탐지 장치.
    [수학식 1]


    여기서, S는 그리드 셀의 크기, S2는 전체 그리드 셀의 개수, CS는 신뢰도 점수(Confidence Score), 는 좌표(k,l,m,n)에 대한 밸런스 파라미터, 는 객체의 유무에 따른 박스 사이의 균형을 위한 밸런스 파라미터를 나타냄.

  2. 삭제
  3. 딥러닝 기반의 도로손상 탐지 장치가 도로손상을 탐지하는 방법에 있어서,
    다채널의 도로손상 이미지를 입력 받아 단일 채널 이미지로 변환하고,
    상기 단일 채널 이미지를 픽셀에 따라 수치화하여 행렬로 구성하고, 상기 단일 채널 이미지에서 도로 손상 영역을 제외한 객체를 탐지하고,
    상기 탐지된 객체를 통해 생성된 경계박스의 픽셀값을 255로 대체하고 객체를 제거하여 도로손상 이미지에 대한 전처리를 수행하는 단계;
    전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하되,
    상기 윤곽선은 편미분 연산을 사용하여 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선을 확인하고, 이차 미분을 사용하여 윤곽선 픽셀의 밝거나 또는 어두운 픽셀의 위치를 확인하며 포트홀의 윤곽선을 추출하는 단계; 및
    상기 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지하고 분류하는 단계를 포함하되,
    상기 추출된 도로손상 이미지에서 포트홀의 특징을 탐지하고 분류하는 단계는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고 상기 바운딩 박스의 좌표를 통해 포트홀의 길이, 높이 및 면적 중 어느 하나인 크기를 탐지하고,
    탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 큰 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 기설정된 임계값보다 작은 경우 분류 결과를 0으로 출력하며,
    현재시간, 날짜 및 포트홀 발생 지역 단위 중 적어도 1개를 포함하는 포트홀의 분류 결과 정보를 출력하여 유지보수 및 도로 이용 여부에 대한 정보를 제공하고,
    아래 수학식 1의 포트홀 특징 탐지에 대한 손실함수를 생성하는 딥러닝 기반의 도로손상 탐지 방법.
    [수학식 1]


    여기서, S는 그리드 셀의 크기, S2는 전체 그리드 셀의 개수, CS는 신뢰도 점수(Confidence Score), 는 좌표(k,l,m,n)에 대한 밸런스 파라미터, 는 객체의 유무에 따른 박스 사이의 균형을 위한 밸런스 파라미터를 나타냄.



  4. 삭제
KR1020200164731A 2020-11-30 2020-11-30 딥러닝 기반의 도로손상 탐지 장치 및 방법 KR102585146B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200164731A KR102585146B1 (ko) 2020-11-30 2020-11-30 딥러닝 기반의 도로손상 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164731A KR102585146B1 (ko) 2020-11-30 2020-11-30 딥러닝 기반의 도로손상 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220075999A KR20220075999A (ko) 2022-06-08
KR102585146B1 true KR102585146B1 (ko) 2023-10-05

Family

ID=81980925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164731A KR102585146B1 (ko) 2020-11-30 2020-11-30 딥러닝 기반의 도로손상 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102585146B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117037105B (zh) * 2023-09-28 2024-01-12 四川蜀道新能源科技发展有限公司 基于深度学习的路面灌缝检测方法、系统、终端及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139316A (ja) * 2018-02-06 2019-08-22 国立大学法人 東京大学 識別システム、識別装置、識別方法及び識別プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102196255B1 (ko) * 2018-02-02 2020-12-29 한국도로공사 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139316A (ja) * 2018-02-06 2019-08-22 国立大学法人 東京大学 識別システム、識別装置、識別方法及び識別プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
도로 노면 파손 인식을 위한 Multi-scale 학습 방식의 암호화 형식 의미론적 분할 알고리즘, 한국ITS학회, 2020.04.
엣지 컴퓨팅 환경에서 객체탐지 기법을 활용한 도로 균열 탐지 시스템 개발, 부경대 석사학위 논문, 2020.02.

Also Published As

Publication number Publication date
KR20220075999A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
CN112434695B (zh) 一种基于深度学习的上拉杆故障检测方法
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
CN110866430A (zh) 一种车牌识别方法及装置
CN109376740A (zh) 一种基于视频的水尺读数检测方法
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
CN110751619A (zh) 一种绝缘子缺陷检测方法
JP4674179B2 (ja) 影認識方法及び影境界抽出方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN113160132A (zh) 焊缝缺陷图像的检测处理方法及系统
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
KR102585146B1 (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN113066041A (zh) 一种基于栈稀疏自编码深度学习的路面裂缝检测方法
CN107153823B (zh) 一种基于视觉关联双空间的车道线特征提取方法
CN114581876A (zh) 构建复杂场景下车道检测模型的方法和检测车道线方法
CN112801963A (zh) 一种视频图像遮挡检测方法及系统
CN112150453B (zh) 一种铁路货车摇枕弹簧折断故障自动检测方法
CN115482534A (zh) 铁路货车手轮倾斜检测方法及系统

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant