KR20210063637A - 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법 - Google Patents

도로 이미지에 기반한 포트홀 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR20210063637A
KR20210063637A KR1020190151996A KR20190151996A KR20210063637A KR 20210063637 A KR20210063637 A KR 20210063637A KR 1020190151996 A KR1020190151996 A KR 1020190151996A KR 20190151996 A KR20190151996 A KR 20190151996A KR 20210063637 A KR20210063637 A KR 20210063637A
Authority
KR
South Korea
Prior art keywords
image
tile
pothole
road
machine learning
Prior art date
Application number
KR1020190151996A
Other languages
English (en)
Other versions
KR102332971B1 (ko
Inventor
서동만
이성원
김석진
Original Assignee
대구가톨릭대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대구가톨릭대학교산학협력단 filed Critical 대구가톨릭대학교산학협력단
Priority to KR1020190151996A priority Critical patent/KR102332971B1/ko
Publication of KR20210063637A publication Critical patent/KR20210063637A/ko
Application granted granted Critical
Publication of KR102332971B1 publication Critical patent/KR102332971B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법에 관한 것으로서, 특히 딥러닝을 이용하여 항공 영상에 타일 별로 라벨을 부여하고, 포트홀로 분류된 타일로부터 포트홀을 추출하는 포트홀 탐지 시스템 및 방법에 관한 것이다. 본 발명은, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 프레임워크부; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 기계학습부; 및 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부를 포함하고, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템에 관한 것이다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 비디오 처리 및 기계 학습 기술을 적용하여 다른 시스템보다 감지 속도가 빠르며, 하이브리드 감지 시스템을 기반으로 하며, 도로의 공중 이미지에서 포트홀을 검출하는 이점이 있다.

Description

도로 이미지에 기반한 포트홀 탐지 시스템 및 방법{SYSTEM AND METHOD FOR POTHOLE DETECTION BASED ON ROAD AERIAL IMAGES}
본 발명은 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법에 관한 것으로서, 특히 딥러닝을 이용하여 항공 영상에 타일 별로 라벨을 부여하고, 포트홀로 분류된 타일로부터 포트홀을 추출하는 포트홀 탐지 시스템 및 방법에 관한 것이다.
포트홀은 도로의 균열에서 물의 침투와 외부 압력에 의해 발생되는 냄비 형태의 손상이다. 포트홀과 같은 도로 손상은 차량에서 광범위한 손상 및 사고를 일으킬 수 있으며, 구덩이에 의한 사고를 방지하기 위해, 시에서 균열과 도로의 손상을 지속적으로 유지한다.
이러한 도로를 유지하기 위해 도로의 손상 부위를 확인하는 방법으로서, 개인이나 운전자 신고 등의 수동적인 방법이 행해지고 있다. 수동적 방법은 모든 도로의 손상을 기록하는데 어려움이 있으며, 이러한 문제를 해결하기 위해 다양한 자동 감지 시스템이 연구되고 있다.
이와 관련, 종래 기술로, 3축 가속도, 3-D 레이저 스캐너, 이미징 및 기계 학습을 포함한 포톨 자동 감지 방법이 있는데, 3축 가속도계는 실시간 처리가 가능하고 정확도가 92%에 이르지만 차량 바퀴가 포트홀을 통과해야 감지해야만 가능하다. 따라서, 이러한 방법은 차량의 손상과 사고로 이어질 수 있고. 차량 전면에서 3d 레이저 스캐너가 도로의 급격한 깊이 변화를 통해 이를 감지하는 경우. 실시간으로 탐지할 수 있다는 장점이 있지만, 구축 비용이 많이 드는 문제점이 있다.
본 발명은 종래 기술에서 구현된 실시간 탐지 방법의 문제를 해결하기 위해 실시간으로 도로 상태를 차량 바퀴로 탐지할 필요가 없고, 비디오 처리 및 기계 학습 기술을 적용하여 구축 비용을 절감하는 포트홀 탐지 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 단계; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 단계; 상기 라벨에 포트홀이 있는 타일을 검출하고 상기 포트홀의 정확도를 상기 기계 학습을 통해 산출하여 상기 제1 이미지와 함께 타일 리스트 페이지에 표시하는 단계를 포함하는 도로 이미지에 기반한 포트홀 탐지 방법을 제공하는 것을 일 목적으로 한다.
실시 예에 따라, 상기 지도 이미지를 표시하는 단계는, 상기 사용자가 검색하고자 하는 위치를 직접 입력 받거나 상기 위치 정보에 포함된 GPS 좌표를 이용하여 해당 위치를 지도 상에 표시할 수 있다.
실시 예에 따라, 상기 위치 형태로 라벨을 부여하는 단계는, 상기 타일에 포함된 상기 제2 이미지를 분석하여 형태에 따라 비도로, 도로, 포트홀, 그림자, 맨홀 또는 차선 중 어느 하나의 위치 형태로 정의될 수 있다.
실시 예에 따라, 상기 라벨이 부여된 타일에서 포트홀이 있는지 체크하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 라벨이 부여된 타일에서 포트홀로 분류된 타일을 분류하는 단계; 및 상기 포트홀로 분류된 타일에 대한 기계 학습을 통해 상기 타일에 포함된 포트홀의 정확도를 산출하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 라벨이 부여된 타일이 사용자의 요청에 의해 상기 제1 이미지와 함께 파일 형태로 추출되는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 라벨이 부여된 타일에 대해 오류를 정정하는 단계를 더 포함할 수 있다.
또한 본 발명은 상술한 방법을 구현하기 위해, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 프레임워크부; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 기계학습부; 및 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부를 포함하고, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템을 제공하는 것을 다른 목적으로 한다.
상기 저장부는, 상기 저장부에 저장된 각 데이터를 사용자에게 파일 형태로 전송하기 위한 데이터 관리부를 더 포함할 수 있다.
또한 본 발명은, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 비디오 처리 및 기계 학습 기술을 적용하여 다른 시스템보다 감지 속도가 빠르며, 하이브리드 감지 시스템을 기반으로 하며, 도로의 공중 이미지에서 포트홀을 검출하는 이점이 있다.
또한 본 발명은 도로 이미지를 서버로 전송하여 이미지 처리 및 딥러닝 모델을 통해 도로 손상을 추론하고, 이러한 추론의 결과를 직관적인 UI로 웹을 통해 제시할 수 있는 이점이 있다.
도 1은 본 발명의 도로 이미지에 기반한 포트홀 탐지 시스템의 구성도를 나타낸다.
도 2는 본 발명의 도로 이미지에 기반한 포트홀 탐지 방법의 순서도를 나타낸다.
도 3은 본 발명의 실시 예에 따라 메인 페이지에 제1 이미지와 제1 이미지에 포함된 위치 정보에 따른 지도 이미지가 표시된 화면을 나타낸다.
도 4는 본 발명의 실시 예에 따라 제1 이미지를 구획하여 복수의 제2 이미지를 일정 크기의 타일로 생성하는 모습을 나타낸다.
도 5는 본 발명의 실시 예에 따라 각 타일에서 포트홀 유무를 검출하여 라벨을 부여하는 과정을 보여준다.
도 6은 본 발명의 실시 예에 따라 사용자가 입력한 제1 이미지 및 각 타일 정보가 타일 리스트 페이지에서 보여지는 모습을 나타낸다.
도 7은 본 발명의 실시 예에 따라 6개 위치 형태로 분류된 레벨에서 포트홀과의 유사도에 따라 타일의 정확도를 산출하는 모습을 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 도로 이미지에 기반한 포트홀 탐지 시스템(1)의 구성도를 나타낸다.
도 1을 참조하면, 본 발명의 포트홀 탐지 시스템(1)은, 프레임워크부(10), 기계학습부(20) 및 저장부(30)를 포함하고, 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 한다.
프레임워크부(10)는, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시할 수 있다.
프레임워크부(10)는 각 모듈에 사용자의 요구를 전달하고 그 결과를 사용자에게 전달할 수 있다.
프레임워크부(10)의 내부에는 이미지를 수신하여 기계학습부(20)로 송신하는 이미지 수신부, 저장부(30)와 연동되어 이미지와 라벨을 송신하는 이미지&라벨 송신부 및 모델 송신부, 데이터 관리부(40)와 연동되어 데이터 관리부(40)에서 작업이 진행된 데이터를 네트워크로 송신하는 데이터 송신부를 포함할 수 있다.
기계학습부(20)는, 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류할 수 있다.
기계학습부(20)는, 기계 학습은 이미지를 사용하여 학습된 추론을 통해 이미지 사전 처리 및 라벨을 수행한다.
기계학습부(20)는, 비디오 처리 및 기계 학습 기술은 다른 시스템보다 감지 속도가 빠르다. 그러나 기후에 영향을 받는 데는 단점이 있다. 이러한 단점을 완화하기 위해 영상 기반 전처리를 실시하여 도로 손상의 특성을 강조하고 기계 학습을 통해 이를 검출하는 하이브리드 감지 시스템을 적용할 수 있다.
기계학습부(20)에 제안된 하이브리드 감지 시스템을 기반으로 하며, 드론을 통해 도로의 공중 이미지에서 포트홀을 검출하고, 웹을 통해 결과를 관리할 수 있다. 드론을 통해 찍은 도로 이미지를 서버로 전송하여 이미지 처리 및 딥러닝 모델을 통해 도로 손상을 추론할 수 있고, 추론의 결과는 직관적인 UI로 웹을 통해 제시될 수 있다.
기계학습부(20)는 머신러닝 이외에도 수집되지 못하고 잘린 이미지에 대한 이미지 사전 처리와 추론을 통해 검출 결과를 얻을 수 있다. Inference Loader를 통해 검출된 결과는 전문가가 시각화하고 검증한다. 생성된 데이터는 저장소에 저장되어 재교육에 이용되거나 사용자로부터 검출 결과 및 영상을 수신할 때 얻은 EXIF 정보에 근거하여 JSON 데이터로 전송된다.
저장부(30)는, 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부(30)를 포함할 수 있다. 저장부(30)는, 저장부(30)에 저장된 각 데이터를 사용자에게 파일 형태로 전송하기 위한 데이터 관리부(40)를 더 포함할 수 있다.
저장부(30)는, 프레임워크부(10)와 데이터 관리부(40), 기계학습부(20) 그리고 전문가 라벨링 시스템(50)과 연동되어 데이터를 저장하고, 각 구성에서의 데이터 호출이 있는 경우 이를 로딩하여 각 구성에 전달할 수 있다.
실시 예에 따라, 본 발명은 위 3개 구성 외에 데이터 관리부(40)와 전문가 라벨링 시스템(50)을 더 포함할 수 있다.
전문가 검토를 통해 전문가 라벨 시스템에서는 타겟팅을 발견하는 라벨 이미지의 misdetection할 부분이 있고, 기록관 레이블, 이미지 및 메타 데이터, DL모델로 분류되어 저장부(30)와 연동되어 저장시킨다.
저장부(30)에 저장된 메타 데이터는 데이터 관리로부터 사용자에게 전송하기 위해 JSON파일로 변환될 수 있다. 프레임워크부(10)는 관계형 데이터베이스를 구축하는 모델, HTTP 요청을 처리하고 시각화하는 웹 템플릿 시스템의 보기, 각 URL을 제어하고 연결하는 URL 컨트롤러로 구성된 MVC Design Pattern을 따를 수 있다.
프레임워크부(10)는 프런트 엔드의 유저로부터 요청을 받으면, URL을 통해 각 뷰에 요청을 보내고, 요청된 데이터를 저장부(30)에서 가져와서 View를 통해 템플릿으로 전달하고 HTML 파일과 결합하여 사용자에게 표시할 수 있다.
상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 더 포함할 수 있다.
포트홀 탐지 시스템(1)을 사용하면, 드론을 통해 촬영한 도로 영상에서 포트홀을 검출하고, 지도상 도로 정비가 필요한 장소를 표시·관리하는 서비스를 제공할 수 있다.
이 시스템에서는 검출된 결과를 출력하는 과정에서 원본 영상이 로드되며, 클라이언트에 부하가 존재한다는 단점이 있다. 위의 문제를 해결하기 위해 썸네일을 로드하거나 검출 결과를 비동기식으로 로딩하여 로드를 최소화할 수 있다.
더불어 본 발명에서는 구현되지 않았지만 포트홀 결과를 위한 면적 산정에 대한 내용과 대형 포트홀의 우선순위를 정하는 시스템은 연구를 통해 구축될 수 있다. 또한, 시스템은 추가 데이터 세트를 획득하여 감지 결과를 자동으로 마무리하며, 그 때문에 발생하는 오류를 유지하기 위해 모델을 위한 버전 제어 시스템이 구축될 수 있다.
이하 상술한 포트홀 탐지 시스템(1)을 통해 실제 도로 이미지로부터 포트홀을 탐지하는 방법에 대해 설명한다.
도 2는 본 발명의 도로 이미지에 기반한 포트홀 탐지 방법의 순서도를 나타낸다.
도 2를 참조하면, 본 발명은 제1 이미지 및 지도 이미지를 표시하는 단계(S10); 라벨을 부여하여 분류하는 단계(S20) 및 포트홀 타일 검출하여 제1 이미지와 타일을 타일 리스트 페이지에 표시하는 단계(S30)를 포함할 수 있다.
제1 이미지 및 지도 이미지를 표시하는 단계(S10)는, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 표시하는 과정이다.
메인 페이지에서는 프런트 엔드의 유저로부터 요청을 받으면, 프레임워크부(10)의 URL을 통해 각 뷰에 요청을 보낸다. 또한, 요청된 데이터를 데이터베이스에서 가져와서 View를 통해 템플릿으로 전달하고 HTML 파일과 결합하여 사용자에게 표시한다.
라벨을 부여하여 분류하는 단계(S20)는, 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여할 수 있다.
포트홀 타일 검출하여 제1 이미지와 타일을 타일 리스트 페이지에 표시하는 단계(S30)는, 상기 라벨에 포트홀이 있는 타일을 검출하고 상기 포트홀의 정확도를 상기 기계 학습을 통해 산출하여 상기 제1 이미지와 함께 타일 리스트 페이지에 표시하는 과정을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따라 메인 페이지에 제1 이미지와 제1 이미지에 포함된 위치 정보에 따른 지도 이미지가 표시된 화면을 나타낸다.
도 3을 참조하면, 사용자가 입력한 지도 입력 화면과, 입력된 지도 상부에 그 해당 위치가 표시된 모습을 나타낸다.
지도 이미지를 표시하는 단계는, 상기 사용자가 검색하고자 하는 위치를 직접 입력 받거나 상기 위치 정보에 포함된 GPS 좌표를 이용하여 해당 위치를 지도 상에 표시하는 과정이다.
사용자가 입력한 지도에는 지도 뿐만 아니라 위치가 저장되어 있고, 위치 정보는 GPS 정보로 사진과 함께 저장되어 있다. 메인 페이지에는 사용자가 입력한 지도를 표시하고, 상기 위치 정보를 통해 해당 위치를 입력한 사진 상부에 표시할 수 있다.
여기서 메인 페이지는, 실시 예에 따라 구글 지도를 통해 업로드된 이미지의 이미지를 업로드하고 좌표를 시각화하고, 각 사용자가 다시 연결할 때 마지막으로 사용한 정보를 표시하기 위해 쿠키 데이터를 통해 정보를 기록할 수 있다.
실시 예에 따라 구글 맵과 연동시켜 시각화할 수 있으며, Detail 버튼을 통해 해당 이미지 타일 리스트 페이지로 이동이 가능하고 현재 화면 내 마커 위치 정보를 JSON 다운 가능하게 설정할 수 있다. 또한 추가 파일 분류 및 결과 확인을 위해 파일 업로드 기능을 포함할 수 있다.
도 4는 본 발명의 실시 예에 따라 제1 이미지를 구획하여 복수의 제2 이미지를 일정 크기의 타일로 생성하는 모습을 나타낸다.
도 4를 참조하면, 사용자가 업로드한 이미지를 구획 별로 나누어 타일로 분류하는 모습을 나타낸다. 타일은 하나의 영상을 구획하여 분류된 일 단위의 영상 프레임을 지칭한다.
실시 예에 따라, 본 영상 화면은 픽셀 값을 저장할 수 있고, 기 설정된 픽셀 단위로 영상 화면을 분류할 수 있다. 각 화면은 가로 세로 224 pixel 단위로 분류될 수 있고, 하나의 단위가 1타일로 분류될 수 있다. 다만 이에 한정되는 것은 아니고, 각 화면에서 대상을 분류할 정도의 크기로 조정되어 타일 크기를 조절할 수 있다.
상기 위치 형태로 라벨을 부여하는 단계는, 상기 타일에 포함된 상기 제2 이미지를 분석하여 형태에 따라 비도로, 도로, 포트홀, 그림자, 맨홀 또는 차선 중 어느 하나의 위치 형태로 정의될 수 있다.
도 5는 본 발명의 실시 예에 따라 각 타일에서 포트홀 유무를 검출하여 라벨을 부여하는 과정을 보여준다.
도 5를 참조하면, 각 타일을 분류하는 일 예를 화면에 표시한 것이고, 타일 분석 뿐만 아니라 구획된 타일에서 포트홀이 있는지 검출하는 과정을 포함할 수 있다.
상기 라벨이 부여된 타일에서 포트홀이 있는지 체크하는 단계를 더 포함하여, 타일 분류 뿐만 아니라, 포트홀이 있는 타일이 있는지 검색하는 별도의 과정을 거칠 수 있다.
도 6은 본 발명의 실시 예에 따라 사용자가 입력한 제1 이미지 및 각 타일 정보가 타일 리스트 페이지에서 보여지는 모습을 나타낸다.
도 6을 참조하면, 사용자가 입력한 화면을 표시하고, 그 화면 상부에 해당 위치의 대상 이미지를 표시하며, 그 우측에는 대상 이미지를 타일로 분류하여 표시하고 그 타일에 포트홀이 있는지 타일 리스트 페이지로 표시할 수 있다.
위 과정에서 라벨이 부여된 타일에서 포트홀로 분류된 타일을 분류하는 단계; 및 포트홀로 분류된 타일에 대한 기계 학습을 통해 상기 타일에 포함된 포트홀의 정확도를 산출하는 단계를 더 포함할 수 있다. 각 타일에서 포트홀이 있는지 검출하고, 그 정확도를 타일 화면 상단에 표시할 수 있다. 그 화면은 아래 도 7에서 설명한다.
도 7은 본 발명의 실시 예에 따라 6개 위치 형태로 분류된 레벨에서 포트홀과의 유사도에 따라 타일의 정확도를 산출하는 모습을 나타낸다.
도 7을 참조하면, 실시 예에 따라 6개의 라벨로 분류된 모습을 나타내고, 각 타일에서 포트홀이 있는지 판단하여, 포트홀과의 유사도 즉 정확도를 %로 표시할 수 있다.
상기 라벨이 부여된 타일이 사용자의 요청에 의해 상기 제1 이미지와 함께 파일 형태로 추출되는 단계와 상기 라벨이 부여된 타일에 대해 오류를 정정하는 단계를 더 포함할 수 있다.
실시 예에 따라, 본 발명은 GPS 정보를 활용한 포트홀 탐지 결과를 위치 정보를 통해 지도에 표시하며, 각 항공 영상 타일을 학습한 망을 이용하여 포트홀을 탐지한다.
이 과정에서 비도로, 도로, 포트홀, 그림자, 맨홀, 차선 등 6개의 라벨을 타일에 부여하고, 타일 리스트 페이지에 라벨과 정확도를 표시할 수 있다.
라벨 별 타일 위치에 따라 JSON 추출이 가능하다. 기록된 데이터를 추출하는 경우, 사용자는 현재 지도의 마커에서 JSON 형식의 데이터로 탐지 결과를 다운로드 할 수 있고, 타일을 목록으로 분류하여 업로드 이미지의 검출 결과를 시각화하며, 전문가의 관점에서 데이터베이스에서 거짓 양성 이미지를 삭제 또는 정정할 수 있도록 구성할 수도 있다.
포트홀 탐지 방법을 통해 검출된 결과를 출력할 수 있고, 이 과정에서 원본 영상이 로딩되며, 상술한 바와 같이 클라이언트에 부하가 존재한다는 단점이 있으나, 썸네일을 로드하거나 검출 결과를 비동기식으로 로딩하여 로드 부하를 최소화할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
1 : 포트홀 탐지 시스템
10: 프레임워크부 20: 기계학습부
30: 저장부 40: 데이터 관리부
50: 전문가 라벨링 시스템

Claims (10)

  1. 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 단계;
    상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 단계; 및
    상기 라벨에 포트홀이 있는 타일을 검출하고 상기 포트홀의 정확도를 상기 기계 학습을 통해 산출하여 상기 제1 이미지와 함께 타일 리스트 페이지에 표시하는 단계를 포함하는 도로 이미지에 기반한 포트홀 탐지 방법.
  2. 제 1 항에 있어서,
    상기 지도 이미지를 표시하는 단계는,
    상기 사용자가 검색하고자 하는 위치를 직접 입력 받거나 상기 위치 정보에 포함된 GPS 좌표를 이용하여 해당 위치를 지도 상에 표시하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 방법.
  3. 제 1 항에 있어서,
    상기 위치 형태로 라벨을 부여하는 단계는,
    상기 타일에 포함된 상기 제2 이미지를 분석하여 형태에 따라 비도로, 도로, 포트홀, 그림자, 맨홀 또는 차선 중 어느 하나의 위치 형태로 정의되는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 방법.
  4. 제 3 항에 있어서,
    상기 라벨이 부여된 타일에서 포트홀이 있는지 체크하는 단계를 더 포함하는 도로 이미지에 기반한 포트홀 탐지 방법.
  5. 제 3 항에 있어서,
    상기 라벨이 부여된 타일에서 포트홀로 분류된 타일을 분류하는 단계; 및
    상기 포트홀로 분류된 타일에 대한 기계 학습을 통해 상기 타일에 포함된 포트홀의 정확도를 산출하는 단계를 더 포함하는 도로 이미지에 기반한 포트홀 탐지 방법.
  6. 제 3 항에 있어서,
    상기 라벨이 부여된 타일이 사용자의 요청에 의해 상기 제1 이미지와 함께 파일 형태로 추출되는 단계를 더 포함하는 도로 이미지에 기반한 포트홀 탐지 방법.
  7. 제 3 항에 있어서,
    상기 라벨이 부여된 타일에 대해 오류를 정정하는 단계를 더 포함하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 방법.
  8. 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 프레임워크부;
    상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 기계학습부; 및
    상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부를 포함하고,
    상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템.
  9. 제 8 항에 있어서,
    상기 저장부는,
    상기 저장부에 저장된 각 데이터를 사용자에게 파일 형태로 전송하기 위한 데이터 관리부를 더 포함하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 의해,
    상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020190151996A 2019-11-25 2019-11-25 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법 KR102332971B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151996A KR102332971B1 (ko) 2019-11-25 2019-11-25 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151996A KR102332971B1 (ko) 2019-11-25 2019-11-25 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210063637A true KR20210063637A (ko) 2021-06-02
KR102332971B1 KR102332971B1 (ko) 2021-11-30

Family

ID=76372706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151996A KR102332971B1 (ko) 2019-11-25 2019-11-25 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102332971B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220166015A (ko) * 2021-06-09 2022-12-16 대구가톨릭대학교산학협력단 딥러닝 기반 항공 영상 내 포트홀 탐지 결과 시각화 장치 및 그 방법
KR102498622B1 (ko) 2021-12-14 2023-02-10 (주) 한국시설안전연구원 도로 점검장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018087484A (ja) * 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
KR101926561B1 (ko) * 2018-03-13 2018-12-07 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
KR20190094005A (ko) * 2018-02-02 2019-08-12 한국도로공사 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018087484A (ja) * 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
KR20190094005A (ko) * 2018-02-02 2019-08-12 한국도로공사 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법
KR101926561B1 (ko) * 2018-03-13 2018-12-07 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220166015A (ko) * 2021-06-09 2022-12-16 대구가톨릭대학교산학협력단 딥러닝 기반 항공 영상 내 포트홀 탐지 결과 시각화 장치 및 그 방법
KR102498622B1 (ko) 2021-12-14 2023-02-10 (주) 한국시설안전연구원 도로 점검장치

Also Published As

Publication number Publication date
KR102332971B1 (ko) 2021-11-30

Similar Documents

Publication Publication Date Title
US11556744B1 (en) Auto labeler
KR102094341B1 (ko) 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
JP7413543B2 (ja) データ伝送方法および装置
US10963734B1 (en) Perception visualization tool
JP2022506920A (ja) 区画線検出方法、装置、電子機器及び可読記憶媒体
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN101044390B (zh) 视觉距离测量设备及其用途
WO2021081808A1 (zh) 基于人工神经网络的物体检测的系统及方法
KR102332971B1 (ko) 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법
US20200202208A1 (en) Automatic annotation and generation of data for supervised machine learning in vehicle advanced driver assistance systems
WO2019215779A1 (ja) モデル提供システム、方法およびプログラム
WO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
KR20210057943A (ko) 자율 주행 데이터의 데이터 레이블링 방법, 장치 및 컴퓨터프로그램
WO2020023358A1 (en) Verifying map data using challenge questions
US11468591B2 (en) Scene attribute annotation of complex road typographies
KR102546193B1 (ko) 컬러 정보를 이용한 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US12071159B2 (en) Aerial view generation for vehicle control
US20240034354A1 (en) Vehicle Placement on Aerial Views for Vehicle Control
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US20230281975A1 (en) Systems and methods for generating three-dimensional annotations for training a machine learning model
JP6922447B2 (ja) 情報処理システム、サーバおよび通信方法
KR102546198B1 (ko) 물리적 요인 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546195B1 (ko) 수집 환경 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right