KR101969842B1 - 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법 - Google Patents

딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법 Download PDF

Info

Publication number
KR101969842B1
KR101969842B1 KR1020170174052A KR20170174052A KR101969842B1 KR 101969842 B1 KR101969842 B1 KR 101969842B1 KR 1020170174052 A KR1020170174052 A KR 1020170174052A KR 20170174052 A KR20170174052 A KR 20170174052A KR 101969842 B1 KR101969842 B1 KR 101969842B1
Authority
KR
South Korea
Prior art keywords
road
information
learning
result
state information
Prior art date
Application number
KR1020170174052A
Other languages
English (en)
Inventor
류승기
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020170174052A priority Critical patent/KR101969842B1/ko
Priority to AU2018256505A priority patent/AU2018256505B2/en
Priority to PCT/KR2018/009043 priority patent/WO2019124668A1/ko
Priority to US16/179,021 priority patent/US10719720B2/en
Application granted granted Critical
Publication of KR101969842B1 publication Critical patent/KR101969842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 딥 러닝을 기반으로 도로 위험 정보를 분류하기 위한 시스템 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 딥 러닝을 기반으로 도로 위험 정보를 분류하기 위한 시스템은 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받는 정보 수집부; 상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하는 정보 처리부; 상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식하는 정보 학습부; 및 상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 분류하고 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 정보 분류부;를 포함한다.

Description

딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법{SYSTEM FOR CLASSIFYING DANGEROUS ROAD SURFACE INFORMATION BASED ON DEEP RUNNING AND METHOD THEREOF}
본 발명은 도로 위험정보 분류 시스템에 관한 것으로서, 보다 상세하게는 딥 러닝을 기반으로 도로 위험 정보를 분류하기 위한 시스템 및 그 방법에 관한 것이다.
일반적으로 자동차의 주행을 위하여 마련된 도로의 경우, 아스팔트 등의 재질로 이루어져 있으며, 표면에는 주행 경로를 구분하기 위한 차선뿐만 아니라 차량 운전자의 주행을 안내하기 위한 여러 종류의 노면 표지가 형성되어 있다. 이때 노면 표지는 좌회전이나 우회전 또는 직진 화살표, 도착지명 표지, 제한 속도 표지, 횡단보도 안내 표지 등을 포함한다.
종래의 차량 운전자들은 이와 같은 노면 표지와 표지판의 도움을 받아 목적지에 당도하였으나, 최근의 차량 운전자들은 더욱 신속하고 편리하게 목적지에 도달하기 위하여 자동차 내부에 설치된 내비게이션 장비의 안내를 받으며 운전을 하고 있다. 디스플레이를 구비한 일반적인 내비게이션의 경우, 목적지까지의 경로 안내, 제한속도 알람, 휴게소 및 주유소 표시 등과 같이 차량 운전자의 편안한 운전을 위하여 다양한 기능을 구현하고 있다.
그러나 내비게이션은 도로를 단순한 선으로 파악하고 지도를 바탕으로 경로를 안내하여 주는 장비에 불과하기때문에, 도로의 상태에 대한 직관적인 안내를 제공하여 주지 못한다는 단점이 있다. 일례로, 차선이나 노면 표지가 지워져 식별이 어려운 경우나 도로에 균열이 형성되어 있는 경우, 내비게이션 장비에만 의존한다면 도로의 낙후된 상태로 인하여 사고가 발생할 위험이 대폭 증가할 수 있다는 문제점이 있다. 따라서 이와 같은 문제점을 해결하기 위해서는 내비게이션을 통한 단순한 경로 안내 외에도, 노면의 상태에 대한 실질적인 가이드까지 제공해줄 수 있는 시스템이 필요한 실정이다.
등록특허공보 제10-1060152호
이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 주행 중인 도로를 촬영한 도로 상태 정보를 수집하고, 수집된 도로 상태 정보를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하도록 한, 딥 러닝을 기반으로 도로 위험 정보를 분류하기 위한 시스템 및 그 방법을 제공하는데 있다.
다만, 본 발명의 목적은 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 본 발명의 목적을 달성하기 위하여, 본 발명의 한 관점에 따른 도로 위험 정보를 분류하기 위한 시스템은 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받는 정보 수집부; 상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하는 정보 처리부; 상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식하는 정보 학습부; 및 상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 분류하고 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 정보 분류부를 포함할 수 있다.
또한, 상기 정보 처리부는 상기 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성할 수 있다.
또한, 상기 정보 학습부는 상기 변환된 그레이스케일 이미지를 미리 정해진 적어도 2개의 딥 러닝 기반 학습 모델을 기반으로 학습할 수 있다.
또한, 본 발명에 따른 도로 위험 정보를 분류하기 위한 시스템은 정보 분류부로부터 상기 탐지된 노면 불량 구간을 사용자 단말에 전송하는 정보 전송부를 더 포함할 수 있다.
본 발명의 다른 한 관점에 따른 도로 위험 정보를 분류하기 위한 시스템은 차량용 기기로부터 획득된 각종 도로 상태 정보를 수집하는 통신부; 상기 수집된 도로 상태 정보를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 분류하고 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 제어부; 및 상기 수집된 도로 상태 정보, 상기 미리 정해된 학습 모델, 상기 분류된 도로 위험 정보를 저장부를 포함할 수 있다.
또한, 상기 제어부는 모바일 어플리케이션을 활성화하여 상기 활성화된 모바일 어플리케이션을 통해 상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하고, 상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습할 수 있다.
또한, 상기 제어부는 상기 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성할 수 있다.
또한, 상기 제어부는 상기 학습한 결과로 도로 위험 정보를 인식하고, 상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 분류하고 그 분류한 결과로 노면 불량 구간을 탐지할 수 있다.
본 발명의 또 다른 관점에 따른 도로 위험 정보를 분류하기 위한 방법은 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받는 정보 수집단계; 상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하는 정보 처리단계; 상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식하는 정보 학습단계; 및 상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 분류하고 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 정보 분류단계를 포함할 수 있다.
또한, 상기 정보 처리단계는 상기 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성할 수 있다.
이처럼 본 발명은 주행 중인 도로를 촬영한 도로 상태 정보를 수집하고, 수집된 도로 상태 정보를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하도록 함으로써, 노면 불량 구간을 탐지할 수 있다.
또한 본 발명은 딥 러닝 기반 인공 지능을 이용하여 노면 불량 구간을 추출하는 것이 가능하기 때문에, 교통 사고를 미연에 방지할 수 있다.
또한 본 발명은 딥 러닝 기반 인공 지능을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하기 때문에, 정보에 대한 신뢰성을 향상시킬 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템을 나타내는 도면이다.
도 2는 도 1에 도시된 서비스 서버의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 방법을 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템을 나타내는 도면이다.
도 5는 도 4에 도시된 이동 단말기의 구성을 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 첨부되는 도면을 참조하여 본 발명의 예시적인 실시형태에 따른 딥 러닝을 기반으로 도로 위험 정보를 분류하기 위한 시스템 및 그 방법을 설명한다. 특히, 본 발명에서는 주행 중인 도로를 촬영한 도로 상태 정보를 수집하고, 수집된 도로 상태 정보를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하도록 함으로써, 도로 위험 정보를 기반으로 노면 불량 구간을 탐지하도록 한 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템은 차량용 기기(100), 사용자 단말(200), 서비스 서버(300), 데이터베이스(400)를 포함할 수 있다.
차량용 기기(100)는 차량에 부착되고, 차량이 주행 중인 도로로부터 각종 도로 상태 정보 예컨대, 도로 영상, 센싱값 등을 획득할 수 있다. 이러한 차량용 기기(100)는 도로 영상을 획득하기 위한 카메라, 센싱값을 획득하기 위한 센서 등을 포함할 수 있다. 차량용 기기(100)는 사용자 단말(200)과 무선 통신으로 연동하여 획득한 각종 정보를 사용자 단말(200)에 제공할 수 있다.
사용자 단말(200)은 차량용 기기(100)와 무선 통신으로 연동하여 각종 도로 상태 정보를 수집하고, 수집된 각종 상태 정보를 서비스 서버(300)에 전달할 수 있다.
서비스 서버(300)는 사용자 단말(200)과 무선 통신으로 연동하여, 각종 도로 상태 정보를 제공 받고, 제공 받은 도로 상태 정보를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하며, 분류된 도로 위험 정보를 기반으로 노면 불량 구간을 탐지할 수 있다. 이러한 도로 위험 정보로는 예컨대, 포트 홀(pot hole), 낙하물, 균열 등을 포함할 수 있다. 여기서 포트 홀은 아스팔트 포장의 공용 시에 포장 표면에 생기는 국부적인 작은 구멍을 말한다.
또한, 딥 러닝 알고리즘은 컴퓨터가 인간처럼 판단하고 학습할 수 있도록 하고 이를 통해 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술을 일컫는다. 이러한 딥 러닝 알고리즘으로는 예컨대, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 등이 있다.
데이터베이스(400)는 수집된 도로 상태 정보, 미리 정의된 적어도 하나의 학습 모델, 학습 모델을 통해 분류된 도로 위험 정보를 저장하여 관리할 수 있다.
도 2는 도 1에 도시된 서비스 서버의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서비스 서버(300)는 정보 수집부(310), 정보 처리부(320), 정보 학습부(330), 정보 분류부(340), 정보 전송부(350)를 포함할 수 있다.
정보 수집부(310)는 사용자 단말과 무선 연동하여 각종 도로 상태 정보를 수집할 수 있다. 정보수집부는 도로 상태 정보를 수집하는 것이 목적으로 분류되지 않은 채 비정상적인 도로 상태 정보를 수집한다.
정보 처리부(320)는 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일(grayscale) 이미지를 생성할 수 있다. 본 발명에서는 도로 영상의 전부를 사용할 수도 있지만, 시스템 자원의 효율적인 활용을 위해 ROI 영역만을 그레이스케일 이미지로 변환하여 사용할 수 있다. 또한, ROI 영역을 다양한 형태로 설정하는 것이 특징이다. 원근감을 활용해 ROI의 외곽선이 차선과 같은 방향으로 조정하여 직사각형 또는 사다리꼴 등 다각형으로 ROI를 설정하는 것이 특징이다.
정보 학습부(330)는 변환된 그레이스케일 이미지를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식할 수 있다. 학습장치는 사전에 제작한 참조 이미지와 비교한다.
정보 분류부(340)는 인식한 결과를 기반으로 도로 상태 정보로부터 도로 위험 정보 예컨대, 포트 홀, 비포트 홀을 분류하고 노면 불량 구간을 탐지할 수 있다. 또한, 본 분류부는 비 포트홀 중에서도 도로 파손 유형에 따라 상세하게 분류하는데, 라벨링, 거북등 균열, 종단 또는 횡단 파손, 스폴링 같은 노면 파손 유형으로 분류하고, 도로에 떨어진 낙하물, 타이어 자국, 맨홀 등과 같은 도로 포장면 외의 다른 특징도 분류하는 것이 특징이다.
정보 전송부(350)는 탐지된 노면 불량 구간을 사용자 단말에 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 방법을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 도로 위험 정보를 분류하기 위한 방법은 정보 수집단계(S310), 정보 처리단계(S320), 정보 학습단계(S330), 정보 분류단계(S340), 정보 전송단계(S350)를 포함할 수 있다.
정보 수집단계(S310)에서는, 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받을 수 있다.
정보 처리단계(S320)에서는, 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환할 수 있다.
정보 학습단계(S330)에서는, 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식할 수 있다.
정보 분류단계(S340)에서는, 인식한 결과를 기반으로 도로 상태 정보로부터 도로 위험 정보를 분류하고 그 분류한 결과를 기반으로 노면 불량 구간을 탐지할 수 있다.
정보 전송단계(S350)에서는, 탐지된 노면 불량 구간을 사용자 단말에 전송할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 도로 위험 정보를 분류하기 위한 시스템은 차량용 기기(100), 사용자 단말(200), 서비스 서버(300), 데이터베이스(400)를 포함할 수 있다.
차량용 기기(100)는 차량에 부착되고, 차량이 주행 중인 도로로부터 각종 도로 상태 정보 예컨대, 도로 영상, 센싱값 등을 획득할 수 있다. 이러한 차량용 기기(100)는 도로 영상을 획득하기 위한 카메라, 센싱값을 획득하기 위한 센서 등을 포함할 수 있다. 차량용 기기(100)는 사용자 단말(200)과 무선 통신으로 연동하여 획득한 각종 정보를 사용자 단말(200)에 제공할 수 있다.
사용자 단말(200)은 노면 불량 구간 탐지를 위한 모바일 어플리케이션을 활성화하여 활성화된 모바일 어플리케이션을 통해 차량용 기기(100)와 무선 통신으로 연동하여 각종 도로 상태 정보를 수집하고, 수집된 도로 상태 정보를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 분류하며, 분류된 도로 위험 정보를 기반으로 노면 불량 구간을 탐지할 수 있다.
서비스 서버(300)는 사용자 단말(200)과 무선 통신으로 연동하여, 노면 불량 구간 탐지를 위한 모바일 어플리케이션, 미리 정의된 적어도 하나의 학습 모델을 사용자 단말(200)에 제공하고, 사용자 단말(200)로부터 탐지된 노면 불량 구간에 대한 정보를 제공 받을 수 있다.
데이터베이스(400)는 수집된 도로 상태 정보, 미리 정의된 적어도 하나의 학습 모델, 학습 모델을 통해 분류된 도로 위험 정보를 저장하여 관리할 수 있다.
도 5는 도 4에 도시된 이동 단말기의 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 이동 단말기(200)는 통신부(210), 입력부(220), 제어부(230), 표시부(240), 저장부(250)를 포함할 수 있다.
통신부(210)는 차량용 기기(100), 서비스 서버(300)와 연동하여, 각종 정보를 송수신할 수 있다. 그 일예로, 통신부(210)는 차량용 기기(100)와 연동하여 각종 도로 상태 정보를 수집할 수 있다. 다른 예로, 통신부(210)는 서비스 서버(300)와 연동하여 노면 불량 구간 탐지를 위한 모바일 어플리케이션을 제공 받고, 탐지된 노면 불량 구간에 대한 정보를 제공 받을 수 있다.
입력부(220)는 메뉴 또는 키 조작에 따라 사용자로부터 정보를 입력 받을 수 있다.
제어부(230)는 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일(grayscale) 이미지를 생성할 수 있다.
제어부(230)는 변환된 그레이스케일 이미지를 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식할 수 있다.
제어부(230)는 인식한 결과를 기반으로 도로 상태 정보로부터 도로 위험 정보 예컨대, 포트 홀, 비포트 홀을 분류하고 노면 불량 구간을 탐지할 수 있다.
표시부(240)는 탐지된 노면 불량 구간에 대한 각종 정보를 표시할 수 있다.
저장부(250)는 수집된 도로 상태 정보, 미리 정의된 적어도 하나의 학습 모델, 학습 모델을 통해 분류된 도로 위험 정보를 저장하여 관리할 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 기기
200: 사용자 단말
300: 서비스 서버
400: 데이터베이스

Claims (10)

  1. 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받는 정보 수집부;
    상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하는 정보 처리부;
    상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식하는 정보 학습부; 및
    상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 포트홀과 비포트홀로 분류한 후 상기 비포트홀을 라벨링, 거북등 균열, 종단 또는 횡단 파송, 스폴링의 노면 파손 유형으로 분류하며 도로에 떨어진 낙하물, 타이어 자국, 맨홀의 다른 특징을 분류하여 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 정보 분류부;를 포함하되,
    상기 정보 처리부는,
    상기 수집된 도로 상태 정보 중 도로 영상으로부터 다각형 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성하는, 도로 위험 정보를 분류하기 위한 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 정보 학습부는,
    상기 변환된 그레이스케일 이미지를 미리 정해진 적어도 2개의 딥 러닝 기반 학습 모델을 기반으로 학습하는, 도로 위험 정보를 분류하기 위한 시스템.
  4. 제1항에 있어서,
    상기 정보 분류부로부터 상기 탐지된 노면 불량 구간을 사용자 단말에 전송하는 정보 전송부;를 더 포함하는, 도로 위험 정보를 분류하기 위한 시스템.
  5. 차량용 기기로부터 획득된 각종 도로 상태 정보를 수집하는 통신부;
    상기 수집된 도로 상태 정보를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 포트홀과 비포트홀로 분류한 후 상기 비포트홀을 라벨링, 거북등 균열, 종단 또는 횡단 파송, 스폴링의 노면 파손 유형으로 분류하며 도로에 떨어진 낙하물, 타이어 자국, 맨홀의 다른 특징을 분류하여 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 제어부; 및
    상기 수집된 도로 상태 정보, 상기 미리 정해된 학습 모델, 상기 분류된 도로 위험 정보를 저장부;를 포함하되,
    상기 제어부는,
    모바일 어플리케이션을 활성화하여 상기 활성화된 모바일 어플리케이션을 통해 상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하고, 상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하되,
    상기 제어부는,
    상기 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성하는, 도로 위험 정보를 분류하기 위한 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 차량용 기기로부터 획득된 각종 도로 상태 정보를 제공 받는 정보 수집단계;
    상기 수집된 도로 상태 정보를 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 변환하는 정보 처리단계;
    상기 변환된 그레이스케일 이미지를 미리 정해진 딥 러닝 기반 학습 모델을 기반으로 학습하여 그 학습한 결과로 도로 위험 정보를 인식하는 정보 학습단계; 및
    상기 인식한 결과를 기반으로 상기 도로 상태 정보로부터 상기 도로 위험 정보를 포트홀과 비포트홀로 분류한 후 상기 비포트홀을 라벨링, 거북등 균열, 종단 또는 횡단 파송, 스폴링의 노면 파손 유형으로 분류하며 도로에 떨어진 낙하물, 타이어 자국, 맨홀의 다른 특징을 분류하여 그 분류한 결과를 기반으로 노면 불량 구간을 탐지하는 정보 분류단계;를 포함하되,
    상기 정보 처리단계는,
    상기 수집된 도로 상태 정보 중 도로 영상으로부터 ROI(Region of Interest) 영역을 추출하고, 상기 추출된 ROI 영역을 영상 처리하여 그 영상 처리한 결과로 그레이스케일 이미지를 생성하는, 도로 위험 정보를 분류하기 위한 방법.
  10. 삭제
KR1020170174052A 2017-12-18 2017-12-18 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법 KR101969842B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170174052A KR101969842B1 (ko) 2017-12-18 2017-12-18 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법
AU2018256505A AU2018256505B2 (en) 2017-12-18 2018-08-08 Artificial intelligence system for providing road surface risk information and method thereof
PCT/KR2018/009043 WO2019124668A1 (ko) 2017-12-18 2018-08-08 도로노면 위험 정보를 제공하는 인공지능 시스템 및 그 방법
US16/179,021 US10719720B2 (en) 2017-12-18 2018-11-02 Artificial intelligence system for providing road surface risk information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170174052A KR101969842B1 (ko) 2017-12-18 2017-12-18 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101969842B1 true KR101969842B1 (ko) 2019-04-17

Family

ID=66281584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174052A KR101969842B1 (ko) 2017-12-18 2017-12-18 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법

Country Status (3)

Country Link
KR (1) KR101969842B1 (ko)
AU (1) AU2018256505B2 (ko)
WO (1) WO2019124668A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244143B1 (ko) * 2020-12-17 2021-04-22 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
KR102290548B1 (ko) * 2021-03-25 2021-08-13 전남대학교산학협력단 딥러닝 모델 기반의 도로 상태 판단을 통한 교통 사고 예방 장치 및 방법
KR20220082159A (ko) * 2020-12-09 2022-06-17 순천대학교 산학협력단 딥 러닝을 이용한 ai 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치
KR102452234B1 (ko) * 2022-01-24 2022-10-14 주식회사 백향우드 딥러닝 기반 추론모델에 의해 데크로드 손상을 판단하는 IoT 기반 데크로드관리방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091557B (zh) * 2019-12-12 2020-07-31 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍挡边折断故障检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101060152B1 (ko) 2011-01-22 2011-08-29 인하대학교 산학협력단 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법
KR20140104565A (ko) * 2013-02-19 2014-08-29 한국과학기술원 자동차 안전을 위한 노면 상태 인식 시스템 및 그 방법
KR101778724B1 (ko) * 2016-12-05 2017-09-14 동국대학교 산학협력단 도로 표지 인식 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807473B1 (en) * 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
JP2010163131A (ja) * 2009-01-19 2010-07-29 Sumitomo Electric Ind Ltd 路面状況判別装置
KR101501851B1 (ko) * 2013-11-28 2015-03-11 울산대학교 산학협력단 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법
US20160292518A1 (en) * 2015-03-30 2016-10-06 D-Vision C.V.S Ltd Method and apparatus for monitoring changes in road surface condition
KR101797818B1 (ko) * 2015-10-26 2017-11-15 현대오토에버 주식회사 딥 러닝 기반 도로 정보 제공 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101060152B1 (ko) 2011-01-22 2011-08-29 인하대학교 산학협력단 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법
KR20140104565A (ko) * 2013-02-19 2014-08-29 한국과학기술원 자동차 안전을 위한 노면 상태 인식 시스템 및 그 방법
KR101778724B1 (ko) * 2016-12-05 2017-09-14 동국대학교 산학협력단 도로 표지 인식 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082159A (ko) * 2020-12-09 2022-06-17 순천대학교 산학협력단 딥 러닝을 이용한 ai 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치
KR102244143B1 (ko) * 2020-12-17 2021-04-22 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
WO2022131439A1 (ko) * 2020-12-17 2022-06-23 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
KR102290548B1 (ko) * 2021-03-25 2021-08-13 전남대학교산학협력단 딥러닝 모델 기반의 도로 상태 판단을 통한 교통 사고 예방 장치 및 방법
KR102452234B1 (ko) * 2022-01-24 2022-10-14 주식회사 백향우드 딥러닝 기반 추론모델에 의해 데크로드 손상을 판단하는 IoT 기반 데크로드관리방법

Also Published As

Publication number Publication date
WO2019124668A1 (ko) 2019-06-27
AU2018256505B2 (en) 2020-04-30
AU2018256505A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
US10719720B2 (en) Artificial intelligence system for providing road surface risk information and method thereof
KR101969842B1 (ko) 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법
US11840239B2 (en) Multiple exposure event determination
CN113748315B (zh) 用于自动车道标记的系统
US11727799B2 (en) Automatically perceiving travel signals
JP6384182B2 (ja) 道路上の線形指示標識の検出方法及び装置
US10650256B2 (en) Automatically perceiving travel signals
US20180299893A1 (en) Automatically perceiving travel signals
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
EP3612424A1 (en) Automatically perceiving travel signals
CN107077606A (zh) 用于确定当前存在的行驶情况的方法和设备
US20180300566A1 (en) Automatically perceiving travel signals
WO2023017317A1 (en) Environmentally aware prediction of human behaviors
JP2017130871A (ja) 車両用画像生成装置
KR102363760B1 (ko) 실시간으로 노면을 모니터링하기 위한 전자 장치와 그의 동작 방법 및 그를 포함하는 시스템
JP2007183846A (ja) 車両用標識認識装置および車両制御装置
KR20100105160A (ko) 자동 교통정보추출 시스템 및 그의 추출방법
JP7214329B2 (ja) 表示内容認識装置、および車両制御装置
CN115675479A (zh) 用于利用对象分类器运行机动车中的自动驾驶功能的方法和处理器设备、及机动车
KR20200020193A (ko) 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템
KR102187441B1 (ko) 비정상 운전 판별이 가능한 드론
KR101458387B1 (ko) 음주운전 방지 방법 및 장치
CN114299715A (zh) 一种基于视频、激光雷达与dsrc的高速公路信息检测系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant