KR20220132841A - 도로 정보 제공 시스템 및 도로 정보 제공 방법 - Google Patents

도로 정보 제공 시스템 및 도로 정보 제공 방법 Download PDF

Info

Publication number
KR20220132841A
KR20220132841A KR1020210037890A KR20210037890A KR20220132841A KR 20220132841 A KR20220132841 A KR 20220132841A KR 1020210037890 A KR1020210037890 A KR 1020210037890A KR 20210037890 A KR20210037890 A KR 20210037890A KR 20220132841 A KR20220132841 A KR 20220132841A
Authority
KR
South Korea
Prior art keywords
road
road surface
surface image
damage
damaged
Prior art date
Application number
KR1020210037890A
Other languages
English (en)
Other versions
KR102519715B1 (ko
Inventor
오상균
Original Assignee
주식회사 에어플
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에어플 filed Critical 주식회사 에어플
Priority to KR1020210037890A priority Critical patent/KR102519715B1/ko
Publication of KR20220132841A publication Critical patent/KR20220132841A/ko
Application granted granted Critical
Publication of KR102519715B1 publication Critical patent/KR102519715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

도로 정보 제공 시스템 및 도로 정보 제공 방법이 제공된다. 도로 정보 수집 장치는, 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측되면 도로 노면 영상을 도로 노면 파손 정보로서 수집하고, 도로 정보 제공 서버는 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 파손된 것으로 확인되면 수집된 도로 노면 영상을 이용하여 도로 모니터링 서비스를 제공하고, 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 비파손된 것으로 확인되면, 수집된 도로 노면 영상을 오류 노면 영상으로 분류할 수 있다.

Description

도로 정보 제공 시스템 및 도로 정보 제공 방법{Road information providing system and method}
본 발명은 도로 정보 제공 시스템 및 도로 정보 제공 방법에 관한 것으로서, 보다 상세하게는, 도로 노면에 존재하는 파손 영역을 예측 및 관리하는 도로 정보 제공 시스템 및 도로 정보 제공 방법에 관한 것이다.
도로 파손은 강우 또는 강설량 등의 기후변화, 표면의 노화, 수분의 표면 침투로 인한 파손, 통행량에 의한 누적 하중, 포장 재료의 품질저하 등 다양한 요인에 의해 발생한다. 포트홀(pothole), 빅 크랙(big crack), 균열과 같은 도로 파손은 불규칙적인 모양으로 발생하고, 발생 위치 또한 랜덤하게 발생하므로 운전자는 예기치 못한 위험에 노출되어 각종 사고로 이어질 확률이 높다.
이러한 도로 파손은 발생 위치나 주기가 일률적이지 않아 언제 어떻게 발생할지를 예상하는 것이 어렵다. 따라서 차량 운전자에게 도로의 파손 여부를 미리 알려주는 기술에 대한 많은 시도가 있어 왔다.
기존의 도로 파손 정보를 수집하는 방법은 일 예로 관리자가 육안으로 파손된 상태와 위치를 기록하는 수동적인 방식으로 진행되고 있다. 그러나, 광범위한 도로의 파손 정보를 인력 기반으로 수집 및 관리하는 것은 매우 위험하면서 어려운 작업이므로 이를 자동화하기 위한 기술이 지속적으로 개발되고 있다.
예를 들어, 진동센서를 이용하는 기술은 차량 내 진동감지 센서를 장착하여 파손된 도로를 지나갈 때 발생하는 충격을 감지하는 방식으로 탐지영역의 제한과 인식률이 낮다는 단점이 있다.
레이저 비전을 이용하는 기술은 차량 후미에 레이저와 고정밀 카메라를 장착하여 3차원 형상을 복원하는 조사 방식으로 장비의 가격이 고가이며, 또한, 영상을 활용하여 실시간으로 도로 표면 불량 객체 또는 도로 불량 상태를 자동 인식하는 것이 어렵다.
이러한 이유로 도로 표면 상태 중에서 넓은 영역에서 랜덤하게 발생하는 도로 파손에 대한 위치정보와 형태정보를 동시에 그리고, 실시간으로 수집하는 기술이 상용화되어 있지 않다.
따라서, 보다 안전하면서 신속하고 정확한 방식으로 광범위한 도로의 파손 정보를 실시간으로 파악할 수 있는 기술이 필요하다.
국내 등록특허 제10-1543342호(2015.08.04. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 도로 노면을 촬영한 영상을 인공지능 학습 모델을 기반으로 학습하여 도로 표면의 파손을 파악하며, 파악된 도로 표면의 파손 정보를 이용하여 도로 모니터링 정보를 제공하는 도로 정보 제공 시스템 및 도로 정보 제공 방법을 제시하는 데 있다.
또한, 본 발명이 이루고자 하는 기술적 과제는, 도로 파손이 발생한 것으로 예측된 노면에 실제 파손이 발생하지 않은 경우, 도로 파손이 예측된 도로 노면 영상들을 DB화 및 학습하여 도로 파손 예측 정확도를 높일 수 있는 도로 정보 제공 시스템 및 도로 정보 제공 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 도로 정보 제공 시스템은, 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측되면 상기 도로 노면 영상을 도로 노면 파손 정보로서 수집하는 도로 정보 수집 장치; 및 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 파손된 것으로 확인되면 상기 수집된 도로 노면 영상을 이용하여 도로 모니터링 서비스를 제공하고, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 비파손된 것으로 확인되면, 상기 수집된 도로 노면 영상을 오류 노면 영상으로 분류하는 도로 정보 제공 서버;를 포함한다.
사전에 수집된 다수의 견본 도로 노면 영상들을 학습하여 도로 파손 영역을 예측하기 위한 도로 파손 예측 모델을 생성하고, 상기 도로 정보 제공 서버에서 수집되는 다수의 오류 노면 영상들을 학습하여 도로 파손으로 예측된 도로 노면 영상의 오류 여부를 판단하기 위한 오류 판단 모델을 생성하는 도로 모델 생성 장치;를 더 포함한다.
상기 도로 모델 생성 장치는, 상기 도로 정보 제공 서버에서 분류된 오류 노면 영상들을 저장하는 오류 DB; 및 상기 오류 DB에 저장된 오류 노면 영상들을 학습하여 상기 도로 노면 영상에 도로 파손이 존재하는 것으로 예측된 결과의 오류 여부를 판단하기 위한 오류 판단 모델을 생성하는 모델 제어부;를 포함한다.
상기 도로 정보 수집 장치는, 상기 오류 판단 모델에 상기 도로 노면이 파손된 것으로 예측된 도로 노면 영상을 입력하여 상기 예측된 결과에 대한 오류 여부를 판단한다.
한편, 본 발명의 실시 예에 따르면 도로 정보 제공 방법은, (A) 도로 정보 수집 장치가, 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측되면 상기 도로 노면 영상을 도로 노면 파손 정보로서 수집하는 단계; 및 (B) 도로 정보 제공 서버가, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 파손된 것으로 확인되면 상기 수집된 도로 노면 영상을 이용하여 도로 모니터링 서비스를 제공하고, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 비파손된 것으로 확인되면, 상기 수집된 도로 노면 영상을 오류 노면 영상으로 분류하는 단계;를 포함한다.
(C) 상기 (A) 단계 이전에, 도로 모델 생성 장치가, 사전에 수집된 다수의 견본 도로 노면 영상들을 학습하여 도로 파손 영역을 예측하기 위한 도로 파손 예측 모델을 생성하는 단계; (D) 상기 (B) 단계 이후, 상기 도로 모델 생성 장치가, 도로 정보 제공 서버에서 수집되는 다수의 오류 노면 영상들을 학습하여 도로 파손으로 예측된 도로 노면 영상의 오류 여부를 예측하기 위한 도로 파손 예측 오류 모델을 생성하는 단계; 및 (E) 상기 도로 정보 수집 장치가, 상기 (D) 단계에서 생성되는 오류 판단 모델에 상기 도로 노면이 파손된 것으로 예측된 도로 노면 영상을 입력하여 상기 예측된 결과에 대한 오류 여부를 판단하는 단계;를 더 포함한다.
본 발명에 따르면, 도로 노면 영상들을 인공지능 학습 모델을 기반으로 학습하여 도로 노면에 존재하는 파손 영역을 예측하고, 예측된 도로 노면의 파손 영역을 도로 모니터링 화면에 표시하여 도로 상태를 실시간으로 파악하고 서비스로 제공할 수 있다.
또한, 본 발명에 따르면, 실제 도로를 확인한 결과 파손 영역이 존재하지 않는 경우, 파손 영역이 존재하는 것으로 잘못 예측된 도로 노면 영상들을 분류 및 학습하여 오류 판단 모델을 생성하고, 도로 노면 영상을 오류 판단 모델에 입력하여 파손 영역의 존재여부를 추가로 판단함으로써 도로 노면의 파손 영역 예측 정확도를 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 도로 정보 제공 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 도로 정보 수집 장치(100)의 도로 정보 수집 방법을 도시한 흐름도, 그리고,
도 3은 본 발명의 실시 예에 따른 도로 정보 제공 서버(200)의 도로 정보 제공 방법을 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다.
본 명세서에서, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
또한, 본 발명의 실시 예에 따른 도로 정보 수집 장치(100), 도로 정보 제공 서버(200) 및 도로 모델 생성 장치(300)는 예를 들면, 스마트폰, 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer) 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수도 있다.
도 1은 본 발명의 실시 예에 따른 도로 정보 제공 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 도로 정보 제공 시스템은 도로 정보 수집 장치(100), 도로 정보 제공 서버(200) 및 도로 모델 생성 장치(300)를 포함한다.
도로 정보 수집 장치(100)는 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측된 도로 노면 영상을 오류 판단 모델에 입력하여 추가로 파손 영역이 존재하는지 판단하여 노면 파손 정보를 수집할 수 있다.
도로 정보 수집 장치(100)는 차량에 장착가능하고 휴대가능한 전자기기 형태를 가지며, 카메라(110), 위치 센서(120), 영상 처리부(130), 장치 메모리(140) 및 장치 제어부(150)를 포함할 수 있다.
카메라(110)는 차량에 장착되어 주행 중인 도로 노면을 촬영하고, 도로 노면 영상을 촬영 시간과 함께 장치 제어부(150)로 출력한다. 카메라(110)는 차량의 주변 도로를 촬영하도록 설치되며, 예를 들어, 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치될 수 있다.
위치 센서(120)는 주행 중인 차량의 위치 정보를 센싱하여 센싱 시간과 함께 장치 제어부(150)에게 전달할 수 있다. 위치 센서(120)는 GPS(Global Positioning System) 장치일 수 있다.
영상 처리부(130)는 카메라(110)로부터 입력되는 도로 노면 영상을 전체 프레임 단위로 영상 처리하는 경우 처리 시간이 오래 소요되므로, 프레임에서 특정 영역만을 추출할 수 있다. 영상 처리부(130)는 도로 노면 영상의 1프레임을 3분할하고, 이 중 설정된 영역(예를 들어, 최하단 영역)을 추출한 후, 추출된 영역 중 60%의 영역을 다시 선정하여 관심영역(ROI: Region Of Interest)을 추출할 수도 있다. 60은 일 예로서 도로 노면 영상의 해상도, 차량의 크기 등 다양한 변수에 의해 조정가능하다.
장치 메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 장치 메모리(140)에는 예를 들어, 도로 정보 수집 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~160)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
예를 들어, 장치 메모리(140)에는 도로 파손 예측 모델과 오류 판단 모델이 저장될 수 있다.
도로 파손 예측 모델은 후술할 도로 모델 생성 장치(300)에서 인공지능 학습을 기반으로 생성된 모델로서, 다수의 견본 도로 노면 영상들을 분석하여 도로 노면이 파손되었는지를 예측할 수 있다. 도로 파손 예측 모델은 도로 노면 영상에서 추출된 관심영역을 분석하여 파손된 상태와 파손 종류를 예측할 수 있다. 도로 노면의 파손 종류는 노면 패임, 포트홀, 크랙, 낙하물, 미끄럼, 맨홀, 블로우업, 과속방지턱, 돌출형 노면표시 등 다수가 있다.
오류 판단 모델은 도로 모델 생성 장치(300)에서 인공지능 학습을 기반으로 생성된 모델로서, 도로 파손이 발생한 것으로 예측된 도로 노면 영상들 중 실제로는 도로 파손이 없는 영상들을 추가로 분석하여 도로 파손 예측 모델에서 예측된 결과에 대한 오류 여부를 판단할 수 있다. 즉, 오류 판단 모델은 도로 노면 영상에 도로 파손이 존재하는 것으로 예측된 결과의 오류 여부를 판단할 수 있다.
또한, 장치 메모리(140)는 카메라(110)에서 생성되는 도로 노면 영상, 도로 노면 영상에서 추출되는 관심영역, 도로 노면 영상이 센싱된 위치 정보와 시간 정보, 장치 제어부(150)에서 생성되는 도로 노면의 예측 결과, 제1 및 제2오류 판단 결과 등을 저장할 수 있다.
장치 제어부(150)는 장치 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 장치(100)의 전반적인 동작을 제어한다.
장치 제어부(150)는 카메라(110)에서 생성되는 도로 노면 영상을 분석하여 도로 노면의 파손 여부를 예측하고, 도로 노면이 파손된 것으로 예측되면, 예측된 결과의 오류 여부를 추가로 판단할 수 있다.
자세히 설명하면, 장치 제어부(150)는 도로 노면 영상 또는 도로 노면 영상 중 관심영역을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부와 파손 종류를 예측한다.
오류 판단 모델이 미설치된 경우, 장치 제어부(150)는 도로 노면의 예측 결과를 생성한다. 예측 결과는 도로 파손 예측 모델에서 예측된 파손 종류와 파손 위치, 파손 영역이 존재하는 도로 노면 영상과 도로 노면 영상이 촬영된 시간 등을 포함한다.
오류 판단 모델이 설치 및 실행중인 경우, 도로 파손 예측 모델의 예측 결과 도로 노면이 파손된 것으로 예측되면, 장치 제어부(150)는 파손된 것으로 예측된 관심영역 또는 관심영역이 추출된 도로 노면 영상을 오류 판단 모델에 입력하여 도로 노면 영상에 도로 파손이 존재하는 것으로 예측된 결과의 오류 여부, 즉, 도로 노면 영상에 파손 영역이 존재하는지를 추가로 판단할 수 있다.
오류 판단 모델의 판단 결과, 도로 노면 영상에 파손 영역이 존재하는 것으로 판단되면, 장치 제어부(150)는 예측 결과와 제1오류 판단 결과를 생성하고, 생성된 예측 결과와 제1오류 판단 결과를 도로 정보 제공 서버(200)로 전송하도록 한다. 제1오류 판단 결과는 파손 영역이 존재하는 것으로 예측된 도로 노면 영상을 오류 판단 모델을 통해 재분석한 결과 파손 영역이 존재하는 것으로 판단된 경우 생성되는 정보로서, 도로 노면 영상, 도로 노면 영상이 촬영된 시간과 위치 정보를 포함한다.
반면, 오류 판단 모델의 판단 결과, 도로 노면 영상에 파손 영역이 존재하지 않는 것으로 판단되면, 장치 제어부(150)는 도로 노면 영상 분석에 대해 오류가 발생한 것으로 판단하여 예측 결과와 제2오류 판단 결과를 생성한다. 제2오류 판단 결과는 오류 판단 모델의 판단된 결과, 즉, 도로 노면 영상에 파손 영역이 존재하지 않는 것으로 판단된 결과, 도로 노면 영상, 도로 노면 영상이 촬영된 시간과 위치 정보를 포함하며, 도로에 실제로 파손 영역이 존재할 가능성이 여전히 존재함을 의미한다.
장치 제어부(150)는 예측 결과를, 또는, 예측 결과와 제1오류 판단 결과를, 또는 예측 결과와 제2오류 판단 결과를 도로 정보 제공 서버(200)로 전송하도록 통신 인터페이스(미도시)를 제어할 수 있다.
한편, 도로 정보 제공 서버(200)는 도로 정보 수집 장치(100)로부터 수집되는 예측 결과, 또는, 예측 결과와 제1오류 판단 결과, 또는 예측 결과와 제2오류 판단 결과를 이용하여 도로 모니터링 서비스를 선택적으로 제공할 수 있다. 도로 모니터링 서비스는 도로 노면과 관련된 정보를 정보 정확도와 함께 다수의 사용자들에게 도로 모니터링 화면을 통해 실시간으로 알려주는 서비스이다. 정보 정확도는 정확도가 높을수록 낮은 숫자로 표시될 수 있다.
도로 정보 제공 서버(200)는 예측 결과와 제1오류 판단 결과가 수신되면, 예측 결과에 포함된 도로 노면 영상이 촬영된 위치와 파손 종류 등을 도로 모니터링 화면에 표시하고, 상대적으로 높은 정보 정확도를 의미하는 등급(예를 들어, 제2등급)을 더 표시할 수 있다.
또한, 도로 정보 제공 서버(200)는 예측 결과와 제2오류 판단 결과가 수신되면, 예측 결과에 포함된 도로 노면 영상이 촬영된 위치와 파손 종류 등을 도로 모니터링 화면에 표시하고, 상대적으로 낮은 정보 정확도를 의미하는 등급(예를 들어, 제3등급)을 더 표시할 수 있다.
또한, 도로 정보 제공 서버(200)는 예측 결과가 수신되면, 예측 결과에 포함된 도로 노면 영상이 촬영된 위치와 파손 종류 등을 도로 모니터링 화면에 표시하고, 가장 낮은 정보 정확도를 의미하는 등급(예를 들어, 제4등급)을 더 표시한다.
또한, 관리자가 도로 노면 영상이 촬영된 위치를 실제로 방문하여 육안으로 확인한 결과 파손 영역이 실제로 존재하면, 도로 정보 제공 서버(200)는 도로 모니터링 화면에 표시된 등급(제2 내지 제4등급 중 대상 등급)을 최고 등급(예를 들어, 제1등급)으로 상향조정하여 표시한다.
반면, 육안으로 확인한 결과 파손 영역이 존재하지 않으면, 도로 정보 제공 서버(200)는 도로 모니터링 화면에 표시된 도로 파손 위치는 오류데이터임을 의미하는 식별정보를 표시하거나, 표시된 도로 파손 위치에 대한 정보와 영상을 삭제할 수 있다. 그리고, 도로 정보 제공 서버(200)는 육안으로 확인한 결과 파손 영역이 존재하지 않는 경우, 해당하는 도로 노면 영상을 오류 노면 영상으로 분류한 후 도로 모델 생성 장치(300)에게 전송할 수 있다.
도로 모델 생성 장치(300)는 사전에 수집된 다수의 견본 도로 노면 영상들을 학습하여 도로 파손 영역을 예측하기 위한 도로 파손 예측 모델을 생성하고, 도로 정보 제공 서버(200)에서 분류되어 수집되는 다수의 오류 노면 영상들을 학습하여 도로 파손으로 예측된 도로 노면 영상의 오류 여부를 판단하기 위한 오류 판단 모델을 생성할 수 있다.
이를 위하여, 도로 모델 생성 장치(300)는 DB(310), 전처리부(320), 모델 메모리(330) 및 모델 제어부(340)를 포함할 수 있다.
DB(310)는 다수의 차량용 장치들(미도시)이 촬영한 견본 도로 노면 영상들을 저장하거나 도로 정보 제공 서버(200)로부터 분류 및 제공되는 오류 노면 영상들을 저장한다. 견본 도로 노면 영상들은 노면의 파손 영역을 포함하거나 불포함할 수 있다.
전처리부(320)는 DB(310)에 저장된 견본 도로 노면 영상들로부터 관심 영역을 추출하고, 추출된 관심영역에 포트홀, 크랙 등의 파손 영역이 있는 경우, 파손 영역을 종류에 따라 또는 크기에 따라 상이하게 레이블링하여 파손 종류, 크기, 위치, 형태 등을 표시할 수 있다.
또한, 전처리부(320)는 레이블링된 관심영역의 밝기(B, brightness), 대비(C, contrast), 방향(O, orientation) 중 적어도 하나를 조정하여 딥러닝하기 위한 입력데이터 개수를 증가시킬 수 있다. 이로써, 실제 도로를 촬영하는 경우 날씨, 시간 등 환경에 따라 변경될 수 있는 도로 노면 영상의 다양한 상황을 딥러닝하는데 반영하여 딥러닝 정확도를 높일 수 있다.
또한, 전처리부(320)는 DB(310)에 저장된 오류 노면 영상들에 대해서도 관심 영역을 추출한 후 레이블링할 수 있다.
모델 메모리(330)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함하고, 도로 모델 생성 장치(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
모델 메모리(330)에 저장되는 프로그램은 도로 파손 예측 모델과 오류 판단 모델을 구현하기 위한 모델 생성 프로그램을 포함할 수 있다. 도로 파손 예측 모델은 수집된 도로 노면 영상들을 학습 알고리즘에 적용하여 도로 파손 영역을 추출 및 종류를 예측하고, 종류 또는 크기에 따라 도로 파손 영역을 레이블링한다.
오류 판단 모델은 도로 파손 예측 모델에서는 도로 노면에 파손 영역이 존재하는 것으로 예측되었으나, 현장 방문한 결과 파손 영역이 존재하지 않은 것으로 확인된 도로 노면 영상들(즉, 오류 노면 영상들)을 학습하여 파손 영역이 존재하는지 추가로 판단하는 모델로서, 도로 정보 수집 장치(100)에서 도로 노면의 파손 예측 정확도를 높이는데 사용될 수 있다.
학습 알고리즘은 인공지능 알고리즘, 구체적으로는 딥러닝 알고리즘(예를 들어, DNN, RNN, CNN, SVM 등 다수)일 수 있다.
모델 제어부(160)는 모델 메모리(330)에 저장된 하나 이상의 프로그램을 실행하여 도로 모델 생성 장치(300)의 전반적인 동작을 제어한다.
예를 들어, 모델 제어부(160)는 모델 메모리(330)에 저장된 모델 생성 프로그램을 실행하여 견본 도로 노면 영상들 중 레이블링 처리된 다수의 관심 영역들을 딥러닝 기반으로 학습하여 도로 파손 예측 모델을 생성한다.
또한, 모델 제어부(340)는 모델 생성 프로그램을 실행하여 오류 노면 영상들 중 레이블링 처리된 다수의 관심 영역들을 딥러닝 기반으로 학습하여 오류 판단 모델을 생성한다.
도로 파손 예측 모델과 오류 판단 모델은 도로 정보 수집 장치(100)에 설치 및 실행되거나, 또는 도로 파손 예측 모델은 도로 정보 수집 장치(100)에 설치 및 실행되고 오류 판단 모델은 도로 정보 제공 서버(200)에 설치 및 실행될 수 있다. 본 발명의 실시 예에서는 전자의 동작에 대해 설명하고 있다.
도 2는 본 발명의 실시 예에 따른 도로 정보 수집 장치(100)의 도로 정보 수집 방법을 도시한 흐름도이다.
도 2를 참조하면, 도로 정보 수집 장치(100)는 카메라(110)로 도로 노면을 촬영하여 도로 노면 영상을 획득하고(S210), 획득된 도로 노면 영상으로부터 관심영역을 추출한다(S220).
도로 정보 수집 장치(100)는 추출된 관심영역을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부, 파손 영역, 파손 종류를 예측한다(S230).
도로 정보 수집 장치(100)는 오류 판단 모델이 설치 및 실행 중이면(S240-Yes), S230단계에서 사용된 관심영역을 오류 판단 모델에 입력하여 S230단계에서 예측된 결과의 오류 여부를 판단한다(S250). 오류 판단 모델은 도로 파손 예측 모델에 의해 노면이 파손된 것으로 예측되었으나 현장을 방문하여 육안으로 확인한 결과 파손되지 않은 경우, 이 때 사용된 도로 노면 영상을 수집하여 구현된 모델이므로, S230단계에서 예측된 파손 영역이 존재하는지 한 번 더 판단하는데 사용될 수 있다.
S250단계에서 도로 노면 영상은 파손 영역이 존재하는 영상인 것으로 판단되면, 즉, S230단계의 예측이 오류가 아닌 것으로 판단되면(S260-Yes), 도로 정보 수집 장치(100)는 S230단계의 예측 결과와 S250단계의 제1오류 판단 결과를 생성하여 도로 정보 제공 서버로 전송한다(S270).
반면, S250단계에서 도로 노면 영상은 파손 영역이 미존재하는 영상인 것으로 판단되면, 즉, 오류인 것으로 판단되면(S260-No), 도로 정보 수집 장치(100)는 S230단계의 예측 결과와 S250단계의 제2오류 판단 결과를 생성하여 도로 정보 제공 서버로 전송한다(S280).
또한, S240단계에서 오류 판단 모델에 설치되어 있지 않거나 실행 중이지 않으면, 도로 정보 수집 장치(100)는 S230단계의 예측 결과를 생성하여 도로 정보 제공 서버로 전송한다(S290).
도 3은 본 발명의 실시 예에 따른 도로 정보 제공 서버(200)의 도로 정보 제공 방법을 도시한 흐름도이다.
도 3을 참조하면, 도로 정보 제공 서버(200)는 도로 정보 수집 장치(100)로부터 예측 결과와 제1오류 판단 결과를 수신하면(S300), 예측 결과에 포함된 도로 노면 영상, 도로 노면 영상이 촬영된 위치, 파손 종류 등과 높은 정보 정확도에 해당하는 제2등급을 도로 모니터링 화면에 표시한다(S310).
또한, 도로 정보 제공 서버(200)는 도로 정보 수집 장치(100)로부터 예측 결과와 제2오류 판단 결과를 수신하면(S320), 예측 결과에 포함된 도로 노면 영상, 촬영된 위치, 파손 종류 등과 낮은 정보 정확도에 해당하는 제3등급을 도로 모니터링 화면에 표시한다(S330).
또한, 도로 정보 제공 서버(200)는 도로 정보 수집 장치(100)로부터 예측 결과를 수신하면(S340), 예측 결과에 포함된 도로 노면 영상, 촬영된 위치, 파손 종류 등과 제4등급을 도로 모니터링 화면에 표시한다(S350).
S310단계, S330단계 또는 S350단계 중 하나가 수행된 후, 관리자는 도로 파손이 발생한 것으로 예측된 도로를 실제로 방문하여 파손 영역이 존재하는지 확인한 후 도로 정보 제공 서버(200)에 입력하여 확인 결과를 피드백한다(S360).
피드백 결과, 파손된 영역이 실제 존재하면(S370-Yes), 도로 정보 제공 서버(200)는 S310단계, S330단계 또는 S350단계에서 표시된 등급을 가장 높은 정보 정확도를 의미하는 제1등급으로 변경표시한다(S380).
반면, 파손된 영역이 실제 존재하지 않으면(S370-No), 도로 정보 제공 서버(200)는 S310단계, S330단계 또는 S350단계에서 표시된 도로 노면 영상을 도로 모니터링 화면에서 제거한다(S390).
그리고, 도로 정보 제공 서버(200)는 S310단계, S330단계 또는 S350단계에서 표시된 도로 노면 영상은 실제로는 파손 영역이 존재하지 않은 오류 노면 영상으로 분류하고 도로 모델 생성 장치(300)에게 전송한다(S395).
이로써, 도로 모델 생성 장치(300)는 다수의 오류 노면 영상들이 수집되면 이를 학습하여 오류 판단 모델을 생성하거나 업데이트할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 도로 정보 수집 장치 200: 도로 정보 제공 서버
300: 도로 모델 생성 장치

Claims (5)

  1. 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측되면 상기 도로 노면 영상을 도로 노면 파손 정보로서 수집하는 도로 정보 수집 장치; 및
    상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 파손된 것으로 확인되면 상기 수집된 도로 노면 영상을 이용하여 도로 모니터링 서비스를 제공하고, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 비파손된 것으로 확인되면, 상기 수집된 도로 노면 영상을 오류 노면 영상으로 분류하는 도로 정보 제공 서버;를 포함하는 도로 정보 제공 시스템.
  2. 제1항에 있어서,
    사전에 수집된 다수의 견본 도로 노면 영상들을 학습하여 도로 파손 영역을 예측하기 위한 도로 파손 예측 모델을 생성하고, 상기 도로 정보 제공 서버에서 수집되는 다수의 오류 노면 영상들을 학습하여 도로 파손으로 예측된 도로 노면 영상의 오류 여부를 판단하기 위한 오류 판단 모델을 생성하는 도로 모델 생성 장치;를 더 포함하는 것을 특징으로 하는 도로 정보 제공 시스템.
    제1항에 있어서,
    상기 도로 모델 생성 장치는,
    상기 도로 정보 제공 서버에서 분류된 오류 노면 영상들을 저장하는 오류 DB; 및
    상기 오류 DB에 저장된 오류 노면 영상들을 학습하여 상기 도로 노면 영상에 도로 파손이 존재하는 것으로 예측된 결과의 오류 여부를 판단하기 위한 오류 판단 모델을 생성하는 모델 제어부;를 포함하는 것을 특징으로 하는 도로 정보 제공 시스템.
  3. 제2항에 있어서,
    상기 도로 정보 수집 장치는,
    상기 오류 판단 모델에 상기 도로 노면이 파손된 것으로 예측된 도로 노면 영상을 입력하여 상기 예측된 결과에 대한 오류 여부를 판단하는 것을 특징으로 하는 도로 정보 제공 시스템.
  4. (A) 도로 정보 수집 장치가, 주행 중인 차량의 주변 도로 노면을 촬영하여 생성되는 도로 노면 영상을 도로 파손 예측 모델에 입력하여 도로 노면의 파손 여부를 예측하고, 파손된 것으로 예측되면 상기 도로 노면 영상을 도로 노면 파손 정보로서 수집하는 단계; 및
    (B) 도로 정보 제공 서버가, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 파손된 것으로 확인되면 상기 수집된 도로 노면 영상을 이용하여 도로 모니터링 서비스를 제공하고, 상기 도로 노면 영상이 촬영된 실제 위치를 확인한 결과 비파손된 것으로 확인되면, 상기 수집된 도로 노면 영상을 오류 노면 영상으로 분류하는 단계;를 포함하는 도로 정보 제공 방법.
  5. 제4항에 있어서,
    (C) 상기 (A) 단계 이전에, 도로 모델 생성 장치가, 사전에 수집된 다수의 견본 도로 노면 영상들을 학습하여 도로 파손 영역을 예측하기 위한 도로 파손 예측 모델을 생성하는 단계;
    (D) 상기 (B) 단계 이후, 상기 도로 모델 생성 장치가, 도로 정보 제공 서버에서 수집되는 다수의 오류 노면 영상들을 학습하여 도로 파손으로 예측된 도로 노면 영상의 오류 여부를 예측하기 위한 도로 파손 예측 오류 모델을 생성하는 단계; 및
    (E) 상기 도로 정보 수집 장치가, 상기 (D) 단계에서 생성되는 오류 판단 모델에 상기 도로 노면이 파손된 것으로 예측된 도로 노면 영상을 입력하여 상기 예측된 결과에 대한 오류 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 도로 정보 제공 시스템.
KR1020210037890A 2021-03-24 2021-03-24 도로 정보 제공 시스템 및 도로 정보 제공 방법 KR102519715B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210037890A KR102519715B1 (ko) 2021-03-24 2021-03-24 도로 정보 제공 시스템 및 도로 정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037890A KR102519715B1 (ko) 2021-03-24 2021-03-24 도로 정보 제공 시스템 및 도로 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20220132841A true KR20220132841A (ko) 2022-10-04
KR102519715B1 KR102519715B1 (ko) 2023-04-17

Family

ID=83600437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037890A KR102519715B1 (ko) 2021-03-24 2021-03-24 도로 정보 제공 시스템 및 도로 정보 제공 방법

Country Status (1)

Country Link
KR (1) KR102519715B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739531A (zh) * 2023-08-10 2023-09-12 山东高速集团有限公司创新研究院 高速公路资产数字化管理方法与平台

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077295A (ko) * 2006-01-23 2007-07-26 주식회사 현대오토넷 동영상 패턴인식을 이용한 수치지도 업데이트 자동화시스템 및 방법
KR101543342B1 (ko) 2015-02-23 2015-08-11 한국건설기술연구원 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법
JP2020119380A (ja) * 2019-01-25 2020-08-06 株式会社デンソー 道路異常判断装置、道路異常判断システムおよび道路異常判断方法
KR20200095381A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치
KR102167291B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 도로 상태 정보 수집 시스템 및 방법
KR20200139616A (ko) * 2018-05-03 2020-12-14 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법
WO2021006398A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 자율주행시스템에서 차량의 서비스 제공방법 및 이를 위한 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077295A (ko) * 2006-01-23 2007-07-26 주식회사 현대오토넷 동영상 패턴인식을 이용한 수치지도 업데이트 자동화시스템 및 방법
KR101543342B1 (ko) 2015-02-23 2015-08-11 한국건설기술연구원 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법
KR20200139616A (ko) * 2018-05-03 2020-12-14 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법
JP2020119380A (ja) * 2019-01-25 2020-08-06 株式会社デンソー 道路異常判断装置、道路異常判断システムおよび道路異常判断方法
KR20200095381A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치
WO2021006398A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 자율주행시스템에서 차량의 서비스 제공방법 및 이를 위한 장치
KR102167291B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 도로 상태 정보 수집 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739531A (zh) * 2023-08-10 2023-09-12 山东高速集团有限公司创新研究院 高速公路资产数字化管理方法与平台
CN116739531B (zh) * 2023-08-10 2024-01-26 山东高速集团有限公司创新研究院 高速公路资产数字化管理方法与平台

Also Published As

Publication number Publication date
KR102519715B1 (ko) 2023-04-17

Similar Documents

Publication Publication Date Title
KR102026685B1 (ko) 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버
KR102167291B1 (ko) 도로 상태 정보 수집 시스템 및 방법
Chen et al. Automated crack segmentation in close-range building façade inspection images using deep learning techniques
KR102196255B1 (ko) 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법
KR102167292B1 (ko) 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
KR101852057B1 (ko) 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR102074462B1 (ko) 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법
KR101969758B1 (ko) 도로의 손상을 탐지하는 단말 및 이를 적용한 도로 손상 탐지 시스템
CN113221677A (zh) 一种轨迹异常检测方法、装置、路侧设备和云控平台
CN112562406B (zh) 一种越线行驶的识别方法及装置
KR101598343B1 (ko) 정체 시공간 패턴 자동인식 시스템 및 그 방법
CN115880598B (zh) 一种基于无人机的地面图像检测方法及相关装置
CN111878174B (zh) 一种高速铁路隧道衬砌掉块视频监测方法和装置
KR102519715B1 (ko) 도로 정보 제공 시스템 및 도로 정보 제공 방법
KR102026686B1 (ko) 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버
JP2022113752A (ja) 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム
US11314974B2 (en) Detecting debris in a vehicle path
CN112967335A (zh) 气泡尺寸监测方法及装置
SB et al. Deep Learning Approach for Pothole Detection-A Systematic Review
KR102281100B1 (ko) 지하 매설관 이상 탐지 시스템 및 방법
CN113554185A (zh) 道路病害的巡检方法、系统、设备、存储介质及巡检车辆
CN114170498A (zh) 遗洒物检测方法、装置、计算机设备和存储介质
CN112446229B (zh) 一种标志杆的像素坐标获取方法及装置
KR102317498B1 (ko) 과적차량 및 도로상태 모니터링 시스템
CN113888599A (zh) 基于标签统计和结果后处理的目标检测系统运行时监测方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right