KR102332971B1

KR102332971B1 - System and method for pothole detection based on road aerial images

Info

Publication number: KR102332971B1
Application number: KR1020190151996A
Authority: KR
Inventors: 서동만; 이성원; 김석진
Original assignee: 대구가톨릭대학교산학협력단
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2021-11-30
Also published as: KR20210063637A

Abstract

본 발명은, 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법에 관한 것으로서, 특히 딥러닝을 이용하여 항공 영상에 타일 별로 라벨을 부여하고, 포트홀로 분류된 타일로부터 포트홀을 추출하는 포트홀 탐지 시스템 및 방법에 관한 것이다. 본 발명은, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 프레임워크부; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 기계학습부; 및 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부를 포함하고, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템에 관한 것이다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 비디오 처리 및 기계 학습 기술을 적용하여 다른 시스템보다 감지 속도가 빠르며, 하이브리드 감지 시스템을 기반으로 하며, 도로의 공중 이미지에서 포트홀을 검출하는 이점이 있다.The present invention relates to a system and method for detecting a pothole based on a road image, and more particularly, to a system and method for detecting a pothole using deep learning to label an aerial image for each tile and extract a pothole from a tile classified as a pothole. will be. The present invention provides a framework unit for receiving a first image in which location information is stored from a user and displaying the first image and a map image according to the location information on a main page; a machine learning unit that divides the first image into tiles that are a plurality of preset second images, and classifies each tile by assigning a label in the form of a location through machine learning by machine learning; and a storage unit for storing the first image, the second image, and the tile to which the label is given, wherein a second image including the tile in which the pothole is detected from the first image is provided to the user It relates to a porthole detection system based on road images.
According to the present invention having the configuration as described above, the detection speed is faster than other systems by applying video processing and machine learning technology, and it is based on a hybrid detection system, and there is an advantage of detecting a pothole in an aerial image of a road.

Description

SYSTEM AND METHOD FOR POTHOLE DETECTION BASED ON ROAD AERIAL IMAGES

본 발명은 도로 이미지에 기반한 포트홀 탐지 시스템 및 방법에 관한 것으로서, 특히 딥러닝을 이용하여 항공 영상에 타일 별로 라벨을 부여하고, 포트홀로 분류된 타일로부터 포트홀을 추출하는 포트홀 탐지 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting a pothole based on a road image, and more particularly, to a system and method for detecting a pothole by labeling an aerial image for each tile using deep learning and extracting a pothole from a tile classified as a pothole. .

포트홀은 도로의 균열에서 물의 침투와 외부 압력에 의해 발생되는 냄비 형태의 손상이다. 포트홀과 같은 도로 손상은 차량에서 광범위한 손상 및 사고를 일으킬 수 있으며, 구덩이에 의한 사고를 방지하기 위해, 시에서 균열과 도로의 손상을 지속적으로 유지한다.A pothole is a pot-shaped damage caused by water penetration and external pressure in a crack in the road. Road damage, such as potholes, can cause widespread damage and accidents in vehicles, and to prevent accidents caused by pits, the city continues to maintain cracks and damage to roads.

이러한 도로를 유지하기 위해 도로의 손상 부위를 확인하는 방법으로서, 개인이나 운전자 신고 등의 수동적인 방법이 행해지고 있다. 수동적 방법은 모든 도로의 손상을 기록하는데 어려움이 있으며, 이러한 문제를 해결하기 위해 다양한 자동 감지 시스템이 연구되고 있다. In order to maintain such a road, a passive method, such as an individual or driver report, is being performed as a method of checking the damaged part of the road. The manual method is difficult to record the damage of all roads, and various automatic detection systems are being studied to solve this problem.

이와 관련, 종래 기술로, 3축 가속도, 3-D 레이저 스캐너, 이미징 및 기계 학습을 포함한 포톨 자동 감지 방법이 있는데, 3축 가속도계는 실시간 처리가 가능하고 정확도가 92%에 이르지만 차량 바퀴가 포트홀을 통과해야 감지해야만 가능하다. 따라서, 이러한 방법은 차량의 손상과 사고로 이어질 수 있고. 차량 전면에서 3d 레이저 스캐너가 도로의 급격한 깊이 변화를 통해 이를 감지하는 경우. 실시간으로 탐지할 수 있다는 장점이 있지만, 구축 비용이 많이 드는 문제점이 있다.In this regard, as a prior art, there are three-axis acceleration, 3-D laser scanner, and porthole automatic detection method including imaging and machine learning. The three-axis accelerometer is capable of real-time processing and has an accuracy of up to 92%, but the vehicle wheel can detect the porthole. It can only be detected by passing through. Therefore, these methods can lead to vehicle damage and accidents. At the front of the vehicle, a 3d laser scanner detects this through a sudden change in the depth of the road. Although it has the advantage of being able to detect it in real time, there is a problem that the construction cost is high.

본 발명은 종래 기술에서 구현된 실시간 탐지 방법의 문제를 해결하기 위해 실시간으로 도로 상태를 차량 바퀴로 탐지할 필요가 없고, 비디오 처리 및 기계 학습 기술을 적용하여 구축 비용을 절감하는 포트홀 탐지 시스템 및 방법을 제공하는 것을 목적으로 한다.In order to solve the problem of the real-time detection method implemented in the prior art, the present invention eliminates the need to detect road conditions with vehicle wheels in real time, and applies video processing and machine learning technology to reduce construction costs. aims to provide

상기 목적을 달성하기 위하여 본 발명은, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 단계; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 단계; 상기 라벨에 포트홀이 있는 타일을 검출하고 상기 포트홀의 정확도를 상기 기계 학습을 통해 산출하여 상기 제1 이미지와 함께 타일 리스트 페이지에 표시하는 단계를 포함하는 도로 이미지에 기반한 포트홀 탐지 방법을 제공하는 것을 일 목적으로 한다.In order to achieve the above object, the present invention includes the steps of: receiving a first image in which location information is stored from a user and displaying the first image and a map image according to the location information on a main page; dividing the first image into tiles that are a plurality of preset second images, and classifying each tile by assigning a label in the form of a location through machine learning by machine learning; To provide a pothole detection method based on a road image, comprising the step of detecting a tile having a pothole in the label, calculating the accuracy of the pothole through the machine learning, and displaying it on a tile list page together with the first image The purpose.

실시 예에 따라, 상기 지도 이미지를 표시하는 단계는, 상기 사용자가 검색하고자 하는 위치를 직접 입력 받거나 상기 위치 정보에 포함된 GPS 좌표를 이용하여 해당 위치를 지도 상에 표시할 수 있다.According to an embodiment, in the displaying of the map image, the user may directly input a location to be searched for, or display the corresponding location on the map by using GPS coordinates included in the location information.

실시 예에 따라, 상기 위치 형태로 라벨을 부여하는 단계는, 상기 타일에 포함된 상기 제2 이미지를 분석하여 형태에 따라 비도로, 도로, 포트홀, 그림자, 맨홀 또는 차선 중 어느 하나의 위치 형태로 정의될 수 있다.According to an embodiment, the step of assigning the label in the form of a location may include analyzing the second image included in the tile to determine the form of any one of a non-road, a road, a pothole, a shadow, a manhole, or a lane according to the form. can be defined.

실시 예에 따라, 상기 라벨이 부여된 타일에서 포트홀이 있는지 체크하는 단계를 더 포함할 수 있다.According to an embodiment, the method may further include checking whether there is a pothole in the tile to which the label is assigned.

실시 예에 따라, 상기 라벨이 부여된 타일에서 포트홀로 분류된 타일을 분류하는 단계; 및 상기 포트홀로 분류된 타일에 대한 기계 학습을 통해 상기 타일에 포함된 포트홀의 정확도를 산출하는 단계를 더 포함할 수 있다.According to an embodiment, classifying tiles classified as potholes from the labeled tiles; and calculating the accuracy of the pothole included in the tile through machine learning on the tile classified as the pothole.

실시 예에 따라, 상기 라벨이 부여된 타일이 사용자의 요청에 의해 상기 제1 이미지와 함께 파일 형태로 추출되는 단계를 더 포함할 수 있다.According to an embodiment, the method may further include extracting the tile to which the label is attached in the form of a file together with the first image at the user's request.

실시 예에 따라, 상기 라벨이 부여된 타일에 대해 오류를 정정하는 단계를 더 포함할 수 있다.According to an embodiment, the method may further include correcting an error with respect to the labeled tile.

또한 본 발명은 상술한 방법을 구현하기 위해, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시하는 프레임워크부; 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류하는 기계학습부; 및 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부를 포함하고, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 하는 도로 이미지에 기반한 포트홀 탐지 시스템을 제공하는 것을 다른 목적으로 한다.In addition, in order to implement the above-described method, the present invention includes: a framework unit for receiving a first image in which location information is stored from a user and displaying the first image and a map image according to the location information on a main page; a machine learning unit that divides the first image into tiles that are a plurality of preset second images, and classifies each tile by assigning a label in the form of a location through machine learning by machine learning; and a storage unit for storing the first image, the second image, and the tile to which the label is given, wherein a second image including the tile in which the pothole is detected from the first image is provided to the user It is another object to provide a porthole detection system based on road images.

상기 저장부는, 상기 저장부에 저장된 각 데이터를 사용자에게 파일 형태로 전송하기 위한 데이터 관리부를 더 포함할 수 있다.The storage unit may further include a data management unit for transmitting each data stored in the storage unit in the form of a file to the user.

또한 본 발명은, 상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.Another object of the present invention is to provide a computer-readable recording medium in which a program for executing an operation of providing a second image including a tile in which a porthole is detected from the first image to the user is recorded.

전술한 바와 같은 구성을 갖는 본 발명에 따르면, 비디오 처리 및 기계 학습 기술을 적용하여 다른 시스템보다 감지 속도가 빠르며, 하이브리드 감지 시스템을 기반으로 하며, 도로의 공중 이미지에서 포트홀을 검출하는 이점이 있다.According to the present invention having the configuration as described above, the detection speed is faster than other systems by applying video processing and machine learning technology, it is based on a hybrid detection system, and there is an advantage of detecting a pothole in an aerial image of a road.

또한 본 발명은 도로 이미지를 서버로 전송하여 이미지 처리 및 딥러닝 모델을 통해 도로 손상을 추론하고, 이러한 추론의 결과를 직관적인 UI로 웹을 통해 제시할 수 있는 이점이 있다.In addition, the present invention has the advantage of inferring road damage through image processing and deep learning models by transmitting a road image to the server, and presenting the result of this inference through the web as an intuitive UI.

도 1은 본 발명의 도로 이미지에 기반한 포트홀 탐지 시스템의 구성도를 나타낸다.
도 2는 본 발명의 도로 이미지에 기반한 포트홀 탐지 방법의 순서도를 나타낸다.
도 3은 본 발명의 실시 예에 따라 메인 페이지에 제1 이미지와 제1 이미지에 포함된 위치 정보에 따른 지도 이미지가 표시된 화면을 나타낸다.
도 4는 본 발명의 실시 예에 따라 제1 이미지를 구획하여 복수의 제2 이미지를 일정 크기의 타일로 생성하는 모습을 나타낸다.
도 5는 본 발명의 실시 예에 따라 각 타일에서 포트홀 유무를 검출하여 라벨을 부여하는 과정을 보여준다.
도 6은 본 발명의 실시 예에 따라 사용자가 입력한 제1 이미지 및 각 타일 정보가 타일 리스트 페이지에서 보여지는 모습을 나타낸다.
도 7은 본 발명의 실시 예에 따라 6개 위치 형태로 분류된 레벨에서 포트홀과의 유사도에 따라 타일의 정확도를 산출하는 모습을 나타낸다.1 shows a configuration diagram of a porthole detection system based on a road image of the present invention.
2 is a flowchart of a method for detecting a porthole based on a road image according to the present invention.
3 illustrates a screen on which a first image and a map image according to location information included in the first image are displayed on a main page according to an embodiment of the present invention.
4 illustrates a state in which a first image is partitioned to generate a plurality of second images as tiles having a predetermined size according to an embodiment of the present invention.
5 shows a process of assigning a label by detecting the presence or absence of a porthole in each tile according to an embodiment of the present invention.
6 illustrates a state in which a first image input by a user and information on each tile are displayed on a tile list page according to an embodiment of the present invention.
7 shows a state in which the accuracy of a tile is calculated according to a degree of similarity to a pothole in a level classified into six position types according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. . Also, throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being connected "with another configuration in between".

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 본 발명의 도로 이미지에 기반한 포트홀 탐지 시스템(1)의 구성도를 나타낸다.1 shows a configuration diagram of a porthole detection system 1 based on a road image of the present invention.

도 1을 참조하면, 본 발명의 포트홀 탐지 시스템(1)은, 프레임워크부(10), 기계학습부(20) 및 저장부(30)를 포함하고, 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 것을 특징으로 한다.Referring to FIG. 1 , the porthole detection system 1 of the present invention includes a framework unit 10 , a machine learning unit 20 and a storage unit 30 , and displays a tile in which a porthole is detected from a first image. It is characterized in that the second image including the provided to the user.

프레임워크부(10)는, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 상기 제1 이미지 및 위치 정보에 따른 지도 이미지를 표시할 수 있다.The framework unit 10 may receive a first image in which location information is stored from a user and display the first image and a map image according to the location information on a main page.

프레임워크부(10)는 각 모듈에 사용자의 요구를 전달하고 그 결과를 사용자에게 전달할 수 있다. The framework unit 10 may transmit the user's request to each module and transmit the result to the user.

프레임워크부(10)의 내부에는 이미지를 수신하여 기계학습부(20)로 송신하는 이미지 수신부, 저장부(30)와 연동되어 이미지와 라벨을 송신하는 이미지&라벨 송신부 및 모델 송신부, 데이터 관리부(40)와 연동되어 데이터 관리부(40)에서 작업이 진행된 데이터를 네트워크로 송신하는 데이터 송신부를 포함할 수 있다.Inside the framework unit 10, an image receiving unit that receives an image and transmits it to the machine learning unit 20, an image & label transmitting unit and model transmitting unit that transmits images and labels in conjunction with the storage unit 30, and a data management unit ( 40) and may include a data transmitter that transmits the data of which the operation is performed in the data management unit 40 to the network.

기계학습부(20)는, 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여하여 분류할 수 있다.The machine learning unit 20 may divide the first image into tiles that are a plurality of preset second images, and classify each tile by assigning a label in the form of a location through machine learning by machine learning.

기계학습부(20)는, 기계 학습은 이미지를 사용하여 학습된 추론을 통해 이미지 사전 처리 및 라벨을 수행한다.Machine learning unit 20, machine learning performs image pre-processing and labeling through inference learned using images.

기계학습부(20)는, 비디오 처리 및 기계 학습 기술은 다른 시스템보다 감지 속도가 빠르다. 그러나 기후에 영향을 받는 데는 단점이 있다. 이러한 단점을 완화하기 위해 영상 기반 전처리를 실시하여 도로 손상의 특성을 강조하고 기계 학습을 통해 이를 검출하는 하이브리드 감지 시스템을 적용할 수 있다.The machine learning unit 20 detects video processing and machine learning techniques faster than other systems. However, being affected by the climate has its drawbacks. To alleviate these shortcomings, a hybrid sensing system that emphasizes the characteristics of road damage by performing image-based preprocessing and detects it through machine learning can be applied.

기계학습부(20)에 제안된 하이브리드 감지 시스템을 기반으로 하며, 드론을 통해 도로의 공중 이미지에서 포트홀을 검출하고, 웹을 통해 결과를 관리할 수 있다. 드론을 통해 찍은 도로 이미지를 서버로 전송하여 이미지 처리 및 딥러닝 모델을 통해 도로 손상을 추론할 수 있고, 추론의 결과는 직관적인 UI로 웹을 통해 제시될 수 있다.Based on the hybrid sensing system proposed in the machine learning unit 20, it is possible to detect a pothole in an aerial image of a road through a drone and manage the result through the web. Road damage can be inferred through image processing and deep learning models by sending a road image taken through a drone to a server, and the result of the inference can be presented through the web as an intuitive UI.

기계학습부(20)는 머신러닝 이외에도 수집되지 못하고 잘린 이미지에 대한 이미지 사전 처리와 추론을 통해 검출 결과를 얻을 수 있다. Inference Loader를 통해 검출된 결과는 전문가가 시각화하고 검증한다. 생성된 데이터는 저장소에 저장되어 재교육에 이용되거나 사용자로부터 검출 결과 및 영상을 수신할 때 얻은 EXIF 정보에 근거하여 JSON 데이터로 전송된다. In addition to machine learning, the machine learning unit 20 may obtain a detection result through image pre-processing and inference for an image that has not been collected and has been cut. Results detected through Inference Loader are visualized and verified by experts. The generated data is stored in the storage and used for re-education or transmitted as JSON data based on the detection result and EXIF information obtained when receiving the image from the user.

저장부(30)는, 상기 제1 이미지, 상기 제2 이미지 및 라벨이 부여된 타일을 저장하는 저장부(30)를 포함할 수 있다. 저장부(30)는, 저장부(30)에 저장된 각 데이터를 사용자에게 파일 형태로 전송하기 위한 데이터 관리부(40)를 더 포함할 수 있다.The storage unit 30 may include a storage unit 30 that stores the first image, the second image, and the tile to which the label is attached. The storage unit 30 may further include a data management unit 40 for transmitting each data stored in the storage unit 30 to the user in the form of a file.

저장부(30)는, 프레임워크부(10)와 데이터 관리부(40), 기계학습부(20) 그리고 전문가 라벨링 시스템(50)과 연동되어 데이터를 저장하고, 각 구성에서의 데이터 호출이 있는 경우 이를 로딩하여 각 구성에 전달할 수 있다.The storage unit 30 is interlocked with the framework unit 10, the data management unit 40, the machine learning unit 20, and the expert labeling system 50 to store data, and when there is a data call in each configuration You can load it and pass it to each configuration.

실시 예에 따라, 본 발명은 위 3개 구성 외에 데이터 관리부(40)와 전문가 라벨링 시스템(50)을 더 포함할 수 있다. According to an embodiment, the present invention may further include a data management unit 40 and an expert labeling system 50 in addition to the above three components.

전문가 검토를 통해 전문가 라벨 시스템에서는 타겟팅을 발견하는 라벨 이미지의 misdetection할 부분이 있고, 기록관 레이블, 이미지 및 메타 데이터, DL모델로 분류되어 저장부(30)와 연동되어 저장시킨다. In the expert label system through expert review, there is a misdetection part of the label image that finds the targeting, and it is classified into archive label, image and meta data, and DL model and stored in conjunction with the storage unit 30 .

저장부(30)에 저장된 메타 데이터는 데이터 관리로부터 사용자에게 전송하기 위해 JSON파일로 변환될 수 있다. 프레임워크부(10)는 관계형 데이터베이스를 구축하는 모델, HTTP 요청을 처리하고 시각화하는 웹 템플릿 시스템의 보기, 각 URL을 제어하고 연결하는 URL 컨트롤러로 구성된 MVC Design Pattern을 따를 수 있다.Meta data stored in the storage unit 30 may be converted into a JSON file for transmission from data management to a user. The framework unit 10 may follow the MVC Design Pattern composed of a model for building a relational database, a view of a web template system that processes and visualizes HTTP requests, and a URL controller that controls and connects each URL.

프레임워크부(10)는 프런트 엔드의 유저로부터 요청을 받으면, URL을 통해 각 뷰에 요청을 보내고, 요청된 데이터를 저장부(30)에서 가져와서 View를 통해 템플릿으로 전달하고 HTML 파일과 결합하여 사용자에게 표시할 수 있다.When the framework unit 10 receives a request from the user of the front end, it sends a request to each view through the URL, retrieves the requested data from the storage unit 30, delivers it to the template through the view, and combines it with the HTML file. can be displayed to the user.

상기 제1 이미지로부터 포트홀이 검출된 타일을 포함하는 제2 이미지를 상기 사용자에게 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 더 포함할 수 있다.The computer-readable recording medium may further include a computer-readable recording medium recording a program for executing an operation of providing a second image including a tile in which a porthole is detected from the first image to the user.

포트홀 탐지 시스템(1)을 사용하면, 드론을 통해 촬영한 도로 영상에서 포트홀을 검출하고, 지도상 도로 정비가 필요한 장소를 표시·관리하는 서비스를 제공할 수 있다. If the porthole detection system 1 is used, it is possible to provide a service for detecting a porthole from a road image captured by a drone and displaying and managing a place requiring road maintenance on a map.

이 시스템에서는 검출된 결과를 출력하는 과정에서 원본 영상이 로드되며, 클라이언트에 부하가 존재한다는 단점이 있다. 위의 문제를 해결하기 위해 썸네일을 로드하거나 검출 결과를 비동기식으로 로딩하여 로드를 최소화할 수 있다.In this system, the original image is loaded in the process of outputting the detected result, and there is a disadvantage that there is a load on the client. To solve the above problem, the load can be minimized by loading thumbnails or loading detection results asynchronously.

더불어 본 발명에서는 구현되지 않았지만 포트홀 결과를 위한 면적 산정에 대한 내용과 대형 포트홀의 우선순위를 정하는 시스템은 연구를 통해 구축될 수 있다. 또한, 시스템은 추가 데이터 세트를 획득하여 감지 결과를 자동으로 마무리하며, 그 때문에 발생하는 오류를 유지하기 위해 모델을 위한 버전 제어 시스템이 구축될 수 있다.In addition, although not implemented in the present invention, a system for prioritizing large potholes and contents for area calculation for pothole results can be built through research. In addition, the system automatically finalizes the detection results by acquiring additional data sets, and a version control system for the model can be built to keep the errors resulting therefrom.

이하 상술한 포트홀 탐지 시스템(1)을 통해 실제 도로 이미지로부터 포트홀을 탐지하는 방법에 대해 설명한다.Hereinafter, a method of detecting a porthole from an actual road image through the aforementioned porthole detection system 1 will be described.

도 2는 본 발명의 도로 이미지에 기반한 포트홀 탐지 방법의 순서도를 나타낸다.2 is a flowchart of a method for detecting a porthole based on a road image according to the present invention.

도 2를 참조하면, 본 발명은 제1 이미지 및 지도 이미지를 표시하는 단계(S10); 라벨을 부여하여 분류하는 단계(S20) 및 포트홀 타일 검출하여 제1 이미지와 타일을 타일 리스트 페이지에 표시하는 단계(S30)를 포함할 수 있다.Referring to Figure 2, the present invention comprises the steps of displaying a first image and a map image (S10); It may include a step of classifying by assigning a label (S20) and a step of detecting the pothole tile and displaying the first image and the tile on the tile list page (S30).

제1 이미지 및 지도 이미지를 표시하는 단계(S10)는, 위치 정보가 저장된 제1 이미지를 사용자로부터 입력 받아 메인 페이지에 표시하는 과정이다.The step of displaying the first image and the map image ( S10 ) is a process of receiving the first image in which the location information is stored from the user and displaying it on the main page.

메인 페이지에서는 프런트 엔드의 유저로부터 요청을 받으면, 프레임워크부(10)의 URL을 통해 각 뷰에 요청을 보낸다. 또한, 요청된 데이터를 데이터베이스에서 가져와서 View를 통해 템플릿으로 전달하고 HTML 파일과 결합하여 사용자에게 표시한다.In the main page, when a request is received from a user of the front end, the request is sent to each view through the URL of the framework unit 10 . It also retrieves the requested data from the database, passes it to the template through the View, and combines it with the HTML file to display it to the user.

라벨을 부여하여 분류하는 단계(S20)는, 상기 제1 이미지를 기 설정된 복수의 제2 이미지인 타일로 구획하여 상기 타일마다 머신 러닝에 의한 기계 학습을 통해 위치 형태로 라벨을 부여할 수 있다.In the step of classifying by assigning a label ( S20 ), the first image may be partitioned into a plurality of preset second images, tile, and a label may be assigned to each tile in the form of a location through machine learning by machine learning.

포트홀 타일 검출하여 제1 이미지와 타일을 타일 리스트 페이지에 표시하는 단계(S30)는, 상기 라벨에 포트홀이 있는 타일을 검출하고 상기 포트홀의 정확도를 상기 기계 학습을 통해 산출하여 상기 제1 이미지와 함께 타일 리스트 페이지에 표시하는 과정을 포함할 수 있다.The step (S30) of detecting the pothole tile and displaying the first image and the tile on the tile list page is to detect the tile with the pothole in the label and calculate the accuracy of the pothole through the machine learning, together with the first image It may include a process of displaying the tile list page.

도 3은 본 발명의 실시 예에 따라 메인 페이지에 제1 이미지와 제1 이미지에 포함된 위치 정보에 따른 지도 이미지가 표시된 화면을 나타낸다.3 illustrates a screen on which a first image and a map image according to location information included in the first image are displayed on a main page according to an embodiment of the present invention.

도 3을 참조하면, 사용자가 입력한 지도 입력 화면과, 입력된 지도 상부에 그 해당 위치가 표시된 모습을 나타낸다.Referring to FIG. 3 , a map input screen input by a user and a corresponding location are displayed on the input map upper part.

지도 이미지를 표시하는 단계는, 상기 사용자가 검색하고자 하는 위치를 직접 입력 받거나 상기 위치 정보에 포함된 GPS 좌표를 이용하여 해당 위치를 지도 상에 표시하는 과정이다.The step of displaying the map image is a process of directly receiving a location that the user wants to search for or displaying the location on a map by using GPS coordinates included in the location information.

사용자가 입력한 지도에는 지도 뿐만 아니라 위치가 저장되어 있고, 위치 정보는 GPS 정보로 사진과 함께 저장되어 있다. 메인 페이지에는 사용자가 입력한 지도를 표시하고, 상기 위치 정보를 통해 해당 위치를 입력한 사진 상부에 표시할 수 있다.In the map input by the user, not only the map but also the location is stored, and the location information is stored together with the picture as GPS information. A map input by the user may be displayed on the main page, and the corresponding location may be displayed on the upper part of the photo through the location information.

여기서 메인 페이지는, 실시 예에 따라 구글 지도를 통해 업로드된 이미지의 이미지를 업로드하고 좌표를 시각화하고, 각 사용자가 다시 연결할 때 마지막으로 사용한 정보를 표시하기 위해 쿠키 데이터를 통해 정보를 기록할 수 있다.Here, the main page uploads an image of an image uploaded via Google Maps, according to an embodiment, visualizes the coordinates, and records information via cookie data to display the last used information when each user reconnects. .

실시 예에 따라 구글 맵과 연동시켜 시각화할 수 있으며, Detail 버튼을 통해 해당 이미지 타일 리스트 페이지로 이동이 가능하고 현재 화면 내 마커 위치 정보를 JSON 다운 가능하게 설정할 수 있다. 또한 추가 파일 분류 및 결과 확인을 위해 파일 업로드 기능을 포함할 수 있다.According to an embodiment, it can be visualized by linking with Google Maps, it is possible to move to the corresponding image tile list page through the Detail button, and it is possible to set the marker location information on the current screen to be available for JSON download. It can also include a file upload function for further file classification and result confirmation.

도 4는 본 발명의 실시 예에 따라 제1 이미지를 구획하여 복수의 제2 이미지를 일정 크기의 타일로 생성하는 모습을 나타낸다.4 illustrates a state in which a first image is partitioned to generate a plurality of second images as tiles having a predetermined size according to an embodiment of the present invention.

도 4를 참조하면, 사용자가 업로드한 이미지를 구획 별로 나누어 타일로 분류하는 모습을 나타낸다. 타일은 하나의 영상을 구획하여 분류된 일 단위의 영상 프레임을 지칭한다.Referring to FIG. 4 , an image uploaded by a user is divided into sections and classified into tiles. A tile refers to an image frame of one unit classified by partitioning one image.

실시 예에 따라, 본 영상 화면은 픽셀 값을 저장할 수 있고, 기 설정된 픽셀 단위로 영상 화면을 분류할 수 있다. 각 화면은 가로 세로 224 pixel 단위로 분류될 수 있고, 하나의 단위가 1타일로 분류될 수 있다. 다만 이에 한정되는 것은 아니고, 각 화면에서 대상을 분류할 정도의 크기로 조정되어 타일 크기를 조절할 수 있다.According to an embodiment, the present image screen may store pixel values and classify the image screen in a preset pixel unit. Each screen can be classified into horizontal and vertical 224 pixel units, and one unit can be classified as one tile. However, the present invention is not limited thereto, and the size of the tile may be adjusted by adjusting the size to a size sufficient to classify objects on each screen.

상기 위치 형태로 라벨을 부여하는 단계는, 상기 타일에 포함된 상기 제2 이미지를 분석하여 형태에 따라 비도로, 도로, 포트홀, 그림자, 맨홀 또는 차선 중 어느 하나의 위치 형태로 정의될 수 있다.The step of assigning the label in the form of the location may be defined as a location shape of any one of a non-road, a road, a porthole, a shadow, a manhole, or a lane according to the shape by analyzing the second image included in the tile.

도 5는 본 발명의 실시 예에 따라 각 타일에서 포트홀 유무를 검출하여 라벨을 부여하는 과정을 보여준다.5 shows a process of assigning a label by detecting the presence or absence of a porthole in each tile according to an embodiment of the present invention.

도 5를 참조하면, 각 타일을 분류하는 일 예를 화면에 표시한 것이고, 타일 분석 뿐만 아니라 구획된 타일에서 포트홀이 있는지 검출하는 과정을 포함할 수 있다.Referring to FIG. 5 , an example of classifying each tile is displayed on the screen, and may include not only tile analysis but also a process of detecting whether there is a pothole in the partitioned tile.

상기 라벨이 부여된 타일에서 포트홀이 있는지 체크하는 단계를 더 포함하여, 타일 분류 뿐만 아니라, 포트홀이 있는 타일이 있는지 검색하는 별도의 과정을 거칠 수 있다.The method may further include the step of checking whether there is a pothole in the labeled tile, so that a separate process of searching for a tile having a pothole as well as tile classification may be performed.

도 6은 본 발명의 실시 예에 따라 사용자가 입력한 제1 이미지 및 각 타일 정보가 타일 리스트 페이지에서 보여지는 모습을 나타낸다.6 illustrates a state in which a first image input by a user and information on each tile are displayed on a tile list page according to an embodiment of the present invention.

도 6을 참조하면, 사용자가 입력한 화면을 표시하고, 그 화면 상부에 해당 위치의 대상 이미지를 표시하며, 그 우측에는 대상 이미지를 타일로 분류하여 표시하고 그 타일에 포트홀이 있는지 타일 리스트 페이지로 표시할 수 있다.Referring to FIG. 6 , the screen input by the user is displayed, the target image of the corresponding location is displayed on the upper part of the screen, and the target image is classified and displayed on the right side of the screen. can be displayed

위 과정에서 라벨이 부여된 타일에서 포트홀로 분류된 타일을 분류하는 단계; 및 포트홀로 분류된 타일에 대한 기계 학습을 통해 상기 타일에 포함된 포트홀의 정확도를 산출하는 단계를 더 포함할 수 있다. 각 타일에서 포트홀이 있는지 검출하고, 그 정확도를 타일 화면 상단에 표시할 수 있다. 그 화면은 아래 도 7에서 설명한다.classifying tiles classified as potholes from the tiles labeled in the above process; and calculating the accuracy of the pothole included in the tile through machine learning on the tile classified as a pothole. It is possible to detect whether there is a pothole in each tile and display its accuracy at the top of the tile screen. The screen will be described with reference to FIG. 7 below.

도 7은 본 발명의 실시 예에 따라 6개 위치 형태로 분류된 레벨에서 포트홀과의 유사도에 따라 타일의 정확도를 산출하는 모습을 나타낸다.7 shows a state in which the accuracy of a tile is calculated according to a degree of similarity to a pothole in a level classified into six position types according to an embodiment of the present invention.

도 7을 참조하면, 실시 예에 따라 6개의 라벨로 분류된 모습을 나타내고, 각 타일에서 포트홀이 있는지 판단하여, 포트홀과의 유사도 즉 정확도를 %로 표시할 수 있다.Referring to FIG. 7 , a state classified into six labels according to an embodiment is shown, and it is determined whether there is a pothole in each tile, and the degree of similarity with the pothole, ie, accuracy, may be displayed in %.

상기 라벨이 부여된 타일이 사용자의 요청에 의해 상기 제1 이미지와 함께 파일 형태로 추출되는 단계와 상기 라벨이 부여된 타일에 대해 오류를 정정하는 단계를 더 포함할 수 있다.The method may further include extracting the labeled tile in the form of a file together with the first image at the user's request, and correcting an error with respect to the labeled tile.

실시 예에 따라, 본 발명은 GPS 정보를 활용한 포트홀 탐지 결과를 위치 정보를 통해 지도에 표시하며, 각 항공 영상 타일을 학습한 망을 이용하여 포트홀을 탐지한다.According to an embodiment, the present invention displays a porthole detection result using GPS information on a map through location information, and detects a porthole using a network that has learned each aerial image tile.

이 과정에서 비도로, 도로, 포트홀, 그림자, 맨홀, 차선 등 6개의 라벨을 타일에 부여하고, 타일 리스트 페이지에 라벨과 정확도를 표시할 수 있다.In this process, 6 labels such as non-road, road, pothole, shadow, manhole, and lane can be given to the tile, and the label and accuracy can be displayed on the tile list page.

라벨 별 타일 위치에 따라 JSON 추출이 가능하다. 기록된 데이터를 추출하는 경우, 사용자는 현재 지도의 마커에서 JSON 형식의 데이터로 탐지 결과를 다운로드 할 수 있고, 타일을 목록으로 분류하여 업로드 이미지의 검출 결과를 시각화하며, 전문가의 관점에서 데이터베이스에서 거짓 양성 이미지를 삭제 또는 정정할 수 있도록 구성할 수도 있다.JSON extraction is possible according to the tile position for each label. When extracting the recorded data, the user can download the detection results as JSON format data from the markers on the current map, visualize the detection results of the uploaded images by categorizing the tiles into a list, and from an expert's point of view the false data from the database. It can also be configured so that positive images can be deleted or corrected.

포트홀 탐지 방법을 통해 검출된 결과를 출력할 수 있고, 이 과정에서 원본 영상이 로딩되며, 상술한 바와 같이 클라이언트에 부하가 존재한다는 단점이 있으나, 썸네일을 로드하거나 검출 결과를 비동기식으로 로딩하여 로드 부하를 최소화할 수 있다.The detected result can be output through the porthole detection method, and the original image is loaded in this process, and as described above, there is a load on the client. can be minimized.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through representative embodiments above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention with respect to the above-described embodiments. will be. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by all changes or modifications derived from the claims and equivalent concepts as well as the claims to be described later.

1 : 포트홀 탐지 시스템
10: 프레임워크부 20: 기계학습부
30: 저장부 40: 데이터 관리부
50: 전문가 라벨링 시스템1: Porthole detection system
10: framework unit 20: machine learning unit
30: storage unit 40: data management unit
50: Expert labeling system

Claims

receiving a first image in which location information is stored from a user and displaying the first image and a map image according to the location information on a main page;
The first image is partitioned into tiles, which are a plurality of preset second images, and the second image included in the tile is analyzed through machine learning based on machine learning for each tile. Classifying by giving a label in the form of a location so as to be defined in the form of any one of the location of the shadow, the manhole or the lane;
detecting a tile having a pothole in the label, calculating the accuracy of the pothole through the machine learning, and displaying the tile list page together with the first image; and
checking whether there is a pothole in the labeled tile;
classifying tiles classified as potholes from the labeled tiles; and
and calculating the accuracy of the pothole included in the tile through machine learning on the tile classified as the pothole.

The method of claim 1,
Displaying the map image comprises:
A method for detecting a pothole based on a road image, characterized in that the user directly receives a location to be searched for or displays the location on a map using GPS coordinates included in the location information.

delete

The method of claim 1,
The method of detecting a pothole based on a road image further comprising the step of extracting the labeled tile together with the first image in the form of a file at the user's request.

delete

a framework unit for receiving a first image in which location information is stored from a user and displaying the first image and a map image according to the location information on a main page;
The first image is partitioned into tiles that are a plurality of preset second images, and the second image included in the tile is analyzed through machine learning by machine learning for each tile. , a machine learning unit for classifying by assigning a label in the form of a position to be defined in the form of any one of the position of the shadow, the manhole, or the lane; and
and a storage unit for checking whether there is a porthole in the first image, the second image and the labeled tile and storing it,
A porthole detection system based on a road image, characterized in that the second image including the tile in which the porthole is detected from the first image is provided to the user.

delete

According to any one of claims 1, 2 or 6,
A computer-readable recording medium recording a program for executing an operation of providing a second image including a tile in which a porthole is detected from the first image to the user.