KR20230143318A - Method and System for Self-Driving Car-based Road Management System - Google Patents
Method and System for Self-Driving Car-based Road Management System Download PDFInfo
- Publication number
- KR20230143318A KR20230143318A KR1020220042047A KR20220042047A KR20230143318A KR 20230143318 A KR20230143318 A KR 20230143318A KR 1020220042047 A KR1020220042047 A KR 1020220042047A KR 20220042047 A KR20220042047 A KR 20220042047A KR 20230143318 A KR20230143318 A KR 20230143318A
- Authority
- KR
- South Korea
- Prior art keywords
- road
- problem situation
- data
- image processing
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000007726 management method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 5
- 230000001149 cognitive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G06T5/008—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 방법 및 시스템이 제시된다. 본 발명에서 제안하는 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템은 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황 데이터를 수집하기 위해 자율주행차량의 인지센서를 활용하는 센서부, 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 이미지 처리부 및 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 판단부를 포함한다. An integrated road problem management method and system using road name addresses based on autonomous driving technology is presented. The integrated road problem management system using road name addresses based on autonomous driving technology proposed in the present invention is autonomous to collect data on road problems including potholes, road cracks, illegal objects and obstacles on the road, broken traffic lights, and obscured traffic lights and signs. A sensor unit that utilizes the recognition sensor of the driving vehicle, and an image processing unit that performs image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on the road problem situation data collected through the sensor unit to recognize the road problem situation. and a determination unit that converts the GPS information of the road in question into a road name address and maps the data in the database to a map to identify the problem location in order to directly transmit the image-processed road problem situation data to the agency in charge of the road.
Description
본 발명은 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템 및 방법에 관한 것이다.The present invention relates to an integrated road problem management system and method using road name addresses based on autonomous driving technology.
일반적으로 도로에는 배관 등과 같은 지하시설물, 가로등과 같은 지상시설물이 설치되어 있고, 이러한 시설물과 도로 자체의 정보 즉, 포장, 노면표시, 전용도로 등의 이력과 함께 문서화된 자료로서 관리된다. 뿐만 아니라 상기와 같은 도로 특히 고속도로와 같은 도로는 관리주체들이 도로의 상황을 여러 가지 조사수단을 통해 파악하여 차량 이용자들이 안전한 주행을 할 수 있도록 옥외 전광판이나 교통방송을 통해 알려주게 된다. 그런데, 상기와 도로의 차량 교통 조사방법 및 도로 교통 모니터링 방법은 교차로등에 배치된 조사관에 의해, 그리고 초음파 기반 측정방법, 자기 검출기 기반 측정 방법 및 영상 인식 기술을 사용하여 텔레비전 카메라로부터 얻어진 영상신호로부터 차량의 종류, 차량의 수등을 측정하는 방법과 같은 자동 측정방법에 의하여 통과 차량의 수를 계수하는 단계를 포함한다. 그리고, 상기와 같은 정보는 도로교통 상태의 정보를 제공하기 위하여 그리고 도로교통을 제어하기 위하여 사용된다. 상기와 같은 종래 도로통제시스템은 고속도로를 관리하는 관리주체들이 구간별로 각각의 지사별로 나뉘어져 있고, 필요할 경우 본부에서 각 교통상 황이나 도로의 재난상황들을 별도로 취합하여 관리하게 된다. 즉, 고속도로 상에서 어떤 교통사고나 시설물의 파손이 발생되었을 경우 필요에 따라서는 해당 구간을 관리하는 지사에서 먼저 이를 파악하여 처리하고 그 필요한 대응수단을 자체적으로 찾아본 다음 없을 경우 다른 지사나 본부로 연락하여 필요한 수단을 제공받게 된다. 또한, 상기 본부에서는 종합상황실을 구비하여 도로의 특정구간에 설치된 CCTV와 같은 영상 장비를 통해 도로의 교통상황을 파악하여 필요할 경우 각 지사나 시설물 관리소로 필요한 자원을 배분하도록 요청하게 된다. 그러나, 상기와 같은 종래 도로관리시스템은 도로의 시설물이 설치된 실제 위치와 데이터가 일치하지 않을 경우 그러한 시설물의 실제위치를 일일이 찾아 관리해야 하므로 그에 따라 시설물 관리작업에 많은 인력과 시간이 투입되어야 하였고, 도로에 교통사고나 재난 및 재해가 발생할 경우 각 도로별 하위 관리주체들이 자신들이 가지고 있는 한정된 자원을 먼저 활용한 다음에 부족할 경우 상위의 기관이나 주변의 다른 관리주체들로 자원배분을 요청하기 때문에 경우에 따라서는 관리되는 정보가 서로 중복되어 정보수집 및 보고업무를 위한 시간과 비용이 불필요하게 발생되므로 그에 따라 실질적이고 효율적인 통합관리시스템 구축의 필요성이 요구되었으며, 또한, 도로의 결빙과 같은 긴급한 상황이 발생될 경우 이를 즉각적으로 파악할 통신보고체계가 확립되어 있지 않기 때문에 심각한 교통사고나 긴급한 재해나 재난이 발생할 경우 이를 신속히 실시간으로 대응하지 못 한다는 문제점이 있었다.Generally, underground facilities such as pipes and above-ground facilities such as street lights are installed on roads, and information on these facilities and the road itself, that is, the history of pavement, road markings, and exclusive roads, is managed as documented data. In addition, on roads such as the above, especially highways, management entities determine the road conditions through various survey methods and inform vehicle users through outdoor electronic signs or traffic broadcasts so that they can drive safely. However, the above vehicle traffic survey method and road traffic monitoring method are conducted by investigators stationed at intersections, etc., and from image signals obtained from television cameras using ultrasonic-based measurement methods, magnetic detector-based measurement methods, and image recognition technology. It includes counting the number of passing vehicles by an automatic measurement method such as a method of measuring the type and number of vehicles. And, the above information is used to provide information on road traffic conditions and to control road traffic. In the conventional road control system as described above, the management entities that manage the highway are divided into each branch by section, and when necessary, the headquarters separately collects and manages each traffic situation or road disaster situation. In other words, if a traffic accident or damage to a facility occurs on a highway, if necessary, the branch that manages the section first identifies and handles it, searches for the necessary response measures on its own, and then contacts another branch or headquarters if none are available. Thus, you will be provided with the necessary means. In addition, the headquarters is equipped with a general situation room to monitor traffic conditions on the road through video equipment such as CCTV installed in specific sections of the road, and when necessary, requests each branch or facility management office to distribute necessary resources. However, in the conventional road management system as described above, if the actual location of road facilities installed and the data do not match, the actual location of such facilities must be found and managed one by one, so a lot of manpower and time had to be invested in facility management work, When a traffic accident or disaster occurs on a road, lower-level management entities for each road first utilize the limited resources they have, and then, if insufficient, request resource allocation from higher-level organizations or other nearby management entities. In some cases, managed information overlaps with each other, resulting in unnecessary time and cost for information collection and reporting, so there was a need to establish a practical and efficient integrated management system. In addition, emergency situations such as icing on the road were required. There was a problem in that it was not possible to respond quickly in real time when a serious traffic accident or emergency disaster or disaster occurred because there was no established communication reporting system to immediately identify it when it occurred.
또한, 종래기술에 따르면 정부나 지방자치단체 등의 도로행정시스템은 정기도로순찰 혹은 민원신고에 기반하여 이루어진다. 그러나, 도로문제를 해결하기 위한 행정시스템이 있다고 하더라도 이러한 행정시스템은 아래와 같은 문제들을 안고 있다. Additionally, according to the prior art, the road administration system of the government or local government is based on regular road patrols or civil complaint reports. However, even if there is an administrative system to solve road problems, this administrative system has the following problems.
첫째, 도로문제의 해소가 상당부분 민원에 의존하고 있다. 민원신고 시 특정 경우 현장상황 파악을 위한 현장 인력이 필요하다. First, resolving road problems largely relies on civil complaints. In certain cases, when reporting a complaint, on-site personnel are required to understand the on-site situation.
둘째, 민원신고자의 정확한 위치 파악이 어려우며, 민원신고 접수방법의 다원성으로 인해 효율적인 행정업무처리가 불가하다. Second, it is difficult to determine the exact location of the person reporting the complaint, and efficient administrative work is impossible due to the plurality of methods for receiving complaints.
셋째, 상시 도로 순찰이 불가하여 문제상황에 대한 신속한 대응이 어렵다. 특히 포트 홀 사고의 경우 문제해결이 사후대응의 성격을 띤다. Third, regular road patrols are not possible, making it difficult to respond quickly to problematic situations. In particular, in the case of pothole accidents, problem solving is of a reactive nature.
본 발명이 이루고자 하는 기술적 과제는 자율주행차에 부착된 복수의 센서들과 정밀지도를 기반으로 도로문제를 실시간으로 파악하고, 해당 정보를 전달하여 사고가 일어나기 전 도로 문제를 신속히 해결하기 위해 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템 및 방법을 제공하는데 있다. 또한, 도로문제의 담당 기관을 자율주행차량이 직접 판별하여 도로문제 관련 데이터를 해당 기관으로 직접 전달해줌으로써 행정시스템을 단순화하고자 한다.The technical task to be achieved by the present invention is to identify road problems in real time based on a plurality of sensors and precision maps attached to self-driving cars, and to quickly solve road problems before accidents occur by delivering the relevant information. The purpose is to provide an integrated road problem management system and method using technology-based road name addresses. In addition, we aim to simplify the administrative system by having autonomous vehicles directly determine the agency in charge of road problems and deliver road problem-related data directly to the relevant agency.
일 측면에 있어서, 본 발명에서 제안하는 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템은 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황 데이터를 수집하기 위해 자율주행차량의 인지센서를 활용하는 센서부, 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 이미지 처리부 및 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 판단부를 포함한다. In one aspect, the integrated road problem management system using road name addresses based on autonomous driving technology proposed in the present invention provides road problem situation data including potholes, road cracks, illegal objects and obstacles on the road, traffic light failure, and obscured traffic lights and signs. A sensor unit that utilizes the recognition sensor of an autonomous vehicle to collect the road problem situation, and image processing including a pre-processing process, a candidate extraction process, and a cascade detection process for the road problem situation data collected through the sensor unit to recognize the road problem situation. An image processing unit that performs the above image-processed road problem situation data and converts the GPS information of the road into a road name address in order to directly transmit the image-processed road problem situation data to the responsible agency for the road, and maps the data in the database to a map to determine the problem location. Includes wealth.
본 발명의 실시예에 따른 이미지 처리부는 상기 센서부의 카메라를 이용한 이미지 처리 알고리즘과 상기 센서부의 LiDAR를 통한 깊이 정보의 통합을 통해 도로문제 상황을 인식하고, 자율주행차량의 정밀지도의 비교 알고리즘을 이용하여 도로문제 상황을 인식한다. The image processing unit according to an embodiment of the present invention recognizes road problem situations through integration of an image processing algorithm using the camera of the sensor unit and depth information through LiDAR of the sensor unit, and uses a comparison algorithm of the precision map of the autonomous vehicle. to recognize road problem situations.
본 발명의 실시예에 따른 이미지 처리부는 상기 전처리 과정에서 상기 수집된 도로문제 상황 데이터의 영상에 대하여 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하고, 상기 영상을 흑백으로 변환하며, 상기 영상에서 도로 영역을 인식하고 도로영역 내에서 LiDAR 센서를 통해 일반 도로, 도로 균열, 포트홀의 명암 비교를 통해 도로문제 상황을 인식한다. The image processing unit according to an embodiment of the present invention performs cropping to cut out an area to perform image processing on the image of the road problem situation data collected in the pre-processing process, converts the image to black and white, and converts the image to black and white. It recognizes the road area and recognizes road problem situations by comparing the contrast of general roads, road cracks, and potholes using the LiDAR sensor within the road area.
본 발명의 실시예에 따른 판단부는 상기 자율주행차량의 데이터베이스에 지도의 형태로 저장되어 있는 도로문제상황 데이터를 이용하고, 상기 도로문제상황 데이터는 해당 문제상황에 대하여 카메라로부터 획득한 사진 정보, 자율주행차량의 RTK(Real-Time Kinematic)로부터 얻은 GPS 정보 및 도로명주소가 포함되어 있고, 인식된 도로문제 상황의 해당 도로의 GPS 정보를 도로명주소로 변환하여 상기 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악함으로써 도로문제 상황을 실시간으로 파악하고, 파악된 정보를 해당 도로의 담당 기관으로 전송하여 도로문제 상황을 해결하도록 한다. The determination unit according to an embodiment of the present invention uses road problem situation data stored in the form of a map in the database of the autonomous vehicle, and the road problem situation data includes photo information acquired from a camera for the problem situation, It includes GPS information and road name addresses obtained from the RTK (Real-Time Kinematic) of the driving vehicle, and converts the GPS information of the road in the recognized road problem situation into a road name address and maps the data in the database to a map to identify the problem location. By identifying the road problem situation in real time, the identified information is transmitted to the responsible agency for the road to solve the road problem situation.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 방법은 센서부를 통해 자율주행차량의 인지센서를 활용하여 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황 데이터를 수집하는 단계, 이미지 처리부를 통해 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 단계 및 판단부 통해 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 단계를 포함한다. In another aspect, the road problem integrated management method using the road name address based on autonomous driving technology proposed in the present invention utilizes the recognition sensor of the autonomous vehicle through the sensor unit to detect potholes, road cracks, illegal objects and obstacles on the road, A step of collecting road problem situation data including traffic light failures and obscured traffic lights and signs, a pre-processing process, a candidate extraction process, and a cascade for the road problem situation data collected through the sensor unit to recognize the road problem situation through an image processing unit. In order to directly transmit the image-processed road problem situation data to the responsible agency for the road through a step of performing image processing including a detection process and a judgment unit, the GPS information of the road in question is converted into a road name address and the data in the database is mapped. It includes the step of identifying problem locations by mapping to .
본 발명의 실시예들에 따르면 주소기반의 매핑 알고리즘을 통해 도로문제의 처리단계를 단순화하며, 도로문제 해결에 대한 민원의 의존도를 감소시킬 수 있다. 또한, 도로문제 상황에 대한 현행방식은 사후처리의 성격을 띠지만, 본 발명의 실시예들에 따르면 자율주행차의 순찰로 인해 사전 문제해결이 가능해지며, 그에 따라 사고 예방 효과를 부가적으로 얻을 수 있다.According to embodiments of the present invention, the road problem processing steps can be simplified through an address-based mapping algorithm, and the dependence of civil complaints on road problem solving can be reduced. In addition, the current method for road problem situations is in the nature of post-processing, but according to embodiments of the present invention, proactive problem solving is possible due to patrolling of autonomous vehicles, thereby additionally achieving an accident prevention effect. You can.
도 1은 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 인지 단계에서 수집한 도로문제상황 데이터를 지도의 형태로 가공한 것을 도식화한 것이다.Figure 1 is a flowchart illustrating a method for integrated road problem management using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of an integrated road problem management system using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
Figure 3 is a diagram for explaining the integrated road problem management process using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
Figure 4 is a diagram showing road problem situation data collected in the recognition stage according to an embodiment of the present invention processed into a map form.
본 발명은 자율주행차량이 도로를 순찰하는 도중 포트 홀, 도로 균열, 신호등 고장 등의 각종 도로 문제를 감지할 경우 이를 데이터베이스의 상의 데이터를 지도 매핑하고, 도로 문제 발생 지점의 GPS 정보를 도로명주소로 변환하는 과정을 통해 해당 도로의 담당 기관을 판별하여 직접 전달하는 방법 및 시스템에 관한 것이다. 본 발명의 실시예에 따른 데이터베이스에는 문제 상황에 대한 데이터와 이를 표시하는 지도 정보가 포함되어 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. In the present invention, when an autonomous vehicle detects various road problems such as potholes, road cracks, and traffic light failures while patrolling the road, it maps the data in the database and converts the GPS information at the point where the road problem occurred into a road name address. It concerns a method and system for determining and directly delivering information to the responsible agency for the road through the conversion process. The database according to an embodiment of the present invention includes data on problem situations and map information indicating them. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 방법을 설명하기 위한 흐름도이다. Figure 1 is a flowchart illustrating a method for integrated road problem management using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
단계(110)에서, 자율주행차량의 도로 순찰(111) 시 센서부를 통해 자율주행차량의 인지센서를 활용하여 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황 데이터를 수집한다(112). In step 110, when the autonomous vehicle patrols the road (111), the recognition sensor of the autonomous vehicle is used through the sensor unit to detect potholes, road cracks, illegal objects and obstacles on the road, broken traffic lights, and obscured traffic lights and signs. Collect road problem situation data (112).
본 발명의 실시예에 따르면, 자율주행차량은 순찰 중 도로문제상황 정보를 수집하며, 자율주행차량의 RTK 센서를 이용해 높은 정밀도의 도로문제 발생 지점의 GPS 정보를 얻을 수 있다. According to an embodiment of the present invention, an autonomous vehicle collects road problem situation information while patrolling, and can obtain high-precision GPS information of the point where a road problem occurs using the RTK sensor of the autonomous vehicle.
단계(120)에서, 이미지 처리부를 통해 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행한다. In step 120, image processing including a pre-processing process, a candidate extraction process, and a cascade detection process is performed on the road problem situation data collected through the sensor unit in order to recognize the road problem situation through the image processing unit.
상기 센서부의 카메라를 이용한 이미지 처리 알고리즘과 상기 센서부의 LiDAR를 통한 깊이 정보의 통합을 통해 도로문제 상황을 인식하고, 자율주행차량의 정밀지도의 비교 알고리즘을 이용하여 도로문제 상황을 인식한다(121). The road problem situation is recognized through the integration of the image processing algorithm using the camera of the sensor unit and the depth information through the LiDAR of the sensor unit, and the road problem situation is recognized using the comparison algorithm of the precision map of the autonomous vehicle (121) .
본 발명의 실시예에 따른 전처리 과정에서 상기 수집된 도로문제 상황 데이터의 영상에 대하여 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하고, 상기 영상을 흑백으로 변환한다. 이후 후보 추출 과정에서 영상에서의 도로 영역을 인식하고 도로영역 내에서 LiDAR 센서를 통해 일반 도로, 도로 균열, 포트홀의 명암 비교를 통해 도로문제 상황을 인식한다. In the preprocessing process according to an embodiment of the present invention, cropping is performed to cut out an area to perform image processing on the image of the collected road problem situation data, and the image is converted to black and white. In the subsequent candidate extraction process, the road area in the image is recognized, and the road problem situation is recognized by comparing the contrast of general roads, road cracks, and potholes using the LiDAR sensor within the road area.
본 발명의 실시예에 따르면, 포트홀과 도로균열의 경우 카메라 센서를 이용한 이미지 처리 알고리즘과 LiDAR 센서를 통한 깊이 정보의 종합을 통해 인지한다.According to an embodiment of the present invention, potholes and road cracks are recognized through a combination of an image processing algorithm using a camera sensor and depth information through a LiDAR sensor.
본 발명의 실시예에 따른 캐스케이드 검출 과정에서, 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황을 검출할 수 있다. In the cascade detection process according to an embodiment of the present invention, road problem situations including potholes, road cracks, illegal objects and obstacles on the road, broken traffic lights, and obscured traffic lights and signs can be detected.
본 발명의 실시예에 따르면, 이와 같이 자율주행차량의 도로 순찰 시 데이터베이스와 비교하여 주행하며(122), 실시간 지도 데이터를 갱신할 수 있다(123). According to an embodiment of the present invention, when patrolling roads in an autonomous vehicle, the vehicle can be driven by comparison with a database (122) and real-time map data can be updated (123).
단계(130)에서, 판단부 통해 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악한다. In step 130, in order to directly transmit the image-processed road problem situation data to the agency in charge of the road through the determination unit, the GPS information of the road in question is converted into a road name address and the data in the database is mapped to a map to identify the problem location. Understand.
이때 자율주행차량의 데이터베이스에 저장되어 있는 좌표, 문제상황, 관찰 시각 등의 도로문제상황 데이터를 이용하고, 이를 사용자에게 지도의 형태로 나타내도록 데이터베이스 상의 데이터를 지도에 매핑한다. 본 발명의 실시예에 따른 도로문제상황 데이터는 해당 문제상황에 대하여 카메라로부터 획득한 사진 정보, 자율주행차량의 RTK(Real-Time Kinematic)로부터 얻은 GPS 정보 및 도로명주소가 포함되어 있다. GPS 정보를 도로명주소로 변환하는 과정을 통해 도로문제가 발생한 지점의 도로명주소상의 담당기관을 판별한다(131). 인식된 도로문제 상황의 해당 도로의 GPS 정보를 도로명주소로 변환하여 상기 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악함으로써 도로문제 상황을 실시간으로 파악하고(132), 파악된 정보를 해당 도로의 담당 기관으로 전송하여 도로문제 상황을 해결하도록 한다(133). At this time, road problem situation data such as coordinates, problem situation, and observation time stored in the autonomous vehicle's database are used, and the data in the database is mapped to the map to display it to the user in the form of a map. Road problem situation data according to an embodiment of the present invention includes photo information obtained from a camera regarding the problem situation, GPS information obtained from RTK (Real-Time Kinematic) of an autonomous vehicle, and road name address. Through the process of converting GPS information into a road name address, the responsible agency on the road name address at the point where the road problem occurred is determined (131). By converting the GPS information of the road in the recognized road problem situation into a road name address and mapping the data in the database to a map to identify the problem location, the road problem situation is identified in real time (132), and the identified information is used to determine the road problem location in question. Send it to the responsible agency to resolve the road problem situation (133).
현재 도로별 담당기관은 도로명주소를 기준으로 나눠져 있기 때문에 자율주행차량이 소지한 GPS 정보를 도로명주소로 변환하는 과정이 필요하며, 해당 도로문제를 해결하기 위해 현장으로 인력을 파견할 경우 전달된 GPS 정보를 통해 정확한 문제장소 파악이 가능하다. Currently, the agencies in charge of each road are divided based on road name address, so a process of converting the GPS information possessed by self-driving vehicles into road name address is necessary, and when manpower is dispatched to the site to solve the road problem, the transmitted GPS information is required. Through this information, it is possible to pinpoint the exact location of the problem.
본 발명의 실시예에 따르면, 불법 적치물은 카메라 센서와 인공지능을 이용한 객체 판단을 통해 도로로 인지되는 구역 내에 불법 적치물로 의심되는 장애물이 있을 경우 이를 문제상황으로 판단할 수 있다. 신호등 고장은 동일한 과정을 통해 신호등으로 인식되는 물체에서 불빛이 감지되지 않을 경우 이를 문제상황으로 판단하여 처리할 수 있다. 가려진 신호등이나 표지판의 경우 자율주행차의 정밀지도 상 정보와 실제 카메라 센서로 인지한 정보를 상호 비교하는 과정을 통해 문제상황을 인지할 수 있다. 다시 말해, 정밀지도 상 신호등이나 표지판이 있어야 할 곳에서 신호등이나 표지판이 인지되지 않은 경우 이를 도로문제상황이라고 판단하는 것이다. According to an embodiment of the present invention, if there is an obstacle suspected of being illegally stored in an area recognized as a road through object determination using a camera sensor and artificial intelligence, this can be determined as a problem situation. Traffic light failure can be handled through the same process by determining it as a problem situation when light is not detected from an object recognized as a traffic light. In the case of hidden traffic lights or signs, problem situations can be recognized through the process of comparing the information on the self-driving car's precise map with the information recognized by the actual camera sensor. In other words, if a traffic light or sign is not recognized where a traffic light or sign should be on the precision map, this is judged to be a road problem situation.
도 2는 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템의 구성을 나타내는 도면이다. Figure 2 is a diagram showing the configuration of an integrated road problem management system using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
제안하는 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템(200)은 센서부(210), 이미지 처리부(220) 및 판별부(230)를 포함한다. The proposed integrated road problem management system 200 using road name addresses based on autonomous driving technology includes a sensor unit 210, an image processing unit 220, and a determination unit 230.
본 발명의 실시예에 따른 센서부(210)는 자율주행차량의 도로 순찰 시 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황 데이터를 수집하기 위해 자율주행차량의 인지센서를 활용한다. The sensor unit 210 according to an embodiment of the present invention is used to collect road problem situation data including potholes, road cracks, illegal piles and obstacles on the road, traffic light failure, and obscured traffic lights and signs when patrolling the road of an autonomous vehicle. Utilizes the cognitive sensors of self-driving vehicles.
본 발명의 실시예에 따르면, 자율주행차량은 순찰 중 도로문제상황 정보를 수집하며, 자율주행차량의 RTK 센서를 이용해 높은 정밀도의 도로문제 발생 지점의 GPS 정보를 얻을 수 있다. According to an embodiment of the present invention, an autonomous vehicle collects road problem situation information while patrolling, and can obtain high-precision GPS information of the point where a road problem occurs using the RTK sensor of the autonomous vehicle.
본 발명의 실시예에 따른 이미지 처리부(220)는 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행한다. The image processing unit 220 according to an embodiment of the present invention performs image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on the road problem situation data collected through the sensor unit in order to recognize the road problem situation. .
상기 센서부(210)의 카메라를 이용한 이미지 처리 알고리즘과 상기 센서부의 LiDAR를 통한 깊이 정보의 통합을 통해 도로문제 상황을 인식하고, 자율주행차량의 정밀지도의 비교 알고리즘을 이용하여 도로문제 상황을 인식한다. Recognize road problem situations through integration of an image processing algorithm using the camera of the sensor unit 210 and depth information through LiDAR of the sensor unit, and recognize road problem situations using a comparison algorithm of precise maps of autonomous vehicles. do.
본 발명의 실시예에 따른 전처리 과정에서 상기 수집된 도로문제 상황 데이터의 영상에 대하여 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하고, 상기 영상을 흑백으로 변환한다. 이후 후보 추출 과정에서 영상에서의 도로 영역을 인식하고 도로영역 내에서 LiDAR 센서를 통해 일반 도로, 도로 균열, 포트홀의 명암 비교를 통해 도로문제 상황을 인식한다. In the preprocessing process according to an embodiment of the present invention, cropping is performed to cut out an area to perform image processing on the image of the collected road problem situation data, and the image is converted to black and white. In the subsequent candidate extraction process, the road area in the image is recognized, and the road problem situation is recognized by comparing the contrast of general roads, road cracks, and potholes using the LiDAR sensor within the road area.
본 발명의 실시예에 따르면, 포트홀과 도로균열의 경우 카메라 센서를 이용한 이미지 처리 알고리즘과 LiDAR 센서를 통한 깊이 정보의 종합을 통해 인지한다.According to an embodiment of the present invention, potholes and road cracks are recognized through a combination of an image processing algorithm using a camera sensor and depth information through a LiDAR sensor.
본 발명의 실시예에 따른 캐스케이드 검출 과정에서, 포트홀, 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 및 가려진 신호등과 표지판을 포함하는 도로문제 상황을 검출할 수 있다. In the cascade detection process according to an embodiment of the present invention, road problem situations including potholes, road cracks, illegal objects and obstacles on the road, broken traffic lights, and obscured traffic lights and signs can be detected.
본 발명의 실시예에 따르면, 이와 같이 자율주행차량의 도로 순찰 시 데이터베이스와 비교하여 주행하며, 실시간 지도 데이터를 갱신할 수 있다. According to an embodiment of the present invention, when patrolling roads in an autonomous vehicle, the vehicle can be driven by comparison with a database and real-time map data can be updated.
본 발명의 실시예에 따른 판별부(230)는 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악한다. In order to directly transmit the image-processed road problem situation data to the responsible agency for the road, the determination unit 230 according to an embodiment of the present invention converts the GPS information of the road into a road name address and maps the data on the database to a map. Identify the problem location.
본 발명의 실시예에 따른 판별부(230)는 자율주행차량의 데이터베이스에 지도의 형태로 저장되어 있는 도로문제상황 데이터를 이용한다. 본 발명의 실시예에 따른 도로문제상황 데이터는 해당 문제상황에 대하여 카메라로부터 획득한 사진 정보, 자율주행차량의 RTK(Real-Time Kinematic)로부터 얻은 GPS 정보 및 도로명주소가 포함되어 있다. GPS 정보를 도로명주소로 변환하는 과정을 통해 도로문제가 발생한 지점의 도로명주소상의 담당기관을 판별한다(131). 인식된 도로문제 상황의 해당 도로의 GPS 정보를 도로명주소로 변환하여 상기 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악함으로써 도로문제 상황을 실시간으로 파악하고, 파악된 정보를 해당 도로의 담당 기관으로 전송하여 도로문제 상황을 해결하도록 한다. The determination unit 230 according to an embodiment of the present invention uses road problem situation data stored in the form of a map in the database of the autonomous vehicle. Road problem situation data according to an embodiment of the present invention includes photo information obtained from a camera regarding the problem situation, GPS information obtained from RTK (Real-Time Kinematic) of an autonomous vehicle, and road name address. Through the process of converting GPS information into a road name address, the responsible agency on the road name address at the point where the road problem occurred is determined (131). By converting the GPS information of the road in the recognized road problem situation into a road name address and mapping the data in the database to a map to identify the problem location, the road problem situation is identified in real time, and the identified information is sent to the responsible agency for the road. Send it to solve road problems.
현재 도로별 담당기관은 도로명주소를 기준으로 나눠져 있기 때문에 자율주행차량이 소지한 GPS 정보를 도로명주소로 변환하는 과정이 필요하며, 해당 도로문제를 해결하기 위해 현장으로 인력을 파견할 경우 전달된 GPS 정보를 통해 정확한 문제장소 파악이 가능하다. Currently, the agencies in charge of each road are divided based on road name address, so a process of converting the GPS information possessed by self-driving vehicles into road name address is necessary, and when manpower is dispatched to the site to solve the road problem, the transmitted GPS information is required. Through this information, it is possible to pinpoint the exact location of the problem.
본 발명의 실시예에 따르면, 불법 적치물은 카메라 센서와 인공지능을 이용한 객체 판단을 통해 도로로 인지되는 구역 내에 불법 적치물로 의심되는 장애물이 있을 경우 이를 문제상황으로 판단할 수 있다. 신호등 고장은 동일한 과정을 통해 신호등으로 인식되는 물체에서 불빛이 감지되지 않을 경우 이를 문제상황으로 판단하여 처리할 수 있다. 가려진 신호등이나 표지판의 경우 자율주행차의 정밀지도 상 정보와 실제 카메라 센서로 인지한 정보를 상호 비교하는 과정을 통해 문제상황을 인지할 수 있다. 다시 말해, 정밀지도 상 신호등이나 표지판이 있어야 할 곳에서 신호등이나 표지판이 인지되지 않은 경우 이를 도로문제상황이라고 판단하는 것이다. According to an embodiment of the present invention, if there is an obstacle suspected of being illegally stored in an area recognized as a road through object determination using a camera sensor and artificial intelligence, this can be determined as a problem situation. Traffic light failure can be handled through the same process by determining it as a problem situation when light is not detected from an object recognized as a traffic light. In the case of hidden traffic lights or signs, problem situations can be recognized through the process of comparing the information on the self-driving car's precise map with the information recognized by the actual camera sensor. In other words, if a traffic light or sign is not recognized where a traffic light or sign should be on the precision map, this is judged to be a road problem situation.
도 3은 본 발명의 일 실시예에 따른 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 과정을 설명하기 위한 도면이다. Figure 3 is a diagram for explaining the integrated road problem management process using road name addresses based on autonomous driving technology according to an embodiment of the present invention.
본 발명의 실시예에 따른 자율주행차량의 순찰 중 카메라(312) 및 LiDAR(311)를 포함하는 센서부(310)와 정밀지도와의 비교(322) 그리고 데이터베이스를 활용한 정보 종합(321)을 통해 도로문제 상황을 인식하는 이미지 처리를 수행하는 이미지 처리부(320) 및 현재 데이터베이스와의 비교하여(331) 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하고 정보를 최신화(332)하는 판단부를 나타내었다. During patrol of an autonomous vehicle according to an embodiment of the present invention, the sensor unit 310 including the camera 312 and LiDAR 311 is compared with a precision map (322), and information synthesis using a database (321) is performed. The image processing unit 320 performs image processing to recognize road problem situations and compares it with the current database (331) to transmit the road problem situation data directly to the responsible agency for the road. It is converted into a judgment unit that maps the data in the database to a map to identify problem locations and update the information (332).
본 발명의 실시예에 따르면, 자율주행차량의 인지센서를 통해 정보를 수집한다. 먼저 본 발명에서 수집할 도로문제 상황은 크게 포트홀과 도로균열, 도로 위 불법 적치물 및 장애물, 신호등 고장 그리고 가려진 신호등과 표지판으로 분류된다.According to an embodiment of the present invention, information is collected through a recognition sensor of an autonomous vehicle. First, the road problem situations to be collected in the present invention are largely classified into potholes and road cracks, illegal piles and obstacles on the road, traffic light failures, and obscured traffic lights and signs.
본 발명의 실시예에 따르면, 포트홀과 도로균열의 경우 카메라 센서를 이용한 이미지 처리 알고리즘과 LiDAR 센서를 통한 깊이 정보의 종합을 통해 인지한다. 이미지 처리는 크게 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 거친다. According to an embodiment of the present invention, potholes and road cracks are recognized through a combination of an image processing algorithm using a camera sensor and depth information through a LiDAR sensor. Image processing largely goes through a preprocessing process, candidate extraction process, and cascade detection process.
먼저, 전처리 과정에서는 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하며, 영상을 흑백으로 변환한다. 이 과정에서 도로 영역을 인지하고 도로영역 내에서 LiDAR 센서가 일반 도로와 도로 균열이나 포트홀의 명암 비교를 통해 도로문제 상황을 수집한다. First, in the preprocessing process, cropping is performed to cut out the area to be image processed, and the image is converted to black and white. In this process, the road area is recognized, and within the road area, the LiDAR sensor collects road problem situations through comparison of the light and dark of cracks or potholes on the road with regular roads.
본 발명의 실시예에 따르면, 불법 적치물은 카메라 센서와 인공지능을 이용한 객체 판단을 통해 도로로 인지되는 구역 내에 불법 적치물로 의심되는 장애물이 있을 경우 이를 문제상황으로 판단하며, 신호등 고장은 동일한 과정을 통해 신호등으로 인식되는 물체에서 불빛이 감지되지 않을 경우 이를 문제상황으로 판단하여 처리한다.According to an embodiment of the present invention, if there is an obstacle suspected of being illegally piled up in an area recognized as a road through object judgment using a camera sensor and artificial intelligence, this is judged as a problem situation, and a traffic light failure is determined through the same process. If light is not detected from an object recognized as a traffic light, this is judged to be a problem and handled.
본 발명의 또 다른 실시예에 따르면, 가려진 신호등이나 표지판의 경우 자율주행차의 정밀지도 상 정보와 실제 카메라 센서로 인지한 정보를 상호 비교하는 과정을 통해 문제상황을 인지한다. 정밀지도 상 신호등이나 표지판이 있어야 할 곳에서 신호등이나 표지판이 인지되지 않은 경우 이를 도로문제상황이라고 판단하는 것이다. According to another embodiment of the present invention, in the case of obscured traffic lights or signs, the problem situation is recognized through a process of comparing information on the self-driving car's precise map and information recognized by the actual camera sensor. If a traffic light or sign is not recognized where a traffic light or sign should be on the precision map, this is judged to be a road problem situation.
도 4는 본 발명의 일 실시예에 따른 인지 단계에서 수집한 도로문제상황 데이터를 지도의 형태로 가공한 것을 도식화한 것이다.Figure 4 is a diagram showing road problem situation data collected in the recognition stage according to an embodiment of the present invention processed into a map form.
본 발명의 실시예에 따른 자율주행차량은 순찰 중 도로문제상황 정보를 수집하며, 자율주행차량의 RTK 센서를 이용해 높은 정밀도의 도로문제 발생 지점의 GPS 정보를 얻는다. GPS 정보를 도로명주소로 변환하는 과정을 통해 도로문제가 발생한 지점의 도로명주소상의 담당기관을 판별한다. The autonomous vehicle according to an embodiment of the present invention collects road problem situation information while patrolling, and obtains high-precision GPS information of the point where the road problem occurs using the RTK sensor of the autonomous vehicle. Through the process of converting GPS information into a road name address, the responsible agency on the road name address at the point where the road problem occurred is determined.
이처럼 도로문제상황 데이터는 자율주행차량의 데이터베이스에 지도의 형태로 저장되어 있으며, 이 문제상황 데이터에는 문제상황의 카메라 센서로부터 얻은 사진 정보, 자율주행차량의 RTK로부터 얻은 GPS 정보 그리고 도로명주소가 포함되어 있다. In this way, road problem situation data is stored in the form of a map in the autonomous vehicle's database, and this problem situation data includes photo information obtained from the camera sensor of the problem situation, GPS information obtained from the autonomous vehicle's RTK, and road name address. there is.
현재 도로별 담당기관은 도로명주소를 기준으로 나눠져 있기 때문에 자율주행차량이 소지한 GPS 정보를 도로명주소로 변환하는 과정이 필요하며, 해당 도로문제를 해결하기 위해 현장으로 인력을 파견할 경우 전달된 GPS 정보를 통해 정확한 문제장소 파악이 가능하다. Currently, the agencies in charge of each road are divided based on road name address, so a process of converting the GPS information possessed by self-driving vehicles into road name address is necessary, and when manpower is dispatched to the site to solve the road problem, the transmitted GPS information is required. Through this information, it is possible to pinpoint the exact location of the problem.
앞서 설명된 바와 같이, 본 발명은 자율주행차량의 정밀지도 및 카메라, LiDAR 센서를 활용한 도로문제통합관리 시스템에 관한 것으로, 자율주행차량이 도로를 순찰하면서 딥러닝 기반의 인공지능 기술을 적용시킨 카메라와 LiDAR 센서를 통해 도로문제정보를 수집한다. 보다 상세하게는 도로 균열과 포트 홀 같은 도로문제의 경우 카메라와 LiDAR 센서를 활용한 이미지 처리(image processing) 및 인공지능 기술을 이용하며, 신호등 고장 또는 표지판 파손과 같은 경우 카메라 센서를 통해 얻은 정보와 정밀지도 상의 정보를 비교하는 과정을 거친다. 도로문제 데이터는 자율주행차량의 GPS 정보를 도로명주소로 변환하는 과정을 통해 해당 도로 담당기관에게 직접 전달된다. 자율주행차는 주행 중 기존 데이터베이스와 도로상황을 비교하며 정보를 상시 업데이트한다. As previously explained, the present invention relates to an integrated road problem management system using precise maps, cameras, and LiDAR sensors of autonomous vehicles, and applies deep learning-based artificial intelligence technology while autonomous vehicles patrol the roads. Road problem information is collected through cameras and LiDAR sensors. More specifically, in the case of road problems such as road cracks and potholes, image processing and artificial intelligence technology using cameras and LiDAR sensors are used, and in cases such as traffic light failures or sign damage, information obtained through camera sensors and It goes through a process of comparing information on the precision map. Road problem data is delivered directly to the relevant road agency through the process of converting the GPS information of autonomous vehicles into road name addresses. Self-driving cars constantly update information by comparing road conditions with existing databases while driving.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.
Claims (8)
도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 이미지 처리부; 및
상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 판단부
를 포함하는 도로문제통합관리 시스템. A sensor unit that utilizes the cognitive sensors of the autonomous vehicle to collect data on road problems including potholes, road cracks, illegal objects and obstacles on the road, broken traffic lights, and obscured traffic lights and signs;
An image processing unit that performs image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on the road problem situation data collected through the sensor unit to recognize the road problem situation; and
In order to directly transmit the image-processed road problem situation data to the responsible agency for the road, a judgment unit converts the GPS information of the road into a road name address and maps the data in the database to a map to identify the problem location.
Integrated road problem management system including.
상기 이미지 처리부는,
상기 센서부의 카메라를 이용한 이미지 처리 알고리즘과 상기 센서부의 LiDAR를 통한 깊이 정보의 통합을 통해 도로문제 상황을 인식하고, 자율주행차량의 정밀지도의 비교 알고리즘을 이용하여 도로문제 상황을 인식하는
도로문제통합관리 시스템. According to paragraph 1,
The image processing unit,
Recognize road problem situations through the integration of an image processing algorithm using the camera of the sensor unit and depth information through LiDAR of the sensor unit, and recognize road problem situations using a comparison algorithm of the precision map of an autonomous vehicle.
Integrated road problem management system.
상기 이미지 처리부는,
상기 전처리 과정에서 상기 수집된 도로문제 상황 데이터의 영상에 대하여 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하고, 상기 영상을 흑백으로 변환하며, 상기 영상에서 도로 영역을 인식하고 도로영역 내에서 LiDAR 센서를 통해 일반 도로, 도로 균열, 포트홀의 명암 비교를 통해 도로문제 상황을 인식하는
도로문제통합관리 시스템. According to paragraph 1,
The image processing unit,
In the preprocessing process, cropping is performed to cut out the area to be image processed on the image of the collected road problem situation data, the image is converted to black and white, the road area is recognized in the image, and the road area is recognized within the road area. The LiDAR sensor recognizes road problem situations by comparing the contrast between general roads, road cracks, and potholes.
Integrated road problem management system.
상기 판단부는,
상기 자율주행차량의 데이터베이스에 저장되어 있는 좌표, 문제상황, 관찰 시각을 포함하는 도로문제상황 데이터를 이용하여 사용자에게 지도의 형태로 나타내도록 데이터베이스 상의 데이터를 지도에 매핑하고, 상기 도로문제상황 데이터는 해당 문제상황에 대하여 카메라로부터 획득한 사진 정보, 자율주행차량의 RTK(Real-Time Kinematic)로부터 얻은 GPS 정보 및 도로명주소가 포함되어 있고, 인식된 도로문제 상황의 해당 도로의 GPS 정보를 도로명주소로 변환하여 상기 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악함으로써 도로문제 상황을 실시간으로 파악하고, 파악된 정보를 해당 도로의 담당 기관으로 전송하여 도로문제 상황을 해결하도록 하는
도로문제통합관리 시스템. According to paragraph 1,
The judgment department,
The data on the database is mapped to a map to be displayed to the user in the form of a map using road problem situation data including coordinates, problem situation, and observation time stored in the database of the autonomous vehicle, and the road problem situation data is It includes photo information obtained from a camera for the problem situation, GPS information obtained from the RTK (Real-Time Kinematic) of the autonomous vehicle, and road name address, and the GPS information of the road in the recognized road problem situation is converted to the road name address. By converting and mapping the data in the database to a map to identify problem locations, the road problem situation is identified in real time, and the identified information is transmitted to the relevant road agency to solve the road problem situation.
Integrated road problem management system.
이미지 처리부를 통해 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 단계; 및
판단부 통해 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 단계
를 포함하는 도로문제통합관리 방법. Collecting road problem situation data including potholes, road cracks, illegal piles and obstacles on the road, broken traffic lights, and obscured traffic lights and signs by using the recognition sensor of the autonomous vehicle through the sensor unit;
Performing image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on road problem situation data collected through the sensor unit to recognize the road problem situation through an image processing unit; and
A step of converting the GPS information of the road into a road name address and mapping the data in the database to a map to identify the problem location in order to directly transmit the image-processed road problem situation data to the responsible agency for the road through the judgment unit.
Integrated road problem management method including.
상기 이미지 처리부를 통해 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 단계는,
상기 센서부의 카메라를 이용한 이미지 처리 알고리즘과 상기 센서부의 LiDAR를 통한 깊이 정보의 통합을 통해 도로문제 상황을 인식하고, 자율주행차량의 정밀지도의 비교 알고리즘을 이용하여 도로문제 상황을 인식하는
도로문제통합관리 방법. According to clause 5,
The step of performing image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on the road problem situation data collected through the sensor unit in order to recognize the road problem situation through the image processing unit,
Recognize road problem situations through the integration of an image processing algorithm using the camera of the sensor unit and depth information through LiDAR of the sensor unit, and recognize road problem situations using a comparison algorithm of the precision map of an autonomous vehicle.
Integrated road problem management method.
상기 이미지 처리부를 통해 도로문제 상황을 인식하기 위해 상기 센서부를 통해 수집된 도로문제 상황 데이터에 대하여 전처리 과정, 후보 추출 과정, 캐스케이드 검출 과정을 포함하는 이미지 처리를 수행하는 단계는,
상기 전처리 과정에서 상기 수집된 도로문제 상황 데이터의 영상에 대하여 이미지 처리를 수행할 영역을 잘라내는 크로핑을 수행하고, 상기 영상을 흑백으로 변환하며, 상기 영상에서 도로 영역을 인식하고 도로영역 내에서 LiDAR 센서를 통해 일반 도로, 도로 균열, 포트홀의 명암 비교를 통해 도로문제 상황을 인식하는
도로문제통합관리 방법. According to clause 5,
The step of performing image processing including a pre-processing process, a candidate extraction process, and a cascade detection process on the road problem situation data collected through the sensor unit in order to recognize the road problem situation through the image processing unit,
In the preprocessing process, cropping is performed to cut out the area to be image processed on the image of the collected road problem situation data, the image is converted to black and white, the road area is recognized in the image, and the road area is recognized within the road area. The LiDAR sensor recognizes road problem situations by comparing the contrast between general roads, road cracks, and potholes.
Integrated road problem management method.
상기 판단부 통해 상기 이미지 처리된 도로문제 상황 데이터를 해당 도로의 담당 기관으로 직접 전송하기 위해 해당 도로의 GPS 정보를 도로명주소로 변환하고 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악하는 단계는,
상기 자율주행차량의 데이터베이스에 저장되어 있는 좌표, 문제상황, 관찰 시각을 포함하는 도로문제상황 데이터를 이용하여 사용자에게 지도의 형태로 나타내도록 데이터베이스 상의 데이터를 지도에 매핑하고, 상기 도로문제상황 데이터는 해당 문제상황에 대하여 카메라로부터 획득한 사진 정보, 자율주행차량의 RTK(Real-Time Kinematic)로부터 얻은 GPS 정보 및 도로명주소가 포함되어 있고, 인식된 도로문제 상황의 해당 도로의 GPS 정보를 도로명주소로 변환하여 상기 데이터베이스 상의 데이터를 지도에 매핑하여 문제장소를 파악함으로써 도로문제 상황을 실시간으로 파악하고, 파악된 정보를 해당 도로의 담당 기관으로 전송하여 도로문제 상황을 해결하도록 하는
도로문제통합관리 방법. According to clause 5,
In order to directly transmit the image-processed road problem situation data to the agency in charge of the road through the determination unit, the step of converting the GPS information of the road in question into a road name address and mapping the data in the database to a map to identify the problem location is,
The data on the database is mapped to a map to be displayed to the user in the form of a map using road problem situation data including coordinates, problem situation, and observation time stored in the database of the autonomous vehicle, and the road problem situation data is It includes photo information obtained from a camera for the problem situation, GPS information obtained from the RTK (Real-Time Kinematic) of the autonomous vehicle, and road name address, and the GPS information of the road in the recognized road problem situation is converted to the road name address. By converting and mapping the data in the database to a map to identify problem locations, the road problem situation is identified in real time, and the identified information is transmitted to the relevant road agency to solve the road problem situation.
Integrated road problem management method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220042047A KR20230143318A (en) | 2022-04-05 | 2022-04-05 | Method and System for Self-Driving Car-based Road Management System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220042047A KR20230143318A (en) | 2022-04-05 | 2022-04-05 | Method and System for Self-Driving Car-based Road Management System |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230143318A true KR20230143318A (en) | 2023-10-12 |
Family
ID=88291706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220042047A KR20230143318A (en) | 2022-04-05 | 2022-04-05 | Method and System for Self-Driving Car-based Road Management System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230143318A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100912463B1 (en) | 2007-04-25 | 2009-08-14 | 한국도로공사 | Load managing intergration system based on the Geographic information system and controlling method for the same |
-
2022
- 2022-04-05 KR KR1020220042047A patent/KR20230143318A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100912463B1 (en) | 2007-04-25 | 2009-08-14 | 한국도로공사 | Load managing intergration system based on the Geographic information system and controlling method for the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11988518B2 (en) | Updating high definition maps based on lane closure and lane opening | |
| US11593344B2 (en) | Updating high definition maps based on age of maps | |
| US20220270376A1 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| JP6713505B2 (en) | Pavement information collection and inspection system, pavement information collection and inspection method, and program | |
| GB2596940A (en) | Systems and methods for vehicle navigation | |
| US11827228B2 (en) | Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program | |
| CN110606093A (en) | Vehicle performance evaluation method, device, equipment and storage medium | |
| CN106373426A (en) | Computer vision-based parking space and illegal lane occupying parking monitoring method | |
| CN107885795B (en) | Data verification method, system and device for card port data | |
| CN105761500A (en) | Traffic accident handling method and traffic accident handling device | |
| CN107430815A (en) | Method and system for automatic identification parking area | |
| JP7533946B2 (en) | Optical fiber sensing system, behavior identification device, behavior identification method, and program | |
| US8818031B1 (en) | Utility pole geotagger | |
| CN109284801B (en) | Traffic indicator lamp state identification method and device, electronic equipment and storage medium | |
| WO2019198076A1 (en) | Real-time raw data- and sensor fusion | |
| WO2022009272A1 (en) | Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and recording medium | |
| JP2017102672A (en) | Geographic position information specification system and geographic position information specification method | |
| US11580659B2 (en) | Method for size estimation by image recognition of specific target using given scale | |
| CN111275957A (en) | Traffic accident information acquisition method, system and camera | |
| Lee et al. | Development of a car-free street mapping model using an integrated system with unmanned aerial vehicles, aerial mapping cameras, and a deep learning algorithm | |
| JP7293174B2 (en) | Road Surrounding Object Monitoring Device, Road Surrounding Object Monitoring Program | |
| KR20230143318A (en) | Method and System for Self-Driving Car-based Road Management System | |
| KR102317311B1 (en) | System for analyzing information using video, and method thereof | |
| WO2023166555A1 (en) | Road marking deterioration analysis device, method, and computer-readable medium | |
| US20040234102A1 (en) | Method for detecting accident |