KR102094341B1 - System for analyzing pot hole data of road pavement using AI and for the same - Google Patents

System for analyzing pot hole data of road pavement using AI and for the same Download PDF

Info

Publication number
KR102094341B1
KR102094341B1 KR1020180117300A KR20180117300A KR102094341B1 KR 102094341 B1 KR102094341 B1 KR 102094341B1 KR 1020180117300 A KR1020180117300 A KR 1020180117300A KR 20180117300 A KR20180117300 A KR 20180117300A KR 102094341 B1 KR102094341 B1 KR 102094341B1
Authority
KR
South Korea
Prior art keywords
information
road surface
road
object area
surface defect
Prior art date
Application number
KR1020180117300A
Other languages
Korean (ko)
Inventor
류승기
심승보
전찬준
강성모
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020180117300A priority Critical patent/KR102094341B1/en
Application granted granted Critical
Publication of KR102094341B1 publication Critical patent/KR102094341B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Abstract

Provided are a system for analyzing road surface defect object information based on artificial intelligence and a method thereof. The system for analyzing road surface defect object information based on artificial intelligence comprises: an information collecting device mounted on a vehicle and collecting video information (hereinafter referred to as ′road photographing information′) which has photographed a road on which a vehicle is driving and location information; an information processing device learning road photographing information received from the information collecting device based on a predetermined artificial intelligence model to extract a road surface defect object region from the road photographing information, and matching and outputting the location information of the extracted road surface defect object region; and an information providing device referring to the matched location information to display a road surface defect object region on a map when receiving the road surface defect object region matching the location information from the information processing device.

Description

인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법{System for analyzing pot hole data of road pavement using AI and for the same}System for analyzing pot hole data of road pavement using AI and for the same}

본 발명은 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 도로 노면 상의 불량 객체를 동적으로 수집 및 처리하여 실시간으로 도로 상태의 유지보수 서비스를 제안할 수 있는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for analyzing road surface defect object information based on artificial intelligence, and more particularly, to dynamically collect and process a road surface defect object and propose a maintenance service of the road condition in real time. Artificial intelligence based road surface defect object information analysis system and method.

도로 표면 불량 객체는 도로의 노후화와 기후 변화로 인해 도로 표면의 성능은 빠르게 약해지고, 지속적인 차량의 이동 하중으로 인해 포트홀, 균열과 같이 도로 표면이 불량해지는 현상을 말한다.A road surface defect object refers to a phenomenon in which the performance of the road surface rapidly deteriorates due to aging of the road and climate change, and the road surface becomes defective, such as portholes and cracks, due to the continuous moving load of the vehicle.

도로 표면의 불량 상태는 불규칙적인 모양으로 발생하고, 발생 위치 또한 랜덤하게 발생하므로 운전자는 예기치 못한 위험에 노출되고, 각종 사고로 이어질 확률이 높다.The bad condition of the road surface occurs in an irregular shape, and the occurrence location is also random, so the driver is exposed to unexpected dangers and is likely to lead to various accidents.

이러한 사고를 예방하기 위해 도로 파손의 위치 정보가 우선적으로 수집되어야 하는데 기존의 경우 검수자가 직접 도로 파손 위치를 파악하는 방식으로 진행되고 있다. 따라서, 약 11,000km에 달하는 전국 도로망을 인력 기반으로 관리하기에는 현실적인 제약이 크므로 이를 자동화하기 위한 기술이 지속적으로 개발되고 있다.In order to prevent such an accident, the location information of the road breakage should be collected first, but in the case of the existing, the inspector directly proceeds to grasp the location of the road breakage. Therefore, since there are large practical constraints to manage the national road network of about 11,000 km based on manpower, technology to automate it is continuously being developed.

예를 들어, 이러한 기술은 크게 진동센서를 이용하는 기술과 레이저 비전 시스템으로 사용하는 기술로 구분된다.For example, this technology is largely divided into a technology using a vibration sensor and a technology used as a laser vision system.

진동센서를 이용하는 기술은, 차량 내 진동감지 센서를 장착하여 파손된 도로를 지나갈 때 발생하는 충격을 감지하는 방식으로 탐지영역의 제한과 인식률이 낮다는 단점이 있다.The technology using the vibration sensor has a disadvantage that the detection area is limited and the recognition rate is low in a way that a vibration detection sensor in a vehicle is mounted to detect an impact generated when passing a damaged road.

레이저 비전을 이용하는 기술은, 차량 후미에 레이저와 고정밀 카메라를 장착하여 3차원 형상을 복원하는 조사 방식으로 장비의 가격이 고가이다.The technology using laser vision is a research method that restores a three-dimensional shape by mounting a laser and a high-precision camera at the rear of the vehicle, and the cost of the equipment is high.

또한, 기존의 기술은 영상을 활용하여 실시간으로 도로 표면 불량 객체 또는 도로 불량 상태를 자동 인식하는 것이 어려우며, 진동데이터를 활용하는 수준이 일반적인 기술이다.In addition, it is difficult to automatically recognize a road surface defect object or a road defect state in real time by using an image, and the level using vibration data is a general technique.

이러한 이유로 도로 표면 상태 중에서 넓은 영역에서 랜덤하게 발생하는 포트홀(pothole)이나 빅 크랙(big crack)에 대한 위치정보와 형태정보를 동시에 그리고, 실시간으로 수집하는 기술이 상용화되어 있지 않고, 또한, 수집 정보에서 의미있는 특징을 분류 및 추출하기 위해 새로운 기법을 활용한 분석시스템에 대한 수요가 생기는 추세이다.For this reason, a technique for simultaneously and real-time collecting location information and shape information for a pothole or a big crack occurring randomly in a wide area among road surface conditions is not commercialized. There is a trend in demand for analytical systems using new techniques to classify and extract meaningful features.

국내 등록특허 제10-1543342호(2015.08.04. 등록)Domestic registered patent No. 10-1543342 (2015.08.04. Registered)

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 차량 영상 정보를 수집하고, 수집된 정보를 인공지능 학습 모델을 기반으로 학습하여 도로 표면 불량 객체를 파악하며, 파악된 도로 표면 불량 객체를 포함하는 도로 표면 정보를 지도 기반으로 처리할 수 있는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법을 제시하는 데 있다.The technical problem to be achieved by the present invention in order to solve the above-mentioned problems is to collect vehicle image information, learn the collected information based on an artificial intelligence learning model to identify road surface defect objects, and identify the identified road surface defect objects. An object of the present invention is to provide an artificial intelligence-based road surface defect object information analysis system and method capable of processing road surface information including maps.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템은, 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템은, 차량에 장착되어 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하는 정보 수집 장치; 상기 정보 수집 장치로부터 수신되는 도로 촬영 정보를 사전에 정해진 인공지능 모델을 기반으로 학습하여 상기 도로 촬영 정보로부터 도로 노면 불량 객체 영역을 추출하고, 상기 추출된 도로 노면 불량 객체 영역의 위치 정보를 매칭하여 출력하는 정보 처리 장치; 및 상기 정보 처리 장치로부터 상기 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 상기 매칭된 위치 정보를 참조하여 지도 상에 상기 도로 노면 불량 객체 영역을 표시하는 정보 제공 장치;를 포함한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the artificial intelligence-based road surface defect object information analysis system, the artificial intelligence-based road road surface defect object information analysis system is mounted on a vehicle and travels An information collecting device for collecting video information (hereinafter referred to as 'road shooting information') and location information of a road in progress; By learning the road photographing information received from the information collecting device based on a pre-determined artificial intelligence model, extracting a road surface bad object region from the road photographing information, and matching location information of the extracted road surface bad object region An output information processing device; And an information providing device displaying the road surface defect object area on a map with reference to the matched location information when the road surface defect object area matching the location information is received from the information processing device.

상기 정보 수집 장치는, 도로의 노면 촬영을 위해 카메라의 FOV(Field Of View)를 고려하여 상기 차량에 장착되는 차량 전용 카메라, 스마트폰의 카메라 및 블랙박스의 카메라 중 적어도 하나; 및 상기 차량의 위치 정보를 제공하는 GPS 모듈;을 포함한다.The information collecting device includes at least one of a camera-only camera, a smartphone camera, and a black box camera mounted on the vehicle in consideration of a field of view (FOV) of the camera for road surface photographing; And a GPS module providing location information of the vehicle.

상기 정보 처리 장치는, 상기 정보 수집 장치로부터 상기 도로 촬영 정보와 위치 정보가 수신되면, 상기 수신된 도로 촬영 정보 중 도로 노면에 해당하는 영상을 추출(crop)하는 정보 처리부; 상기 추출된 영상을 상기 인공지능 모델에 입력하여 상기 추출된 영상으로부터 상기 도로 노면 불량 객체 영역을 추출하는 학습부; 상기 추출된 도로 노면 불량 객체 영역과 상기 수신된 위치 정보를 연계 및 동기화하는 영상 및 위치 동기화부; 상기 동기화된 위치 정보로부터 상기 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, 상기 학습부에서 추출된 도로 노면 불량 객체 영역을 분석하여 상기 도로 노면 불량 객체 영역의 깊이 정보를 산출한 후, 상기 2차원 좌표 정보와 상기 깊이 정보로부터 3차원 좌표 정보를 산출하는 좌표 산출부; 및 상기 산출된 3차원 좌표 정보를 상기 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 상기 정보 제공 장치로 출력하는 매칭부;를 포함한다.The information processing apparatus, when the road photographing information and the location information is received from the information collecting device, an information processing unit for cropping an image corresponding to a road surface among the received road photographing information; A learning unit extracting the road surface defect object area from the extracted image by inputting the extracted image into the artificial intelligence model; An image and location synchronization unit for linking and synchronizing the extracted road surface bad object region and the received location information; After generating the two-dimensional coordinate information of the road surface bad object area from the synchronized location information, and analyzing the road surface bad object area extracted by the learning unit to calculate the depth information of the road surface bad object area, the A coordinate calculator that calculates 3D coordinate information from 2D coordinate information and the depth information; And a matching unit that matches the calculated three-dimensional coordinate information as final location information of the road surface defect object area and outputs the information to the information providing device.

상기 정보 제공 장치는, 상기 정보 처리 장치로부터 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 정밀 도로 지도 중 상기 수신된 최종 위치 정보에 해당하는 위치에 상기 도로 노면 불량 객체 영역을 화면에 표시하고, 상기 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 표시하는 지도 처리부; 상기 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 서비스 수요자에게 실시간으로 제공하는 정보 제공부;를 포함하고, 상기 서비스 수요자는 상기 제공된 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 참조하여 도로 유지보수 상황을 모니터링 및 관제한다.When the road surface bad object area matching the final location information is received from the information processing device, the information providing device displays the road road surface bad object area at a position corresponding to the received final position information in the precision road map. A map processing unit for displaying on the screen and selectively displaying additional information of the road surface defect object area; Includes; an information providing unit for providing the road surface bad object area precision road map to the service consumer in real time; including, the service consumer refers to the road surface bad object area provided with reference to the precision road map road maintenance situation Monitor and control.

상기 정보 제공 장치는, 상기 정보 처리 장치로부터 수신되는 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역과, 상기 도로 노면 불량 객체 영역의 유지 보수 이력 관리 정보를 상기 최종 위치 정보를 기준으로 누적 저장하는 데이터베이스;를 더 포함한다.The information providing device accumulates and stores the road surface bad object area matching the final location information received from the information processing device and the maintenance history management information of the road surface bad object area based on the final location information. The database; further includes.

한편, 본 발명의 다른 실시 예에 따르면, 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법은, (A) 차량에 장착된 정보 수집 장치가, 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하는 단계; (B) 정보 처리 장치가, 상기 정보 수집 장치로부터 수신되는 도로 촬영 정보를 사전에 정해진 인공지능 모델을 기반으로 학습하여 상기 도로 촬영 정보로부터 도로 노면 불량 객체 영역을 추출하고, 상기 추출된 도로 노면 불량 객체 영역의 위치 정보를 매칭하여 출력하는 단계; 및 (C) 정보 제공 장치가, 상기 정보 처리 장치로부터 수신되는 위치 정보를 참조하여 지도 상에 상기 도로 노면 불량 객체 영역을 표시하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, the artificial intelligence-based road surface defect object information analysis method, (A) the information collection device mounted on the vehicle, the image information of the driving road (hereinafter referred to as 'road shooting' Information ') and location information; (B) the information processing apparatus learns road photographing information received from the information collecting apparatus based on a predetermined artificial intelligence model, extracts a road surface defect object region from the road photographing information, and extracts the road surface defects Matching and outputting the location information of the object area; And (C) an information providing apparatus displaying the road surface bad object area on a map with reference to location information received from the information processing apparatus.

상기 (B) 단계는, (B1) 상기 정보 처리 장치가, 상기 정보 수집 장치로부터 상기 도로 촬영 정보와 위치 정보를 수신하면, 상기 수신된 도로 촬영 정보 중 도로 노면에 해당하는 영상을 추출(crop)하고, 상기 인공지능 모델에 상기 추출된 영상을 입력하여 상기 도로 노면 불량 객체 영역을 추출하는 단계; (B2) 상기 정보 처리 장치가, 상기 추출된 도로 노면 불량 객체 영역과 상기 수신된 위치 정보를 연계 및 동기화하는 단계; 및 (B3) 상기 정보 처리 장치가, 상기 (B2) 단계에서 동기화된 위치 정보로부터 상기 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, 상기 (B1) 단계에서 추출된 도로 노면 불량 객체 영역을 분석하여 상기 도로 노면 불량 객체 영역의 깊이 정보를 산출한 후, 상기 2차원 좌표 정보와 상기 깊이 정보로부터 3차원 좌표 정보를 산출하는 단계; 및 (B4) 상기 정보 처리 장치가, 상기 (B3) 단계에서 산출된 3차원 좌표 정보를 상기 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 상기 정보 제공 장치로 출력하는 단계;를 포함한다.In step (B), (B1) when the information processing device receives the road photographing information and location information from the information collecting device, extracts an image corresponding to the road surface from the received road photographing information (crop) And extracting the road surface defect object area by inputting the extracted image into the artificial intelligence model; (B2) the information processing apparatus, linking and synchronizing the extracted road surface bad object area and the received location information; And (B3) the information processing apparatus generates two-dimensional coordinate information of the road surface defect object region from the location information synchronized in the step (B2), and generates the road surface defect object region extracted in the step (B1). Analyzing, calculating depth information of the road surface defect object area, and calculating 3D coordinate information from the 2D coordinate information and the depth information; And (B4) the information processing device matching the 3D coordinate information calculated in step (B3) as the final location information of the road surface defect object area and outputting the information to the information providing device.

상기 (C) 단계는, (C1) 상기 정보 제공 장치가, 상기 정보 처리 장치로부터 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역을 수신하면, 정밀 도로 지도 중 상기 수신된 최종 위치 정보에 해당하는 위치에 상기 도로 노면 불량 객체 영역을 화면에 표시하고, 상기 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 표시하는 단계; 및 (C2) 상기 정보 제공 장치가, 상기 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 서비스 수요자에게 실시간으로 제공하는 단계;를 포함한다.In the step (C), when the information providing device receives the road surface bad object area matching the final location information from the information processing device, the information providing device corresponds to the received final location information in the precision road map. Displaying the road surface defect object area on a screen at a location and selectively displaying additional information of the road surface defect object area; And (C2) providing, by the information providing device, a precision road map in which the road surface defect object area is displayed to a service consumer in real time.

본 발명에 따르면, 차량 영상 정보를 수집하고, 수집된 정보를 인공지능 학습 모델을 기반으로 학습하여 도로 표면 불량 객체를 파악하며, 파악된 도로 표면 불량 객체를 포함하는 도로 표면 정보를 지도 기반으로 처리함으로써 도로 노면 불량 객체의 동적 수집 기술을 제공하여 도로 상태를 실시간으로 정확히 파악할 수 있다.According to the present invention, vehicle image information is collected, and the collected information is learned based on an artificial intelligence learning model to identify road surface defect objects, and road surface information including the identified road surface defect objects is processed based on a map. By providing the dynamic collection technology of the road surface defect object, it is possible to accurately grasp the road condition in real time.

또한, 본 발명에 따르면, 도로 노면 불량 객체에 의한 도로 상태를 실시간으로 제공함으로써 도로 상태의 유지보수 서비스를 신속히 제공하고, 다양한 도로 촬영 영상 및 위치 정보를 DB화하여 수요기관과의 협업을 통한 현장 적용 및 운전자의 안전성을 향상시킬 수 있다.In addition, according to the present invention, a road condition maintenance service is provided in real time by providing a road condition due to a road surface defect object in real time, and various road photographing images and location information are made into a DB to collaborate with demand agencies Application and driver's safety can be improved.

또한, 본 발명에 따르면, 차량에 장착된 네비게이션 장치와의 협업을 통해 운전자에게 실시간으로 주행 중인 도로의 안전 정보를 제공하도록 API를 개방하고, GIS와 연계하여 직관적인 정보를 제공할 수 있다.In addition, according to the present invention, through an collaboration with a navigation device mounted on a vehicle, an API can be opened to provide a driver with safety information on a driving road in real time, and intuitive information may be provided in connection with a GIS.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시 예에 의한 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템을 도시한 도면,
도 2는 도 1에 도시된 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템을 보다 자세히 도시한 블록도,
도 3은 도로 촬영 정보와 ROI에 해당하는 영상의 일 예를 보여주는 도면, 그리고,
도 4는 본 발명의 실시 예에 따른 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법을 개략적으로 도시한 흐름도이다.1 is a diagram showing an artificial intelligence-based road surface defect object information analysis system according to an embodiment of the present invention,
FIG. 2 is a block diagram showing in detail a system for analyzing object information of road surface defects based on artificial intelligence shown in FIG. 1;
3 is a diagram showing an example of an image corresponding to road photographing information and an ROI, and
4 is a flowchart schematically illustrating a method of analyzing object information on road surface defects based on artificial intelligence according to an embodiment of the present invention.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be readily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided to ensure that the disclosed contents are thorough and complete and that the spirit of the present invention is sufficiently conveyed to those skilled in the art.

본 명세서에서, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.In this specification, when it is mentioned that the first element (or component) is operated or executed on the second element (or component), the first element (or component) is the second element (or component). It should be understood that) is operated or executed in an environment in which it is operated or executed, or it is operated or executed through direct or indirect interaction with the second element (or component).

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.When an element, component, device, or system is mentioned to include a component consisting of a program or software, the element, component, device, or system is executed or operated by the program or software, even if not explicitly stated. It should be understood that it includes hardware (for example, memory, CPU, etc.) necessary to do so, or other programs or software (for example, drivers required to drive an operating system or hardware).

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it should be understood that an element (or component) may be implemented in software, hardware, or in any form of software and hardware, unless otherwise stated in the implementation of any element (or component).

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In addition, the terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, 'comprises' and / or 'comprising' does not exclude the presence or addition of one or more other components.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, with reference to the accompanying drawings, a specific technical content to be carried out in the present invention will be described in detail. It should be noted that, in some cases, parts that are commonly known in describing the invention and that are not significantly related to the invention are not described in order to prevent chaos from coming into account in explaining the present invention for no apparent reason.

도 1에 도시된 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. Each configuration of the system shown in FIG. 1 indicates that functions and logical separation can be made, and it is not necessarily meant that each configuration is divided into separate physical devices or written in separate codes. The average expert in the field will be able to reason easily.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, in this specification, a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a type of hardware. It can be easily deduced from the average expert in the field of technology.

또한, 본 명세서에서 DB라 함은, 각각의 DB에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)를 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.In addition, in the present specification, DB may mean a functional structural combination of software and hardware that stores information corresponding to each DB. The DB may be implemented as at least one table, and may further include a separate Database Management System (DBMS) for retrieving, storing, and managing information stored in the DB. In addition, it can be implemented in various ways such as a linked-list, a tree, a relational DB, and includes all data storage media and data structures capable of storing information corresponding to the DB.

또한, 본 발명의 실시 예에 따른 정보 처리 장치(200) 및 정보 제공 장치(300)는 예를 들면, 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer) 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수 있다.In addition, the information processing apparatus 200 and the information providing apparatus 300 according to an embodiment of the present invention include, for example, a desktop PC (Personal Computer), a server, a laptop PC (Laptop PC), a netbook computer (Netbook Computer), etc. It may be one of all electronic devices capable of installing and executing the program.

도 1은 본 발명의 실시 예에 의한 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템을 도시한 도면이다.1 is a diagram showing an artificial intelligence-based road surface defect object information analysis system according to an embodiment of the present invention.

도 1을 참조하면, 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템은 정보 수집 장치(100), 정보 처리 장치(200) 및 정보 제공 장치(300)를 포함할 수 있다.Referring to FIG. 1, an artificial intelligence-based road surface defect object information analysis system may include an information collection device 100, an information processing device 200, and an information providing device 300.

정보 수집 장치(100)는 차량에 장착되어 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하고, 수집된 도로 촬영 정보와 위치 정보를 정보 처리 장치(200)로 전송할 수 있다. 도로 촬영 정보는 예를 들어, 촬영된 영상(10)과 영상(10)의 해상도, 프레임 등 영상 속성정보를 포함한다.The information collecting device 100 collects video information (hereinafter referred to as 'road shooting information') and location information of a road mounted on a vehicle and driving, and processes the collected road photographing information and location information ( 200). The road photographing information includes, for example, image attribute information such as a resolution and a frame of the photographed image 10 and the image 10.

정보 처리 장치(200)는 정보 수집 장치(100)로부터 수신되는 도로 촬영 정보를 사전에 정해진 인공지능 모델을 기반으로 학습하여 도로 촬영 정보로부터 도로 노면 불량 객체 영역을 추출할 수 있다. 그리고, 정보 처리 장치(200)는 추출된 도로 노면 불량 객체 영역의 위치 정보를 추출된 도로 노면 불량 객체 영역에 매칭한 후 정보 제공 장치(300)로 전송할 수 있다.The information processing apparatus 200 may learn road photographing information received from the information collecting apparatus 100 based on a pre-determined artificial intelligence model and extract a road surface defect object region from the road photographing information. Then, the information processing apparatus 200 may match the extracted location information of the road surface bad object region with the extracted road surface bad object region and then transmit the location information to the information providing apparatus 300.

정보 제공 장치(300)는 정보 처리 장치(200)로부터 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 매칭된 위치 정보를 참조하여 지도 상에 도로 노면 불량 객체 영역을 표시할 수 있다. 그리고, 정보 제공 장치(300)는 도로 노면 불량 객체 영역에 대한 정보를 제공받는 서비스 수요처에게 GIS(Geographic Information System)를 통해 제공할 수 있다.The information providing device 300 may display the road surface bad object area on the map by referring to the matched location information when the road surface bad object area matching the location information is received from the information processing device 200. In addition, the information providing device 300 may provide a service demand receiving information on a road surface defect object area through a geographic information system (GIS).

도 2는 도 1에 도시된 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템을 보다 자세히 도시한 블록도이다.FIG. 2 is a block diagram showing in detail a system for analyzing object information of road surface defects based on artificial intelligence shown in FIG. 1.

도 2를 참조하면, 정보 수집 장치(100)는 카메라(110) 및 GPS(Global Positioning System) 모듈(120)을 포함할 수 있다.Referring to FIG. 2, the information collecting device 100 may include a camera 110 and a Global Positioning System (GPS) module 120.

카메라(110)는 차량 전용 카메라, 스마트폰의 카메라 및 차량 블랙박스의 카메라 중 적어도 하나일 수 있다. The camera 110 may be at least one of a camera for a vehicle, a camera for a smartphone, and a camera for a vehicle black box.

GPS 모듈(120)은 주행 중인 차량의 위치 정보를 연계된 카메라(110)에게 제공하거나, 정보 처리 장치(200)에게 직접 위치 정보를 전송할 수 있다.The GPS module 120 may provide location information of a driving vehicle to the associated camera 110 or directly transmit location information to the information processing device 200.

카메라(110)는 도로 노면을 촬영하기 위해, 특히 도로 노면의 불량 객체를 보다 정밀히 촬영하기 위해 기설정된 카메라의 FOV(Field Of View)와 차량 별 설치 환경을 고려한 설치 가이드라인에 따라 차량에 설치될 수 있다.The camera 110 may be installed in a vehicle according to an installation guideline considering a field of view (FOV) of a preset camera and an installation environment for each vehicle in order to photograph a road surface, in particular, to more accurately photograph a bad object on the road surface. You can.

예를 들어, 카메라(110)는 고해상도 카메라로서, 도로 노면까지 최소 3미터~최대 7미터의 작업 거리에서 촬영할 수 있도록 차량 전면 유리의 상부 중앙에 장착될 수 있다. 3미터~7미터는 일 예로서 이에 한정되지 않는다.For example, the camera 110 is a high-resolution camera, and may be mounted in the upper center of the vehicle windshield so as to be able to shoot at a working distance of at least 3 meters up to 7 meters to the road surface. 3 meters to 7 meters is not limited to this as an example.

또한, 카메라(110)는 자연광에 의해 발생할 수 있는 차량 전면 유리의 차량 대시 보드 반사 형상을 카메라 입력 영상에서 차단할 수 있는 기구적 설계가 반영된 카메라 모듈 기구에 의해 장착될 수 있다.In addition, the camera 110 may be mounted by a camera module mechanism that reflects a mechanical design capable of blocking a vehicle dashboard reflection shape of a vehicle windshield, which may be caused by natural light, from a camera input image.

또한, 카메라(110)는 초점, 셔터, 조리개 등 다수의 자동 제어를 통해 촬영한 입력 영상의 고품질 화질 확보를 위해 노이즈 제거와 같은 전처리 알고리즘을 수행할 수 있다.In addition, the camera 110 may perform a pre-processing algorithm such as noise removal to secure high-quality image quality of an input image captured through a number of automatic controls such as focus, shutter, and aperture.

카메라(110)는 연계된 GPS 모듈(120)로부터 수신되는 차량의 위치 정보와 도로 촬영 정보를 동기화하여 실시간으로 정보 처리 장치(200)로 전송할 수 있는 유무선 통신회로를 포함할 수 있다. 예를 들어, 카메라(110)가 스마트폰의 카메라인 경우, 카메라(110)는 스마트폰의 무선 인터페이스를 통해 정보 처리 장치(200)와 통신할 수 있으며, 도로 촬영 정보의 실시간 수집, 위치 정보와의 동기화 및 정보 처리 장치(200)와의 통신을 위한 어플리케이션이 기설치 및 실행될 수 있다.The camera 110 may include a wired / wireless communication circuit capable of synchronizing location information of a vehicle and road photographing information received from the associated GPS module 120 and transmitting the information to the information processing device 200 in real time. For example, when the camera 110 is a smartphone camera, the camera 110 can communicate with the information processing device 200 through a wireless interface of the smartphone, and collects real-time road information and location information. An application for synchronization and communication with the information processing device 200 may be pre-installed and executed.

한편, 본 발명의 실시 예에 따른 정보 처리 장치(200)는 정보 처리 통신부(210), 정보 처리부(220), 학습부(230), 영상 및 위치 동기화부(240), 좌표 산출부(250), 매칭부(260) 및 정보 수집 메모리(270)를 포함할 수 있다.Meanwhile, the information processing apparatus 200 according to an embodiment of the present invention includes an information processing communication unit 210, an information processing unit 220, a learning unit 230, an image and location synchronization unit 240, and a coordinate calculation unit 250 , A matching unit 260 and an information collection memory 270.

정보 처리 통신부(210)는 정보 수집 장치(100) 및 정보 제공 장치(300)와 유무선 통신하기 위한 통신 인터페이스 회로를 포함할 수 있다. 예를 들어, 정보 처리 통신부(210)는 정보 수집 장치(100)로부터 도로 촬영 정보와 위치 정보를 수신한다.The information processing communication unit 210 may include a communication interface circuit for wired / wireless communication with the information collection device 100 and the information providing device 300. For example, the information processing communication unit 210 receives road photographing information and location information from the information collection device 100.

정보 처리부(220)는 수신된 도로 촬영 정보 중 도로 노면에 해당하는 영상을 특정 크기로 추출(crop)하고, 추출된 영상을 학습부(230)에 입력가능한 형태로 영상 처리한다. 정보 처리부(220)는 예를 들어 도 3에 도시된 도로 촬영 정보(20)가 수신되면, 도로 촬영 정보(20) 중 사전에 설정된 크기 및 위치의 ROI(Regions Of Interest)에 해당하는 영상(30)을 추출할 수 있다.The information processing unit 220 crops an image corresponding to the road surface from the received road photographing information to a specific size, and processes the extracted image in a form that can be input to the learning unit 230. The information processing unit 220, for example, when the road photographing information 20 shown in FIG. 3 is received, an image 30 corresponding to a region of interest (ROI) of a predetermined size and location among the road photographing information 20 ) Can be extracted.

정보 처리부(220)로 입력되는 도로 촬영 정보의 프레임 크기는 일정하고, 차량에 장착된 카메라(110)에 의해 촬영되는 영상의 하부는 주로 차량의 일부이고, 상부가 도로에 해당하므로, 프레임의 상부 중 가운데(또는 우측 또는 좌측)에 해당하는 부분이 ROI로 사전에 설정될 수 있다. Since the frame size of the road photographing information input to the information processing unit 220 is constant, the lower part of the image photographed by the camera 110 mounted on the vehicle is mainly a part of the vehicle, and the upper part corresponds to the road, so the upper part of the frame The portion corresponding to the middle (or right or left) of the middle may be preset as an ROI.

학습부(230)는 사전에 학습되어 설정된 인공지능 모델에 정보 처리부(220)에서 추출 및 영상처리된 영상을 입력하여 학습한 후 사전에 학습된 모델을 기준으로, 추출된 영상으로부터 도로 노면 불량 객체 영역을 추출할 수 있다. 한편, 학습부(230)에서 적용되는 인공지능 모델을 구축하는 동작은 크게 인공지능을 위한 학습용 DB 구축 동작과, 인공지능 학습에 의한 인공지능 모델 결정 동작으로 구분될 수 있다.The learning unit 230 inputs the image extracted and image-processed from the information processing unit 220 into the artificial intelligence model that has been previously learned and set, and then learns the road surface defect object from the extracted image based on the previously learned model. Regions can be extracted. On the other hand, the operation of constructing the artificial intelligence model applied by the learning unit 230 may be largely divided into an operation of constructing a DB for learning for artificial intelligence and an operation of determining an artificial intelligence model by learning artificial intelligence.

먼저, 인공지능을 위한 학습용 DB 구축 동작은, 인공지능 모델 구축 장치가 차량 전용 카메라, 스마트폰의 카메라 또는 블랙박스의 카메라를 통해 다수의 실제 도로 주행 영상을 수집하고, 수집된 도로 주행 영상의 도로 표면 부분에 특정 크기의 ROI를 설정한 후 ROI에 해당하는 영상을 추출(Crop)한다. 모델 설계자는 추출된 영상에 도로 노면 불량 객체가 존재하는지 육안으로 또는 프로그램을 통해 판별한 후 라벨링 프로그램을 이용하여, 해당 영상에 불량 객체의 종류에 따라 다른 색상의 라벨링을 표시한다. 인공지능 모델 구축 장치는 도로 노면 불량 객체 영상과 라벨링 처리가 된 영상을 하나의 세트로 동시 저장하여 인공지능 학습을 위한 DB를 구축한다. First, in the learning DB building operation for artificial intelligence, the artificial intelligence model building device collects a number of actual road driving images through a camera dedicated to a vehicle, a camera of a smartphone, or a camera of a black box, and the roads of the collected road driving images After setting the ROI of a specific size on the surface part, the image corresponding to the ROI is cropped. The model designer determines whether the road surface defect object exists in the extracted image with the naked eye or through a program, and then uses a labeling program to display labeling of different colors according to the type of the defect object. The artificial intelligence model building device simultaneously builds a DB for artificial intelligence learning by simultaneously storing the road surface defect object image and the labeled image as a set.

다음으로, 인공지능 모델 결정 동작은, 인공지능 모델 구축 장치가 기설정된 ROI 크기에 따라 추출된 영상과 원본 영상에서 레이블링된 세트 데이터를 지도 학습용 인공지능 프로그램의 입력으로 활용한다. 이 때, 인공지능 모델 구축 장치는, 실제 환경에서 변화 가능성을 고려한 영상 밝기 변환, 영상 투영변환, 영상 초점변환, 영상 명암변환 등의 입력 영상의 증대기법(Augmentation)을 세트 데이터에 적용한 후 지도 학습용 인공지능 프로그램을 입력할 수 있다. 그리고, 인공지능 모델 구축 장치는 합성곱 신경망(Convolution Network), 역합성곱 신경망(Deconvolution Network), 활성화 함수(Activation Function), 풀링(Pooling) 및 언풀링(Unpooling), 드롭아웃(Dropout), 배치 노말라이제이션(Batch Normalization), 여분 신경망(Residual Network), 쇼트컷 신경망(Short-cut Network), 확장 합성곱 신경망(Dilated Convolution Network), 소프트 맥스(Soft-max) 중 적어도 두 개의 조합으로 이루어진 인공지능 모델을 선정할 수 있다.Next, in the AI model determination operation, the AI model building apparatus uses the extracted data according to the preset ROI size and the set data labeled from the original image as an input to the AI program for supervised learning. At this time, the artificial intelligence model building device is used for supervised learning after applying augmentation of input images such as image brightness transformation, image projection transformation, image focus transformation, image contrast transformation, etc. in consideration of the possibility of change in the real environment to set data. You can enter the AI program. In addition, the artificial intelligence model building device includes a convolutional network, a deconvolutional network, an activation function, pooling and unpooling, dropout, and arrangement. Artificial made up of at least two combinations: Batch Normalization, Residual Network, Short-cut Network, Extended Convolution Network, and Soft-max Intelligent models can be selected.

특히, 인공지능 모델 구축 장치는 평균제곱오차(Mean Square Error) 비용함수 혹은 크로스 엔트로피(Cross Entropy) 비용함수 중에 하나를 활용 가능하며, 경사 하강법(Gradient Descent) 기반의 최적화 기법을 활용한 소량 집단(mini-batch)의 수차례 반복을 통한 학습을 통해 인공지능 모델을 선정하며, 이 때, 검증(Validation) Dataset 기준으로 최소 비용함수 수치가 나타나는 반복지점에서 최적의 인공지능 모델을 결정할 수 있다. In particular, the artificial intelligence model building device can use either the mean square error cost function or the cross entropy cost function, and a small group using a gradient descent-based optimization technique The AI model is selected through learning through multiple iterations of (mini-batch). At this time, the optimal AI model can be determined at the iteration point where the minimum cost function value appears based on the validation dataset.

이로써, 도 2에 도시된 학습부(230)는 상술한 동작에 의해 결정된 인공지능 모델을 이용하여 영상을 학습하여 도로 노면 불량 객체 영역을 추출할 수 있다.As a result, the learning unit 230 illustrated in FIG. 2 may extract the road surface defect object area by learning an image using the artificial intelligence model determined by the above-described operation.

영상 및 위치 동기화부(240)는 학습부(230)에 의해 추출된 도로 노면 불량 객체 영역과 수신된 위치 정보를 연계 및 동기화할 수 있다. The image and location synchronization unit 240 may link and synchronize the road surface bad object area extracted by the learning unit 230 with the received location information.

특히, 영상 및 위치 동기화부(240)는, 실시간 고정밀 위치정보 확보를 위한 위치 정보 정밀도 향상 알고리즘을 이용하여 도로 촬영 정보의 위치 정보를 보정할 수 있다. 이는, 도로 촬영 정보가 촬영된 시간과 위치 정보가 측정된 시간 사이의 차이가 발생할 수 있으며, 이러한 경우, 도로 촬영 정보에 해당하는 실제 도로의 위치와 GPS 모듈(120)에 의해 제공된 위치 정보 사이에 오차가 발생할 수 있기 때문이다.In particular, the image and location synchronization unit 240 may correct the location information of the road photographing information by using a location information precision improvement algorithm for securing real-time high-precision location information. This may cause a difference between a time when the road photographing information is captured and a time when the location information is measured. In this case, between the actual road location corresponding to the road photographing information and the location information provided by the GPS module 120 This is because errors may occur.

차량의 주행 속도, 차량의 위치 정보의 측정 시간 및 도로 촬영 정보의 촬영 시간 중 적어도 하나를 고려하여 정보 수집 장치(100)로부터 수신된 위치 정보를 고정밀 보정하고, 보정된 위치 정보를 도로 노면 불량 객체 영역과 다시 동기화할 수 있다.Highly corrects the location information received from the information collecting device 100 in consideration of at least one of the driving speed of the vehicle, the measurement time of the vehicle location information, and the shooting time of the road photographing information, and the corrected location information is a road surface defect object You can synchronize with the zone again.

좌표 산출부(250)는 영상 및 위치 동기화부(240)에서 동기화된 위치 정보로부터 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, 학습부(230)에서 추출된 도로 노면 불량 객체 영역을 분석하여 도로 노면 불량 객체 영역의 깊이 정보를 영상 분석 알고리즘을 이용하여 산출한 후, 2차원 좌표 정보와 깊이 정보로부터 3차원 좌표 정보를 산출할 수 있다. 영상 분석 알고리즘은 도로 노면 불량 객체 영역의 실제 크기를 추정하기 위한 스케일 정보(예를 들어, 촬영된 영상의 픽셀 해상도와 실제 크기 간의 비율)를 산정하고 이를 이용하여 도로 노면 불량 객체 영역을 정밀 분석하여 깊이 정보를 산출할 수 있다. 깊이 정보는 도로 노면 불량 객체 영역의 중심부 위치 또는 가장 깊은 곳의 값일 수 있다. The coordinate calculator 250 generates two-dimensional coordinate information of the road surface bad object region from the location information synchronized by the image and the location synchronizer 240, and analyzes the road surface bad object region extracted by the learning unit 230 By calculating the depth information of the road surface defect object region using an image analysis algorithm, 3D coordinate information may be calculated from the 2D coordinate information and the depth information. The image analysis algorithm calculates the scale information (for example, the ratio between the pixel resolution and the actual size of the captured image) to estimate the actual size of the road surface bad object area, and uses this to precisely analyze the road surface bad object area Depth information can be calculated. The depth information may be a central location of a road surface defect object area or a deepest value.

매칭부(260)는 산출된 3차원 좌표 정보를 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 정보 처리 통신부(210)를 통해 정보 제공 장치(300)로 출력되도록 한다. The matching unit 260 matches the calculated 3D coordinate information as final location information of the road surface defect object area, and then outputs the information to the information providing device 300 through the information processing communication unit 210.

정보 수집 메모리(270)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 정보 수집 메모리(270)에는 예를 들어, 정보 처리 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~270)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The information collecting memory 270 may include volatile memory and / or non-volatile memory. In the information collection memory 270, for example, in order to implement and / or provide operations and functions provided by the information processing device 200, commands or data related to the components 210 to 270, one or more programs And / or software, an operating system, and the like.

정보 수집 메모리(270)에 저장되는 프로그램은 학습부(230)에서 사용되는 인공지능 모델 및 인공지능 모델을 구현하기 위한 프로그램과, 위치 정보의 정밀 보정 및 영상과의 동기화를 위한 프로그램과, 영상의 3차원 좌표 산출 및 산출된 3차원 좌표와 영상을 매칭하기 위한 프로그램을 포함할 수 있다. The program stored in the information collection memory 270 includes a program for implementing the artificial intelligence model and the artificial intelligence model used in the learning unit 230, a program for precise correction of location information and synchronization with an image, and It may include a program for calculating 3D coordinates and matching the calculated 3D coordinates with an image.

한편, 정보 제공 장치(300)는 정보 제공 통신부(310), 지도 처리부(320), 정보 제공부(330), 데이터베이스(340) 및 정보 제공 메모리(350)를 포함할 수 있다.Meanwhile, the information providing device 300 may include an information providing communication unit 310, a map processing unit 320, an information providing unit 330, a database 340, and an information providing memory 350.

정보 제공 통신부(310)는 정보 처리 장치(200) 및 서비스 수요자와 통신할 수 있다. 예를 들어, 정보 제공 통신부(310)는 정보 처리 장치(200)로부터 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역을 수신하고, 서비스 수요자에게 AIP를 통해 지도 서비스 또는 도로 노면 불량 객체 영역 정보를 제공할 수 있다. 또한, 정보 제공 통신부(310)는 도로 노면 불량 객체의 유지 보수가 완료되면, 유지 보수를 수행한 기관으로부터 유지 보수 완료 정보를 수신한다.The information providing communication unit 310 may communicate with the information processing device 200 and the service consumer. For example, the information providing communication unit 310 receives the road surface defect object area matching the final location information from the information processing device 200 and provides the map service or the road road surface bad object area information to the service consumer through the AIP. can do. In addition, when the maintenance of the road surface defect object is completed, the information providing communication unit 310 receives maintenance completion information from the organization that performed the maintenance.

서비스 수요자는 도로의 불량 객체를 유지 보수 중인 담당자, 도로 공사 기관, 지방 자치 단체 등 도로 관련 업무를 수행하는 다양한 기관 또는 개인을 포함한다.Service consumers include various agencies or individuals who perform road-related tasks, such as personnel in charge of maintaining road bad objects, road construction agencies, and local governments.

지도 처리부(320)는 정보 처리 장치(200)로부터 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 정밀 도로 지도 중 최종 위치 정보에 해당하는 위치에 도로 노면 불량 객체 영역을 화면에 표시하고, 정밀 도로 지도와 연계하여 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 화면에 표시하도록 처리할 수 있다. 부가 정보는 도로 노면 불량 객체 영역이 위치하는 지리와 도로명, 크기, 종류, 도로 노면 불량 객체 영역의 원본 영상 프레임이 존재하는 불량 객체의 개수 등 도로와 관련된 정보를 포함한다.When the road surface bad object area matching the final location information is received from the information processing device 200, the map processing unit 320 displays the road surface bad object area on the screen corresponding to the final position information among the precision road maps. , In connection with the precision road map, it is possible to selectively display additional information of the road surface defect object area on the screen. The additional information includes information related to the road, such as the geography where the road surface bad object area is located, the road name, size, type, and the number of bad objects in which the original image frame of the road road bad object area exists.

또한, 지도 처리부(320)는 현장 작업자가 진행 중인 도로 유지보수 상황을 화면에 표시하여 모니터링 및 관리가 가능하도록 할 수 있다.In addition, the map processing unit 320 may display a road maintenance situation in progress by a field worker on a screen to enable monitoring and management.

정보 제공부(330)는 도로 노면 불량 객체 영역이 표시된 지도를 서비스 수요자에게 실시간으로 제공할 수 있다. 서비스 수요자는 제공된 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 참조하여 도로 유지보수 상황을 모니터링 및 관제할 수 있다. The information providing unit 330 may provide a map in which a road surface bad object area is displayed to a service consumer in real time. The service consumer can monitor and control the road maintenance situation by referring to the precision road map showing the road surface defect object area provided.

데이터베이스(340)는 정보 처리 장치(200)로부터 수신되는 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역과, 도로 노면 불량 객체 영역의 유지 보수 이력 관리 정보를 누적 저장한다. 이로써, 정보 제공 장치(300)는 동일한 위치의 도로 노면 불량 객체 별로 객체의 발생일, 크기 변화, 유지 보수 이력 등 관련 정보를 체계적으로 관리하여 통계적 분석 및 이를 활용한 서비스를 제공할 수 있다.The database 340 accumulates and stores the road surface bad object area and the maintenance history management information of the road road surface bad object area where the final location information received from the information processing device 200 is matched. Accordingly, the information providing device 300 can systematically manage the related information such as the occurrence date, size change, and maintenance history of the object for each road surface defect object in the same location to provide statistical analysis and services utilizing the same.

정보 제공 메모리(350)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 정보 제공 메모리(350)에는 지도 기반의 도로 파손 지점을 표출하고, 도로의 유지 보수 이력을 관리하고 서비스를 제공하기 위한 프로그램이 더 저장될 수 있다. The information providing memory 350 may include volatile memory and / or non-volatile memory. A program for expressing a map-based road breakage point, managing a road maintenance history, and providing a service may be further stored in the information providing memory 350.

도 4는 본 발명의 실시 예에 따른 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법을 개략적으로 도시한 흐름도이다.4 is a flowchart schematically illustrating a method of analyzing object information on road surface defects based on artificial intelligence according to an embodiment of the present invention.

도 4에 도시된 정보 수집 장치(100), 정보 처리 장치(200) 및 정보 제공 장치(300)는 도 1 내지 도 3을 참조하여 설명하였으므로 자세한 설명은 생략한다.Since the information collecting device 100, the information processing device 200, and the information providing device 300 shown in FIG. 4 have been described with reference to FIGS. 1 to 3, detailed descriptions thereof will be omitted.

도 4를 참조하면, 차량에 장착된 정보 수집 장치(100)는 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하여 정보 처리 장치(200)로 전송한다(S400, S410).Referring to FIG. 4, the information collecting device 100 mounted on a vehicle collects image information (hereinafter referred to as “road shooting information”) and location information of a road that is driving and transmits it to the information processing device 200 (S400, S410).

정보 처리 장치(200)는 S410단계에 의해 수신되는 도로 촬영 정보에서 기설정된 ROI 영역, 즉, 도로 노면에 해당하는 영상을 추출(crop)하여 영상 처리한다(S420).The information processing apparatus 200 extracts (crop) an image corresponding to a predetermined ROI area, that is, a road surface from the road photographing information received in operation S410 and processes the image (S420).

정보 처리 장치(200)는 영상 처리된 추출된 영상을 인공지능 모델에 입력하여 학습한 결과로 도로 노면 불량 객체 영역을 추출한다(S430).The information processing apparatus 200 extracts the road surface defect object region as a result of learning by inputting the extracted image, which has been processed, into the artificial intelligence model (S430).

정보 처리 장치(200)는 S430단계에서 추출된 도로 노면 불량 객체 영역과 S410단계에서 수신된 위치 정보를 정밀 보정하여 도로 노면 불량 객체 영역과 동기화한다(S440).The information processing device 200 precisely corrects the road surface bad object area extracted in step S430 and the location information received in step S410 to synchronize with the road surface bad object area (S440).

정보 처리 장치(200)는 S440단계에서 동기화된 위치 정보로부터 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, S430단계에서 추출된 도로 노면 불량 객체 영역을 분석하여 도로 노면 불량 객체 영역의 깊이 정보를 산출한 후, 2차원 좌표 정보와 깊이 정보로부터 3차원 좌표 정보를 산출한다(S450).The information processing apparatus 200 generates 2D coordinate information of the road surface bad object area from the synchronized position information in step S440, and analyzes the road surface bad object area extracted in step S430 to analyze the depth information of the road surface bad object area. After calculating, 3D coordinate information is calculated from the 2D coordinate information and the depth information (S450).

정보 처리 장치(200)는 S450단계에서 산출된 3차원 좌표 정보를 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 정보 제공 장치(300)로 전송한다(S460, S470).The information processing device 200 matches the 3D coordinate information calculated in step S450 as the final position information of the road surface defect object area and transmits it to the information providing device 300 (S460, S470).

정보 제공 장치(300)는 정밀 도로 지도 중 수신된 최종 위치 정보에 해당하는 위치에 도로 노면 불량 객체 영역을 영상으로서 표시하고, 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 표시한다(S480).The information providing device 300 displays the road surface bad object area as an image at a position corresponding to the final location information received from the precision road map, and selectively displays additional information of the road road surface bad object area (S480).

정보 제공 장치(300)는 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도 또는 데이터 용량이 적은 지도에 도로 노면 불량 객체 영역을 표시하여 서비스 수요자에게 실시간으로 제공한다(S490).The information providing device 300 displays the road surface defect object area on a precision road map in which the road surface bad object area is displayed or a map having a small data capacity, and provides it to the service consumer in real time (S490).

또한, 정보 제공 장치(300)는 현장 작업자의 단말기를 통해 도로 노면 불량 객체의 유지 보수 작업과 관련된 정보를 수신하여 유지 보수 이력을 저장 및 관리한다(S500). In addition, the information providing device 300 receives information related to the maintenance work of the road surface defect object through the terminal of the field worker, and stores and manages the maintenance history (S500).

한편 본 발명에 따른 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템의 도로 노면 불량 객체 정보 분석 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.On the other hand, the road surface defect object information analysis method of the artificial intelligence-based road surface defect object information analysis system according to the present invention is included in a recording medium that can be read through a computer by tangibly implementing a program of instructions for implementing it. It may be readily understood by those skilled in the art that they may be provided.

즉, 본 발명에 따른 시스템의 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있으며, 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에는 하드 디스크와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.That is, the method for analyzing road surface defect object information based on artificial intelligence of the system according to the present invention is implemented in a program form that can be performed through various computer means, and can be recorded on a computer-readable recording medium, and the computer-readable The recording medium may include program instructions, data files, data structures, etc. alone or in combination. The computer-readable recording medium includes magnetic media such as a hard disk, optical media such as a CD-ROM, and DVD, and ROM, RAM, flash memory, USB memory, and the like. Hardware devices specifically configured to store and execute program instructions are included.

따라서, 본 발명은 시스템의 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법을 구현하기 위하여 상기 시스템을 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.Accordingly, the present invention provides a program stored in a computer-readable recording medium executed on a computer controlling the system in order to implement a method for analyzing road surface defect object information based on artificial intelligence of the system.

한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.On the other hand, in the above described and illustrated in connection with a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, deviating from the scope of the technical idea It will be understood by those skilled in the art that many changes and modifications are possible to the present invention. Accordingly, all such suitable changes and modifications and equivalents should be considered within the scope of the present invention. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 정보 수집 장치 200: 정보 처리 장치
300: 및 정보 제공 장치 20: 도로 촬영 정보
30: ROI에 해당하는 영상100: information collecting device 200: information processing device
300: and information providing device 20: road shooting information
30: image corresponding to ROI

Claims (8)

차량에 장착되어 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하는 정보 수집 장치;
상기 정보 수집 장치로부터 수신되는 도로 촬영 정보를 사전에 정해진 인공지능 모델을 기반으로 학습하여 상기 도로 촬영 정보로부터 도로 노면 불량 객체 영역을 추출하고, 상기 추출된 도로 노면 불량 객체 영역의 위치 정보를 매칭하여 출력하는 정보 처리 장치; 및
상기 정보 처리 장치로부터 상기 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 상기 매칭된 위치 정보를 참조하여 지도 상에 상기 도로 노면 불량 객체 영역을 표시하는 정보 제공 장치;를 포함하고,
상기 정보 처리 장치는,
상기 정보 수집 장치로부터 상기 도로 촬영 정보와 위치 정보가 수신되면, 상기 수신된 도로 촬영 정보 중 도로 노면에 해당하는 영상을 추출(crop)하는 정보 처리부;
상기 추출된 영상을 상기 인공지능 모델에 입력하여 상기 추출된 영상으로부터 상기 도로 노면 불량 객체 영역을 추출하는 학습부;
상기 추출된 도로 노면 불량 객체 영역과 상기 수신된 위치 정보를 연계 및 동기화하는 영상 및 위치 동기화부;
상기 동기화된 위치 정보로부터 상기 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, 상기 학습부에서 추출된 도로 노면 불량 객체 영역을 분석하여 상기 도로 노면 불량 객체 영역의 깊이 정보를 산출한 후, 상기 2차원 좌표 정보와 상기 깊이 정보로부터 3차원 좌표 정보를 산출하는 좌표 산출부; 및
상기 산출된 3차원 좌표 정보를 상기 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 상기 정보 제공 장치로 출력하는 매칭부;를 포함하며,
상기 깊이 정보는 상기 도로 노면 불량 객체 영역의 중심부의 깊이값 및 상기 도로 노면 불량 객체 영역 중 가장 깊은 곳의 깊이값 중 하나인 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템. An information collecting device that collects image information (hereinafter referred to as 'road photographing information') and location information of a road mounted on a vehicle while driving;
By learning the road photographing information received from the information collecting device based on a pre-determined artificial intelligence model, extracting a road surface bad object region from the road photographing information, and matching location information of the extracted road surface bad object region An output information processing device; And
It includes; an information providing device for displaying the road surface bad object area on the map with reference to the matched location information, when the road surface bad object area matching the location information is received from the information processing device;
The information processing device,
An information processing unit for extracting an image corresponding to a road surface from the received road photographing information when the road photographing information and location information are received from the information collecting device;
A learning unit extracting the road surface defect object area from the extracted image by inputting the extracted image into the artificial intelligence model;
An image and location synchronization unit for linking and synchronizing the extracted road surface bad object region and the received location information;
After generating the two-dimensional coordinate information of the road surface bad object area from the synchronized location information, and analyzing the road surface bad object area extracted by the learning unit to calculate the depth information of the road surface bad object area, the A coordinate calculator that calculates 3D coordinate information from 2D coordinate information and the depth information; And
Includes a matching unit for matching the calculated three-dimensional coordinate information as the final location information of the road surface defect object area and outputting it to the information providing device.
The depth information is one of the depth value of the center of the road surface defect object region and the depth value of the deepest of the road surface defect object region AI-based road surface defect object information analysis system. 제1항에 있어서,
상기 정보 수집 장치는,
도로의 노면 촬영을 위해 카메라의 FOV(Field Of View)를 고려하여 상기 차량에 장착되는 차량 전용 카메라, 스마트폰의 카메라 및 블랙박스의 카메라 중 적어도 하나; 및
상기 차량의 위치 정보를 제공하는 GPS 모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템.According to claim 1,
The information collecting device,
At least one of a camera-only camera, a smartphone camera, and a black box camera mounted on the vehicle in consideration of a field of view (FOV) of the camera for road surface photography; And
GPS module for providing the location information of the vehicle; AI-based road surface defect object information analysis system comprising a. 삭제delete 제1항에 있어서,
상기 정보 제공 장치는,
상기 정보 처리 장치로부터 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역이 수신되면, 정밀 도로 지도 중 상기 수신된 최종 위치 정보에 해당하는 위치에 상기 도로 노면 불량 객체 영역을 화면에 표시하고, 상기 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 표시하는 지도 처리부; 및
상기 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 서비스 수요자에게 실시간으로 제공하는 정보 제공부;를 포함하고, 상기 서비스 수요자는 상기 제공된 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 참조하여 도로 유지보수 상황을 모니터링 및 관제하는 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템.According to claim 1,
The information providing device,
When the road surface bad object area matching the final location information is received from the information processing device, the road surface bad object area is displayed on the screen at a position corresponding to the received final position information on the precision road map, and the road A map processing unit selectively displaying additional information of a road surface defect object area; And
Includes; an information providing unit for providing the road surface bad object area precision road map to the service consumer in real time; including, the service consumer refers to the road surface bad object area provided with reference to the precision road map road maintenance situation AI-based road surface defect object information analysis system characterized by monitoring and controlling. 제4항에 있어서,
상기 정보 제공 장치는,
상기 정보 처리 장치로부터 수신되는 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역과, 상기 도로 노면 불량 객체 영역의 유지 보수 이력 관리 정보를 상기 최종 위치 정보를 기준으로 누적 저장하는 데이터베이스;를 더 포함하는 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템.According to claim 4,
The information providing device,
Further comprising; a database for accumulating and storing road surface defect object areas matching the final location information received from the information processing device and maintenance history management information of the road surface defect object area based on the final location information. Artificial intelligence-based road surface defect object information analysis system. (A) 차량에 장착된 정보 수집 장치가, 주행 중인 도로를 촬영한 영상 정보(이하, '도로 촬영 정보'라 한다)와 위치 정보를 수집하는 단계;
(B) 정보 처리 장치가, 상기 정보 수집 장치로부터 수신되는 도로 촬영 정보를 사전에 정해진 인공지능 모델을 기반으로 학습하여 상기 도로 촬영 정보로부터 도로 노면 불량 객체 영역을 추출하고, 상기 추출된 도로 노면 불량 객체 영역의 위치 정보를 매칭하여 출력하는 단계; 및
(C) 정보 제공 장치가, 상기 정보 처리 장치로부터 수신되는 위치 정보를 참조하여 지도 상에 상기 도로 노면 불량 객체 영역을 표시하는 단계;를 포함하고,
상기 (B) 단계는,
(B1) 상기 정보 처리 장치가, 상기 정보 수집 장치로부터 상기 도로 촬영 정보와 위치 정보를 수신하면, 상기 수신된 도로 촬영 정보 중 도로 노면에 해당하는 영상을 추출(crop)하고, 상기 인공지능 모델에 상기 추출된 영상을 입력하여 상기 도로 노면 불량 객체 영역을 추출하는 단계;
(B2) 상기 정보 처리 장치가, 상기 추출된 도로 노면 불량 객체 영역과 상기 수신된 위치 정보를 연계 및 동기화하는 단계; 및
(B3) 상기 정보 처리 장치가, 상기 (B2) 단계에서 동기화된 위치 정보로부터 상기 도로 노면 불량 객체 영역의 2차원 좌표 정보를 생성하고, 상기 (B1) 단계에서 추출된 도로 노면 불량 객체 영역을 분석하여 상기 도로 노면 불량 객체 영역의 깊이 정보를 산출한 후, 상기 2차원 좌표 정보와 상기 깊이 정보로부터 3차원 좌표 정보를 산출하는 단계; 및
(B4) 상기 정보 처리 장치가, 상기 (B3) 단계에서 산출된 3차원 좌표 정보를 상기 도로 노면 불량 객체 영역의 최종 위치 정보로서 매칭한 후 상기 정보 제공 장치로 출력하는 단계;를 포함하며,
상기 깊이 정보는 상기 도로 노면 불량 객체 영역의 중심부의 깊이값 및 상기 도로 노면 불량 객체 영역 중 가장 깊은 곳의 깊이값 중 하나인 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법. (A) the information collection device mounted on the vehicle, collecting image information (hereinafter referred to as 'road shooting information') and location information of a road that is driving;
(B) the information processing apparatus learns road photographing information received from the information collecting apparatus based on a predetermined artificial intelligence model, extracts a road surface defect object region from the road photographing information, and extracts the road surface defects Matching and outputting the location information of the object area; And
(C) the information providing apparatus, referring to the location information received from the information processing apparatus to display the road surface bad object area on the map; includes,
Step (B) is,
(B1) When the information processing device receives the road photographing information and location information from the information collecting device, extracts an image corresponding to the road surface from the received road photographing information and crops the artificial intelligence model. Extracting the road surface defect object area by inputting the extracted image;
(B2) the information processing apparatus, linking and synchronizing the extracted road surface bad object area and the received location information; And
(B3) The information processing apparatus generates two-dimensional coordinate information of the road surface defect object area from the location information synchronized in step (B2), and analyzes the road surface defect object area extracted in step (B1). Calculating depth information of the road surface defect object area, and calculating 3D coordinate information from the 2D coordinate information and the depth information; And
(B4) the information processing apparatus, matching the 3D coordinate information calculated in the step (B3) as the final location information of the road surface defect object area and outputting the information to the information providing apparatus.
The depth information is one of the depth value of the center of the road surface defect object area and the depth value of the deepest of the road surface defect object area. 삭제delete 제6항에 있어서,
상기 (C) 단계는,
(C1) 상기 정보 제공 장치가, 상기 정보 처리 장치로부터 상기 최종 위치 정보가 매칭된 도로 노면 불량 객체 영역을 수신하면, 정밀 도로 지도 중 상기 수신된 최종 위치 정보에 해당하는 위치에 상기 도로 노면 불량 객체 영역을 화면에 표시하고, 상기 도로 노면 불량 객체 영역의 부가 정보를 선택적으로 표시하는 단계; 및
(C2) 상기 정보 제공 장치가, 상기 도로 노면 불량 객체 영역이 표시된 정밀 도로 지도를 서비스 수요자에게 실시간으로 제공하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반의 도로 노면 불량 객체 정보 분석 방법.
The method of claim 6,
Step (C) is,
(C1) When the information providing device receives the road surface defect object area matching the final location information from the information processing device, the road surface defect object is located at a position corresponding to the received final location information in the precision road map. Displaying an area on the screen and selectively displaying additional information of the road surface defect object area; And
(C2) providing, by the information providing device, a real-time road map showing a road surface bad object area to a service consumer in real time; artificial intelligence-based road road surface bad object information analysis method comprising a.
KR1020180117300A 2018-10-02 2018-10-02 System for analyzing pot hole data of road pavement using AI and for the same KR102094341B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180117300A KR102094341B1 (en) 2018-10-02 2018-10-02 System for analyzing pot hole data of road pavement using AI and for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180117300A KR102094341B1 (en) 2018-10-02 2018-10-02 System for analyzing pot hole data of road pavement using AI and for the same

Publications (1)

Publication Number Publication Date
KR102094341B1 true KR102094341B1 (en) 2020-03-27

Family

ID=69959146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117300A KR102094341B1 (en) 2018-10-02 2018-10-02 System for analyzing pot hole data of road pavement using AI and for the same

Country Status (1)

Country Link
KR (1) KR102094341B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149562A (en) * 2020-09-23 2020-12-29 深圳市路桥建设集团有限公司 Road intelligent maintenance system and method based on multifunctional rod
CN112802021A (en) * 2021-04-09 2021-05-14 泰瑞数创科技(北京)有限公司 Urban bridge road diagnosis method and system based on digital twin technology
KR102296511B1 (en) * 2020-11-17 2021-09-02 주식회사 트윔 Training data generating apparatus, method for product inspection and product inspection appratus using the training data
KR102310105B1 (en) * 2020-11-09 2021-10-08 주식회사 해담디앤씨 Method, recording medium and apparatus for managing abnormal protrusions and depressions of road pavement
CN113516660A (en) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 Visual positioning and defect detection method and device suitable for train
WO2022055260A1 (en) * 2020-09-08 2022-03-17 포티투닷 주식회사 Method and device for determining available vehicle boarding area in travel image by using artificial neural network
KR102413162B1 (en) * 2021-12-30 2022-06-24 주식회사 다리소프트 Hazardous object information management server which is able to estimate the actual size of the hazardous object on the road by interworking with the information collecting terminal equipped on a vehicle, and the operating method thereof
KR102413157B1 (en) * 2021-12-30 2022-06-24 주식회사 다리소프트 Hazardous object information management server which is able to collect and manage hazardous object information on the road through interworking with the information collecting terminal, equipped on a vehicle, and the operating method thereof
KR102447643B1 (en) * 2021-12-10 2022-09-27 (주) 경성테크놀러지 Automatic map generation system for the disabled using deep learning-based object recognition technology
KR20220162968A (en) * 2021-06-02 2022-12-09 이영준 System and method for managing of bus stop facilities
KR20230032150A (en) 2021-08-30 2023-03-07 한밭대학교 산학협력단 Crack detection system for road
WO2023120743A1 (en) * 2021-12-20 2023-06-29 한국전자기술연구원 Context-specific training method for point cloud-based three-dimensional object recognition model
KR102592410B1 (en) * 2023-01-18 2023-10-24 주식회사 원테크시스템 Ai-based cctv image analysis road damage detection system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065854A (en) * 2005-08-30 2007-03-15 Toen Kk Portable terminal for reporting road circumstance, program, emergency report support system and emergency report support method
KR101543342B1 (en) 2015-02-23 2015-08-11 한국건설기술연구원 System for processing pot-hole data of road pavement using vehicle communication network, and method for the same
KR101747233B1 (en) * 2015-12-23 2017-06-27 한국도로공사 System and method for providing information of road surface condition
KR20180050823A (en) * 2016-11-07 2018-05-16 삼성전자주식회사 Generating method and apparatus of 3d lane model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065854A (en) * 2005-08-30 2007-03-15 Toen Kk Portable terminal for reporting road circumstance, program, emergency report support system and emergency report support method
KR101543342B1 (en) 2015-02-23 2015-08-11 한국건설기술연구원 System for processing pot-hole data of road pavement using vehicle communication network, and method for the same
KR101747233B1 (en) * 2015-12-23 2017-06-27 한국도로공사 System and method for providing information of road surface condition
KR20180050823A (en) * 2016-11-07 2018-05-16 삼성전자주식회사 Generating method and apparatus of 3d lane model

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022055260A1 (en) * 2020-09-08 2022-03-17 포티투닷 주식회사 Method and device for determining available vehicle boarding area in travel image by using artificial neural network
CN112149562A (en) * 2020-09-23 2020-12-29 深圳市路桥建设集团有限公司 Road intelligent maintenance system and method based on multifunctional rod
KR102310105B1 (en) * 2020-11-09 2021-10-08 주식회사 해담디앤씨 Method, recording medium and apparatus for managing abnormal protrusions and depressions of road pavement
KR102296511B1 (en) * 2020-11-17 2021-09-02 주식회사 트윔 Training data generating apparatus, method for product inspection and product inspection appratus using the training data
CN112802021A (en) * 2021-04-09 2021-05-14 泰瑞数创科技(北京)有限公司 Urban bridge road diagnosis method and system based on digital twin technology
KR20220162968A (en) * 2021-06-02 2022-12-09 이영준 System and method for managing of bus stop facilities
KR102614784B1 (en) * 2021-06-02 2023-12-14 이영준 System and method for managing of bus stop facilities
KR20230032150A (en) 2021-08-30 2023-03-07 한밭대학교 산학협력단 Crack detection system for road
CN113516660A (en) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 Visual positioning and defect detection method and device suitable for train
KR102447643B1 (en) * 2021-12-10 2022-09-27 (주) 경성테크놀러지 Automatic map generation system for the disabled using deep learning-based object recognition technology
WO2023120743A1 (en) * 2021-12-20 2023-06-29 한국전자기술연구원 Context-specific training method for point cloud-based three-dimensional object recognition model
KR102413157B1 (en) * 2021-12-30 2022-06-24 주식회사 다리소프트 Hazardous object information management server which is able to collect and manage hazardous object information on the road through interworking with the information collecting terminal, equipped on a vehicle, and the operating method thereof
WO2023128113A1 (en) * 2021-12-30 2023-07-06 주식회사 다리소프트 Dangerous object information management server capable of estimating actual size of dangerous object on road in conjunction with information collection terminal mounted to vehicle, and method for operating same
WO2023128112A1 (en) * 2021-12-30 2023-07-06 주식회사 다리소프트 Hazard information management server for collecting and managing hazard information on road through link with information collecting terminal mounted on vehicle, and operating method thereof
KR102413162B1 (en) * 2021-12-30 2022-06-24 주식회사 다리소프트 Hazardous object information management server which is able to estimate the actual size of the hazardous object on the road by interworking with the information collecting terminal equipped on a vehicle, and the operating method thereof
KR102592410B1 (en) * 2023-01-18 2023-10-24 주식회사 원테크시스템 Ai-based cctv image analysis road damage detection system

Similar Documents

Publication Publication Date Title
KR102094341B1 (en) System for analyzing pot hole data of road pavement using AI and for the same
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN107923132B (en) Crack analysis device, crack analysis method, and recording medium
Hadjidemetriou et al. Automated pavement patch detection and quantification using support vector machines
KR102026685B1 (en) Apparatus and server for providing dangerous road information using image data and vibration
Jog et al. Pothole properties measurement through visual 2D recognition and 3D reconstruction
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
WO2016132587A1 (en) Information processing device, road structure management system, and road structure management method
CN106296814B (en) Highway maintenance detection and virtual interactive interface method and system
JP2018018461A (en) Information processing apparatus, display device, information processing method, and program
CN107909012B (en) Real-time vehicle tracking detection method and device based on disparity map
JP6700373B2 (en) Apparatus and method for learning object image packaging for artificial intelligence of video animation
CN113808098A (en) Road disease identification method and device, electronic equipment and readable storage medium
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
WO2021199915A1 (en) Degradation display system, degradation display method, and storage medium
CN109916415B (en) Road type determination method, device, equipment and storage medium
JP2015090679A (en) Vehicle trajectory extraction method, vehicle region extraction method, vehicle speed estimation method, vehicle trajectory extraction program, vehicle region extraction program, vehicle speed estimation program, vehicle trajectory extraction system, vehicle region extraction system, and vehicle speed estimation system
Mertz et al. City-wide road distress monitoring with smartphones
JP2020144572A (en) Road failure detection device, road failure detection method, and road failure detection program
Ji et al. Image‐based road crack risk‐informed assessment using a convolutional neural network and an unmanned aerial vehicle
CN116091477A (en) Deep learning multi-mode image fusion-based building exterior wall defect detection method
CN114565908A (en) Lane line detection method and device, electronic device and storage medium
Champion 2D building change detection from high resolution aerial images and correlation digital surface models
EP3070459A1 (en) Inspection target object extraction apparatus and inspection target object extraction method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant