KR20220107645A - Road surface identification system using artificial neural networks - Google Patents

Road surface identification system using artificial neural networks Download PDF

Info

Publication number
KR20220107645A
KR20220107645A KR1020210010515A KR20210010515A KR20220107645A KR 20220107645 A KR20220107645 A KR 20220107645A KR 1020210010515 A KR1020210010515 A KR 1020210010515A KR 20210010515 A KR20210010515 A KR 20210010515A KR 20220107645 A KR20220107645 A KR 20220107645A
Authority
KR
South Korea
Prior art keywords
road surface
image
laser
artificial neural
unit
Prior art date
Application number
KR1020210010515A
Other languages
Korean (ko)
Other versions
KR102593030B1 (en
Inventor
정진만
김서연
최승호
정재혁
김재희
김찬
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020210010515A priority Critical patent/KR102593030B1/en
Publication of KR20220107645A publication Critical patent/KR20220107645A/en
Application granted granted Critical
Publication of KR102593030B1 publication Critical patent/KR102593030B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Abstract

The present invention relates to a system for identifying road surface conditions using an artificial neural network and, more specifically, to a road surface identification system using an artificial neural network that learns the information obtained through an image capture part and a laser measurement part using the artificial neural network and determines the condition of a road surface (crack, breakage, sinkhole, tilt, dent, irregularity, etc.) based on the learned information.

Description

인공신경망을 사용한 노면 확인 시스템 {Road surface identification system using artificial neural networks}Road surface identification system using artificial neural networks

본 발명은 인공신경망을 사용하여 도로의 노면 상태를 확인하는 시스템에 관한 것으로서, 더욱 상세하게는 이미지촬영부와 레이저측정부를 통하여 얻어진 정보를 인공신경망을 이용하여 학습하고 학습된 정보를 기반으로 노면의 상태(균열, 파손, 싱크홀, 기울어짐, 찌그러짐, 요철 등)를 판단하는 인공신경망을 사용한 노면 확인 시스템에 관한 것이다.The present invention relates to a system for checking the road surface condition of a road using an artificial neural network. More specifically, the information obtained through an image capturing unit and a laser measurement unit is learned using an artificial neural network, and the It relates to a road surface confirmation system using an artificial neural network to determine the state (crack, breakage, sinkhole, tilt, dent, unevenness, etc.).

도로의 연장은 해마다 증가하고 있으며, 도로 연장이 증가함에 따라 전체 도로 유지보수 비용은 급격히 증가하는 추세에 있는데, 제한된 유지보수 예산으로 전체 도로망을 효율적이고 과학적으로 유지관리하기 위해서는 포장유지관리 시스템(Pavement Management System; PMS)의 운영은 필수적이다.Road extension is increasing every year, and as the road extension increases, the overall road maintenance cost is on the rise. Management System (PMS) operation is essential.

상기 포장유지관리 시스템은 노면의 상태를 분석하고 도로의 유지보수에 대한 정보를 제공해 줄 수 있는 시스템으로 구성하여야 한다. The pavement maintenance system should be configured as a system capable of analyzing the condition of the road surface and providing information on road maintenance.

현재 적용되고 있는 대부분의 포장유지관리 시스템은 전문가가 현장에서 노면의 상태를 파악한 후, 파악된 자료를 입력하도록 되어 있다. 그러나 우리나라 포장도로의 총 연장이 2019년 현재 111,314km이며, 향후 포장도로의 증가를 고려할 때, 포장도로 전체를 전문가가 직접 조사하는 것은 비효율적일 뿐만 아니라 지속적인 포장유지관리 시스템의 유지가 어려운 실정이다.Most of the currently applied pavement maintenance systems require an expert to identify the condition of the road surface at the site and then input the identified data. However, the total extension of paved roads in Korea is 111,314 km as of 2019, and considering the increase of paved roads in the future, it is not only inefficient for experts to directly investigate the entire pavement, but it is also difficult to maintain a continuous pavement maintenance system.

이러한 문제 때문에 최근 포장도로 노면의 상태를 자동으로 측정할 수 있는 측정시스템에 대한 연구가 다양하게 진행되고 있다.Because of this problem, research on a measurement system that can automatically measure the condition of the pavement surface is being conducted in various ways.

이와 관련된 종래의 기술이 한국등록특허 제10-1124888호(2012.02.29.)에 개시되어 있다.A related prior art is disclosed in Korean Patent No. 10-1124888 (2012.02.29.).

상기 종래의 기술은 도로 노면에 부착되어 도로 노면의 상태를 실시간으로 감지하는 식별 정보가 부여된 복수의 무선 근거리 센서 모듈과 동기화 시간 정보, 활성화 모드 전환 시각 정보 및 휴면 모드 전환 시각 정보를 포함하는 동기화 정보를 저장하고, 상기 동기화 정보를 복수의 무선 근거리 센서 모듈로 전송하여 동기화를 수행하도록 하며, 활성화 모드 전환 시각에 따라 활성화 모드로 전환한 복수의 무선 근거리 센서 모듈로부터 전송되는 도로 노면의 상태를 나타내는 도로 노면상태 정보를 수집하고, 이를 기 설정된 주기마다 또는 도로 노면상태정보가 특정 임계치 값 이상인 경우 이동 통신망으로 전송하는 게이트웨이 모듈 이동 통신망을 통해 게이트웨이 모듈로부터 전송되는 도로 노면상태 정보를 수집하여 분석할 수 있다. 이를 통해 도로 노면의 안전관리 절차를 보다 신속하게 처리할 수 있다는 장점을 가진다. In the prior art, a plurality of wireless short-range sensor modules attached to the road surface and provided with identification information for detecting the state of the road surface in real time and synchronization time information, activation mode switching time information, and dormant mode switching time information stores information, transmits the synchronization information to a plurality of wireless short-range sensor modules to perform synchronization, and indicates the state of the road surface transmitted from a plurality of wireless short-distance sensor modules switched to an active mode according to an activation mode switching time Gateway module that collects road surface condition information and transmits it to the mobile communication network at preset intervals or when the road surface condition information is above a specific threshold value It can collect and analyze road surface condition information transmitted from the gateway module through the mobile communication network have. This has the advantage of being able to process the safety management procedure of the road surface more quickly.

그러나 이러한 종래의 기술은, 무선 근거리 센서 모듈을 이루고 있는 2D 스캐너가 고가로서 소량을 고정형으로 비치하여 사용할 수밖에 없어, 일정한 지역의 노면만을 확인할 수 있었다. However, in this conventional technique, the 2D scanner constituting the wireless short-distance sensor module is expensive and has no choice but to use a small amount as a fixed type, so that only the road surface in a certain area can be confirmed.

따라서 광범위한 도로에서의 노면의 상태(균열, 파손, 싱크홀, 찌그러짐, 기울어짐, 요철 등)를 정확하게 확인할 수 없어, 도로의 유지보수, 포장, 제설, 관리 등의 작업이 효율적으로 진행될 수 없으며, 이로 인해 운전자에게 쾌적한 운전을 제공할 수 없을 뿐 아니라 도로의 불량으로 인해 다수의 교통사고 및 재산피해가 발생하게 된다. Therefore, it is impossible to accurately check the condition of the road surface (cracks, damage, sinkholes, dents, inclinations, irregularities, etc.) As a result, it is not possible to provide a comfortable driving experience to the driver, and a number of traffic accidents and property damage occur due to poor road conditions.

한국등록특허 제10-1124888호(2012.02.29.)Korean Patent Registration No. 10-1124888 (2012.02.29.)

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로서, 이미지촬영부와 레이저측정부를 통하여 얻어진 정보를 인공신경망을 이용하여 학습하고, 학습된 정보를 기반으로 노면의 상태(균열, 파손, 싱크홀, 기울어짐, 찌그러짐, 요철 등)를 판단하는 인공신경망을 사용한 노면 확인 시스템에 관한 것이다.The present invention has been devised to solve the above problems, and it learns the information obtained through the image capturing unit and the laser measuring unit using an artificial neural network, and the state of the road surface (cracks, damage, sinkholes) based on the learned information. , inclination, distortion, unevenness, etc.) relates to a road surface confirmation system using an artificial neural network.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일실시예에 따른 인공신경망을 사용한 노면 확인 시스템은, A road surface confirmation system using an artificial neural network according to an embodiment of the present invention for achieving the object as described above,

노면의 이미지를 촬영하는 이미지촬영부(110)와,An image photographing unit 110 for taking an image of the road surface, and

노면에 레이저를 투영하여 노면의 표면을 조사하는 레이저측정부(120)와,A laser measuring unit 120 that projects a laser onto the road surface to irradiate the road surface;

촬영장소의 위치 및 속도 정보를 습득하는 측위센서부(130)와,A positioning sensor unit 130 for acquiring location and speed information of the shooting location;

상기 이미지촬영부(110), 상기 레이저측정부(120) 및 측위센서부(130)에서 습득된 데이터를 처리하는 데이터처리부(140)와,a data processing unit 140 for processing data acquired from the image capturing unit 110, the laser measuring unit 120, and the positioning sensor unit 130;

상기 데이터처리부(140)와 연결되어 처리된 데이터를 수신하여 저장하는 중앙처리부(200)로 이루어지되, It consists of a central processing unit 200 connected to the data processing unit 140 to receive and store processed data,

상기 데이터처리부(140)는 습득된 데이터에 대하여 인공신경망을 통한 학습을 수행하도록 구성될 수 있다.The data processing unit 140 may be configured to perform learning through an artificial neural network on the acquired data.

상기 데이터처리부(140)는 상기 이미지촬영부(110)에서 얻어진 이미지 색상영역을 지정하여 점으로 추출할 수 있다.The data processing unit 140 may designate the image color area obtained by the image photographing unit 110 and extract it as a point.

이때, 상기 데이터처리부(140)는 상기 이미지촬영부(110)에서 얻어진 이미지 색상영역을 지정하여 추출된 점들 중 밝은 색상의 점만을 추출하도록 구성될 수 있다.In this case, the data processing unit 140 may be configured to designate an image color area obtained by the image photographing unit 110 and extract only bright colored points among the extracted points.

또한, 상기 레이저측정부(120)는 선 형태의 레이저를 노면에 투영시키도록 구성될 수 있다.In addition, the laser measuring unit 120 may be configured to project a laser beam in the form of a line onto the road surface.

아울러 상기 중앙처리부(200)는 이미지, 노면의 표면과 카메라의 각도, 카메라와 레이저의 거리 및 노면의 깊이를 저장하도록 구성될 수 있다.In addition, the central processing unit 200 may be configured to store the image, the angle of the camera and the surface of the road surface, the distance between the camera and the laser, and the depth of the road surface.

더불어, 상기 중앙처리부(200)는 처리된 데이터를 기반으로 작업 필요지역을 파악하여 작업자에게 작업요청을 의뢰하는 작업필요확인수단(210)을 더 포함하여 구성될 수 있다.In addition, the central processing unit 200 may be configured to further include a work need confirmation means 210 for requesting a work request to a worker by identifying a work required area based on the processed data.

또한 본 발명은 레이저측정부(120)가 노면에 레이저를 투영하여 노면의 표면을 조사하는 단계;In addition, the present invention includes the steps of the laser measuring unit 120 irradiating the surface of the road surface by projecting a laser on the road surface;

이미지촬영부(110)가 레이저가 투영된 노면의 이미지를 촬영하는 단계;The image photographing unit 110 photographing an image of the road surface on which the laser is projected;

데이터처리부(140)가 상기 이미지촬영부(110)에서 얻어진 이미지로부터 레이저 선 정보를 추출하는 단계;extracting, by the data processing unit 140, laser line information from the image obtained by the image capturing unit 110;

상기 추출한 레이저 선 정보와, 노면의 표면과 카메라의 각도와, 카메라와 레이저의 거리를 활용하여 인공신경망을 이용한 학습을 수행하는 단계;performing learning using an artificial neural network using the extracted laser line information, the angle of the road surface and the camera, and the distance between the camera and the laser;

상기 학습으로부터 생성되는 데이터와 상기 이미지의 y좌표 픽셀을 조합하여 노면의 깊이를 도출하는 단계; 및deriving the depth of the road surface by combining the data generated from the learning and the y-coordinate pixel of the image; and

상기 도출된 노면의 깊이를 상기 측위센서부(130)에서 측정된 위치정보 및 속도정보와 병합하고 시각화하여 노면을 프로파일링 하는 단계를 포함하는 인공신경망을 사용한 노면 확인 방법을 제공한다. It provides a road surface confirmation method using an artificial neural network, including the step of merging the derived depth of the road surface with the location information and speed information measured by the positioning sensor unit 130 and profiling the road surface by visualizing it.

본 발명의 인공신경망을 사용한 노면 확인 시스템은, 저가의 이미지촬영부와 레이저측정부를 사용하여 종래에 사용되던 고가의 2D 스캐너와 동일한 효과를 구현할 수 있어 노면관리를 수행하는 다수의 관리차량에 장착하고 운영하여 보다 효과적인 노면상태 확인 및 보수가 가능하여 도로관리효율을 극대화 시킬 수 있다.The road surface check system using the artificial neural network of the present invention can implement the same effect as the expensive 2D scanner used in the prior art by using a low-cost image capturing unit and a laser measuring unit, so that it is installed in a number of management vehicles that perform road surface management. By operating it, it is possible to check and repair the road surface more effectively, thereby maximizing road management efficiency.

또한 이미지촬영부와 레이저측정부의 데이터를 처리하는 데이터처리부에서 인공신경망을 사용한 데이터 처리를 수행하여 데이터가 누적될수록 노면정보에 대한 데이터 정밀도가 향상될 수 있으며, 이에 따라 측정 정확도가 향상되어 노면 확인 효율을 극대화 할 수 있다.In addition, the data processing unit that processes the data of the image capturing unit and the laser measuring unit performs data processing using an artificial neural network, and as data accumulates, the data precision for road surface information can be improved. can be maximized.

아울러 처리된 데이터를 기반으로 중앙처리부에서 노면의 보수 또는 추가 확인이 필요한 부분에 대한 작업지시를 의뢰할 수 있어 작업의 효율을 극대화 시킬 수 있으며, 신속한 노면보수를 수행할 수 있다.In addition, based on the processed data, the central processing unit can request work instructions for areas requiring repair or additional confirmation of the road surface, thereby maximizing work efficiency and performing prompt road surface repair.

도 1은 본 발명의 인공신경망을 사용한 노면 확인 시스템의 구성예이다.
도 2는 본 발명의 데이터처리부의 데이터처리 실시예이다.
도 3은 본 발명의 데이터처리부의 인공신경망 학습 실시예이다.
도 4는 본 발명의 노면 확인 시스템의 일실시예이다. 1 is a configuration example of a road surface confirmation system using an artificial neural network of the present invention.
2 is a data processing embodiment of the data processing unit of the present invention.
3 is an artificial neural network learning embodiment of the data processing unit of the present invention.
4 is an embodiment of the road surface check system of the present invention.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that it can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. In addition, unless there are other definitions in the technical and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and in the following description and accompanying drawings, the gist of the present invention Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted. The drawings introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those skilled in the art.

도 1은 본 발명의 인공신경망을 사용한 노면 확인 시스템의 구성예이고, 도 2는 본 발명의 데이터처리부의 데이터처리 실시예이며, 도 3은 본 발명의 데이터처리부의 인공신경망 학습 실시예이고, 도 4는 본 발명의 노면 확인 시스템의 일실시예이다. 1 is a configuration example of a road surface confirmation system using an artificial neural network of the present invention, FIG. 2 is a data processing embodiment of the data processing unit of the present invention, FIG. 3 is an artificial neural network learning embodiment of the data processing unit of the present invention, FIG. 4 is an embodiment of the road surface check system of the present invention.

본 발명의 인공신경망을 사용한 노면 확인 시스템은, 도 1에서 도시하고 있는 바와 같이, As shown in FIG. 1, the road surface confirmation system using the artificial neural network of the present invention,

노면의 이미지를 촬영하는 이미지촬영부(110)와,An image photographing unit 110 for taking an image of the road surface, and

노면에 레이저를 투영하여 노면의 표면을 조사하는 레이저측정부(120)와,A laser measuring unit 120 that projects a laser onto the road surface to irradiate the road surface;

촬영장소의 위치 및 속도 정보를 습득하는 측위센서부(130)와,A positioning sensor unit 130 for acquiring location and speed information of the shooting location;

상기 이미지촬영부(110), 상기 레이저측정부(120) 및 측위센서부(130)에서 습득된 데이터를 처리하는 데이터처리부(140)와,a data processing unit 140 for processing data acquired from the image capturing unit 110, the laser measuring unit 120, and the positioning sensor unit 130;

상기 데이터처리부(140)와 연결되어 처리된 데이터를 수신하여 저장하는 중앙처리부(200)로 이루어지되, 상기 데이터처리부(140)는 습득된 데이터에 대하여 인공신경망을 통한 학습을 수행하도록 구성될 수 있다.It is connected to the data processing unit 140 and consists of a central processing unit 200 for receiving and storing processed data, and the data processing unit 140 may be configured to perform learning through an artificial neural network on the acquired data. .

상기 이미지촬영부(110)는 카메라를 사용하여 노면의 이미지를 촬영하여 2D 이미지 형태의 노면 데이터를 얻을 수 있다. 이와 같이 얻어진 2D 이미지 데이터는 허프만 알고리즘(Huffman Algorithm)을 통하여 처리된다.The image capturing unit 110 may obtain road surface data in the form of a 2D image by photographing an image of the road surface using a camera. The 2D image data thus obtained is processed through the Huffman Algorithm.

보다 쉽게 설명하자면, 2D 이미지 데이터의 양을 줄여 효과적으로 저장, 관리하기 위하여, 통계적 중복성(Statistical Redundancy)을 줄이는 방식인 허프만 알고리즘을 통하여 이미지 처리의 효율성을 제고할 수 있다. 이때 허프만 알고리즘의 방식을 보다 쉽게 설명하자면, 자주 사용되는 문자는 적은 비트로 된 코드로 변환해서 표현하고, 별로 사용되지 않는 문자는 많은 비트로 된 코드로 변환하여 표현함으로써 전체 데이터를 표현하는데 필요한 비트의 양을 줄이는 방법이다.To put it more simply, in order to effectively store and manage 2D image data by reducing the amount of 2D image data, the efficiency of image processing can be improved through the Huffman algorithm, which is a method of reducing statistical redundancy. At this time, to explain the method of the Huffman algorithm more easily, the amount of bits required to express the entire data by converting frequently used characters to a code with few bits and expressing them by converting them into codes with many bits for rarely used characters. way to reduce

이때, 본 발명의 인공신경망을 사용한 노면 확인 시스템은 상기 이미지촬영부(110)에서 얻어진 이미지 색상영역을 지정하여 추출된 점들 중 밝은 색상의 점만을 추출하도록 개선하여 구성될 수 있다.In this case, the road surface checking system using the artificial neural network of the present invention may be improved to extract only bright colored points from among the extracted points by designating the image color area obtained by the image capturing unit 110 .

보다 쉽게 설명하자면, 위에서 설명한 호프만 알고리즘을 통한 이미지 처리의 경우 빛의 세기를 2차원 함수로 표현하여 이를 호프만 알고리즘을 통하여 압축을 하게 된다. 기존에는 이미지 색상영역의 모든 점, 즉 모든 픽셀에 대한 압축을 들어가게 되나, 본 발명의 개선된 호프만 알고리즘의 경우 밝은 색상의 점만을 대상으로 압축을 들어가 보다 효율적인 처리가 가능하다.To explain more easily, in the case of image processing through the Hoffman algorithm described above, the intensity of light is expressed as a two-dimensional function and compressed through the Hoffman algorithm. Conventionally, all points of the image color area, that is, all pixels are compressed, but in the case of the improved Hoffman algorithm of the present invention, more efficient processing is possible by compressing only bright colored points.

다시 한번 설명하면, 본 발명의 인공신경망을 사용하는 노면 확인 시스템의 경우 흑백이미지의 이미지 모델로서, 빛의 세기를 2차원 함수로 표현한 모델을 사용한다. 즉, black과 white로 이루어지는 함수로 8bit 데이터일 경우 256 단계로 표현된다. 이때 미리 정해진 일정 값 이상의 white 값들만을 호프만 알고리즘을 통하여 압축하여 저장하여 압축효율을 극대화 할 수 있으며, 노이즈와 같은 불필요한 데이터를 최소화하여 이후 이미지를 사용할 때 빠른 처리가 가능하다.In other words, in the case of the road surface confirmation system using the artificial neural network of the present invention, a model expressing the intensity of light as a two-dimensional function is used as an image model of a black-and-white image. That is, it is a function consisting of black and white, and in the case of 8-bit data, it is expressed in 256 steps. At this time, compression efficiency can be maximized by compressing and storing only white values higher than a predetermined value through the Hoffman algorithm, and by minimizing unnecessary data such as noise, it is possible to quickly process the image after using it.

상기 레이저측정부(120)는 노면의 표면에 레이저를 투영하여 노면의 표면을 조사할 수 있다. The laser measuring unit 120 may irradiate the surface of the road by projecting a laser onto the surface of the road.

이때, 상기 레이저측정부(120)는 선 형태의 레이저를 지표면에 투영시키고, 상기 이미지촬영부(110)에서 이를 촬영하여 투영된 레이저 선이 있는 이미지를 생성하도록 구성될 수 있다. In this case, the laser measuring unit 120 may be configured to project a line-shaped laser to the ground surface, and to photograph it in the image capturing unit 110 to generate an image having a projected laser line.

본 발명의 인공신경망을 사용하는 노면 확인 시스템은 노면에 투영된 레이저 선을 포함하는 이미지를 수득한 후, 이를 데이터처리부(140)에서 처리하여 노면의 깊이를 측정할 수 있다. The road surface checking system using the artificial neural network of the present invention can measure the depth of the road surface by obtaining an image including a laser line projected on the road surface and processing it in the data processing unit 140 .

본 발명은 노면의 표면과 카메라의 각도 및 카메라와 레이저의 거리 정보를 통해 광삼각법으로 노면의 깊이를 확인할 수 있다.According to the present invention, the depth of the road surface can be checked using the optical triangulation method through information on the angle between the surface of the road and the camera and the distance between the camera and the laser.

상기 측위센서부(130)는 촬영장소의 위치정보 및 속도정보를 측정할 수 있다. 이를 위해 상기 측위센서부(130)는 RTK GPS, 속도센서, 위치센서 등을 사용할 수 있다.The positioning sensor unit 130 may measure location information and speed information of a photographing location. For this, the positioning sensor unit 130 may use an RTK GPS, a speed sensor, a position sensor, and the like.

상기 데이터처리부(140)에서 측정된 노면의 깊이는 상기 측위센서부(130)에서 측정된 위치정보 및 속도정보와 병합하여 시각화될 수 있고, 이를 통해 노면을 프로파일링 할 수 있다. The depth of the road surface measured by the data processing unit 140 may be visualized by merging with the location information and speed information measured by the positioning sensor unit 130 , and through this, the road surface may be profiled.

상기 중앙처리부(200)는 이미지, 노면의 표면과 카메라의 각도, 카메라와 레이저의 거리 및 노면의 깊이를 저장할 수 있다.The central processing unit 200 may store an image, an angle between a surface of a road surface and a camera, a distance between a camera and a laser, and a depth of the road surface.

이때, 상기 데이터처리부(140)는 상기 중앙처리부(200)에 저장된 이미지, 노면의 표면과 카메라의 각도, 카메라와 레이저의 거리 및 노면의 깊이를 활용하여 인공신경망을 이용한 기계학습을 수행할 수 있다. In this case, the data processing unit 140 may perform machine learning using an artificial neural network by using the image stored in the central processing unit 200, the angle of the road surface and the camera, the distance between the camera and the laser, and the depth of the road surface. .

상기 기계학습을 통해, 측정된 이미지, 노면의 표면과 카메라의 각도 및 카메라와 레이저의 거리로부터 노면의 깊이를 정확하게 확인할 수 있다. Through the machine learning, it is possible to accurately determine the depth of the road surface from the measured image, the angle between the surface of the road and the camera, and the distance between the camera and the laser.

상기 데이터처리부(140)에서 수행하는 기계학습의 일실시예는 도 2 및 도 3에서 도시하고 있는 바와 같이, 먼저 상기 이미지촬영부(110)를 통하여 습득된 선 레이저가 투영된 이미지를 마스킹 한다. In an embodiment of the machine learning performed by the data processing unit 140 , as shown in FIGS. 2 and 3 , first, the image on which the line laser acquired through the image capturing unit 110 is projected is masked.

상기 마스킹을 통해 선 레이저가 투영된 이미지로부터 배경이미지를 제거하고, 밝은 색상의 점만을 추출하는 점 추출 알고리즘을 사용하여 선 정보를 추출한다. Through the masking, the background image is removed from the image projected by the line laser, and line information is extracted using a point extraction algorithm that extracts only bright colored points.

또한 노면의 표면과 카메라의 각도, 카메라와 레이저의 거리를 부가적으로 입력한다. In addition, the angle of the camera and the surface of the road surface and the distance between the camera and the laser are additionally input.

상기 추출한 선 정보와, 노면의 표면과 카메라의 각도와, 카메라와 레이저의 거리를 활용하여 인공신경망을 이용한 기계학습을 수행한다. Machine learning using an artificial neural network is performed by using the extracted line information, the angle of the road surface and the camera, and the distance between the camera and the laser.

상기 기계학습으로부터 생성되는 데이터의 가중치는 상기 이미지의 y좌표 픽셀과 계산되어 최종적으로 노면의 깊이를 도출한다. The weight of the data generated from the machine learning is calculated with the y-coordinate pixel of the image to finally derive the depth of the road surface.

이때 선 레이저가 투영된 이미지의 y좌표에서 픽셀을 추출하는데, 해당 픽셀은 호프만 알고리즘이 적용된 것을 특징으로 한다. 이와 같이 습득된 픽셀의 데이터와 상기 기계학습으로부터 생성되는 데이터를 조합하여 최종적인 노면의 깊이를 도출하게 된다.At this time, the line laser extracts a pixel from the y-coordinate of the projected image, and the pixel is characterized by applying the Hoffman algorithm. The final depth of the road surface is derived by combining the acquired pixel data and the data generated from the machine learning.

상기 데이터처리부(140)에서 도출된 노면의 깊이는 상기 측위센서부(130)에서 측정된 위치정보 및 속도정보와 병합하여 시각화될 수 있고, 이를 통해 노면을 프로파일링 할 수 있다. The depth of the road surface derived from the data processing unit 140 may be visualized by merging with the position information and speed information measured by the positioning sensor unit 130 , and through this, the road surface may be profiled.

도 4에서 도시하고 있는 바와 같이, 본 발명의 인공신경망을 사용하는 노면 확인 시스템은, 리눅스 운영체제를 사용하고, OpenCV 라이브러리를 사용하여 실시간으로 노면의 정보를 저장할 수 있다. 상기 저장된 정보는 노면의 상태를 표기하기 위한 선 레이저의 정보이다. As shown in FIG. 4 , the road surface checking system using the artificial neural network of the present invention uses a Linux operating system and can store road surface information in real time by using the OpenCV library. The stored information is information of the line laser for indicating the state of the road surface.

상기 프로파일링은 노면의 구간별로 확인된 크랙의 깊이에 따라 안전, 경고, 위험 등으로 표시될 수 있다. The profiling may be displayed as safety, warning, danger, etc. according to the depth of the crack identified for each section of the road surface.

본 발명은 상기 이미지촬영부(110), 레이저측정부(120), 범용 하드웨어 등을 사용함으로써 보다 저렴한 기기 구성이 가능하고, 비용을 최소화 할 수 있다.In the present invention, by using the image capturing unit 110, the laser measuring unit 120, general-purpose hardware, and the like, it is possible to configure a cheaper device and minimize the cost.

본 발명의 인공신경망을 사용하는 노면 확인 시스템은 차량에 탑재되어 운용되는 것을 기본 전제로 한다. The road surface check system using the artificial neural network of the present invention is based on the basic premise that it is mounted on a vehicle and operated.

따라서 상기 데이터처리부(140)는 처리된 데이터를 저장하는 내부저장소를 포함하여 구성될 수 있으며, 내부저장소의 데이터를 상기 중앙처리부(200)로 전송할 수 있도록 구성될 수 있다.Accordingly, the data processing unit 140 may include an internal storage for storing processed data, and may be configured to transmit data in the internal storage to the central processing unit 200 .

이때, 상기 중앙처리부(200)는 상기 데이터처리부(140)에서 전송된 데이터를 기반으로 미리 지정된 기준을 통하여 보수 또는 상태확인이 필요한 노면을 특정하고, 상기 측위센서부(130)에서 수집된 위치정보 및 환경정보를 기반으로 작업필요지역을 파악하여 작업자에게 작업요청을 의뢰하는 작업필요확인수단(210)을 더 포함하여 구성될 수 있다. At this time, the central processing unit 200 specifies a road surface that needs maintenance or condition check through a predetermined criterion based on the data transmitted from the data processing unit 140 , and the location information collected by the positioning sensor unit 130 . And it may be configured to further include a work need confirmation means 210 for requesting a work request to the worker by identifying the work required area based on the environmental information.

이를 통하여, 관리자의 별도 작업이 없이도, 노면 보수공사 또는 노면 상태 확인에 대한 작업을 진행시킬 수 있어 노면보수 효율을 극대화시킬 수 있다.Through this, it is possible to proceed with the work on the road surface repair work or the road surface condition check without the manager's separate work, thereby maximizing the road surface repair efficiency.

110: 이미지촬영부
120: 레이저측정부
130: 측위센서부
140: 데이터처리부
200: 중앙처리부
210: 작업필요확인수단 110: image recording unit
120: laser measurement unit
130: positioning sensor unit
140: data processing unit
200: central processing unit
210: work necessary confirmation means

Claims (7)

노면의 이미지를 촬영하는 이미지촬영부(110);
노면에 레이저를 투영하여 노면의 표면을 조사하는 레이저측정부(120);
촬영장소의 위치 및 속도정보를 습득하는 측위센서부(130);
상기 이미지촬영부(110), 상기 레이저측정부(120) 및 측위센서부(130)에서 습득된 데이터를 처리하는 데이터처리부(140); 및
상기 데이터처리부(140)와 연결되어 처리된 데이터를 수신하여 저장하는 중앙처리부(200);로 이루어지되,
상기 데이터처리부(140)는 습득된 데이터에 대하여 인공신경망을 통한 학습을 수행하는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
an image photographing unit 110 for photographing an image of a road surface;
a laser measuring unit 120 that projects a laser onto the road surface to irradiate the road surface;
Positioning sensor unit 130 for acquiring location and speed information of the shooting location;
a data processing unit 140 for processing data acquired from the image capturing unit 110 , the laser measuring unit 120 and the positioning sensor unit 130 ; and
A central processing unit 200 connected to the data processing unit 140 to receive and store processed data;
The data processing unit 140 is a road surface confirmation system using an artificial neural network, characterized in that it performs learning through the artificial neural network with respect to the acquired data.
 제1항에 있어서,
상기 데이터처리부(140)는
상기 이미지촬영부(110)에서 얻어진 이미지 색상영역을 지정하여 점으로 추출하는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
According to claim 1,
The data processing unit 140
A road surface confirmation system using an artificial neural network, characterized in that the image color area obtained by the image capturing unit 110 is designated and extracted as a point.
 제2항에 있어서,
상기 데이터처리부(140)는
상기 이미지촬영부(110)에서 얻어진 이미지 색상영역을 지정하여 추출된 점들 중 밝은 색상의 점만을 추출하는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
3. The method of claim 2,
The data processing unit 140
A road surface checking system using an artificial neural network, characterized in that only bright colored points are extracted among the extracted points by designating the image color area obtained by the image capturing unit 110 .
 제3항에 있어서,
상기 레이저측정부(120)는
선 형태의 레이저를 지표면에 투영시키는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
4. The method of claim 3,
The laser measuring unit 120 is
A road surface confirmation system using an artificial neural network, characterized in that a linear laser is projected onto the ground surface.
 제4항에 있어서,
상기 중앙처리부(200)는 이미지, 노면의 표면과 카메라의 각도, 카메라와 레이저의 거리 및 노면의 깊이를 저장하는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
5. The method of claim 4,
The central processing unit 200 is a road surface confirmation system using an artificial neural network, characterized in that it stores the image, the angle of the surface of the road surface and the camera, the distance between the camera and the laser and the depth of the road surface.
 제5항에 있어서,
상기 중앙처리부(200)는
처리된 데이터를 기반으로 작업필요지역을 파악하여 작업자에게 작업요청을 의뢰하는 작업필요확인수단(210)을 더 포함하는 것을 특징으로 하는 인공신경망을 사용한 노면 확인 시스템.
6. The method of claim 5,
The central processing unit 200
A road surface confirmation system using an artificial neural network, characterized in that it further comprises a work necessity confirmation means 210 for requesting a work request to a worker by identifying a work required area based on the processed data.
 레이저측정부(120)가 노면에 레이저를 투영하여 노면의 표면을 조사하는 단계;
이미지촬영부(110)가 레이저가 투영된 노면의 이미지를 촬영하는 단계;
데이터처리부(140)가 상기 이미지촬영부(110)에서 얻어진 이미지로부터 레이저 선 정보를 추출하는 단계;
상기 추출한 레이저 선 정보와, 노면의 표면과 카메라의 각도와, 카메라와 레이저의 거리를 활용하여 인공신경망을 이용한 학습을 수행하는 단계;
상기 학습으로부터 생성되는 데이터와 상기 이미지의 y좌표 픽셀을 조합하여 노면의 깊이를 도출하는 단계; 및
상기 도출된 노면의 깊이를 상기 측위센서부(130)에서 측정된 위치정보 및 속도정보와 병합하고 시각화하여 노면을 프로파일링 하는 단계를 포함하는 인공신경망을 사용한 노면 확인 방법.
irradiating the surface of the road surface by projecting the laser on the road surface by the laser measuring unit 120;
The image photographing unit 110 photographing an image of the road surface on which the laser is projected;
extracting, by the data processing unit 140, laser line information from the image obtained by the image capturing unit 110;
performing learning using an artificial neural network using the extracted laser line information, the angle of the road surface and the camera, and the distance between the camera and the laser;
deriving the depth of the road surface by combining the data generated from the learning and the y-coordinate pixel of the image; and
and profiling the road surface by merging the derived depth of the road surface with the location information and speed information measured by the positioning sensor unit 130 and visualizing it.
KR1020210010515A 2021-01-25 2021-01-25 Road surface identification system using artificial neural networks KR102593030B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210010515A KR102593030B1 (en) 2021-01-25 2021-01-25 Road surface identification system using artificial neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010515A KR102593030B1 (en) 2021-01-25 2021-01-25 Road surface identification system using artificial neural networks

Publications (2)

Publication Number Publication Date
KR20220107645A true KR20220107645A (en) 2022-08-02
KR102593030B1 KR102593030B1 (en) 2023-10-23

Family

ID=82845582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210010515A KR102593030B1 (en) 2021-01-25 2021-01-25 Road surface identification system using artificial neural networks

Country Status (1)

Country Link
KR (1) KR102593030B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101124888B1 (en) 2005-10-25 2012-03-27 에스케이 텔레콤주식회사 System and Method for Managing Condition of Road Surface Using Wireless Short-Distance Communication
JP2014228300A (en) * 2013-05-20 2014-12-08 国立大学法人 東京大学 Road surface state estimation device
WO2018025341A1 (en) * 2016-08-03 2018-02-08 三菱電機株式会社 Road state diagnosis system, diagnosis information generation device, and diagnosis information generation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101124888B1 (en) 2005-10-25 2012-03-27 에스케이 텔레콤주식회사 System and Method for Managing Condition of Road Surface Using Wireless Short-Distance Communication
JP2014228300A (en) * 2013-05-20 2014-12-08 国立大学法人 東京大学 Road surface state estimation device
WO2018025341A1 (en) * 2016-08-03 2018-02-08 三菱電機株式会社 Road state diagnosis system, diagnosis information generation device, and diagnosis information generation method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Squeezenet 기반 포트홀 탐지에서 데이터셋 구성 기법, 한국소프트웨어종합학술대회, 2018. *
힘제어 기반의 틈새 추종 로봇의 제작 및 제어에 관한 연구, 제어자동화시스템공학 논문지, 2005.04.* *

Also Published As

Publication number Publication date
KR102593030B1 (en) 2023-10-23

Similar Documents

Publication Publication Date Title
CN106192634B (en) A kind of railroad track elastic bar fastener condition automatic detection device and method
KR100578041B1 (en) Network camera apparatus having a traffic information collection and addition function and the traffic information process method
US20150371094A1 (en) A road marking analyser and a method of analysis of road markings and an apparatus and method for detecting vehicle weave
US7697727B2 (en) Automated surface distress measurement system
JP4230395B2 (en) Surveillance mobile
US20060078197A1 (en) Image processing apparatus
US10313574B2 (en) Device and method for recognizing inscriptions on vehicle tires
CN109856643B (en) Movable type non-inductive panoramic sensing method based on 3D laser
CN103640595B (en) A kind of railway protective hurdle net automatic detection system and failure evaluation method
KR20150137666A (en) Security optical turnstile system
CN102141372A (en) Measuring grating-based device and method for detecting illegal loading of transport vehicles
KR101648701B1 (en) Apparatus for recognizing vehicle number and method thereof
Mahmoudzadeh et al. Kinect, a novel cutting edge tool in pavement data collection
CN110509272B (en) Vehicle inspection method and system and composite inspection robot
CN112179283A (en) Two-dimensional code-based real-time measurement method and system for spatial displacement of structural deformation
CA3066752A1 (en) High speed stereoscopic pavement surface scanning system and method
Kaushik et al. Pothole Detection System: A Review of Different Methods Used for Detection
KR20220107645A (en) Road surface identification system using artificial neural networks
KR101339456B1 (en) In tunnel that use scanner accident is observation system
CN217932084U (en) Comprehensive train detection system
WO2019044345A1 (en) Railway equipment monitoring device and railway equipment monitoring system
KR101654267B1 (en) CCTV for recognizing number of vehicles and road security cloud system
KR101547954B1 (en) System for detecting reflector and method thereof
CN210487623U (en) Three-dimensional image pavement detection system
KR101654264B1 (en) CCTV for recognizing number of vehicles and road security cloud system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant