KR102349818B1 - Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes - Google Patents
Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes Download PDFInfo
- Publication number
- KR102349818B1 KR102349818B1 KR1020200105171A KR20200105171A KR102349818B1 KR 102349818 B1 KR102349818 B1 KR 102349818B1 KR 1020200105171 A KR1020200105171 A KR 1020200105171A KR 20200105171 A KR20200105171 A KR 20200105171A KR 102349818 B1 KR102349818 B1 KR 102349818B1
- Authority
- KR
- South Korea
- Prior art keywords
- road
- center line
- image information
- drone
- crack
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B64C2201/127—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 무인 항공기 항법 관련 기술에 관한 것으로서, 더 상세하게는 도로 균열 감지 자율 비행 드론에 관한 것이다.The present invention relates to unmanned aerial vehicle navigation-related technology, and more particularly, to a road crack detection autonomous flying drone.
드론(Drone)이라고도 불리는 무인항공기(Unmanned Aerial Vehicle, UVA)는 높은 고도에서 지상, 공중의 정보를 사용자의 위험 부담이 없이 타인에게 노출될 위험 없이 용이하게 수집할 수 있다는 점에서 군사, 산업 등 다양한 면에서 각광받고 있다.An unmanned aerial vehicle (UVA), also called a drone, is capable of collecting ground and air information at high altitudes without risk to users and without risk of exposure to others. It is popular in this respect.
최근에는 플랫폼 위주의 의미를 갖는 무인항공기 대신 통합된 체계임을 강조하기 위해 무인항공기체계(Unmanned Aircraft System: 이하, UAS)로도 표현되는데, 이는 목적과 용도에 따라 상이할 수 있으나, 일반적으로 항공기의 기체에 통신장비와 감지기 등의 임무장비를 탑재시킬 수 있는 비행체와, 통신에 의하여 비행체를 조종 통제 할 수 있도록 설계된 통제장비, 감지기와 같이 임무를 위해 무인항공기에 탑재되는 임무장비, 무인항공기의 운용에 필요한 분석, 정비 등에 활용되는 지원 장비로 구성되어 하나의 시스템에 운용되는 장비이다.Recently, it is also expressed as an Unmanned Aircraft System (UAS) to emphasize that it is an integrated system instead of an unmanned aerial vehicle, which has a platform-oriented meaning. Aircraft capable of loading mission equipment such as communication equipment and detectors on the aircraft, control equipment designed to control and maneuver the aircraft by communication, mission equipment mounted on unmanned aerial vehicles for missions such as sensors, and operation of unmanned aerial vehicles It consists of supporting equipment used for necessary analysis and maintenance, and is operated in one system.
무인항공기는 자율비행이 가능하다는 점에서 외부조종사가 직접 조종하는 무선조종비행기와는 차이가 있으며, 일단 비행을 개시한 후에는 목표물과 같이 파괴되는 미사일과 달리 기본적으로 회수가 가능하여 반복적으로 임무에 투입될 수 있다는 차이가 있다.An unmanned aerial vehicle is different from a radio-controlled airplane directly controlled by an external pilot in that it can fly autonomously. There is a difference that can be put in.
오늘날의 무인항공기는 자신의 위치, 속도, 자세를 측정하고 주어진 임무에 맞는 최적의 경로를 스스로 생성하고, 이를 따라서 비행하며 자체적으로 고장을 진단하고 대응하는 매우 높은 수준의 자유성을 가지고 있다. 최근에는 위성항법장치와 센서. 카메라 등을 장착한 민간용 드론이 개발돼 물자수송, 교통관제, 보안 등의 분야로 이용 범위가 확대되고 있다.Today's unmanned aerial vehicles measure their own position, speed, and attitude, create an optimal route for a given mission, and fly along it, and have a very high degree of freedom in diagnosing and responding to failures on their own. More recently, satellite navigation systems and sensors. Commercial drones equipped with cameras have been developed and their use is expanding to areas such as material transportation, traffic control, and security.
한편, 고속도로, 일반도로 등과 같이 광범위한 지역에 분포된 도로망의 경우, 도로가 파손된 상황을 관리주체가 실시간으로 파악하기 힘들어 사고가 발생하거나 이용자의 신고에 의해서 도로의 파손을 파악하는 경우가 대부분이다. 또한, 자동차를 이용하여 노면을 진단하는 방법이 사용되고 있으나 광범위한 지역에 분포된 도로망을 진단하기에는 역부족이다.On the other hand, in the case of road networks distributed over a wide area, such as highways and general roads, it is difficult for the management to understand the road damage in real time, so accidents occur or damage to the road is identified by the user's report. . In addition, although a method of diagnosing a road surface using a vehicle is used, it is insufficient to diagnose a road network distributed over a wide area.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 개선된 CNN 기반으로 한 도로 균열 감지 자율 비행 드론을 제공한다.The present invention has been proposed to solve the above technical problems, and provides an improved CNN-based autonomous flying drone for detecting road cracks.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 영상정보를 촬영하는 영상정보 수집부와, 영상정보 수집부에서 촬영된 영상정보에서 도로의 중앙선을 감지하고 중앙선의 중앙값을 계산하면서 중앙값을 따라 이동하되, 미리 수집된 도로균열의 데이터 세트를 기준으로 도로의 상태를 검출하고 도로균열이 검출되면 도로균열 이미지를 서버로 전송하는 제어부를 포함하는 도로 균열 감지 자율 비행 드론이 제공된다.According to an embodiment of the present invention to solve the above problem, an image information collecting unit for capturing image information, and the image information captured by the image information collecting unit detect the center line of the road from the image information and calculate the median value of the center line while calculating the median value. A road crack detection autonomous flying drone is provided that moves along, but includes a control unit that detects the condition of the road based on the data set of road cracks collected in advance and transmits the road crack image to the server when the road crack is detected.
또한, 본 발명에 포함되는 제어부는, 영상정보에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용하여 도로의 중앙선을 감지하는 것을 특징으로 한다.In addition, the control unit included in the present invention is characterized in that it detects the center line of the road by applying a convolutional neural network (CNN) to the image information.
또한, 본 발명에 포함되는 제어부는, 영상정보에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용하여 도로균열을 감지하는 것을 특징으로 한다.In addition, the control unit included in the present invention is characterized in that it detects road cracks by applying a convolutional neural network (CNN) to the image information.
본 발명의 실시예에 따른 도로 균열 감지 자율 비행 드론은 영상정보에서 도로의 중앙선을 감지하고 중앙선의 중앙값을 계산하면서 중앙값을 따라 이동한다. 이때, 도로 균열 감지 자율 비행 드론은 미리 수집된 도로균열의 데이터 세트를 기준으로 도로의 상태를 검출한 후, 도로균열이 검출되면 도로균열 이미지를 서버로 전송한다. 따라서 광범위한 지역에 분포된 도로망의 파손상태를 보다 빠르고 정확하게 파악할 수 있다.A road crack detection autonomous flying drone according to an embodiment of the present invention detects the center line of a road from image information and moves along the median while calculating the median of the center line. At this time, the autonomous flying drone that detects road cracks detects the condition of the road based on the data set of road cracks collected in advance, and then transmits the road crack image to the server when a road crack is detected. Therefore, it is possible to quickly and accurately grasp the state of damage of the road network distributed over a wide area.
도 1은 본 발명의 실시예에 따른 도로 균열 감지 자율 비행 드론 시스템의 구성도
도 2는 도 1의 도로 균열 감지 자율 비행 드론의 동작 흐름도
도 3은 중앙선 및 도로균열을 파악하기 위해 사용된 개선된 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델의 예시도이고,
도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면1 is a block diagram of a road crack detection autonomous flying drone system according to an embodiment of the present invention;
2 is an operation flowchart of the road crack detection autonomous flying drone of FIG. 1
3 is an exemplary diagram of an improved convolutional neural network (CNN) model used to identify the centerline and road cracks,
4 is a diagram illustrating a process of detecting an object in an image;
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings in order to describe in detail enough that a person of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention.
도 1은 본 발명의 실시예에 따른 도로 균열 감지 자율 비행 드론 시스템의 구성도이고, 도 2는 도 1의 도로 균열 감지 자율 비행 드론의 동작 흐름도이고, 도 3은 중앙선 및 도로균열을 파악하기 위해 사용된 개선된 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델의 예시도이고, 도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면이다.1 is a block diagram of a road crack detection autonomous flying drone system according to an embodiment of the present invention, FIG. 2 is an operation flowchart of the road crack detection autonomous flying drone of FIG. 1 , and FIG. It is an exemplary diagram of an improved convolutional neural network (CNN) model used, and FIG. 4 is a diagram illustrating a process of detecting an object in an image.
도 1 및 도 2를 참조하면, 드론은 영상기반의 딥 러닝 기반의 내비게이션으로 도로를 탐색한다. 즉, 딥러닝 기반의 내비게이션이 적용된 드론은 영상정보를 수집하여 주변 환경에 대한 데이터 셋(dataset)을 생성하고 생성된 데이터 셋(dataset)을 딥러닝을 통하여 훈련시킨다.1 and 2 , the drone searches for a road through image-based deep learning-based navigation. That is, a drone to which deep learning-based navigation is applied collects image information to generate a data set for the surrounding environment, and trains the generated data set through deep learning.
도 1은 본 발명의 실시예에 따른 도로 균열 감지 자율 비행 드론 시스템의 구성도이다.1 is a block diagram of a road crack detection autonomous flying drone system according to an embodiment of the present invention.
도 1을 참조하면, 드론(100)은 중앙선(노란색 차선)을 감지하여 자율 비행을 실행한다. 개선된 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 기술을 이용하여 중앙선 및 도로균열을 감지하며, 도로정보를 서버(200)로 전송한다. 이렇게 드론(100)은 이륙한 후 중앙선을 따라 도로를 점검한 후 초기 위치 또는 최종 목적지로 이동한다.Referring to FIG. 1 , the
드론(100)은 영상정보 수집부와, 제어부를 포함하여 구성된다.The
영상정보 수집부는 영상정보를 촬영하는 카메라로 정의될 수 있다. 이때, 영상정보 수집부는 적어도 하나 이상의 카메라로 구성될 수 있는데, 가시광선 영상정보 뿐만 아니라 적외선 영상정보를 획득하는 카메라가 구비될 수 있다.The image information collecting unit may be defined as a camera that captures image information. In this case, the image information collecting unit may be composed of at least one or more cameras, and a camera that acquires not only visible light image information but also infrared image information may be provided.
또한, 제어부는 영상정보 수집부에서 촬영된 영상정보에서 도로의 중앙선을 감지하고 중앙선의 중앙값을 계산하면서 중앙값을 따라 이동하되, 미리 수집된 도로균열의 데이터 세트를 기준으로 도로의 상태를 검출하고 도로균열이 검출되면 도로균열 이미지를 서버로 전송한다.In addition, the control unit detects the center line of the road from the image information captured by the image information collecting unit and moves along the median while calculating the median value of the center line, but detects the condition of the road based on the data set of road cracks collected in advance and detects the road condition. When a crack is detected, the road crack image is transmitted to the server.
도 2는 도 1의 도로 균열 감지 자율 비행 드론의 동작 흐름도이다.FIG. 2 is an operation flowchart of the road crack detection autonomous flying drone of FIG. 1 .
도 2를 참조하면, 드론(100)은 중앙선을 감지하여 바운딩 박스를 만든다. 다음으로 중앙값을 계산하여 오차만큼 드론의 위치를 조절(Roll, Pitch, Yaw)하면서 중앙선을 따라 자율 비행을 한다. 드론(100)은 이렇게 자율 비행을 하며 미리 수집한 균열의 데이터 세트를 사용하여 도로를 점검한다. 균열이 검출되면 이미지를 캡쳐한 후 무선통신을 이용하여 서버(200)에 전송한다. Referring to FIG. 2 , the
참고적으로 도로의 중앙선 검출뿐만 아니라 도로균열을 검출할 때도 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용할 수 있다.For reference, a convolutional neural network (CNN) can be applied not only to detect the center line of a road but also to detect road cracks.
즉, 제어부는 영상정보에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용하여 도로의 중앙선을 감지하거나, 영상정보에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용하여 도로균열을 감지할 수 있다.That is, the control unit detects the center line of the road by applying a convolutional neural network (CNN) from image information, or by applying a convolutional neural network (CNN) from image information to detect road cracks. .
도 3은 중앙선 및 도로균열을 파악하기 위해 사용된 개선된 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델의 예시도이다. 개선된 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델은 기존의 모델보다 더욱 깊어 이미지로부터 유용한 특징을 추출하는 성능이 더 우수하다.3 is an exemplary diagram of an improved convolutional neural network (CNN) model used to identify centerlines and road cracks. The improved Convolutional Neural Network (CNN) model is deeper than the existing model and has better performance in extracting useful features from images.
도 3을 참조하면, 기존에 비해 개선된 방법으로 데이터 셋(dataset)을 훈련하는 과정이 도시되어 있다.Referring to FIG. 3 , a process of training a data set in an improved method compared to the existing one is illustrated.
딥러닝 기반 시스템은 초기 지점에서 주변 이미지(왼쪽, 오른쪽 및 중앙)를 기준으로 주변환경 데이터 셋(dataset)을 이용한다. 데이터 셋(dataset)은 실시간 물체 감지(중앙선/도로균열)를 위해 딥러닝으로 각각 다른 클래스(좌측, 우측, 중앙)로 훈련된다. 이 세 클래스는 초기지점부터 최종 목적지까지 전 지역을 커버하는 훈련을 받게 된다.The deep learning-based system uses the surrounding environment dataset based on the surrounding images (left, right, and center) at the initial point. The dataset is trained with different classes (left, right, center) by deep learning for real-time object detection (center line/road crack). These three classes will receive training covering the entire area from the initial point to the final destination.
도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면이다.4 is a diagram illustrating a process of detecting an object in an image.
도 4를 참조하면, 카메라 등과 같은 영상정보 수집부에서 영상정보를 획득하는 과정이 진행된다.Referring to FIG. 4 , a process of acquiring image information from an image information collecting unit such as a camera is performed.
즉, 영상의 크기를 조절하고 5x5 grid로 나눈다. 각각의 grid cell은 B개의 bounding box와 각 bounding box에 대한 confidence score를 갖는다. (만약 cell에 object가 존재하지 않는다면 confidence score는 0이 된다. - 종료 - )That is, adjust the size of the image and divide it into a 5x5 grid. Each grid cell has B bounding boxes and a confidence score for each bounding box. (If there is no object in the cell, the confidence score is 0 - end - )
각각의 grid cell은 C개의 conditional class probability를 갖는다. 이미지 내의 bounding box와 class probability를 single regression problem으로 간주하여, 이미지를 한 번 보는 것으로 object의 종류와 위치를 추측한다. Each grid cell has C conditional class probabilities. Considering the bounding box and class probability in the image as a single regression problem, the type and location of the object are guessed by looking at the image once.
single convolutional network를 통해 multiple bounding box에 대한 class probability를 계산한다.Calculate the class probability for multiple bounding boxes through a single convolutional network.
각각의 bounding box는 x, y, w, h, confidence로 구성된다.Each bounding box consists of x, y, w, h, and confidence.
(x,y): Bounding box의 중심점을 의미하며, grid cell의 범위에 대한 상대값이 입력된다.(x,y): It means the center point of the bounding box, and the relative value of the grid cell range is input.
(w,h): 전체 이미지의 width, height에 대한 상대값이 입력된다.(w,h): Relative values to the width and height of the entire image are input.
예): 만약 x가 grid cell의 가장 왼쪽에 있다면 x=0, y가 grid cell의 중간에 있다면 y=0.5Ex): If x is the leftmost of the grid cell, x=0, if y is in the middle of the grid cell, then y=0.5
예): bbox의 width가 이미지 width의 절반이라면 w=0.5Example): If the width of the bbox is half the width of the image, w=0.5
Test time에는 conditional class probability와 bounding box의 confidence score를 곱하여 class-specific confidence score를 얻는다.At test time, a class-specific confidence score is obtained by multiplying the conditional class probability by the confidence score of the bounding box.
한편, 드론의 제어부는 도로의 중앙선을 감지할 때 점선형태의 중앙선이 존재하는 경우, 복수의 중앙선 점선 그룹의 조합을 통해 절대위치를 식별하도록 동작할 수 있다.On the other hand, the control unit of the drone may operate to identify the absolute position through a combination of a plurality of center line dotted line groups when there is a dotted center line when detecting the center line of the road.
예를 들면, 점선 형태의 중앙선이 제1 중앙선 점선, 제2 중앙선 점선, 제3 중앙선 점선, 제4 중앙선 점선 및 제5 중앙선 점선 순서대로 구성되어 있고, 각각의 중앙선 점선의 길이는 미리 설정된 바와 같이 각각 서로 다른 길이를 갖는다고 가정한다.For example, the dotted center line is configured in the order of the first center line dotted line, the second center line dotted line, the third center line dotted line, the fourth center line dotted line, and the fifth center line dotted line, and the length of each center line dotted line is set in advance. Assume that each has a different length.
중앙선 점선의 길이가 짧은 순서대로 나열할 경우, 제1 중앙선 점선(가장 짧음), 제3 중앙선 점선, 제5 중앙선 점선, 제2 중앙선 점선 및 제4 중앙선 점선 순서이다.If the lengths of the dotted center line are arranged in the order of shortest length, the first dotted center line (shortest), the third dotted center line, the fifth dotted center line, the second dotted center line, and the fourth dotted center line are in this order.
따라서 제1 중앙선 점선에 “1”, 제2 중앙선 점선에 “4”, 제3 중앙선 점선에 “2”, 제4 중앙선 점선“5” 및 제5 중앙선 점선에 “3”을 각각 할당할 경우, 제어부는 “14253“ 이라는 좌표값을 획득할 수 있다. 이와 같은 방식으로 주기적인 거리마다 복수의 중앙선 점선 그룹을 통해 현재의 절대좌표를 드론(100)이 식별하도록 구성될 수도 있을 것이다.Therefore, if “1” is assigned to the first dotted line, “4” to the second dotted center line, “2” to the third dotted center line, “5” to the fourth dotted center line, and “3” to the fifth dotted line, respectively, The controller may acquire a coordinate value of “14253”. In this way, the
또한, 도로의 면적이 넓을 경우, 복수의 드론(100)은 중앙선을 기준으로 좌측 차선 및 우측 차선을 분할하여 도로 균열을 감지할 수 있다.In addition, when the area of the road is wide, the plurality of
이때, 복수의 드론은 소정의 간격을 두고 중앙선을 따라 줄지어 이동하는데, 제1 드론은 중앙선을 중심으로 좌측으로 왕복 이동하면서 영상정보를 수집하고, 제2 드론은 중앙선을 중심으로 우측으로 왕복 이동하면서 영상정보를 수집한다.At this time, the plurality of drones move in a row along the center line at a predetermined interval. The first drone collects image information while reciprocating to the left around the center line, and the second drone reciprocates to the right around the center line. while collecting video information.
이와 같이 복수의 드론(100)으로 구성되는 시스템에서, 제1 드론 및 제2 드론은 각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득한다.In the system including the plurality of
이때, 제2 드론은 자신의 현재위치와 제1 드론이 포함된 영상정보를 토대로 제1 드론의 현재위치를 산출한 후 위치정보를 제1 드론으로 송신한다.In this case, the second drone calculates the current location of the first drone based on its current location and image information including the first drone, and then transmits the location information to the first drone.
즉, 제2 드론은 영상 속의 제1 드론의 상대적 위치를 파악한 후, 자신의 현재위치를 반영하여 제1 드론의 현재위치를 추정한다.That is, the second drone determines the relative position of the first drone in the image and estimates the current position of the first drone by reflecting its current position.
또한, 복수의 드론 중 어느 하나가 이동경로를 잃어버렸을 경우, 각 드론은 위치를 식별하기 위한 식별탄을 공중으로 발사하도록 동작할 수 있다. 여기에서 식별탄은 섬광 또는 유색의 연기를 방출하는 것으로서, 식별탄이 발사되기 전 이웃하는 드론으로 식별탄 발사준비여부를 사전에 전송하여, 이웃하는 드론아 식별탄을 발사하는 드론을 영상 촬영할 수 있도록 사전에 준비시킬 수 있다. 이웃하는 드론은 식별탄을 발사한 드론과, 식별탄의 이동경로를 토대로 영상 속에서 식별탄을 발사한 드론의 현재위치 및 이동속도를 연산할 수 있다.In addition, when any one of the plurality of drones loses their movement route, each drone may operate to launch an identification bullet for identifying a location into the air. Here, the identification bomb emits a flash of light or colored smoke. Before the identification bomb is fired, it is transmitted to the neighboring drone whether the identification bullet is ready or not, so that the neighboring drone can shoot an image of the drone that fires the identification bullet. can be prepared in advance. A neighboring drone can calculate the current position and movement speed of the drone that fired the identification bomb and the drone that fired the identification bullet in the video based on the movement path of the identification bullet.
본 발명의 실시예에 따른 도로 균열 감지 자율 비행 드론은 영상정보에서 도로의 중앙선을 감지하고 중앙선의 중앙값을 계산하면서 중앙값을 따라 이동한다. 이때, 도로 균열 감지 자율 비행 드론은 미리 수집된 도로균열의 데이터 세트를 기준으로 도로의 상태를 검출한 후, 도로균열이 검출되면 도로균열 이미지를 서버로 전송한다. 따라서 광범위한 지역에 분포된 도로망의 파손상태를 보다 빠르고 정확하게 파악할 수 있다.A road crack detection autonomous flying drone according to an embodiment of the present invention detects the center line of a road from image information and moves along the median while calculating the median of the center line. At this time, the autonomous flying drone that detects road cracks detects the condition of the road based on the data set of road cracks collected in advance, and then transmits the road crack image to the server when a road crack is detected. Therefore, it is possible to quickly and accurately grasp the state of damage of the road network distributed over a wide area.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
100 : 드론
200 : 서버100: drone
200 : server
Claims (3)
상기 영상정보 수집부에서 촬영된 영상정보에서 도로의 중앙선을 감지하고 상기 중앙선의 중앙값을 계산하면서 상기 중앙값을 따라 이동하되, 미리 수집된 도로균열의 데이터 세트를 기준으로 상기 도로의 상태를 검출하고 도로균열이 검출되면 도로균열 이미지를 서버로 전송하는 제어부;를 포함하고,
상기 제어부는, 상기 영상정보에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network, CNN)를 적용하여 상기 도로의 중앙선 및 도로균열을 감지하고,
상기 도로의 중앙선은 주기적인 거리마다 서로 다른 길이를 갖는 복수의 중앙선 점선 그룹의 조합을 포함하며, 상기 제어부는 각 중앙선 점선의 길이에 대응되는 숫자를 인식하여 절대좌표를 식별하는 것을 특징으로 하는 도로 균열 감지 자율 비행 드론.an image information collecting unit that captures image information; and
The image information collecting unit detects the center line of the road from the image information taken, and moves along the median while calculating the median value of the center line. Based on the data set of road cracks collected in advance, the state of the road is detected When a crack is detected, a control unit that transmits an image of a road crack to the server; includes,
The control unit detects the center line and road crack of the road by applying a convolutional neural network (CNN) in the image information,
The center line of the road includes a combination of a plurality of dotted center line groups having different lengths for each periodic distance, and the control unit identifies the absolute coordinates by recognizing a number corresponding to the length of each center line dotted line. Crack detection autonomous flying drone.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200105171A KR102349818B1 (en) | 2020-08-21 | 2020-08-21 | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200105171A KR102349818B1 (en) | 2020-08-21 | 2020-08-21 | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102349818B1 true KR102349818B1 (en) | 2022-01-10 |
Family
ID=79347533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200105171A KR102349818B1 (en) | 2020-08-21 | 2020-08-21 | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102349818B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114812398A (en) * | 2022-04-10 | 2022-07-29 | 同济大学 | A high-precision real-time crack detection platform based on UAV |
| CN117764988A (en) * | 2024-02-22 | 2024-03-26 | 山东省计算中心（国家超级计算济南中心） | Road crack detection method and system based on heteronuclear convolution multi-receptive field network |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101768380B1 (en) | 2016-06-10 | 2017-08-14 | 주식회사 알티자동화 | Road diagnostics system |
| KR20200008281A (en) * | 2018-07-16 | 2020-01-28 | 현대모비스 주식회사 | Apparatus for following lane on road by unmanned aerial vehicle and method the same |
-
2020
- 2020-08-21 KR KR1020200105171A patent/KR102349818B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101768380B1 (en) | 2016-06-10 | 2017-08-14 | 주식회사 알티자동화 | Road diagnostics system |
| KR20200008281A (en) * | 2018-07-16 | 2020-01-28 | 현대모비스 주식회사 | Apparatus for following lane on road by unmanned aerial vehicle and method the same |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114812398A (en) * | 2022-04-10 | 2022-07-29 | 同济大学 | A high-precision real-time crack detection platform based on UAV |
| CN114812398B (en) * | 2022-04-10 | 2023-10-03 | 同济大学 | A high-precision real-time crack detection platform based on drones |
| CN117764988A (en) * | 2024-02-22 | 2024-03-26 | 山东省计算中心（国家超级计算济南中心） | Road crack detection method and system based on heteronuclear convolution multi-receptive field network |
| CN117764988B (en) * | 2024-02-22 | 2024-04-30 | 山东省计算中心（国家超级计算济南中心） | Road crack detection method and system based on heteronuclear convolution multi-receptive field network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alam et al. | A survey of safe landing zone detection techniques for autonomous unmanned aerial vehicles (UAVs) | |
| EP3729227B1 (en) | Image based localization for unmanned aerial vehicles, and associated systems and methods | |
| CN108109437B (en) | Unmanned aerial vehicle autonomous route extraction and generation method based on map features | |
| AU2021204188A1 (en) | A backup navigation system for unmanned aerial vehicles | |
| CN113485441A (en) | Distribution network inspection method combining unmanned aerial vehicle high-precision positioning and visual tracking technology | |
| CN103852077B (en) | Automatic anti-cheating judgment method for unmanned aerial vehicle positioning information in link failure process | |
| US9892646B2 (en) | Context-aware landing zone classification | |
| KR102289752B1 (en) | A drone for performring route flight in gps blocked area and methed therefor | |
| CN115144879B (en) | Multi-machine multi-target dynamic positioning system and method | |
| KR102349818B1 (en) | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes | |
| CN114115289A (en) | An autonomous unmanned swarm reconnaissance system | |
| CN110823223A (en) | Path planning method and device for unmanned aerial vehicle cluster | |
| Martínez-de-Dios et al. | Multi-UAV experiments: application to forest fires | |
| KR102488553B1 (en) | Drone used 3d mapping method | |
| KR20240020039A (en) | Autonomous flight system for unmanned aerial vehicle to inspect an ultrahigh voltage power transmission facility and method of operation thereof | |
| KR101537324B1 (en) | Automatic carrier take-off and landing System based on image processing | |
| KR102414986B1 (en) | UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same | |
| US12147245B2 (en) | Method for controlling an unmanned aerial vehicle for an inspection flight to inspect an object and inspection unmanned aerial vehicle | |
| US20230023069A1 (en) | Vision-based landing system | |
| Qi et al. | Detection and tracking of a moving target for UAV based on machine vision | |
| KR20230151255A (en) | Method for controling a flight of drone using point cloud | |
| Li et al. | UAV System integration of real-time sensing and flight task control for autonomous building inspection task | |
| US20240248477A1 (en) | Multi-drone beyond visual line of sight (bvlos) operation | |
| US20180197301A1 (en) | System and method for detecting and analyzing airport activity | |
| Janousek et al. | Deep neural network for precision landing and variable flight planning of autonomous UAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200821 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210812 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220105 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220106 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20220106 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20250122 Start annual number: 4 End annual number: 4 |