KR20240103413A - AI drone-based industrial complex patrol system - Google Patents

AI drone-based industrial complex patrol system Download PDF

Info

Publication number
KR20240103413A
KR20240103413A KR1020220185558A KR20220185558A KR20240103413A KR 20240103413 A KR20240103413 A KR 20240103413A KR 1020220185558 A KR1020220185558 A KR 1020220185558A KR 20220185558 A KR20220185558 A KR 20220185558A KR 20240103413 A KR20240103413 A KR 20240103413A
Authority
KR
South Korea
Prior art keywords
unit
drone
situation
illegal
communication
Prior art date
Application number
KR1020220185558A
Other languages
Korean (ko)
Inventor
최종필
Original Assignee
주식회사 유맥에어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유맥에어 filed Critical 주식회사 유맥에어
Priority to KR1020220185558A priority Critical patent/KR20240103413A/en
Publication of KR20240103413A publication Critical patent/KR20240103413A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Emergency Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 드론으로 상공에서 산업 단지를 순찰하도록 함으로써 드론이 사용자가 설정한 임의 경로를 주기적으로 이동하면서 다양한 상황(불법침입/화제/불법주차)을 판단하여 관리자 서버에 알려 줌으로써, 통신망에 속도의 부담을 덜어주고 소수의 관리자가 상황이 일어났을 때에만 확인 후 신속하게 대응할 수 있게한 AI드론 기반 산업단지 순찰 시스템에 관한 것이다.
이를 위하여 본 발명 한 실시예는 자율 비행 가능한 드론과 관리자 서버로 구성되고; 상기 관리자 서버는 상기 드론으로부터 오는 알람 및 영상/사진을 모니터링 할수 있는 모니터링부, 각각의 드론을 선택하여 개별로 수동 조작을 할 수 있는 관제부가 포함되며; 상기 드론은 상기 관리자 서버와 5G/LTE 통신을 지원하는 통신부, 이동 및 호버링을 제어하는 비행 기능부, 짐벌과 카메라가 합쳐저 촬영을 할 수 있는 촬영부, 현제 위치를 측정할수 있는 GPS부, 데이터 통신에 따른 데이터 암호화부 및 상황을 판단 할수 있는 AI상황인지부로 구성되고; 상기 AI상황인지부는 상기 촬영부에서 제공되는 영상 중에서 학습된 불법침입, 불법주차 및 화제 같은 상황이 인지되면 상기 통신부를 통하여 상기 관리자 서버에 전송하는 특징이 있다.The present invention allows a drone to patrol an industrial complex from above, so that the drone periodically moves along a random path set by the user, determines various situations (illegal trespass/hot topic/illegal parking), and notifies them to the administrator server, thereby providing speed control to the communication network. It is about an AI drone-based industrial complex patrol system that relieves the burden and allows a small number of managers to check and respond quickly when a situation arises.
To this end, an embodiment of the present invention consists of a drone capable of autonomous flight and a manager server; The manager server includes a monitoring unit that can monitor alarms and videos/photos coming from the drones, and a control unit that can select each drone and manually operate it individually; The drone includes a communication unit that supports 5G/LTE communication with the manager server, a flight function unit that controls movement and hovering, a photography unit that can take pictures by combining a gimbal and a camera, a GPS unit that can measure the current location, and data. It consists of a data encryption unit for communication and an AI situational awareness unit that can judge the situation; The AI situation recognition unit has the characteristic of transmitting to the manager server through the communication unit when situations such as illegal trespassing, illegal parking, and hot topics learned from the images provided by the recording unit are recognized.

Description

AI드론 기반 산업단지 순찰 시스템{AI drone-based industrial complex patrol system}AI drone-based industrial complex patrol system

본 발명은 AI드론 기반 산업단지 순찰 시스템에 관한 것으로서, 더욱 상세하게는 드론에서 사물(불법침입/불법주차/화제)을 인지하여 실시간으로 상황별 불법침입, 불법주차 및 화제 경보를 담당자 에게 알려줌으로써 불필요한 실시간 고해상도 영상을 보내고 검토하기 위해 5G/LTE 망에 주는 부담과 인적 리소스 사용을 최소화 하고, 다수의 드론을 이용하여 광범위한 지역의 감시 정찰 임무 수행의 효율성이 높은 AI드론 기반 산업단지 순찰 시스템에 관한 것이다. The present invention relates to an AI drone-based industrial complex patrol system. More specifically, the drone recognizes objects (illegal trespass/illegal parking/hot topic) and notifies the person in charge of illegal trespass, illegal parking, and hot topic alerts according to the situation in real time. An AI drone-based industrial complex patrol system that minimizes the burden on the 5G/LTE network and the use of human resources to send and review unnecessary real-time high-resolution images and is highly efficient in performing surveillance and reconnaissance missions over a wide area using multiple drones. will be.

일반적으로 드론을 이용하여 산업단지를 순찰하는 시스템은 실시간으로 촬영된 고해상도의 영상을 5G/LTE 통신망에 실어 관리자서버에 전송하기 때문에 통신망에 부하가 많이 걸려 통신이 지연되는 경우가 발생된다. 또한 관리자는 실시간으로 전송되는 영상을 모니터링 하면서 상황을 판단해야 되므로 관리자의 업무부담이 가중되는 단점이 있었다.In general, systems that use drones to patrol industrial complexes transmit high-resolution images captured in real time to the manager server over a 5G/LTE communication network, which places a lot of load on the communication network, resulting in communication delays. In addition, the manager had to judge the situation while monitoring the video transmitted in real time, which had the disadvantage of increasing the manager's workload.

따라서 드론에서 촬영된 영상을 실시간으로 전송하지 않고 드론에서 사물(불법침입/불법주차/화제)을 선별하여 관리자에서 전송하는 기술이 필요하게 되었다.Therefore, rather than transmitting images captured by drones in real time, there is a need for technology to select objects (illegal trespass/illegal parking/hot topics) from the drone and transmit them to the manager.

종래 공개특허 제10-2022-0071822호는 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 드론의 카메라를 이용한 불법 주정차 촬영을 실시하였으며, 드론의 카메라 영상을 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 차량 영역과 번호판 영역을 검출하고, 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 번호판의 문자와 숫자를 분리하는 앵커박스를 생성하여 차량번호를 인식하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량번호 식별 시스템을 제안한 바 있다.Previously published patent No. 10-2022-0071822 conducted filming of illegally parked cars using a drone camera to acquire images under conditions similar to rail-type cameras in order to support illegal parking enforcement through rail-type cameras. The vehicle area and license plate area are detected using an artificial intelligence deep learning algorithm (SSD algorithm) in the image, and an anchor box is created to separate the letters and numbers of the vehicle license plate based on the license plate type and learning data of the vehicle license plate to determine the vehicle number. We have proposed an illegally parked license plate identification system using drone images and artificial intelligence technology that recognizes .

종래 특허는 도심지 상습 불법 주정차 차량 단속을 위해 검토한 레일형 불법 주정차 단속 카메라와 유사한 환경에서 실험하기 위해 드론 영상을 활용하였다. 특히 영상으로부터 차량 번호를 실시간 인식할 수 있는 딥러닝 알고리즘(SSD 알고리즘) 기반의 차량번호 인식 프로그램을 개발하였으며, 이를 통해 실험한 결과 다양한 형태의 불법 주정차 번호를 효과적으로 탐지할 수 있었다.The previous patent used drone footage to experiment in an environment similar to the rail-type illegal parking enforcement camera that was reviewed to crack down on illegally parked vehicles in urban areas. In particular, we developed a license plate recognition program based on a deep learning algorithm (SSD algorithm) that can recognize license plates from images in real time. As a result of experiments, we were able to effectively detect various types of illegally parked license plates.

본 발명은 종래의 문제점을 감안하여 개발한 것으로서, 본 발명은 목적은 드론으로 상공에서 산업 단지를 순찰하도록 함으로써 드론이 사용자가 설정한 임의 경로를 주기적으로 이동하면서 다양한 상황(불법침입/화제/불법주차)을 판단하여 관리자 서버에 알려 줌으로써, 통신망에 속도의 부담을 덜어주고 소수의 관리자가 상황이 일어났을 때에만 확인 후 신속하게 대응할 수 있게한 AI드론 기반 산업단지 순찰 시스템을 제공함에 있다.The present invention was developed in consideration of the problems of the prior art. The purpose of the present invention is to patrol an industrial complex from above with a drone, so that the drone periodically moves along a random path set by the user in various situations (illegal trespass/hot topic/illegal activity). Parking) is determined and notified to the manager server, thereby relieving the burden of speed on the communication network and providing an AI drone-based industrial complex patrol system that allows a small number of managers to check and respond quickly when a situation occurs.

이를 위하여 본 발명 한 실시예는 자율 비행 가능한 드론과 관리자 서버로 구성되고; 상기 관리자 서버는 상기 드론으로부터 오는 알람 및 영상/사진을 모니터링 할수 있는 모니터링부, 각각의 드론을 선택하여 개별로 수동 조작을 할 수 있는 관제부가 포함되며; 상기 드론은 상기 관리자 서버와 5G/LTE 통신을 지원하는 통신부, 이동 및 호버링을 제어하는 비행 기능부, 짐벌과 카메라가 합쳐저 촬영을 할 수 있는 촬영부, 현제 위치를 측정할수 있는 GPS부, 데이터 통신에 따른 데이터 암호화부 및 상황을 판단 할수 있는 AI상황인지부로 구성되고; 상기 AI상황인지부는 상기 촬영부에서 제공되는 영상 중에서 학습된 불법침입, 불법주차 및 화제 같은 상황이 인지되면 상기 통신부를 통하여 상기 관리자 서버에 전송하는 특징이 있다.To this end, an embodiment of the present invention consists of a drone capable of autonomous flight and a manager server; The manager server includes a monitoring unit that can monitor alarms and videos/photos coming from the drones, and a control unit that can select each drone and manually operate it individually; The drone includes a communication unit that supports 5G/LTE communication with the manager server, a flight function unit that controls movement and hovering, a photography unit that can take pictures by combining a gimbal and a camera, a GPS unit that can measure the current location, and data. It consists of a data encryption unit for communication and an AI situational awareness unit that can judge the situation; The AI situation recognition unit has the characteristic of transmitting to the manager server through the communication unit when situations such as illegal trespassing, illegal parking, and hot topics learned from the images provided by the recording unit are recognized.

본 발명은 넓은 산업 단지 지역의 순찰 감시시 효과적이고 효율적인 감시 솔루션을 제공한다. 다수의 드론이 AI를 활용하여 상황이 인지된 부분만 전달하기 때문에 통신망 부하 관리에 용이 하고, 관리자서버에서는 상황이 발생한 부분만 컨트롤하여 적은 인원으로도 효율적으로 산업단지를 보호할 수 있는 이점이 있다.The present invention provides an effective and efficient surveillance solution when patrolling a large industrial complex area. It is easy to manage the load on the communication network because many drones use AI to only transmit the recognized part of the situation, and the manager server controls only the part where the situation occurs, which has the advantage of efficiently protecting the industrial complex with a small number of people. .

도 1은 본 발명 한 실시예의 순찰시스템의 구성도
도 2는 본 발명 한 실시예의 순찰시스템의 흐름도
도 3은 본 발명 한 실시예의 순찰시스템의 AI상황인지부의 상황학습 개념도
도 4는 본 발명 한 실시예의 순찰시스템의 AI상황인지부의 모델경량화 개념도1 is a configuration diagram of a patrol system according to an embodiment of the present invention.
Figure 2 is a flow chart of the patrol system of one embodiment of the present invention.
Figure 3 is a conceptual diagram of situational learning of the AI situational awareness unit of the patrol system of one embodiment of the present invention.
Figure 4 is a conceptual diagram of model lightweighting of the AI situational awareness unit of the patrol system of one embodiment of the present invention.

도 1 내지 도 4에서 본 발명 한 실시예의 순찰시스템은 자율 비행 가능한 드론(10)과 관리자 서버로 구성되고, 상기 관리자 서버(20)는 드론(10)의 상황을 표시해주는 모니터링부(21)와 관제부(22)를 포함하고 있다. 상기 드론(10)은 관리자 서버(20)와 5G/LTE 통신을 지원하는 통신부(11), 이동 및 호버링을 제어하는 비행 기능부, 짐벌과 카메라가 합쳐저 촬영을 할 수 있는 촬영부(13), 현제 위치를 측정할수 있는 GPS부(14), 데이터 통신에 따른 데이터 암호화부(15), 종합적인 상황을 판단 할수 있는 AI상황인지부(16)로 구성된다.1 to 4, the patrol system of one embodiment of the present invention consists of a drone 10 capable of autonomous flight and a manager server, and the manager server 20 includes a monitoring unit 21 that displays the status of the drone 10, and It includes a control unit (22). The drone 10 includes a manager server 20, a communication unit 11 that supports 5G/LTE communication, a flight function unit that controls movement and hovering, and a photography unit 13 that can take pictures by combining a gimbal and a camera. , It consists of a GPS unit (14) that can measure the current location, a data encryption unit (15) according to data communication, and an AI situation awareness unit (16) that can determine the comprehensive situation.

그리고 관리자가 상황을 인지하고 대응 할수 있도록 한 관리자 서버(20)에는 드론(10)으로부터 오는 알람 및 영상/사진을 모니터링 할수 있는 모니터링부(21), 각각의 드론(10)을 선택하여 개별로 수동 조작을 할 수 있는 관제부(22)가 포함된다. 상기 모니터링부(21)는 드론(10)에서 인지한 상황을 관리자가 눈으로 보고 최종판단을 할 수 있도록 상황을 인지한 영상 및 사진을 제공하며, 또한 상기 관제부(22)는 상황이 발생한 곳의 드론(10)을 선택하여 자동 비행을 중지시키고 수동 조작으로 관리자가 원하는 위치의 영상을 직접 수집할수 있다. 또한 상황종료 후에는 남은 지역의 순찰을 재개 하거나 홈포인트로 귀환하도록 조치한다.In addition, the manager server 20, which allows the manager to recognize and respond to the situation, has a monitoring unit 21 that can monitor alarms and videos/photos coming from the drones 10, and selects each drone 10 to manually manually A control unit 22 capable of operation is included. The monitoring unit 21 provides images and photos that recognize the situation so that the manager can visually see the situation recognized by the drone 10 and make a final judgment, and the control unit 22 also provides a location where the situation occurred. By selecting the drone (10), automatic flight can be stopped and images of the location desired by the manager can be collected directly through manual operation. Additionally, after the situation is over, patrols in the remaining areas will be resumed or measures will be taken to return to the home point.

상기 드론(10)은 4개 이상의 프로펠러와 모터를 갖는 것으로서, 상기 비행기능부(12)는 비행 콘트롤러(FC) 및 전자속도제어기(ESC)를 통하여 상기 모터를 제어하여 비행에 필요한 호버링 및 요잉을 콘트롤한다.The drone 10 has four or more propellers and motors, and the airplane function unit 12 controls the motors through a flight controller (FC) and an electronic speed controller (ESC) to perform hovering and yawing necessary for flight. Control.

상기 촬영부(13)는 드론(10)에 장착되어 비행 중인 감시지역의 건물이나 차량 및 사람을 촬영하여 영상을 생성하는 것으로서, 촬영부(13)에 장착된 카메라는 CCD 카메라, CMOS 이미지 센서 및 적외선 카메라 중 어느 하나를 사용하며, 1920×1080 해상도의 고화질 영상을 제공한다.The photographing unit 13 is mounted on the drone 10 and generates images by photographing buildings, vehicles, and people in the flying surveillance area. The camera mounted on the photographing unit 13 includes a CCD camera, a CMOS image sensor, and It uses one of the infrared cameras and provides high-definition video with a resolution of 1920×1080.

상기 AI상황인지부(16)는 AI(Artificial Intelligence), 즉 인공지능을 이용한 것으로서, 인간의 지능을 모방하여 작업을 수행하고 수집한 정보를 토대로 자체 성능을 반복적으로 개선할 수 있는 시스템이다. AI를 활용한 다양한 Application이 등장하며, 각 Application의 성능을 향상시키기 위한 최적의 알고리즘도 등장하고 있다. Natural Language Processing (NLP)를 향상하기 위해, '어느 context에 집중해서 봐야하는지'를 알려주는 Attention 알고리즘, 이를 CNN로 확장시키기 위한 Convoulution Bottleneck Attention Module (CBAM) 등 다양한 알고리즘이 파생되어 제시되고 있다.The AI situation awareness unit 16 uses AI (Artificial Intelligence), that is, a system that performs tasks by imitating human intelligence and can repeatedly improve its own performance based on the collected information. Various applications utilizing AI are emerging, and optimal algorithms are also emerging to improve the performance of each application. To improve Natural Language Processing (NLP), various algorithms have been derived and proposed, such as the Attention algorithm that tells 'which context to focus on' and the Convoulution Bottleneck Attention Module (CBAM) to extend this to CNN.

상기 AI상황인지부(16)는 Cascade Mask R-CNN 모델을 활용하였다. Cascade Mask R-CNN 모델의 학습데이터는 동영상에서 실시간으로 불법침입, 불법주차 및 화제를 대상으로 검출하였다. 학습데이터의 동영상은 시간당 전송되는 데이터의 양이 많으므로 정확도가 떨어지지만 가볍고 빠른 1-Stage 계열의 SSD(Single Shot Multibox Detector) 모델 또는 YOLOv7을 활용할 수 있으며, 본 실시예에서는 YOLOv7를 활용하였다. 동영상에서 탐지하고자 하는 대상은 드론(10) 영상에 나타나는 불법침입, 불법주차 및 화제이며, 실시간에서 특정 객체를 추출하기 위해서는 무엇보다도 처리 속도가 중요하다.The AI situation awareness unit 16 utilized the Cascade Mask R-CNN model. The learning data of the Cascade Mask R-CNN model detected trespassing, illegal parking, and topics in real time from videos. The video of the training data has low accuracy due to the large amount of data transmitted per hour, but the light and fast 1-Stage series SSD (Single Shot Multibox Detector) model or YOLOv7 can be used. In this embodiment, YOLOv7 was used. The objects to be detected in the video are illegal trespassing, illegal parking, and topics that appear in the drone (10) video, and processing speed is more important than anything else in order to extract specific objects in real time.

YOLOv7 모델은 기존의 YOLO v2에서 속도와 성능을 개선시킨 모델로 AP50 기준으로 RetinaNet과 비슷한 탐지정확도에 훨씬 빠른 탐지 성능을 보인 모델이다. 상기 YOLOv7 모델의 학습데이터는 영상과 오픈데이터 셋인 VisDrone의 불법침입, 불법주차 및 화제 클래스를 추출하였다. 평가 데이터셋으로 쓰인 영상에서 가장 많은 비중을 차지하는 Visdrone 데이터에는 불법침입, 불법주차 및 화제 수가 매우 많거나, 육안으로 분별이 쉽지 않은 영상이 많았다. 불법침입, 불법주차 및 화제를 인식하기 어려운 정도의 고고도 촬영물이나 불법침입, 불법주차 및 화제를 수직으로 촬영한 경우 오탐지하거나 불법침입, 불법주차 및 화제로 인식하지 못하여 낮은 정확도를 보였다. 이에 식별 가능한 영상으로 자체적으로 추론을 재진행하였으며, 비행고도가 비교적 낮고 촬영 각도에 경사를 주어 불법침입, 불법주차 및 화제가 식별되었다.The YOLOv7 model is a model that has improved speed and performance from the existing YOLO v2, and is a model that has a detection accuracy similar to RetinaNet and much faster detection performance based on AP50. The training data for the YOLOv7 model was extracted from video and the illegal trespassing, illegal parking, and topic classes from VisDrone, an open data set. The Visdrone data, which accounts for the largest proportion of the videos used as the evaluation dataset, had many videos with a large number of illegal trespassing, illegal parking, and topics, or were difficult to distinguish with the naked eye. High-altitude footage that made it difficult to recognize illegal trespassing, illegal parking, and hot topics, or when illegal trespassing, illegal parking, and hot topics were filmed vertically, resulted in false detections or failed to recognize illegal trespassing, illegal parking, and hot topics, showing low accuracy. Accordingly, the inference was re-run with identifiable images, and the flight altitude was relatively low and the shooting angle was inclined, and illegal trespassing, illegal parking, and topics were identified.

상기 AI상황인지부(16)는 처리속도를 높이기 위해 경량화 알고리즘을 사용하는데 대부분 CNN filter에서의 경량화가 많다. CNN은 거의 모든 AI 알고리즘의 기본 모델에 깔려있다.The AI situation awareness unit 16 uses a lightweight algorithm to increase processing speed, and most of the CNN filters are lightweight. CNN is the basic model of almost all AI algorithms.

이처럼 구성된 본 발명 한 실시예의 순찰시스템은 산업단지를 여러대의 드론(10)이 정해진 경로를 따라 자율주행하는 것으로서, 비행중에 촬영된 영상에서 추출하고자 하는 상황(불법침입, 불법주차 및 화제)이 발생되면 해당 상황 영상만 관리자 서버(20)에 전송하기 때문에 5G/LTE 통신만에 부담을 주지 않는 이점이 있다.The patrol system of one embodiment of the present invention configured in this way has several drones (10) autonomously driving along a set route in an industrial complex, and situations (illegal trespassing, illegal parking, and hot topics) that are to be extracted from images captured during flight occur. Since only the corresponding situation video is transmitted to the manager server 20, there is an advantage in that it does not place a burden on 5G/LTE communication.

또한 상기 관리자 서버(20)는 소수의 관리자가 상황을 인지하고 대응 할수 있는 모니터링부(21)가 구비되기 때문에 관리자가 상황을 최종 판단할 수 있다.그리고 각각의 드론(10)을 선택하여 개별로 수동 조작을 할 수 있는 관제부(22)가 구비되기 때문에 상황이 발생한 곳의 드론(10)을 선택하여 자동 비행을 중지시키고 수동 조작으로 관리자가 원하는 위치의 영상을 직접 수집할 수 있다. 또한 상황종료 후에는 남은 지역의 순찰을 재개 하거나 홈포인트로 귀환시킬 수 있는 등의 이점이 있다.In addition, the manager server 20 is equipped with a monitoring unit 21 that allows a small number of managers to recognize the situation and respond, so the manager can make the final judgment on the situation. Then, each drone 10 is selected and individually Since the control unit 22 capable of manual operation is provided, the drone 10 where the situation occurs can be selected to stop automatic flight and the manager can directly collect images of the desired location through manual operation. In addition, there are advantages such as being able to resume patrols in the remaining area or return to the home point after the situation is over.

10 : 드론 11 : 통신부
12 : 비행기능부 13 : 관제부
14 : GPS부 15 : 암호화부
16 : AI상황인지부 20 : 관리자 서버
21 : 모니터링부 22 : 관제부10: Drone 11: Communication Department
12: Airplane function department 13: Control department
14: GPS unit 15: Encryption unit
16: AI situation awareness department 20: Manager server
21: Monitoring Department 22: Control Department

Claims (4)

자율 비행 가능한 드론과 관리자 서버로 구성되고;
상기 관리자 서버는 상기 드론 으로부터 오는 알람 및 영상/사진을 모니터링 할수 있는 모니터링부, 각각의 드론을 선택하여 개별로 수동 조작을 할 수 있는 관제부가 포함되며;
상기 드론은 상기 관리자 서버와 5G/LTE 통신을 지원하는 통신부, 이동 및 호버링을 제어하는 비행 기능부, 짐벌과 카메라가 합쳐저 촬영을 할 수 있는 촬영부, 현제 위치를 측정할수 있는 GPS부, 데이터 통신에 따른 데이터 암호화부 및 상황을 판단 할수 있는 AI상황인지부로 구성되고;
상기 AI상황인지부는 상기 촬영부에서 제공되는 영상 중에서 학습된 불법침입, 불법주차 및 화제 같은 상황이 인지되면 상기 통신부를 통하여 상기 관리자 서버에 인지된 영상을 전송하는 것을 특징으로 하는 AI드론 기반 산업단지 순찰 시스템.It consists of a drone capable of autonomous flight and an administrator server;
The manager server includes a monitoring unit that can monitor alarms and videos/photos coming from the drones, and a control unit that can select each drone and manually operate it individually;
The drone includes a communication unit that supports 5G/LTE communication with the manager server, a flight function unit that controls movement and hovering, a photography unit that can take pictures by combining a gimbal and a camera, a GPS unit that can measure the current location, and data. It consists of a data encryption unit for communication and an AI situational awareness unit that can judge the situation;
The AI drone-based industrial complex is characterized in that the AI situation awareness unit transmits the recognized image to the manager server through the communication unit when situations such as illegal trespassing, illegal parking, and hot topics learned from the images provided by the recording unit are recognized. Patrol system. 제 1 항에 있어서,
상기 AI상황인지부는 Cascade Mask R-CNN 모델을 사용하며, 동영상에서 실시간으로 불법침입, 불법주차 및 화제를 대상으로 학습데이터를 검출한 것을 특징으로 하는 AI드론 기반 산업단지 순찰 시스템.According to claim 1,
The AI situational awareness unit uses the Cascade Mask R-CNN model, and is an AI drone-based industrial complex patrol system characterized by detecting learning data targeting illegal trespassing, illegal parking, and topics in real time from videos. 제 1 항에 있어서,
상기 AI상황인지부는 처리속도를 높이기 위해 CNN방식의 경량화 알고리즘을 사용한 것을 특징으로 하는 AI드론 기반 산업단지 순찰 시스템.According to claim 1,
The AI situation awareness unit is an AI drone-based industrial complex patrol system characterized by using a CNN-type lightweight algorithm to increase processing speed. 제 1 항에 있어서,
상기 관제부는 상황이 발생한 곳의 드론을 선택하여 자동 비행을 중지시키고 수동 조작으로 관리자가 원하는 위치의 영상을 직접 수집할 수 있으며, 또한 상황종료 후에는 남은 지역의 순찰을 재개 하거나 또는 홈포인트로 귀환시키는 것을 특징으로 하는 AI드론 기반 산업단지 순찰 시스템.According to claim 1,
The control unit can select the drone where the situation occurred, stop automatic flight, and directly collect video of the location desired by the manager through manual operation. Also, after the situation is over, it can resume patrolling the remaining area or return to the home point. An AI drone-based industrial complex patrol system characterized by:
KR1020220185558A 2022-12-27 2022-12-27 AI drone-based industrial complex patrol system KR20240103413A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220185558A KR20240103413A (en) 2022-12-27 2022-12-27 AI drone-based industrial complex patrol system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220185558A KR20240103413A (en) 2022-12-27 2022-12-27 AI drone-based industrial complex patrol system

Publications (1)

Publication Number Publication Date
KR20240103413A true KR20240103413A (en) 2024-07-04

Family

ID=91913121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220185558A KR20240103413A (en) 2022-12-27 2022-12-27 AI drone-based industrial complex patrol system

Country Status (1)

Country Link
KR (1) KR20240103413A (en)

Similar Documents

Publication Publication Date Title
Zhang et al. Edge video analytics for public safety: A review
Dilshad et al. Applications and challenges in video surveillance via drone: A brief survey
WO2021159604A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
CN108983806B (en) Method and system for generating area detection and air route planning data and aircraft
WO2018076191A1 (en) Smart patrol device, cloud control device, patrol method, control method, robot, controller, and non-transient computer readable storage medium
CN111679695B (en) Unmanned aerial vehicle cruising and tracking system and method based on deep learning technology
CN110619276B (en) Anomaly and violence detection system and method based on unmanned aerial vehicle mobile monitoring
US20180249128A1 (en) Method for monitoring moving target, and monitoring device, apparatus, and system
CN110175587B (en) Video tracking method based on face recognition and gait recognition algorithm
GB2455837A (en) Co-operative camera surveillance method
KR102335994B1 (en) Integrated control apparatus of surveillance devices for drone surveillance
KR101326707B1 (en) Camera system for vehicle number recognition and security
KR20150060626A (en) Active Type Unmanned Security System
US20220075392A1 (en) Reconnaissance unmanned aerial vehicle and surveillance flight method thereof
CN105741477A (en) Aircraft with intelligent fire control voice assistant
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
KR20220048200A (en) Fence monitoring system
CN201142737Y (en) Front end monitoring apparatus for IP network video monitoring system
KR20240103413A (en) AI drone-based industrial complex patrol system
Babiceanu et al. An onboard UAS visual privacy guard system
CN207027526U (en) A kind of mobile security robot with video analysis function based on binocular vision
Bhattacherjee et al. Artificial intelligence to impart surveillance, tracking, & actuation on suspicious activities
CN114332632A (en) Safety helmet identification device and method
CN111901217B (en) Key area land-air integrated warning system based on microvibration perception
CN110703814B (en) Scheduling mode of camera in water area detection monitoring process