KR20210115428A

KR20210115428A - Apparatus and method for controlling the unmanned aerial vehicle based on disaster complexity

Info

Publication number: KR20210115428A
Application number: KR1020200031199A
Authority: KR
Inventors: 이재훈; 김찬란; 박경수; 송제인; 김병조
Original assignee: 줌인터넷 주식회사
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-09-27
Also published as: KR102351057B1

Abstract

An apparatus for controlling an unmanned aerial vehicle based on the disaster complexity according to the present invention includes a driving part that generates lift so that the unmanned aerial vehicle flies; a photographing part for generating a plurality of images through photographing, a detection part for detecting an object from the plurality of images; a tracking part for tracking the object detected by the detection part in the plurality of images; an analysis part that determines whether there is a disaster based on the plurality of images, and calculates disaster complexity based on the plurality of images when the determination result is the disaster; and a control part that controls the flight direction of the unmanned aerial vehicle through the driving part according to the calculated disaster complexity and controls the photographing period of the photographing part.

Description

Apparatus and method for controlling the unmanned aerial vehicle based on disaster complexity

본 발명은 무인항공기(UAV: Unmanned Aerial Vehicle) 기술에 관한 것으로, 보다 상세하게는, 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to unmanned aerial vehicle (UAV) technology, and more particularly, to an apparatus for controlling an unmanned aerial vehicle based on disaster situation complexity and a method therefor.

지진, 해일, 화재와 같이 사람이 접근하기 어려운 재난 상황에서 드론을 활용한 인명 구조 활동이 주목을 받고 있다. Lifesaving activities using drones in disaster situations that are difficult for humans to access, such as earthquakes, tsunamis, and fires, are attracting attention.

한국공개특허 제2020-0002361호 2020년 01월 08일 공개 (명칭: 자율 주행 드론을 이용하여 항공 영상을 제공하기 위한 시스템 및 그 방법)Korean Patent Publication No. 2020-0002361 published on January 08, 2020 (Title: System and method for providing aerial image using autonomous driving drone)

본 발명의 목적은 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide an apparatus for controlling an unmanned aerial vehicle based on the complexity of a disaster situation and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 장치는 무인항공기가 목적 위치로 비행하도록 양력을 발생시키는 구동부와, 촬영을 통해 복수의 영상을 생성하는 촬영부와, 상기 복수의 영상에서 객체를 검출하는 검출부와, 상기 복수의 영상에서 검출부가 검출한 객체를 추적하는 추적부와, 상기 복수의 영상을 기초로 재난 상황 여부를 판단하고, 상기 판단 결과, 재난 상황이면, 상기 복수의 영상을 기초로 재난 상황 복잡도를 산출하는 분석부와, 상기 산출된 재난 상황 복잡도에 따라 상기 구동부를 통해 무인항공기의 비행 방향을 제어하고 상기 촬영부의 촬영 주기를 제어하는 제어부를 포함한다. An apparatus for controlling an unmanned aerial vehicle based on the complexity of a disaster situation according to a preferred embodiment of the present invention for achieving the above object includes a driving unit that generates lift so that the unmanned aerial vehicle flies to a target location, and a plurality of A photographing unit generating an image of, a detecting unit detecting an object from the plurality of images, a tracking unit tracking the object detected by the detecting unit in the plurality of images, and determining whether a disaster situation exists based on the plurality of images and, as a result of the determination, if it is a disaster situation, an analysis unit that calculates disaster situation complexity based on the plurality of images, and controls the flight direction of the unmanned aerial vehicle through the driving unit according to the calculated disaster situation complexity, and the photographing unit It includes a control unit for controlling the photographing period.

상기 분석부는 상기 복수의 영상에서 검출된 객체 중 요구조자 존재 여부, 요구조자의 수, 요구조자의 수의 증감 및 요구조자의 밀도에 따라 재난 상황 복잡도를 산출하는 것을 특징으로 한다. The analysis unit is characterized in that the disaster situation complexity is calculated according to the presence or absence of a requester among the objects detected in the plurality of images, the number of requesters, the increase/decrease in the number of requesters, and the density of the requesters.

상기 제어부는 상기 산출된 재난 상황 복잡도가 기 설정된 임계 수준 이상이면, 상기 촬영부의 촬영 주기를 기 설정된 기준치 이상으로 증가시켜 촬영하도록 제어하고, 상기 산출된 재난 상황 복잡도가 기 설정된 임계 수준 미만이면, 상기 촬영부의 촬영 주기를 기 설정된 기준치 미만으로 감소시켜 촬영하도록 제어하는 것을 특징으로 한다. When the calculated disaster situation complexity is greater than or equal to a preset threshold level, the controller controls the photographing unit to increase the photographing period to a preset reference value or more, and when the calculated disaster situation complexity is less than a preset threshold level, the It is characterized in that the photographing unit is controlled to photograph by reducing the photographing period to less than a preset reference value.

상기 제어부는 상기 산출된 재난 상황 복잡도가 소정의 임계 수준 이상이면, 상기 요구조자의 위치가 상기 촬영부가 촬영하는 영상의 중심에 위치하도록 상기 구동부를 제어하여 무인항공기를 이동시키는 것을 특징으로 한다. When the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the control unit controls the driving unit to move the unmanned aerial vehicle so that the position of the requestor is located at the center of the image captured by the photographing unit.

상기 장치는 관제장치와 통신을 위한 통신부와, 무인항공기의 현재의 위치 정보를 도출하는 항법부를 더 포함한다. 이에 따라, 상기 제어부는 상기 촬영부가 촬영한 영상으로부터 무인항공기를 기준으로 하는 상기 요구조자의 상대적 위치를 검출하고, 상기 항법부를 통해 무인항공기의 지리적 위치를 도출하고, 상기 무인항공기의 지리적 위치를 기초로 상기 요구조자의 상대적 위치를 지리적 위치로 변환한 후, 상기 변환된 지리적 위치를 상기 통신부를 통해 상기 관제장치로 전송할 수 있다. The device further includes a communication unit for communication with the control device, and a navigation unit for deriving current location information of the unmanned aerial vehicle. Accordingly, the control unit detects the relative position of the requesting party with respect to the unmanned aerial vehicle from the image captured by the photographing unit, derives the geographical position of the unmanned aerial vehicle through the navigation unit, and based on the geographical position of the unmanned aerial vehicle After converting the relative location of the requestor into a geographic location, the converted geographic location may be transmitted to the control device through the communication unit.

상기 제어부는 상기 산출된 재난 상황 복잡도가 소정의 임계 수준 미만이면, 상기 목적 위치를 중심으로 무인항공기가 선회하도록 상기 구동부를 제어하는 것을 특징으로 한다. When the calculated disaster situation complexity is less than a predetermined threshold level, the controller controls the driving unit to turn the unmanned aerial vehicle around the target location.

상기 분석부는 영상이 입력되면, 입력되는 영상이 재난 상황에 속하는지 여부에 대한 확률을 산출하여 출력하도록 학습한 인공신경망 모델인 상황판단모델을 포함한다. 이에 따라, 상기 분석부는 상기 상황판단모델이 상기 촬영부가 촬영한 영상에 대해 산출한 상기 확률에 따라 상기 재난 상황 여부를 판단할 수 있다. 즉, 상기 분석부는 상기 확률이 기 설정된 수치 이상이면, 재난 상황인 것으로 판단한다. The analysis unit includes a situation judgment model, which is an artificial neural network model learned to calculate and output a probability of whether the input image belongs to a disaster situation when an image is input. Accordingly, the analysis unit may determine whether the disaster situation exists according to the probability calculated by the situation determination model for the image captured by the photographing unit. That is, if the probability is greater than or equal to a preset value, the analysis unit determines that the disaster situation is present.

상기 검출부는 영상에 포함된 객체가 차지하는 영역을 나타내는 영역박스의 좌표 및 영역박스 내의 객체가 적어도 하나의 기 설정된 클래스에 속할 확률을 산출하여 출력하도록 학습된 인공신경망 모델인 객체분류모델을 포함한다. 이에 따라, 상기 객체분류모델이 연산을 통해 상기 촬영부가 촬영한 영상에 포함된 객체가 차지하는 영역을 나타내는 영역박스의 좌표 및 영역박스 내의 객체가 적어도 하나의 기 설정된 클래스에 속할 확률을 산출하여 출력하면, 상기 산출된 클래스에 속할 확률이 기 설정된 임계치 이상인 경우, 해당 영역박스 내에 해당 클래스의 객체가 존재하는 것으로 인식할 수 있다. The detector includes an object classification model, which is an artificial neural network model trained to calculate and output coordinates of an area box indicating an area occupied by an object included in an image and a probability that an object in the area box belongs to at least one preset class. Accordingly, if the object classification model calculates and outputs the coordinates of the area box indicating the area occupied by the object included in the image captured by the photographing unit through calculation and the probability that the object in the area box belongs to at least one preset class, , when the probability of belonging to the calculated class is equal to or greater than a preset threshold, it may be recognized that the object of the corresponding class exists in the corresponding area box.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법은 구동부가 무인항공기가 관제장치로부터 수신된 목적 위치로 비행하도록 양력을 발생시키는 단계와, 촬영부가 상기 목적 위치에서 촬영을 통해 복수의 영상을 생성하는 단계와, 검출부가 상기 복수의 영상에서 객체를 검출하는 단계와, 추적부가 상기 복수의 영상에서 검출한 객체를 추적하는 단계와, 분석부가 상기 복수의 영상을 기초로 재난 상황 복잡도를 산출하는 단계와, 제어부가 상기 산출된 재난 상황 복잡도에 따라 상기 무인항공기의 비행 방향을 제어하고 상기 촬영부의 촬영 주기를 제어하는 단계를 포함한다. In a method for controlling an unmanned aerial vehicle based on the complexity of a disaster situation according to a preferred embodiment of the present invention for achieving the above object, the driving unit generates lift so that the unmanned aerial vehicle flies to the target position received from the control device. generating a plurality of images by a photographing unit through photographing at the target location; detecting an object in the plurality of images by a detection unit; and tracking an object detected in the plurality of images by a tracking unit; , calculating a disaster situation complexity based on the plurality of images by an analysis unit, and a control unit controlling a flight direction of the unmanned aerial vehicle according to the calculated disaster situation complexity and controlling a shooting period of the photographing unit. .

상기 재난 상황 복잡도를 산출하는 단계는 상기 분석부가 상기 복수의 영상에서 검출된 객체 중 요구조자 존재 여부, 요구조자의 수, 요구조자의 수의 증감 및 요구조자의 밀도에 따라 재난 상황 복잡도를 산출하는 것을 특징으로 한다. The calculating of the disaster situation complexity is characterized in that the analysis unit calculates the disaster situation complexity according to the presence or absence of a requester among the objects detected in the plurality of images, the number of requesters, the increase/decrease in the number of requesters, and the density of the requesters. .

상기 제어하는 단계는 상기 제어부가 상기 산출된 재난 상황 복잡도가 기 설정된 임계 수준 이상이면, 상기 촬영부의 촬영 주기를 기 설정된 기준치 이상으로 증가시켜 촬영하도록 제어하는 것이 바람직하다. 또한, 상기 제어하는 단계는 상기 산출된 재난 상황 복잡도가 기 설정된 임계 수준 미만이면, 상기 촬영부의 촬영 주기를 기 설정된 기준치 미만으로 감소시켜 촬영하도록 제어하는 것이 바람직하다. In the controlling, if the calculated disaster situation complexity is equal to or greater than a preset threshold level, it is preferable that the controller increases the photographing period of the photographing unit to a preset reference value or more and controls the photographing operation. In addition, in the controlling step, if the calculated disaster situation complexity is less than a preset threshold level, it is preferable to reduce the photographing period of the photographing unit to be less than a predetermined reference value to control the photographing.

상기 제어하는 단계는 상기 제어부가 상기 산출된 재난 상황 복잡도가 소정의 임계 수준 이상이면, 상기 요구조자의 위치가 상기 촬영부가 촬영하는 영상의 중심에 위치하도록 상기 구동부를 제어하여 상기 무인항공기를 이동시키는 것을 특징으로 한다. In the controlling step, when the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the controlling unit controls the driving unit to move the unmanned aerial vehicle so that the position of the requestor is located at the center of the image captured by the photographing unit. characterized.

상기 제어하는 단계는 상기 제어부가 상기 촬영부가 촬영한 영상으로부터 무인항공기를 기준으로 하는 상기 요구조자의 상대적 위치를 검출하고, 상기 무인항공기의 항법부를 통해 무인항공기의 지리적 위치를 도출하고, 상기 무인항공기의 지리적 위치를 기초로 상기 요구조자의 상대적 위치를 지리적 위치로 변환한 후, 상기 변환된 지리적 위치를 상기 무인항공기의 통신부를 통해 상기 관제장치로 전송할 수 있다. In the controlling step, the control unit detects the relative position of the requesting person with respect to the unmanned aerial vehicle from the image captured by the photographing unit, derives the geographic position of the unmanned aerial vehicle through the navigation unit of the unmanned aerial vehicle, and After converting the relative location of the requestor into a geographic location based on the geographic location, the converted geographic location may be transmitted to the control device through the communication unit of the unmanned aerial vehicle.

상기 제어하는 단계는 상기 산출된 재난 상황 복잡도가 소정의 임계 수준 미만이면, 상기 제어부가 상기 구동부를 통해 상기 무인항공기가 상기 목적 위치를 중심으로 선회하도록 하는 것을 특징으로 한다. In the controlling, if the calculated disaster situation complexity is less than a predetermined threshold level, the control unit may cause the unmanned aerial vehicle to pivot around the target location through the driving unit.

상기 재난 상황 복잡도를 산출하는 단계는 상기 분석부의 상황판단모델이 상기 촬영부가 촬영한 영상이 재난 상황에 속하는지 여부에 대한 확률을 산출하는 단계와, 상기 분석부가 상기 산출된 확률에 따라 상기 재난 상황 여부를 판단하는 단계를 포함한다. 상기 분석부가 상기 산출된 확률에 따라 상기 재난 상황 여부를 판단하는 단계는 상기 분석부가 상기 산출된 확률이 기 설정된 수치 이상이면 재난 상황인 것으로 판단하는 것이 바람직하다. The calculating of the disaster situation complexity includes: calculating, by the situation determination model of the analysis unit, a probability of whether the image captured by the photographing unit belongs to a disaster situation, and the analysis unit according to the calculated probability determining whether or not In the step of the analysis unit determining whether the disaster situation exists according to the calculated probability, it is preferable that the analysis unit determine the disaster situation if the calculated probability is greater than or equal to a preset value.

상기 객체를 검출하는 단계는 상기 검출부의 객체분류모델이 연산을 통해 상기 촬영부가 촬영한 영상에 포함된 객체가 차지하는 영역을 나타내는 영역박스의 좌표 및 영역박스 내의 객체가 적어도 하나의 기 설정된 클래스에 속할 확률을 산출하여 출력하는 단계와, 상기 검출부가 상기 산출된 클래스에 속할 확률이 기 설정된 임계치 이상인 경우, 해당 영역박스 내에 해당 클래스의 객체가 존재하는 것으로 인식하는 단계를 포함한다. In the detecting of the object, coordinates of an area box indicating an area occupied by an object included in an image captured by the photographing unit through an object classification model of the detection unit and an object in the area box belong to at least one preset class calculating and outputting a probability; and recognizing that an object of the corresponding class exists in the corresponding area box when the probability that the detection unit belongs to the calculated class is equal to or greater than a preset threshold.

본 발명에 따르면, 무인항공기(UAV: Unmanned Aerial Vehicle)가 촬영한 영상을 인공지능 및 컴퓨터비전 기술을 통해 분석함으로써 상황을 인지하고, 재난 상황 복잡도를 판단한다. 그리고 재난 상황 복잡도에 따라 무인항공기의 이동 및 영상 촬영을 자체적으로 제어함으로써 인력 자원을 최소화 시키며 효율적인 제어가 가능해진다. 결과적으로 본 발명을 통해 무인항공기의 사용 전력을 최소화하면서 동시에 다수의 무인항공기을 활용할 수 있어 인명 구조 활동을 최대화 할 수 있다. According to the present invention, a situation is recognized and the complexity of a disaster situation is determined by analyzing an image captured by an unmanned aerial vehicle (UAV) through artificial intelligence and computer vision technology. In addition, by autonomously controlling the movement and video recording of the unmanned aerial vehicle according to the complexity of the disaster situation, manpower resources are minimized and efficient control becomes possible. As a result, through the present invention, it is possible to minimize the power used by the unmanned aerial vehicle and to utilize a plurality of unmanned aerial vehicles at the same time, thereby maximizing the lifesaving activity.

도 1은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 관제장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 무인항공기의 구성을 설명하기 위한 블록도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 무인항공기의 구성을 설명하기 위한 화면 예이다.
도 6은 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법을 설명하기 위한 흐름도이다.
도 7 및 도 8은 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법을 설명하기 위한 화면 예이다. 1 is a view for explaining a system for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention according to an embodiment of the present invention.
2 is a block diagram for explaining the configuration of a control device according to an embodiment of the present invention.
3 is a block diagram for explaining the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.
4 and 5 are screen examples for explaining the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.
6 is a flowchart illustrating a method for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention.
7 and 8 are screen examples for explaining a method for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. For explanation, it should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.

먼저, 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 시스템(이하, '제어시스템'으로 축약함)은 기본적으로, 관제장치(100) 및 무인항공기(200)를 포함한다. First, a system for controlling an unmanned aerial vehicle based on the complexity of a disaster situation according to an embodiment of the present invention will be described. 1 is a view for explaining a system for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention according to an embodiment of the present invention. 1 , a system (hereinafter, abbreviated as 'control system') for controlling an unmanned aerial vehicle based on the complexity of a disaster situation according to an embodiment of the present invention is basically a control device 100 and the unmanned aerial vehicle 200 .

관제장치(100)는 무선 통신을 통해 무인항공기(200)를 제어하며, 무인항공기(200)로부터 수신되는 요구조자의 위치 등의 정보를 구조자에게 제공한다. The control device 100 controls the unmanned aerial vehicle 200 through wireless communication, and provides information, such as the location of the rescuer, received from the unmanned aerial vehicle 200 to the rescuer.

무인항공기(200)는 재난 현장 주변을 비행하며 재난 현장을 촬영한 후, 촬영된 영상으로부터 구조가 요구되는 요구조자의 위치를 탐지하여 관제장치(100)로 전송함으로써, 구난, 구인에 필요한 정보를 제공하는 역할을 수행한다. After the unmanned aerial vehicle 200 flies around the disaster site and shoots the disaster site, it detects the location of the person in need of rescue from the captured image and transmits it to the control device 100, thereby providing information necessary for rescue and rescue perform the role

그러면, 보다 상세히, 본 발명의 실시예에 따른 관제장치(100)에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 관제장치의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 관제장치(100)는 통신모듈(110), 입력모듈(120), 표시모듈(130), 저장모듈(140) 및 제어모듈(150)을 포함한다. Then, in more detail, the control device 100 according to the embodiment of the present invention will be described. 2 is a block diagram for explaining the configuration of a control device according to an embodiment of the present invention. Referring to FIG. 2 , the control device 100 according to an embodiment of the present invention includes a communication module 110 , an input module 120 , a display module 130 , a storage module 140 , and a control module 150 . do.

통신모듈(110)은 무인항공기(200)와 통신을 위한 것이다. 이러한 통신모듈(110)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신모듈(110)은 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 통신모듈(110)은 제어모듈(150)로부터 전달 받은 무인항공기(200)를 제어하기 위한 다양한 제어 명령을 수신하여 무인항공기(200)로 전송할 수 있다. 특히, 재난 상황이 발생한 경우, 무인항공기(200)가 재난 현장으로 이동하도록 재난 현장의 위치를 나타내는 지리적 위치, 즉, GPS 좌표를 무인항공기(200)로 전송할 수 있다. 또한, 통신모듈(110)은 무인항공기(200)로부터 다양한 데이터, 영상 등을 수신하여 제어모듈(150)로 전달할 수 있다. The communication module 110 is for communication with the unmanned aerial vehicle 200 . The communication module 110 may include an RF (Radio Frequency) transmitter (Tx) for up-converting and amplifying the frequency of the transmitted signal, and an RF receiver (Rx) for low-noise amplifying the received signal and down-converting the frequency. have. In addition, the communication module 110 may include a modem that modulates a transmitted signal and demodulates a received signal. The communication module 110 may receive various control commands for controlling the unmanned aerial vehicle 200 received from the control module 150 and transmit it to the unmanned aerial vehicle 200 . In particular, when a disaster situation occurs, a geographic location indicating the location of the disaster site, ie, GPS coordinates, may be transmitted to the unmanned aerial vehicle 200 so that the unmanned aerial vehicle 200 moves to the disaster site. In addition, the communication module 110 may receive various data, images, etc. from the unmanned aerial vehicle 200 and transmit it to the control module 150 .

입력모듈(120)은 관제장치(100)의 각 종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어모듈(150)에 전달한다. 입력모듈(120)은 전원을 켜거나, 끄기 위한 전원 키를 비롯하여, 관제장치(100)에 특정 입력을 위한 문자 키, 숫자 키, 방향키 등의 다양한 키를 포함할 수 있다. 입력모듈(120)의 기능은 표시모듈(130)이 터치스크린으로 구현된 경우, 표시모듈(130)에서 이루어질 수 있으며, 표시모듈(130)만으로 모든 기능을 수행할 수 있는 경우, 입력모듈(120)은 생략될 수도 있다. The input module 120 receives a user's key manipulation for controlling various functions and operations of the control device 100 , generates an input signal, and transmits the input signal to the control module 150 . The input module 120 may include a power key for turning power on or off, and various keys such as character keys, number keys, and direction keys for specific input to the control device 100 . The function of the input module 120 may be performed in the display module 130 when the display module 130 is implemented as a touch screen, and when all functions can be performed only by the display module 130, the input module 120 ) may be omitted.

표시모듈(130)은 제어모듈(150)로부터 화면 표시를 위한 데이터를 수신하여 수신된 데이터를 화면으로 표시할 수 있다. 예컨대, 본 발명의 실시예에 따른 재난 현장의 영상, 요구조자의 영상, 요구조자의 위치 등을 수신하면 제어모듈(150)은 재난 현장의 영상, 요구조자의 영상, 요구조자의 위치를 표시하도록 하는 데이터를 제공하고, 표시모듈(130)은 이를 화면으로 표시한다. 또한, 표시모듈(130)은 관제장치(100)의 메뉴, 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 표시모듈(130)이 터치스크린으로 형성되는 경우, 입력모듈(120)의 기능의 일부 또는 전부를 대신 수행할 수 있다. 표시모듈(130)은 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. The display module 130 may receive data for screen display from the control module 150 and display the received data on the screen. For example, upon receiving an image of a disaster site, an image of a person in need, and a location of a person in need according to an embodiment of the present invention, the control module 150 provides data to display the image of the disaster site, the image of the person in need, and the location of the person in need and the display module 130 displays it on the screen. In addition, the display module 130 may visually provide a menu, data, function setting information, and other various information of the control device 100 to the user. When the display module 130 is formed of a touch screen, some or all of the functions of the input module 120 may be performed instead. The display module 130 may be formed of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or the like.

저장모듈(140)은 관제장치(100)의 동작에 필요한 각 종 데이터, 애플리케이션, 관제장치(100)의 동작에 따라 발생된 각 종 데이터를 저장한다. 이러한 저장모듈(140)은 스토리지, 메모리 등이 될 수 있다. 특히, 저장모듈(140)은 선택적으로, 관제장치(100)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 애플리케이션을 저장할 수 있다. 저장모듈(140)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage module 140 stores various types of data necessary for the operation of the control device 100 , applications, and various types of data generated according to the operation of the control device 100 . The storage module 140 may be storage, memory, or the like. In particular, the storage module 140 may selectively store an operating system (OS) for booting and operation of the control device 100 and an application according to an embodiment of the present invention. Various types of data stored in the storage module 140 may be deleted, changed, or added according to a user's operation.

제어모듈(150)은 관제장치(100)의 전반적인 동작 및 관제장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어모듈(150)은 중앙 처리 장치(Central Processing Unit : CPU), 애플리케이션 프로세서(Application Processor), GPU(Graphic Processing Unit) 등이 될 수 있다. 제어모듈(150)은 재난 상황이 발생한 경우, 무인항공기(200)가 재난 현장으로 이동하도록 재난 현장의 위치를 나타내는 지리적 위치, 즉, GPS 좌표를 포함하는 출동 명령을 통신모듈(100)을 통해 무인항공기(200)로 전송할 수 있다. 또한, 제어모듈(150)은 통신모듈(110)을 통해 무인항공기(200)로부터 재난 현장의 영상, 요구조자의 위치 정보 등을 수신하면, 수신된 영상 및 요구조자의 위치 정보 등을 구조자가 식별할 수 있도록 표시모듈(130)을 통해 표시하도록 제어할 수 있다. 그 밖에 제어모듈(150)의 동작은 아래에서 보다 상세하게 설명될 것이다. The control module 150 may control the overall operation of the control device 100 and the signal flow between internal blocks of the control device 100 , and may perform a data processing function of processing data. The control module 150 may be a central processing unit (CPU), an application processor, a graphic processing unit (GPU), or the like. When a disaster situation occurs, the control module 150 transmits a dispatch command including a geographic location indicating the location of the disaster site, that is, GPS coordinates, through the communication module 100 so that the unmanned aerial vehicle 200 moves to the disaster site. It can be transmitted to the aircraft 200 . In addition, when the control module 150 receives an image of a disaster scene and location information of a person in need from the unmanned aerial vehicle 200 through the communication module 110 , the rescuer can identify the received image and location information of the person in need. It can be controlled to display through the display module 130 so as to In addition, the operation of the control module 150 will be described in more detail below.

다음으로, 본 발명의 실시예에 따른 무인항공기(200)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 무인항공기의 구성을 설명하기 위한 블록도이다. 도 4 및 도 5는 본 발명의 실시예에 따른 무인항공기의 구성을 설명하기 위한 화면 예이다. Next, the unmanned aerial vehicle 200 according to an embodiment of the present invention will be described. 3 is a block diagram for explaining the configuration of an unmanned aerial vehicle according to an embodiment of the present invention. 4 and 5 are screen examples for explaining the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 무인항공기(200)는 촬영부(210), 검출부(220), 추적부(230), 분석부(240), 항법부(250), 구동부(260), 통신부(270), 저장부(280) 및 제어부(290)를 포함한다. Referring to FIG. 3 , the unmanned aerial vehicle 200 according to an embodiment of the present invention includes a photographing unit 210 , a detection unit 220 , a tracking unit 230 , an analysis unit 240 , a navigation unit 250 , and a driving unit ( 260 ), a communication unit 270 , a storage unit 280 , and a control unit 290 .

촬영부(210)는 재난 현장에 대한 영상을 촬영하기 위한 것이다. 촬영부(210)는 촬영을 통해 복수의 영상을 생성한다. 이러한 촬영부(210)는 렌즈, 이미지센서 및 컨버터를 포함한다. 그 밖에, 소정의 필터 등이 촬영부(210)의 구성으로 더 포함될 수 있으며, 기구적으로, 렌즈, 이미지 센서 및 컨버터는 액추에이터(actuator)를 포함하는 하우징 내에 장착되고, 이러한 액추에이터를 구동시키는 드라이버 등이 촬영부(210)에 포함될 수 있다. 렌즈는 촬영부(210)에 입사되는 가시광선이 이미지 센서 상에 초점이 맺히도록 한다. 이미지 센서는 반도체 소자의 제조 기술을 이용하여 집적된 광전변환소자이다. 이미지 센서는 예컨대, CCD(charge-coupled device) 이미지 센서 혹은 CMOS(complementary metal-oxide semiconductor) 이미지 센서가 될 수 있다. 이러한 이미지 센서는 가시광선을 감지하여 영상을 구성하는 아날로그 신호인 아날로그 영상 신호를 출력한다. 그러면, 컨버터는 아날로그 영상 신호를 영상을 구성하는 디지털 신호인 디지털 영상 신호로 변환하여 제어부(290)로 전달한다. 특히, 본 발명의 실시예에 따른 촬영부(210)는 3D 센서(깊이 센서)를 포함할 수 있다. 3D 센서는 비접촉 방식으로 영상의 각 픽셀에 대한 3차원 좌표를 획득하기 위한 센서이다. 촬영부(210)는 객체를 촬영함과 동시에 3D 센서를 통해 촬영된 영상의 각 픽셀에 대한 3차원 좌표의 좌표값(예컨대, x, y, z값)을 검출할 수 있다. 이때, 3차원 좌표의 좌표값은 촬영부(210)의 이미지 센서의 초점을 0점으로 하였을 때의 좌표값이다. 3D 센서는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 이러한 3D 센서는 TOP(Time of Flight), 위상변위(Phase-shift) 및 온라인 웨이브폼 분석(Online Waveform Analysis) 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, 핸드헬드 리얼 타임(Handheld Real Time) 방식의 사진촬영(PHOTO), 광학방식 3차원 스캐너, 패턴 프로젝션(Pattern Projection) 혹은 라인 스캐닝(Line Scanning)을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱 퓨전(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다. 이에 따라, 촬영부(210)는 촬영된 영상에서 3차원의 좌표를 추출할 수 있으며, 이에 따라, 촬영부(210)의 현재 위치, 즉, 무인항공기(200)의 현재의 지리적 위치(GPS 좌표)로부터 촬영된 영상까지의 실제 거리를 측정할 수 있다. 무인항공기(200)의 현재의 지리적 위치(GPS 좌표)는 항법부(250)에 의해 획득할 수 있다. The photographing unit 210 is for photographing an image of the disaster site. The photographing unit 210 generates a plurality of images through photographing. The photographing unit 210 includes a lens, an image sensor, and a converter. In addition, a predetermined filter and the like may be further included in the configuration of the photographing unit 210 , and mechanically, a lens, an image sensor, and a converter are mounted in a housing including an actuator, and a driver that drives the actuator and the like may be included in the photographing unit 210 . The lens allows visible light incident on the photographing unit 210 to be focused on the image sensor. The image sensor is a photoelectric conversion device integrated using a semiconductor device manufacturing technology. The image sensor may be, for example, a charge-coupled device (CCD) image sensor or a complementary metal-oxide semiconductor (CMOS) image sensor. Such an image sensor detects visible light and outputs an analog image signal that is an analog signal constituting an image. Then, the converter converts the analog image signal into a digital image signal that is a digital signal constituting the image and transmits it to the controller 290 . In particular, the photographing unit 210 according to an embodiment of the present invention may include a 3D sensor (depth sensor). The 3D sensor is a sensor for acquiring 3D coordinates for each pixel of an image in a non-contact manner. The photographing unit 210 may detect the coordinate values (eg, x, y, z values) of the three-dimensional coordinates for each pixel of the image photographed through the 3D sensor while photographing the object. In this case, the coordinate values of the three-dimensional coordinates are coordinate values when the focus of the image sensor of the photographing unit 210 is set to zero. The 3D sensor may use various types of sensors using laser, infrared, visible light, and the like. These 3D sensors are a laser type 3D scanner using any one of TOP (Time of Flight), phase-shift, and online waveform analysis, a laser type 3D scanner using optical triangulation, and white light. Or optical 3D scanner using modulated light, Handheld Real Time method PHOTO, optical 3D scanner, Pattern Projection or Line Scanning method, a laser-type full-body scanner, a photo-type scanner using photogrammetry, a real-time scanner using Kinect Fusion, and the like may be exemplified. Accordingly, the photographing unit 210 may extract three-dimensional coordinates from the captured image, and accordingly, the current location of the photographing unit 210 , that is, the current geographic location (GPS coordinates) of the unmanned aerial vehicle 200 . ) can measure the actual distance from the captured image. The current geographic location (GPS coordinates) of the unmanned aerial vehicle 200 may be acquired by the navigation unit 250 .

촬영부(210)는 소정 주기로 영상을 촬영한다. 특히, 촬영부(210)는 제어부(290)의 제어에 따라 영상 촬영의 주기를 조절할 수 있다. 이때, 촬영부(210)는 재난 상황 복잡도가 높을수록 상대적으로 촬영 주기는 짧으며, 재난 상황 복잡도가 낮을수록 상대적으로 촬영 주기가 길게 조절한다. The photographing unit 210 captures an image at a predetermined cycle. In particular, the photographing unit 210 may adjust the cycle of image photographing according to the control of the control unit 290 . In this case, the photographing unit 210 adjusts the photographing period to be relatively short as the disaster situation complexity is higher, and the photographing period to be relatively long as the disaster situation complexity is low.

검출부(220)는 촬영부(210)가 촬영한 복수의 영상으로부터 적어도 하나의 기 설정된 클래스의 객체를 검출한다. 특히, 검출부(220)는 촬영부(210)가 촬영한 영상에서 사람 클래스(person class)의 객체로 요구조자를 검출할 수 있다. 또한, 검출부(220)는 촬영부(210)가 촬영한 영상에서 요구조자와 구조에 도움이 될 만한 객체, 예컨대, 소화기, 소화전, 자동차, 자전거, 오토바이 등을 검출할 수 있다. The detection unit 220 detects an object of at least one preset class from a plurality of images captured by the photographing unit 210 . In particular, the detection unit 220 may detect the requestor as an object of a person class in the image captured by the photographing unit 210 . In addition, the detection unit 220 may detect an object that may be helpful in rescue and rescue, for example, a fire extinguisher, a fire hydrant, a car, a bicycle, a motorcycle, and the like, from the image captured by the photographing unit 210 .

예컨대, 검출부(220)는 도 4에 도시된 바와 같이, 영상에서 객체(obj)가 차지하는 영역을 나타내는 영역박스(B: Bounding Box)의 좌표(x, y, w, h) 및 해당 객체(obj)가 적어도 하나의 기 설정된 클래스(예컨대, Person class, Car class, Tree class 등)에 속할 확률(예컨대, Person = 0.88, Car = 0.01, Person = 0.11)을 출력하도록 학습된 인공신경망 모델인 객체분류모델을 포함한다. 이러한 객체분류모델은 YOLO, YOLOv2, YOLO9000, YOLOv3 등을 예시할 수 있다. 영역박스(B)의 좌표 중 x, y, 는 영상에서 영역박스(B)의 중심 좌표이며, w는 폭, h는 높이를 나타낸다. For example, as shown in FIG. 4 , the detection unit 220 includes coordinates (x, y, w, h) of an area box (B: Bounding Box) indicating the area occupied by the object obj in the image and the corresponding object obj ) is an artificial neural network model trained to output the probability (eg, Person = 0.88, Car = 0.01, Person = 0.11) belonging to at least one preset class (eg, Person class, Car class, Tree class, etc.) object classification includes the model. Such object classification models can be exemplified by YOLO, YOLOv2, YOLO9000, YOLOv3, and the like. Among the coordinates of the area box (B), x, y, are the center coordinates of the area box (B) in the image, w is the width, and h is the height.

검출부(220)는 객체분류모델에 촬영부(210)가 촬영한 영상을 입력하여 객체분류모델이 촬영부(210)가 촬영한 영상에 대한 연산을 통해 영역박스(B)의 좌표(x, y, w, h) 및 영역박스(B) 내의 객체가 적어도 하나의 기 설정된 클래스에 속할 확률을 출력하면, 출력된 적어도 하나의 기 설정된 클래스에 속할 확률이 기 설정된 임계치(예컨대, 0.80 = 80%) 이상이면, 영역박스(B) 내에 해당 클래스의 객체가 존재하는 것으로 인식하고, 이를 검출할 수 있다. The detection unit 220 inputs the image photographed by the photographing unit 210 to the object classification model, and the object classification model calculates the coordinates (x, y) of the area box B through the operation on the image photographed by the photographing unit 210 . , w, h) and if the probability that the object in the area box B belongs to at least one preset class is output, the probability of belonging to the output at least one preset class is a preset threshold (eg, 0.80 = 80%) If this is the case, it is recognized that an object of the corresponding class exists in the area box B, and it can be detected.

또한, 검출부(220)는 제어부(290)의 제어에 따라 영역박스(B)의 중심 좌표(x, y)를 지리적 좌표, 즉, GPS 좌표로 변환할 수 있다. 즉, 검출부(220)는 항법부(250)를 통해 도출된 무인항공기(200)의 현재의 지리적 위치(GPS 위치) 및 촬영부(210)의 3D 센서(깊이 센서)를 통해 도출되는 무인항공기(200)로부터 촬영된 영역박스(B)의 객체까지의 거리를 통해 중심 좌표(x, y)를 지리적 좌표(GPS 좌표)로 변환할 수 있다. Also, the detector 220 may convert the center coordinates (x, y) of the area box B into geographic coordinates, that is, GPS coordinates under the control of the controller 290 . That is, the detection unit 220 is the current geographical position (GPS position) of the unmanned aerial vehicle 200 derived through the navigation unit 250 and the 3D sensor (depth sensor) of the photographing unit 210 (depth sensor) of the unmanned aerial vehicle ( 200), the center coordinates (x, y) can be converted into geographic coordinates (GPS coordinates) through the distance from the photographed area box B to the object.

추적부(230)는 촬영부(210)가 촬영한 복수의 영상에서 검출부(220)가 검출한 복수의 객체를 추적하기 위한 것이다. 추적부(230)는 촬영부(210)가 촬영한 복수의 영상이 시간 순서로 존재할 때, 이전 영상에서 검출부(220)가 검출한 객체와 현재 영상에서 검출부(220)가 검출한 객체 간의 동일한 객체인지 여부를 판단하고, 일련번호를 부여한다. 이에 따라, 추적부(230)는 개별 객체를 모두 구분하여 객체를 추적할 수 있다. 예컨대, 추적부(230)는 도 5의 (a)의 영상과 같이, 검출된 사람 객체에 일련번호 ①을 부여하고 차량 두 대에 일련번호 ② 및 ③을 부여한다. 또한, 도 5의 (a)에서 포커스가 변경된 도 5의 (b)와 같은 영상에서와 같이, 동일한 객체인 사람 및 차량 객체에 일련번호 ① 및 ②가 유지되고, 새로 검출된 차량 객체에 일련번호 ④를 할당함으로써 중복을 피할 수 있다. The tracking unit 230 is for tracking a plurality of objects detected by the detection unit 220 in the plurality of images captured by the photographing unit 210 . When a plurality of images captured by the photographing unit 210 exist in chronological order, the tracking unit 230 detects the same object between the object detected by the detection unit 220 in the previous image and the object detected by the detection unit 220 in the current image. It is determined whether or not it is recognized, and a serial number is assigned. Accordingly, the tracking unit 230 may track the objects by classifying all individual objects. For example, the tracking unit 230 gives serial numbers ① to the detected human object and serial numbers ② and ③ to two vehicles as shown in the image of FIG. 5A . In addition, as in the image of FIG. 5 (b) in which the focus is changed in (a) of FIG. 5, serial numbers ① and ② are maintained for the same object, person and vehicle object, and serial numbers are applied to the newly detected vehicle object. By assigning ④, duplication can be avoided.

분석부(240)는 촬영부(210)가 촬영한 복수의 영상으로부터 재난 상황 여부를 확인하기 위한 것이다. 분석부(240)는 영상이 입력되면, 입력되는 영상이 재난 상황에 속하는지 여부에 대한 확률을 산출하여 출력하도록 학습한 인공신경망 모델인 상황판단모델을 포함한다. 이러한 상황판단모델은 대표적으로, CNN(convolution neural network)을 통해 생성할 수 있으며, 예컨대 기존에 알려진 딥러닝 기반의 모델로 재난 장면(예를 들어, 화재, 지진, 홍수, 산사태 등)을 학습한 이미지 분류를 이용하여 판별이 가능하다. 분석부(240)는 상황판단모델에 촬영부(210)가 촬영한 영상을 입력한다. 그러면, 상황판단모델은 촬영부(210)가 촬영한 영상에 대해 연산을 통해 재난 상황에 속하는지 여부에 대한 확률을 산출한다. 예컨대, 상황판단모델은 재난 상황일 확률 및 재난 상황이 아닐 확률을 출력할 수 있다. 그러면, 분석부(240)는 상황판단모델의 출력, 즉, 재난 상황에 속하는지 여부에 대한 확률에 따라 재난 상황 여부를 확인할 수 있다. 이때, 분석부(240)는 재난 상황일 확률이 기 설정된 수치 이상인 경우에 재난 상황인 것으로 판단한다. 예컨대, 기 설정된 수치가 75%라고 가정한다. 일례로, 상황판단모델의 출력이 재난 상황일 확률 70% 그리고 재난 상황이 아닐 확률이 30%이면, 분석부(240)는 재난 상황이 아닌 것으로 판단한다. 다른 예로, 상황판단모델의 출력이 재난 상황일 확률 76% 그리고 재난 상황이 아닐 확률이 24%이면, 분석부(240)는 재난 상황인 것으로 판단한다. The analysis unit 240 is for checking whether a disaster situation exists from a plurality of images captured by the photographing unit 210 . When an image is input, the analysis unit 240 includes a situation judgment model, which is an artificial neural network model learned to calculate and output a probability of whether the input image belongs to a disaster situation. Such a situation judgment model can be typically generated through a convolution neural network (CNN), for example, by learning disaster scenes (eg, fire, earthquake, flood, landslide, etc.) with a known deep learning-based model. It can be identified using image classification. The analysis unit 240 inputs the image captured by the photographing unit 210 to the situation determination model. Then, the situation determination model calculates a probability of whether the image belongs to a disaster situation through calculation on the image captured by the photographing unit 210 . For example, the situation judgment model may output a probability that is a disaster situation and a probability that is not a disaster situation. Then, the analysis unit 240 may check whether a disaster situation exists according to the output of the situation determination model, that is, the probability of whether or not it belongs to a disaster situation. In this case, the analysis unit 240 determines that the disaster situation is a disaster situation when the probability of the disaster situation is greater than or equal to a preset value. For example, it is assumed that the preset value is 75%. For example, if the output of the situation judgment model has a 70% probability of being a disaster situation and a 30% probability that it is not a disaster situation, the analysis unit 240 determines that it is not a disaster situation. As another example, if the output of the situation determination model has a probability of a disaster situation of 76% and a probability that it is not a disaster situation of 24%, the analysis unit 240 determines that it is a disaster situation.

또한, 분석부(240)는 재난 상황인 경우, 재난 상황 복잡도를 산출할 수 있다. 재난 상황 복잡도는 현재 영상에 존재하는 요구조자의 수와 재난 상황 판별을 통해 복합적으로 계산한다. 일 실시예에 따르면, 분석부(240)는 복수의 영상에서 검출된 객체 중 요구조자(예컨대, Person class) 존재 여부, 요구조자의 수, 요구조자의 수의 증감 및 요구조자의 밀도에 따라 재난 상황 복잡도를 산출할 수 있다. 분석부(240)는 예컨대, 재난 상황의 복잡도를 양호, 주의, 심각, 긴급의 4단계로 구분할 수 있다. Also, in the case of a disaster situation, the analyzer 240 may calculate a disaster situation complexity. The disaster situation complexity is calculated complexly by determining the number of people in the current video and the disaster situation. According to an embodiment, the analysis unit 240 calculates the disaster situation complexity according to the existence of a person (eg, a Person class) among the objects detected in the plurality of images, the number of requesters, the increase/decrease in the number of requesters, and the density of the requesters can do. The analysis unit 240 may classify the complexity of the disaster situation into four levels of good, caution, serious, and urgency, for example.

항법부(250)는 무인항공기(200)의 현재의 지리적 위치(위도, 경도, 고도) 및 자세(yaw, roll, pitch) 등을 측정하기 위한 것이다. 이러한 항법부(250)는 GPS 위성으로부터 GPS 신호를 수신하기 위한 GPS 신호 수신 모듈, 모션을 측정하기 위한 자이로센서, 각속도, 가속도 등의 센서를 포함한다. 항법부(250)는 GPS 신호 및 센서들이 측정한 센서값을 이용하여 현재의 지리적 위치 및 자세를 측정하고, 측정된 현재 지리적 위치 및 자세를 제어부(290)로 전송한다. The navigation unit 250 is for measuring the current geographical position (latitude, longitude, altitude) and posture (yaw, roll, pitch) of the unmanned aerial vehicle 200 . The navigation unit 250 includes a GPS signal receiving module for receiving a GPS signal from a GPS satellite, a gyro sensor for measuring motion, and sensors such as angular velocity and acceleration. The navigation unit 250 measures the current geographic location and posture using the GPS signal and the sensor values measured by the sensors, and transmits the measured current geographic location and posture to the controller 290 .

구동부(260)는 양력을 발생시켜 무인항공기(200)가 비행할 수 있도록 하기 위한 것이다. 이러한 구동부(260)는 프로펠러, 모터 등을 포함한다. 구동부(260)는 제어부(290)의 제어에 따른 방향 및 속도로 무인항공기(200)를 비행하도록 한다. 특히, 구동부(260)는 제어부(290)의 제어에 따라 소정 영역 내에서 무인항공기(200)가 정지 비행(hovering)할 수 있도록 프로펠러의 회전 속도를 조절할 수 있다. 특히, 구동부(260)는 제어부(290)의 제어에 따라 무인항공기(200)가 항법부(250)가 현재 위치로부터 재난 현장의 위치로 설정한 경로를 따라 비행하도록 프로펠러, 모터 등을 구동시킬 수 있다. 구동부(260)는 제어부(290)의 제어에 따라 요구조자의 위치가 촬영부(210)가 촬영하는 영상의 중심에 위치하도록 프로펠러, 모터 등을 구동시켜 무인항공기(200)를 이동시킬 수 있다. 또한, 구동부(260)는 제어부(290)의 제어에 따라 무인항공기(200)가 재난 현장을 선회하도록 프로펠러, 모터 등을 구동시킬 수 있다. The driving unit 260 is for generating lift so that the unmanned aerial vehicle 200 can fly. The driving unit 260 includes a propeller, a motor, and the like. The driving unit 260 allows the unmanned aerial vehicle 200 to fly in a direction and speed according to the control of the controller 290 . In particular, the driving unit 260 may adjust the rotation speed of the propeller so that the unmanned aerial vehicle 200 can hover within a predetermined area according to the control of the controller 290 . In particular, the driving unit 260 may drive the propellers, motors, etc., so that the unmanned aerial vehicle 200 flies along the path set by the navigation unit 250 from the current location to the location of the disaster site under the control of the control unit 290 . have. The driving unit 260 may move the unmanned aerial vehicle 200 by driving a propeller, a motor, etc. so that the position of the requestor is located at the center of the image photographed by the photographing unit 210 under the control of the control unit 290 . In addition, the driving unit 260 may drive a propeller, a motor, etc. to rotate the unmanned aerial vehicle 200 around the disaster site under the control of the control unit 290 .

통신부(270)는 관제장치(100) 혹은 다른 무인항공기(200)와 통신하기 위한 것이다. 통신부(270)는 송신하기 위한 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(270)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 통신부(270)는 제어부(290)의 제어에 따라 재난 현장의 영상, 요구조자의 영상, 요구조자의 위치 등을 관제장치(100)로 전송한다. The communication unit 270 is for communicating with the control device 100 or another unmanned aerial vehicle 200 . The communication unit 270 may include a radio frequency (RF) transmitter (Tx) for up-converting and amplifying the frequency of a signal for transmission, and an RF receiver (Rx) for low-noise amplifying a received signal and down-converting the frequency. . In addition, the communication unit 270 may include a modem that modulates a transmitted signal and demodulates a received signal. The communication unit 270 transmits the image of the disaster site, the image of the person in need, the location of the person in need, and the like to the control device 100 under the control of the control unit 290 .

저장부(280)는 무인항공기(200)의 동작에 필요한 각 종 데이터, 애플리케이션, 무인항공기(200)의 동작에 따라 발생된 각 종 데이터를 저장한다. 이러한 저장부(280)는 스토리지, 메모리 등이 될 수 있다. 특히, 저장부(280)는 선택적으로, 무인항공기(200)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 재난 현장의 영상, 검출된 객체, 요구조자의 영상, 요구조자의 위치 등의 데이터를 저장할 수 있다. 저장부(280)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 280 stores various types of data necessary for the operation of the unmanned aerial vehicle 200 , applications, and various types of data generated according to the operation of the unmanned aerial vehicle 200 . The storage unit 280 may be storage, memory, or the like. In particular, the storage unit 280 selectively includes an operating system (OS) for booting and operation of the unmanned aerial vehicle 200, an image of a disaster site according to an embodiment of the present invention, and the detected It is possible to store data such as an object, an image of the requestor, and the location of the requestor. Various types of data stored in the storage unit 280 may be deleted, changed, or added according to a user's manipulation.

제어부(290)는 무인항공기(200)의 전반적인 동작 및 무인항공기(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(290)는 중앙 처리 장치(Central Processing Unit : CPU), 애플리케이션 프로세서(Application Processor), GPU(Graphic Processing Unit) 등이 될 수 있다. The controller 290 may control the overall operation of the unmanned aerial vehicle 200 and a signal flow between internal blocks of the unmanned aerial vehicle 200 and perform a data processing function of processing data. The controller 290 may be a central processing unit (CPU), an application processor, a graphic processing unit (GPU), or the like.

제어부(290)는 재난 상황 복잡도에 따라 구동부(260)를 통해 무인항공기(200)의 비행 방향을 제어할 수 있다. 이때, 제어부(290)는 산출된 재난 상황 복잡도가 소정의 임계 수준 이상이면, 요구조자의 위치가 촬영부(210)가 촬영하는 영상의 중심에 위치하도록 구동부(260)를 제어하여 무인항공기(200)를 이동시킨다. 반면, 제어부(290)는 산출된 재난 상황 복잡도가 소정의 임계 수준 미만이면, 구동부(260)를 제어하여 재난 현장을 중심으로 무인항공기(200)가 선회하도록 할 수 있다. The controller 290 may control the flight direction of the unmanned aerial vehicle 200 through the driving unit 260 according to the complexity of the disaster situation. At this time, if the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the controller 290 controls the driving unit 260 so that the position of the person requesting is located at the center of the image photographed by the photographing unit 210 to the unmanned aerial vehicle 200 . move the On the other hand, when the calculated disaster situation complexity is less than a predetermined threshold level, the controller 290 may control the driving unit 260 to cause the unmanned aerial vehicle 200 to turn around the disaster site.

제어부(290)는 재난 상황 복잡도에 따라 촬영부(210)의 촬영 주기를 제어할 수 있다. 이때, 제어부(290)는 분석부(240)가 산출한 재난 상황 복잡도가 기 설정된 임계 수준 이상이면, 촬영부(210)의 촬영 주기를 기 설정된 기준치 미만으로 감소시켜 촬영하도록 제어한다. 반면, 분석부(240)가 산출한 재난 상황 복잡도가 기 설정된 임계 수준 미만이면, 촬영부(210)의 촬영 주기를 기 설정된 기준치 이상으로 증가시켜 촬영하도록 제어한다. The controller 290 may control the photographing cycle of the photographing unit 210 according to the complexity of the disaster situation. In this case, when the complexity of the disaster situation calculated by the analysis unit 240 is greater than or equal to a preset threshold level, the controller 290 controls the photographing by reducing the photographing period of the photographing unit 210 to less than a predetermined reference value. On the other hand, if the disaster situation complexity calculated by the analysis unit 240 is less than a preset threshold level, the photographing period of the photographing unit 210 is increased to be greater than or equal to a predetermined reference value to control the photographing.

이러한 제어부(290)의 동작은 아래에서 보다 상세하게 설명될 것이다. The operation of the controller 290 will be described in more detail below.

다음으로, 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법을 설명하기 위한 흐름도이다. 그리고 도 7 및 도 8은 본 발명의 실시예에 따른 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 방법을 설명하기 위한 화면 예이다. Next, a method for controlling an unmanned aerial vehicle based on the complexity of a disaster situation according to an embodiment of the present invention will be described. 6 is a flowchart illustrating a method for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention. 7 and 8 are screen examples for explaining a method for controlling an unmanned aerial vehicle based on a disaster situation complexity according to an embodiment of the present invention.

도 6을 참조하면, 무인항공기(200)의 제어부(290)는 S110 단계에서 통신부(270)를 통해 관제장치(100)로부터 목적 위치에 대한 위치 정보를 지리적 위치(GPS 좌표)로 수신하고, 항법부(250)를 통해 현재 위치로부터 수신된 목적 위치로 경로를 설정하고 해당 경로를 따라 비행하도록 구동부(260)를 제어하여 수신된 목적 위치로 이동한다. 여기서, 관제장치(100)로부터 수신된 목적 위치는 재난 현장의 위치가 될 수 있다. Referring to FIG. 6 , the control unit 290 of the unmanned aerial vehicle 200 receives location information about a target location from the control device 100 as a geographic location (GPS coordinates) through the communication unit 270 in step S110, and navigation A route is set from the current location to the received target location through the unit 250 , and the drive unit 260 is controlled to fly along the corresponding route to move to the received target location. Here, the target location received from the control device 100 may be the location of the disaster site.

목적 위치에 도착하면 제어부(290)는 S120 단계에서 촬영부(210)를 통해 현장을 촬영한다. 그러면, 검출부(220)는 S140 단계에서 촬영부(210)가 촬영한 복수의 영상에서 객체를 검출한다. 예컨대, 검출부(220)는 도 4에 도시된 바와 같이, 영상에서 객체(obj)가 차지하는 영역을 나타내는 영역박스(B: Bounding Box)의 좌표(x, y, w, h) 및 해당 객체(obj)가 적어도 하나의 기 설정된 클래스(예컨대, Person class, Car class, Tree class 등)에 속할 확률(예컨대, Person = 0.88, Car = 0.01, Person = 0.11)을 출력하도록 학습된 인공신경망 모델인 객체분류모델을 포함한다. 이에 따라, 검출부(220)는 객체분류모델에 촬영부(210)가 촬영한 영상을 입력하여 객체분류모델이 촬영부(210)가 촬영한 영상에 대한 연산을 통해 영역박스(B)의 좌표(x, y, w, h) 및 영역박스(B) 내의 객체가 적어도 하나의 기 설정된 클래스에 속할 확률을 출력하면, 출력된 적어도 하나의 기 설정된 클래스에 속할 확률이 기 설정된 임계치(예컨대, 0.80 = 80%) 이상이면, 영역박스(B) 내에 해당 클래스의 객체가 존재하는 것으로 인식하고, 이를 검출한다. When arriving at the target location, the control unit 290 captures the scene through the photographing unit 210 in step S120 . Then, the detection unit 220 detects an object from the plurality of images captured by the photographing unit 210 in step S140 . For example, as shown in FIG. 4 , the detection unit 220 includes coordinates (x, y, w, h) of an area box (B: Bounding Box) indicating the area occupied by the object obj in the image and the corresponding object obj ) is an artificial neural network model trained to output the probability (eg, Person = 0.88, Car = 0.01, Person = 0.11) belonging to at least one preset class (eg, Person class, Car class, Tree class, etc.) object classification includes the model. Accordingly, the detection unit 220 inputs the image photographed by the photographing unit 210 to the object classification model, and the object classification model calculates the coordinates of the area box B through the operation on the image photographed by the photographing unit 210 ( If x, y, w, h) and the probability that the object in the area box B belongs to at least one preset class are output, the output probability of belonging to at least one preset class is a preset threshold (eg, 0.80 = 80%) or more, it is recognized that an object of the corresponding class exists in the area box (B), and it is detected.

이어서, 추적부(230)는 S150 단계에서 촬영부(210)가 촬영한 복수의 영상에서 검출부(220)가 검출한 객체를 추적한다. 이때, 추적부(230)는 검출부(220)가 검출한 객체의 일련번호를 할당하고 추적한다. 이에 따라, 모든 객체를 중복 없이 계수할 수 있다. 예컨대, 추적부(230)는 도 5의 (a)의 영상과 같이, 검출된 사람 객체에 일련번호 ①을 부여하고 차량 두 대에 일련번호 ② 및 ③을 부여한다. 또한, 도 5의 (a)에서 포커스가 변경된 도 5의 (b)와 같은 영상에서와 같이, 동일한 객체인 사람 및 차량 객체에 일련번호 ① 및 ②가 유지되고, 새로 검출된 차량 객체에 일련번호 ④를 할당함으로써 중복을 피할 수 있다. Subsequently, the tracking unit 230 tracks the object detected by the detection unit 220 from the plurality of images captured by the photographing unit 210 in step S150 . In this case, the tracking unit 230 allocates and tracks the serial number of the object detected by the detection unit 220 . Accordingly, all objects can be counted without duplication. For example, the tracking unit 230 gives serial numbers ① to the detected human object and serial numbers ② and ③ to two vehicles as shown in the image of FIG. 5A . In addition, as in the image of FIG. 5 (b) in which the focus is changed in (a) of FIG. 5, serial numbers ① and ② are maintained for the same object, person and vehicle object, and serial numbers are applied to the newly detected vehicle object. By assigning ④, duplication can be avoided.

다음으로, 분석부(240)는 S160 단계에서 촬영부(210)가 촬영한 복수의 영상을 기초로 재난 상황인지 여부 및 재난 상황 복잡도를 산출한다. 이때, 분석부(240)는 촬영부(210)가 촬영한 영상으로부터 재난 상황 여부를 확인한다. 이는 제어부(290)의 제어에 따라 이루어질 수 있다. 전술한 바와 같이, 분석부(240)는 영상이 입력되면, 입력되는 영상이 재난 상황에 속하는지 여부에 대한 확률을 산출하여 출력하도록 학습한 인공신경망 모델인 상황판단모델을 포함한다. 이에 따라, 분석부(240)는 상황판단모델에 촬영부(210)가 촬영한 영상을 입력하며, 상황판단모델이 촬영부가 촬영한 영상에 대해 산출한 재난 상황에 속하는지 여부에 대한 확률에 따라 재난 상황 여부를 확인할 수 있다. 이와 같이, 재난 상황인 것인 것으로 판단된 경우, 분석부(240)는 복수의 영상에서 검출된 객체 중 요구조자(예컨대, Person class) 존재 여부, 요구조자의 수, 요구조자의 수의 증감 및 요구조자의 밀도에 따라 재난 상황 복잡도를 산출할 수 있다. Next, the analysis unit 240 calculates whether a disaster situation exists and the complexity of the disaster situation based on the plurality of images captured by the photographing unit 210 in step S160 . In this case, the analysis unit 240 checks whether a disaster situation exists from the image captured by the photographing unit 210 . This may be performed under the control of the controller 290 . As described above, when an image is input, the analysis unit 240 includes a situation judgment model, which is an artificial neural network model learned to calculate and output a probability of whether the input image belongs to a disaster situation. Accordingly, the analysis unit 240 inputs the image captured by the photographing unit 210 to the situation determination model, and according to the probability of whether the situation determination model belongs to the disaster situation calculated for the image photographed by the photographing unit You can check if there is a disaster situation. As such, when it is determined that there is a disaster situation, the analysis unit 240 determines whether a requestor (eg, Person class) exists among the objects detected in the plurality of images, the number of requesters, the increase/decrease in the number of requesters, and the density of requesters According to this, the disaster situation complexity can be calculated.

그런 다음, 제어부(290)는 S170 단계에서 분석부(240)가 산출한 재난 상황 복잡도에 따라 무인항공기(200)를 제어한다. Then, the control unit 290 controls the unmanned aerial vehicle 200 according to the disaster situation complexity calculated by the analysis unit 240 in step S170 .

S170 단계의 일례로, 제어부(290)는 재난 상황 복잡도에 따라 구동부(260)를 통해 무인항공기(200)의 비행 방향을 제어할 수 있다. As an example of step S170 , the controller 290 may control the flight direction of the unmanned aerial vehicle 200 through the driving unit 260 according to the complexity of the disaster situation.

보다 구체적으로 설명하면, 제어부(290)는 산출된 재난 상황 복잡도가 소정의 임계 수준 이상이면, 요구조자의 위치가 촬영부(210)가 촬영하는 영상의 중심에 위치하도록 구동부(260)를 제어하여 무인항공기(200)를 이동시킨다. 예컨대, 도 7의 (c)에 도시된 바에 따르면, 검출된 객체인 요구조자(R)는 화면의 측면에 위치한다. 따라서 제어부(290)는 요구조자(R)의 위치가 도 7의 (d)에 도시된 바와 같이 촬영부(210)가 촬영하는 영상의 중심에 위치하도록 구동부(260)를 제어하여 무인항공기(200)를 이동시킬 수 있다. More specifically, if the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the controller 290 controls the driver 260 so that the position of the person in question is located at the center of the image captured by the photographing unit 210 to unmanned. The aircraft 200 is moved. For example, as shown in FIG. 7C , the requestor R, which is the detected object, is located on the side of the screen. Therefore, the control unit 290 controls the driving unit 260 so that the position of the requesting person R is located at the center of the image photographed by the photographing unit 210 as shown in FIG. can be moved

이와 같이, 요구조자(R)의 위치가 도 7의 (d)에 도시된 바와 같이 촬영부(210)가 촬영하는 영상의 중심에 위치할 때, 제어부(290)는 요구조자의 지리적 위치를 검출하고, 검출된 요구조자의 지리적 위치를 통신부(270)를 통해 관제장치(100)로 전송할 수 있다. 보다 구체적으로 설명하면 다음과 같다. 제어부(290)는 촬영부(210)가 촬영한 영상으로부터 무인항공기(200)를 기준으로 하는 요구조자의 상대적 위치를 검출하고, 항법부(250)를 통해 무인항공기(200)의 지리적 위치, 즉, GPS 좌표를 도출한다. 그런 다음, 제어부(290)는 무인항공기(200)의 지리적 위치를 기초로 요구조자의 상대적 위치를 지리적 위치로 변환한 후, 변환된 지리적 위치를 통신부(270)를 통해 관제장치(100)로 전송할 수 있다. As such, when the position of the requesting party R is located in the center of the image photographed by the photographing unit 210 as shown in FIG. The detected geographical location of the requestor may be transmitted to the control device 100 through the communication unit 270 . In more detail, it is as follows. The control unit 290 detects the relative position of the requester with respect to the unmanned aerial vehicle 200 from the image captured by the photographing unit 210 , and the geographic position of the unmanned aerial vehicle 200 through the navigation unit 250 , that is, Derive GPS coordinates. Then, the control unit 290 converts the relative position of the requestor into a geographical position based on the geographical position of the unmanned aerial vehicle 200 , and then transmits the converted geographical position to the control device 100 through the communication unit 270 . have.

반면, 제어부(290)는 산출된 재난 상황 복잡도가 소정의 임계 수준 미만이면, 구동부(260)를 제어하여 목적 위치(GPS 좌표)를 중심으로 무인항공기(200)가 선회하도록 할 수 있다. 이때, 제어부(290)는 앞서(S110) 수신된 목적 위치(GPS 좌표)를 중심축으로 소정 거리 이격되어 원주의 경로를 생성하고, 생성된 경로를 따라 비행하며 촬영부(210)를 통해 재난 현장을 촬영 및 모니터링할 수 있다. On the other hand, if the calculated disaster situation complexity is less than a predetermined threshold level, the controller 290 may control the driving unit 260 to cause the unmanned aerial vehicle 200 to turn around the target location (GPS coordinates). At this time, the control unit 290 generates a circumferential path spaced apart from the target position (GPS coordinate) by a predetermined distance on the central axis (S110), and flies along the generated path to the disaster site through the photographing unit 210. can be filmed and monitored.

S170 단계의 다른 예로, 제어부(290)는 재난 상황 복잡도에 따라 촬영부(210)의 촬영 주기를 제어할 수 있다. 이는 제어부(290)가 무인항공기(200)의 전력 효율을 높이고 효과적인 구조 활동을 위해 재난 상황 복잡도에 따라 촬영 주기를 유동적으로 변경하는 것이다. As another example of step S170 , the controller 290 may control the photographing cycle of the photographing unit 210 according to the complexity of the disaster situation. In this case, the control unit 290 flexibly changes the shooting cycle according to the complexity of the disaster situation in order to increase the power efficiency of the unmanned aerial vehicle 200 and to perform effective rescue activities.

즉, 제어부(290)는 분석부(240)가 산출한 재난 상황 복잡도가 기 설정된 임계 수준 이상이면, 촬영부(210)의 촬영 주기를 기 설정된 기준치 미만으로 감소시켜 촬영하도록 제어한다. 반면, 분석부(240)가 산출한 재난 상황 복잡도가 기 설정된 임계 수준 미만이면, 촬영부(210)의 촬영 주기를 기 설정된 기준치 이상으로 증가시켜 촬영하도록 제어한다. That is, when the disaster situation complexity calculated by the analysis unit 240 is equal to or greater than a preset threshold level, the controller 290 controls the photographing unit 210 to reduce the photographing period to less than a predetermined reference value. On the other hand, if the disaster situation complexity calculated by the analysis unit 240 is less than a preset threshold level, the photographing period of the photographing unit 210 is increased to be greater than or equal to a predetermined reference value to control the photographing.

예컨대, 도 8의 (e)의 제1 영상들을 참조하면, 만일 촬영 주기가 길어 t=2 에 해당하는 영상을 촬영하지 못한다면 부정확한 객체 검출이 발생할 수 있다. 제1 영상들과 같이, 복수의 요구조자가 밀집해 있는 복잡한 재난 상황에서는 촬영 주기를 짧게 잡아 최대한 많은 객체들을 검출할 수 있도록 한다. 반대로 도 8의 (f)의 제2 영상들과 같이 상대적으로 재난 상황 복잡도가 낮은 경우에는 충분히 촬영 주기를 길게 잡더라도 오류 없이 정확한 객체 검출 및 추적을 수행할 수 있다. 즉, 도 8의 (f)의 제2 영상들의 경우, t=2에서 촬영한 영상이 없는 경우에도 객체 검출 및 추적에 문제가 없다. 더욱이, 이러한 경우 촬영 주기를 길게 잡아 불필요한 연산을 제거할 수 있어 무인항공기(200)의 전력 효율이 올라가게 되고, 이는 재난 상황에서 무인항공기(200)의 장시간 비행을 가능하게 해 효과적인 인명 구조 활동을 하는 데 도움이 될 수 있다. For example, referring to the first images of FIG. 8(e) , if the image corresponding to t=2 cannot be captured because the capturing period is long, inaccurate object detection may occur. As in the first images, in a complex disaster situation in which a plurality of users are concentrated, the shooting period is shortened to detect as many objects as possible. Conversely, when the complexity of a disaster situation is relatively low as in the second images of FIG. 8(f) , accurate object detection and tracking can be performed without error even if the shooting period is sufficiently long. That is, in the case of the second images of FIG. 8(f), there is no problem in object detection and tracking even when there is no image taken at t=2. Moreover, in this case, the power efficiency of the unmanned aerial vehicle 200 is increased because unnecessary calculations can be removed by lengthening the shooting period, which enables the unmanned aerial vehicle 200 to fly for a long time in a disaster situation, thereby performing effective lifesaving activities. can help to

한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable through various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language wires such as those generated by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

100: 관제장치 110: 통신모듈
120: 입력모듈 130: 표시모듈
140: 저장모듈 150: 제어모듈
200: 무인항공기 210: 촬영부
220: 검출부 230: 추적부
240: 분석부 250: 항법부
260: 구동부 270: 통신부
280: 저장부 290: 제어부 100: control device 110: communication module
120: input module 130: display module
140: storage module 150: control module
200: unmanned aerial vehicle 210: filming unit
220: detection unit 230: tracking unit
240: analysis unit 250: navigation unit
260: driving unit 270: communication unit
280: storage unit 290: control unit

Claims

In the device for controlling the unmanned aerial vehicle based on the complexity of the disaster situation,
a driving unit for generating lift so that the unmanned aerial vehicle flies to a target position;
a photographing unit generating a plurality of images through photographing;
a detector for detecting an object from the plurality of images;
a tracking unit for tracking the object detected by the detection unit in the plurality of images;
an analysis unit that determines whether a disaster situation exists based on the plurality of images, and if the determination result is a disaster situation, calculates disaster situation complexity based on the plurality of images; and
a control unit for controlling a flight direction of the unmanned aerial vehicle through the driving unit according to the calculated disaster situation complexity and controlling a photographing period of the photographing unit;
characterized in that it comprises,
A device for controlling an unmanned aerial vehicle.

According to claim 1,
The analysis unit
Disaster situation complexity is calculated according to the presence or absence of a requester among the objects detected in the plurality of images, the number of requesters, the increase/decrease in the number of persons in need, and the density of persons in need
A device for controlling an unmanned aerial vehicle.

According to claim 1,
the control unit
If the calculated disaster situation complexity is greater than or equal to a preset threshold level,
Controlling the photographing by increasing the photographing period of the photographing unit to more than a preset reference value,
If the calculated disaster situation complexity is less than a preset threshold level,
Controlling the photographing by reducing the photographing period of the photographing unit to less than a preset reference value
A device for controlling an unmanned aerial vehicle.

According to claim 1,
the control unit
When the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the driving unit is controlled to move the unmanned aerial vehicle so that the position of the requestor is located at the center of the image captured by the photographing unit.
A device for controlling an unmanned aerial vehicle.

According to claim 1,
the device is
a communication unit for communication with the control device; and
It further includes; a navigation unit for deriving the current location information of the unmanned aerial vehicle;
the control unit
Detecting the relative position of the requesting party with respect to the unmanned aerial vehicle from the image captured by the photographing unit, deriving the geographic location of the unmanned aerial vehicle through the navigation unit, and determining the relative position of the requesting person based on the geographical position of the unmanned aerial vehicle After converting to geographic location,
Transmitting the converted geographic location to the control device through the communication unit
A device for controlling an unmanned aerial vehicle.

According to claim 1,
the control unit
If the calculated disaster situation complexity is less than a predetermined threshold level,
Controlling the driving unit so that the unmanned aerial vehicle turns around the target position
A device for controlling an unmanned aerial vehicle.

According to claim 1,
The analysis unit
When an image is input, it includes a situation judgment model, which is an artificial neural network model learned to calculate and output a probability of whether the input image belongs to a disaster situation,
characterized in that the situation determination model determines whether the disaster situation exists according to the probability calculated for the image captured by the photographing unit
A device for controlling an unmanned aerial vehicle.

According to claim 1,
the detection unit
It includes an object classification model, which is an artificial neural network model trained to calculate and output coordinates of an area box indicating an area occupied by an object included in an image and a probability that an object in the area box belongs to at least one preset class,
When the object classification model calculates and outputs the coordinates of the area box indicating the area occupied by the object included in the image captured by the photographing unit through calculation and the probability that the object in the area box belongs to at least one preset class,
When the probability of belonging to the calculated class is greater than or equal to a preset threshold, it is characterized in that it is recognized that an object of the corresponding class exists in the corresponding area box.
A device for controlling an unmanned aerial vehicle.

In a method for controlling an unmanned aerial vehicle based on a disaster situation complexity,
generating, by the driving unit, lift force so that the unmanned aerial vehicle flies to the target position received from the control device;
generating, by a photographing unit, a plurality of images through photographing at the target location;
detecting an object in the plurality of images by a detector;
tracking an object detected in the plurality of images by a tracking unit;
calculating, by an analysis unit, a disaster situation complexity based on the plurality of images; and
controlling, by a controller, a flight direction of the unmanned aerial vehicle according to the calculated disaster situation complexity and controlling a photographing period of the photographing unit;
characterized by comprising
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The step of calculating the disaster situation complexity is
characterized in that the analysis unit calculates the disaster situation complexity according to the presence or absence of demanders among the objects detected in the plurality of images, the number of demanders, the increase/decrease in the number of demanders, and the density of demanders
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The controlling step is
When the calculated disaster situation complexity is greater than or equal to a preset threshold level, the controller controls the photographing unit to increase the photographing period to a preset reference value or more,
When the calculated disaster situation complexity is less than a preset threshold level, the photographing unit is controlled to photograph by reducing the photographing period to less than a predetermined reference value.
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The controlling step is
When the calculated disaster situation complexity is greater than or equal to a predetermined threshold level, the control unit controls the driving unit to move the unmanned aerial vehicle so that the position of the requestor is located at the center of the image captured by the photographing unit.
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The controlling step is
The control unit detects the relative position of the requesting person with respect to the unmanned aerial vehicle from the image captured by the photographing unit, derives the geographic location of the unmanned aerial vehicle through the navigation unit of the unmanned aerial vehicle, and based on the geographic location of the unmanned aerial vehicle After converting the relative location of the requestor into a geographic location, the converted geographic location is transmitted to the control device through a communication unit of the unmanned aerial vehicle
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The controlling step is
If the calculated disaster situation complexity is less than a predetermined threshold level,
characterized in that the control unit rotates the unmanned aerial vehicle around the target position through the driving unit
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The step of calculating the disaster situation complexity is
calculating, by the situation determination model of the analysis unit, a probability of whether the image captured by the photographing unit belongs to a disaster situation; and
and determining, by the analysis unit, whether the disaster situation exists according to the calculated probability.
A method for controlling an unmanned aerial vehicle.

10. The method of claim 9,
The step of detecting the object
Calculating and outputting coordinates of an area box indicating an area occupied by an object included in an image captured by the photographing unit through calculation by the object classification model of the detection unit and a probability that an object in the area box belongs to at least one preset class ; and
Recognizing, by the detection unit, that an object of the corresponding class exists in the corresponding area box when the probability of belonging to the calculated class is greater than or equal to a preset threshold;
A method for controlling an unmanned aerial vehicle.