KR102500221B1 - Control system and method of intelligent automatic flight UAV - Google Patents

Control system and method of intelligent automatic flight UAV Download PDF

Info

Publication number
KR102500221B1
KR102500221B1 KR1020210183434A KR20210183434A KR102500221B1 KR 102500221 B1 KR102500221 B1 KR 102500221B1 KR 1020210183434 A KR1020210183434 A KR 1020210183434A KR 20210183434 A KR20210183434 A KR 20210183434A KR 102500221 B1 KR102500221 B1 KR 102500221B1
Authority
KR
South Korea
Prior art keywords
control unit
flight
information
mission
uav
Prior art date
Application number
KR1020210183434A
Other languages
Korean (ko)
Inventor
우희성
류창형
Original Assignee
코아글림 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코아글림 주식회사 filed Critical 코아글림 주식회사
Priority to KR1020210183434A priority Critical patent/KR102500221B1/en
Application granted granted Critical
Publication of KR102500221B1 publication Critical patent/KR102500221B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The present invention relates to a control system of an intelligent autonomous flying unmanned aerial vehicle and a method therefor and specifically, relates to a technology that can provide intelligent autonomous flying unmanned aerial vehicle that, while performing a mission flight for an input-received route, can avoid obstacles by itself or flexibly respond to various emergency situations. The control system comprises: a flight control part; a terminal control part; and a mission control part.

Description

지능형 자율비행 무인기의 제어 시스템 및 그 방법 {Control system and method of intelligent automatic flight UAV}Control system and method of intelligent autonomous flight UAV {Control system and method of intelligent automatic flight UAV}

본 발명은 지능형 자율비행 무인기의 제어 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 지상에서 관제자가 직접 제어하지 않아도 스스로 장애물을 회피하고 입력받은 경로 비행을 수행하면서, 다양한 위급 상황에 유연하게 대처할 수 있는 지능형 자율비행 무인기의 제어 시스템 및 그 방법에 관한 것이다.The present invention relates to a control system and method for an intelligent self-flying UAV, and more particularly, can flexibly cope with various emergency situations while avoiding obstacles and flying on an input route by itself without direct control by a controller on the ground. It relates to a control system and method for an intelligent self-flying unmanned aerial vehicle.

지능형 자율비행이 가능한 무인기는 다양한 센서(일 예를 들자면, Accelerometer, Gyroscope, Magnetometer 등)를 포함하는 구성들을 이용하여 원하는 임무 비행를 수행할 수 있는 죄적 경로를 설계하고 이에 따른 자율 비행을 수행할 수 있다.An unmanned aerial vehicle capable of intelligent autonomous flight can design a path that can perform a desired mission flight using configurations including various sensors (for example, an accelerometer, gyroscope, magnetometer, etc.) and perform autonomous flight accordingly. .

그렇지만, 종래의 지능형 자율비행 무인기의 비행 제어 동작을 수행하는 비행 제어 시스템(Flight controller)의 경우, 다양한 센서를 통해서 융합 센싱 정보가 활용되기 때문에, 어느 하나의 센서라도 고장날 경우 이에 대한 이상 여부를 판단하는 것이 어려운 문제점이 있다.However, in the case of a flight control system (flight controller) that performs flight control operations of a conventional intelligent self-flying UAV, convergence sensing information is utilized through various sensors, so if any one sensor fails, it is determined whether there is something wrong with it. There are problems that are difficult to do.

종래의 지능형 자율비행 무인기의 경우, 이상 발생 시 비행 제어 불능 상태로 빠져 임의의 방향으로 비행하다가 추락하는 사고로 이어지기 때문에, 지능형 자율비행 무인기 자체의 이상 여부를 신속하게 판단하거나, 오동작을 유발하는 센서의 센싱 정보를 신속하게 보정하여 지능형 자율비행 무인기가 정상적인 비행 동작을 수행하도록 하는 제어 기능이 요구된다.In the case of conventional intelligent self-flying UAVs, when an abnormality occurs, flight control is lost, leading to an accident in which they fly in a random direction and fall. A control function is required to quickly correct the sensing information of the sensor so that the intelligent self-flying UAV can perform normal flight operations.

국내등록특허 제10-2254491호("지능형 영상 분석 모듈을 탑재한 자율비행 드론")에서는 드론에 구비된 카메라를 이용하여 지능형 영상 분석을 통해 원격 드론 이동 제어를 제공할 수 있는 기술을 개시하고 있다.Korean Patent Registration No. 10-2254491 ("Autonomous flying drone equipped with intelligent video analysis module") discloses a technology that can provide remote drone movement control through intelligent video analysis using a camera installed in the drone. .

국내 등록 특허 제10-2254491호 (등록일자 2021.05.14.)Domestic Registered Patent No. 10-2254491 (registration date 2021.05.14.)

본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 임무 컴퓨터(MC, Mission Computer)와 비행 제어 시스템(FC, Flight Controller) 및 통신 네트워크 접속이 가능한 무선 단말기를 동시에 탑재하고, 상호 간의 데이터 송수신을 통해서 임무 비행을 수행할 수 있는 지능형 자율비행 무인기의 제어 시스템 및 그 방법을 제공하는 것이다.The present invention was made to solve the problems of the prior art as described above, and an object of the present invention is a wireless terminal capable of accessing a mission computer (MC), a flight control system (FC, flight controller) and a communication network. To provide a control system and method for an intelligent self-flying unmanned aerial vehicle capable of carrying out mission flight through mutual data transmission and reception.

본 발명의 일 실시예에 따른 기지능형 자율비행 무인기의 제어 시스템에 있어서, 무인 비행을 위한 다양한 구성을 포함하는 지능형 자율비행 무인기의 제어 시스템에 있어서, 상기 지능형 자율비행 무인기에 포함되어, 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하고, 입력받은 자세 제어 정보에 따른 비행 제어 동작을 수행하는 비행 제어 시스템(FC, Flight Controller)을 포함하는 비행 제어부(100), 상기 지능형 자율비행 무인기에 포함되어, 기설치된 어플리케이션을 이용하여 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하고, 연결되는 통신망을 이용하여 지상국(GCS, Ground Control Station)과 통신하는 무선 단말수단을 포함하는 단말 제어부(200) 및 상기 지능형 자율비행 무인기에 포함되어, 상기 비행 제어부(100), 단말 제어부(200)와 각각 연결되며, 상기 현재 자세 정보를 전달받아 입력받은 임무 비행 경로에 따른 자세 제어 정보를 생성하여 전송하는 임무 컴퓨터(MC, Mission Computer)를 포함하는 임무 제어부(300)를 포함하는 것이 바람직하다.In the control system of an intelligent autonomous flying UAV according to an embodiment of the present invention, in the control system of an intelligent autonomous flying UAV including various configurations for unmanned flight, the intelligent autonomous flying UAV is included in the intelligent autonomous flying UAV. A flight controller 100 including a flight control system (FC, Flight Controller) that analyzes the current posture information of the flying UAV and performs a flight control operation according to the input attitude control information, included in the intelligent autonomous flying UAV, A terminal controller 200 including a wireless terminal means for analyzing current attitude information of the intelligent autonomous flying UAV using a pre-installed application and communicating with a Ground Control Station (GCS) using a connected communication network, and the intelligent A mission computer (MC) included in an autonomous UAV, connected to the flight control unit 100 and the terminal control unit 200, respectively, that receives the current attitude information and generates and transmits attitude control information according to the received mission flight path. It is preferable to include a mission controller 300 including a mission computer).

더 나아가, 상기 단말 제어부(200)는 내장된 영상 촬영 수단의 촬영 데이터를 이용하여, 머신러닝 기반 상기 촬영 데이터의 분석을 수행하여, 분석 결과를 실시간으로 상기 임무 제어부(300)로 전송하는 것이 바람직하다.Furthermore, it is preferable that the terminal control unit 200 analyzes the captured data based on machine learning using the captured data of the built-in image capture means, and transmits the analysis result to the mission controller 300 in real time. do.

더 나아가, 상기 단말 제어부(200)는 연결되는 통신망의 기지국 정보를 포함하여 상기 지능형 자율비행 무인기의 현재 위치 정보를 분석하여, 상기 임무 제어부(300)로 전송하는 것이 바람직하다.Furthermore, it is preferable that the terminal control unit 200 analyzes current location information of the intelligent self-flying UAV, including base station information of a connected communication network, and transmits it to the mission control unit 300.

더 나아가, 상기 임무 제어부(300)는 상기 단말 제어부(200)와 상기 비행 제어부(100) 각각으로부터 분석한 상기 현재 자세 정보를 전달받아, 상기 현재 자세 정보들을 비교 분석하여, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보를 기준으로 상기 비행 제어부(100)의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는 것이 바람직하다.Furthermore, the mission controller 300 receives the current attitude information analyzed from each of the terminal controller 200 and the flight controller 100, compares and analyzes the current attitude information, and It is preferable to determine whether the flight control unit 100 is malfunctioning or the intelligent self-flying UAV is abnormal based on the current attitude information analyzed from the above.

더 나아가, 상기 임무 제어부(300)는 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 함께, 상기 현재 위치 정보를 전달받아, 상기 비행 제어부(100)의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는 것이 바람직하다.Furthermore, the mission control unit 300 receives the current position information together with the current attitude information analyzed from the terminal control unit 200, and the flight control unit 100 malfunctions or the intelligent self-flying UAV It is desirable to determine whether there is an abnormality.

더 나아가, 상기 임무 제어부(300)는 상기 비행 제어부(100), 단말 제어부(200)로부터 전달받은 상기 현재 자세 정보를 반영하여, 상기 임무 비행 경로에 따른 자세 제어 정보를 생성하되, 상기 임무 제어부(300)로부터 전달받은 상기 촬영 데이터의 분석 결과를 이용하여 상기 자세 제어 정보를 보정하는 것이 바람직하다.Furthermore, the mission control unit 300 reflects the current attitude information received from the flight control unit 100 and the terminal control unit 200 to generate attitude control information according to the mission flight path, and the mission control unit ( 300), it is preferable to correct the posture control information using the analysis result of the photographing data.

본 발명의 또 다른 일 실시예에 따른 컴퓨터로 구현되는 지능형 자율비행 무인기의 제어 시스템에 의해 각 단계가 수행되는 지능형 자율비행 무인기의 제어 방법에 있어서, 상기 지능형 자율비행 무인기에 포함되는 임무 제어부에서, 상기 지능형 자율비행 무인기에 포함되는 비행 제어부로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받는 제1 자세 정보 입력 단계(S100), 임무 제어부에서, 상기 지능형 자율비행 무인기에 포함되는 단말 제어부로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받는 제2 자세 정보 입력 단계(S200), 임무 제어부에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보 또는, 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 이용하여, 입력되는 임무 비행 경로에 따른 자세 제어 정보를 생성하는 제어 정보 생성 단계(S300) 및 비행 제어부에서, 상기 제어 정보 생성 단계(S300)에 의한 자세 제어 정보를 이용하여 비행 제어 동작을 수행하는 비행 제어 수행 단계(S400)를 포함하되, 상기 제어 정보 생성 단계(S300)를 수행하기 전, 임무 제어부에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보와 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 비교 분석하여, 비행 제어부의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는 비교 분석 단계(S500)를 더 포함하는 것이 바람직하다.In the control method of an intelligent autonomous flying UAV in which each step is performed by a control system of an intelligent autonomous flying UAV implemented by a computer according to another embodiment of the present invention, in the mission control unit included in the intelligent autonomous flying UAV, A first attitude information input step (S100) of receiving current attitude information of the intelligent autonomous flying UAV analyzed from the flight control unit included in the intelligent autonomous flying UAV, and in the mission control unit, from the terminal control unit included in the intelligent autonomous flying UAV. In the second attitude information input step (S200) of receiving the analyzed current attitude information of the intelligent self-flying UAV, the current attitude information by the first attitude information input step (S100) or the second attitude information in the mission controller A control information generation step (S300) of generating attitude control information according to an input mission flight path using the current attitude information from the input step (S200), and a flight control unit, an attitude by the control information generation step (S300) Including a flight control performing step (S400) of performing a flight control operation using control information, but before performing the control information generating step (S300), in the mission controller, in the first attitude information input step (S100) Further, a comparison and analysis step (S500) of comparing and analyzing the current attitude information by the second attitude information input step (S200) to determine whether the flight control unit is malfunctioning or the intelligent self-flying UAV is abnormal. It is preferable to include

더 나아가, 상기 지능형 자율비행 무인기의 제어 방법은 임무 제어부에서, 단말 제어부로부터 내장된 영상 촬영 수단의 촬영 데이터를 이용하여, 머신러닝 기반 상기 촬영 데이터를 분석한 결과를 실시간으로 입력받는 영상 분석 입력 단계(S210)를 더 포함하며, 상기 제어 정보 생성 단계(S300)는 상기 영상 분석 입력 단계(S210)에 의한 분석 결과를 이용하여, 상기 자세 제어 정보를 보정하는 것이 바람직하다.Furthermore, the control method of the intelligent self-flying UAV includes an image analysis input step in which a mission control unit receives a result of analyzing the captured data based on machine learning in real time by using the captured data of a built-in image capturing means from the terminal controller. (S210) is further included, and in the control information generating step (S300), it is preferable to correct the posture control information using the analysis result of the image analysis input step (S210).

더 나아가, 상기 지능형 자율비행 무인기의 제어 방법은 임무 제어부에서, 단말 제어부로부터 연결되는 통신망의 기지국 정보를 포함하여 분석한 상기 지능형 자율비행 무인기의 현재 위치 정보를 입력받는 위치 정보 입력 단계(S220)를 더 포함하며, 상기 비교 분석 단계(S500)는 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보, 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보와 상기 위치 정보 입력 단계(S220)에 의한 현재 위치 정보를 비교 분석하여, 비행 제어부의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는 것이 바람직하다.Furthermore, the control method of the intelligent self-flying UAV includes a location information input step (S220) of receiving current location information of the intelligent self-flying UAV analyzed by the mission control unit, including base station information of a communication network connected from the terminal control unit. The comparative analysis step (S500) includes the current attitude information by the first attitude information input step (S100), the current attitude information by the second attitude information input step (S200), and the position information input step ( It is preferable to compare and analyze the current location information by S220) to determine whether the flight control unit malfunctions or the intelligent self-flying UAV is abnormal.

상기와 같은 구성에 의한 본 발명의 지능형 자율비행 무인기의 제어 시스템 및 그 방법은 사람(관제자, 지상 관리자 등)이 직접 무인기를 제어하지 않아도, 무인기 스스로 장애물을 회피하면서 저장된 경로(임무 비행 경로)를 통해 비행할 수 있으며, 비행을 수행하는 도중 배터리 부족, 기상악화, 장애물 등으로 인한 다양한 위급 상황에 유연하게 대처할 수 있는 장점이 있다.The intelligent self-flying UAV control system and method of the present invention according to the configuration described above is a saved path (mission flight path) while avoiding obstacles by itself, even if a person (controller, ground manager, etc.) does not directly control the UAV. It can fly through and has the advantage of being able to flexibly respond to various emergencies caused by battery shortage, bad weather, obstacles, etc. during flight.

특히, 무선 단말수단으로부터 통신망을 이용하기 위한 기지국 관련 데이터가 합산된 정보를 전달받을 수 있어, 무선 단말수단에 의한 정보와 비행 제어 시스템을 통해서 생성한 정보를 동시에 활용하여, 이들의 비교 분석을 통해 무인기 자체의 이상 여부 또는, 비행 제어 시스템의 오동작 여부를 신속하게 판단할 수 있어, 이에 따른 후속 조치를 통한 피해를 최소화할 수 있는 장점이 있다.In particular, it is possible to receive information in which base station-related data for using the communication network is added from the wireless terminal means, so that the information generated by the wireless terminal means and the information generated through the flight control system are simultaneously utilized, and through their comparative analysis It is possible to quickly determine whether the UAV itself is abnormal or whether the flight control system is malfunctioning, and thus, there is an advantage in minimizing damage through follow-up measures.

뿐만 아니라, 비행 제어 불능 상태에 빠지더라도, 더 이상의 비행이 아닌 그 즉시 동작 셧다운을 통해 강제 추락시켜, 적어도 파악할 수 있는 위치 내에서 추락에 의한 피해를 최소화할 수 있다.In addition, even if the flight control is lost, it is possible to minimize the damage caused by the fall within a position that can be grasped at least by forcibly crashing through an immediate operation shutdown rather than further flight.

도 1은 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템을 이루고 있는 각 구성들의 동작을 설명한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템의 단말 제어부에 기설치된 어플리케이션을 이용한 동작 상태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템의 단말 제어부와 임무 제어부 간의 통신 방식 또는, 비행 제어부와 임무 제어부 간의 통신 방식으로 이용한 Air-link 프로토콜의 동작을 설졍한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 방법을 나타낸 순서 예시도이다.1 is an exemplary configuration diagram showing a control system for an intelligent self-flying UAV according to an embodiment of the present invention.
2 is an exemplary view illustrating the operation of each component constituting the control system of an intelligent autonomous flying UAV according to an embodiment of the present invention.
3 is an exemplary view showing an operating state using an application pre-installed in a terminal control unit of a control system for an intelligent autonomous UAV according to an embodiment of the present invention.
4 is an exemplary diagram illustrating the operation of an air-link protocol used as a communication method between a terminal control unit and a mission control unit or a communication method between a flight control unit and a mission control unit in a control system for an intelligent autonomous UAV according to an embodiment of the present invention. am.
5 is a flowchart illustrating a control method of an intelligent self-flying UAV according to an embodiment of the present invention.

이하 첨부한 도면들을 참조하여 본 발명의 지능형 자율비행 무인기의 제어 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, a control system and method for an intelligent autonomous flying UAV according to the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification.

이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention in the following description and accompanying drawings Descriptions of well-known functions and configurations that may be unnecessarily obscure are omitted.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, a system refers to a set of components including devices, mechanisms, and means that are organized and regularly interact to perform necessary functions.

본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템 및 그 방법은, 종래의 무인기에 저전력 고성능 시스템을 지원하는 임베디드 기반 시스템인 임무 컴퓨터(MC, Mission Computer)를 장착함으로써, 멀티 태스킹 기반의 데이터 프로세싱과 머신러닝 기반 분석 처리에 최적화 결과를 도출하여, 최적의 비행 제어가 이루어져 입력되는 임무 비행을 완수할 수 있도록 하는 기술에 관한 것이다.A control system and method for an intelligent autonomous flying UAV according to an embodiment of the present invention is a multi-tasking based UAV by installing a mission computer (MC), which is an embedded system that supports a low-power, high-performance system, in a conventional UAV. It is about a technology that derives optimized results from data processing and machine learning-based analysis processing, so that optimal flight control can be achieved to complete the input mission flight.

이러한 임무 컴퓨터는 USB, UART, I2C 등 다양한 I/O를 제공함으로써, 외부 통신망을 직접 연동하거나 또는, 무선 단말수단을 연결하여 외부 통신망 또는, 무선 단말수단으로부터 제공받을 수 있는 다양한 정보들을 기반으로 자율비행 상황에 맞는 비행 자세 제어 정보(비행 제어 명령)을 생성하여, 비행 제어 시스템(FC, Flight Controller)으로 전달할 수 있다. 이 때, Air-link 프로토콜을 통해 비행 제어 시스템으로 생성한 자세 제어 정보를 전달할 수 있다. 특히, 임무 컴퓨터와 비행 제어 시스템의 연결은 RS-232(UART)를 사용함으로써, 이미 상용화되어 있는 다양한 제품과 호환 및 연동을 보장할 수 있다.By providing various I/Os such as USB, UART, and I2C, these mission computers directly interlock with external communication networks or connect wireless terminal means to autonomously operate based on various information that can be provided from external communication networks or wireless terminal means. Flight attitude control information (flight control command) suitable for the flight situation can be generated and transmitted to the flight control system (FC, Flight Controller). At this time, the attitude control information generated by the flight control system can be transmitted through the air-link protocol. In particular, by using RS-232 (UART) for connection between the mission computer and the flight control system, compatibility and interworking with various products already commercialized can be guaranteed.

이러한 기술적 특징에 의해, 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템 및 그 방법은, 사람(관제자, 지상 관리자 등)이 직접 무인기를 제어하지 않아도, 무인기 스스로 장애물을 회피하면서 저장된 경로(임무 비행 경로)를 통해 비행할 수 있으며, 비행을 수행하는 도중 배터리 부족, 기상악화, 장애물 등으로 인한 다양한 위급 상황에 유연하게 대처할 수 있는 장점이 있다.Due to these technical features, the intelligent self-flying UAV control system and method according to an embodiment of the present invention, even if a person (controller, ground manager, etc.) does not directly control the UAV, the UAV itself avoids obstacles and stores stored It can fly through the route (mission flight route), and has the advantage of being able to flexibly respond to various emergencies caused by battery shortage, bad weather, obstacles, etc. during flight.

특히, 통신망을 이용하기 위한 기지국 데이터가 합산된 무선 단말수단을 통한 정보가 보다 정밀하기 때문에, 무선 단말수단에 의한 정보와 비행 제어 시스템을 통해서 생성한 정보를 동시에 활용하여, 이들의 비교 분석을 통해 무인기 자체의 이상 여부 또는, 비행 제어 시스템의 오동작 여부를 신속하게 판단할 수 있어, 이에 따른 후속 조치를 통한 피해를 최소화할 수 있는 장점이 있다.In particular, since the information through the wireless terminal means in which the base station data for using the communication network is added is more precise, the information generated by the wireless terminal means and the information generated through the flight control system are simultaneously utilized, and through comparative analysis of these It is possible to quickly determine whether the UAV itself is abnormal or whether the flight control system is malfunctioning, and thus, there is an advantage in minimizing damage through follow-up measures.

도 1은 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템을 나타낸 구성 예시도로서, 도 1을 참조로 하여 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템을 상세히 설명한다.1 is a configuration example showing a control system for an intelligent autonomous flying UAV according to an embodiment of the present invention. Referring to FIG. 1, the control system for an intelligent autonomous flying UAV according to an embodiment of the present invention will be described in detail. .

본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템은 무인 비행을 위한 다양한 구성을 포함하는 지능형 자율비행 무인기, 다시 말하자면, 비행을 위해 모터, 모터를 구동하는 모터 컨트롤러, 모터의 구동에 의해 회전동력을 전달받아 회전하는 프로펠러, 각 구성에 동작 전원을 공급하는 전원 수단이 탑재된 드론 프레임을 포함하고 있는 지능형 자율비행 무인기의 제어 시스템으로서, 도 1에 도시된 바와 같이, 비행 제어부(100), 단말 제어부(200) 및 임무 제어부(300)를 포함하여 구성되는 것이 바람직하다.The control system of an intelligent autonomous flying UAV according to an embodiment of the present invention is an intelligent autonomous flying UAV including various configurations for unmanned flight, in other words, by a motor for flight, a motor controller for driving the motor, and driving of the motor. A control system for an intelligent self-flying UAV that includes a propeller that receives rotational power and rotates, and a drone frame equipped with a power source for supplying operation power to each component. As shown in FIG. 1, the flight control unit 100 , It is preferable to include a terminal control unit 200 and a mission control unit 300.

상기 비행 제어부(100), 단말 제어부(200) 및 임무 제어부(300) 모두 상기 드론 프레임, 다시 말하자면, 상기 지능형 자율비행 무인기에 탑재 포함되는 것이 바람직하며, 상기 비행 제어부(100)와 임무 제어부(300)는 UART/USB로 연결되어 양방향 통신이 가능한 것이 바람직하며, 상기 단말 제어부(200)와 임무 제어부(300)는 USB-OTG를 이용하여 인터페이싱하여 데이터 송수신이 이루어지는 것이 바람직하다.The flight control unit 100, the terminal control unit 200, and the mission control unit 300 are all preferably included in the drone frame, that is, the intelligent self-flying UAV, and the flight control unit 100 and the mission control unit 300 ) is preferably connected via UART/USB to enable bi-directional communication, and it is preferable that the terminal control unit 200 and the mission control unit 300 interface using USB-OTG to transmit/receive data.

각 구성에 대해서 자세히 알아보자면,For a detailed look at each component,

상기 비행 제어부(100)는 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하여 산출고, 상기 임무 제어부(300)로부터 입력받은 자세 제어 정보에 따른 비행 제어 동작을 수행하는 비행 제어 시스템을 포함하여 구성되는 것이 바람직하다.The flight control unit 100 analyzes and calculates the current attitude information of the intelligent self-flying UAV, and includes a flight control system that performs a flight control operation according to the attitude control information received from the mission control unit 300. it is desirable

상세하게는, 상기 비행 제어부(100)는 도 2에 도시된 바와 같이, 산출한 상기 지능형 자율비행 무인기의 현재 자세 정보를 기반으로 상기 자세 제어 정보를 지향하기 위한 상기 비행 제어 동작을 산출하여 비행 동작을 수행하게 된다. 이를 위해 상기 비행 제어부(100)는 지자계 센서(Accelerometer, Gyroscope, Magnetometer, Barometer 등)의 센싱 데이터, RC 신호, GPS 정보 및 기타 I/O 들로부터 입력받은 데이터들을 기반으로 상기 지능형 자율비행 무인기의 AHRS(Attitude and Heading Reference System) 정보(일 예를 들자면, Roll, Pitch, Yaw 상태 데이터 등)를 산출하고, 이를 이용하여 상기 자세 제어 정보를 지향하기 위한 상기 비행 제어 동작(일 예를 들자면, 모터 출력 등)을 산출하여, 상기 지능형 자율비행 무인기가 비행을 할 수 있도록 제어하는 핵심 모듈 구성에 해당한다.In detail, as shown in FIG. 2, the flight control unit 100 calculates the flight control operation for directing the attitude control information based on the calculated current attitude information of the intelligent self-flying UAV to operate the flight operation. will perform To this end, the flight control unit 100 controls the control of the intelligent self-flying UAV based on data received from sensing data from earth magnetic sensors (Accelerometer, Gyroscope, Magnetometer, Barometer, etc.), RC signals, GPS information, and other I/Os. Attitude and Heading Reference System (AHRS) information (for example, roll, pitch, yaw state data, etc.) is calculated, and the flight control operation (for example, motor output, etc.) and corresponds to a configuration of a core module that controls the intelligent self-flying UAV to fly.

상기 단말 제어부(200)는 미리 설치된 어플리케이션을 이용하여, 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하고, 연결되는 통신망을 이용하여 지상국(GCS, Ground Control Station)(지상국 클라우드 서버)과 통신하는 무선 단말수단을 포함하여 구성되는 것이 바람직하다.The terminal control unit 200 analyzes current attitude information of the intelligent autonomous flying UAV using a pre-installed application, and wirelessly communicates with a Ground Control Station (GCS) (ground station cloud server) using a connected communication network. It is preferable to be configured including terminal means.

즉, 상기 단말 제어부(200)는 도 2에 도시된 바와 같이, 상기 임무 제어부(300)와 통신이 가능한 어플리케이션일 설치된 스마트 폰인 것이 바람직하며, 도 3을 참고로 하여, 상기 어플리케이션의 동작에 의해, 스마트 폰에서 제공하는 지자계 센서(Accelerometer, Gyroscope, Magnetometer, Barometer 등)의 센싱 데이터를 이용하여 상기 지능형 자율비행 무인기의 AHRS 정보를 산출할 수 있으며, 기지국 정보가 포함된 GPS 정보, 카메라를 통해 촬영되는 동영상 데이터, 이미지 데이터를 상기 임무 제어부(300)로 전송할 수 있다.That is, as shown in FIG. 2, the terminal control unit 200 is preferably a smart phone installed with an application capable of communicating with the mission control unit 300. Referring to FIG. 3, by the operation of the application, AHRS information of the intelligent self-flying drone can be calculated using sensing data of geomagnetic sensors (Accelerometer, Gyroscope, Magnetometer, Barometer, etc.) provided by a smartphone, and GPS information including base station information, photographed through a camera Moving picture data and image data may be transmitted to the mission control unit 300 .

또한, 상기 단말 제어부(200)는 연결되는 통신망(데이터 통신망)을 이용하여 지상국과 연결되어, 상기 지상국으로부터 제어 명령을 수신받아 이를 상기 임무 제어부(300)로 전송할 수 있다. 이러한 단말 제어부(200)는 도 4에 도시된 바와 같이, 스마트 폰과 상기 임무 제어부(300)의 제어 데이터의 경우, USB-OTG 인터페이싱하여 Serial 통신 방식으로 Air-link 프로토콜을 이용하여 양방향 통신을 수행하는 것이 바람직하다. Air-link 라우터는 외부에서 전송되는 Air-link 프로토콜을 수신하는 모듈과 지정된 대상으로 전송하는 전송 모듈을 포함하여 구성되며, 송/수신 모듈은 UDP, TCP와 같은 네트워크 프로토콜 외에 RS-232(UART)로도 송수신이 가능하다.In addition, the terminal control unit 200 may be connected to a ground station using a connected communication network (data communication network), receive a control command from the ground station, and transmit it to the mission control unit 300 . As shown in FIG. 4, the terminal control unit 200 performs two-way communication using an air-link protocol in a serial communication method by interfacing USB-OTG in the case of control data of the smart phone and the mission control unit 300. It is desirable to do The air-link router is composed of a module that receives the air-link protocol transmitted from outside and a transmission module that transmits to the designated destination. The transmission/reception module is RS-232 (UART) in addition to network protocols such as UDP and TCP. Sending and receiving is also possible.

상기 임무 제어부(300)는 상기 비행 제어부(100), 단말 제어부(200)와 각각 연결되며, 각각으로부터 상기 지능형 자율비행 무인기의 현재 자세 정보를 전달받아, 입력받은 임무 비행 경로 또는, 입력받은 임무 비행에 따라 생성되는 최적 비행 경로를 기반으로 이루어져야 할 상기 지능형 자율비행 무인기의 자세 제어 정보를 생성하여 상기 비행 제어부(100)로 전송하는 임무 컴퓨터(MC, Mission Computer)를 포함하여 구성되는 것이 바람직하다.The mission control unit 300 is connected to the flight control unit 100 and the terminal control unit 200, respectively, and receives the current attitude information of the intelligent self-flying UAV from each, and receives the input mission flight path or the input mission flight. It is preferable to include a mission computer (MC, Mission Computer) for generating attitude control information of the intelligent autonomous UAV to be performed based on the optimal flight path generated according to and transmitting it to the flight control unit 100.

상세하게는, 상기 임무 제어부(300)는 도 2에 도시된 바와 같이, 실시간 운영체제 또는 리눅스를 탑재한 시스템으로 상기 비행 제어부(100)에서 산출되는 모든 정보 또는, 특정 정보만을 수신받는 것이 바람직하다. 특히, 상기 임무 제어부(300)는 상기 지능형 자율비행 무인기에 탑재되어 있는 영상 촬영 수단(카메라 등)과 연결되어, 상기 영상 촬영 수단으로부터 전달되는 촬영 데이터를 실시간 이미지 처리 또는, 머신러닝 기반 분석을 수행하여, 입력받은 임무 비행 경로 또는, 생성한 최적 비행 경로 상에 위치하고 있는 객체, 장애물을 인식하여 이를 반영하여 충돌 회피를 위한 자세 제어 정보(회피, 정지, 착륙, 복귀 등)를 생성할 수 있다.In detail, as shown in FIG. 2, the mission control unit 300 preferably receives all information or only specific information calculated by the flight control unit 100 as a system equipped with a real-time operating system or Linux. In particular, the mission control unit 300 is connected to an image capture means (camera, etc.) installed in the intelligent autonomous flying UAV, and performs real-time image processing or machine learning-based analysis on the captured data transmitted from the image capture means. Thus, attitude control information (avoidance, stop, landing, return, etc.) for collision avoidance can be generated by recognizing objects and obstacles located on the input mission flight path or the created optimal flight path and reflecting them.

이러한 구성 상의 특징을 갖고 있는 상기 지능형 자율비행 무인기의 제어 시스템은 상기 임무 제어부(300)를 상기 지능형 자율비행 무인기에 탑재 포함하는 것을 특징으로 하며, 상술한 바와 같이, 상기 임무 제어부(300)는 상기 비행 제어부(100)와는 UART(RS-232)를 통해 물리적으로 연결되어 Air-link 프로토콜로 통신을 수행하게 된다. 상기 Air-link 프로토콜은 오픈소스 기반 MavLink, MSP 이외에도 사용자 정의 프로토콜을 사용할 수 있어, 기존 무인기를 상기 임무 제어부(300)와의 결합 탑재를 통해서 용이하게 지능형 자율비행이 가능한 무인기로 운영이 가능한 장점이 있다.The control system of the intelligent self-flying UAV having such configuration characteristics is characterized in that the mission controller 300 is mounted on the intelligent autonomous UAV, and as described above, the mission controller 300 It is physically connected to the flight control unit 100 through UART (RS-232) and communicates with the air-link protocol. The Air-link protocol can use a user-defined protocol in addition to open source-based MavLink and MSP, so it has the advantage of being able to easily operate the existing UAV as an UAV capable of intelligent autonomous flight through combined installation with the mission control unit 300. .

종래에는 무인기의 비행 제어를 위해, 무선 조종용 R/C 컨트롤을 활용하였으나, 이러한 무선 RC 조종기/수신기는 전파인증이 획득된 제품에 대해서만 사용이 가능하고, 관리가 까다로우며 운영 거리가 제한적일 뿐 아니라, 미리 설정된 제어 명령 이외에 기타 제어 정보에 대한 송수신이 불가능한 제약이 있었다.In the past, R/C control for radio control was used for flight control of UAVs, but these wireless RC controllers/receivers can only be used for products for which radio wave certification has been obtained, are difficult to manage, and have limited operating distance. However, there was a restriction that transmission and reception of other control information other than the preset control command was impossible.

이에 반해서, 상기 지능형 자율비행 무인기의 제어 시스템은 상술한 바와 같이, 상기 단말 제어부(200)를 탑재한 후, 상기 임무 제어부(300)와 상기 단말 제어부(200) 간의 USB-OTG 인터페이싱 연결을 통해서, 상기 임무 제어부(300)가 상기 단말 제어부(200)의 통신망을 활용하여 지상국과 실시간으로 통신이 가능한 장점이 있다.On the other hand, as described above, the control system of the intelligent self-flying UAV is equipped with the terminal control unit 200, and then through the USB-OTG interfacing connection between the mission control unit 300 and the terminal control unit 200, There is an advantage in that the mission controller 300 can communicate with the ground station in real time by utilizing the communication network of the terminal controller 200 .

특히, 본 발명의 일 실시예에 따른 상기 지능형 자율비행 무인기의 제어 시스템은 단순히 종래의 무인기에 상기 임무 제어부(300)를 탑재 포함시킨 것이 아니라, 상기 임무 제어부(300)가 상기 비행 제어부(100), 단말 제어부(200)로부터 각각 전달받은 데이터들을 이용하여, 지능형 자율비행이 가능하도록 상기 지능형 자율비행 무인기의 자세 제어 정보를 생성하게 된다.In particular, the control system of the intelligent self-flying UAV according to an embodiment of the present invention does not simply include the mission controller 300 mounted on a conventional UAV, but the mission controller 300 is the flight controller 100 , Attitude control information of the intelligent self-flying UAV is generated to enable intelligent self-flying by using the data each received from the terminal control unit 200.

특히, 지능형 자율비행 무인기의 가장 큰 문제점이나 해결해야 하는 부분인, 상기 지능형 자율비행 무인기 자체의 이상에 의한 또는, 상기 지능형 자율비행 무인기에서 비행을 제어하는 상기 비행 제어부(100)의 오동작에 의한 비행 제어 불능 상태로 인해 임의의 방향으로 날아가서 추락하여 피해를 발생시키는 점에 대해서, 상기 임무 제어부(300)는 상기 비행 제어부(100)로부터 입력받은 상기 지능형 자율비행 무인기의 현재 자세 정보와 상기 단말 제어부(200)로부터 입력받은 상기 지능형 자율비행 무인기의 현재 자세 정보를 비교 분석하면서 상기 지능형 자율비행 무인기의 비행 상태를 모니터링하는 것이 바람직하다. 모니터링을 수행하면서 이상 상황으로 판단될 경우, 신속하게 상기 비행 제어부(100)를 셧다운시켜, 다시 말하자면, 상기 비행 제어 시스템을 셧다운시켜 상기 지능형 자율비행 무인기가 알 수 없는 지점에서 알 수 없는 시점에 추락하는 것보다는 알고 있는 지점에서 그 즉시 강제 추락시킴으로써, 피해에 의한 대응 처리를 가능한 한 빠르게 수행할 수 있는 장점이 있다.In particular, flight due to abnormality of the intelligent autonomous flying UAV itself, which is the biggest problem or part to be solved, or malfunction of the flight control unit 100 that controls flight in the intelligent autonomous UAV Regarding the fact that it flies in a random direction due to an uncontrollable state and crashes to cause damage, the mission control unit 300 uses the current attitude information of the intelligent autonomous flying UAV input from the flight control unit 100 and the terminal control unit ( It is preferable to monitor the flight state of the intelligent autonomous flying UAV while comparing and analyzing the current position information of the intelligent autonomous flying UAV input from 200). If an abnormal situation is determined while performing monitoring, the flight control unit 100 is quickly shut down, in other words, the flight control system is shut down so that the intelligent autonomous flying drone crashes at an unknown point at an unknown time It has the advantage of being able to perform the response process by damage as quickly as possible by immediately forcing it to fall at a known point rather than doing it.

이러한 기술적 특징을 수행하기 위하여, 상기 단말 제어부(200)는 스마트 폰에 구비되어 있는 영상 촬영 수단(카메라 등)을 통한 촬영 데이터를 이용하여, 머신러닝 기반으로 상기 촬영 데이터의 분석을 수행하는 것이 바람직하다. 즉, 상기 단말 제어부(200)는 미리 설치된 어플리케이션의 제어를 통해서, 스마트 폰에 구비되어 있는 상기 영상 촬영 수단을 통해서 실시간 촬영 데이터를 전송받아, 머신러닝 기반으로 장애물 인식, 사물 인식 등의 실시간 이미지 분석을 수행할 수 있다.In order to perform these technical features, it is preferable that the terminal control unit 200 analyzes the captured data based on machine learning using captured data through an image capturing means (camera, etc.) provided in the smart phone. do. That is, the terminal control unit 200 receives real-time photographing data through the image photographing means provided in the smart phone through control of a pre-installed application, and analyzes real-time images such as obstacle recognition and object recognition based on machine learning. can be performed.

상기 단말 제어부(200)는 이러한 이미지 분석 결과를 실시간으로 상기 임무 제어부(300)로 전송하는 것이 바람직하다.Preferably, the terminal controller 200 transmits the image analysis result to the mission controller 300 in real time.

상기 임무 제어부(300)는 상술한 바와 같이, 드론 프레임에 탑재되어 있는 영상 촬영 수단과는 별도로 상기 단말 제어부(200)로부터 전송되는 이미지 분석 결과를 이용하여, 상기 단말 제어부(200)에서의 상기 영상 촬영 수단의 장착 방향을 기준으로 상기 임무 비행 경로 또는, 최적 비행 경로 상에 위치하고 있는 객체, 장애물을 인식하게 된다. 이를 통해서, 상기 임무 제어부(300)는 충돌 회피를 위한 자세 제어 정보(회피, 정지, 착륙, 복귀 등)를 생성하여 상기 비행 제어부(100)로 전송하고, 상기 비행 제어부(100)는 이에 따른 비행 제어 동작을 수행하게 된다.As described above, the mission control unit 300 uses the image analysis result transmitted from the terminal control unit 200 separately from the image capturing unit mounted on the drone frame to capture the image in the terminal control unit 200. Objects and obstacles located on the mission flight path or the optimal flight path are recognized based on the mounting direction of the photographing unit. Through this, the mission controller 300 generates attitude control information (evasion, stop, landing, return, etc.) for collision avoidance and transmits it to the flight controller 100, and the flight controller 100 follows the flight control operation is performed.

이 때, 상기 임무 제어부(300)는 상기 비행 제어부(100)로부터 전달받은 상기 현재 자세 정보, 상기 단말 제어부(200)로부터 전달받은 상기 현재 자세 정보를 이용하여, 상기 임무 비행 경로 또는, 최적 비행 경로에 따른 자세 제어 정보를 생성하는 것이 바람직하다. 다만, 상기 임무 제어부(300)는 상기 단말 제어부(200)로부터 전송되는 이미지 분석 결과를 이용하여, 예측하지 못한 상기 임무 비행 경로 또는, 최적 비행 경로 상에 위치하고 있는 객체, 장애물을 인식할 수 있기 때문에, 실시간으로 생성한 상기 자세 제어 정보를 보정하여 상기 비행 제어부(100)로 전송하게 된다.At this time, the mission controller 300 uses the current attitude information transmitted from the flight controller 100 and the current attitude information transmitted from the terminal controller 200 to use the mission flight path or the optimal flight path. It is desirable to generate attitude control information according to the. However, since the mission control unit 300 can recognize an object or obstacle located on the unpredictable mission flight path or the optimal flight path using the image analysis result transmitted from the terminal control unit 200, , The posture control information generated in real time is corrected and transmitted to the flight controller 100.

즉, 상기 지능형 자율비행 무인기의 모든 방향에 상기 영상 촬영 수단을 탑재 구비하는 것은 현실적으로 불가능할 뿐 아니라, 상기 단말 제어부(200)에서의 영상 촬영 수단을 활용할 경우, 상기 지능형 자율비행 무인기에 탑재 포함시켜야 하는 필수 영상 촬영 수단의 개수를 감소시킬 수 있어, 보다 용이한 지능형 비행체의 운영이 가능한 장점이 있다.That is, it is practically impossible to mount the image capturing means in all directions of the intelligent autonomous flying UAV, and when using the image capturing means in the terminal control unit 200, it is necessary to mount and include the image capturing means in the intelligent autonomous flying UAV. It is possible to reduce the number of essential video recording means, so there is an advantage that more easy operation of the intelligent aircraft is possible.

또한, 상기 단말 제어부(200)는 연결되는 통신망의 기지국 정보를 포함하여 상기 지능형 자율지행 무인기의 현재 위치 정보를 분석하여, 상기 임무 제어부(300)로 전송하는 것이 바람직하다.In addition, it is preferable that the terminal controller 200 analyzes current location information of the intelligent self-guided UAV, including base station information of a connected communication network, and transmits it to the mission controller 300.

상세하게는, 상기 단말 제어부(200)는 스마트 폰을 통해서 GPS 정보 뿐 아니라, 주변 기지국과의 통신을 통해서 기지국 위치 정보를 보조 데이터로 적용하여 스마트 폰의 현재 위치, 즉 다시 말하자면, 상기 지능형 자율비행 무인기의 현재 위치 정보를 분석할 수 있다.In detail, the terminal control unit 200 applies not only GPS information through a smart phone, but also base station location information through communication with a neighboring base station as auxiliary data to determine the current location of the smart phone, that is, the intelligent autonomous flight The current location information of the UAV can be analyzed.

상기 비행 제어부(100) 역시도 자체적으로 상기 지능형 자율비행 무인기의 현재 자세 정보의 분석을 통해서 위치 정보를 알 수 있으나, 상기 단말 제어부(200)는 고정되어 있는 기지국 위치 정보를 보조 데이터로 적용하여 상기 현재 위치 정보를 분석하기 때문에, 보다 정확하고 정밀하게 현재 위치 정보를 분석할 수 있다.The flight control unit 100 can also know the location information through analysis of the current attitude information of the intelligent autonomous flying UAV on its own, but the terminal control unit 200 applies the fixed location information of the base station as auxiliary data to the current position information. Since the location information is analyzed, the current location information can be analyzed more accurately and precisely.

이러한 점을 감안하여, 상기 임무 제어부(300)는 상기 지능형 자율비행 무인기가 보다 정확하게 상기 임무 비행 경로 또는, 최적 비행 경로로 비행을 수행할 수 있도록 상기 자세 제어 정보를 생성함에 있어서, 상기 비행 제어부(100)를 통해서 알 수 있는 위치 정보보다는 상기 단말 제어부(200)를 통해서 입력받은 상기 현재 위치 정보에 보다 가중치를 두어 생성하는 것이 바람직하다.In view of this, the mission control unit 300 generates the attitude control information so that the intelligent self-flying UAV can more accurately fly on the mission flight path or the optimal flight path, the flight control unit ( It is preferable to generate the current location information received through the terminal controller 200 with more weight than the location information known through 100).

더불어, 상기 임무 제어부(300)는 상술한 바와 같이, 상기 비행 제어부(100)로부터 입력받은 상기 지능형 자율비행 무인기의 현재 자세 정보와 상기 단말 제어부(200)로부터 입력받은 상기 지능형 자율비행 무인기의 현재 자세 정보를 비교 분석하면서 상기 지능형 자율비행 무인기의 비행 상태를 모니터링하게 된다.In addition, as described above, the mission control unit 300 controls the current attitude information of the intelligent self-flying UAV received from the flight control unit 100 and the current attitude of the intelligent self-flying UAV received from the terminal control unit 200. While comparing and analyzing the information, the flight status of the intelligent self-flying UAV is monitored.

상기 임무 제어부(300)는 상기 비행 제어부(100)와 상기 단말 제어부(200) 각각으로부터 분석한 상기 현재 자세 정보를 전달받아, 이들을 비교 분석하게 된다.The mission control unit 300 receives the current attitude information analyzed from each of the flight control unit 100 and the terminal control unit 200, and compares and analyzes them.

이 때, 상술한 바와 같이, 상기 단말 제어부(200)를 통해서 분석한 상기 현재 자세 정보에 보다 가중치를 두어 비교 분석을 수행하는 것이 바람직하다.At this time, as described above, it is preferable to perform comparative analysis by putting more weight on the current attitude information analyzed through the terminal control unit 200.

즉, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보를 기준으로 상기 비행 제어부(100)의 현재 자세 정보가 얼마나 상이한지 판단하여, 상기 비행 제어부(100)의 오동작 여부를 판단할 수 있다.That is, it is possible to determine whether the flight control unit 100 is malfunctioning by determining how different the current attitude information of the flight control unit 100 is based on the current attitude information analyzed by the terminal control unit 200.

또한, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 동일하게 미리 설정된 임계치를 벗어날 경우, 상기 지능형 자율비행 무인기 자체의 이상인 것으로 판단할 수 있다.In addition, when the current attitude information analyzed from the terminal control unit 200 and the current attitude information analyzed from the flight control unit 100 are out of the preset threshold, it is determined that the intelligent autonomous flying UAV itself is abnormal. can

상세하게는, 상기 임무 제어부(300)는 상기 지능형 자율비행 무인기의 비행 상태를 지속적으로 모니터링하면서, 상기 지능형 자율비행 무인기가 제어 기능을 상실하거나 오동작이 발생될 경우, 그 즉시 상기 비행 제어부(100)의 시스템 셧다운을 통해서 상기 지능형 자율비행 무인기에 포함된 프로펠러에 의한 사물이나 사람의 충돌에 따른 파손 및 피해를 예측 가능한 정도로 축소시키는 것이 바람직하다.In detail, the mission control unit 300 continuously monitors the flight status of the intelligent self-flying UAV, and when the intelligent self-flying UAV loses a control function or malfunctions, immediately the flight control unit 100 It is desirable to reduce the damage and damage due to the collision of objects or people by the propeller included in the intelligent autonomous flying UAV to a predictable extent through system shutdown of the system.

상기 임무 제어부(300)는 외부로부터 전원 차단 명령이 입력되거나, 상기 판단 결과에 따른 위협 상황으로 판단될 경우, 스위치 동작을 제어하여 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.The mission control unit 300 controls the switch operation to cut off the supply of operation power to the flight control unit 100 when a power cut-off command is input from the outside or when it is determined to be a threat situation according to the determination result, immediately. The intelligent self-flying drone is forced to fall.

이 때, 상기 전원 차단 명령은 지상국에서의 조종기를 통해 입력되거나, 상기 단말 제어부(200)의 통신망을 통해서 입력받을 수 있다.At this time, the power cut command may be input through a controller in the ground station or through a communication network of the terminal control unit 200 .

상기 비행 제어부(100)의 오동작 여부 판단에 대한 예를 들자면, 가중치를 두고 있는 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보는 임계치를 넘기지 않는 정상 범위이지만, 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 상기 단말 제어부(200)와는 달리 임계치를 벗어났을 경우, 상기 비행 제어부(100) 자체가 오동작하고 있는 것으로 판단하고 더 이상의 비행을 유지할 경우 비행 불능 상태로 빠질 것을 우려하여 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.As an example of determining whether the flight control unit 100 is malfunctioning, the current attitude information analyzed from the terminal control unit 200 with a weight is within a normal range that does not exceed a threshold value, but is analyzed from the flight control unit 100. Unlike the terminal control unit 200, when the current attitude information is out of the threshold value, the flight control unit 100 itself determines that it is malfunctioning and maintains further flight, fearing that the flight will fall into a non-flying state. By cutting off the supply of operating power to the control unit 100, the intelligent self-flying UAV is forced to fall immediately.

또한, 상기 지능형 자율비행 무인기 자체의 이상 판단에 대한 예를 들자면, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 동일하게 미리 설정된 임계치를 벗어나거나, 상기 지능형 자율비행 무인기가 조종 가능한 최대 좌우각도를 벗어나거나 또는, 소정 시간 동안 반복적으로 임계치를 벗어날 경우, 더 이상의 정상적인 제어가 불가능한 상태로 판단하고 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.In addition, as an example of the abnormality determination of the intelligent self-flying UAV itself, the current attitude information analyzed from the terminal control unit 200 and the current attitude information analyzed from the flight control unit 100 are set at the same preset threshold. out of range, out of the maximum left and right angles that the intelligent autonomous flying drone can control, or out of the threshold value repeatedly for a predetermined time, it is determined that normal control is no longer possible and the operation power to the flight control unit 100 By cutting off the supply, the intelligent self-flying drone is immediately forced to crash.

더불어, 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템은 스마트 폰을 포함하는 상기 단말 제어부(200) 대신, 통신망 접속이 가능한 동글을 탑재 포함하여, 주변 기지국과의 통신을 통해서 기지국 위치 정보를 보조 데이터로 적용하여 상기 지능형 자율비행 무인기의 현재 위치 정보를 분석할 수 있다.In addition, the control system for an intelligent self-flying UAV according to an embodiment of the present invention includes a dongle capable of accessing a communication network instead of the terminal control unit 200 including a smart phone, and locates a base station through communication with a nearby base station. Current location information of the intelligent self-flying UAV may be analyzed by applying the information as auxiliary data.

본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 방법은 도 5에 도시된 바와 같이, 제1 자세 정보 입력 단계(S100), 제2 자세 정보 입력 단계(S200), 제어 정보 생성 단계(S300), 비행 제어 수행 단계(S400) 및 비교 분석 단계(S500)를 포함하는 것이 바람직하다. 또한, 컴퓨터로 구현되는 지능형 자율비행 무인기의 제어 시스템에 의해 각 단계가 수행되게 된다.As shown in FIG. 5, the control method of an intelligent self-flying UAV according to an embodiment of the present invention includes a first attitude information input step (S100), a second attitude information input step (S200), and control information generation step (S300). ), it is preferable to include a flight control performing step (S400) and a comparative analysis step (S500). In addition, each step is performed by a computer-implemented control system of an intelligent self-flying unmanned aerial vehicle.

각 단계에 대해서 자세히 알아보자면,For a detailed look at each step,

상기 제1 자세 정보 입력 단계(S100)는 상기 임무 제어부(300)에서, 상기 비행 제어부(100)로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받게 된다. 이를 위해, 상기 비행 제어부(100)는 지자계 센서(Accelerometer, Gyroscope, Magnetometer, Barometer 등)의 센싱 데이터, RC 신호, GPS 정보 및 기타 I/O 들로부터 입력받은 데이터들을 기반으로 상기 지능형 자율비행 무인기의 현재 자세 정보인 AHRS 정보를 산출하게 된다.In the first attitude information input step (S100), the current attitude information of the intelligent self-flying UAV analyzed by the flight control unit 100 is received by the mission control unit 300. To this end, the flight control unit 100 controls the intelligent self-flying UAV based on sensing data from earth magnetic sensors (Accelerometer, Gyroscope, Magnetometer, Barometer, etc.), RC signals, GPS information, and data input from other I/Os. AHRS information, which is current attitude information, is calculated.

상기 제2 자세 정보 입력 단계(S200)는 상기 임무 제어부(300)에서, 상기 단말 제어부(200)로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받게 된다. 이를 위해 상기 단말 제어부(200) 역시도 미리 설치된 어플리케이션을 이용하여, 상기 어플리케이션의 동작에 의해, 스마트 폰에서 제공하는 지자계 센서의 센싱 데이터를 이용하여 상기 지능형 자율비행 무인기의 AHRS 정보를 산출하게 된다.In the second attitude information input step (S200), the current attitude information of the intelligent self-flying UAV analyzed by the terminal control unit 200 is received by the mission control unit 300. To this end, the terminal control unit 200 also uses a pre-installed application, and by the operation of the application, by using the sensing data of the earth magnetic sensor provided by the smart phone, the AHRS information of the intelligent autonomous flying UAV is calculated.

상기 제어 정보 생성 단계(S300)는 상기 임무 제어부(300)에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보 또는, 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 이용하여, 입력받은 임무 비행 경로 또는, 입력받은 임무 비행에 따라 생성되는 최적 비행 경로를 기반으로 이루어져야 할 상기 지능형 자율비행 무인기의 자세 제어 정보를 생성하게 된다.In the control information generating step (S300), the current attitude information by the first attitude information inputting step (S100) or the current attitude information by the second attitude information inputting step (S200) is received by the mission control unit 300. Using the control method, attitude control information of the intelligent self-flying UAV to be performed is generated based on an input mission flight path or an optimal flight path generated according to the input mission flight.

상기 제어 정보 생성 단계(S300)에 의해 생성되는 상기 자세 제어 정보는 상기 지능형 자율비행 무인기가 이상적인 상황에서의 비행을 수행하는 것을 가정하에 생성되는 것으로, 실제 비행 상태를 모니터링하면서 생성한 상기 자세 제어 정보의 보정을 수행하게 된다. 이에 대해서는 자세히 후술하도록 한다.The attitude control information generated by the control information generating step (S300) is generated under the assumption that the intelligent self-flying UAV is flying in an ideal situation, and the attitude control information generated while monitoring the actual flight state. will perform the correction of This will be described later in detail.

본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 방법은 도 5에 도시된 바와 같이, 상기 제어 정보 생성 단계(S300)로 영상 분석 결과를 입력하여 상기 자세 제어 정보를 보정하게 된다.As shown in FIG. 5 , in the control method of an intelligent self-flying UAV according to an embodiment of the present invention, the attitude control information is corrected by inputting an image analysis result in the control information generation step (S300).

상세하게는, 영상 분석 입력 단계(S210)를 통해서, 상기 임무 제어부(300)에서, 상기 단말 제어부(200)로부터 전송되는 이미지 분석 결과를 이용하여, 상기 단말 제어부(200)에서의 상기 영상 촬영 수단의 장착 방향을 기준으로 상기 임무 비행 경로 또는, 최적 비행 경로 상에 위치하고 있는 객체, 장애물을 인식하게 된다.In detail, through the image analysis input step (S210), the mission control unit 300 uses the image analysis result transmitted from the terminal control unit 200 to capture the image in the terminal control unit 200. Objects and obstacles located on the mission flight path or the optimal flight path are recognized based on the mounting direction of the .

즉, 상기 임무 제어부(300)는 상기 단말 제어부(200)로부터 전송되는 이미지 분석 결과를 이용하여, 예측하지 못한 상기 임무 비행 경로 또는, 최적 비행 경로 상에 위치하고 있는 객체, 장애물을 인식할 수 있기 때문에, 실시간으로 생성한 상기 자세 제어 정보를 보정하여 상기 비행 제어부(100)로 전송하게 된다.That is, the mission control unit 300 can recognize an object or an obstacle located on the unpredictable mission flight path or the optimal flight path using the image analysis result transmitted from the terminal control unit 200. , The posture control information generated in real time is corrected and transmitted to the flight controller 100.

이를 위해, 상기 단말 제어부(200)는 스마트 폰에 구비되어 있는 영상 촬영 수단(카메라 등)을 통한 촬영 데이터를 이용하여, 머신러닝 기반으로 상기 촬영 데이터의 분석을 수행하게 된다.To this end, the terminal control unit 200 analyzes the captured data based on machine learning using captured data through an image capture means (eg, camera) provided in the smart phone.

상기 비행 제어 수행 단계(S400)는 상기 비행 제어부(100)에서, 상기 제어 정보 생성 단계(S300)에 의한 자세 제어 정보를 이용하여, 상기 지능형 자율비행 무인기의 현재 자세 정보를 기반으로 상기 자세 제어 정보를 지향하기 위한 상기 비행 제어 동작을 산출하여 비행 동작을 수행하게 된다.In the flight control performing step (S400), the flight control unit 100 uses the attitude control information by the control information generation step (S300) to determine the attitude control information based on the current attitude information of the intelligent self-flying UAV. The flight control operation for directing is calculated to perform the flight operation.

즉, 상기 비행 제어 수행 단계(S400)는 상기 자세 제어 정보를 지향하기 위한 상기 비행 제어 동작(일 예를 들자면, 모터 출력 등)을 산출하여, 상기 지능형 자율비행 무인기가 비행을 할 수 있도록 제어하게 된다.That is, the flight control performing step (S400) calculates the flight control operation (for example, motor output, etc.) for directing the attitude control information, and controls the intelligent autonomous flying UAV to fly. do.

상기 비교 분석 단계(S500)는 상술한 비행 상태의 모니터링을 위한 단계로서, 상기 임무 제어부(300)에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보와 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 입력받아, 이들을 비교 분석하게 된다. 이를 통해서, 상기 지능형 자율비행 무인기 자체의 이상에 의한 또는, 상기 지능형 자율비행 무인기에서 비행을 제어하는 상기 비행 제어부(100)의 오동작을 신속하게 판단하게 된다.The comparative analysis step (S500) is a step for monitoring the above-described flight state, and in the mission control unit 300, the current attitude information and the second attitude information input step by the first attitude information input step (S100) The current posture information by (S200) is input, and they are compared and analyzed. Through this, it is possible to quickly determine an abnormal operation of the intelligent autonomous flying UAV itself or a malfunction of the flight control unit 100 that controls the flight of the intelligent autonomous flying UAV.

상세하게는, 상기 비교 분석 단계(S500)는 상기 비행 제어부(100)와 상기 단말 제어부(200) 각각으로부터 분석한 상기 현재 자세 정보를 전달받아, 이들을 비교 분석하며, 상기 단말 제어부(200)를 통해서 분석한 상기 현재 자세 정보에 보다 가중치를 두어 비교 분석을 수행하게 된다.In detail, the comparison and analysis step (S500) receives the current attitude information analyzed from each of the flight control unit 100 and the terminal control unit 200, compares and analyzes them, and through the terminal control unit 200 A comparative analysis is performed by putting more weight on the analyzed current posture information.

이 때, 상기 비교 분석 단계(S500)는 도 5에 도시된 바와 같이, 현재 위치 정보 입력 단계(S220)를 통해서 상기 지능형 자율비행 무인기의 현재 위치 정보를 별도로 입력받게 된다.At this time, as shown in FIG. 5, in the comparison and analysis step (S500), the current location information of the intelligent self-flying UAV is separately input through the current location information input step (S220).

상세하게는, 상기 현재 위치 정보 입력 단계(S220)는 상기 임무 제어부(300)에서, 상기 단말 제어부(200)로부터 주변 기지국과의 통신을 통해서 기지국 위치 정보를 보조 데이터로 적용하여 스마트 폰의 현재 위치, 즉 다시 말하자면, 상기 지능형 자율비행 무인기의 현재 위치 정보를 분석하여 전달받게 된다. 상기 단말 제어부(200)는 고정되어 있는 기지국 위치 정보를 보조 데이터로 적용하여 상기 현재 위치 정보를 분석하기 때문에, 보다 정확하고 정밀하게 현재 위치 정보를 분석할 수 있다.In detail, in the current location information input step (S220), in the mission controller 300, the terminal controller 200 applies base station location information as auxiliary data through communication with a nearby base station to determine the current location of the smart phone. , That is, in other words, the current location information of the intelligent self-flying UAV is analyzed and transmitted. Since the terminal controller 200 analyzes the current location information by applying the fixed location information of the base station as auxiliary data, the current location information can be analyzed more accurately and precisely.

이러한 점을 감안하여, 상기 비교 분석 단계(S500)는 비행 상태의 모니터링를 보다 정밀하게 수행할 수 있을 뿐 아니라, 상기 제어 정보 생성 단계(S300)에서도 상기 현재 위치 정보 입력 단계(S220)에 의한 현재 위치 정보를 반영하여, 상기 지능형 자율비행 무인기가 보다 정확하게 상기 임무 비행 경로 또는, 최적 비행 경로로 비행을 수행할 수 있도록 상기 자세 제어 정보를 생성할 수 있다.In view of this, in the comparison and analysis step (S500), flight state monitoring can be performed more precisely, and in the control information generation step (S300), the current position by the current location information input step (S220) Reflecting the information, the attitude control information may be generated so that the intelligent self-flying UAV can more accurately fly along the mission flight path or the optimal flight path.

이를 통해서, 상기 비교 분석 단계(S500)는 상기 비행 제어부(100)와 상기 단말 제어부(200) 각각으로부터 분석한 상기 현재 자세 정보 뿐 아니라, 상기 위치 정보 입력 단계(S220)에 의한 현재 위치 정보를 반영하여 상기 지능형 자율비행 무인기 자체의 이상에 의한 또는, 상기 지능형 자율비행 무인기에서 비행을 제어하는 상기 비행 제어부(100)의 오동작을 신속하게 판단하기 위한 비교 분석을 수행하게 된다.Through this, the comparison and analysis step (S500) reflects not only the current attitude information analyzed from each of the flight control unit 100 and the terminal control unit 200, but also the current location information by the location information input step (S220). Thus, a comparative analysis is performed to quickly determine an abnormality of the intelligent autonomous flying UAV itself or a malfunction of the flight control unit 100 that controls flight in the intelligent autonomous flying UAV.

상기 비교 분석 단계(S500)는 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보를 기준으로 상기 비행 제어부(100)의 현재 자세 정보가 얼마나 상이한지 판단하여, 상기 비행 제어부(100)의 오동작 여부를 판단할 수 있다.The comparison and analysis step (S500) determines how different the current attitude information of the flight control unit 100 is based on the current attitude information analyzed by the terminal control unit 200, and determines whether the flight control unit 100 is malfunctioning. can judge

또한, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 동일하게 미리 설정된 임계치를 벗어날 경우, 상기 지능형 자율비행 무인기 자체의 이상인 것으로 판단할 수 있다.In addition, when the current attitude information analyzed from the terminal control unit 200 and the current attitude information analyzed from the flight control unit 100 are out of the preset threshold, it is determined that the intelligent autonomous flying UAV itself is abnormal. can

이를 통해서, 상기 비교 분석 단계(S500)는 상기 지능형 자율비행 무인기의 비행 상태를 지속적으로 모니터링하면서, 상기 지능형 자율비행 무인기가 제어 기능을 상실하거나 오동작이 발생될 경우, 그 즉시 상기 비행 제어부(100)의 시스템 셧다운을 통해서 상기 지능형 자율비행 무인기에 포함된 프로펠러에 의한 사물이나 사람의 충돌에 따른 파손 및 피해를 예측 가능한 정도로 축소시키도록 제어하게 된다.Through this, the comparison and analysis step (S500) continuously monitors the flight status of the intelligent autonomous flying UAV, and when the intelligent autonomous flying UAV loses control function or malfunctions, immediately the flight control unit 100 Through the system shutdown of the intelligent self-flying UAV is controlled to reduce damage and damage due to collision with objects or people by the propeller included in the intelligent autonomous flying drone to a predictable extent.

상기 임무 제어부(300)는 외부로부터 전원 차단 명령이 입력되거나, 상기 판단 결과에 따른 위협 상황으로 판단될 경우, 스위치 동작을 제어하여 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.The mission control unit 300 controls the switch operation to cut off the supply of operation power to the flight control unit 100 when a power cut-off command is input from the outside or when it is determined to be a threat situation according to the determination result, immediately. The intelligent self-flying drone is forced to fall.

이 때, 상기 전원 차단 명령은 지상국에서의 조종기를 통해 입력되거나, 상기 단말 제어부(200)의 통신망을 통해서 입력받을 수 있다.At this time, the power cut command may be input through a controller in the ground station or through a communication network of the terminal control unit 200 .

상기 비행 제어부(100)의 오동작 여부 판단에 대한 예를 들자면, 가중치를 두고 있는 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보는 임계치를 넘기지 않는 정상 범위이지만, 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 상기 단말 제어부(200)와는 달리 임계치를 벗어났을 경우, 상기 비행 제어부(100) 자체가 오동작하고 있는 것으로 판단하고 더 이상의 비행을 유지할 경우 비행 불능 상태로 빠질 것을 우려하여 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.As an example of determining whether the flight control unit 100 is malfunctioning, the current attitude information analyzed from the terminal control unit 200 with a weight is within a normal range that does not exceed a threshold value, but is analyzed from the flight control unit 100. Unlike the terminal control unit 200, when the current attitude information is out of the threshold value, the flight control unit 100 itself determines that it is malfunctioning and maintains further flight, fearing that the flight will fall into a non-flying state. By cutting off the supply of operating power to the control unit 100, the intelligent self-flying UAV is forced to fall immediately.

또한, 상기 지능형 자율비행 무인기 자체의 이상 판단에 대한 예를 들자면, 상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 상기 비행 제어부(100)로부터 분석한 상기 현재 자세 정보가 동일하게 미리 설정된 임계치를 벗어나거나, 상기 지능형 자율비행 무인기가 조종 가능한 최대 좌우각도를 벗어나거나 또는, 소정 시간 동안 반복적으로 임계치를 벗어날 경우, 더 이상의 정상적인 제어가 불가능한 상태로 판단하고 상기 비행 제어부(100)로의 동작 전원의 공급을 차단함으로써, 그 즉시 상기 지능형 자율비행 무인기가 강제 추락하도록 한다.In addition, to take an example of the abnormality determination of the intelligent autonomous flying UAV itself, the current attitude information analyzed from the terminal control unit 200 and the current attitude information analyzed from the flight control unit 100 are set at the same preset threshold. out of range, out of the maximum left and right angle that the intelligent autonomous flying drone can control, or out of the threshold value repeatedly for a predetermined time, it is determined that the normal control is no longer possible and the operating power to the flight control unit 100 By cutting off the supply, the intelligent self-flying drone is forced to fall immediately.

즉, 다시 말하자면, 본 발명의 일 실시예에 따른 지능형 자율비행 무인기의 제어 시스템 및 그 방법은, 사람(관제자, 지상 관리자 등)이 직접 무인기를 제어하지 않아도, 무인기 스스로 장애물을 회피하면서 저장된 경로(임무 비행 경로)를 통해 비행할 수 있으며, 비행을 수행하는 도중 배터리 부족, 기상악화, 장애물 등으로 인한 다양한 위급 상황에 유연하게 대처할 수 있는 장점이 있다.That is, in other words, the control system and method for an intelligent self-flying UAV according to an embodiment of the present invention, even if a person (controller, ground manager, etc.) does not directly control the UAV, the UAV itself avoids obstacles and saves the path It can fly through (mission flight route) and has the advantage of being able to flexibly respond to various emergencies caused by battery shortage, bad weather, obstacles, etc. during flight.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiment drawings, but this is only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiment. No, and those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the scope of the claims described later, but also all modifications equivalent or equivalent to the scope of the claims belong to the scope of the scope of the present invention. .

100 : 비행 제어부
200 : 단말 제어부
300 : 임무 제어부100: flight control
200: terminal control unit
300: mission control

Claims (9)

무인 비행을 위한 다양한 구성을 포함하는 지능형 자율비행 무인기의 제어 시스템에 있어서,
상기 지능형 자율비행 무인기에 포함되어, 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하고, 입력받은 자세 제어 정보에 따른 비행 제어 동작을 수행하는 비행 제어 시스템(FC, Flight Controller)을 포함하는 비행 제어부(100);
상기 지능형 자율비행 무인기에 포함되어, 기설치된 어플리케이션을 이용하여 상기 지능형 자율비행 무인기의 현재 자세 정보를 분석하고, 연결되는 통신망을 이용하여 지상국(GCS, Ground Control Station)과 통신하는 무선 단말수단을 포함하는 단말 제어부(200); 및
상기 지능형 자율비행 무인기에 포함되어, 상기 비행 제어부(100), 단말 제어부(200)와 각각 연결되며, 분석한 상기 현재 자세 정보를 전달받아 입력받은 임무 비행 경로에 따른 자세 제어 정보를 생성하여 전송하는 임무 컴퓨터(MC, Mission Computer)를 포함하는 임무 제어부(300);
를 포함하며,
상기 임무 제어부(300)는
상기 비행 제어부(100)와 상기 단말 제어부(200) 각각으로부터 분석한 상기 현재 자세 정보를 전달받아,
상기 비행 제어부(100)에 의한 현재 자세 정보와 상기 단말 제어부(200)에 의한 현재 자세 정보를 비교 분석하여,
상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보를 기준으로 상기 비행 제어부(100)의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는, 지능형 자율비행 무인기의 제어 시스템.
In the control system of an intelligent autonomous flying drone including various configurations for unmanned flight,
A flight controller including a flight control system (FC, Flight Controller) included in the intelligent autonomous flying UAV, analyzing current attitude information of the intelligent autonomous flying UAV, and performing a flight control operation according to the received attitude control information ( 100);
Included in the intelligent autonomous flying UAV, including a wireless terminal means for analyzing current attitude information of the intelligent autonomous flying UAV using a pre-installed application and communicating with a Ground Control Station (GCS) using a connected communication network a terminal control unit 200; and
Included in the intelligent self-flying UAV, connected to the flight control unit 100 and the terminal control unit 200, respectively, receiving the analyzed current attitude information and generating and transmitting attitude control information according to the input mission flight path Mission control unit 300 including a mission computer (MC, Mission Computer);
Including,
The mission controller 300
Receive the current attitude information analyzed from each of the flight control unit 100 and the terminal control unit 200,
By comparing and analyzing the current attitude information by the flight controller 100 and the current attitude information by the terminal controller 200,
Based on the current attitude information analyzed from the terminal control unit 200, the control system of the intelligent autonomous flying UAV, which determines whether the flight control unit 100 malfunctions or whether the intelligent autonomous flying UAV is abnormal.
 제 1항에 있어서,
상기 단말 제어부(200)는
내장된 영상 촬영 수단의 촬영 데이터를 이용하여, 머신러닝 기반 상기 촬영 데이터의 분석을 수행하여, 분석 결과를 실시간으로 상기 임무 제어부(300)로 전송하는, 지능형 자율비행 무인기의 제어 시스템.
According to claim 1,
The terminal control unit 200 is
A control system of an intelligent autonomous UAV, which analyzes the captured data based on machine learning using the captured data of the built-in image capturing unit and transmits the analysis result to the mission control unit 300 in real time.
 제 1항에 있어서,
상기 단말 제어부(200)는
연결되는 통신망의 기지국 정보를 포함하여 상기 지능형 자율비행 무인기의 현재 위치 정보를 분석하여, 상기 임무 제어부(300)로 전송하는, 지능형 자율비행 무인기의 제어 시스템.
According to claim 1,
The terminal control unit 200 is
A control system for an intelligent autonomous UAV that analyzes current location information of the intelligent autonomous UAV, including base station information of a connected communication network, and transmits it to the mission control unit 300.
 삭제delete 제 3항에 있어서,
상기 임무 제어부(300)는
상기 단말 제어부(200)로부터 분석한 상기 현재 자세 정보와 함께, 상기 현재 위치 정보를 전달받아, 상기 비행 제어부(100)의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는, 지능형 자율비행 무인기의 제어 시스템.
According to claim 3,
The mission controller 300
Intelligent self-flying UAV that receives the current position information together with the current posture information analyzed from the terminal control unit 200 and determines whether the flight control unit 100 malfunctions or the intelligent self-flying UAV has an abnormality control system.
 제 2항에 있어서,
상기 임무 제어부(300)는
상기 비행 제어부(100), 단말 제어부(200)로부터 전달받은 상기 현재 자세 정보를 반영하여, 상기 임무 비행 경로에 따른 자세 제어 정보를 생성하되,
상기 임무 제어부(300)로부터 전달받은 상기 촬영 데이터의 분석 결과를 이용하여 상기 자세 제어 정보를 보정하는, 지능형 자율비행 무인기의 제어 시스템.
According to claim 2,
The mission controller 300
By reflecting the current attitude information transmitted from the flight control unit 100 and the terminal control unit 200, attitude control information according to the mission flight path is generated,
A control system for an intelligent self-flying UAV that corrects the posture control information using an analysis result of the photographing data transmitted from the mission control unit 300.
 컴퓨터로 구현되는 지능형 자율비행 무인기의 제어 시스템에 의해 각 단계가 수행되는 지능형 자율비행 무인기의 제어 방법에 있어서,
상기 지능형 자율비행 무인기에 포함되는 임무 제어부에서, 상기 지능형 자율비행 무인기에 포함되는 비행 제어부로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받는 제1 자세 정보 입력 단계(S100);
임무 제어부에서, 상기 지능형 자율비행 무인기에 포함되는 단말 제어부로부터 분석한 상기 지능형 자율비행 무인기의 현재 자세 정보를 입력받는 제2 자세 정보 입력 단계(S200);
임무 제어부에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보 또는, 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 이용하여, 입력되는 임무 비행 경로에 따른 자세 제어 정보를 생성하는 제어 정보 생성 단계(S300); 및
비행 제어부에서, 상기 제어 정보 생성 단계(S300)에 의한 자세 제어 정보를 이용하여 비행 제어 동작을 수행하는 비행 제어 수행 단계(S400);
를 포함하되,
상기 제1 자세 정보 입력 단계(S100)와 상기 제2 자세 정보 입력 단계(S200)를 수행하고 난 후,
임무 제어부에서, 상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보와 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보를 비교 분석하여, 비행 제어부의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는 비교 분석 단계(S500);
를 더 포함하는, 지능형 자율비행 무인기의 제어 방법.
In the control method of an intelligent autonomous flying UAV in which each step is performed by a control system of an intelligent autonomous flying UAV implemented by a computer,
A first posture information input step (S100) of receiving current posture information of the intelligent self-flying UAV analyzed from the flight control unit included in the intelligent self-flying UAV in a mission controller included in the intelligent autonomous UAV;
A second attitude information input step (S200) of receiving current attitude information of the intelligent autonomous flying UAV analyzed from a terminal control unit included in the intelligent autonomous flying UAV in a mission control unit;
In the mission controller, attitude control information according to the input mission flight path using the current attitude information by the first attitude information input step (S100) or the current attitude information by the second attitude information input step (S200). Control information generation step of generating (S300); and
A flight control performing step (S400) of performing a flight control operation by using the attitude control information by the flight controller, the control information generating step (S300);
Including,
After performing the first attitude information input step (S100) and the second attitude information input step (S200),
In the mission controller, the current attitude information by the first attitude information input step (S100) and the current attitude information by the second attitude information input step (S200) are compared and analyzed, and the malfunction of the flight control unit or the intelligent autonomous flight A comparative analysis step of determining whether the UAV is abnormal (S500);
Further comprising a control method of an intelligent autonomous flying drone.
 제 7항에 있어서,
상기 지능형 자율비행 무인기의 제어 방법은
임무 제어부에서, 단말 제어부로부터 내장된 영상 촬영 수단의 촬영 데이터를 이용하여, 머신러닝 기반 상기 촬영 데이터를 분석한 결과를 실시간으로 입력받는 영상 분석 입력 단계(S210);
를 더 포함하며,
상기 제어 정보 생성 단계(S300)는
상기 영상 분석 입력 단계(S210)에 의한 분석 결과를 이용하여, 상기 자세 제어 정보를 보정하는, 지능형 자율비행 무인기의 제어 방법.
According to claim 7,
The control method of the intelligent autonomous flying UAV
An image analysis and input step of receiving, in a mission control unit, a result of analyzing the captured data based on machine learning by using the captured data of the built-in image capture unit from the terminal controller in real time (S210);
Including more,
The control information generating step (S300)
A control method of an intelligent autonomous flying UAV, which corrects the posture control information by using the analysis result by the image analysis input step (S210).
 제 7항에 있어서,
상기 지능형 자율비행 무인기의 제어 방법은
임무 제어부에서, 단말 제어부로부터 연결되는 통신망의 기지국 정보를 포함하여 분석한 상기 지능형 자율비행 무인기의 현재 위치 정보를 입력받는 위치 정보 입력 단계(S220);
를 더 포함하며,
상기 비교 분석 단계(S500)는
상기 제1 자세 정보 입력 단계(S100)에 의한 현재 자세 정보, 상기 제2 자세 정보 입력 단계(S200)에 의한 현재 자세 정보와 상기 위치 정보 입력 단계(S220)에 의한 현재 위치 정보를 비교 분석하여, 비행 제어부의 오동작 또는, 상기 지능형 자율비행 무인기의 이상 여부를 판단하는, 지능형 자율비행 무인기의 제어 방법.
According to claim 7,
The control method of the intelligent autonomous flying UAV
In the mission control unit, a location information input step of receiving current location information of the intelligent self-flying UAV analyzed including base station information of a communication network connected from a terminal control unit (S220);
Including more,
The comparative analysis step (S500)
By comparing and analyzing the current attitude information by the first attitude information input step (S100), the current attitude information by the second attitude information input step (S200), and the current position information by the position information input step (S220), A control method of an intelligent autonomous flying UAV, which determines whether a flight control unit malfunctions or an abnormality of the intelligent autonomous flying UAV.
KR1020210183434A 2021-12-21 2021-12-21 Control system and method of intelligent automatic flight UAV KR102500221B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183434A KR102500221B1 (en) 2021-12-21 2021-12-21 Control system and method of intelligent automatic flight UAV

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183434A KR102500221B1 (en) 2021-12-21 2021-12-21 Control system and method of intelligent automatic flight UAV

Publications (1)

Publication Number Publication Date
KR102500221B1 true KR102500221B1 (en) 2023-02-16

Family

ID=85325932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183434A KR102500221B1 (en) 2021-12-21 2021-12-21 Control system and method of intelligent automatic flight UAV

Country Status (1)

Country Link
KR (1) KR102500221B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081259A (en) * 2012-01-06 2013-07-16 엘아이지넥스원 주식회사 Method for controlling unmanned vehicle
KR101764507B1 (en) * 2014-12-30 2017-08-02 계명대학교 산학협력단 Control apparatus of unmanned aerial vehicle and method using the same
KR20190012848A (en) * 2017-07-28 2019-02-11 삼성전자주식회사 Unmanned aerial vehicle
KR102209503B1 (en) * 2020-08-24 2021-02-01 코아글림 주식회사 Wireless communication system of Intelligent UAV
KR20210034266A (en) * 2019-09-20 2021-03-30 삼성전자주식회사 Unmanned aerial vehicle and method to perform diagnostic flight before mission flying
KR102254491B1 (en) 2019-11-22 2021-05-21 (주)가시 Automatic fly drone embedded with intelligent image analysis function

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081259A (en) * 2012-01-06 2013-07-16 엘아이지넥스원 주식회사 Method for controlling unmanned vehicle
KR101764507B1 (en) * 2014-12-30 2017-08-02 계명대학교 산학협력단 Control apparatus of unmanned aerial vehicle and method using the same
KR20190012848A (en) * 2017-07-28 2019-02-11 삼성전자주식회사 Unmanned aerial vehicle
KR20210034266A (en) * 2019-09-20 2021-03-30 삼성전자주식회사 Unmanned aerial vehicle and method to perform diagnostic flight before mission flying
KR102254491B1 (en) 2019-11-22 2021-05-21 (주)가시 Automatic fly drone embedded with intelligent image analysis function
KR102209503B1 (en) * 2020-08-24 2021-02-01 코아글림 주식회사 Wireless communication system of Intelligent UAV

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미션컴퓨터, 클라우드 기반 원격 관제 플랫폼 - AWS, 자율무인이동체 산업 선도기업, [online], 2022년 2월 17일, https://tpnet-img.s3.ap-northeast-2.amazonaws.com/entrps/file/2022/02/17/a84ff0f0-4acd-40ae-8673-deb6d622308d1645070993392_0.* *

Similar Documents

Publication Publication Date Title
JP6100868B1 (en) Unmanned moving object control method and unmanned moving object monitoring device
US20160309124A1 (en) Control system, a method for controlling an uav, and a uav-kit
CA2984021C (en) Systems and methods for remote distributed control of unmanned aircraft
CN110738872B (en) Flight control system for an air vehicle and related methods
KR101963826B1 (en) System for flying safety and fault recovery in swarm flight of unmanned aerial vehicles and method thereof
US20170139409A1 (en) Autonomous multi-rotor aerial vehicle with landing and charging system
US11401045B2 (en) Camera ball turret having high bandwidth data transmission to external image processor
US20160347462A1 (en) Unmanned aerial vehicle recovery system
KR20130067847A (en) Airborne reconnaissance system and method using unmanned aerial vehicle
US20190074956A1 (en) Communication apparatus and method for unmanned aerial vehicle
CN106325300A (en) Remote condition monitoring and controlling system of unmanned aerial vehicle based on GSM-4G communication
WO2019127478A1 (en) Control method for unmanned aerial vehicle, flight controller, and unmanned aerial vehicle
WO2020233607A1 (en) Unmanned aerial vehicle control method and apparatus and computer-readable storage medium
KR20190000771A (en) AHRS flight control device based on mobile platform
EP3788451A1 (en) Controlling a vehicle using a remotely located laser and an on-board camera
KR20180025416A (en) Drone flying control system and method using motion recognition and virtual reality
KR102500221B1 (en) Control system and method of intelligent automatic flight UAV
CN111684384A (en) Flight control method and equipment of unmanned aerial vehicle and unmanned aerial vehicle
US20210005079A1 (en) Uav communication control method and system, and uav
KR102258731B1 (en) System and method for controlling flight sequence of unmanned aerial vehicle
CN115390575B (en) Automatic following implementation method and device for unmanned aerial vehicle based on ADS-B
CN112640423A (en) Control method, control device and movable platform
WO2020220234A1 (en) Unmanned aerial vehicle control method and unmanned aerial vehicle
CN110622086B (en) Movable object application framework
Nyein et al. Implementation of vision-based landing target detection for VTOL UAV using raspberry Pi

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant