KR102283444B1

KR102283444B1 - Method for threat situation awareness using ontology and deep learning in uav

Info

Publication number: KR102283444B1
Application number: KR1020190164144A
Authority: KR
Inventors: 김윤근; 윤형식; 박영택; 박현규; 전명중; 이민호
Original assignee: 국방과학연구소
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2021-07-29
Also published as: KR20210073368A

Abstract

본 발명은 무인기의 위협 상황 인지 방법에 관산 것으로서, 상기 무인기 주위에 존재하는 적어도 하나의 제1 개체에 관한 정보를 수집하는 단계, 상기 제1 개체에 관한 정보에 기초하여 제1 그리드 맵을 생성하는 단계, 온톨로지 기반의 제1 추론 모델을 이용하여 상기 제1 그리드 맵을 분석하고, 상기 무인기와 상기 제1 개체 사이의 관계를 1차 추론하는 단계 및 딥 러닝 기반의 제2 추론 모델을 이용하여 상기 1차 추론의 결과를 검증하고, 상기 무인기와 상기 제1 개체 사이의 관계를 2차 추론하는 단계를 포함한다. 이에 따라, 본 발명은 보다 정확하게 무인기의 위협 상황을 인지할 수 있다.The present invention relates to a method for recognizing a threat situation of an unmanned aerial vehicle, comprising the steps of: collecting information on at least one first object existing around the UAV; generating a first grid map based on the information on the first object; step, analyzing the first grid map using an ontology-based first inference model, and first inferring a relationship between the UAV and the first entity, and using a second inference model based on deep learning and verifying a result of the primary inference, and secondary inferring a relationship between the UAV and the first entity. Accordingly, the present invention can more accurately recognize the threat situation of the unmanned aerial vehicle.

Description

A method for recognizing a threat situation of an unmanned aerial vehicle using ontology and deep learning

본 발명은 무인기의 위협 상황 인지 방법에 관한 것으로서, 보다 상세하게는 온톨로지(ontology) 기반의 추론 모델을 딥 러닝(deep learning) 기반의 추론 모델을 통하여 검증하고, 검증 결과에 기초하여 무인기와 개체와의 관계를 추론하는 온톨로지 및 딥 러닝 기반의 위협 상황 인지 방법에 관한 것이다.The present invention relates to a method for recognizing a threat situation of an unmanned aerial vehicle, and more particularly, verifying an ontology-based inference model through a deep learning-based inference model, and based on the verification result, It is about a threat situation recognition method based on ontology and deep learning that infers the relationship of

무인기(Unmanned Aerial Vehicle: UAV)는 다양한 센서 정보를 통해 데이터를 수집하고, 이를 운용하는 의사 결정자에게 정보를 제공한다. 또한, 의사 결정자는 무인기가 제공한 정보에 기초하여 무인기의 상황(situation)을 판단한다.An unmanned aerial vehicle (UAV) collects data through various sensor information and provides information to decision makers who operate it. In addition, the decision maker determines the situation of the UAV based on the information provided by the UAV.

의사 결정자가 저(low) 수준의 데이터를 참고하여 판단하여야 하는 상황을, 무인기가 스스로 추론하여 요약된 정보를 의사 결정자에게 제공하도록 하는 기술로서 온톨로지(ontology) 기술이 있다.There is an ontology technology as a technology that allows a decision maker to provide summary information to a decision maker by inferring a situation in which a decision maker should make a judgment by referring to low-level data.

그러나 종래의 온톨로지 기술은 단순히 시각 정보만을 사용하여 개체의 공간적 정보를 인지할 뿐만 아니라, 의사 결정자가 규정한 제한된 상황만을 추론하므로, 무인기의 인지 가능 범위가 좁고, 추가적인 상황을 정의하기 위한 확장성이 부족하다.However, the conventional ontology technology not only recognizes spatial information of an object using only visual information, but also infers only a limited situation defined by a decision maker, so the recognizable range of the UAV is narrow, and the scalability to define additional situations is limited. Lack.

또한, 종래의 온톨로지 기술은 전문가의 지식에 전적으로 의존하므로, 전문가의 지식 밖의 상황이 발생하거나, 전문가가 예측하지 못한 상황이 발생한 경우, 무인기의 원활한 비행을 통한 임무 완수에 어려움이 따른다.In addition, since the conventional ontology technology completely relies on the knowledge of the expert, when a situation outside the knowledge of the expert occurs or a situation unexpected by the expert occurs, it is difficult to complete the mission through the smooth flight of the UAV.

이에 따라, 온톨로지 기반의 추론 모델의 검증을 통하여, 정확한 추론 결과를 출력할 수 있는 무인기의 위협 상황 인지 방법이 요구된다 할 것이다.Accordingly, through verification of an ontology-based reasoning model, a method for recognizing a threat situation of an unmanned aerial vehicle that can output an accurate reasoning result is required.

본 발명이 해결하고자 하는 기술적 과제는 온톨로지 및 딥 러닝 기반의 하이브리드(hybrid) 관계 추론 기술을 제공하는데 있다. 본 발명의 실시예들이 이루고자 하는 기술적 과제는 상기와 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.The technical problem to be solved by the present invention is to provide an ontology and deep learning-based hybrid relational reasoning technology. The technical problems to be achieved by the embodiments of the present invention are not limited to the technical problems as described above, and other technical problems may be inferred from the following embodiments.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 무인기의 위협 상황 인지 방법은 상기 무인기 주위에 존재하는 적어도 하나의 제1 개체에 관한 정보를 수집하는 단계, 상기 제1 개체에 관한 정보에 기초하여 제1 그리드 맵을 생성하는 단계, 온톨로지 기반의 제1 추론 모델을 이용하여 상기 제1 그리드 맵을 분석하고, 상기 무인기와 상기 제1 개체 사이의 관계를 1차 추론하는 단계 및 딥 러닝 기반의 제2 추론 모델을 이용하여 상기 1차 추론의 결과를 검증하고, 상기 무인기와 상기 제1 개체 사이의 관계를 2차 추론하는 단계를 포함한다.A method for recognizing a threat situation of an unmanned aerial vehicle according to an embodiment of the present invention for solving the above technical problem includes collecting information on at least one first entity existing around the unmanned aerial vehicle, based on the information on the first entity to generate a first grid map, analyzing the first grid map using an ontology-based first inference model, and first inferring a relationship between the UAV and the first entity, and deep learning-based and verifying a result of the first inference by using a second inference model, and secondarily inferring a relationship between the UAV and the first entity.

또한, 상기 제1 그리드 맵을 생성하는 단계는 상기 제1 개체의, 위치 정보를 상기 제1 그리드 맵의 x축-y축 평면에 저장하고, 상기 제1 개체의, 종류 정보, 경로 정보, 고도 정보, 방향 정보 및 속도 정보 중 적어도 하나의 정보가 상기 제1 그리드 맵의 z축에 저장되도록 LOD(Level Of Detail) 형식으로 상기 제1 그리드 맵을 생성한다.In addition, the generating of the first grid map includes storing the location information of the first object in the x-axis-y-axis plane of the first grid map, and the type information, route information, and altitude of the first object. The first grid map is generated in a level of detail (LOD) format such that at least one of information, direction information, and speed information is stored in the z-axis of the first grid map.

또한, 상기 1차 추론하는 단계는 상기 제1 그리드 맵에 저장된 상기 제1 개체에 관한 정보를 상기 1차 추론을 위한 데이터로서 개체화하는 단계, 상기 무인기의 임무 정보, 비행 단계, 비행 지역 중 적어도 어느 하나에 기초하여 상기 1차 추론의 대상이 되는 관심 개체를 선별하는 단계 및 상기 관심 개체 중에서 상기 무인기를 위협하는 위협 개체가 존재하는지 여부를 추론하는 단계를 포함한다.In addition, the first inference step includes at least any one of the steps of individualizing the information about the first object stored in the first grid map as data for the first inference, mission information of the unmanned aerial vehicle, flight phase, and flight area and selecting an object of interest to be subjected to the primary inference based on one, and inferring whether a threat entity threatening the unmanned aerial vehicle exists among the objects of interest.

또한, 상기 1차 추론하는 단계는 상기 위협 개체로부터의 회피 방법을 추론하는 단계를 더 포함한다.In addition, the step of inferring the primary further includes the step of inferring an evasion method from the threat entity.

또한, 상기 개체화하는 단계는 상기 제1 개체의 제원 정보를 포함하는 제1 온톨로지, 상기 제1 개체의 상태 정보를 포함하는 제2 온톨로지 및 상기 무인기와 상기 제1 개체 사이의 관계 정보를 포함하는 제3 온톨로지에 기초하여, 상기 제1 그리드 맵에 저장된 상기 제1 개체에 관한 정보를, 상기 1차 추론을 위한 상기 데이터로서 개체화한다.In addition, the individualizing step includes a first ontology including the specification information of the first object, a second ontology including the state information of the first object, and relationship information between the UAV and the first object. 3 Based on the ontology, the information about the first entity stored in the first grid map is individualized as the data for the first inference.

또한, 상기 2차 추론하는 단계는 상기 1차 추론의 결과가 거짓(false)이라고 검증한 경우, 상기 1차 추론의 결과를 보정하여, 상기 무인기와 상기 제1 개체 사이의 관계를 추론한다.In addition, in the secondary inference, when it is verified that the result of the primary inference is false, the result of the primary inference is corrected to infer a relationship between the UAV and the first entity.

또한, 상기 제2 추론 모델은 상기 1차 추론의 결과에서 참(true) 및 거짓(false)을 검증하도록 학습된 추론 모델이고, 상기 방법은, 상기 제2 추론 모델을 학습시키는 단계를 더 포함한다.In addition, the second inference model is an inference model trained to verify true and false in the result of the primary inference, and the method further includes training the second inference model. .

또한, 상기 학습시키는 단계는 적어도 하나의 제2 개체에 관한 정보를 제2 그리드 맵에 저장하는 단계, 상기 제2 그리드 맵을 상기 제1 추론 모델에 입력하는 단계, 상기 제1 추론 모델에서 출력된 출력 데이터의 참 긍정(True Positive: TP), 거짓 긍정(False Positive: FP), 참 부정(True Negative: TN) 및 거짓 부정(False Negative: FN)을 판정하는 단계 및 상기 출력 데이터의 판정 결과에 기초하여, 참 긍정(TP) 및 거짓 긍정(FP)을 검증하는 제1 검증 모델과, 참 부정(TN) 및 거짓 부정(FN)을 검증하는 제2 검증 모델을 학습시키는 단계를 포함한다.In addition, the learning may include storing information about at least one second entity in a second grid map, inputting the second grid map into the first inference model, Determining true positive (TP), false positive (FP), true negative (TN) and false negative (FN) of the output data, and the determination result of the output data based on the first verification model for verifying true positive (TP) and false positive (FP), and training a second verification model for verifying true negative (TN) and false negative (FN).

또한, 상기 학습시키는 단계는 상기 제1 추론 모델에서 출력된 출력 데이터의 참 긍정(TP) 및 거짓 긍정(FP)을 1, 0으로 각각 라벨링(labeling)하여 상기 제1 검증 모델을 학습시키고, 상기 제1 추론 모델에서 출력된 출력 데이터의 참 부정(TN) 및 거짓 부정(FN)을 1, 0으로 각각 라벨링하여 상기 제2 검증 모델을 학습시킨다.In addition, in the training step, the first verification model is trained by labeling true positive (TP) and false positive (FP) of the output data output from the first inference model as 1 and 0, respectively, and The second verification model is trained by labeling true negation (TN) and false negation (FN) of output data output from the first inference model as 1 and 0, respectively.

또한, 상기 학습시키는 단계는 기 설정된 기준 정확도 이상이 될 때까지 상기 제1 검증 모델 및 상기 제2 검증 모델을 학습시킨다.In addition, in the learning step, the first verification model and the second verification model are trained until the preset reference accuracy is higher or higher.

또한, 상기 제2 추론 모델은 CNN(Convolutional Neural Networks)을 이용한 추론 모델일 수 있다.Also, the second inference model may be an inference model using convolutional neural networks (CNNs).

본 발명의 기술적 과제는 상술한 바에 한정되지 않으며 이하의 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.The technical problems of the present invention are not limited to the above, and other technical problems can be inferred from the following examples.

본 발명의 일 실시예에 따른 무인기의 위협 상황 인지 방법은, 온톨로지 기반의 추론 모델을 딥 러닝 기반의 추론 모델을 통하여 검증함으로써, 무인기와 개체와의 관계를 보다 정확하게 인지할 수 있다.The method for recognizing a threat situation of an UAV according to an embodiment of the present invention can more accurately recognize the relationship between the UAV and the entity by verifying an ontology-based reasoning model through a deep learning-based reasoning model.

또한, 본 발명의 무인기의 위협 상황 인지 방법은 학습 데이터를 통해 딥 러닝 기반의 추론 모델을 학습시키므로, 온톨로지 기반의 추론 모델의 철저한 검증을 보장한다.In addition, since the method for recognizing a threat situation of an unmanned aerial vehicle of the present invention learns a deep learning-based inference model through learning data, it ensures thorough verification of the ontology-based inference model.

또한, 본 발명의 무인기의 위협 상황 인지 방법은 무인기의 위협 상황 발생 시, 회피 방안을 제시하므로, 무인기의 안정적 비행을 통한 완벽한 임수 수행이 가능하도록 한다.In addition, the method for recognizing a threat situation of an unmanned aerial vehicle of the present invention provides an avoidance method when an unmanned aerial vehicle threat situation occurs, so that it is possible to perform a perfect task through stable flight of the unmanned aerial vehicle.

도 1은 본 발명의 실시예에 따른 위협 상황 인지 장치의 내부 블록도이다.
도 2는 본 발명의 실시예에 따른 그리드 맵 생성 방법을 설명하기 위한 도면이다.
도 3은 도 2의 그리드 맵에 저장된 개체에 관한 정보를 온톨로지 추론을 위한 데이터로서 개체화하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 온톨로지 및 딥 러닝 기반의 위협 상황 인지 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델을 학습시키는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 온톨로지 및 딥 러닝 기반의 위협 상황 인지 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 실시예에 따른 온톨로지 기반의 위협 상황 인지 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델을 학습시키는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델의 설정 방법을 예시한다.
도 10은 도 9의 설정에 따른 실험 결과를 예시한다.1 is an internal block diagram of an apparatus for recognizing a threat situation according to an embodiment of the present invention.
2 is a diagram for explaining a grid map generation method according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining a method of individualizing information about an entity stored in the grid map of FIG. 2 as data for ontology inference.
4 is a diagram for explaining a threat situation recognition method based on ontology and deep learning according to an embodiment of the present invention.
5 is a diagram for explaining a method for learning a deep learning-based inference model according to an embodiment of the present invention.
6 is a flowchart illustrating a method for recognizing a threat situation based on ontology and deep learning according to an embodiment of the present invention.
7 is a flowchart illustrating an ontology-based threat situation recognition method according to an embodiment of the present invention.
8 is a flowchart illustrating a method of training a deep learning-based inference model according to an embodiment of the present invention.
9 illustrates a method of setting a deep learning-based inference model according to an embodiment of the present invention.
10 illustrates an experimental result according to the setting of FIG. 9 .

실시예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments are selected as currently widely used general terms as possible while considering functions in the present invention, but may vary depending on intentions or precedents of those of ordinary skill in the art, emergence of new technologies, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "??부", "??모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. there is.

도 1은 본 발명의 실시예에 따른 위협 상황 인지 장치의 내부 블록도이다.1 is an internal block diagram of an apparatus for recognizing a threat situation according to an embodiment of the present invention.

도면을 참조하면, 본 발명의 실시예에 따른 무인기의 위협 상황 인지 장치(100)는 감지부(110), 출력부, 그리드 맵 생성부(130), 메모리(140) 및 제어부(150)를 포함할 수 있다.Referring to the drawings, the apparatus 100 for recognizing a threat situation of an unmanned aerial vehicle according to an embodiment of the present invention includes a detection unit 110 , an output unit, a grid map generation unit 130 , a memory 140 , and a control unit 150 . can do.

감지부(110)는 무인기 주위에 존재하는 적어도 하나의 개체에 관한 정보를 감지할 수 있다. 감지부(110)는 무인기 주위에 존재하는 적어도 하나도 하나의 제1 개체에 관한 정보를 수집할 수 있다. 또한, 감지부(110)는 무인기 주위에 존재하는 적어도 하나의 제2 개체에 관한 정보를 수집할 수 있다. 이하에서, 제1 개체는 무인기의 임무 수행 시, 무인기 주위에 존재하는 개체를 의미하여, 제2 개체는 제2 추론 모델(143)의 학습 데이터 생성을 위한 모의 실험에서 무인기 주위에 존재하는 개체를 의미한다. 제1 개체는 무인기의 임무 수행 시, 감지부(110)가 감지한 개체라는 점에서 제1 개체에 관한 정보는 미리 알 수 없다. 반면, 제2 개체는 제2 추론 모델(143)의 학습 데이터 생성을 위하여 생성된 것이므로, 제2 개체에 관한 정보는 미리 알 수 있거나, 설정된 값일 수 있다.The sensing unit 110 may detect information about at least one entity existing around the unmanned aerial vehicle. The sensing unit 110 may collect information on at least one first entity existing around the unmanned aerial vehicle. In addition, the sensing unit 110 may collect information about at least one second object existing around the unmanned aerial vehicle. Hereinafter, the first object refers to an object that exists around the UAV when the mission is performed, and the second object refers to the object that exists around the UAV in a simulation for generating the learning data of the second inference model 143 . it means. Since the first object is an object detected by the sensing unit 110 when the UAV performs a mission, information about the first object cannot be known in advance. On the other hand, since the second object is generated to generate the training data of the second inference model 143, information on the second object may be known in advance or may be a set value.

감지부(110)는 무인기 주위에 존재하는 개체에 관한 정보를 감지하기 위하여, 무인기의 일 측에 배치되는 센서를 포함할 수 있다. 예를 들어, 감지부(110)는 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 근접 센서, 온/습도 센서, 조도 센서, 압력 센서 및 지자계 센서 중 적어도 어느 하나를 포함할 수 있다.The sensing unit 110 may include a sensor disposed on one side of the unmanned aerial vehicle to detect information about an object existing around the unmanned aerial vehicle. For example, the sensing unit 110 may include at least one of a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a proximity sensor, a temperature/humidity sensor, an illuminance sensor, a pressure sensor, and a geomagnetic sensor. there is.

감지부(110)는 무인기에 발생할 수 있는 돌발 상황 또는 주변 환경의 변화 등을 감지하거나 계측할 수 있다. 감지부(110)는 감지된 돌발 상황 또는 주변의 환경 변화를 전기 신호로 변화하여 제어부(150)에 제공할 수 있다. The sensing unit 110 may detect or measure an unexpected situation or a change in the surrounding environment that may occur in the unmanned aerial vehicle. The sensing unit 110 may convert the sensed unexpected situation or a change in the surrounding environment into an electric signal and provide it to the control unit 150 .

그리드 맵 생성부(130)는 감지부(110)가 감지한 개체에 관한 정보에 기초하여 그리드 맵을 생성할 수 있다.The grid map generator 130 may generate a grid map based on information about the object detected by the detector 110 .

그리드 맵 생성부(130)는 제1 개체에 관한 정보에 기초하여 제1 그리드 맵을 생성할 수 있다. 또한, 그리드 맵 생성부(130)는 제2 개체에 관한 정보에 기초하여 제2 그리드 맵을 생성할 수 있다.The grid map generator 130 may generate a first grid map based on information about the first object. Also, the grid map generator 130 may generate a second grid map based on information about the second entity.

그리드 맵 생성부(130)는 제1 개체의 위치 정보를 제1 그리드 맵의 x-y축 평면에 저장하고, 제1 개체의 종류 정보, 경로 정보, 고도 정보, 방향 정보 및 속도 정보 중 적어도 하나의 정보가 제1 그리드 맵의 z축에 저장되도록 LOD(Level Of Deatail) 형식으로 제1 그리드 맵을 생성할 수 있다.The grid map generating unit 130 stores the location information of the first object in the xy-axis plane of the first grid map, and at least one of type information of the first object, path information, altitude information, direction information, and speed information. The first grid map may be generated in a level of detail (LOD) format such that ? is stored in the z-axis of the first grid map.

그리드 맵 생성부(130)는 제2 개체의 위치 정보를 제2 그리드 맵의 x-y축 평면에 저장하고, 제2 개체의 종류 정보, 경로 정보, 고도 정보, 방향 정보 및 속도 정보 중 적어도 하나의 정보가 제2 그리드 맵의 z축에 저장되도록 LOD(Level Of Deatail) 형식으로 제2 그리드 맵을 생성할 수 있다. 제2 그리드 맵은 학습 데이터로써 제2 추론 모델(143)에 입력될 수 있다.The grid map generator 130 stores the location information of the second object in the xy-axis plane of the second grid map, and at least one of type information of the second object, path information, altitude information, direction information, and speed information. The second grid map may be generated in a level of detail (LOD) format so that ? is stored in the z-axis of the second grid map. The second grid map may be input to the second inference model 143 as training data.

메모리(140)는 제1 추론 모델(141) 및 제2 추론 모델(143)을 저장할 수 있다. 일 실시예에서, 제1 추론 모델(141) 및/또는 제2 추론 모델(143)은 인터페이스(미도시)를 통해 외부에서 제공 받는 것도 가능하다.The memory 140 may store the first reasoning model 141 and the second reasoning model 143 . In an embodiment, the first inference model 141 and/or the second inference model 143 may be externally provided through an interface (not shown).

제1 추론 모델(141)은 온톨로지(ontology) 기반의 추론 모델일 수 있다. 또한, 제2 추론 모델(143)은 딥 러닝(deep learning) 기반의 추론 모델일 수 있다. 제2 추론 모델(143)은 예를 들어 CNN(Convolutional Neural Network)을 이용한 추론 모델일 수 있다.The first reasoning model 141 may be an ontology-based reasoning model. Also, the second inference model 143 may be a deep learning-based inference model. The second inference model 143 may be, for example, an inference model using a convolutional neural network (CNN).

제1 추론 모델(141)은 전문가의 지식에 기반한 추론 규칙을 컴퓨터 등에서 다룰 수 있는 형태로 표현한 모델일 수 있다.The first reasoning model 141 may be a model in which an inference rule based on expert knowledge is expressed in a form that can be handled by a computer or the like.

일 실시예에서, 제1 추론 모델(141)은 제1 온톨로지, 제2 온톨로지 및 제3 온톨로지를 포함할 수 있다. 제1 온톨로지는 정적(static) 정보를 표현하기 위한 온톨로지일 수 있다. 제2 온톨로지는 동적(dynamic) 정보를 표현하기 위한 온톨로지일 수 있다. 제3 온톨로지는 개체와 개체의 주변에 있는 주변 개체들 사이의 관계를 표현하기 위한 온톨로지일 수 있다.In an embodiment, the first inference model 141 may include a first ontology, a second ontology, and a third ontology. The first ontology may be an ontology for expressing static information. The second ontology may be an ontology for expressing dynamic information. The third ontology may be an ontology for expressing a relationship between an entity and surrounding entities in the vicinity of the entity.

제어부(150)는 온톨로지 기반의 제1 추론 모델(141)을 이용하여 제1 그리드 맵을 분석하고, 무인기와 제1 개체 사이의 관계를 1차 추론할 수 있다.The controller 150 may analyze the first grid map using the ontology-based first inference model 141 and first infer a relationship between the UAV and the first entity.

제2 추론 모델(143)은 제1 추론 모델(141)의 결과에서 참(true) 및 거짓(false)을 검증하도록 학습된 추론 모델일 수 있다.The second inference model 143 may be an inference model trained to verify true and false in the result of the first inference model 141 .

제2 추론 모델(143)은 제1 추론 모델(141)의 출력 데이터에서 참 긍정(True Positive: TP) 및 거짓 긍정(False Positive: FP)을 검증하는 제1 검증 모델(143a)과, 제1 추론 모델(141)의 출력데이터에서 참 부정(True Negative: TN) 및 거짓 부정(False Negative: FN)을 검증하는 제2 검증 모델(143b)을 포함할 수 있다.The second inference model 143 includes a first verification model 143a that verifies true positives (TP) and false positives (FPs) in the output data of the first inference model 141, and a first A second verification model 143b for verifying true negative (TN) and false negative (FN) in the output data of the inference model 141 may be included.

제어부(150)는 딥 러닝 기반의 제2 추론 모델(143)을 이용하여 1차 추론의 결과를 검증하고, 무인기와 제1 개체 사이의 관계를 2차 추론할 수 있다. 또한, 제어부(150)는 학습 데이터를 이용하여 제2 추론 모델(143)을 학습시킬 수 있다.The controller 150 may verify a result of the primary inference using the deep learning-based second inference model 143 and may secondary infer a relationship between the UAV and the first entity. Also, the controller 150 may train the second inference model 143 using the training data.

출력부(120)는 제어부(150)가 연산한 무인기의 위협 상황 정보 및 위협 상황의 회피 정보를 시각화 및/또는 청각화하여 출력할 수 있다. 이를 위해, 출력부(120)는 스피커, 디스플레이 등을 구비할 수 있다.The output unit 120 may visualize and/or audibly output the threat situation information and the threat situation avoidance information of the unmanned aerial vehicle calculated by the controller 150 . To this end, the output unit 120 may include a speaker, a display, and the like.

도 2는 본 발명의 실시예에 따른 그리드 맵 생성 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a grid map generation method according to an embodiment of the present invention.

도 1에서와 같이, 무인기(UAV) 주위에 존재하는 개체에 관한 정보는 온톨로지 추론에 활용될 뿐만 아니라, 딥 러닝 추론의 입력 값으로도 활용되므로, 소정의 형태로 구조화되어야 한다.As shown in FIG. 1 , information about an entity existing around an unmanned aerial vehicle (UAV) is used not only for ontology inference, but also as an input value for deep learning inference, so it must be structured in a predetermined form.

온톨로지에서 SWRL(Semantic Web Rule Language) 규칙 추론을 적용하는 경우, 개체의 존재 여부는 소정의 수치적 계산을 통해 획득된다. 이 과정에서, 그리드 맵(grid map) 구조는 개체와의 거리나 상대 방향 등과 같은 개체 간의 수치적 계산을 단순화하여 전체적인 추론 속도를 향상시키는데 이점이 있다.When SWRL (Semantic Web Rule Language) rule inference is applied in the ontology, the existence of an object is obtained through a predetermined numerical calculation. In this process, the grid map structure has an advantage in improving the overall reasoning speed by simplifying numerical calculations between objects such as distances or relative directions from objects.

또한, 그리드 맵은 3차원 매트릭스로의 변환이 용이하여 CNN입력 데이터로써 직접 사용될 수 있다는 이점도 있다. 예를 들어, 위협 상황 인지 장치(100)는 그리드 맵(200)에서 가로 세로의 위치 정보를 3차원 매트릭스의 x-y축에 표현하고, 그리드 맵의 높이인 개체의 속성 정보를 3차원 매트릭스의 z축에 표현함으로써, 그리드 맵을 3차원 매트릭스로 변환할 수 있다.In addition, the grid map has an advantage that it can be directly used as CNN input data because it is easy to transform into a three-dimensional matrix. For example, the threat situation recognition apparatus 100 expresses horizontal and vertical position information in the grid map 200 on the xy-axis of the three-dimensional matrix, and the attribute information of the object, which is the height of the grid map, on the z-axis of the three-dimensional matrix. By expressing in , the grid map can be transformed into a three-dimensional matrix.

도 2를 참조하면, 위협 상황 인지 장치(100)는 개체에 관한 정보에 기초하여 그리드 맵(200)을 생성할 수 있다.Referring to FIG. 2 , the threat situation recognizing apparatus 100 may generate a grid map 200 based on information about the entity.

위협 상황 인지 장치(100)는 개체의 정적(static) 정보 및 개체의 동적(dynamic) 정보를 그리드 맵(200)에 표현할 수 있다. 예를 들어, 정적 정보는 위협 기지(flak), 산(mountain), 레이더(radar) 등을 포함할 수 있다. 또한, 동적 정보는 구름(cloud), 공중 위협 개체들 등을 포함할 수 있다.The threat situation recognition apparatus 100 may express static information of an object and dynamic information of an object on the grid map 200 . For example, the static information may include a threat base (flak), a mountain (mountain), a radar (radar), and the like. In addition, dynamic information may include clouds, aerial threat entities, and the like.

위협 상황 인지 장치(100)는 개체에 관한 정보를 LOD(Level Of Detail) 형식에 그리드 맵(200)에 표현할 수 있다. 일 실시예에서, 위협 상황 인지 장치(100)는 WGS84 좌표체계를 이용하여 무인기의 주위 영역을 격자 모양의 셀(cell) 단위로 분할하여 표현할 수 있다. 예를 들어, 위협 상황 인지 장치(100)는 가로 256개, 세로 256개의 셀을 사용하여 7,680m×7,680m 영역을 그리드 맵(200)으로 표현할 수 있다.The device 100 for recognizing a threat situation may express information about the entity on the grid map 200 in a level of detail (LOD) format. In an embodiment, the threat situation recognition apparatus 100 may divide and express the area around the UAV into grid-shaped cells using the WGS84 coordinate system. For example, the threat situation recognition apparatus 100 may express an area of 7,680 m×7,680 m as the grid map 200 using 256 horizontal and 256 vertical cells.

위협 상황 인지 장치(100)는 개체에 관한 정보에 고유한 ID를 부여하여 그리드 맵(200)에 표현할 수 있다. 또한, 위협 상황 인지 장치(100)는 그리드 맵(200)에 포함된 각각의 셀에 하나의 개체 정보만이 표현되도록 제한할 수 있다. 또한, 위협 상황 인지 장치(100)는 무인기(UAV)의 경로 정보를 그리드 맵(200)에 표현할 수 있다.The threat situation recognizing device 100 may express on the grid map 200 by assigning a unique ID to the information about the entity. In addition, the threat situation recognition apparatus 100 may limit the expression of only one piece of entity information in each cell included in the grid map 200 . Also, the threat situation recognition apparatus 100 may express path information of an unmanned aerial vehicle (UAV) on the grid map 200 .

위협 상황 인지 장치(100)는 개체의 위치 정보를 그리드 맵(200)의 x축-y축 평면에 저장하고, 개체의 종류 정보(210), 경로 정보(220), 고도 정보(230), 방향 정보(240) 및 속도 정보(250) 중 적어도 하나의 정보가 그리드 맵(200)의 z축에 저장되도록 LOD 형식으로 그리드 맵(200)을 생성할 수 있다. 이때, 그리드 맵(200)의 x축-y축은 그리드 맵(200)의 가로-세로와 동일한 의미일 수 있다. 또한, 그리드 맵(200)의 z축은 그리드 맵(200)의 높이와 동일한 의미일 수 있다.The threat situation recognition device 100 stores the location information of the object in the x-axis-y-axis plane of the grid map 200 , the object type information 210 , the path information 220 , the altitude information 230 , and the direction The grid map 200 may be generated in the LOD format so that at least one of the information 240 and the speed information 250 is stored in the z-axis of the grid map 200 . In this case, the x-axis-y-axis of the grid map 200 may have the same meaning as the horizontal-vertical axis of the grid map 200 . Also, the z-axis of the grid map 200 may have the same meaning as the height of the grid map 200 .

위협 상황 인지 장치(100)는 하위의 LOD 단계의 셀(cell)의 조합으로 상위의 LOD 단계의 하나의 셀(cell)을 표현할 수 있다. 예를 들어, 하위의 LOD 단계의 셀(cell)이 4개가 조합되어 상위의 LOD 단계의 하나의 셀(cell)로 구성될 수 있다. 하위의 LOD 단계에서 인지된 개체는 상위의 LOD 단계 정보에 포함이 되는 구조로 공간 및 개체 정보가 표현될 수 있다.The threat situation recognition apparatus 100 may express one cell of the upper LOD stage as a combination of cells of the lower LOD stage. For example, four cells of the lower LOD stage may be combined to form one cell of the upper LOD stage. The object recognized in the lower LOD level is a structure that is included in the upper LOD level information, and spatial and object information can be expressed.

도 3은 도 2의 그리드 맵에 저장된 개체에 관한 정보를 온톨로지 추론을 위한 데이터로서 개체화하는 방법을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a method of individualizing information about an entity stored in the grid map of FIG. 2 as data for ontology inference.

도면을 참조하면, 감지부(110)로부터 인지된 개체는 비정형(unstructured) 데이터이기 때문에 온톨로지를 이용한 규칙 추론에 활용되기에 적합하지 않다. 따라서, 인지된 개체들이 추론에 필요한 속성 정보들을 모두 포함할 수 있도록 인지된 개체를 규칙 추론을 위한 데이터로서 개체화하는 과정이 필요하다.Referring to the drawings, since the object recognized by the sensing unit 110 is unstructured data, it is not suitable for use in rule inference using an ontology. Therefore, it is necessary to individualize the recognized entity as data for rule inference so that the recognized entities can include all attribute information required for inference.

위협 상황 인지 장치(100)는 감지부(110)가 수집한 개체에 관한 정보를 정형화된 데이터로 변환할 수 있다.The threat situation recognition device 100 may convert the information about the object collected by the detection unit 110 into standardized data.

위협 상황 인지 장치(100)는 개체의 제원 정보를 포함하는 제1 온톨로지(310), 개체의 상태 정보를 포함하는 제2 온톨로지(320) 및 무인기(10)와 개체 사이의 관계 정보를 포함하는 제3 온톨로지(330)에 기초하여 그리드 맵(200)에 표현된 개체에 관한 정보를 1차 추론을 위한 데이터로서 개체화할 수 있다.The threat situation recognition device 100 includes a first ontology 310 including the specification information of the object, a second ontology 320 including the state information of the object, and a second ontology including relationship information between the UAV 10 and the object. 3 Based on the ontology 330 , information about an entity expressed in the grid map 200 may be individualized as data for primary inference.

제1 온톨로지(310)는 개체의 제원 정보를 포함할 수 있다. 개체의 제원 정보는 개체의 개념(concept) 정보와 동일한 의미일 수 있다. 예를 들어, 개체의 제원 정보는 개체 종류 정보, 개체 중량 정보, 개체 길이 정보 등의 하위 클래스(class)를 포함할 수 있으나, 이에 제한되지 않는다. 개체 종류 정보에는 구름(cloud), 대공포(flak), 산(mountain), 레이더(radar), 지상군(surface troops) 등이 포함될 수 있다.The first ontology 310 may include entity specification information. The specification information of the entity may have the same meaning as the concept information of the entity. For example, the specification information of the entity may include subclasses such as entity type information, entity weight information, entity length information, but is not limited thereto. The entity type information may include cloud, flak, mountain, radar, surface troops, and the like.

일 실시예에서, 제1 온톨로지(310)는 시간에 따라 변하지 않는 정적(static) 정보를 표현하기 위한 온톨로지일 수 있다. 이때, 정적 정보는 소정 시간이 경과하여도 일정한 범위 내에서 유지될 수 있는 개체의 제원 정보를 의미할 수 있다.In an embodiment, the first ontology 310 may be an ontology for expressing static information that does not change with time. In this case, the static information may refer to specification information of an entity that can be maintained within a certain range even after a predetermined time has elapsed.

제2 온톨로지(320)는 개체 및 개체를 구성하는 구성 요소의 상태 정보를 포함할 수 있다. 예를 들어, 상태 정보는 개체 진행 방향, 개체 고도, 개체 경로 등의 하위 클래스를 포함할 수 있으나, 이에 제한되지 않는다.The second ontology 320 may include state information of an entity and components constituting the entity. For example, the state information may include, but is not limited to, subclasses such as an object moving direction, an object height, and an object path.

일 실시예에서, 제2 온톨로지(320)는 시간에 따라 변하는 동적(dynamic) 정보를 표현하기 위한 온톨로지일 수 있다. 이때 동적 정보는 소정 시간이 경과한 경우, 수치 등이 변경되는 정보일 수 있다.In an embodiment, the second ontology 320 may be an ontology for expressing dynamic information that changes with time. In this case, the dynamic information may be information in which a numerical value or the like is changed when a predetermined time has elapsed.

제3 온톨로지(330)는 무인기(10)와 개체 사이의 관계 정보, 예를 들어, 무인기(10)의 상황(situation)을 정의하기 위한 온톨로지로서, SWRL 규칙에서 이러한 관계들이 사용될 수 있다. 예를 들어, 관계 정보는 개체와의 거리 차이, 위험 단계, 개체와의 고도 차이 등의 하위 클래스를 포함할 수 있으나, 이에 제한되지 않는다.The third ontology 330 is an ontology for defining relationship information between the UAV 10 and an entity, for example, a situation of the UAV 10, and these relationships may be used in SWRL rules. For example, the relationship information may include, but is not limited to, subclasses such as a distance difference from an entity, a risk level, and a height difference from an entity.

한편, 도 3에 도시된 하위 클래스는 예시일 뿐, 실시예에 따라, 하위 클래스의 정의가 추가 또는 삭제될 수 있다.Meanwhile, the subclass shown in FIG. 3 is only an example, and depending on the embodiment, the definition of the subclass may be added or deleted.

한편, 위협 상황 인지 장치(100)는 제1 온톨로지, 제2 온톨로지 및 제3 온톨로지를 이용하여 개체에 관한 정보를 정형화된 데이터로 변환하고, 정형화된 데이터에 기초하여 무인기(10)와 개체 사이의 관계를 1차 추론할 수 있다. 예를 들어, 위협 상황 인지 장치(100)는 무인기(10)의 비행 중 산(mountain)을 인지하고, 산에 대한 정보를 정형화된 데이터로 변환할 수 있다. 또한, 위협 상황 인지 장치(100)는 산의 위치, 고도 등을 특정하여, 산(mountain)이 무인기(10)에 위협을 주는 상황인지 여부를 추론할 수 있다. 또한, 위협 상황 인지 장치(100)는 산(mountain)이 회피 가능한 산(avoidable mountain)으로 판단된 경우, 회피 경로를 추론할 수 있다.On the other hand, the threat situation recognition device 100 converts information about the object into standardized data using the first ontology, the second ontology, and the third ontology, and based on the standardized data, relationship can be inferred. For example, the threat situation recognition device 100 may recognize a mountain during flight of the unmanned aerial vehicle 10 , and convert information about the mountain into standardized data. Also, the threat situation recognizing device 100 may infer whether a mountain poses a threat to the unmanned aerial vehicle 10 by specifying the location, altitude, and the like of the mountain. Also, when it is determined that the mountain is an avoidable mountain, the threat situation recognition apparatus 100 may infer an avoidance path.

그러나, 이러한 1차 추론의 결과는 의사 결정자가 규정한 제한된 상황만을 추론하므로, 의사 결정자의 지식 밖의 상황이 발생하거나, 의사 결정자가 예상하지 못한 상황인 발생하는 경우, 무인기(10)와 개체 사이의 관계를 정확하게 추론할 수 없다.However, since the result of this primary reasoning infers only a limited situation defined by the decision maker, when a situation outside the knowledge of the decision maker occurs or a situation that the decision maker does not expect occurs, the relationship between the drone 10 and the entity relationship cannot be accurately inferred.

따라서, 본 발명은 딥 러닝을 이용한 제2 추론 모델을 통해서 1차 추론의 결과를 검증함으로써, 보다 정확하게 무인기(10)와 개체 사이의 관계를 추론할 수 있다.Accordingly, the present invention can infer the relationship between the UAV 10 and the entity more accurately by verifying the result of the primary inference through the second inference model using deep learning.

도 4는 본 발명의 실시예에 따른 온톨로지 및 딥 러닝 기반의 위협 상황 인지 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a threat situation recognition method based on ontology and deep learning according to an embodiment of the present invention.

도면을 참조하면, 위협 상황 인지 장치(100)는 감지부(110)를 통해 적어도 하나의 제1 개체에 관한 정보(420)를 수집할 수 있다. 제1 개체는 무인기(10)의 임무 수행 시, 무인기(10)의 주위에 존재하는 개체를 의미할 수 있다. Referring to the drawing, the threat situation recognizing apparatus 100 may collect information 420 about at least one first entity through the sensing unit 110 . The first entity may refer to an entity existing around the unmanned aerial vehicle 10 when the mission of the unmanned aerial vehicle 10 is performed.

위협 상황 인지 장치(100)는 제1 개체에 관한 정보(420)를 제1 그리드 맵(200)으로 변환할 수 있다. 위협 상황 인지 장치(100)는 제1 개체의 위치 정보를 제1 그리드 맵(200)의 x-y축 평면에 저장하고, 제1 개체의 종류 정보, 경로 정보, 고도 정보, 방향 정보 및 속도 정보 중 적어도 하나의 정보가 제1 그리드 맵의 z축에 저장되도록 LOD(Level Of Deatail) 형식으로 제1 그리드 맵을 생성할 수 있다.The threat situation recognition apparatus 100 may convert the information 420 about the first entity into the first grid map 200 . The threat situation recognition apparatus 100 stores the location information of the first object in the xy-axis plane of the first grid map 200, and stores at least one of type information, path information, altitude information, direction information, and speed information of the first object. The first grid map may be generated in a level of detail (LOD) format so that one piece of information is stored in the z-axis of the first grid map.

위협 상황 인지 장치(100)는 온톨로지 기반의 제1 추론 모델(141)을 이용하여 무인기(10)와 제1 개체 사이의 관계를 1차 추론할 수 있다. 이때, 제1 추론 모델은 전문가의 지식으로 구축된 SWRL(430)에 의해 생성된 추론 모델일 수 있다.The threat situation recognition device 100 may first infer the relationship between the UAV 10 and the first entity by using the ontology-based first inference model 141 . In this case, the first reasoning model may be an inference model generated by the SWRL 430 built with expert knowledge.

위협 상황 인지 장치(100)는 딥 러닝 기반의 제2 추론 모델(143)을 이용하여 제1 추론의 결과를 검증할 수 있다. 제2 추론 모델(143)은 제2 그리드 맵(410)에 기초하여 생성된 학습된 추론 모델일 수 있다. 제2 추론 모델(143)의 학습 방법은 도 5 이하에서 보다 상세하게 살펴본다.The threat situation recognition apparatus 100 may verify the result of the first inference by using the second inference model 143 based on deep learning. The second inference model 143 may be a learned inference model generated based on the second grid map 410 . The learning method of the second inference model 143 will be described in more detail below with reference to FIG. 5 .

위협 상황 인지 장치(100)는 제2 추론 모델(143)을 이용하여 1차 추론 결과의 참(true) 또는 거짓(false)을 검증할 수 있다.The threat situation recognizing apparatus 100 may verify true or false of the primary inference result by using the second inference model 143 .

예를 들어, 위협 상황 인지 장치(100)는 회피 가능한 산(avoidable mountain)을 추론하기 위해, 제1 추론 모델(141)의 규칙을 다음과 같이 설정할 수 있다.For example, the threat situation recognition apparatus 100 may set the rule of the first inference model 141 as follows in order to infer an avoidable mountain.

1) r1(correct rule): Avoidable mountain C1

C2

C31) r1(correct rule): Avoidable mountain C1

C2

C3

2) r2(general rule): Avoidable mountain C1

C22) r2 (general rule): Avoidable mountain C1

C2

3) r3(specific rule): Avoidable mountain C1

C2

C3

C4 3) r3 (specific rule): Avoidable mountain C1

C2

C3

C4

제1 규칙(r1)은 정답 규칙으로써, C1 내지 C3 조건에 의한 추론 결과는 참 긍정(True Positive)이다. 제1 규칙(r1)은 학습된 제2 추론 모델(143)의 추론 규칙과 동일하다.The first rule r1 is a correct answer rule, and an inference result based on the conditions C1 to C3 is true positive. The first rule r1 is the same as the inference rule of the learned second inference model 143 .

제2 규칙(r2)은 C3 조건을 누락한 경우로서 추론되지 말아야 할 관계들이 잘못 추론되는 경우를 의미하며 제2 규칙(r2)에 의한 추론 결과는 거짓 긍정(False Positive: FP)이다.The second rule (r2) is a case in which condition C3 is omitted, indicating that relationships that should not be inferred are erroneously inferred, and the inference result by the second rule (r2) is false positive (FP).

제3 규칙(r3)은 불필요한 C4 조건이 포함되어 있는 경우로서, 추론되어야할 관계가 추론되지 못하는 경우를 의미하며, 제3 규칙(r3)에 의한 추론 결과는 거짓 부정(False Negative: FN)이다.The third rule (r3) is a case in which an unnecessary C4 condition is included, which means that the relationship to be inferred cannot be inferred, and the inference result by the third rule (r3) is False Negative (FN). .

제2 추론 모델(143)은 1차 추론 결과의 참 긍정(TP) 및 거짓 긍정(FP)을 검증하는 제1 검증 모델(143a)과 1차 추론 결과의 참 부정(TN) 및 거짓 부정(FN)을 검증하는 제2 검증 모델(143b)을 포함하고, 위협 상황 인지 장치(100)는 제1 검증 모델(143a) 및 제2 검증 모델(143b)을 이용하여 1차 추론 결과의 참(True) 및/또는 거짓(False)을 검증할 수 있다.The second inference model 143 includes a first verification model 143a that verifies true positive (TP) and false positive (FP) of the primary inference result, and true negative (TN) and false negative (FN) of the primary inference result. ), including a second verification model 143b for verifying, and the threat situation recognition device 100 uses the first verification model 143a and the second verification model 143b to obtain True of the primary inference result. and/or verify False.

위협 상황 인지 장치(100)는 1차 추론의 결과가 거짓(false)이라고 검증한 경우, 1차 추론의 결과를 보정하여 무인기(10)와 제1 개체 사이의 관계를 추론할 수 있다.When it is verified that the result of the primary inference is false, the threat situation recognition apparatus 100 may infer the relationship between the UAV 10 and the first entity by correcting the result of the primary inference.

위협 상황 인지 장치(100)는 1차 추론의 결과가 참(true)이라고 검증한 경우, 1차 추론의 결과에 따라 무인기(10)와 제1 개체 사이의 관계를 추론할 수 있다.When the threat situation recognition apparatus 100 verifies that the result of the primary inference is true, the apparatus 100 for recognizing a threat situation may infer the relationship between the UAV 10 and the first entity according to the result of the primary inference.

도 5는 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델을 학습시키는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method for learning a deep learning-based inference model according to an embodiment of the present invention.

도면을 참조하면, 위협 상황 인지 장치(100)는 지도 학습(supervised learning)에 의하여 딥 러닝 기반의 제2 추론 모델을 학습시킬 수 있다. 이를 위해 위협 상황 인지 장치(100)는 학습 데이터를 생성하여 제2 추론 모델에 입력 시킬 수 있다.Referring to the drawing, the threat situation recognition apparatus 100 may learn a second inference model based on deep learning by supervised learning. To this end, the threat situation recognition device 100 may generate learning data and input it to the second inference model.

보다 상세하게는, 위협 상황 인지 장치(100)는 제2 개체에 관한 정보를 제2 그리드 맵(410)에 저장할 수 있다.In more detail, the threat situation recognizing apparatus 100 may store information about the second entity in the second grid map 410 .

제2 개체는 제2 추론 모델(143)의 학습 데이터 생성을 위해 생성된 개체로서, 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보가 의사 결정자에 의해 미리 정의된 개체이거나, 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보를 정확하게 획득할 수 있는 개체를 의미할 수 있다.The second entity is an entity generated for generating the learning data of the second inference model 143, and the concept information of the entity, the state information of the entity, and the relationship information between the UAV 10 and the entity are determined by the decision maker. It may be a predefined entity or an entity capable of accurately acquiring concept information of the entity, state information of the entity, and relationship information between the UAV 10 and the entity.

일 실시예에서, 제2 그리드 맵(410)은 의사 결정자에 의한 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보의 직접 입력에 의해 생성될 수 있다.In an embodiment, the second grid map 410 may be generated by direct input of concept information of an entity, state information of an entity, and relationship information between the UAV 10 and the entity by a decision maker.

다른 실시예에서, 제2 그리드 맵(410)은 학습 데이터 생성을 위한 기 설정된 모의 실험 비행에 의해 생성될 수 있다. 이때, 제2 그리드 맵(410)에 표현되는 제2 개체는 의사 결정자에 의해 생성된 개체이거나, 정확한 정보 획득이 가능한 개체일 수 있다.In another embodiment, the second grid map 410 may be generated by a preset simulation flight for generating learning data. In this case, the second entity represented on the second grid map 410 may be an entity created by a decision maker or an entity capable of obtaining accurate information.

위협 상황 인지 장치(100)는 제2 그리드 맵을 제1 추론 모델(141)에 입력할 수 있다.The threat situation recognition apparatus 100 may input the second grid map to the first inference model 141 .

위협 상황 인지 장치(100)는 제2 추론 모델(143)을 이용하여, 제1 추론 모델(141)에서 출력된 출력 데이터의 참 긍정(TP), 거짓 긍정(FP), 참 부정(TN) 및 거짓 부정(FN)을 구분할 수 있다.The threat situation recognition apparatus 100 uses the second inference model 143 to obtain true positive (TP), false positive (FP), true negative (TN) and output data output from the first inference model 141 . False negatives (FNs) can be distinguished.

위협 상황 인지 장치(100)는 제1 추론 모델(141)에서 출력된 출력 데이터의 참 긍정(TP)을 1로 라벨링(labeling)하고, 거짓 긍정(FP) 0으로 라벨링할 수 있다. 또한, 위협 상황 인지 장치(100)는 제1 추론 모델(141)에서 출력된 출력 데이터의 참 부정(TN)을 1로 라벨링(labeling)하고, 거짓 부정(FN) 0으로 라벨링할 수 있다.The threat situation recognition apparatus 100 may label a true positive (TP) of the output data output from the first inference model 141 as 1, and label it as a false positive (FP) 0. Also, the threat situation recognizing apparatus 100 may label true negation (TN) of the output data output from the first inference model 141 as 1 and label false negation (FN) as 0.

위협 상황 인지 장치(100)는, 라벨링된 참 긍정(TP) 및 거짓 긍정(FP)에 기초하여 제1 검증 모델(143a)을 학습시킬 수 있다. 또한, 위협 상황 인지 장치(100)는, 라벨링된 참 부정(TN) 및 거짓 부정(FN)에 기초하여 제2 검증 모델(143b)을 학습시킬 수 있다.The threat situation recognition apparatus 100 may train the first verification model 143a based on the labeled true positive (TP) and false positive (FP). Also, the threat situation recognition apparatus 100 may train the second verification model 143b based on the labeled true negative (TN) and false negative (FN).

한편, 제1 추론 모델(141)로부터 초기에 학습된, 제1 검증 모델(143a) 및 제2 검증 모델(143b)은 학습 데이터가 적거나 편중된 출력 데이터로부터 학습될 수 있다. 따라서, 제1 검증 모델(143a) 및 제2 검증 모델(143b)의 업데이트가 필요하다. 이에 따라, 위협 상황 인지 장치(100)는 제3 그리드 맵(520)을 생성하여 학습 데이터로 사용할 수 있다.Meanwhile, the first verification model 143a and the second verification model 143b, which are initially learned from the first inference model 141 , may be learned from the output data with little or unbalanced training data. Accordingly, it is necessary to update the first verification model 143a and the second verification model 143b. Accordingly, the threat situation recognition apparatus 100 may generate the third grid map 520 and use it as learning data.

제3 그리드 맵(520)의 생성 방법은 제2 그리드 맵(410)의 생성 방법과 동일하다. 다시 말해, 제3 그리드 맵(520)에 표현되는 제3 개체는 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보가 의사 결정자에 의해 미리 정의된 개체이거나, 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보를 정확하게 획득할 수 있는 개체를 의미할 수 있다.The method of generating the third grid map 520 is the same as the method of generating the second grid map 410 . In other words, the third entity represented in the third grid map 520 is an entity in which concept information of the entity, state information of the entity, and relationship information between the UAV 10 and the entity are predefined by a decision maker or , may mean an entity capable of accurately acquiring concept information of the entity, state information of the entity, and relationship information between the UAV 10 and the entity.

일 실시예에서, 제3 그리드 맵(520)은 의사 결정자에 의한 개체의 개념(concept) 정보, 개체의 상태 정보 및 무인기(10)와 개체 사이의 관계 정보의 직접 입력에 의해 생성될 수 있다.In an embodiment, the third grid map 520 may be generated by direct input of concept information of an entity, state information of an entity, and relationship information between the UAV 10 and the entity by a decision maker.

다른 실시예에서, 제3 그리드 맵(520)은 학습 데이터 생성을 위한 기 설정된 모의 실험 비행에 의해 생성될 수 있다. 이때, 제3 그리드 맵(520)에 표현되는 제3 개체는 의사 결정자에 의해 생성된 개체이거나, 정확한 정보 획득이 가능한 개체일 수 있다. 또한, 제3 개체는 제2 개체와 상이할 수 있다. 제3 개체와 제2 개체를 상이하게 설정함에 따라, 학습 데이터의 편중을 방지할 수 있다.In another embodiment, the third grid map 520 may be generated by a preset simulation flight for generating learning data. In this case, the third entity represented on the third grid map 520 may be an entity created by a decision maker or an entity capable of obtaining accurate information. Also, the third entity may be different from the second entity. By setting the third entity and the second entity to be different, it is possible to prevent the learning data from being biased.

한편, 제3 그리드 맵에 의한 학습 결과는 제2 그리드 맵에 의한 학습 결과와 병합되어 제2 추론 모델(143)에 포함된 제1 검증 모델(143a) 및 제2 검증 모델(143b)의 학습에 재사용될 수 있다. 이에 따라, 보다 제2 추론 모델(143)의 정확도가 현저하게 증가될 수 있다.On the other hand, the learning result by the third grid map is merged with the learning result by the second grid map to learn the first verification model 143a and the second verification model 143b included in the second inference model 143 . can be reused. Accordingly, the accuracy of the second inference model 143 may be significantly increased.

위협 상황 인지 장치(100)는 기설정된 기준 정확도 이상이 될 때까지 제1 검증 모델(143a) 및 제2 검증 모델(143b)을 학습시킬 수 있다. 예를 들어, 기준 정확도는 91%일 수 있으나, 이에 제한되지 않는다.The threat situation recognizing apparatus 100 may train the first verification model 143a and the second verification model 143b until the preset reference accuracy is higher or higher. For example, the reference accuracy may be 91%, but is not limited thereto.

도 6은 본 발명의 실시예에 따른 온톨로지 및 딥 러닝 기반의 위협 상황 인지 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a method for recognizing a threat situation based on ontology and deep learning according to an embodiment of the present invention.

도면을 참조하면, S610 단계에서, 위협 상황 인지 장치(100)는 무인기 주위에 존재하는 적어도 하나의 제1 개체에 관한 정보를 수집할 수 있다.Referring to the drawing, in step S610 , the threat situation recognizing apparatus 100 may collect information about at least one first entity existing around the unmanned aerial vehicle.

위협 상황 인지 장치(100) 내의 감지부(110)는 무인기에 발생할 수 있는 돌발 상황 또는 주변 환경의 변화 등을 감지하거나 계측할 수 있다. 감지부(110)는 감지된 돌발 상황 또는 주변의 환경 변화를 전기 신호로 변화하여 제어부(150)에 제공할 수 있다. The sensing unit 110 in the threat situation recognizing device 100 may detect or measure an unexpected situation or a change in the surrounding environment that may occur in the unmanned aerial vehicle. The sensing unit 110 may convert the sensed unexpected situation or a change in the surrounding environment into an electric signal and provide it to the control unit 150 .

S620 단계에서, 위협 상황 인지 장치(100)는 제1 개체에 관한 정보에 기초하여 제1 그리드 맵(200)을 생성할 수 있다.In step S620 , the threat situation recognizing apparatus 100 may generate the first grid map 200 based on information about the first entity.

위협 상황 인지 장치(100) 내의 그리드 맵 생성부(130)는 제1 개체의 정적(static) 정보 및 제1 객체의 동적(dynamic) 정보를 그리드 맵(200)에 표현할 수 있다. 예를 들어, 정적 정보는 위협 기지(flak), 산(mountain), 레이더(radar) 등을 포함할 수 있다. 또한, 동적 정보는 구름(cloud), 공중 위협 개체들 등을 포함할 수 있다.The grid map generator 130 in the threat situation recognition device 100 may express static information of the first object and dynamic information of the first object on the grid map 200 . For example, the static information may include a threat base (flak), a mountain (mountain), a radar (radar), and the like. In addition, dynamic information may include clouds, aerial threat entities, and the like.

위협 상황 인지 장치(100) 내의 그리드 맵 생성부(130)는 제1 개체에 관한 정보를 LOD(Level Of Detail) 형식에 제1 그리드 맵(200)에 표현할 수 있다. 또한, 그리드 맵 생성부(130)는, 제1 개체에 관한 정보에 고유한 ID를 부여하여 제1 그리드 맵(200)에 표현할 수 있다. 또한, 그리드 맵 생성부(130)는 그리드 맵(200)에 포함된 각각의 셀에 하나의 개체 정보만이 표현되도록 제한할 수 있다. 또한, 그리드 맵 생성부(130)는 무인기의 경로 정보를 그리드 맵(200)에 표현할 수 있다.The grid map generator 130 in the threat situation recognizing device 100 may express information about the first entity on the first grid map 200 in a level of detail (LOD) format. In addition, the grid map generator 130 may give a unique ID to the information about the first object and express it on the first grid map 200 . Also, the grid map generator 130 may limit the expression of only one piece of entity information in each cell included in the grid map 200 . Also, the grid map generator 130 may express path information of the UAV on the grid map 200 .

위협 상황 인지 장치(100) 내의 그리드 맵 생성부(130)는 제1 개체의 위치 정보를 제1 그리드 맵(200)의 x축-y축 평면에 저장하고, 개체의 종류 정보, 경로 정보, 고도 정보, 방향 정보 및 속도 정보 중 적어도 하나의 정보가 그리드 맵(200)의 z축에 저장되도록 LOD 형식으로 제1 그리드 맵(200)을 생성할 수 있다. 이때, 제1 그리드 맵(200)의 x축-y축은 제1 그리드 맵(200)의 가로-세로와 동일한 의미일 수 있다. 또한, 제1 그리드 맵(200)의 z축은 제1 그리드 맵(200)의 높이와 동일한 의미일 수 있다.The grid map generator 130 in the threat situation recognizing device 100 stores the location information of the first object in the x-axis-y-axis plane of the first grid map 200 , and information on the type of object, the path information, and the altitude. The first grid map 200 may be generated in the LOD format so that at least one of information, direction information, and speed information is stored in the z-axis of the grid map 200 . In this case, the x-axis-y-axis of the first grid map 200 may have the same meaning as the horizontal-vertical meaning of the first grid map 200 . Also, the z-axis of the first grid map 200 may have the same meaning as the height of the first grid map 200 .

S630 단계에서, 위협 상황 인지 장치(100)는 온톨로지 기반의 제1 추론 모델(141)을 이용하여 제1 그리드 맵(200)을 분석하고, 무인기와 제1 개체 사이의 관계를 1차 추론할 수 있다.In step S630, the threat situation recognition device 100 analyzes the first grid map 200 using the ontology-based first inference model 141, and can first infer the relationship between the UAV and the first entity. there is.

위협 상황 인지 장치(100) 내의 제어부(150)는 제1 그리드 맵(200)에 저장된 제1 개체에 관한 정보를 정형화된 데이터로 개체화할 수 있다. 또한, 제어부(150)는 개체화된 데이터를 기초로 관심 개체를 선별하고, 관심 개체 중에서 무인기를 위협하는 위협 개체가 존재하는지 여부를 추론할 수 있다. 실시예에 따라, 제어부(150)는 위협 개체로부터의 회피 방법을 추론할 수도 있다. 1차 추론 방법에 대해서는 도 7에서 보다 상세하게 살펴본다.The control unit 150 in the device 100 for recognizing a threat situation may individualize information about the first entity stored in the first grid map 200 into standardized data. In addition, the controller 150 may select an object of interest based on the individualized data, and infer whether a threat entity threatening the UAV exists among the objects of interest. According to an embodiment, the controller 150 may infer a method of avoiding the threat entity. The primary reasoning method will be described in more detail with reference to FIG. 7 .

S640 단계에서, 위협 상황 인지 장치(100)는 딥 러닝 기반의 제2 추론 모델(143)을 이용하여 1차 추론의 결과를 검증하고, 무인기와 제1 개체 사이의 관계를 2차 추론할 수 있다.In step S640, the threat situation recognition device 100 may verify the result of the primary inference using the deep learning-based second inference model 143, and may secondary infer the relationship between the UAV and the first entity. .

제2 추론 모델(143)은 1차 추론의 결과에서 참(true) 및/또는 거짓(false)을 검증하도록 학습된 추론 모델일 수 있다. 이를 위해, 제2 추론 모델(143)은 1차 추론 결과의 참 긍정(TP) 및 거짓 긍정(FP)을 검증하는 제1 검증 모델(143a)과 1차 추론 결과의 참 부정(TN) 및 거짓 부정(FN)을 검증하는 제2 검증 모델(143b)을 포함할 수 있다.The second inference model 143 may be an inference model trained to verify true and/or false in the result of primary inference. To this end, the second inference model 143 includes a first verification model 143a that verifies true positive (TP) and false positive (FP) of the primary inference result, and true negative (TN) and false of the primary inference result. A second verification model 143b for verifying the negation FN may be included.

위협 상황 인지 장치(100) 내의 제어부(150)는 1차 추론의 결과가 참 긍정(TP)라고 연산한 경우, 1차 추론의 결과에 따라, 무인기의 개체 사이의 관계를 추론할 수 있다.When it is calculated that the result of the primary inference is true positive (TP), the controller 150 in the device 100 for recognizing a threat situation may infer a relationship between the entities of the UAV according to the result of the primary inference.

위협 상황 인지 장치(100) 내의 제어부(150)는 1차 추론의 결과가 거짓 긍정(FP)라고 연산한 경우, 1차 추론이 잘못 추론된 것으로 연산하여, 제1 추론의 결과를 보정할 수 있다. 또한, 제어부(150)는 보정된 제1 추론의 결과에 기초하여 무인기와 개체 사이의 관계를 추론할 수 있다.When it is calculated that the result of the primary reasoning is false positive (FP), the control unit 150 in the device 100 for recognizing a threat situation may calculate that the primary reasoning is erroneously inferred and correct the result of the first reasoning. . Also, the controller 150 may infer a relationship between the UAV and the entity based on the corrected first inference result.

위협 상황 인지 장치(100) 내의 제어부(150)는 1차 추론의 결과가 참 부정(TN)라고 연산한 경우, 1차 추론의 결과에 따라, 무인기의 개체 사이의 관계를 추론할 수 있다.When the control unit 150 in the threat situation recognizing device 100 calculates that the result of the primary inference is true negative (TN), the controller 150 may infer the relationship between the entities of the UAV according to the result of the primary inference.

위협 상황 인지 장치(100) 내의 제어부(150)는 1차 추론의 결과가 거짓 부정(FN)라고 연산한 경우, 1차 추론이 잘못 추론된 것으로 연산하여, 제1 추론의 결과를 보정할 수 있다. 또한, 제어부(150)는 보정된 제1 추론의 결과에 기초하여 무인기와 개체 사이의 관계를 추론할 수 있다.When the result of the primary reasoning is calculated as false negative (FN), the control unit 150 in the device 100 for recognizing a threat situation may calculate that the primary reasoning is erroneously inferred and correct the result of the first reasoning. . Also, the controller 150 may infer a relationship between the UAV and the entity based on the corrected first inference result.

도 7은 본 발명의 실시예에 따른 온톨로지 기반의 위협 상황 인지 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating an ontology-based threat situation recognition method according to an embodiment of the present invention.

도면을 참조하면, S710 단계에서, 위협 상황 인지 장치(100)는 제1 그리드 맵에 저장된 제1 개체에 관한 정보를 1차 추론을 위한 데이터로서 개체화할 수 있다.Referring to the drawing, in step S710 , the threat situation recognition apparatus 100 may individualize information about a first entity stored in the first grid map as data for primary inference.

위협 상황 인지 장치(100) 내의 제어부(150)는 감지부(110)가 수집한 개체에 관한 정보를 정형화된 데이터로 변환할 수 있다.The control unit 150 in the threat situation recognizing device 100 may convert the information about the object collected by the detection unit 110 into standardized data.

위협 상황 인지 장치(100) 내의 제어부(150)는 개체의 제원 정보를 포함하는 제1 온톨로지(310), 개체의 상태 정보를 포함하는 제2 온톨로지(320) 및 무인기(10)와 개체 사이의 관계 정보를 포함하는 제3 온톨로지(330)에 기초하여 그리드 맵(200)에 표현된 개체에 관한 정보를 1차 추론을 위한 데이터로서 개체화할 수 있다.The control unit 150 in the device for recognizing a threat situation 100 includes a first ontology 310 including the specification information of the entity, a second ontology 320 including the state information of the entity, and the relationship between the UAV 10 and the entity. Based on the third ontology 330 including the information, information on the entity expressed in the grid map 200 may be individualized as data for primary inference.

S720 단계에서, 위협 상황 인지 장치(100)는 무인기의 임무 정보, 비행 단계 및 비행 지역 중 적어도 어느 하나에 기초하여 1차 추론의 대상이 되는 관심 개체를 선별할 수 있다.In step S720 , the threat situation recognizing device 100 may select an object of interest to be the target of primary inference based on at least one of mission information of the UAV, a flight stage, and a flight area.

무인기의 임무 정보는 정찰, 공격 등에 대한 정보를 포함할 수 있다. 무인기의 비행 단계는 이륙 단계, 비행 단계, 착륙 단계 등을 포함할 수 있다. 무인기의 비행 지역은 적군 지역, 아군 지역, 공해상 등을 포함할 수 있다.The mission information of the UAV may include information on reconnaissance, attack, and the like. The flight phase of the UAV may include a take-off phase, a flight phase, a landing phase, and the like. The flying area of the UAV may include enemy areas, friendly areas, high seas, and the like.

본 발명의 위협 상황 인지 장치(100)는 관심 개체만을 기초로 무인기의 위협 상황을 추론하므로, 불필요한 연산을 감소시키고, 보다 신속하게 무인기의 위협 상황을 추론할 수 있다.Since the threat situation recognition apparatus 100 of the present invention infers the threat situation of the UAV based on only the object of interest, unnecessary calculations can be reduced and the threat situation of the UAV can be inferred more quickly.

S730 단계에서, 위협 상황 인지 장치(100)는 관심 개체 중에서 무인기를 위협하는 위협 개체가 존재하는지 여부를 추론할 수 있다.In step S730 , the threat situation recognizing device 100 may infer whether there is a threat object threatening the unmanned aerial vehicle among the objects of interest.

예를 들어, 무인기가 피탐(recognition), 피격(attacked)될 가능성이 있는 위치에 배치된 개체를 위협 개체라고 할 수 있다.For example, an entity placed in a position where an unmanned aerial vehicle may be detected or attacked may be referred to as a threat entity.

S740 단계에서, 위협 상황 인지 장치(100)는 위협 개체로부터의 회피 방법을 추론할 수 있다.In step S740 , the threat situation recognizing device 100 may infer a method of avoiding the threat entity.

예를 들어, 위협 상황 인지 장치(100)는 무인기가 위협 상황을 인지한 경우, 회피 가능 개체(avoidable object)를 탐지할 수 있다. 회피가능 개체는 위협 개체를 회피하는 데 도움이 되는 개체를 의미하며, 은폐 또는 엄폐가 가능하도록 해줄 수 있는 산, 구름 등과 같은 개체를 나타낼 수 있다.For example, the threat situation recognizing apparatus 100 may detect an avoidable object when the unmanned aerial vehicle recognizes a threat situation. An evasable entity refers to an entity that helps to evade a threatening entity, and may refer to entities such as mountains, clouds, etc.

위협 상황 인지 장치(100)는 무인기가 위협 상황을 인지한 경우, 회피 가능 개체들의 정보에 기초하여 회피 경로를 제공할 수 있다. When the unmanned aerial vehicle recognizes a threat situation, the threat situation recognizing device 100 may provide an evasion route based on information on evasable entities.

도 8은 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델을 학습시키는 방법을 설명하기 위한 순서도이다.8 is a flowchart illustrating a method of training a deep learning-based inference model according to an embodiment of the present invention.

도면을 참조하면, S810 단계에서, 위협 상황 인지 장치(100)는 적어도 하나의 제2 개체에 관한 정보를 제2 그리드 맵(410)에 저장할 수 있다.Referring to the drawing, in step S810 , the threat situation recognizing apparatus 100 may store information about at least one second entity in the second grid map 410 .

S820 단계에서, 위협 상황 인지 장치(100)는 제2 그리드 맵(410)을 제1 추론 모델(141)에 입력할 수 있다In step S820 , the threat situation recognition apparatus 100 may input the second grid map 410 to the first inference model 141 .

위협 상황 인지 장치(100) 내의 제어부(150)는 온톨로지 기반의 제1 추론 모델(141)을 이용하여 제2 그리드 맵(410)을 분석하고, 무인기와 제2 개체 사이의 관계를 추론 결과를 출력 데이터로써 출력할 수 있다.The control unit 150 in the threat situation recognition device 100 analyzes the second grid map 410 using the ontology-based first inference model 141, and outputs an inference result of the relationship between the UAV and the second entity. It can be output as data.

S830 단계에서, 위협 상황 인지 장치(100)는 제2 추론 모델(143)을 이용하여, 제1 추론 모델(141)에서 출력된 출력 데이터의 참 긍정(TP), 거짓 긍정(FP), 참 부정(TN) 및 거짓 부정(FN)을 판정할 수 있다.In step S830 , the threat situation recognizing device 100 uses the second inference model 143 to obtain true positive (TP), false positive (FP), and true negative of the output data output from the first inference model 141 . (TN) and false negative (FN) can be determined.

S840 단계에서, 위협 상황 인지 장치(100)는 출력 데이터의 판정 결과에 기초하여, 참 긍정(TP) 및 거짓 긍정(FP)을 검증하는 제1 검증 모델(143a)과 참 부정(TN) 및 거짓 부정(FN)을 검증하는 제2 검증 모델(143b)을 학습시킬 수 있다.In step S840 , the threat situation recognizing device 100 includes a first verification model 143a that verifies true positive (TP) and false positive (FP) and true negative (TN) and false based on the determination result of the output data. The second verification model 143b for verifying the negation (FN) may be trained.

위협 상황 인지 장치(100) 내의 제어부(150)는, 제1 추론 모델(141)에서 출력된 출력 데이터의 참 긍정(TP)을 1로 라벨링(labeling)하고, 거짓 긍정(FP) 0으로 라벨링할 수 있다. 또한, 위협 상황 인지 장치(100)는 제1 추론 모델(141)에서 출력된 출력 데이터의 참 부정(TN)을 1로 라벨링(labeling)하고, 거짓 부정(FN) 0으로 라벨링할 수 있다.The control unit 150 in the threat situation recognition device 100 labels the true positive (TP) of the output data output from the first inference model 141 as 1, and labels the false positive (FP) as 0. can Also, the threat situation recognizing apparatus 100 may label true negation (TN) of the output data output from the first inference model 141 as 1 and label false negation (FN) as 0.

위협 상황 인지 장치(100) 내의 제어부(150)는, 라벨링된 참 긍정(TP) 및 거짓 긍정(FP)에 기초하여 제1 검증 모델(143a)을 학습시킬 수 있다. 또한, 위협 상황 인지 장치(100)는, 라벨링된 참 부정(TN) 및 거짓 부정(FN)에 기초하여 제2 검증 모델(143b)을 학습시킬 수 있다.The control unit 150 in the threat situation recognition apparatus 100 may train the first verification model 143a based on the labeled true positive (TP) and false positive (FP). Also, the threat situation recognition apparatus 100 may train the second verification model 143b based on the labeled true negative (TN) and false negative (FN).

도 9는 본 발명의 실시예에 따른 딥 러닝 기반의 추론 모델의 설정 방법을 예시하고, 도 10은 도 9의 설정에 따른 실험 결과를 예시한다.9 illustrates a method of setting a deep learning-based inference model according to an embodiment of the present invention, and FIG. 10 illustrates an experimental result according to the setting of FIG. 9 .

도 9에서, 개체에 관한 정보는 32x32x5의 Grid Map을 Matrix로 변환하여 입력 값으로 사용한다. 또한, 학습을 위한 CNN 구조는 7개의 컨벌루션 레이어(Conv2)들과 컨벌루션 레이어 사이에 배치되는 풀링(poolin) 및 드롭아웃(dropout)을 사용하여 모델의 오버피팅(overfitting)을 감소시켰다. 또한, 마지막에 풀리 커텍티드 레이어(Fully Connected Layer)를 추가하고 마지막으로 관계의 존재 여부를 위한 바이너리 레이어(binary Layer)를 추가하여 네트워크를 구성한다.In FIG. 9 , information about the object is used as an input value by converting a 32x32x5 Grid Map into a Matrix. In addition, the CNN structure for learning reduces overfitting of the model by using seven convolutional layers (Conv2) and pooling and dropout disposed between the convolutional layers. In addition, a fully connected layer is added at the end, and a binary layer for the existence of a relationship is finally added to configure the network.

파라미터(parameter)는 Adam optimizer를 사용할 수 있으며, beta1(0.9), beta2(0.999), epsilon(None), decay(0.0)를 설정한다. 또한 lr(learning rate)는 0.001, epoch는 300번 사용하여 모델을 학습시킨다.Adam optimizer can be used for parameters, and beta1(0.9), beta2(0.999), epsilon(None), and decay(0.0) are set. Also, the model is trained using lr (learning rate) 0.001 and epoch 300 times.

도 9의 설정에 의한 결과는 도 10과 같다. 도 10에서와 같이, 온톨로지 및 딥 러닝에 기반한 위협 상황 인지 결과(920)는, 온톨로지 기반의 추론 결과(910)에 비하여 정확도가 현저하게 증가하는 것을 알 수 있다.The result by the setting of FIG. 9 is the same as that of FIG. As shown in FIG. 10 , it can be seen that the accuracy of the threat situation recognition result 920 based on ontology and deep learning is significantly increased compared to the ontology-based reasoning result 910 .

상술한 바와 같이, 본 발명의 위협 상황 인지 장치(100)는 단순히 시각 정보만을 사용하여 개체의 공간적 정보를 인지하고, 개체의 배치를 통하여 위협 상황을 인지하는 종래 기술에 비하여 위협 상황의 인지 가능 범위가 현저하게 증가되며, 개체를 그리드 맵에 표현함에 따라, 추론의 연산 속도를 증가시키는 동시에. 그리드 맵을 3차원 매트릭스로 변환하여 CNN의 학습 데이터로도 사용할 수 있다.As described above, the threat situation recognizing apparatus 100 of the present invention simply recognizes spatial information of an object using only visual information and recognizes a threat situation through the arrangement of the object. is significantly increased, and as the object is represented on the grid map, while increasing the computational speed of inference. By transforming the grid map into a three-dimensional matrix, it can also be used as training data for CNNs.

또한, 종래 전문가의 지식에만 의존하는 추론 기술에 비하여 추론의 정확도가 현저하게 증가하며, 학습 데이터 생성 방법에 따라, 추가적인 상황을 정의하기 위한 확장성이 증가된다는 이점이 있다.In addition, there is an advantage in that the accuracy of inference is significantly increased compared to the reasoning technique that only relies on the knowledge of the conventional expert, and the scalability for defining additional situations is increased according to the method of generating the learning data.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and a ROM. , RAM, flash memory, and the like, hardware devices specially configured to store and execute program instructions.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.A person of ordinary skill in the art related to this embodiment will understand that it can be implemented in a modified form without departing from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100: 무인기의 위협 상황 인지 장치
110: 감지부
120: 출력부
130: 그리드 맵 생성부
140: 메모리
141: 제1 추론 모델
143: 제2 추론 모델
150: 제어부100: UAV threat situation awareness device
110: sensing unit
120: output unit
130: grid map generator
140: memory
141: first inference model
143: second inference model
150: control unit

Claims

In a method for recognizing a threat situation of an unmanned aerial vehicle,
collecting, by a sensing unit, information on at least one first object existing around the unmanned aerial vehicle;
generating, by a grid map generator, a first grid map based on the information on the first entity;
analyzing, by a controller, the first grid map using an ontology-based first inference model, and first inferring a relationship between the UAV and the first entity; and
verifying, by the controller, a result of the first inference using a second inference model based on deep learning, and secondarily inferring a relationship between the UAV and the first entity; and
Including, by the control unit, learning the second inference model;
The second inference model is
It is an inference model trained to verify true and false in the results of the primary inference,
The learning step
storing, by the controller, information on at least one second entity in a second grid map;
inputting, by the control unit, the second grid map to the first inference model;
The control unit uses the second reasoning model to obtain true positive (TP), false positive (FP), true negative (TN) and output data output from the first reasoning model. determining a False Negative (FN); and
Based on the determination result of the output data, the control unit verifies a first verification model that verifies true positive (TP) and false positive (FP), and a second verification that verifies true negative (TN) and false negative (FN) A method comprising; training the model.

According to claim 1,
The step of generating the first grid map includes:
The grid map generator stores the location information of the first object in the x-axis-y-axis plane of the first grid map,
The first grid map in a LOD (Level Of Detail) format such that at least one of type information, route information, altitude information, direction information, and speed information of the first entity is stored in the z-axis of the first grid map. How to create.

According to claim 1,
The first inference step is
individualizing, by the controller, the information about the first object stored in the first grid map as data for the first inference;
selecting, by the controller, the object of interest to be the primary inference target based on at least one of mission information, flight stage, and flight area of the unmanned aerial vehicle; and
Including, by the control unit; inferring whether there is a threat entity threatening the unmanned aerial vehicle among the objects of interest.

4. The method of claim 3,
The first inference step is
The method further comprising; inferring, by the control unit, an evasion method from the threat entity.

4. The method of claim 3,
The individualizing step
The control unit is based on a first ontology including the specification information of the first object, a second ontology including the state information of the first object, and a third ontology including relationship information between the UAV and the first object to individualize the information about the first entity stored in the first grid map as the data for the primary inference.

According to claim 1,
The second inference step is
When the control unit verifies that the result of the primary inference is false, the method of inferring a relationship between the unmanned aerial vehicle and the first entity by correcting the result of the primary inference.

delete

According to claim 1,
The learning step
The control unit trains the first verification model by labeling true positive (TP) and false positive (FP) of the output data output from the first inference model as 1 and 0, respectively,
The control unit trains the second verification model by labeling true negation (TN) and false negation (FN) of output data output from the first inference model as 1 and 0, respectively.

10. The method of claim 9,
The learning step
The control unit trains the first verification model and the second verification model until the accuracy is greater than or equal to a preset reference accuracy.

According to claim 1,
The second inference model is
A method that is an inference model using Convolutional Neural Networks (CNNs).