KR102472289B1 - Monitoring apparatus and method for air target - Google Patents

Monitoring apparatus and method for air target Download PDF

Info

Publication number
KR102472289B1
KR102472289B1 KR1020220078249A KR20220078249A KR102472289B1 KR 102472289 B1 KR102472289 B1 KR 102472289B1 KR 1020220078249 A KR1020220078249 A KR 1020220078249A KR 20220078249 A KR20220078249 A KR 20220078249A KR 102472289 B1 KR102472289 B1 KR 102472289B1
Authority
KR
South Korea
Prior art keywords
information
air target
identification information
monitoring
surveillance
Prior art date
Application number
KR1020220078249A
Other languages
Korean (ko)
Inventor
박상준
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020220078249A priority Critical patent/KR102472289B1/en
Application granted granted Critical
Publication of KR102472289B1 publication Critical patent/KR102472289B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention provides an air target monitoring device and an air target monitoring method applied to the same. The air target monitoring device includes: an acquisition unit for acquiring a plurality of types of monitoring information on air conditions from a monitoring area; an identification unit for generating identification information by identifying tracks within the monitoring area for each acquired monitoring information; and an analysis unit for comparing the generated identification information to determine whether an air target has penetrated, and generating the air target information according to the determination result. The air target monitoring device and monitoring method enabling unmanned operation of a monitoring post for monitoring the monitoring area are presented.

Description

항공표적 감시 장치 및 감시 방법{MONITORING APPARATUS AND METHOD FOR AIR TARGET}Air target monitoring device and monitoring method {MONITORING APPARATUS AND METHOD FOR AIR TARGET}

본 발명은 항공표적 감시 장치 및 감시 방법에 관한 것으로서, 더욱 상세하게는 감시영역을 감시하기 위한 감시초소의 무인화 운용이 가능하도록 하는 항공표적 감시 장치 및 감시 방법에 관한 것이다.The present invention relates to an air target monitoring device and monitoring method, and more particularly, to an air target monitoring device and monitoring method enabling an unmanned operation of a monitoring post for monitoring a surveillance area.

종래에는 국경 부근에서 육안 감시초소를 운용하여 전방을 감시하였다. 예컨대 육안 감시초소에는 관측병이 투입되었고, 관측병은 시각 및 청각을 사용하여 저고도로 침투하는 항공기의 항적을 감시하였다. 또한, 감시 중에 항적이 관측되면, 그 결과를 JAOP(Joint Air Observation Post)에 모았다가 중앙방공통제소(MCRC)에 접속된 단말기에 수동으로 입력하였다.Conventionally, the front was monitored by operating a visual surveillance post near the border. For example, an observer was put in a visual observation post, and the observer monitored the trajectory of an aircraft penetrating at a low altitude using sight and hearing. In addition, when a track was observed during surveillance, the result was collected in the Joint Air Observation Post (JAOP) and manually input into a terminal connected to the Central Air Defense Control Center (MCRC).

이에, 종래에는 기상 상황 및 감시 시간과, 관측병의 신체 조건 및 숙련도에 따라 관측 결과가 달라지는 어려움이 있다. 또한, 육안 감시초소를 운용하기 위해 다수의 병력이 필요하나, 인구 감소에 따라 병력 축소가 진행되면서 육안 감시초소를 원활하게 운용하는 것에 어려움이 있다.Accordingly, in the related art, there is a difficulty in that observation results vary depending on weather conditions, monitoring time, and physical conditions and proficiency of observers. In addition, although a large number of troops are required to operate the visual observation post, it is difficult to smoothly operate the visual observation post as the number of troops is reduced according to the population decrease.

본 발명의 배경이 되는 기술은 하기의 특허문헌에 게재되어 있다.The background technology of the present invention is published in the following patent documents.

KRKR 10-2022-001562510-2022-0015625 AA

본 발명은 감시영역을 감시하기 위한 감시초소의 무인화 운용이 가능하도록 하는 항공표적 감시 장치 및 감시 방법을 제공한다.The present invention provides an air target monitoring device and monitoring method enabling unmanned operation of a monitoring post for monitoring a surveillance area.

본 발명의 실시 형태에 따른 항공표적 감시 장치는, 감시영역으로부터 항공상황에 대한 복수 종류의 감시정보를 획득하기 위한 획득부; 획득되는 감시정보 별로 상기 감시영역 내의 항적을 식별하여 식별정보를 생성하기 위한 식별부; 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하고, 판단 결과에 따라 항공표적정보를 생성하는 분석부;를 포함한다.An air target monitoring device according to an embodiment of the present invention includes an acquisition unit for acquiring a plurality of types of monitoring information on air conditions from a monitoring area; an identification unit for generating identification information by identifying tracks within the surveillance area for each obtained surveillance information; and an analysis unit that compares generated identification information to determine whether an air target has penetrated, and generates air target information according to the determination result.

상기 획득부는, 상기 감시영역의 가시광선 항공영상을 획득하기 위한 가시광선 카메라; 감시성능의 정확도 향상을 위한 상기 감시영역의 적외선 항공영상을 획득하기 위한 적외선 카메라; 상기 감시영역으로부터의 항공음향을 획득하기 위한 지향성 마이크;를 포함할 수 있다.The acquisition unit may include a visible ray camera for acquiring a visible ray aerial image of the surveillance area; an infrared camera for acquiring an infrared aerial image of the surveillance area to improve the accuracy of surveillance performance; A directional microphone for obtaining aerial sound from the monitoring area may be included.

상기 식별부는, 감시정보로부터 항적을 식별하도록 기계 학습되고, 기계 학습된 정보를 기반으로 감시정보 마다 식별정보를 생성하고, 상기 분석부는, 식별정보들로부터 항공표적의 침투 여부를 판단하도록 기계 학습되고, 기계 학습된 정보를 기반으로 항공표적정보를 생성할 수 있다.The identification unit is machine-learned to identify a track from monitoring information, generates identification information for each monitoring information based on the machine-learned information, and the analysis unit is machine-learned to determine whether an air target has penetrated from the identification information. , air target information can be generated based on machine-learned information.

상기 복수 종류의 감시정보는 상기 감시영역의 가시광선 항공영상 및 적외선 항공영상과, 상기 감시영역으로부터의 항공음향을 포함하고, 상기 식별부는, 상기 가시광선 항공영상으로부터 항적에 대한 형상, 고도, 속도, 헤딩을 식별정보로 생성하고, 상기 적외선 항공영상으로부터 항적에 대한 형상을 식별정보로 생성하고, 상기 항공음향으로부터 항적에 대한 기종, 규모, 헤딩을 식별정보로 생성할 수 있다.The plurality of types of monitoring information include visible ray aerial images and infrared aerial images of the monitoring area, and aerial sound from the monitoring area, and the identification unit determines the shape, altitude, and speed of the track from the visible ray aerial images. , A heading may be generated as identification information, a shape of a track from the infrared aerial imagery may be generated as identification information, and a model, scale, and heading of the track may be generated from the aerial sound as identification information.

상기 분석부는, 상기 가시광선 항공영상으로부터 생성된 형상과 상기 적외선 항공영상으로부터 생성된 형상을 비교하여 항공표적의 침투 여부를 판단하고, 항공표적이 상기 감시영역으로 침투한 것으로 판단되면 항적에 대한 각 식별정보를 통합하여 항공표적정보를 생성할 수 있다.The analysis unit compares the shape generated from the visible ray aerial image with the shape generated from the infrared aerial image to determine whether an air target has penetrated, and if it is determined that the air target has penetrated into the surveillance area, each of the respective Air target information can be created by integrating identification information.

상기 분석부는, 상기 항공표적의 침투 여부를 판단하기 어려운 것이 확인되면, 상기 항공음향으로부터 생성된 헤딩과 상기 가시광선 항공영상으로부터 생성된 헤딩을 비교하여 항공표적의 침투 여부를 다시 판단하고, 항공표적이 상기 감시영역으로 침투한 것으로 판단되면 항적에 대한 각 식별정보를 통합하여 항공표적정보를 생성할 수 있다.If it is confirmed that it is difficult to determine whether the air target penetrates, the analysis unit compares the heading generated from the aerial sound with the header generated from the visible ray aerial image to determine whether the air target penetrates again, and If it is determined that the surveillance area has penetrated, air target information may be generated by integrating each identification information on the track.

상기 획득부는 감시초소에 설치되고, 상기 분석부는 통제 컴퓨터에 탑재되거나, 통제 컴퓨터와 통신으로 연결될 수 있다.The acquisition unit may be installed in a surveillance post, and the analysis unit may be mounted on a control computer or connected to the control computer through communication.

본 발명의 실시 형태에 따른 항공표적 감시 방법은, 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정; 획득되는 감시정보 별로 상기 감시영역 내의 항적을 식별하여 식별정보를 생성하는 과정; 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하는 과정; 상기 판단 결과에 따라 항공표적정보를 생성하는 과정;을 포함한다.An air target monitoring method according to an embodiment of the present invention includes a step of acquiring a plurality of types of monitoring information by monitoring a monitoring area; generating identification information by identifying tracks within the surveillance area for each obtained surveillance information; A process of determining whether an air target has penetrated by comparing generated identification information; and generating air target information according to the determination result.

상기 복수 종류의 감시정보를 획득하는 과정은, 상기 감시영역을 감시하여 가시광선 항공영상을 감시정보로 획득하는 과정; 상기 감시영역을 감시하여 적외선 항공영상을 감시정보로 획득하는 과정; 상기 감시영역을 감시하여 항공음향을 감시정보로 획득하는 과정;을 포함할 수 있다.The process of acquiring the plurality of types of surveillance information may include: acquiring a visible ray aerial image as surveillance information by monitoring the surveillance area; Obtaining an infrared aerial image as surveillance information by monitoring the surveillance area; A process of monitoring the surveillance area and obtaining aerial sound as surveillance information; may include.

상기 가시광선 항공영상을 감시정보로 획득하는 과정과, 상기 적외선 항공영상을 감시정보로 획득하는 과정은 제1 시간 구간 중에 동시에 수행하고, 상기 항공음향을 감시정보로 획득하는 과정은 제1 시간 구간보다 지연된 제2 시간 구간 중에 수행할 수 있다.The process of acquiring the visible ray aerial image as monitoring information and the process of acquiring the infrared aerial image as monitoring information are performed simultaneously during the first time interval, and the process of acquiring the aerial sound as monitoring information is performed during the first time interval. It may be performed during the more delayed second time interval.

상기 식별정보를 생성하는 과정은, 상기 가시광선 항공영상으로부터 제1 식별정보를 생성하는 과정; 상기 적외선 항공영상으로부터 제2 식별정보를 생성하는 과정; 상기 항공음향으로부터 제3 식별정보를 생성하는 과정;을 포함하고, 상기 제1 식별정보와 상기 제2 식별정보는 일부 항목이 중첩되고, 상기 제1 식별정보와 상기 제3 식별정보는 일부 항목이 중첩되고, 상기 제1 식별정보와 상기 제2 식별정보의 중첩된 항목과, 상기 제1 식별정보와 상기 제3 식별정보의 중첩된 항목은 서로 상이할 수 있다.The process of generating the identification information may include generating first identification information from the visible ray aerial image; generating second identification information from the infrared aerial image; generating third identification information from the aeroacoustics; wherein the first identification information and the second identification information overlap some items, and the first identification information and the third identification information have some items The overlapping items of the first identification information and the second identification information and the overlapping items of the first identification information and the third identification information may be different from each other.

상기 항공표적의 침투 여부를 판단하는 과정은, 상기 제1 식별정보와 상기 제2 식별정보의 중첩된 항목의 일치 여부를 판단하여, 중첩된 항목이 일치하면 항공표적이 상기 감시영역으로 침투한 것으로 판단하는 과정; 상기 중첩된 항목이 일치하지 않으면, 상기 제1 식별정보와 상기 제3 식별정보의 중첩된 항목의 일치 여부를 판단하여, 중첩된 항목이 일치하면 항공표적이 상기 감시영역으로 침투한 것으로 판단하는 과정;을 포함하고, 상기 판단 결과에 따라 항공표적정보를 생성하는 과정은, 각 식별정보를 통합하여 항공표적정보를 생성하는 과정;을 포함할 수 있다.In the process of determining whether the air target has penetrated, it is determined whether overlapping items of the first identification information and the second identification information match. judging process; If the overlapping items do not match, determining whether overlapping items of the first identification information and the third identification information match, and determining that an air target has penetrated into the surveillance area if the overlapping items match ; may include, and the process of generating air target information according to the determination result may include a process of generating air target information by integrating each identification information.

상기 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정은, 감시초소에서 수행하고, 상기 판단 결과에 따라 항공표적정보를 생성하는 과정 이후에, 상기 감시초소와 통신으로 연결된 통제소의 통제 컴퓨터로, 생성된 항공표적정보를 송출하는 과정;을 포함할 수 있다.The process of obtaining a plurality of types of surveillance information by monitoring the surveillance area is performed at the surveillance post, and after the process of generating air target information according to the determination result, the control computer of the control station connected to the surveillance post by communication , the process of transmitting the generated air target information; may include.

본 발명의 실시 형태에 따르면, 획득부를 이용하여, 감시영역으로부터 항공상황에 대한 복수 종류의 감시정보를 획득할 수 있다. 또한, 획득부와 연결된 식별부 및 분석부를 이용하여, 감시정보들로부터 식별정보 및 항공표적정보를 생성할 수 있다. 따라서, 감시영역에 대한 무인화 감시를 안정적으로 수행할 수 있다.According to an embodiment of the present invention, a plurality of types of surveillance information on air conditions can be acquired from a surveillance area by using an acquisition unit. In addition, identification information and air target information may be generated from surveillance information by using an identification unit and an analysis unit connected to the acquisition unit. Therefore, it is possible to stably perform unmanned monitoring of the surveillance area.

또한, 획득부에서 복수 종류의 감시정보를 획득할 수 있고, 분석부에서 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단한 후 항공표적정보를 생성할 수 있으므로, 식별정보들 중 일부에 노이즈가 유입되더라도, 유입된 노이즈가 최종 결과물인 항공표적정보에 영향을 끼치는 것을 방지 혹은 감소시킬 수 있다.In addition, since the acquisition unit can obtain multiple types of surveillance information, and air target information can be generated after comparing identification information generated by the analysis unit to determine whether or not an air target has penetrated, some of the identification information has noise. Even if noise is introduced, it is possible to prevent or reduce the influence of the introduced noise on air target information, which is the final result.

도 1은 본 발명의 실시 예에 따른 항공표적 감시 장치의 개략도이다.
도 2는 본 발명의 실시 예에 따른 항공표적 감시 방법의 플로우 차트이다.1 is a schematic diagram of an air target monitoring apparatus according to an embodiment of the present invention.
2 is a flow chart of a method for monitoring air targets according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여, 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니고, 서로 다른 다양한 형태로 구현될 것이다. 단지 본 발명의 실시 예는 본 발명의 개시가 완전하도록 하고, 해당 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명의 실시 예를 설명하기 위하여 도면은 과장될 수 있고, 설명과 관계없는 부분은 도면에서 생략될 수 있고, 도면상의 동일한 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and will be implemented in a variety of different forms. Only the embodiments of the present invention are provided to complete the disclosure of the present invention and to fully inform those skilled in the art of the scope of the invention. In order to explain an embodiment of the present invention, the drawings may be exaggerated, parts irrelevant to the description may be omitted from the drawings, and like reference numerals in the drawings refer to the same elements.

본 발명은 항공표적 감시 장치 및 감시 방법에 관한 것으로, 이하에서는 항공표적 감시 장치 및 감시 방법이 감시영역을 저고도로 침투하는 항공기를 감시하기 위한 대공 감시초소에 적용되는 경우를 예시하여 본 발명의 실시 예를 상세하게 설명한다. 물론, 본 발명의 실시 예에 따른 항공표적 감시 장치 및 감시 방법은 지상 및 해상을 따라 침투하는 각종 이동체를 감시하기 위한 육상 및 해안 감시초소에도 다양하게 적용될 수 있다. 한편, 본 발명의 실시 예에 따른 항공표적 감시 장치 및 감시 방법을 인공지능을 활용한 저고도 무인화 항적 감시 체계(Low-altitude track Unmanned monitoring system using artificial intelligence)라고 지칭할 수도 있다.The present invention relates to an air target monitoring device and monitoring method. Hereinafter, a case in which the air target monitoring device and monitoring method is applied to an anti-aircraft surveillance post for monitoring aircraft penetrating a surveillance area at a low altitude is exemplified to carry out the present invention. An example is described in detail. Of course, the air target monitoring device and monitoring method according to an embodiment of the present invention can be variously applied to land and coastal watchtowers for monitoring various moving objects penetrating along land and sea. Meanwhile, the air target monitoring device and monitoring method according to an embodiment of the present invention may also be referred to as a low-altitude track unmanned monitoring system using artificial intelligence.

도 1은 본 발명의 실시 예에 따른 항공표적 감시 장치의 개략도이다.1 is a schematic diagram of an air target monitoring apparatus according to an embodiment of the present invention.

이하, 도 1을 참조하여, 본 발명의 실시 예에 따른 항공표적 감시 장치를 상세하게 설명한다.Hereinafter, an air target monitoring apparatus according to an embodiment of the present invention will be described in detail with reference to FIG. 1 .

본 발명의 실시 예에 따른 항공표적 감시 장치는, 감시영역(10)을 저고도로 침투하는 항공기(11, 12, 13)를 감시하기 위한 것이다. 항공표적 감시 장치는 획득부(100), 식별부(200) 및 분석부(300)를 포함한다.An air target monitoring device according to an embodiment of the present invention is for monitoring aircrafts 11, 12, and 13 penetrating the surveillance area 10 at a low altitude. The air target monitoring device includes an acquisition unit 100, an identification unit 200 and an analysis unit 300.

감시영역(10)은 무인화 대공 감시초소(미도시)에 할당된 대공 감시영역을 포함할 수 있다. 무인화 대공 감시초소에는 항공표적 감시 장치의 적어도 일부가 설치될 수 있다. 즉, 무인화 대공 감시초소에는 항공표적 감시 장치의 획득부(100)만 설치되거나, 항공표적 감시 장치의 획득부(100)와 식별부(200)와 분석부(300)가 모두 설치될 수 있다. 항공기(11, 12, 13)는 저고도에서 운용되는 AN-2 항공기, 무인기 등을 포함할 수 있다. 항공기(11, 12, 13)를 항공표적이라 지칭할 수 있다.The surveillance area 10 may include an anti-aircraft surveillance area allocated to an unmanned anti-aircraft surveillance post (not shown). At least a part of an air target monitoring device may be installed in the unmanned anti-aircraft surveillance post. That is, only the acquisition unit 100 of the air target monitoring device may be installed, or all of the acquisition unit 100, identification unit 200, and analysis unit 300 of the air target monitoring device may be installed in the unmanned anti-aircraft surveillance post. The aircraft 11, 12, and 13 may include an AN-2 aircraft operating at low altitude, an unmanned aerial vehicle, and the like. Aircraft 11, 12 and 13 may be referred to as air targets.

물론, 항공기(11, 12, 13)는 무인화 대공 감시초소를 운용하는 중앙방공통제소(MCRC)로부터 비행허가를 받지 않은 상태로 무인화 대공 감시초소에 할당된 대공 감시영역으로 침투하는 각종 비행체를 포함할 수 있다.Of course, the aircrafts 11, 12, and 13 may include various aircraft that infiltrate into the anti-aircraft surveillance area assigned to the unmanned anti-aircraft surveillance post without permission to fly from the Central Air Defense Control Center (MCRC), which operates the unmanned anti-aircraft surveillance post. can

획득부(100)는 항공상황에 대한 복수 종류의 감시정보를 획득하는 역할을 한다. 획득부(100)는 감시영역(10)으로부터 항공상황에 대한 복수 종류의 감시정보를 획득할 수 있도록, 무인화 대공 감시초소에 설치될 수 있다. 이때, 무인화 대공 감시초소를 간단하게 감시초소라고 지칭할 수도 있다.Acquisition unit 100 serves to acquire a plurality of types of monitoring information on air conditions. The acquisition unit 100 may be installed in an unmanned anti-aircraft surveillance post so as to acquire a plurality of types of surveillance information on air conditions from the surveillance area 10 . At this time, the unmanned anti-aircraft surveillance post may simply be referred to as a surveillance post.

복수 종류의 감시정보는 감시영역의 가시광선 항공영상 및 적외선 항공영상과, 감시영역으로부터의 항공음향을 포함할 수 있다.The plurality of types of surveillance information may include visible ray aerial images and infrared aerial images of the surveillance area, and aerial sound from the surveillance area.

획득부(100)는 감시영역(10)의 가시광선 항공영상을 획득하기 위한 가시광선 카메라(110), 감시영역(10)의 적외선 항공영상을 획득하기 위한 적외선 카메라(120) 및 감시영역(10)으로부터의 항공음향을 획득하기 위한 지향성 마이크(130)를 포함할 수 있다. 가시광선 카메라(110), 적외선 카메라(120) 및 지향성 마이크(130)는 서로 간에 간섭되지 않는 거리만큼 상호 이격될 수 있고, 감시영역(10)을 지향하여 설치될 수 있다. 가시광선 카메라(110), 적외선 카메라(120) 및 지향성 마이크(130)는 중앙방공통제소(MCRC)의 통제 컴퓨터(미도시)에 의해 작동이 제어될 수 있고, 제어에 의해 24시간 상시 작동할 수 있다.The acquisition unit 100 includes a visible ray camera 110 for acquiring a visible ray aerial image of the surveillance area 10, an infrared camera 120 for acquiring an infrared aerial image of the surveillance area 10, and a surveillance area 10. ) may include a directional microphone 130 for acquiring airborne sound. The visible ray camera 110, the infrared camera 120, and the directional microphone 130 may be spaced apart from each other by a distance that does not interfere with each other, and may be installed facing the surveillance area 10. The operation of the visible ray camera 110, the infrared camera 120, and the directional microphone 130 can be controlled by a control computer (not shown) of the Central Air Defense Control Center (MCRC), and can be operated 24 hours a day by the control. have.

한편, 획득부(100)는 비상 시에 작동될 수 있도록 감시초소의 내부 혹은 외부에 설치되는 백업용 가시광선 카메라(미도시), 백업용 적외선 카메라(미도시) 및 백업용 지향성 마이크(미도시)를 더 포함할 수도 있다.On the other hand, the acquisition unit 100 further includes a backup visible ray camera (not shown), a backup infrared camera (not shown), and a backup directional microphone (not shown) installed inside or outside the guardhouse so that they can be operated in case of emergency. may also include

가시광선 카메라(110)는 감시영역(10)을 촬영하여 가시광선 항공영상을 획득할 수 있다. 이때, 가시광선 항공영상은 소정의 시간 간격으로 소정의 시간 구간 동안 연속 촬영되어서 생성된 복수의 프레임을 포함할 수 있다.The visible ray camera 110 may acquire a visible ray aerial image by photographing the surveillance area 10 . In this case, the visible ray aerial image may include a plurality of frames generated by continuously photographing at predetermined time intervals for a predetermined period of time.

적외선 카메라(120)는 동일한 감시영역(10)을 동일한 시간에 촬영하여 적외선 항공영상을 획득할 수 있다. 물론, 적외선 항공영상도 동일한 시간 간격으로 동일한 시간 구간 동안 연속 쵤영되어서 생성된 복수의 프레임을 포함할 수 있다. 이에, 가시광선 항공영상과 적외선 항공영상은 프레임 수 및 프레임 크기가 동일할 수 있다.The infrared camera 120 may capture the same surveillance area 10 at the same time to obtain an infrared aerial image. Of course, infrared aerial images may also include a plurality of frames generated by continuously shooting during the same time interval at the same time interval. Accordingly, the number of frames and the frame size of the visible ray aerial image and the infrared aerial image may be the same.

가시광선 카메라(110) 및 적외선 카메라(120)는 감시영역(10)의 가시광선 이미지 및 적외선 이미지를 프레임 단위로 획득할 수 있다.The visible ray camera 110 and the infrared camera 120 may obtain a visible ray image and an infrared image of the monitoring area 10 in units of frames.

지향성 마이크(130)는 동일한 감시영역(10)으로부터 진행되어 감시초소에 도달하는 소리를 녹음하여 항공음향을 획득할 수 있다. 이때, 지향성 마이크(130)는 빛의 속도와 소리의 속도의 차이를 고려하여 녹음 시간을 조절할 수 있다. 따라서, 지향성 마이크(130)에서 녹음된 항공음향은 전술한 동일한 시간 구간 보다 소정 시간 지연된 시간 구간 동안 녹음되어서 생성된 것일 수 있다.The directional microphone 130 may acquire aviation sound by recording sound traveling from the same monitoring area 10 and reaching the monitoring post. At this time, the directional microphone 130 may adjust the recording time in consideration of the difference between the speed of light and the speed of sound. Therefore, the aerial sound recorded by the directional microphone 130 may be generated by being recorded during a time period delayed by a predetermined time from the same time period described above.

가시광선 카메라(110) 및 적외선 카메라(120)에서 획득되는 가시광선 항공영상 및 적외선 항공영상은 비디오 데이터 혹은 픽처 데이터의 형태로 식별부(200)로 전달될 수 있고, 지향성 마이크(130)에서 획득되는 항공음향은 오디오 데이터의 형태로 식별부(200)로 전달될 수 있다. 비디오 데이터 및 픽처 데이터는 픽셀 위치 및 픽셀 값을 데이터로 가질 수 있고, 오디오 데이터는 주파수 값, 주파수 강도 및 주파수 파형을 데이터로 가질 수 있다.The visible ray aerial image and the infrared aerial image acquired by the visible ray camera 110 and the infrared camera 120 may be transferred to the identification unit 200 in the form of video data or picture data, and acquired by the directional microphone 130. The aeroacoustic sound may be delivered to the identification unit 200 in the form of audio data. Video data and picture data may have pixel positions and pixel values as data, and audio data may have frequency values, frequency intensities, and frequency waveforms as data.

식별부(200)는 획득부(100)에서 획득되는 감시정보 별로 감시영역(10) 내의 항적(wash)을 식별하여 식별정보를 생성할 수 있다. 식별부(200)는 획득부(100)와 유선 혹은 무선 통신으로 연결될 수 있다. 또한, 식별부(200)는 감시초소에 설치될 수 있다. 물론, 식별부(200)는 중앙방공통제소(MCRC)의 통제 컴퓨터에 탑재될 수도 있다.The identification unit 200 may generate identification information by identifying a wash within the surveillance area 10 for each monitoring information acquired by the acquisition unit 100 . The identification unit 200 may be connected to the acquisition unit 100 through wired or wireless communication. In addition, the identification unit 200 may be installed in a surveillance post. Of course, the identification unit 200 may also be mounted on the control computer of the central air defense control center (MCRC).

식별부(200)는 감시정보로부터 항적을 식별하도록 기계 학습될 수 있다. 또한, 식별부(200)는 기계 학습된 정보를 기반으로 감시정보 마다 식별정보를 생성할 수 있다. 식별부(200)는 가시광선 항공영상 및 적외선 항공영상으로부터 항적을 식별하기 위한 영상 식별기(210)와, 항공음향으로부터 항적을 식별하기 위한 음향 식별기(220)를 포함할 수 있다.The identification unit 200 may be machine-learned to identify a track from monitoring information. In addition, the identification unit 200 may generate identification information for each surveillance information based on machine-learned information. The identification unit 200 may include an image discriminator 210 for identifying a track from visible and infrared aerial images and a sound discriminator 220 for discriminating a track from aerial sound.

영상 식별기(210)는 CNN(Convolutional Neural Networks) 알고리즘이 탑재될 수 있다. 또한, 영상 식별기(210)는 통제 컴퓨터로부터 기계 학습을 위해 레이블링된 모의 가시광선 항공영상 및 모의 적외선 항공영상을 입력받을 수 있다. 또한, 영상 식별기(210)는 입력받은 모의 가시광선 항공영상 및 모의 적외선 항공영상을 통해 항적을 식별하도록 기계 학습되어 비디어 데이터 및 픽처 데이터로부터 객체 예컨대 항적에 대한 형상, 고도, 속도, 헤딩을 검출하기 위한 복수의 검출 모델을 구축할 수 있다.The image identifier 210 may be equipped with a Convolutional Neural Networks (CNN) algorithm. In addition, the image identifier 210 may receive simulated visible ray aerial images and simulated infrared aerial images labeled for machine learning from the control computer. In addition, the image identifier 210 detects the shape, altitude, speed, and heading of an object, such as a track, from video data and picture data by machine learning to identify tracks through simulated visible ray aerial images and simulated infrared aerial images. A plurality of detection models for this can be constructed.

여기서, 항적은 항공기 즉, 항공표적이 감시영역을 진행하는 것에 의해 교란된 공기가 항공기가 진행한 경로를 따라 소정의 자취를 형성하여 소정 시간동안 유지되는 현상의 결과물을 지칭할 수 있다. 이러한 항적은 주변의 공기와 시각적, 파동적 및 열적으로 구분될 수 있다. 또한, 항적은 항공기의 기종, 속도, 항공역학적 특성 등에 의해 그 형태가 결정될 수 있고, 각기 고유한 형태를 가질 수 있다. 이에, 동일한 기종의 항공기가 동일 혹은 유사한 속도로 동일 혹은 유사한 대기 상태의 감시영역을 이동할 때에는 유사 혹은 동일한 형태의 항적이 형성될 수 있다. 헤딩(heading)은 항공기의 기수가 향하는 방향으로서, 진북 혹은 자북을 기준으로 항공기의 중심을 지나는 중심축 예컨대 롤링축이 이루는 각도로 표현될 수 있다. 물론, 헤딩을 표현하는 방식은 다양할 수 있다.Here, the track may refer to a result of a phenomenon in which the air disturbed by an aircraft, that is, an air target traveling in the monitoring area forms a predetermined trace along the path the aircraft travels and maintains for a predetermined time. These trails can be visually, wavewisely and thermally distinct from the surrounding air. In addition, the shape of the track may be determined by the aircraft type, speed, aerodynamic characteristics, etc., and each may have a unique shape. Accordingly, when aircraft of the same type move at the same or similar speed in the same or similar surveillance area in the same atmospheric state, similar or identical types of tracks may be formed. Heading is a direction in which the nose of an aircraft is directed, and may be expressed as an angle formed by a central axis passing through the center of the aircraft, for example, a rolling axis based on true north or magnetic north. Of course, there may be various ways to express the heading.

영상 식별기(210)는 가시광선 카메라(110) 및 적외선 카메라(120)로부터 가시광선 항공영상 및 적외선 항공영상을 입력받을 수 있다. 이때, 영상 식별기(210)는 가시광선 항공영상으로부터 항적에 대한 형상(즉, 가시광선 형상), 고도, 속도, 헤딩을 식별하여 식별정보로 생성할 수 있다. 또한, 영상 식별기(210) 적외선 항공영상으로부터 항적에 대한 형상 예컨대 적외선 형상을 식별정보로 생성할 수 있다. 물론, 영상 식별기(210)가 가시광선 항공영상 및 적외선 항공영상으로부터 식별할 수 있는 항목은 전술한 항적에 대한 형상, 고도, 속도, 헤딩 외에도 다양할 수 있다.The image identifier 210 may receive a visible ray aerial image and an infrared aerial image from the visible ray camera 110 and the infrared camera 120 . At this time, the image identifier 210 may identify the shape (ie, visible ray shape), altitude, speed, and heading of the track from the visible ray aerial image and generate identification information. In addition, the image identifier 210 may generate a shape of a track, for example, an infrared shape from an infrared aerial image as identification information. Of course, items that can be identified from the visible ray aerial image and the infrared aerial image by the image identifier 210 may be various other than the aforementioned shape, altitude, speed, and heading of the track.

음향 식별기(220)는 RNN(Recurrent Neural Network) 알고리즘이 탑재될 수 있다. 또한, 음향 식별기(220)는 통제 컴퓨터로부터 기계 학습을 위해 레이블링된 모의 항공음향을 입력받을 수 있고, 입력받은 모의 항공음향 통해 항적을 식별하도록 기계 학습되어 객체 예컨대 항적에 대한 기종, 규모, 헤딩을 검출하기 위한 복수의 검출 모델을 구축할 수 있다.The acoustic discriminator 220 may be equipped with a Recurrent Neural Network (RNN) algorithm. In addition, the sound identifier 220 may receive simulated aeroacoustics labeled for machine learning from the control computer, and machine-learn to identify a track through the simulated aeroacoustic input, thereby determining an object, for example, the aircraft type, scale, and heading of the track. A plurality of detection models for detection can be constructed.

또한, 음향 식별기(220)는 지향성 마이크(130)로부터 항공음향을 입력받아서 항적에 대한 기종, 규모, 헤딩을 식별하여 식별정보로 생성할 수 있다. 물론, 음향 식별기(220)가 항공음향으로부터 식별할 수 있는 항목은 다양할 수 있다.In addition, the sound discriminator 220 may receive aviation sound from the directional microphone 130 to identify the type, scale, and heading of the track and generate identification information. Of course, items that the acoustic identifier 220 can identify from aviation acoustics may vary.

분석부(300)는 식별부(200)에서 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하는 역할과, 판단 결과에 따라 항공표적정보를 생성하는 역할을 한다. 또한, 분석부(300)는 식별부(200)와 유선 혹은 무선으로 연결될 수 있다. 또한, 분석부(300)는 감시초소에 설치되거나, 중앙방공통제소(MCRC)의 통제 컴퓨터에 탑재될 수 있다. 분석부(300)는 감시초소에 설치되는 경우, 통제 컴퓨터와 통신으로 연결될 수 있다.The analysis unit 300 compares identification information generated by the identification unit 200 to determine whether an air target has penetrated or not, and serves to generate air target information according to the determination result. In addition, the analysis unit 300 may be connected to the identification unit 200 by wire or wirelessly. In addition, the analysis unit 300 may be installed in a surveillance post or mounted on a control computer of a central air defense control center (MCRC). When the analysis unit 300 is installed in a surveillance post, it may be connected to a control computer through communication.

분석부(300)는 식별부(200)에서 생성되는 식별정보들로부터 항공표적의 침투 여부를 판단하도록 기계 학습될 수 있다. 이때, 분석부(300)를 기계 학습시키기 위한 인공신경망(ANN, Artificial Neural Networks)의 종류는 다양할 수 있다. 예를 들어, YOLO(You Only Look Once) 알고리즘, RCNN(Region Convolutional Neural Network) 알고리즘, SSD(Single Shot Detector) 알고리즘 등을 이용할 수 있다. 또한, 분석부(300)는 기계 학습된 정보를 기반으로 항공표적정보를 생성할 수 있다.The analysis unit 300 may be machine-learned to determine whether an air target has penetrated from identification information generated by the identification unit 200 . At this time, the types of artificial neural networks (ANNs) for machine learning the analysis unit 300 may vary. For example, a You Only Look Once (YOLO) algorithm, a Region Convolutional Neural Network (RCNN) algorithm, a Single Shot Detector (SSD) algorithm, or the like may be used. Also, the analysis unit 300 may generate air target information based on machine-learned information.

분석부(300)는 예컨대 로지스틱회귀(logistic regression) 분석모델을 사용하여, 가시광선 항공영상으로부터 생성된 형상과 적외선 항공영상으로부터 생성된 형상의 상관성(correlation)을 비교하여 항공표적의 침투 여부를 판단할 수 있다. 물론, 분석부(300)가 항공표적의 침투 여부를 판단하는 것에 사용하는 분석모델은 다양할 수 있다. 즉, 분석부(300)는 가시광선 항공영상으로부터 생성된 식별정보들 중 형상 예컨대 가시광선 형상을 선택하고, 선택된 가시광선 형상을 적외선 항공영상으로부터 생성된 식별정보인 형상 예컨대 적외선 형상과 비교할 수 있고, 이들 형상이 동일한 형상으로 분류(classification)되면, 감시정보들로부터 식별된 항적을 참으로 인식하고, 항공표적이 감시영역으로 침투한 것으로 판단할 수 있다. 분석부(300)는 비교된 형상들이 상이한 형상으로 분류(classification)되면, 감시정보들로부터 식별된 항적을 거짓으로 인식하고, 항공표적이 감시영역으로 침투하지 않은 것으로 판단할 수 있다. 여기서, 감시정보들로부터 식별된 항적을 거짓으로 인식한다는 것은 노이즈나 각종 간섭 현상에 의해 감시정보가 오염되었거나, 항적 식별 과정에서 오류가 발생한 것을 의미한다.The analysis unit 300 compares the correlation between the shape generated from the visible ray aerial image and the shape generated from the infrared aerial image using, for example, a logistic regression analysis model to determine whether the air target has penetrated. can do. Of course, the analysis model used by the analysis unit 300 to determine whether an air target has penetrated may vary. That is, the analysis unit 300 may select a shape, eg, a visible ray shape, among identification information generated from the visible ray aerial image, and compare the selected visible ray shape with a shape, eg, an infrared shape, which is identification information generated from the infrared aerial image, , If these shapes are classified as the same shape, the track identified from the surveillance information can be recognized as true, and it can be determined that the air target has penetrated into the surveillance area. When the compared shapes are classified as different shapes, the analysis unit 300 may recognize the track identified from the surveillance information as false and determine that the air target has not penetrated into the surveillance area. Here, recognizing the track identified from the surveillance information as false means that the surveillance information is contaminated by noise or various interference phenomena, or that an error has occurred in the course of identifying the track.

한편, 분석부(300)는 가시광선 항공영상으로부터 생성된 형상과 적외선 항공영상으로부터 생성된 형상을 비교하였을 때, 항공표적의 침투 여부를 판단하기 어려운 것이 확인되면, 항공음향으로부터 생성된 헤딩과 가시광선 항공영상으로부터 생성된 헤딩을 비교하여 항공표적의 침투 여부를 다시 판단할 수 있다. 즉, 항공음향으로부터 생성된 헤딩과 가시광선 항공영상으로부터 생성된 헤딩이 일치하는 경우, 분석부(300)는 감시정보들로부터 식별된 항적을 참으로 인식하여서 항공표적이 감시영역으로 침투한 것으로 판단할 수 있고, 그렇지 않으면 항공표적이 감시영역으로 침투하지 않은 것으로 판단할 수 있다.,On the other hand, the analysis unit 300 compares the shape generated from the visible ray aerial image with the shape generated from the infrared aerial image, and when it is confirmed that it is difficult to determine whether or not the air target has penetrated, the header and visible light generated from the aerial sound By comparing the heading generated from the ray aerial image, it is possible to determine again whether the air target has penetrated. That is, if the header generated from the aerial sound and the header generated from the visible ray aerial image match, the analysis unit 300 recognizes the track identified from the surveillance information as true and determines that the aerial target has penetrated into the surveillance area. otherwise, it can be judged that the air target has not penetrated into the surveillance area.

또한, 분석부(300)는 항공표적이 감시영역으로 침투한 것으로 판단되면 항적에 대한 각 식별정보를 통합하여 항공표적정보를 생성할 수 있다. 즉, 분석부(300)는 식별된 항적에 대한 고도, 속도, 헤딩, 기종, 규모를 항공표적정보로 생성하고, 생성된 항공표적정보의 데이터를 중앙방공통제소(MCRC)의 통제 컴퓨터로 송신하여서 통제 컴퓨터의 데이터 베이스에 감시 이력으로 기록할 수 있다. 또한, 분석부(300)는 통제 컴퓨터와 연동된 전시기(미도시)를 제어하여 중앙방공통제소(MCRC)의 운용자에게 항공표적정보를 실시간으로 전시할 수 있다.In addition, if it is determined that the air target has penetrated into the surveillance area, the analysis unit 300 may generate air target information by integrating each identification information on the track. That is, the analysis unit 300 generates the altitude, speed, heading, aircraft type, and scale of the identified track as air target information, and transmits the data of the generated air target information to the control computer of the Central Air Defense Control Center (MCRC). It can be recorded as monitoring history in the database of the control computer. In addition, the analysis unit 300 may display air target information in real time to the operator of the central air defense control center (MCRC) by controlling a display device (not shown) linked with the control computer.

도 2는 본 발명의 실시 예에 따른 항공표적 감시 방법의 플로우 차트이다.2 is a flow chart of a method for monitoring air targets according to an embodiment of the present invention.

도 1 및 도 2를 참조하여, 본 발명의 실시 예에 따른 전술한 항공표적 감시 장치에 적용되는 항공표적 감시 방법을 상세하게 설명한다.Referring to FIGS. 1 and 2 , an air target monitoring method applied to the above-described air target monitoring apparatus according to an embodiment of the present invention will be described in detail.

본 발명의 실시 예에 따른 항공표적 감시 방법은, 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정, 획득되는 감시정보 별로 감시영역 내의 항적을 식별하여 식별정보를 생성하는 과정, 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하는 과정, 및 판단 결과에 따라 항공표적정보를 생성하는 과정을 포함한다.A method for monitoring an air target according to an embodiment of the present invention includes a process of acquiring multiple types of monitoring information by monitoring a surveillance area, a process of generating identification information by identifying a track within a surveillance area for each monitoring information obtained, and generating identification information. It includes a process of comparing information to determine whether an air target penetrates or not, and a process of generating air target information according to the determination result.

우선, 감시영역을 감시하여 복수 종류의 감시정보를 획득한다.First, a surveillance area is monitored to obtain a plurality of types of surveillance information.

이때, 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정은, 감시초소에서 항공표적 감시 장치의 획득부(100)에 의해 수행될 수 있다. 즉, 감시초소에 설치된 가시광선 카메라(110)를 이용하여 감시초소에 할당된 감시영역(10)을 감시하여 가시광선 항공영상을 제1 감시정보로 획득할 수 있다(S110). 또한, 감시초소에 설치된 적외선 카메라(120)를 이용하여, 동일한 감시영역(10)을 감시하여 적외선 항공영상을 제2 감시정보로 획득할 수 있다(S120). 또한, 감시초소에 설치된 지향성 마이크(130)를 이용하여, 기 설정된 시간 차이를 두고 동일한 감시영역(10)을 감시하여 항공음향을 감시정보로 획득할 수 있다(S130). 이때, 기 설정된 시간 차이는 빛의 속도와 소리의 속도의 차이를 고려하여 설정된 소정의 시간 차이일 수 있다. 즉, 가시광선 항공영상을 제1 감시정보로 획득하는 과정과, 적외선 항공영상을 제2 감시정보로 획득하는 과정은 제1 시간 구간 중에 동시에 수행하고, 항공음향을 감시정보로 획득하는 과정은 제1 시간 구간보다 기 설정된 시간 차이 만큼 지연된 제2 시간 구간 중에 수행할 수 있다.At this time, the process of acquiring a plurality of types of surveillance information by monitoring the surveillance area may be performed by the acquiring unit 100 of the air target monitoring device at the surveillance post. That is, a visible ray aerial image may be obtained as first monitoring information by monitoring the surveillance area 10 allocated to the surveillance post using the visible ray camera 110 installed in the surveillance post (S110). In addition, an infrared aerial image may be acquired as second monitoring information by monitoring the same surveillance area 10 using the infrared camera 120 installed in the surveillance post (S120). In addition, by using the directional microphone 130 installed in the surveillance post, the same surveillance area 10 can be monitored at a predetermined time interval to obtain aerial sound as surveillance information (S130). In this case, the preset time difference may be a predetermined time difference set in consideration of the difference between the speed of light and the speed of sound. That is, the process of acquiring visible ray aerial images as first monitoring information and the process of acquiring infrared aerial images as second monitoring information are performed simultaneously during the first time interval, and the process of acquiring aerial sound as monitoring information is the first. It may be performed during a second time interval delayed by a preset time difference from one time interval.

이후, 획득되는 감시정보 별로 감시영역 내의 항적을 식별하여 식별정보를 생성한다. 상세하게는, 영상 식별기(210)를 이용하여, 가시광선 항공영상으로부터 제1 식별정보를 생성할 수 있고(S210), 적외선 항공영상으로부터 제2 식별정보를 생성할 수 있다(S220). 이때, 제1 식별정보와 제2 식별정보는 일부 항목이 중첩될 수 있다. 구체적으로, 제1 식별정보는 감시영역(10) 내의 식별된 항적에 대한 형상, 고도, 속도, 헤딩 정보를 포함할 수 있고, 제2 식별정보는 감시영역(10) 내의 식별된 항적에 대한 형상 정보를 포함할 수 있다. 한편, 제1 식별정보의 형상 정보는 가시광선 형태로 식별된 형상 정보일 수 있고, 제2 식별정보의 형상 정보는 적외선 형태로 식별된 형상 정보일 수 있다.Thereafter, tracks within the monitoring area are identified for each monitoring information obtained to generate identification information. In detail, using the image identifier 210, first identification information may be generated from visible ray aerial images (S210), and second identification information may be generated from infrared aerial images (S220). At this time, some items of the first identification information and the second identification information may overlap. Specifically, the first identification information may include the shape, altitude, speed, and heading information of the track identified within the surveillance area 10, and the second identification information may include the shape of the identified track within the surveillance area 10. information may be included. Meanwhile, the shape information of the first identification information may be shape information identified in the form of visible rays, and the shape information of the second identification information may be shape information identified in the form of infrared rays.

또한, 음향 식별기(220)를 이용하여, 항공음향으로부터 제3 식별정보를 생성할 수 있다(S230). 이때, 제3 식별정보는 제1 식별정보와 일부 항목이 중첩될 수 있다. 또한, 제3 식별정보와 제1 식별정보의 중첩된 항목은 전술한 제1 식별정보와 제2 식별정보의 중첩된 항목과 서로 상이할 수 있다. 구체적으로, 제3 식별정보는 감시영역(10) 내의 식별된 항적에 대한 기종, 규모, 헤딩 정보를 포함할 수 있다.In addition, third identification information may be generated from aviation acoustics using the acoustic identifier 220 (S230). In this case, the third identification information may overlap some items with the first identification information. In addition, overlapping items of the third identification information and first identification information may be different from overlapping items of the aforementioned first identification information and second identification information. Specifically, the third identification information may include model type, scale, and heading information for the identified track within the monitoring area 10 .

이후, 생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단한다.Thereafter, it is determined whether the air target has penetrated by comparing the generated identification information.

이때, 제1 식별정보와 제2 식별정보를 이용하여 항공표적의 침투 여부를 판단하여(S300), 판단이 가능한 경우, 제1 식별정보와 제2 식별정보를 이용하여 항공표적의 침투 여부를 판단하고(S410), 그렇지 않은 경우, 제1 식별정보와 제2 식별정보와 제3 식별정보를 모두 이용하여 항공표적의 침투 여부를 판단(S420)할 수 있다. 구체적으로, 제1 식별정보와 제2 식별정보의 중첩된 항목 예컨대 형상 정보의 일치 여부를 판단하여, 중첩된 항목이 일치하면 항공표적이 감시영역으로 침투한 것으로 판단할 수 있다. 또한, 전술한 중첩된 항목이 일치하지 않으면, 제1 식별정보와 제3 식별정보의 중첩된 항목 예컨대 헤딩 정보의 일치 여부를 판단하여, 중첩된 항목이 일치하면 항공표적이 감시영역으로 침투한 것으로 판단할 수 있다.At this time, it is determined whether the air target has penetrated by using the first identification information and the second identification information (S300), and if the determination is possible, whether the air target has penetrated by using the first identification information and the second identification information is determined. (S410), and if not, it is possible to determine whether the air target has penetrated (S420) by using all of the first identification information, the second identification information, and the third identification information. Specifically, it is determined whether overlapping items of the first identification information and the second identification information, for example, shape information, match, and if the overlapping items match, it can be determined that the air target has penetrated into the surveillance area. In addition, if the aforementioned overlapping items do not match, it is determined whether overlapping items of the first identification information and the third identification information, such as heading information, match. can judge

이후, 판단 결과에 따라 항공표적정보를 생성한다.Thereafter, air target information is generated according to the determination result.

즉, 분석부(300)는 항공표적이 감시영역으로 침투한 것으로 판단되는 경우, 각 식별정보를 통합하여 항공표적정보를 생성할 수 있다. 구체적으로, 식별된 항적에 대한 고도, 속도, 헤딩, 기종, 규모를 항공표적정보로 생성할 수 있다. 또한, 분석부(300)는 항공표적이 감시영역으로 침투하지 않은 것으로 판단되는 경우, 판단의 근거가 되는 제1 식별정보와 제2 식별정보의 형상 정보와, 제1 식별정보와 제3 식별정보의 헤딩 정보를 오류 정보로서 생성할 수 있다.That is, when it is determined that the air target has penetrated into the monitoring area, the analysis unit 300 may generate air target information by integrating each piece of identification information. Specifically, the altitude, speed, heading, aircraft type, and scale of the identified track may be generated as air target information. In addition, when it is determined that the aerial target has not penetrated into the monitoring area, the analysis unit 300 determines the shape information of the first identification information and the second identification information, which are the basis of the determination, and the first identification information and the third identification information. Heading information of may be generated as error information.

이후, 감시초소와 통신으로 연결된 통제소의 통제 컴퓨터로, 생성된 항공표적정보를 송출하는 과정을 수행할 수 있다. 구체적으로, 분석부(300)에서 생성된 항공표적정보의 데이터를 중앙방공통제소(MCRC)의 통제 컴퓨터로 송신하여서 통제 컴퓨터의 데이터 베이스에 감시 이력으로 기록할 수 있다. 또한, 분석부(300)를 이용하여, 통제 컴퓨터와 연동된 전시기(미도시)를 제어하여 중앙방공통제소(MCRC)의 운용자에게 항공표적정보를 실시간으로 전시할 수 있다.Thereafter, the process of transmitting the generated air target information to the control computer of the control center connected to the watchtower by communication can be performed. Specifically, data of the air target information generated by the analysis unit 300 may be transmitted to a control computer of the Central Air Defense Control Center (MCRC) and recorded as a monitoring history in a database of the control computer. In addition, by using the analysis unit 300, it is possible to display air target information in real time to the operator of the central air defense control center (MCRC) by controlling a display unit (not shown) linked to the control computer.

또한, 항공표적이 감시영역으로 침투하지 않은 것으로 판단되는 경우, 분석부(300)에서 생성된 오류 정보를 중앙방공통제소(MCRC)의 통제 컴퓨터로 송신하여, 운용자에게 최종 검토를 요청할 수 있고, 검토 결과를 피드백하여 항공표적정보의 생성 여부를 다시 판단할 수 있고, 학습 모델을 업데이트할 수 있다.In addition, if it is determined that the air target has not penetrated into the surveillance area, the error information generated by the analysis unit 300 may be transmitted to the control computer of the Central Air Defense Control Center (MCRC), and a final review may be requested from the operator and reviewed. By feeding back the result, it is possible to determine again whether air target information is generated, and the learning model can be updated.

본 발명의 상기 실시 예는 본 발명의 설명을 위한 것이고, 본 발명의 제한을 위한 것이 아니다. 본 발명의 상기 실시 예에 개시된 구성과 방식은 서로 결합하거나 교차하여 다양한 형태로 조합 및 변형될 것이고, 이에 의한 변형 예들도 본 발명의 범주로 볼 수 있음을 주지해야 한다. 즉, 본 발명은 청구범위 및 이와 균등한 기술적 사상의 범위 내에서 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 해당하는 기술 분야에서의 업자는 본 발명의 기술적 사상의 범위 내에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.The above embodiments of the present invention are for explanation of the present invention and are not intended to limit the present invention. It should be noted that the configurations and methods disclosed in the above embodiments of the present invention may be combined and modified in various forms by combining or crossing each other, and variations thereof may also be considered within the scope of the present invention. That is, the present invention will be implemented in a variety of different forms within the scope of the claims and equivalent technical ideas, and various embodiments are possible within the scope of the technical idea of the present invention by those skilled in the art to which the present invention pertains. will be able to understand

100: 획득부
200: 식별부
300: 분석부100: acquisition unit
200: identification unit
300: analysis unit

Claims (13)

감시영역으로부터 항공상황에 대한 복수 종류의 감시정보를 획득하기 위한 획득부;
획득되는 감시정보 별로 상기 감시영역 내의 항적을 식별하여 식별정보를 생성하기 위한 식별부;
생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하고, 판단 결과에 따라 항공표적정보를 생성하는 분석부;를 포함하고,
상기 분석부는, 생성되는 식별정보들 중의 가시광선 항공영상으로부터 생성된 항적의 형상과 적외선 항공영상으로부터 생성된 항공표적의 형상의 상관성을 비교하고, 동일 형상으로 분류되면 항적을 참으로 인식하고 항공표적이 침투한 것으로 판단하며, 상이한 형상으로 분류되면 항적을 거짓으로 인식하고 항공표적이 침투하지 않은 것으로 판단하는 항공표적 감시 장치.an acquisition unit for acquiring a plurality of types of surveillance information on air conditions from a surveillance area;
an identification unit for generating identification information by identifying tracks within the surveillance area for each obtained surveillance information;
An analysis unit that compares generated identification information to determine whether an air target has penetrated, and generates air target information according to the determination result;
The analyzer compares the correlation between the shape of the track generated from the visible ray aerial image and the shape of the air target generated from the infrared aerial image among the generated identification information, and if classified as the same shape, recognizes the track as true and uses the air target An air target monitoring device that determines that the air target has penetrated, and if it is classified as a different shape, it recognizes the track as false and determines that the air target has not penetrated. 청구항 1에 있어서,
상기 획득부는,
상기 감시영역의 가시광선 항공영상을 획득하기 위한 가시광선 카메라;
상기 감시영역의 적외선 항공영상을 획득하기 위한 적외선 카메라;
상기 감시영역으로부터의 항공음향을 획득하기 위한 지향성 마이크;를 포함하는 항공표적 감시 장치.The method of claim 1,
The acquisition unit,
a visible ray camera for obtaining a visible ray aerial image of the surveillance area;
an infrared camera for obtaining an infrared aerial image of the surveillance area;
An air target monitoring device comprising a directional microphone for acquiring airborne sound from the monitoring area. 청구항 1에 있어서,
상기 식별부는,
감시정보로부터 항적을 식별하도록 기계 학습되고, 기계 학습된 정보를 기반으로 감시정보 마다 식별정보를 생성하고,
상기 분석부는,
식별정보들로부터 항공표적의 침투 여부를 판단하도록 기계 학습되고, 기계 학습된 정보를 기반으로 항공표적정보를 생성하는 항공표적 감시 장치.The method of claim 1,
The identification unit,
It is machine-learned to identify tracks from surveillance information, and generates identification information for each surveillance information based on machine-learned information,
The analysis unit,
An air target monitoring device that is machine-learned to determine whether an air target has penetrated from identification information and generates air target information based on the machine-learned information. 청구항 3에 있어서,
상기 복수 종류의 감시정보는 상기 감시영역의 가시광선 항공영상 및 적외선 항공영상과, 상기 감시영역으로부터의 항공음향을 포함하고,
상기 식별부는,
상기 가시광선 항공영상으로부터 항적에 대한 형상, 고도, 속도, 헤딩을 식별정보로 생성하고, 상기 적외선 항공영상으로부터 항적에 대한 형상을 식별정보로 생성하고, 상기 항공음향으로부터 항적에 대한 기종, 규모, 헤딩을 식별정보로 생성하는 항공표적 감시 장치.The method of claim 3,
The plurality of types of surveillance information include visible ray aerial images and infrared aerial images of the surveillance area, and aerial sound from the surveillance area;
The identification unit,
The shape, altitude, speed, and heading of the track are generated as identification information from the visible ray aerial image, and the shape of the track is generated as identification information from the infrared aerial image, and the aircraft type, scale, and An air target monitoring device that generates headings as identification information. 청구항 4에 있어서,
상기 분석부는,
항공표적이 상기 감시영역으로 침투한 것으로 판단되면 항적에 대한 각 식별정보를 통합하여 항공표적정보를 생성하는 항공표적 감시 장치.The method of claim 4,
The analysis unit,
If it is determined that the air target has penetrated into the surveillance area, the air target monitoring device generates air target information by integrating each identification information on the track. 청구항 5에 있어서,
상기 분석부는,
상기 항공표적의 침투 여부를 판단하기 어려운 것이 확인되면, 상기 항공음향으로부터 생성된 헤딩과 상기 가시광선 항공영상으로부터 생성된 헤딩을 비교하여 항공표적의 침투 여부를 다시 판단하고, 항공표적이 상기 감시영역으로 침투한 것으로 판단되면 항적에 대한 각 식별정보를 통합하여 항공표적정보를 생성하는 항공표적 감시 장치.The method of claim 5,
The analysis unit,
If it is confirmed that it is difficult to determine whether the air target penetrates, the header generated from the aerial sound and the header generated from the visible ray aerial image are compared to determine again whether the air target penetrates, and the air target enters the surveillance area. An air target monitoring device that generates air target information by integrating each identification information on the flight if it is determined that the infiltration has been made. 청구항 1에 있어서,
상기 획득부는 감시초소에 설치되고,
상기 분석부는 통제 컴퓨터에 탑재되거나, 통제 컴퓨터와 통신으로 연결되는 항공표적 감시 장치.The method of claim 1,
The acquisition unit is installed in the watchtower,
The analysis unit is mounted on the control computer or an air target monitoring device connected to the control computer through communication. 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정;
획득되는 감시정보 별로 상기 감시영역 내의 항적을 식별하여 식별정보를 생성하는 과정;
생성되는 식별정보들을 비교하여 항공표적의 침투 여부를 판단하는 과정;
상기 판단 결과에 따라 항공표적정보를 생성하는 과정;을 포함하고,
상기 항공표적의 침투 여부를 판단하는 과정은,
상기 생성되는 식별정보들 중의 가시광선 항공영상으로부터 생성된 항적의 형상과, 적외선 항공영상으로부터 생성된 항공표적의 형상의 상관성을 비교하고, 동일 형상으로 분류되면 항적을 참으로 인식하고, 항공표적이 침투한 것으로 판단하며, 상이한 형상으로 분류되면 항적을 거짓으로 인식하고 항공표적이 침투하지 않은 것으로 판단하는 과정;을 포함하는 항공표적 감시 방법.Obtaining a plurality of types of surveillance information by monitoring a surveillance area;
generating identification information by identifying tracks within the surveillance area for each obtained surveillance information;
A process of determining whether an air target has penetrated by comparing generated identification information;
Including; generating air target information according to the determination result;
The process of determining whether the air target has penetrated,
Among the generated identification information, the correlation between the shape of the track generated from the visible ray aerial image and the shape of the air target generated from the infrared aerial image is compared. A method of monitoring an air target, comprising determining that the air target has penetrated, and recognizing the track as false if it is classified as a different shape and determining that the air target has not penetrated. 청구항 8에 있어서,
상기 복수 종류의 감시정보를 획득하는 과정은,
상기 감시영역을 감시하여 가시광선 항공영상을 감시정보로 획득하는 과정;
상기 감시영역을 감시하여 적외선 항공영상을 감시정보로 획득하는 과정;
상기 감시영역을 감시하여 항공음향을 감시정보로 획득하는 과정;을 포함하는 항공표적 감시 방법.The method of claim 8,
The process of obtaining the plurality of types of monitoring information,
Obtaining a visible ray aerial image as surveillance information by monitoring the surveillance area;
Obtaining an infrared aerial image as surveillance information by monitoring the surveillance area;
and acquiring aerial sound as surveillance information by monitoring the surveillance area. 청구항 9에 있어서,
상기 가시광선 항공영상을 감시정보로 획득하는 과정과, 상기 적외선 항공영상을 감시정보로 획득하는 과정은 제1 시간 구간 중에 동시에 수행하고,
상기 항공음향을 감시정보로 획득하는 과정은 제1 시간 구간보다 지연된 제2 시간 구간 중에 수행하는 항공표적 감시 방법.The method of claim 9,
The process of acquiring the visible ray aerial image as monitoring information and the process of acquiring the infrared aerial image as monitoring information are simultaneously performed during a first time interval,
The process of obtaining the aerial sound as monitoring information is performed during a second time interval delayed from the first time interval. 청구항 9에 있어서,
상기 식별정보를 생성하는 과정은,
상기 가시광선 항공영상으로부터 제1 식별정보를 생성하는 과정;
상기 적외선 항공영상으로부터 제2 식별정보를 생성하는 과정;
상기 항공음향으로부터 제3 식별정보를 생성하는 과정;을 포함하고,
상기 제1 식별정보와 상기 제2 식별정보는 일부 항목이 중첩되고,
상기 제1 식별정보와 상기 제3 식별정보는 일부 항목이 중첩되고,
상기 제1 식별정보와 상기 제2 식별정보의 중첩된 항목과, 상기 제1 식별정보와 상기 제3 식별정보의 중첩된 항목은 서로 상이한 항공표적 감시 방법.The method of claim 9,
The process of generating the identification information,
generating first identification information from the visible ray aerial image;
generating second identification information from the infrared aerial image;
A process of generating third identification information from the aeroacoustic sound;
The first identification information and the second identification information overlap some items,
The first identification information and the third identification information overlap some items,
An overlapping item of the first identification information and the second identification information and an overlapping item of the first identification information and the third identification information are different from each other. 청구항 11에 있어서,
상기 항공표적의 침투 여부를 판단하는 과정은,
상기 항적이 일치하지 않으면, 상기 제1 식별정보와 상기 제3 식별정보의 중첩된 항목의 일치 여부를 판단하여, 중첩된 항목이 일치하면 항공표적이 상기 감시영역으로 침투한 것으로 판단하는 과정;을 포함하고,
상기 판단 결과에 따라 항공표적정보를 생성하는 과정은,
각 식별정보를 통합하여 항공표적정보를 생성하는 과정;을 포함하는 항공표적 감시 방법.The method of claim 11,
The process of determining whether the air target has penetrated,
If the tracks do not match, determining whether overlapping items of the first identification information and the third identification information match, and if the overlapping items match, determining that an air target has penetrated into the surveillance area; include,
The process of generating air target information according to the determination result,
An air target monitoring method comprising: generating air target information by integrating each identification information. 청구항 8에 있어서,
상기 감시영역을 감시하여 복수 종류의 감시정보를 획득하는 과정은, 감시초소에서 수행하고,
상기 판단 결과에 따라 항공표적정보를 생성하는 과정 이후에,
상기 감시초소와 통신으로 연결된 통제소의 통제 컴퓨터로, 생성된 항공표적정보를 송출하는 과정;을 포함하는 항공표적 감시 방법.The method of claim 8,
The process of obtaining a plurality of types of surveillance information by monitoring the surveillance area is performed at a surveillance post,
After the process of generating air target information according to the determination result,
and transmitting generated air target information to a control computer of a control station connected to the watchtower by communication.
KR1020220078249A 2022-06-27 2022-06-27 Monitoring apparatus and method for air target KR102472289B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220078249A KR102472289B1 (en) 2022-06-27 2022-06-27 Monitoring apparatus and method for air target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220078249A KR102472289B1 (en) 2022-06-27 2022-06-27 Monitoring apparatus and method for air target

Publications (1)

Publication Number Publication Date
KR102472289B1 true KR102472289B1 (en) 2022-12-01

Family

ID=84440878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078249A KR102472289B1 (en) 2022-06-27 2022-06-27 Monitoring apparatus and method for air target

Country Status (1)

Country Link
KR (1) KR102472289B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180049154A (en) * 2015-09-28 2018-05-10 디파트먼트 13, 인코포레이티드 Unmanned aircraft intrusion detection and response measures
KR20180049786A (en) * 2016-11-03 2018-05-11 삼성전자주식회사 Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
KR20180065749A (en) * 2016-12-08 2018-06-18 한국전자통신연구원 Apparatus and method for detemining object
KR20220012167A (en) * 2020-07-22 2022-02-03 한국전자통신연구원 Reconnaissance unmanned aerial vehicle and surveillance area flight method for unmanned aerial vehicle detection
KR20220015625A (en) 2020-07-31 2022-02-08 한화시스템 주식회사 Situation monitoring apparatus and situation monitoring method for acquiring 360-degree short and medium distance panoramic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180049154A (en) * 2015-09-28 2018-05-10 디파트먼트 13, 인코포레이티드 Unmanned aircraft intrusion detection and response measures
KR20180049786A (en) * 2016-11-03 2018-05-11 삼성전자주식회사 Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
KR20180065749A (en) * 2016-12-08 2018-06-18 한국전자통신연구원 Apparatus and method for detemining object
KR20220012167A (en) * 2020-07-22 2022-02-03 한국전자통신연구원 Reconnaissance unmanned aerial vehicle and surveillance area flight method for unmanned aerial vehicle detection
KR20220015625A (en) 2020-07-31 2022-02-08 한화시스템 주식회사 Situation monitoring apparatus and situation monitoring method for acquiring 360-degree short and medium distance panoramic images

Similar Documents

Publication Publication Date Title
KR102189262B1 (en) Apparatus and method for collecting traffic information using edge computing
CN107016690B (en) Unmanned aerial vehicle intrusion detection and identification system and method based on vision
US20160019427A1 (en) Video surveillence system for detecting firearms
CN108133028B (en) Aircraft listing method based on combination of video analysis and positioning information
CN112068111A (en) Unmanned aerial vehicle target detection method based on multi-sensor information fusion
KR102292117B1 (en) Drone control system and method for detecting and identifying of drone using the same
Alshammari et al. Intelligent multi-camera video surveillance system for smart city applications
CN110619276B (en) Anomaly and violence detection system and method based on unmanned aerial vehicle mobile monitoring
US8874281B2 (en) Cooperative communication control between vehicles
KR20190097624A (en) Anti-Drones system and operation methode to neutralize abusing drones
US20230039196A1 (en) Small unmanned aerial systems detection and classification using multi-modal deep neural networks
RU2755603C2 (en) System and method for detecting and countering unmanned aerial vehicles
KR102479959B1 (en) Artificial intelligence based integrated alert method and object monitoring device
Hwang et al. Aircraft detection using deep convolutional neural network in small unmanned aircraft systems
KR102472289B1 (en) Monitoring apparatus and method for air target
IL288397A (en) Event-based aerial detection vision system
CN112802058A (en) Method and device for tracking illegal moving target
Diamantidou et al. A multimodal AI-leveraged counter-UAV framework for diverse environments
González et al. Vision-based UAV detection for air-to-air neutralization
WO2020185838A1 (en) Global nearest neighbor (gnn) based target tracking and data association
US20240078763A1 (en) Architecture for distributed artificial intelligence augmentation
MARIN et al. Drone detection using image processing based on deep learning
Davidovich et al. VISAS--Detecting GPS spoofing attacks against drones by analyzing camera's video stream
Briese et al. Deep learning with semi-synthetic training images for detection of non-cooperative UAVs
JP2019068325A (en) Dynamic body tracker and program therefor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant