KR20240033502A

KR20240033502A - Method and apparatus for improving targeting ability base on artificial intelligence by utilizing domain knowledge

Info

Publication number: KR20240033502A
Application number: KR1020220112223A
Authority: KR
Inventors: 엄태원; 이장우; 조경용; 김재경; 성길영
Original assignee: 엘아이지넥스원 주식회사
Priority date: 2022-09-05
Filing date: 2022-09-05
Publication date: 2024-03-12

Abstract

본 실시예들은 지도 학습 기반의 딥러닝 네트워크로 관심 객체를 추론하는 동작에 선행하여 선택된 적응적 화면 모드에서 획득한 동영상 내에서 존슨 기준(Johnson's criteria)에 따라 유효 화면 영역을 결정한 후 관심 객체를 추론하고, 추론한 관심 객체에 대해서 지도 학습에 사용한 대상 범주의 픽셀 크기 분포, 관심 객체의 물리적 크기와 현재 촬영 구도에서의 분포 가능한 픽셀 크기를 조합하여 유효성을 평가하고 보정하는 방식을 통해 150m 이상의 고도로 운영하면서 직사각형이 아닌 센서 풋프린트 상황에서 표적 지정 성능을 향상시키는 비행체의 표적 지정 방법 및 장치를 제공한다.In these embodiments, prior to inferring an object of interest using a supervised learning-based deep learning network, an effective screen area is determined according to Johnson's criteria within a video acquired in a selected adaptive screen mode, and then the object of interest is inferred. The inferred object of interest is operated at an altitude of 150 m or higher by evaluating and correcting its effectiveness by combining the pixel size distribution of the target category used in supervised learning, the physical size of the object of interest, and the pixel size that can be distributed in the current shooting composition. It provides a targeting method and device for an aircraft that improves targeting performance in non-rectangular sensor footprint situations.

Description

Method and device for improving artificial intelligence-based targeting ability by utilizing domain knowledge {METHOD AND APPARATUS FOR IMPROVING TARGETING ABILITY BASE ON ARTIFICIAL INTELLIGENCE BY UTILIZING DOMAIN KNOWLEDGE}

본 발명이 속하는 기술 분야는 비행체의 표적 지정 방법 및 장치에 관한 것이다. The technical field to which the present invention belongs relates to methods and devices for targeting aircraft.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section simply provides background information for this embodiment and does not constitute prior art.

무인기를 활용한 감시정찰 임무의 주요 목적은 정보 요구 사항에 포함된 관심 객체를 찾고, 관심 객체의 최신 위치를 확보하는 것이다. 정찰 중 관심 객체를 발견하여 확인이 완료된 경우, 관심 객체를 표적으로 지정하여 추적을 수행한다. The main purpose of surveillance and reconnaissance missions using unmanned aerial vehicles is to find objects of interest included in information requirements and secure the latest location of the objects of interest. If an object of interest is discovered and confirmed during reconnaissance, the object of interest is designated as a target and tracking is performed.

표적 추적 능력이 입증된 시스템의 경우에도 화면에 존재하는 관심 객체를 표적으로 지정(designation)하기 위해서는 운용자의 수동 조작을 필요로 한다. Even in the case of systems with proven target tracking capabilities, manual operation by the operator is required to designate objects of interest on the screen as targets.

도 1은 전자광학 센서를 통해 획득한 동영상에 위치하는 관심 객체를 예시한 도면이다. 도 1과 같이 사선(slant) 거리를 기준으로 1km 밖에서 관심 객체를 인지할 수 있는 성능을 보유한 센서(Electro-Optic, EO)의 경우에도 실제로 촬영된 관심 객체의 크기가 매우 작음을 확인할 수 있다. 이는 운용자가 제한된 시간 내에 한정된 수단으로 관심 객체를 지정하는 것에 큰 제약이 있음을 의미한다.Figure 1 is a diagram illustrating an object of interest located in a video acquired through an electro-optical sensor. As shown in Figure 1, even in the case of a sensor (Electro-Optic, EO) that has the ability to recognize an object of interest from 1 km away based on the slant distance, it can be seen that the size of the object of interest actually photographed is very small. This means that operators have great limitations in designating objects of interest with limited means within a limited time.

인공지능의 발전으로 비전(vision) 분야에서 지도학습 기반의 객체 인식 능력은 데이터가 충분한 경우, 인간의 능력을 능가하는 것으로 널리 알려져 있다. 임베디드 시스템에서 실시간(soft real-time)으로 객체를 분류하고 추적할 수 있는 YOLO, Deep SORT 등의 프레임워크를 조합하여 현실의 문제를 해결하고 있다. 예를 들면, CCTV와 같이 고정된 카메라나 저속, 저고도에서 운용되는 (비행 중 호버링이 가능한) 멀티콥터에서는 인공지능을 활용한 종래의 접근법이 효과가 있다. With the development of artificial intelligence, it is widely known that supervised learning-based object recognition ability in the vision field surpasses human ability when there is sufficient data. We are solving real-world problems by combining frameworks such as YOLO and Deep SORT, which can classify and track objects in real-time (soft real-time) in embedded systems. For example, conventional approaches using artificial intelligence are effective for fixed cameras such as CCTV or multicopters (capable of hovering during flight) operated at low speeds and low altitudes.

하지만, 운용 고도가 150m 이상이고 센서의 풋프린트(foot print)가 직사각형이 아닌 경우, 소형 객체를 인식해야 하는 상황에서는 기존의 딥러닝 기반의 객체 추론 모델을 그대로 적용하면 오탐율(false positive), 미탐율(false negative)이 두드러지게 증가하는 문제가 있다.However, in situations where the operating altitude is over 150m and the sensor's footprint is not rectangular, and small objects must be recognized, applying the existing deep learning-based object inference model as is results in a false positive rate, There is a problem in which the false negative rate increases significantly.

한국공개특허공보 제10-2022-0046854호 (2022.04.15)Korean Patent Publication No. 10-2022-0046854 (2022.04.15) 한국등록특허공보 제10-1914281호 (2018.10.26)Korean Patent Publication No. 10-1914281 (2018.10.26) 한국등록특허공보 제10-2349854호 (2022.01.06)Korean Patent Publication No. 10-2349854 (2022.01.06)

본 발명의 실시예들은 지도 학습 기반의 딥러닝 네트워크로 관심 객체를 추론하는 동작에 선행하여 선택된 적응적 화면 모드에서 획득한 동영상 내에서 존슨 기준(Johnson's criteria)에 따라 유효 화면 영역을 결정한 후 관심 객체를 추론하고, 추론한 관심 객체에 대해서 지도 학습에 사용한 대상 범주의 픽셀 크기 분포, 관심 객체의 물리적 크기와 현재 촬영 구도에서의 분포 가능한 픽셀 크기를 조합하여 유효성을 평가하고 보정하는 방식을 통해 150m 이상의 고도로 운영하면서 직사각형이 아닌 센서 풋프린트 상황에서 표적 지정 성능을 향상시키는데 주된 목적이 있다.Embodiments of the present invention determine the effective screen area according to Johnson's criteria in the video acquired in the selected adaptive screen mode prior to inferring the object of interest using a supervised learning-based deep learning network, and then determine the object of interest. Inferred object of interest is evaluated and corrected for effectiveness by combining the pixel size distribution of the target category used in supervised learning, the physical size of the object of interest, and the distributable pixel size in the current shooting composition. The primary goal is to improve targeting performance in highly operational, non-rectangular sensor footprint situations.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other unspecified objects of the present invention can be additionally considered within the scope that can be easily inferred from the following detailed description and its effects.

본 실시예의 일 측면에 의하면, 비행체의 표적 지정 방법에 있어서, 복수의 화면 모드 중에서 하나의 화면 모드를 선택하는 단계; 상기 선택된 화면 모드에서 획득한 동영상 내에서 존슨 기준에 따라 유효 화면 영역을 결정하는 단계; 딥러닝 추론 모델을 기반으로 상기 유효 화면 영역 내에서 관심 객체를 추론하는 단계; 및 상기 딥러닝 추론 모델의 학습에 사용한 데이터를 고려하여 상기 관심 객체의 유효성을 평가하는 단계를 포함하는 비행체의 표적 지정 방법을 제공한다.According to one aspect of the present embodiment, a method for specifying a target of an aircraft includes the steps of selecting one screen mode from a plurality of screen modes; determining an effective screen area within the video obtained in the selected screen mode according to the Johnson criterion; inferring an object of interest within the effective screen area based on a deep learning inference model; and evaluating the effectiveness of the object of interest in consideration of data used for training the deep learning inference model.

상기 복수의 화면 모드는 주 모드로 전체 화면 모드, 고정 유효 화면 모드, 또는 적응형 유효 화면 모드 간에 하나로 전환되고, 상기 적응형 유효 화면 모드는 서브 모드로 기본 운용 모드 또는 적응 운용 모드 간에 하나로 전환될 수 있다.The plurality of screen modes can be switched as one between full screen mode, fixed effective screen mode, or adaptive effective screen mode as a main mode, and the adaptive effective screen mode can be switched as one between basic operating mode or adaptive operating mode as a sub-mode. You can.

상기 화면 모드를 선택하는 단계는, 상기 적응형 유효 화면 모드에서, (i) 제1 기준 시간 동안 상기 비행체에 관한 고도 변화율 절대값 평균이 제1 기준 조건 이하를 만족하는 제1 조건, (ii) 제2 기준 시간 동안 상기 비행체에 관한 헤딩 각도 변화율 절대값 평균이 제2 기준 조건 이하를 만족하는 제2 조건, (iii) 제3 기준 시간 동안 상기 비행체에 관한 속력 평균이 제3 기준 조건 범위 이내를 만족하는 제3 조건, (iv) 제4 기준 시간 동안 상기 비행체에 장착된 센서의 팬 각도 변화율 절대값 평균이 제4 기준 조건 이하를 만족하는 제4 조건, (v) 제5 기준 시간 동안 상기 비행체에 장착된 센서의 틸팅 각도 변화율 절대값 평균이 제5 기준 조건 이하를 만족하는 제5 조건, (vi) 제6 기준 시간 동안 상기 비행체에 장착된 센서의 줌 레벨 변화율 절대값 평균이 제6 기준 조건 이하를 만족하는 제6 조건을 모두 만족하면 상기 적응 운용 모드를 활성화할 수 있다.The step of selecting the screen mode includes, in the adaptive effective screen mode, (i) a first condition that the average absolute value of the altitude change rate for the aircraft during a first reference time satisfies a first reference condition or less, (ii) A second condition that the absolute value average of the heading angle change rate for the aircraft during the second reference time satisfies the second reference condition or less, (iii) the speed average for the aircraft during the third reference time is within the range of the third reference condition. The third condition is satisfied, (iv) the fourth condition that the average absolute value of the fan angle change rate of the sensor mounted on the aircraft during the fourth reference time satisfies the fourth reference condition or less, (v) the aircraft during the fifth reference time The fifth condition that the absolute value average of the tilt angle change rate of the sensor mounted on the aircraft satisfies the fifth reference condition or less, (vi) the average absolute value of the zoom level change rate of the sensor mounted on the aircraft during the sixth reference time satisfies the sixth reference condition If all of the following sixth conditions are satisfied, the adaptive operation mode can be activated.

상기 유효 화면 영역을 결정하는 단계는, 상기 적응 운용 모드에서, 상기 비행체에 장착된 센서의 풋프린트를 계산하고, 상기 풋프린트 내에서 화면 좌표계 영역별로 한 픽셀이 표현하는 픽셀 거리를 도출하고, 상기 픽셀 거리를 이용하여 관심 객체의 크기를 픽셀 수로 변환하고, 상기 존슨 기준을 기반으로 상기 관심 객체의 상한 기준 픽셀 수 및 하한 기준 픽셀 수를 설정하고, 상기 상한 기준 픽셀 수 및 상기 하한 기준 픽셀 수에 따른 화면 유효 영역 후보에 대해서 최소 유효 영역과 비교하고 현재 유효 영역과 비교한 결과를 기반으로 상기 현재 유효 영역을 갱신하여 유효 화면 영역을 확정하고, 상기 확정된 유효 화면 영역을 분할할 수 있다.The step of determining the effective screen area includes, in the adaptive operation mode, calculating the footprint of a sensor mounted on the aircraft, deriving a pixel distance expressed by one pixel for each screen coordinate system area within the footprint, and Convert the size of the object of interest to the number of pixels using the pixel distance, set the upper limit reference pixel number and the lower limit reference pixel number of the object of interest based on the Johnson criterion, and set the upper limit reference pixel number and the lower limit reference pixel number. Based on the result of comparing the screen effective area candidates with the minimum effective area and comparing them with the current effective area, the current effective area can be updated to determine the effective screen area, and the determined effective screen area can be divided.

상기 관심 객체의 유효성을 평가하는 단계는, 상기 딥러닝 추론 모델의 학습에 사용한 정답 클래스의 화면비 통계치를 기준으로 제1 표준화 점수를 계산하고, 상기 정답 클래스의 경계 박스 대각선 길이 통계치를 기준으로 제2 표준화 점수를 계산하고, 상기 제1 표준화 점수 및 상기 제2 표준화 점수를 기준으로 제1 유효 범위를 벗어나는 이상치를 제거하고, 상기 제1 유효 범위를 만족하는 객체에 대해서 상기 정답 클래스의 경계 박스의 가로 픽셀 수와 세로 픽셀 수를 기준으로 상기 관심 객체와의 마할라노비스 거리를 계산하고, 상기 마할라노비스 거리를 기준으로 제2 유효 범위를 벗어나는 이상치를 제거하고 상기 제2 유효 범위를 만족하는 객체를 대상 표적으로 제시할 수 있다.The step of evaluating the validity of the object of interest includes calculating a first standardized score based on the aspect ratio statistics of the correct answer class used for learning the deep learning inference model, and calculating a second standardized score based on the bounding box diagonal length statistics of the correct answer class. Calculate a standardized score, remove outliers that fall outside a first valid range based on the first standardized score and the second standardized score, and for objects that satisfy the first valid range, the horizontal width of the bounding box of the correct answer class is Calculate the Mahalanobis distance from the object of interest based on the number of pixels and the number of vertical pixels, remove outliers outside the second effective range based on the Mahalanobis distance, and select an object that satisfies the second effective range. It can be presented as a target target.

본 실시예의 다른 측면에 의하면, 비행체의 표적 지정 장치에 있어서, 복수의 화면 모드 중에서 하나의 화면 모드를 선택하는 화면 모드 선택부; 상기 선택된 화면 모드에서 획득한 동영상 내에서 존슨 기준에 따라 유효 화면 영역을 결정하는 유효 화면 영역 결정부; 딥러닝 추론 모델을 기반으로 상기 유효 화면 영역 내에서 관심 객체를 추론하는 관심 객체 추론부; 및 상기 딥러닝 추론 모델의 학습에 사용한 데이터를 고려하여 상기 관심 객체의 유효성을 평가하는 추론 유효성 평가부를 포함하는 비행체의 표적 지정 장치를 제공한다.According to another aspect of the present embodiment, a target designation device for an aircraft includes: a screen mode selection unit that selects one screen mode from a plurality of screen modes; an effective screen area determination unit that determines an effective screen area within the video obtained in the selected screen mode according to the Johnson criterion; an object of interest inference unit that infers an object of interest within the effective screen area based on a deep learning inference model; and an inference validity evaluation unit that evaluates the validity of the object of interest in consideration of data used for training the deep learning inference model.

상기 화면 모드 선택부는, 상기 복수의 화면 모드를 주 모드로 전체 화면 모드, 고정 유효 화면 모드, 또는 적응형 유효 화면 모드 간에 하나로 전환하고, 상기 적응형 유효 화면 모드를 서브 모드로 기본 운용 모드 또는 적응 운용 모드 간에 하나로 전환할 수 있다.The screen mode selection unit switches the plurality of screen modes to one between a full screen mode, a fixed effective screen mode, or an adaptive effective screen mode as a main mode, and switches the adaptive effective screen mode to a basic operation mode or adaptive screen mode as a sub mode. You can switch between operating modes one by one.

상기 화면 모드 선택부는, 상기 적응형 유효 화면 모드에서, (i) 제1 기준 시간 동안 상기 비행체에 관한 고도 변화율 절대값 평균이 제1 기준 조건 이하를 만족하는 제1 조건, (ii) 제2 기준 시간 동안 상기 비행체에 관한 헤딩 각도 변화율 절대값 평균이 제2 기준 조건 이하를 만족하는 제2 조건, (iii) 제3 기준 시간 동안 상기 비행체에 관한 속력 평균이 제3 기준 조건 범위 이내를 만족하는 제3 조건, (iv) 제4 기준 시간 동안 상기 비행체에 장착된 센서의 팬 각도 변화율 절대값 평균이 제4 기준 조건 이하를 만족하는 제4 조건, (v) 제5 기준 시간 동안 상기 비행체에 장착된 센서의 틸팅 각도 변화율 절대값 평균이 제5 기준 조건 이하를 만족하는 제5 조건, (vi) 제6 기준 시간 동안 상기 비행체에 장착된 센서의 줌 레벨 변화율 절대값 평균이 제6 기준 조건 이하를 만족하는 제6 조건을 모두 만족하면 상기 적응 운용 모드를 활성화할 수 있다.The screen mode selection unit, in the adaptive effective screen mode, (i) a first condition that the average altitude change rate absolute value for the aircraft during a first reference time satisfies the first reference condition or less, (ii) a second reference A second condition in which the absolute value average of the heading angle change rate for the aircraft during a time satisfies the second reference condition or less, (iii) a third condition in which the speed average for the aircraft during the third reference time satisfies within the range of the third reference condition. 3 condition, (iv) the fourth condition that the average absolute value of the fan angle change rate of the sensor mounted on the aircraft during the fourth reference time satisfies the fourth standard condition or less, (v) the sensor mounted on the aircraft during the fifth reference time The fifth condition that the average absolute value of the sensor's tilt angle change rate satisfies the fifth standard condition or less, (vi) the average absolute value of the zoom level change rate of the sensor mounted on the aircraft during the sixth standard time satisfies the sixth standard condition or less If all of the sixth conditions are satisfied, the adaptive operation mode can be activated.

상기 유효 화면 영역 결정부는, 상기 적응 운용 모드에서, 상기 비행체에 장착된 센서의 풋프린트를 계산하고, 상기 풋프린트 내에서 화면 좌표계 영역별로 한 픽셀이 표현하는 픽셀 거리를 도출하고, 상기 픽셀 거리를 이용하여 관심 객체의 크기를 픽셀 수로 변환하고, 상기 존슨 기준을 기반으로 상기 관심 객체의 상한 기준 픽셀 수 및 하한 기준 픽셀 수를 설정하고, 상기 상한 기준 픽셀 수 및 상기 하한 기준 픽셀 수에 따른 화면 유효 영역 후보에 대해서 최소 유효 영역과 비교하고 현재 유효 영역과 비교한 결과를 기반으로 상기 현재 유효 영역을 갱신하여 유효 화면 영역을 확정하고, 상기 확정된 유효 화면 영역을 분할할 수 있다.The effective screen area determination unit, in the adaptive operation mode, calculates the footprint of the sensor mounted on the aircraft, derives a pixel distance expressed by one pixel for each screen coordinate system area within the footprint, and determines the pixel distance Convert the size of the object of interest to the number of pixels, set the upper limit reference pixel number and the lower limit reference pixel number of the object of interest based on the Johnson criterion, and screen effectiveness according to the upper limit reference pixel number and the lower limit reference pixel number. The area candidate is compared with the minimum effective area, and based on the result of the comparison with the current effective area, the current effective area is updated to determine the effective screen area, and the determined effective screen area can be divided.

상기 추론 유효성 평가부는, 상기 딥러닝 추론 모델의 학습에 사용한 정답 클래스의 화면비 통계치를 기준으로 제1 표준화 점수를 계산하고, 상기 정답 클래스의 경계 박스 대각선 길이 통계치를 기준으로 제2 표준화 점수를 계산하고, 상기 제1 표준화 점수 및 상기 제2 표준화 점수를 기준으로 제1 유효 범위를 벗어나는 이상치를 제거하고, 상기 제1 유효 범위를 만족하는 객체에 대해서 상기 정답 클래스의 경계 박스의 가로 픽셀 수와 세로 픽셀 수를 기준으로 상기 관심 객체와의 마할라노비스 거리를 계산하고, 상기 마할라노비스 거리를 기준으로 제2 유효 범위를 벗어나는 이상치를 제거하고 상기 제2 유효 범위를 만족하는 객체를 대상 표적으로 제시할 수 있다.The inference validity evaluation unit calculates a first standardized score based on the screen ratio statistics of the correct answer class used for learning the deep learning inference model, and calculates a second standardized score based on the bounding box diagonal length statistics of the correct answer class, , remove outliers outside the first effective range based on the first standardized score and the second standardized score, and for objects that satisfy the first effective range, the number of horizontal pixels and vertical pixels of the bounding box of the correct answer class Calculate the Mahalanobis distance with the object of interest based on the number, remove outliers outside the second effective range based on the Mahalanobis distance, and present the object satisfying the second effective range as the target. You can.

본 실시예의 또 다른 측면에 의하면, 컴퓨터에 의해 실행 가능한 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체에 있어서, 표적 지정 방법을 실행할 수 있는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 저장 매체를 제공한다.According to another aspect of this embodiment, in a computer-readable storage medium storing a computer program executable by a computer, a computer-readable storage medium storing a computer program capable of executing a target designation method is provided.

본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 프로세서에 의해 실행되는 경우에, 표적 지정 방법을 수행하는 것을 특징으로 하는 컴퓨터 프로그램을 제공한다.According to another aspect of the present embodiment, a computer program recorded on a computer-readable storage medium containing computer program instructions executable by a processor, wherein when the computer program instructions are executed by the processor, a targeting method is performed. Provides a computer program characterized by:

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 관심 객체 추론에 활용되는 화면이 기존 화면 대비 작아지기 때문에 신호대잡음비가 개선되고, 화면에서 활용되는 관심 객체의 특징이 증가하므로 딥러닝 네트워크의 추론 능력(정답률)이 향상되고, 이로 인해 운용자가 표적을 지정하기가 용이해지는 효과가 있다.As described above, according to the embodiments of the present invention, the signal-to-noise ratio is improved because the screen used for object of interest inference is smaller than the existing screen, and the characteristics of the object of interest used on the screen are increased, so inference of a deep learning network The ability (correct answer rate) improves, which has the effect of making it easier for operators to specify targets.

본 발명의 실시예들에 의하면, 존슨 기준(Johnson's criteria)을 적용하므로 딥러닝에서 활용된 영상을 사람이 크로스체크(운용 중 또는 사후 강평시) 가능하고 딥러닝 추론 결과를 평가할 수 있어 기계-인간의 신뢰(trust)를 향상시킬 수 있는 효과가 있다.According to embodiments of the present invention, by applying Johnson's criteria, humans can cross-check images used in deep learning (during operation or post-criteria) and evaluate deep learning inference results, thereby creating a machine-human system. It has the effect of improving trust.

본 발명의 실시예들에 의하면, 임무 계획과 현재의 비행 상태에서 도출될 수 없는 결론을 배제하여 실질적인 추론 정확도와 유효성을 향상시킬 수 있다. 예를 들면, 300m 고도에서 45도 틸트 각도로 영상 센서를 운용하는데 세로 크기 5 픽셀 또는 100 픽셀의 버스가 추론된 경우, 추론 결과를 합리적 근거를 바탕으로 스크리닝할 수 있어 통계적 유의미성 또는 베이즈 추론과 같이 근거를 제시하여 운용자에게 설명할 수 있는 효과가 있다. According to embodiments of the present invention, practical inference accuracy and effectiveness can be improved by excluding conclusions that cannot be drawn from the mission plan and current flight state. For example, if an image sensor is operated at a 45-degree tilt angle at an altitude of 300 m and a bus with a vertical size of 5 pixels or 100 pixels is inferred, the inference results can be screened based on rational grounds to determine statistical significance or Bayesian inference. There is an effect of being able to present evidence and explain it to the operator.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification and their potential effects expected by the technical features of the present invention are treated as if described in the specification of the present invention.

도 1은 전자광학 센서를 통해 획득한 동영상에 위치하는 관심 객체를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 비행체의 표적 지정 장치를 예시한 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법을 예시한 흐름도이다.
도 4 및 도 5는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 전환하는 화면 모드를 예시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적용하는 유효 화면 영역을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 기본 운용 모드 및 적응 운용 모드 간에 전환 판단하는 것을 예시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적응 운용 모드에서 유효 화면 영역을 결정하는 것을 예시한 도면이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 처리하는 센서 풋프린트를 예시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 n = 16으로 균일하게 분할된 화면 좌표계를 예시한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 관심 객체 픽셀 수를 계산한 결과를 예시한 도면이다.
도 13은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적용하는 존슨 기준을 예시한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 기준 픽셀 수를 계산한 결과를 예시한 도면이다.
도 15는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 유효 화면 영역을 확정하는 동작을 예시한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 확정된 유효 화면 영역을 예시한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 추론한 관심 객체의 유효성을 평가하는 동작을 예시한 도면이다.
도 18은 본 발명의 실시예들을 실시하는 컴퓨팅 디바이스를 예시한 블록도이다.Figure 1 is a diagram illustrating an object of interest located in a video acquired through an electro-optical sensor.
Figure 2 is a block diagram illustrating a target designation device for an aircraft according to an embodiment of the present invention.
Figure 3 is a flowchart illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figures 4 and 5 are diagrams illustrating screen modes to which a method for specifying a target for an aircraft according to another embodiment of the present invention is switched.
Figure 6 is a diagram illustrating an effective screen area applied by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 7 is a diagram illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention to determine switching between the basic operation mode and the adaptive operation mode.
Figure 8 is a diagram illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention to determine an effective screen area in an adaptive operation mode.
9 and 10 are diagrams illustrating sensor footprints processed by a method for targeting an aircraft according to another embodiment of the present invention.
Figure 11 is a diagram illustrating a screen coordinate system uniformly divided into n = 16 by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 12 is a diagram illustrating the results of calculating the number of object pixels of interest in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 13 is a diagram illustrating the Johnson criterion applied by the target designation method for an aircraft according to another embodiment of the present invention.
Figure 14 is a diagram illustrating the results of calculating the number of reference pixels in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 15 is a diagram illustrating an operation of determining an effective screen area in a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 16 is a diagram illustrating an effective screen area determined in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 17 is a diagram illustrating an operation of evaluating the effectiveness of an object of interest inferred by a method for specifying a target for an aircraft according to another embodiment of the present invention.
Figure 18 is a block diagram illustrating a computing device practicing embodiments of the present invention.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in describing the present invention, if it is determined that related known functions may unnecessarily obscure the gist of the present invention as they are obvious to those skilled in the art, the detailed description will be omitted, and some embodiments of the present invention will be described. It will be described in detail through exemplary drawings.

도 1은 전자광학 센서를 통해 획득한 동영상에 위치하는 관심 객체를 예시한 도면이다.Figure 1 is a diagram illustrating an object of interest located in a video acquired through an electro-optical sensor.

인공지능과 신호 처리를 통해 배경에서 관심 객체를 추출하는 기존의 방식들은 크게 3가지 측면에서 한계가 있다.Existing methods of extracting objects of interest from the background through artificial intelligence and signal processing have limitations in three major aspects.

첫번째 한계는 소형 객체로 인한 낮은 신호대잡음비를 갖고 동일 객체의 화면 내 특징 불균일성을 나타낸다. 운용 고도가 150m 이상으로 상승됨에 따라 관심 객체의 촬영 결과가 매우 작게 된다. 소형 객체는 신호대잡음비가 상대적으로 낮고, 관심 객체의 특징(feature)이 적다. 비스듬한 촬영 기하 구도에 의해 물리적으로 동일한 관심 객체가 FOV 중심에서는 n개의 픽셀 (pixel)로 표현되나, 화면의 먼 쪽에서는 0.5 x n개의 픽셀로 표현될 수 있다. 화면의 가까운 쪽에서는 1.5 x n개의 픽셀로 표현될 수 있다. 즉, 동일한 클래스의 관심 객체에 대한 특징 분포가 한 화면내에서도 매우 불균일하게 나타난다.The first limitation is the low signal-to-noise ratio due to small objects and feature non-uniformity within the screen of the same object. As the operating altitude increases above 150 m, the imaging results of objects of interest become very small. Small objects have a relatively low signal-to-noise ratio and have few features of the object of interest. Due to the oblique shooting geometry, the physically same object of interest can be expressed as n pixels at the center of the FOV, but as 0.5 x n pixels on the far side of the screen. On the near side of the screen, it can be represented by 1.5 x n pixels. In other words, the feature distribution for objects of interest of the same class appears very uneven even within one screen.

두번째 한계는 지도 학습 기반의 딥러닝 방식의 근본적인 한계이다. 학습 데이터의 증가가 딥러닝 네트워크의 추론 결과 향상으로 이어지지 않는 한계점이 존재한다. 잘 학습된 딥러닝 네트워크의 추론 결과는 통계적으로 매우 정확하나, 운용자가 이해할 수 없을 정도로 매우 잘못된 추론 결과를 제시하는 경우가 발생할 수 있다. 예컨대, 영상에서 깨진 픽셀의 조합을 차량으로 분류하면서 신뢰도를 0.98 이상으로 출력할 때가 있다. The second limitation is a fundamental limitation of supervised learning-based deep learning methods. There is a limit where increasing learning data does not lead to improved inference results of deep learning networks. The inference results of a well-trained deep learning network are statistically very accurate, but there may be cases where the inference results are so incorrect that the operator cannot understand them. For example, there are times when a combination of broken pixels in an image is classified as a vehicle and the reliability is output as 0.98 or higher.

세번째 한계는 서버/데스크탑이 아닌 임베디드 환경에서 실시간(soft real-time) 동작이 요구된다. 제한된 하드웨어 처리성능으로 신뢰성 있는 추론 결과를 실시간으로 출력하는 상대적으로 가벼운(lightweight) 아키텍처를 적용하여야 한다. 고성능 연산을 통한 접근법이 제한된다.The third limitation is that real-time (soft real-time) operation is required in an embedded environment rather than a server/desktop. A relatively lightweight architecture that outputs reliable inference results in real time with limited hardware processing performance must be applied. Approaches using high-performance computation are limited.

본 실시예에 따른 지도 학습 기반의 딥러닝 네트워크로 관심 객체를 추론하는 동작에 선행하여 선택된 적응적 화면 모드에서 획득한 동영상 내에서 존슨 기준(Johnson's criteria)에 따라 유효 화면 영역을 결정한 후 관심 객체를 추론하고, 추론한 관심 객체에 대해서 지도 학습에 사용한 대상 범주의 픽셀 크기 분포, 관심 객체의 물리적 크기와 현재 촬영 구도에서의 분포 가능한 픽셀 크기를 조합하여 유효성을 평가하고 보정하는 방식을 통해 150m 이상의 고도로 운영하면서 직사각형이 아닌 센서 풋프린트 상황에서 표적 지정 성능을 향상시킨다.Prior to inferring the object of interest with the supervised learning-based deep learning network according to this embodiment, the effective screen area is determined according to Johnson's criteria within the video acquired in the selected adaptive screen mode, and then the object of interest is selected. For the inferred object of interest, the validity is evaluated and corrected by combining the pixel size distribution of the target category used in supervised learning, the physical size of the object of interest, and the pixel size that can be distributed in the current shooting composition, at an altitude of 150 m or higher. During operation, it improves targeting performance in non-rectangular sensor footprint situations.

도 2는 본 발명의 일 실시예에 따른 비행체의 표적 지정 장치를 예시한 블록도이다.Figure 2 is a block diagram illustrating a target designation device for an aircraft according to an embodiment of the present invention.

비행체의 표적 지정 장치(10)는 화면 모드 선택부(100), 유효 화면 영역 결정부(200), 관심 객체 추론부(300), 추론 유효성 평가부(400)를 포함한다.The targeting device 10 for an aircraft includes a screen mode selection unit 100, an effective screen area determination unit 200, an object of interest inference unit 300, and an inference validity evaluation unit 400.

화면 모드 선택부(100)는 복수의 화면 모드 중에서 하나의 화면 모드를 선택한다. 유효 화면 영역 결정부(200)는 선택된 화면 모드에서 획득한 동영상 내에서 존슨 기준에 따라 유효 화면 영역을 결정한다. 관심 객체 추론부(300)는 딥러닝 추론 모델을 기반으로 유효 화면 영역 내에서 관심 객체를 추론한다. 추론 유효성 평가부(400)는 딥러닝 추론 모델의 학습에 사용한 데이터를 고려하여 관심 객체의 유효성을 평가한다.The screen mode selection unit 100 selects one screen mode from a plurality of screen modes. The effective screen area determination unit 200 determines the effective screen area within the video obtained in the selected screen mode according to the Johnson criterion. The object of interest inference unit 300 infers the object of interest within the effective screen area based on a deep learning inference model. The inference validity evaluation unit 400 evaluates the validity of the object of interest by considering the data used for training the deep learning inference model.

화면 모드 선택부(100)는 복수의 화면 모드를 주 모드로 전체 화면 모드, 고정 유효 화면 모드, 또는 적응형 유효 화면 모드 간에 하나의 화면 모드로 전환한다. 화면 모드 선택부(100)는 적응형 유효 화면 모드를 서브 모드로 기본 운용 모드 또는 적응 운용 모드 간에 하나의 화면 모드로 전환한다.The screen mode selection unit 100 converts a plurality of screen modes into one screen mode between full screen mode, fixed effective screen mode, or adaptive effective screen mode as the main mode. The screen mode selection unit 100 switches the adaptive effective screen mode into one screen mode between the basic operation mode and the adaptive operation mode as a sub-mode.

화면 모드 선택부(100)는 적응형 유효 화면 모드에서, (i) 제1 기준 시간 동안 비행체에 관한 고도 변화율 절대값 평균이 제1 기준 조건(최대 고도 변화율) 이하를 만족하는 제1 조건, (ii) 제2 기준 시간 동안 비행체에 관한 헤딩 각도 변화율 절대값 평균이 제2 기준 조건(최대 헤딩 각도 변화율) 이하를 만족하는 제2 조건, (iii) 제3 기준 시간 동안 비행체에 관한 속력 평균이 제3 기준 조건 범위(기준 평균 속력 오차 범위) 이내를 만족하는 제3 조건, (iv) 제4 기준 시간 동안 비행체에 장착된 센서의 팬 각도 변화율 절대값 평균이 제4 기준 조건(최대 팬 각도 변화율) 이하를 만족하는 제4 조건, (v) 제5 기준 시간 동안 비행체에 장착된 센서의 틸팅 각도 변화율 절대값 평균이 제5 기준 조건(최대 틸팅 각도 변화율) 이하를 만족하는 제5 조건, (vi) 제6 기준 시간 동안 비행체에 장착된 센서의 줌 레벨 변화율 절대값 평균이 제6 기준 조건(최대 줌 레벨 변화율) 이하를 만족하는 제6 조건을 모두 만족하면 적응 운용 모드를 활성화할 수 있다.In the adaptive effective screen mode, the screen mode selection unit 100 is configured to: (i) a first condition in which the average absolute value of the altitude change rate for the aircraft during the first reference time satisfies the first reference condition (maximum altitude change rate) or less; ii) a second condition that the absolute value average of the heading angle change rate for the aircraft during the second reference time satisfies the second reference condition (maximum heading angle change rate) or less, (iii) the speed average for the aircraft during the third reference time is 3 The third condition that satisfies within the reference condition range (standard average speed error range), (iv) the average of the absolute value of the fan angle change rate of the sensor mounted on the aircraft during the fourth reference time is the fourth reference condition (maximum fan angle change rate) The fourth condition that satisfies the following, (v) The fifth condition that the average absolute value of the tilt angle change rate of the sensor mounted on the aircraft during the fifth reference time satisfies the fifth reference condition (maximum tilt angle change rate) or less, (vi) If the sixth condition is satisfied that the average absolute value of the zoom level change rate of the sensor mounted on the aircraft during the sixth reference time is less than or equal to the sixth reference condition (maximum zoom level change rate), the adaptive operation mode can be activated.

유효 화면 영역 결정부(200)는 적응 운용 모드에서, 비행체에 장착된 센서의 풋프린트를 계산하고, 풋프린트 내에서 화면 좌표계 영역별로 한 픽셀이 표현하는 픽셀 거리를 도출하고, 픽셀 거리를 이용하여 관심 객체의 크기를 픽셀 수로 변환하고, 존슨 기준을 기반으로 관심 객체의 상한 기준 픽셀 수 및 하한 기준 픽셀 수를 설정하고, 상한 기준 픽셀 수 및 하한 기준 픽셀 수에 따른 화면 유효 영역 후보에 대해서 최소 유효 영역과 비교하고 현재 유효 영역과 비교한 결과를 기반으로 현재 유효 영역을 갱신하여 유효 화면 영역을 확정하고, 확정된 유효 화면 영역을 분할할 수 있다.In the adaptive operation mode, the effective screen area determination unit 200 calculates the footprint of the sensor mounted on the aircraft, derives the pixel distance expressed by one pixel for each screen coordinate system area within the footprint, and uses the pixel distance to Convert the size of the object of interest to the number of pixels, set the upper limit reference pixel number and lower limit reference pixel number of the object of interest based on the Johnson criterion, and minimum effective area candidates for screen effective area according to the upper limit reference pixel number and lower limit reference pixel number. Based on the results of comparison with the area and the current effective area, the current effective area can be updated to confirm the effective screen area, and the confirmed effective screen area can be divided.

추론 유효성 평가부(40)는 딥러닝 추론 모델의 학습에 사용한 정답 클래스의 화면비 통계치를 기준으로 제1 표준화 점수(z-score)를 계산하고, 정답 클래스의 경계 박스 대각선 길이 통계치를 기준으로 제2 표준화 점수(z-score)를 계산하고, 제1 표준화 점수 및 제2 표준화 점수를 기준으로 제1 유효 범위를 벗어나는 이상치를 제거하고, 제1 유효 범위를 만족하는 객체에 대해서 정답 클래스의 경계 박스의 가로 픽셀 수와 세로 픽셀 수를 기준으로 관심 객체와의 마할라노비스 거리를 계산하고, 마할라노비스 거리를 기준으로 제2 유효 범위를 벗어나는 이상치를 제거하고 제2 유효 범위를 만족하는 객체를 대상 표적으로 제시할 수 있다.The inference validity evaluation unit 40 calculates a first standardized score (z-score) based on the screen ratio statistics of the correct answer class used for learning the deep learning inference model, and a second standardized score (z-score) based on the bounding box diagonal length statistics of the correct answer class. Calculate a standardized score (z-score), remove outliers outside the first effective range based on the first standardized score and the second standardized score, and for objects that satisfy the first effective range, the bounding box of the correct answer class is Calculate the Mahalanobis distance from the object of interest based on the number of horizontal pixels and the number of vertical pixels, remove outliers outside the second effective range based on the Mahalanobis distance, and select the object that satisfies the second effective range as the target. It can be presented as

도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. Among the various components illustratively shown in FIG. 2, some components may be omitted or other components may be additionally included.

비행체의 표적 지정 장치에 포함된 구성요소들이 도 2에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Although the components included in the targeting device of the aircraft are shown separately in FIG. 2, a plurality of components may be combined with each other and implemented as at least one module. Components are connected to a communication path that connects software modules or hardware modules within the device and operate organically with each other. These components communicate using one or more communication buses or signal lines.

비행체의 표적 지정 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The targeting device for an aircraft may be implemented in a logic circuit using hardware, firmware, software, or a combination thereof, and may also be implemented using a general-purpose or special-purpose computer. The device may be implemented using hardwired devices, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), etc. Additionally, the device may be implemented as a System on Chip (SoC) including one or more processors and a controller.

비행체의 표적 지정 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The targeting device for the aircraft may be mounted on a computing device or server equipped with hardware elements in the form of software, hardware, or a combination thereof. A computing device or server includes all or part of a communication device such as a communication modem for communicating with various devices or wired and wireless communication networks, a memory for storing data to execute a program, and a microprocessor for executing a program to perform calculations and commands. It can refer to a variety of devices, including:

도 3은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법을 예시한 흐름도이다.Figure 3 is a flowchart illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention.

비행체의 표적 지정 방법은 컴퓨팅 디바이스 또는 비행체의 표적 지정 장치에 의해 수행될 수 있다.The targeting method of the aircraft may be performed by a computing device or a targeting device of the aircraft.

도 3을 참조하면, 단계 S210에서는 복수의 화면 모드 중에서 하나의 화면 모드를 선택하는 단계를 수행할 수 있다. 복수의 화면 모드는 주 모드로 전체 화면 모드, 고정 유효 화면 모드, 또는 적응형 유효 화면 모드 간에 하나로 전환되고, 적응형 유효 화면 모드는 서브 모드로 기본 운용 모드 또는 적응 운용 모드 간에 하나로 전환될 수 있다.Referring to FIG. 3, in step S210, a step of selecting one screen mode from a plurality of screen modes may be performed. The plurality of screen modes can be switched as one between full screen mode, fixed effective screen mode, or adaptive effective screen mode as the main mode, and the adaptive effective screen mode can be switched as one between basic operating mode or adaptive operating mode as a sub-mode. .

단계 S220에서는 선택된 화면 모드에서 획득한 동영상 내에서 존슨 기준에 따라 유효 화면 영역을 결정하는 단계를 수행할 수 있다. 무인기의 임무 계획과 현재 상태를 활용하여 촬영된 동영상 내에서 유효한 화면 영역을 결정할 수 있다.In step S220, a step of determining an effective screen area according to the Johnson criterion may be performed within the video acquired in the selected screen mode. The drone's mission plan and current state can be used to determine the effective screen area within the captured video.

단계 S230에서는 딥러닝 추론 모델을 기반으로 상기유효 화면 영역 내에서 관심 객체를 추론하는 단계를 수행할 수 있다. 기존의 방법론 적용이 가능하며, 지도 학습 기반의 딥러닝 네트워크로 관심 객체를 추론할 수 있다.In step S230, a step of inferring an object of interest within the effective screen area may be performed based on a deep learning inference model. Existing methodologies can be applied, and objects of interest can be inferred with a deep learning network based on supervised learning.

단계 S240에서는 딥러닝 추론 모델의 학습에 사용한 데이터를 고려하여 관심 객체의 유효성을 평가하는 단계를 수행할 수 있다. 추론 결과를 (i) 지도 학습에 사용한 대상 범주의 픽셀 가로, 세로 크기 분포, (ii) 관심 객체의 물리적 크기와 현재 촬영 기하 구도에서의 분포 가능한 픽셀 가로, 세로 크기를 조합하여 추론 결과의 유효성을 평가할 수 있다.In step S240, a step may be performed to evaluate the validity of the object of interest by considering the data used for training the deep learning inference model. The effectiveness of the inference result is verified by combining (i) the pixel horizontal and vertical size distribution of the target category used in supervised learning, and (ii) the physical size of the object of interest and the distributable horizontal and vertical size of the pixel in the current shooting geometry. can be evaluated.

유효한 화면 영역을 판단할 때, 사람의 인지 능력을 고려한 존슨 기준(Johnson's criteria)을 판단 기준으로 활용한다. 존슨 기준은 군사 원칙 DCRI (탐지/분류/인지/식별)를 적용할 때, 관심 객체를 50% 정확도로 인식하기 위해 필요한 최대 주사선 (현재는 픽셀) 수량에 대한 연구 결과이다.When judging the effective screen area, Johnson's criteria, which takes into account human cognitive ability, is used as a judgment standard. The Johnson criterion is the result of a study of the maximum number of scan lines (now pixels) required to recognize an object of interest with 50% accuracy when applying the military principle DCRI (detection/classification/recognition/identification).

도 4 및 도 5는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 전환하는 화면 모드를 예시한 도면이다.Figures 4 and 5 are diagrams illustrating screen modes to which a method for specifying a target for an aircraft according to another embodiment of the present invention is switched.

비행체의 표적 지정 방법은 유효 화면 영역을 결정하기 위해 3개의 주 모드 (전체 화면 모드, 고정 유효화면 모드, 적응형 유효 화면 모드)와 2개의 서브 모드 (기본 운용 모드, 적응 운용 모드)를 제공한다.The aircraft's targeting method provides three main modes (full screen mode, fixed effective screen mode, adaptive effective screen mode) and two sub-modes (basic operating mode, adaptive operating mode) to determine the effective screen area. .

도 6은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적용하는 유효 화면 영역을 예시한 도면이다.Figure 6 is a diagram illustrating an effective screen area applied by a method for specifying a target for an aircraft according to another embodiment of the present invention.

주 모드 간의 전환은 운용자의 모드 선택에 의해 이루어진다. 예를 들어, 최초 운용 시 전체 화면 모드가 기본 모드가 된다. 운용자가 고정 유효 화면 모드를 선택하면, 사전에 정의된 기본값으로 화면의 특정 영역을 고정적으로 유효 화면으로 결정한다. 고정 유효 화면은 고정 유효 화면 영역의 좌 상단 좌표와 우 하단 좌표로 결정된다. 사용자의 입력에 고정 유효 화면 영역은 의해 변경될 수 있다. Switching between the main modes is accomplished by the operator's mode selection. For example, full screen mode becomes the default mode upon first operation. When the operator selects the fixed effective screen mode, a specific area of the screen is fixedly determined as the effective screen using predefined default values. The fixed effective screen is determined by the upper left and lower right coordinates of the fixed effective screen area. The fixed effective screen area can be changed by user input.

도 6을 참조하면, 전체 화면의 가로 비율 0.8, 세로 비율 0.8 영역이 고정 유효 화면인 경우의 예를 나타낸다.Referring to FIG. 6, an example is shown where an area of the entire screen with a horizontal ratio of 0.8 and a vertical ratio of 0.8 is a fixed effective screen.

운용자가 고정 유효화면에서 적응형 유효 화면 모드로 전환하는 경우, 초기 모드는 기본 운용 모드가 된다. 적응형 유효 화면 모드의 서브 모드로, 기본 운용 모드는 현 모드에 진입하기 이전에 설정된 유효 화면 영역을 유효한 영역으로 결정한다. 이전 모드에서 설정된 값을 기본값으로 사용한다. When the operator switches from the fixed active screen to the adaptive active screen mode, the initial mode becomes the default operating mode. As a sub-mode of the adaptive effective screen mode, the basic operating mode determines the effective screen area set before entering the current mode as the effective area. The value set in the previous mode is used as the default.

예를 들면, 전체 화면 모드에서 진입한 경우, 전체 화면이 유효한 화면 영역의 기본값이 된다. 고정 유효 화면 모드에서 진입한 경우 고정 유효 화면 설정값이 기본값이 된다. 적응형 유효 화면 모드에서 도메인의 지식을 활용할 때, 무인기의 기동, 센서의 운용이 급격한 상황에서 안정성을 보장하기 위한 모드이다.For example, when entering in full screen mode, full screen becomes the default effective screen area. When entering the fixed effective screen mode, the fixed effective screen settings become the default. When utilizing domain knowledge in the adaptive effective screen mode, this mode is used to ensure stability in situations where unmanned aerial vehicle (UAV) startup and sensor operation are rapid.

도 7은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 기본 운용 모드 및 적응 운용 모드 간에 전환 판단하는 것을 예시한 도면이다.Figure 7 is a diagram illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention to determine switching between the basic operation mode and the adaptive operation mode.

시스템이 적응형 유효 화면 모드의 기본 운용 모드에서 운용되면, 적응 운용 모드를 활성화할지 여부를 판단한다. 무인기와 센서가 정보 획득에 정해진 기준에 따라 운용되는 것을 확인하여 적응 운용 모드로 전환한다. 그 이외의 경우, 예를 들면 무인기의 급선회 및 상승, 센서의 급격한 김발(gimbal) 구동 등이 이루어질 때에는 기본 운용 모드로 운용한다. 왜냐하면 획득한 영상에서 높은 품질의 정보를 획득하기 어렵고, 촬영 영상에서 유의미한 정보가 연속적으로 등장하지 않기 때문에 효과적인 처리가 제한되기 때문이다. If the system operates in the default operating mode of the adaptive active screen mode, it determines whether to activate the adaptive operating mode. Confirm that the UAV and sensors are operated according to the standards set for information acquisition and switch to adaptive operation mode. In other cases, for example, when the unmanned aerial vehicle turns sharply or ascends, or the sensor is rapidly gimbaled, it is operated in the basic operation mode. This is because it is difficult to obtain high-quality information from acquired images, and effective processing is limited because meaningful information does not appear continuously in captured images.

판단 조건은 시스템의 특성과 도메인 지식을 적용하여 추가 및 변경할 수 있다. 도 7을 참조하면 활성화, 비활성화 판단 기준을 제시한다. 운용자가 적응형 유효 화면 모드로 진입했을 때, 적응 운용 모드 활성화에 대한 판단 권한을 시스템에 위임한 것으로 간주하고, 시스템은 판단 기준에 따라 기본 운용 모드와 적응 운용 모드를 스스로 전환한다. 적응 운용 모드에서 운용 중 예를 들어 속력 평균이 기준값을 벗어나면, 시스템은 적응형 유효 화면 모드 내에서 비활성화를 결정하고 기본 운용 모드로 동작한다. 조건이 충족되는 경우 자동적으로 적응 운용 모드로 전환한다.Judgment conditions can be added and changed by applying system characteristics and domain knowledge. Referring to Figure 7, criteria for determining activation and deactivation are presented. When the operator enters the adaptive effective screen mode, the system is considered to have delegated the authority to make decisions about activating the adaptive operation mode, and the system automatically switches between the basic operation mode and the adaptive operation mode according to the judgment criteria. If, for example, the speed average deviates from the reference value while operating in the adaptive operating mode, the system decides to deactivate within the adaptive effective screen mode and operates in the default operating mode. When conditions are met, it automatically switches to adaptive operation mode.

화면 모드를 선택하는 동작은 적응형 유효 화면 모드에서, 제1 기준 시간(t₁) 동안 비행체에 관한 고도 변화율 절대값 평균이 제1 기준 조건(최대 고도 변화율) 이하를 만족하는 제1 조건을 판단한다(S310).The operation of selecting a screen mode determines a first condition in which the average absolute value of the altitude change rate for the aircraft during the first reference time (t ₁ ) satisfies the first reference condition (maximum altitude change rate) or less in the adaptive effective screen mode. Do it (S310).

제2 기준 시간(t₂) 동안 비행체에 관한 헤딩 각도 변화율 절대값 평균이 제2 기준 조건(최대 헤딩 각도 변화율) 이하를 만족하는 제2 조건을 판단한다(S320).A second condition is determined in which the average absolute value of the heading angle change rate for the aircraft satisfies the second reference condition (maximum heading angle change rate) or less during the second reference time (t ₂ ) (S320).

제3 기준 시간(t₃) 동안 비행체에 관한 속력 평균이 제3 기준 조건(기준 평균 속력 오차 범위) 범위 이내를 만족하는 제3 조건을 판단한다(S330).During the third reference time (t ₃ ), the third condition that the average speed of the flying vehicle satisfies within the range of the third reference condition (reference average speed error range) is determined (S330).

제4 기준 시간(t-₄) 동안 상기 비행체에 장착된 센서의 팬 각도 변화율 절대값 평균이 제4 기준 조건(최대 팬 각도 변화율) 이하를 만족하는 제4 조건을 판단한다(S340).A fourth condition is determined in which the average absolute value of the fan angle change rate of the sensor mounted on the aircraft satisfies the fourth reference condition (maximum fan angle change rate) or less during the fourth reference time (t- ₄ ) (S340).

제5 기준 시간(t₅) 동안 비행체에 장착된 센서의 틸팅 각도 변화율 절대값 평균이 제5 기준 조건(최대 틸팅 각도 변화율) 이하를 만족하는 제5 조건을 판단한다(S350).A fifth condition is determined in which the average absolute value of the tilting angle change rate of the sensor mounted on the aircraft satisfies the fifth reference condition (maximum tilting angle change rate) or less during the fifth reference time (t ₅ ) (S350).

제6 기준 시간(t₆) 동안 비행체에 장착된 센서의 줌 레벨 변화율 절대값 평균이 제6 기준 조건(최대 줌 레벨 변화율) 이하를 만족하는 제6 조건을 판단한다(S360).A sixth condition is determined in which the average absolute value of the zoom level change rate of the sensor mounted on the aircraft satisfies the sixth reference condition (maximum zoom level change rate) or less during the sixth reference time (t ₆ ) (S360).

제1 조건, 제2 조건, 제3 조건, 제4 조건, 제5 조건, 및 제6 조건의 만족여부를 판단한다(S370). 어느 하나의 조건이라도 만족하지 않으면 적응 운용 모드를 비활성화한다(S380). 모든 조건을 만족하면 적응 운용 모드를 활성화한다(S390).Determine whether the first condition, second condition, third condition, fourth condition, fifth condition, and sixth condition are satisfied (S370). If any condition is not satisfied, the adaptive operation mode is deactivated (S380). If all conditions are met, the adaptive operation mode is activated (S390).

도 8은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적응 운용 모드에서 유효 화면 영역을 결정하는 것을 예시한 도면이다.Figure 8 is a diagram illustrating a method for specifying a target for an aircraft according to another embodiment of the present invention to determine an effective screen area in an adaptive operation mode.

유효 화면 영역을 결정하는 동작은 적응 운용 모드에서, 비행체에 장착된 센서의 풋프린트를 계산한다(S410).The operation of determining the effective screen area calculates the footprint of the sensor mounted on the aircraft in the adaptive operation mode (S410).

풋프린트 내에서 화면 좌표계 영역별로 한 픽셀이 표현하는 픽셀 거리를 도출한다(S420).The pixel distance expressed by one pixel is derived for each screen coordinate system area within the footprint (S420).

픽셀 거리를 이용하여 관심 객체의 크기를 픽셀 수로 변환한다(S430).The size of the object of interest is converted to the number of pixels using the pixel distance (S430).

존슨 기준을 기반으로 관심 객체의 상한 기준 픽셀 수 및 하한 기준 픽셀 수를 설정한다(S440).Based on the Johnson criterion, the upper and lower limit reference pixel numbers of the object of interest are set (S440).

상한 기준 픽셀 수 및 하한 기준 픽셀 수에 따른 화면 유효 영역 후보에 대해서 최소 유효 영역과 비교하고 현재 유효 영역과 비교한 결과를 기반으로 현재 유효 영역을 갱신하여 유효 화면 영역을 확정한다(S450). 확정된 유효 화면 영역을 분할할 수 있다.Screen effective area candidates according to the upper limit reference pixel number and lower limit reference pixel number are compared with the minimum effective area, and based on the result of comparison with the current effective area, the current effective area is updated to determine the effective screen area (S450). The confirmed effective screen area can be divided.

시스템은 적응 운용 모드에서 센서 풋프린트를 계산하기 위해 다음의 도메인 지식을 활용한다. The system utilizes the following domain knowledge to calculate the sensor footprint in adaptive operation mode:

임무 계획으로 관심 지역(위도, 경도, 고도), 관심 객체(범주, 크기)를 활용한다. 무인기의 비행 상태로 적응 운용 모드를 활성화할 때 사용한 파라미터를 활용한다. 센서 상태로 팬(pan) 각도, 틸팅(tilt) 각도를 활용한다.Mission planning utilizes areas of interest (latitude, longitude, altitude) and objects of interest (category, size). Utilize the parameters used when activating the adaptive operation mode with the drone's flight state. The pan angle and tilt angle are used as sensor states.

도 9 및 도 10은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 처리하는 센서 풋프린트를 예시한 도면이다.9 and 10 are diagrams illustrating sensor footprints processed by a method for targeting an aircraft according to another embodiment of the present invention.

도 9를 참조하면, 임무 계획, 무인기의 비행 상태 및 센서 상태와 관련된 지식을 활용한다. 정찰 임무에는 관심 지역 (Area Of Interest, AOI)이 있고, 무인기는 관심 지역을 촬영할 수 있도록 고도 (특히 Target Above Height), 속력, 센서의 틸팅 각도, 줌 레벨을 결정한다. 이러한 계획에 따라 임무 수행하면 동적인 환경 변화에서 발명의 목표를 달성하기 위해 무인기를 운용한다. 센서 풋프린트의 중심이 관심 지역을 지향하게 된다. 되는 것이다. Referring to Figure 9, knowledge related to mission planning, flight status of the unmanned aerial vehicle (UAV), and sensor status is utilized. In a reconnaissance mission, there is an Area of Interest (AOI), and the UAV determines the altitude (especially Target Above Height), speed, sensor tilting angle, and zoom level so that it can photograph the area of interest. If the mission is performed according to this plan, the unmanned aerial vehicle will be operated to achieve the goal of the invention in a dynamic environment. The center of the sensor footprint is oriented toward the region of interest. It will happen.

도 10을 참조하면, 임무 계획 및 비행 상태의 지식을 적용하여 센서 풋프린트를 계산한다. 적응 운용 모드에서 동작하기 때문에 시스템은 안정적으로 운용되고 있다고 가정한다. 센서 풋프린트 기하 구도는 삼각함수를 이용한 일반적인 방식으로 계산할 수 있다.Referring to Figure 10, knowledge of the mission plan and flight conditions is applied to calculate the sensor footprint. Because it operates in an adaptive operation mode, the system is assumed to be operating stably. The sensor footprint geometry can be calculated in a general way using trigonometric functions.

센서 풋프린트 계산 과정에서 TAH(Target Above Height)는 임무 계획에서 촬영의 목표로 삼은 관심 지역의 평균 고도에서 현재 무인기의 운용 고도의 차이로 설정하여 센서 풋프린트를 계산한다.In the sensor footprint calculation process, TAH (Target Above Height) calculates the sensor footprint by setting it as the difference between the current operating altitude of the unmanned aerial vehicle (UAV) and the average altitude of the area of interest targeted for filming in the mission plan.

센서 VFOV (vertical FOV)를 n개로 구분한다. n개로 구분된 영역의 크로스 그라운드 레인지(cross ground range)와 폭(width)를 계산한다. 각 영역별 평균 크로스 레인지(cross range)와 평균 폭(width)을 계산한다.The sensor VFOV (vertical FOV) is divided into n. Calculate the cross ground range and width of n divided areas. Calculate the average cross range and average width for each area.

n이 16인 경우로 가정하여 계산 과정을 설명한다. TAH, 틸팅 각도, HFOV, VFOV는 각각 350m, 18도, 14.5도, 8.156도 이다.The calculation process will be explained assuming that n is 16. TAH, tilt angle, HFOV, and VFOV are 350m, 18 degrees, 14.5 degrees, and 8.156 degrees, respectively.

크로스 그라운드 레인지는 cross ground range n = TAH / tan ( tilt + VFOV / 2 ) 계산식을 통해 산출할 수 있다. 이 때, tilt + VFOV / 2를 - VFOV / n만큼 감소시키며 반복적으로 크로스 그라운드 레인지(cross ground range)를 계산한다. 0번째 크로스 그라운드 레인지(cross ground range)는 862.89m, 1번째 크로스 그라운드 레인지(cross ground range)는 885.43m 이다. 16번째 크로스 그라운드 레인지(cross ground range)는 1411.92m 이다.The cross ground range can be calculated through the formula cross ground range n = TAH / tan (tilt + VFOV / 2). At this time, tilt + VFOV / 2 is reduced by - VFOV / n and the cross ground range is repeatedly calculated. The 0th cross ground range is 862.89m, and the 1st cross ground range is 885.43m. The 16th cross ground range is 1411.92m.

폭은 width n = 2 * cross ground range n * tan (HFOV / 2) 계산식을 통해 산출할 수 있다. 제시한 기하 구도에서 0번째 폭(width)은 219.55m, 1번째 폭(width)은 225.28m 이다. 16번째 폭(width)은 359.25m이다.The width can be calculated using the formula width n = 2 * cross ground range n * tan (HFOV / 2). In the presented geometric structure, the 0th width is 219.55m and the 1st width is 225.28m. The 16th width is 359.25m.

도 11은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 n = 16으로 균일하게 분할된 화면 좌표계를 예시한 도면이다.Figure 11 is a diagram illustrating a screen coordinate system uniformly divided into n = 16 by a method for specifying a target for an aircraft according to another embodiment of the present invention.

화면 좌표계 영역별로 한 픽셀이 표현하는 픽셀 거리(m)를 도출하는 과정을 설명하면, n개로 분할된 화면 영역에 대한 가로, 세로 m/pixel을 다음 순서로 계산한다(n = 16). 각 영역별 cross range를 (vertical pixel 수 / n)로 나눈다. 각 영역별 평균 width를 horizontal pixel 수로 나눈다. 각 영역별로 픽셀이 표현하는 지면의 가로 길이와 세로 길이를 저장한다.To explain the process of deriving the pixel distance (m) expressed by one pixel for each screen coordinate system area, the horizontal and vertical m/pixel for n divided screen areas are calculated in the following order (n = 16). Divide the cross range for each area by (number of vertical pixels / n). Divide the average width of each area by the number of horizontal pixels. For each area, the horizontal and vertical lengths of the ground represented by the pixel are stored.

수평 픽셀(horizontal pixel) 수, 수직 픽셀(vertical pixel) 수가 1280 pixel, 720 pixel인 경우로 가정하여 설명한다.This will be explained assuming that the number of horizontal pixels and vertical pixels are 1280 pixels and 720 pixels.

크로스 레인지는 cross range 1 = cross ground range 1 - cross ground range 0 계산식을 통해 산출할 수 있다. cross range 1 = 885.43 - 862.89 = 약 22.54 m 이다.The cross range can be calculated using the formula cross range 1 = cross ground range 1 - cross ground range 0. cross range 1 = 885.43 - 862.89 = approximately 22.54 m.

화면 영역 1의 1 픽셀이 표현하는 세로 거리 = 22.52 / (720 / 16) = 약 0.5 m / pixel 이다.The vertical distance expressed by 1 pixel of screen area 1 = 22.52 / (720 / 16) = approximately 0.5 m / pixel.

평균 width 1 = (width 1 + width 0) / 2 = (219.55 + 225.28) / 2 = 약 222.41 m 이다.The average width 1 = (width 1 + width 0) / 2 = (219.55 + 225.28) / 2 = approximately 222.41 m.

화면 영역 1의 1 픽셀이 표현하는 가로 거리 = 222.41 / 1280 = 약 0.174 m / pixel 이다. The horizontal distance expressed by 1 pixel of screen area 1 = 222.41 / 1280 = approximately 0.174 m / pixel.

화면 영역 1의 가로, 세로 m/pixel (0.174, 0.5)을 저장한다.Save the horizontal and vertical m/pixel (0.174, 0.5) of screen area 1.

도 12는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 관심 객체 픽셀 수를 계산한 결과를 예시한 도면이다.Figure 12 is a diagram illustrating the results of calculating the number of object pixels of interest in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.

관심 객체의 크기를 픽셀 수로 변환하는 과정을 설명하면, 관심 객체의 가로, 세로 길이로 대각선 길이를 구한다. 관심 객체의 대각선 길이를 기준으로 화면 영역 별 관심 객체의 픽셀 수를 계산한다.To explain the process of converting the size of the object of interest to the number of pixels, the diagonal length is calculated from the horizontal and vertical lengths of the object of interest. Calculate the number of pixels of the object of interest for each screen area based on the diagonal length of the object of interest.

관심 객체를 차량이라고 가정하면, 차는 4.4 m x 1.7 m (d x w) (아반떼 예) 크기를 가진다.Assuming that the object of interest is a vehicle, the car has a size of 4.4 m x 1.7 m (d x w) (Avante example).

관심 객체의 대각선 길이 = sqrt (4.4 * 4.4 + 1.7 * 1.7) = 4.717 m 이다.The diagonal length of the object of interest = sqrt (4.4 * 4.4 + 1.7 * 1.7) = 4.717 m.

관심 객체의 픽셀 수 (영역 1) = min (4.717 / 0.174, 4.717 / 0.5) = min (27.15, 9.42) = 약 9.42 픽셀 이다.Number of pixels of object of interest (area 1) = min (4.717 / 0.174, 4.717 / 0.5) = min (27.15, 9.42) = approximately 9.42 pixels.

도 13은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 적용하는 존슨 기준을 예시한 도면이다.Figure 13 is a diagram illustrating the Johnson criterion applied by the target designation method for an aircraft according to another embodiment of the present invention.

존슨 기준(Johnson's Criteria)은 DRI (Detection, Recognition, Identification) 즉 탐지, 인식, 식별의 군사 원리를 충족하기 위한 센서의 최소 라인 페어 수를 제시한다. 현재는 센서의 촬영 결과를 주사선 방식으로 시현하지 않기 때문에 픽셀로 변환하여 기준을 적용한다. 존슨 기준은 사람이 50%의 정확도로 대상을 인식할 수 있는 정도를 측정의 기준을 제시한다(100% 아님). Johnson's Criteria sets out the minimum number of line pairs for a sensor to meet the military principle of DRI (Detection, Recognition, Identification). Currently, the sensor's shooting results are not displayed using a scanning line method, so they are converted to pixels and the standard is applied. The Johnson criterion provides a standard for measuring the degree to which a person can recognize an object with 50% accuracy (not 100%).

도 13을 참조하면, Johnson's Criteria를 pixel로 변환한 다양한 기준을 예시한다. Referring to Figure 13, various criteria for converting Johnson's Criteria into pixels are illustrated.

다음과 같은 방식으로 Johnson's Criteria를 활용한다. Johnson's Criteria가 적용된 임무 계획에서 이상적인 관심 객체 촬영 픽셀 수(가로, 세로)를 로드한다. 하한 가중치를 적용하여 하한 기준 픽셀 수를 계산한다. 상한 가중치를 적용하여 상한 기준 픽셀 수를 계산한다. 각 화면 영역에서의 관심 객체 가로, 세로 픽셀 수를 기준 값으로 변환한다.Use Johnson's Criteria in the following way. Load the ideal object of interest capture pixel count (horizontal, vertical) from the mission plan with Johnson's Criteria applied. Calculate the number of lower limit reference pixels by applying the lower limit weight. Calculate the number of upper limit reference pixels by applying the upper limit weight. Convert the number of horizontal and vertical pixels of the object of interest in each screen area to reference values.

도 14는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 기준 픽셀 수를 계산한 결과를 예시한 도면이다.Figure 14 is a diagram illustrating the results of calculating the number of reference pixels in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.

임무 계획 상 현재 고도에서 차량(예컨대, 아반떼)를 촬영하는 경우 (20, 8) pixel이 기준이 된다. When photographing a vehicle (eg, Avante) at the current altitude in the mission plan, (20, 8) pixels are the standard.

하한 가중치를 적용한 하한 기준 픽셀 수 = (w1 * 20) + (w2 * 8) = 10 + 4 = 14 pixel이다. w1 = 0.5, w2 = 0.5로 가정한다.The number of pixels based on the lower limit weight applied = (w1 * 20) + (w2 * 8) = 10 + 4 = 14 pixels. Assume w1 = 0.5, w2 = 0.5.

상한 가중치를 적용한 상한 기준 픽셀 수 = w3 * 하한 기준 = 1.8 * 14 = 약 25 pixel이다. w3 = 1.8으로 가정한다.Number of pixels based on upper limit weight applied = w3 * lower limit standard = 1.8 * 14 = approximately 25 pixels. Assume w3 = 1.8.

화면 영역 1 ~ 16의 기준 pixel 수 = (w1 * car horizontal pixel) + (w2 * car vertical pixel) 계산식을 통해 산출할 수 있다. w1, w2, w3은 조정 파라미터로 테스트 등을 통해 적합한 값으로 갱신할 수 있다.It can be calculated using the formula number of standard pixels in screen areas 1 to 16 = (w1 * car horizontal pixel) + (w2 * car vertical pixel). w1, w2, and w3 are adjustment parameters and can be updated to appropriate values through testing, etc.

도 15는 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 유효 화면 영역을 확정하는 동작을 예시한 도면이다.Figure 15 is a diagram illustrating an operation of determining an effective screen area in a method for specifying a target for an aircraft according to another embodiment of the present invention.

도 14의 표를 참조하면, 가정된 상황은 현재 화면 유효 영역 하단은 3, 상단은 15 이다. 본 실시예에 의해 결정된 유효 화면 후보 하단은 1, 상단은 12 이다. 사전에 설정된 화면 모드에서 최소 유효 영역의 크기는 8 (n/2, 즉 16/2) 이다. 기본값은 설정되고 운용자에 의해 설정 가능하다.Referring to the table in FIG. 14, the assumed situation is that the bottom of the current screen effective area is 3 and the top is 15. The bottom of the valid screen candidates determined by this embodiment is 1, and the top is 12. The size of the minimum effective area in the preset screen mode is 8 (n/2, i.e. 16/2). Default values are set and can be set by the operator.

최소 유효 화면의 크기 8과 유효 화면 영역 후보(candidate)의 크기 (12-1+1, 12)를 비교한다(S510). 만약 비교 결과 유효 영역 후보의 크기가 작은 경우 8을 중심으로 하단 4 (8/2) 영역을 선택(8, 7, 6, 5)한다. 9를 중심으로 상단 4 (8/2) 영역을 선택(9, 10, 11, 12)한다. 유효 영역 후보로 5~12 영역을 선택한다. 현재 유효 영역과 유효 영역 후보를 비교하는 절차를 따른다.The size 8 of the minimum effective screen is compared with the size (12-1+1, 12) of the effective screen area candidate (S510). If the size of the effective area candidate is small as a result of the comparison, the bottom 4 (8/2) areas centered on 8 are selected (8, 7, 6, 5). Select the top 4 (8/2) areas centered on 9 (9, 10, 11, 12). Select areas 5 to 12 as effective area candidates. Follow the procedure for comparing the current effective area and the effective area candidate.

본 예시에서는 유효 영역 후보의 크기가 (12 > 8) 크다. In this example, the size of the effective area candidate is large (12 > 8).

현재 유효 영역과 하단 영역을 비교한다(S520). 예시에서 현재 유효 영역의 하단은 3이고, 유효 영역 후보의 하단은 1이므로, 후보의 하단이 더 넓다. 더 넓은 경우, 현재 유효 영역의 하단을 1 확장하여 2로 설정한다. 만약 유효 영역 후보와 하단이 같은 경우, 하단 영역을 유지한다. 만약 유효 영역 후보의 하단이 더 좁은 경우, 하단 영역을 1 축소한다.Compare the current effective area and the lower area (S520). In the example, the bottom of the current effective area is 3, and the bottom of the effective area candidate is 1, so the bottom of the candidate is wider. If it is wider, extend the bottom of the current effective area by 1 and set it to 2. If the effective area candidate and the bottom are the same, the bottom area is maintained. If the bottom of the effective area candidate is narrower, the bottom area is reduced by 1.

현재 유효 영역과 상단 영역을 비교한다(S530). 예시에서 현재 유효 영역의 상단은 15이고, 후보의 상단은 12이므로, 후보의 상단이 더 좁다. 더 좁은 경우, 현재 유효 영역의 상단을 1 축소하여 14로 설정한다. 만약 후보의 상단이 같은 경우, 상단 영역을 유지한다. 만약 후보의 상단이 더 넓은 경우, 상단 영역을 1 확장한다.Compare the current effective area and the upper area (S530). In the example, the top of the current effective area is 15, and the top of the candidate is 12, so the top of the candidate is narrower. If it is narrower, reduce the top of the current effective area by 1 and set it to 14. If the tops of the candidates are the same, the top area is kept. If the top of the candidate is wider, expand the top area by 1.

현재의 유효 영역을 기준으로 단위(예컨대, 1 영역)씩 만을 업데이트하는 이유는 시스템이 유효 화면을 급격하게 변경하는 것을 제한하기 위한 목적이다.The reason for updating only units (eg, 1 area) based on the current effective area is to limit the system from rapidly changing the effective screen.

확정된 유효 영역을 기준으로 화면 (예: 1280 x 720)을 분할한다(S540). 현재의 가로 대 세로 비율을 (16:9) 확인한다. 확정된 세로 영역 2 ~14를 기준으로 16:9가 되도록 화면을 분할한다. 분할된 화면의 좌상단, 우하단 좌표를 저장한다. 분할된 화면을 다음 단 (기존의 관심 객체 추론)으로 전송한다.Divide the screen (e.g. 1280 x 720) based on the confirmed effective area (S540). Check the current width-to-height ratio (16:9). Split the screen to 16:9 based on the confirmed vertical areas 2 to 14. Save the coordinates of the upper left and lower right of the divided screen. The divided screen is sent to the next stage (existing object of interest inference).

도 16은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법에 의해 16 등분된 화면 영역에서의 확정된 유효 화면 영역을 예시한 도면이다.Figure 16 is a diagram illustrating an effective screen area determined in a screen area divided into 16 equal parts by a method for specifying a target for an aircraft according to another embodiment of the present invention.

비행체의 표적 지정 방법은 확정된 유효 화면 영역에서 관심 객체 추론을 진행한다. 기존의 지도 학습을 기반으로 하는 인공지능 방법론 등을 적용할 수 있다. 예컨대, YOLO + Deep SORT 등을 적용할 수 있다.The targeting method for an aircraft proceeds with object of interest inference in a confirmed effective screen area. Artificial intelligence methodologies based on existing supervised learning can be applied. For example, YOLO + Deep SORT, etc. can be applied.

도 17은 본 발명의 다른 실시예에 따른 비행체의 표적 지정 방법이 추론한 관심 객체의 유효성을 평가하는 동작을 예시한 도면이다.Figure 17 is a diagram illustrating an operation of evaluating the effectiveness of an object of interest inferred by a method for specifying a target for an aircraft according to another embodiment of the present invention.

가정사항으로 관심 객체 추론 결과는 객체의 범주, 경계 박스 좌표 (좌상단, 우하단), 신뢰도 등이 제공된다. 딥러닝을 활용하는 경우, 학습 데이터에서 관심 객체의 정답에 관한 통계 정보를 안다. (분포, 평균, 표준편차 등) 만약 학습 데이터의 통계가 없는 경우 운용 개념과 존슨 기준(Johnson's criteria)를 활용하여 설정된 통계 정보를 활용한다.As an assumption, the object of interest inference result provides the object's category, bounding box coordinates (top left, bottom right), and reliability. When using deep learning, statistical information about the correct answer to the object of interest is known from the learning data. (Distribution, mean, standard deviation, etc.) If there are no statistics for the learning data, use statistical information established using operational concepts and Johnson's criteria.

관심 객체의 유효성을 평가하는 단계는, 딥러닝 추론 모델의 학습에 사용한 정답 클래스의 화면비 통계치를 기준으로 제1 표준화 점수를 계산한다(S610). 정답 클래스의 화면비(aspect ratio) 통계치를 기준으로 추론된 객체의 z-score를 계산한다. 정답 클래스의 aspect ratio 통계치는 평균 1, 표준 편차 1.1에 해당한다. 추론된 객체의 aspect ratio 값은 1.3에 해당한다. aspect ratio에 대한 z-score = (1.3 - 1) / 1.1 = 0.3909에 해당한다. 이는 약 65 % 에 해당하는 샘플이다. In the step of evaluating the validity of the object of interest, a first standardized score is calculated based on the aspect ratio statistics of the correct answer class used for training the deep learning inference model (S610). Calculate the z-score of the inferred object based on the aspect ratio statistics of the correct answer class. The aspect ratio statistics of the correct answer class correspond to a mean of 1 and a standard deviation of 1.1. The aspect ratio value of the inferred object corresponds to 1.3. This corresponds to z-score for aspect ratio = (1.3 - 1) / 1.1 = 0.3909. This corresponds to approximately 65% of the sample.

정답 클래스의 경계 박스 대각선 길이 통계치를 기준으로 제2 표준화 점수를 계산한다(S620). 정답 클래스의 경계 박스 대각선 길이 통계치를 기준으로 추론된 객체의 z-score를 계산한다. 정답 클래스의 경계 박스 대각선 길이 통계치는 평균 21.54, 표준 편차 4.5에 해당한다. 추론된 객체의 경계 박스 대각선 길이 값은 19.4에 해당한다. 경계 박스 대각선 길에 대한 z-score = (19.4 - 21.54) / 4.5 = -0.4756에 해당한다. 이는 약 32%에 해당하는 샘플이다.A second standardized score is calculated based on the bounding box diagonal length statistics of the correct answer class (S620). The z-score of the object inferred based on the bounding box diagonal length statistics of the correct answer class. Calculate. The bounding box diagonal length statistics for the correct answer class correspond to a mean of 21.54 and a standard deviation of 4.5. The diagonal length value of the bounding box of the inferred object corresponds to 19.4. This corresponds to z-score = (19.4 - 21.54) / 4.5 = -0.4756 for the bounding box diagonal path. This is approximately 32% of the sample.

제1 표준화 점수 및 제2 표준화 점수를 기준으로 제1 유효 범위를 벗어나는 이상치를 제거한다(S630, S660). z-score에서 도출한 분포에 가중치를 적용하고 기준값과 비교한다. 가중치가 적용된 % = w1 * 65% + w2 * 32% = 48.5%에 해당한다. w1 = 0.5, w2 = 0.5로 설정될 수 있다. 설정된 스크리닝 기준 5%, 95%인 경우 인식된 결과를 무효화하고 제거한다. 유효 범위에 있는 경우, 다음을 진행한다.Outliers outside the first effective range are removed based on the first standardized score and the second standardized score (S630, S660). Weights are applied to the distribution derived from z-score and compared with the reference value. Weighted % = w1 * 65% + w2 * 32% = 48.5%. It can be set as w1 = 0.5, w2 = 0.5. If the set screening criteria are 5% or 95%, the recognized results are invalidated and removed. If it is within the effective range, proceed as follows.

제1 유효 범위를 만족하는 객체에 대해서 클래스의 경계 박스의 가로 픽셀 수와 세로 픽셀 수를 기준으로 관심 객체와의 마할라노비스 거리를 계산한다(640). 정답 데이터 경계 박스의 가로 픽셀과 세로 픽셀 각각을 랜덤 변수로 고려하여, 공 분산 (covariance matrix) 값을 로드한 후, 추론된 객체의 가로, 세로 픽셀 크기와의 마할라노비스(Mahalanobis) 거리를 계산한다. 정답 데이터 경계 박스의 가로 픽셀 수, 세로 픽셀 수의 랜덤변수(X)를 예시하면, X: 가로 평균(mean)(μ_XY)은 20이고, 세로 평균(mean)(μ_Y)은 8이고, 공분산 매트릭스(covariance matrix) (∑) = [4.5 0.5; 0.5 3.5]에 해당한다. 추론된 객체의 가로, 세로 픽셀 크기(Y) 예시하면 (4개의 경우) Y = [20 8; 17 6; 25 18; 21 7]에 해당한다. 마할라노비스 거리는 다음 계산식(수학식 1)으로 표현된다. For an object that satisfies the first effective range, the Mahalanobis distance to the object of interest is calculated based on the number of horizontal pixels and the number of vertical pixels of the bounding box of the class (640). By considering each horizontal and vertical pixel of the answer data bounding box as a random variable, loading the covariance matrix value, and calculating the Mahalanobis distance between the horizontal and vertical pixel sizes of the inferred object. do. As an example of the random variable (X) of the number of horizontal pixels and the number of vertical _pixels of _the answer data bounding box, covariance matrix (∑) = [4.5 0.5; 0.5 3.5]. For example, the horizontal and vertical pixel size (Y) of the inferred object (4 cases) Y = [20 8; 17 6; 25 18; 21 7]. The Mahalanobis distance is expressed by the following calculation formula (Equation 1).

계산 예로 d = (0.0, 3.002, 33.109, 0.542)을 산출할 수 있다.As a calculation example, d = (0.0, 3.002, 33.109, 0.542) can be calculated.

마할라노비스 거리를 기준으로 제2 유효 범위를 벗어나는 이상치를 제거한다(S650, S660). 제2 유효 범위를 만족하는 객체를 대상 표적으로 제시할 수 있다(S670). d가 d_limit보다 크면 outlier이므로 제거하고, 아닌 경우 운용자 지정 대상 표적으로 설정한다. 운용자가 화면에서 표적을 지정하는 경우, 운용자에 의해 입력된 화면 x, y 좌표와 표적 설정 단계에서 설정된 대상 간의 픽셀 중심과의 거리를 계산하여 가까운 순으로 표적을 지정한다.Outliers outside the second effective range are removed based on the Mahalanobis distance (S650, S660). An object that satisfies the second effective range may be presented as a target (S670). If d is greater than d _limit , it is an outlier and is removed. Otherwise, it is set as a target designated by the operator. When the operator specifies a target on the screen, the distance between the screen x and y coordinates input by the operator and the pixel center between the target set in the target setting step is calculated and the target is designated in order of closest proximity.

도 18은 본 발명의 실시예들을 실시하는 컴퓨팅 디바이스를 예시한 블록도이다.Figure 18 is a block diagram illustrating a computing device practicing embodiments of the present invention.

컴퓨팅 디바이스(1010)는 적어도 하나의 프로세서(1020), 컴퓨터 판독 가능한 저장매체(1030) 및 통신 버스(1070)를 포함한다. Computing device 1010 includes at least one processor 1020, a computer-readable storage medium 1030, and a communication bus 1070.

프로세서(1020)는 컴퓨팅 디바이스(1010)를 동작하도록 제어할 수 있다. 예컨대, 프로세서(1020)는 컴퓨터 판독 가능한 저장 매체(1030)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(1020)에 의해 실행되는 경우 컴퓨팅 디바이스(1010)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor 1020 may control the computing device 1010 to operate. For example, the processor 1020 may execute one or more programs stored in the computer-readable storage medium 1030. One or more programs may include one or more computer-executable instructions, which, when executed by processor 1020, may be configured to cause computing device 1010 to perform operations according to example embodiments. there is.

컴퓨터 판독 가능한 저장 매체(1030)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(1030)에 저장된 프로그램(1040)은 프로세서(1020)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(1030)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 디바이스(1010)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 1030 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 1040 stored in the computer-readable storage medium 1030 includes a set of instructions executable by the processor 1020. In one embodiment, computer-readable storage medium 1030 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, It may be flash memory devices, another form of storage medium that can be accessed by computing device 1010 and store desired information, or a suitable combination thereof.

통신 버스(1070)는 프로세서(1020), 컴퓨터 판독 가능한 저장 매체(1040)를 포함하여 컴퓨팅 디바이스(1010)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 1070 interconnects various other components of computing device 1010, including processor 1020 and computer-readable storage medium 1040.

컴퓨팅 디바이스(1010)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(1050) 및 하나 이상의 통신 인터페이스(1060)를 포함할 수 있다. 입출력 인터페이스(1050) 및 통신 인터페이스(1060)는 통신 버스(1070)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(1050)를 통해 컴퓨팅 디바이스(1010)의 다른 컴포넌트들에 연결될 수 있다.Computing device 1010 may also include one or more input/output interfaces 1050 and one or more communication interfaces 1060 that provide an interface for one or more input/output devices. The input/output interface 1050 and communication interface 1060 are connected to the communication bus 1070. Input/output devices (not shown) may be connected to other components of computing device 1010 through input/output interface 1050.

도 3, 도 7, 도 8, 도 15, 도 17에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3, 도 7, 도 8, 도 15, 도 17에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.In Figures 3, 7, 8, 15, and 17, each process is described as being sequentially executed, but this is merely an illustrative explanation, and those skilled in the art should not deviate from the essential characteristics of the embodiments of the present invention. To the extent that it is not possible, various modifications and modifications may be made by executing by changing the order shown in FIGS. 3, 7, 8, 15, and 17, executing one or more processes in parallel, or adding other processes. .

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.Operations according to the present embodiments may be implemented in the form of program instructions that can be performed through various computer means and recorded on a computer-readable medium. Computer-readable media refers to any media that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or combinations thereof. For example, there may be magnetic media, optical recording media, memory, etc. A computer program may be distributed over networked computer systems so that computer-readable code can be stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing this embodiment can be easily deduced by programmers in the technical field to which this embodiment belongs.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.These embodiments are intended to explain the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these examples. The scope of protection of this embodiment should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of this embodiment.

Claims

In the method of specifying a target for an aircraft,
selecting one screen mode from a plurality of screen modes;
determining an effective screen area within the video obtained in the selected screen mode according to the Johnson criterion;
inferring an object of interest within the effective screen area based on a deep learning inference model; and
A targeting method for an aircraft comprising the step of evaluating the effectiveness of the object of interest in consideration of data used for learning the deep learning inference model.

According to paragraph 1,
The plurality of screen modes are switched as one between full screen mode, fixed effective screen mode, or adaptive effective screen mode as the main mode,
The adaptive effective screen mode is a sub-mode and is switched between the basic operation mode and the adaptive operation mode.

According to paragraph 2,
The step of selecting the screen mode is,
In the adaptive effective screen mode,
(i) a first condition that the average absolute value of the altitude change rate for the aircraft during the first reference time satisfies the first reference condition or less,
(ii) a second condition that the average absolute value of the heading angle change rate for the aircraft during the second reference time satisfies the second reference condition or less,
(iii) the third condition that the average speed for the vehicle during the third reference time is satisfied within the range of the third reference condition,
(iv) the fourth condition that the average absolute value of the fan angle change rate of the sensor mounted on the aircraft during the fourth reference time satisfies the fourth reference condition or less,
(v) the fifth condition that the average absolute value of the tilt angle change rate of the sensor mounted on the aircraft during the fifth reference time satisfies the fifth reference condition or less,
(vi) of the aircraft, characterized in that activating the adaptive operation mode when all of the sixth conditions are satisfied, such that the average of the absolute value of the zoom level change rate of the sensor mounted on the aircraft during the sixth reference time satisfies the sixth standard condition or less. How to target.

According to paragraph 2,
The step of determining the effective screen area is,
In the adaptive operation mode,
Calculate the footprint of the sensor mounted on the aircraft,
Derive the pixel distance expressed by one pixel for each screen coordinate system area within the footprint,
Convert the size of the object of interest to the number of pixels using the pixel distance,
Setting the upper limit reference pixel number and lower limit reference pixel number of the object of interest based on the Johnson criterion,
Confirming an effective screen area by comparing the screen effective area candidates according to the upper limit reference pixel number and the lower limit reference pixel number with a minimum effective area and updating the current effective area based on the result of the comparison with the current effective area;
A target designation method for an aircraft, characterized in that dividing the determined effective screen area.

According to paragraph 2,
The step of evaluating the validity of the object of interest is,
Calculating a first standardized score based on the aspect ratio statistics of the correct answer class used for learning the deep learning inference model,
Calculate a second standardized score based on the bounding box diagonal length statistics of the correct answer class,
Remove outliers outside the first effective range based on the first standardized score and the second standardized score,
For an object that satisfies the first effective range, calculate the Mahalanobis distance with the object of interest based on the number of horizontal pixels and the number of vertical pixels of the bounding box of the correct answer class,
A targeting method for an aircraft, characterized in that removing outliers outside the second effective range based on the Mahalanobis distance and presenting an object that satisfies the second effective range as a target.

In the targeting device of the aircraft,
a screen mode selection unit that selects one screen mode from a plurality of screen modes;
an effective screen area determination unit that determines an effective screen area within the video obtained in the selected screen mode according to the Johnson criterion;
an object of interest inference unit that infers an object of interest within the effective screen area based on a deep learning inference model; and
A targeting device for an aircraft comprising an inference validity evaluation unit that evaluates the validity of the object of interest in consideration of the data used for learning the deep learning inference model.

According to clause 6,
The screen mode selection unit,
Switching the plurality of screen modes to one between full screen mode, fixed effective screen mode, or adaptive effective screen mode as the main mode,
A targeting device for an aircraft, characterized in that the adaptive effective screen mode is switched between a basic operation mode or an adaptive operation mode as a sub-mode.

According to clause 6,
The screen mode selection unit,
In the adaptive effective screen mode,
(i) a first condition that the average absolute value of the altitude change rate for the aircraft during the first reference time satisfies the first reference condition or less,
(ii) a second condition that the average absolute value of the heading angle change rate for the aircraft during the second reference time satisfies the second reference condition or less,
(iii) the third condition that the average speed for the vehicle during the third reference time is satisfied within the range of the third reference condition,
(iv) the fourth condition that the average absolute value of the fan angle change rate of the sensor mounted on the aircraft during the fourth reference time satisfies the fourth reference condition or less,
(v) the fifth condition that the average absolute value of the tilt angle change rate of the sensor mounted on the aircraft during the fifth reference time satisfies the fifth reference condition or less,
(vi) of the aircraft, characterized in that activating the adaptive operation mode when all of the sixth conditions are satisfied, such that the average of the absolute value of the zoom level change rate of the sensor mounted on the aircraft during the sixth reference time satisfies the sixth standard condition or less. Targeting device.

According to clause 6,
The effective screen area determination unit,
In the adaptive operation mode,
Calculate the footprint of the sensor mounted on the aircraft,
Derive the pixel distance expressed by one pixel for each screen coordinate system area within the footprint,
Convert the size of the object of interest to the number of pixels using the pixel distance,
Setting the upper limit reference pixel number and lower limit reference pixel number of the object of interest based on the Johnson criterion,
Confirming an effective screen area by comparing the screen effective area candidates according to the upper limit reference pixel number and the lower limit reference pixel number with a minimum effective area and updating the current effective area based on the result of the comparison with the current effective area;
A targeting device for an aircraft, characterized in that dividing the determined effective screen area.

According to clause 6,
The inference validity evaluation unit,
Calculating a first standardized score based on the aspect ratio statistics of the correct answer class used for learning the deep learning inference model,
Calculate a second standardized score based on the bounding box diagonal length statistics of the correct answer class,
Remove outliers outside the first effective range based on the first standardized score and the second standardized score,
For an object that satisfies the first effective range, calculate the Mahalanobis distance with the object of interest based on the number of horizontal pixels and the number of vertical pixels of the bounding box of the correct answer class,
A targeting device for an aircraft, characterized in that removing outliers outside the second effective range based on the Mahalanobis distance and presenting an object that satisfies the second effective range as a target.