KR102407206B1 - Method and Apparatus for Extracting Target According to Target Distance - Google Patents

Method and Apparatus for Extracting Target According to Target Distance Download PDF

Info

Publication number
KR102407206B1
KR102407206B1 KR1020200180929A KR20200180929A KR102407206B1 KR 102407206 B1 KR102407206 B1 KR 102407206B1 KR 1020200180929 A KR1020200180929 A KR 1020200180929A KR 20200180929 A KR20200180929 A KR 20200180929A KR 102407206 B1 KR102407206 B1 KR 102407206B1
Authority
KR
South Korea
Prior art keywords
target
size
neural network
learning
image
Prior art date
Application number
KR1020200180929A
Other languages
Korean (ko)
Inventor
김재현
김희수
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020200180929A priority Critical patent/KR102407206B1/en
Application granted granted Critical
Publication of KR102407206B1 publication Critical patent/KR102407206B1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G9/00—Systems for controlling missiles or projectiles, not provided for elsewhere
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F42—AMMUNITION; BLASTING
    • F42B—EXPLOSIVE CHARGES, e.g. FOR BLASTING, FIREWORKS, AMMUNITION
    • F42B15/00—Self-propelled projectiles or missiles, e.g. rockets; Guided missiles
    • F42B15/01—Arrangements thereon for guidance or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Image Analysis (AREA)

Abstract

표적 거리에 따른 표적 추출 방법 및 그를 위한 장치를 개시한다.
본 발명의 실시예에 따른 표적 추출 방법은, 학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 데이터 수집 단계; 상기 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 신경망 구성 단계; 신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출하는 표적 추출 단계; 및 상기 표적에 대한 최종 추출 결과를 출력하는 표적 추출 결과 출력 단계를 포함할 수 있다.Disclosed are a method for extracting a target according to a target distance and an apparatus therefor.
A target extraction method according to an embodiment of the present invention includes: a data collection step of collecting guided weapon-related data for learning or target extraction; a neural network configuration step of configuring a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size; A target extraction step of extracting a target through the multi-neural network in which learning is completed by inputting a new searcher image; and outputting a final extraction result for the target.

Description

표적 거리에 따른 표적 추출 방법 및 그를 위한 장치{Method and Apparatus for Extracting Target According to Target Distance}Method and Apparatus for Extracting Target According to Target Distance}

본 발명은 표적 거리에 따른 표적 추출 방법 및 그를 위한 장치에 관한 것이다.The present invention relates to a method for extracting a target according to a target distance and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the embodiments of the present invention and does not constitute the prior art.

다양한 분야에서 ‘딥러닝’을 적용한 기술을 접목시키고 있으며, 딥러닝 기술을 활용 할 때 실수 없이 판단을 수행할 수 있으며, 어떠한 경우에는 사람보다 정확하게 판단을 수행할 수 있다. Technology applied 'deep learning' is grafted in various fields, and when using deep learning technology, judgment can be made without mistakes, and in some cases, judgment can be performed more accurately than humans.

종래에는 유도 무기를 위한 표적을 추출 알고리즘을 생성하기 위해서는 ROI 정보(표적 중심 위치, 표적 사이즈, 화소 들의 평균값, Min, Max 등)를 활용하여 사용자가 직접 알고리즘을 설계하여야만 한다. 즉, 종래의 유도탄 표적 추출 방법으로는 사용자가 직접 알고리즘을 생성하고 표적을 선별한다.Conventionally, in order to generate a target extraction algorithm for a guided weapon, a user must design an algorithm by using ROI information (target center position, target size, average value of pixels, Min, Max, etc.). That is, in the conventional method of extracting a target for a guided missile, a user directly creates an algorithm and selects a target.

하지만, 종래의 표적 추출 기술은 알고리즘 선택에 한계가 있고, 표적 추출 정확도가 떨어질 수 있다. However, the conventional target extraction technique has a limit in algorithm selection, and target extraction accuracy may be reduced.

이에, 탐색기 영상에서 딥러닝 기술을 이용하여 표적을 정확하게 식별하는 기술이 필요하다. 딥러닝을 활용하여 표적을 추출하면 식별하지 못한 변수들(기존 고려되는 화소들의 평균값, Min, Max 외)까지 고려하여 정확도 높은 표적 추출이 가능할 뿐만 아니라 인력 투입을 최소화하여 운용 비용을 줄일 수 있다. Therefore, there is a need for a technology to accurately identify a target using deep learning technology in the searcher image. When the target is extracted using deep learning, it is possible to extract the target with high accuracy by considering unidentified variables (average values of pixels, Min, Max, etc.), as well as reduce the operation cost by minimizing the manpower input.

본 발명은 온도 보상 또는 표적 크기 보정을 수행하여 설정된 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하고, 구성된 다중 신경망을 이용하여 신규 탐색기 영상에서 표적을 추출하는 표적 거리에 따른 표적 추출 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.The present invention configures a multi-neural network by performing learning based on a filter size set by performing temperature compensation or target size correction, and extracting a target from a new searcher image using the configured multi-neural network, a target extraction method according to the target distance, and The main object is to provide a device for him.

본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 표적 추출 방법은, 학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 데이터 수집 단계; 상기 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 신경망 구성 단계; 신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출하는 표적 추출 단계; 및 상기 표적에 대한 최종 추출 결과를 출력하는 표적 추출 결과 출력 단계를 포함할 수 있다. According to one aspect of the present invention, a target extraction method for achieving the above object includes: a data collection step of collecting guided weapon-related data for learning or target extraction; a neural network configuration step of configuring a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size; A target extraction step of extracting a target through the multi-neural network in which learning is completed by inputting a new searcher image; and outputting a final extraction result for the target.

또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 표적 추출 장치는, 학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 데이터 수집부; 상기 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 신경망 구성부; 신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출하는 표적 추출부; 및 상기 표적에 대한 최종 추출 결과를 출력하는 표적 추출 결과 출력부를 포함할 수 있다. In addition, according to another aspect of the present invention, a target extraction apparatus for achieving the above object includes: a data collection unit for collecting guided weapon-related data for learning or target extraction; a neural network constructing unit configured to configure a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size; a target extraction unit for extracting a target through the multi-neural network that has been trained by inputting a new searcher image; and a target extraction result output unit for outputting a final extraction result for the target.

이상에서 설명한 바와 같이, 본 발명은 인공신경망 발달에 따라 유도탄 특성(표적 ROI 입력)을 활용하여 기존의 표적 추출 방식보다 알고리즘의 정확도를 높일 수 있는 효과가 있다.As described above, the present invention has the effect of increasing the accuracy of the algorithm compared to the existing target extraction method by utilizing the characteristics of the guided missile (target ROI input) according to the development of the artificial neural network.

또한, 본 발명은 기존에 사용하던 표적 추출을 위한 매개변수(표적 중심 위치, 표적 사이즈, 화소 들의 평균값, Min, Max 등)외에 딥러닝을 활용하여 사람이 식별하지 못한 변수(수천, 수만개)들을 활용하여 표적을 추출할 수 있다는 효과가 있다. In addition, the present invention utilizes deep learning in addition to the previously used parameters for target extraction (target center position, target size, average value of pixels, Min, Max, etc.) It has the effect of being able to extract the target by using it.

도 1은 본 발명의 실시예에 따른 표적 추출장치를 개략적으로 나타낸 블록 구성도이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 표적 추출장치의 신경망 구성 모듈을 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 표적 추출장치의 표적 추출 모듈을 개략적으로 나타낸 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 표적 추출 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 표적 추출 방법에서 신경망 구성 동작을 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 표적 추출 방법에서 표적 추출 동작을 설명하기 위한 순서도이다.
도 7은 본 발명의 실시예에 따른 표적 추출장치의 구성을 개략적으로 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 온도 보상 동작을 설명하기 위한 예시도이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 표적 거리에 따른 신경망의 필터를 설정하는 동작을 설명하기 위한 예시도이다.
도 10은 본 발명의 실시예에 따른 표적 거리에 따라 구성된 다중 신경망을 나타낸 예시도이다.
도 11은 본 발명의 실시예에 따른 유도 무기를 개략적으로 나타낸 블록 구성도이다. 1 is a block diagram schematically showing a target extraction apparatus according to an embodiment of the present invention.
2A and 2B are block diagrams schematically illustrating a neural network configuration module of a target extraction apparatus according to an embodiment of the present invention.
3 is a block diagram schematically showing a target extraction module of the target extraction apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a target extraction method according to an embodiment of the present invention.
5 is a flowchart illustrating an operation of constructing a neural network in a target extraction method according to an embodiment of the present invention.
6 is a flowchart illustrating a target extraction operation in a target extraction method according to an embodiment of the present invention.
7 is a diagram schematically showing the configuration of a target extraction apparatus according to an embodiment of the present invention.
8 is an exemplary diagram for explaining a temperature compensation operation according to an embodiment of the present invention.
9A and 9B are exemplary views for explaining an operation of setting a filter of a neural network according to a target distance according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a multi-neural network configured according to a target distance according to an embodiment of the present invention.
11 is a block diagram schematically showing a guided weapon according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 표적 거리에 따른 표적 추출 방법 및 그를 위한 장치에 대해 자세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, preferred embodiments of the present invention will be described below, but the technical spirit of the present invention is not limited thereto and may be variously implemented by those skilled in the art without being limited thereto. Hereinafter, a method for extracting a target according to a target distance proposed by the present invention and an apparatus therefor will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 표적 추출장치를 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically showing a target extraction apparatus according to an embodiment of the present invention.

본 실시예에 따른 표적 추출장치(1)는 데이터 수집 모듈(10), 신경망 구성 모듈(20), 표적 추출 모듈(30) 및 표적 추출 결과 출력모듈(40)을 포함한다. 도 1의 표적 추출장치(1)는 일 실시예에 따른 것으로서, 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 표적 추출장치(1)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. The target extraction apparatus 1 according to the present embodiment includes a data collection module 10 , a neural network configuration module 20 , a target extraction module 30 , and a target extraction result output module 40 . The target extraction device 1 of FIG. 1 is according to an embodiment, and not all blocks shown in FIG. 1 are essential components, and some blocks included in the target extraction device 1 in another embodiment are added or changed. Or it can be deleted.

표적 추출장치(1)는 다중 신경망을 이용하여 표적을 추출하는 장치를 의미하며, 유도 무기에 탑재되거나 별도의 표적을 추출하기 위한 장치로 구현될 수 있다. The target extraction device 1 refers to a device for extracting a target using a multiple neural network, and may be mounted on a guided weapon or implemented as a device for extracting a separate target.

구체적으로, 표적 추출장치(1)는 온도 보상 또는 표적 크기 보정을 수행하여 설정된 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하고, 구성된 다중 신경망을 이용하여 신규 탐색기 영상에서 표적을 추출한다. Specifically, the target extraction apparatus 1 configures a multi-neural network by performing learning based on a filter size set by performing temperature compensation or target size correction, and extracts a target from a new searcher image using the configured multi-neural network.

표적 추출장치(1)는 유도 무기의 이동 경로를 제어하기 위하여 표적을 추출하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The target extraction device 1 preferably extracts a target in order to control the movement path of the guided weapon, but is not necessarily limited thereto.

데이터 수집 모듈(10)은 학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 동작을 수행한다. The data collection module 10 performs an operation of collecting guided weapon-related data for learning or target extraction.

구체적으로, 데이터 수집 모듈(10)은 유도 무기의 탐색기 영상, 표적 ROI(Region Of Interest) 정보, 표적 정보 중 적어도 하나를 포함하는 유도 무기 관련 데이터를 수집한다. 여기서, 탐색기 영상은 학습용 탐색기 영상, 신규 탐색기 영상 등을 포함할 수 있다. Specifically, the data collection module 10 collects guided weapon-related data including at least one of a searcher image of the guided weapon, target ROI (Region Of Interest) information, and target information. Here, the searcher image may include a searcher image for learning, a new searcher image, and the like.

한편, 데이터 수집 모듈(10)은 표적 추출장치(1)에 포함되어 있는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 학습을 위한 별도의 데이터 수집 시스템으로 구현될 수 있다. 데이터 수집 시스템은 실제 유도 비행체의 영상 데이터를 획득하기 위해서 유도 비행체에 설치되어 영상 데이터를 획득할 수도 있다. 데이터 수집 시스템에서는 표적 거리에 따른 신경망 학습을 위한 탐색기 영상, 표적 ROI 데이터 등을 수집할 수 있다. Meanwhile, although the data collection module 10 is described as being included in the target extraction device 1, it is not necessarily limited thereto, and may be implemented as a separate data collection system for learning. The data collection system may be installed in the guided vehicle to acquire image data of the actual guided vehicle in order to acquire image data of the actual guided vehicle. In the data collection system, it is possible to collect searcher images and target ROI data for neural network learning according to the target distance.

신경망 구성 모듈(20)은 탐색기 영상을 입력으로 하고 표적 크기에 따른 필터 사이즈를 설정하여 각각의 신경망을 구성한다. 구체적으로, 신경망 구성 모듈(20)은 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다. The neural network configuration module 20 configures each neural network by setting a filter size according to a target size with a searcher image as an input. Specifically, the neural network configuration module 20 configures a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size.

신경망 구성 모듈(20)은 유도 무기 관련 데이터를 기반으로 온도 보상 및 표적 크기 보정을 수행하여 필터 사이즈를 설정한다. 신경망 구성 모듈(20)은 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다. The neural network configuration module 20 sets the filter size by performing temperature compensation and target size correction based on the guided weapon-related data. The neural network configuration module 20 configures a multi-neural network by performing learning based on the set filter size.

표적 추출 모듈(30)은 신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출한다. The target extraction module 30 extracts a target through the multi-neural network in which learning is completed by inputting a new searcher image.

표적 추출 모듈(30)은 신규 탐색기 영상을 획득하고, 학습이 완료된 다중 신경망을 적용하여 상기 신규 탐색기 영상에 포함된 상기 표적에 대한 표적 좌표를 추출한다. The target extraction module 30 obtains a new searcher image, and extracts target coordinates for the target included in the new searcher image by applying the learned multi-neural network.

표적 추출 모듈(30)은 신규 탐색기 영상에 포함된 표적에 따라 다중 신경망 전체 또는 일부 신경망 각각의 각각의 출력 영상을 이용하여 표적 좌표를 추출한다. The target extraction module 30 extracts target coordinates by using each output image of each of the entire or partial neural networks according to the target included in the new searcher image.

표적 추출 결과 출력모듈(40)은 표적에 대한 최종 추출 결과를 출력한다. The target extraction result output module 40 outputs the final extraction result for the target.

표적 추출 결과 출력모듈(40)은 최종 추출 결과를 유도 무기에 탑재된 제어기로 전송할 수 있으나 반드시 이에 한정되는 것은 아니며, 별도의 외부 장치로 최종 추출 결과를 전달할 수 있다. The target extraction result output module 40 may transmit the final extraction result to the controller mounted on the guided weapon, but is not limited thereto, and may transmit the final extraction result to a separate external device.

도 2a 및 도 2b는 본 발명의 실시예에 따른 표적 추출장치의 신경망 구성 모듈을 개략적으로 나타낸 블록 구성도이다.2A and 2B are block diagrams schematically illustrating a neural network configuration module of a target extraction apparatus according to an embodiment of the present invention.

도 2a는 신경망 구성 모듈(20)을 개략적으로 나타낸 블록 구성도이다.2A is a block diagram schematically showing the neural network configuration module 20 .

본 실시예에 따른 신경망 구성 모듈(20)은 데이터 수집 모듈과 연동하여 표적 ROI 정보(110) 및 학습용 탐색기 영상 데이터를 획득한다. 여기서, 신경망 구성 모듈(20)은 온도 보상부(130), 표적 크기 보정부(140) 및 다중 신경망 처리부(150, 160, 170)을 포함한다. 도 2a의 신경망 구성 모듈(20)은 일 실시예에 따른 것으로서, 도 2a에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 신경망 구성 모듈(20)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.The neural network configuration module 20 according to the present embodiment acquires the target ROI information 110 and the searcher image data for learning in conjunction with the data collection module. Here, the neural network configuration module 20 includes a temperature compensator 130 , a target size correction unit 140 , and multiple neural network processing units 150 , 160 , and 170 . The neural network configuration module 20 of FIG. 2A is according to an embodiment, and not all blocks shown in FIG. 2A are essential components, and in another embodiment, some blocks included in the neural network configuration module 20 are added or changed Or it can be deleted.

신경망 구성 모듈(20)은 유도 무기 관련 데이터를 기반으로 온도 보상 및 표적 크기 보정을 수행하여 필터 사이즈를 설정한다. 신경망 구성 모듈(20)은 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다. 이하, 신경망 구성 모듈(20)에 포함된 구성요소 각각에 대해 설명하도록 한다. The neural network configuration module 20 sets the filter size by performing temperature compensation and target size correction based on the guided weapon-related data. The neural network configuration module 20 configures a multi-neural network by performing learning based on the set filter size. Hereinafter, each of the components included in the neural network configuration module 20 will be described.

온도 보상부(130)는 학습용 탐색기 영상의 온도 보상을 수행한다.The temperature compensator 130 compensates for the temperature of the searcher image for learning.

온도 보상부(130)는 학습용 탐색기 영상에서 온도에 따라 서로 다르게 표현된 복수의 표적을 식별하고, 복수의 표적 중 소정의 표적을 선택하여 해당 표적의 밝기를 조정한다. The temperature compensator 130 identifies a plurality of targets expressed differently depending on the temperature in the learning searcher image, selects a predetermined target from among the plurality of targets, and adjusts the brightness of the target.

온도 보상부(130)에 대한 자세한 설명은 도 2b에 기재하도록 한다. A detailed description of the temperature compensator 130 will be described in FIG. 2B .

표적 크기 보정부(140)는 학습용 탐색기 영상 및 표적 ROI 정보를 기반으로 표적 크기를 보정한다. The target size correcting unit 140 corrects the target size based on the learning searcher image and target ROI information.

표적 크기 보정부(140)는 표적 ROI 정보에 포함된 표적 중심위치 및 표적 사이즈에 따라 학습용 탐색기 영상의 사이즈를 축소한다. 예를 들어, 표적 크기 보정부(140)는 표적 중심위치를 기준으로 표적 사이즈의 2 배 크기로 학습용 탐색기 영상의 사이즈를 축소할 수 있다. The target size corrector 140 reduces the size of the searcher image for learning according to the target center position and the target size included in the target ROI information. For example, the target size corrector 140 may reduce the size of the searcher image for learning to twice the size of the target based on the central position of the target.

표적 크기 보정부(140)는 온도 보상부(130)에서 온도를 기반으로 보상된 학습용 탐색기 영상을 이용하여 표적 크기를 보정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예를 들어, 표적 크기 보정부(140)는 온도 보상 과정을 생략하거나, 에지 추출을 수행한 학습용 탐색기 영상을 이용하여 표적 크기를 보정할 수도 있다. It is preferable that the target size corrector 140 corrects the target size using the searcher image for learning compensated based on the temperature in the temperature compensator 130, but is not necessarily limited thereto. For example, the target size correcting unit 140 may omit the temperature compensation process or correct the target size by using an edge extraction searcher image for learning.

다중 신경망 처리부(150, 160, 170)는 보정된 표적 크기를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다. The multiple neural network processing units 150 , 160 , 170 configure a multiple neural network by setting a filter size based on the corrected target size, and performing learning based on the set filter size.

다중 신경망 처리부(150, 160, 170)는 표적 사이즈에 근거하여 표적 거리에 따른 다중 신경망을 구성한다. 다중 신경망 처리부(150, 160, 170)에서 다중 신경망 각각은 표적 사이즈에 기 설정 사이즈(a)를 추가하여 필터 사이즈를 설정할 수 있다. 예를 들어, 다중 신경망 처리부(150, 160, 170)는 표적 사이즈의 1/4 크기로 기 설정 사이즈(a)를 설정하여 필터 사이즈를 설정할 수 있다.The multiple neural network processing units 150 , 160 , and 170 configure multiple neural networks according to target distances based on the target size. In the multiple neural network processing units 150 , 160 , and 170 , each of the multiple neural networks may set the filter size by adding a preset size (a) to the target size. For example, the multiple neural network processing units 150 , 160 , and 170 may set the filter size by setting the preset size a to 1/4 of the target size.

도 2b는 신경망 구성 모듈(20)에 포함된 온도 보상부(130)를 개략적으로 나타낸 블록 구성도이다.2B is a block diagram schematically illustrating the temperature compensator 130 included in the neural network configuration module 20 .

본 실시예에 따른 온도 보상부(130)는 온도 기반 표적 식별부(132), 표적 선택부(133) 및 표적 밝기 조정부(134)를 포함한다. The temperature compensator 130 according to the present embodiment includes a temperature-based target identification unit 132 , a target selection unit 133 , and a target brightness adjustment unit 134 .

온도 보상부(130)는 학습용 탐색기 영상에서 온도에 따라 서로 다르게 표현된 복수의 표적을 식별하고, 복수의 표적 중 소정의 표적을 선택하여 해당 표적의 밝기를 조정한다. 이하, 온도 보상부(130)에 포함된 구성요소 각각에 대해 설명하도록 한다. The temperature compensator 130 identifies a plurality of targets expressed differently depending on the temperature in the learning searcher image, selects a predetermined target from among the plurality of targets, and adjusts the brightness of the target. Hereinafter, each of the components included in the temperature compensator 130 will be described.

온도 기반 표적 식별부(132)는 학습용 탐색기 영상에서 온도에 따라 서로 다르게 표현된 복수의 표적 각각을 식별한다. 여기서, 학습용 탐색기 영상은 적외선 영상일 수 있으나 반드시 이에 한정되는 것은 아니며, 사물의 온도에 따라 서로 다르게 표현될 수 있는 영상이라면 다양한 방식의 영상으로 구현될 수 있다.The temperature-based target identification unit 132 identifies each of a plurality of targets expressed differently according to temperature in the learning searcher image. Here, the searcher image for learning may be an infrared image, but is not necessarily limited thereto, and if it is an image that can be expressed differently depending on the temperature of an object, it may be implemented as an image of various methods.

표적 선택부(133)는 표적 정보를 입력 받고, 복수의 표적 중 상기 표적 정보와 매칭되는 표적에 대한 표적 영역을 선정한다. The target selector 133 receives target information and selects a target area for a target matching the target information among a plurality of targets.

표적 선택부(133)는 표적 정보에 포함된 온도 범위 또는 카테고리 레이블에 해당하는 표적 영역을 선정할 수 있다. The target selector 133 may select a target area corresponding to a temperature range or category label included in the target information.

한편, 표적 선택부(133)는 표적 정보에 포함된 온도 범위에 해당하는 적어도 하나의 후보 표적 영역을 선정하고, 적어도 하나의 후보 표적 영역 각각에 대한 온도 평균값과 온도 범위에 포함된 소정의 온도 기준값을 비교할 수 있다. 표적 선택부(133)는 적어도 하나의 후보 표적 영역 각각에 대한 온도 평균값과 온도 범위에 포함된 소정의 온도 기준값을 비교하여 차이값이 가장 작은 후보 표적 영역을 최종적으로 표적 영역으로 선정할 수 있다. Meanwhile, the target selector 133 selects at least one candidate target area corresponding to a temperature range included in the target information, and a temperature average value for each of the at least one candidate target area and a predetermined temperature reference value included in the temperature range can be compared. The target selector 133 may compare the average temperature of each of the at least one candidate target region with a predetermined temperature reference value included in the temperature range, and finally select the candidate target region having the smallest difference as the target region.

표적 밝기 조정부(134)는 표적 영역의 히스토그램을 기반으로 표적 영역 내 화소 각각의 명도값을 조정하여 표적의 밝기를 조정한다. The target brightness adjusting unit 134 adjusts the brightness of the target by adjusting the brightness value of each pixel in the target area based on the histogram of the target area.

표적 밝기 조정부(134)는 히스토그램을 기반으로 화소 각각의 명도값을 이용하여 명도값 각각에 대한 누적 빈도수를 계산하고, 누적 빈도수를 기반으로 정규화를 수행하여 정규화된 누적 빈도수(누적합)을 이용하여 표적의 밝기를 조정한다. The target brightness adjustment unit 134 calculates the cumulative frequency of each brightness value using the brightness value of each pixel based on the histogram, and performs normalization based on the cumulative frequency using the normalized cumulative frequency (cumulative sum). Adjust the brightness of the target.

도 8은 본 발명의 실시예에 따른 온도 보상 동작을 설명하기 위한 예시도이다.8 is an exemplary diagram for explaining a temperature compensation operation according to an embodiment of the present invention.

도 8의 (a)를 참고하면, 온도 보상부(130)는 학습용 탐색기 영상에서 온도에 따라 서로 다르게 표현된 표적 1 및 표적 2를 식별한다. 학습용 탐색기 영상에서는 표적에 따른 온도 차이가 존재하며, 표적 1은 사람이고, 표적 2는 탱크일 수 있다. Referring to FIG. 8A , the temperature compensator 130 identifies the target 1 and the target 2 that are differently expressed according to the temperature in the learning searcher image. In the learning explorer image, there is a temperature difference according to the target, and the target 1 may be a human, and the target 2 may be a tank.

온도 보상부(130)는 표적 정보를 기반으로 표적을 선정한다. 도 8의 (b)를 참고하면, 온도 보상부(130)는 표적 정보에 근거하여 식별된 복수의 표적 중 표적 1을 최종 표적(810)으로 선정할 수 있다. 온도 보상부(130)는 표적 정보에 포함된 온도 범위에 해당하는 지표면 온도 대비 + a인 표적 1을 최종 표적(810)으로 인지하여 선정할 수 있다. The temperature compensator 130 selects a target based on target information. Referring to FIG. 8B , the temperature compensator 130 may select target 1 among a plurality of targets identified based on target information as the final target 810 . The temperature compensator 130 may recognize and select the target 1 as the final target 810 compared to the surface temperature corresponding to the temperature range included in the target information + a.

도 3은 본 발명의 실시예에 따른 표적 추출장치의 표적 추출 모듈을 개략적으로 나타낸 블록 구성도이다.3 is a block diagram schematically showing a target extraction module of the target extraction apparatus according to an embodiment of the present invention.

본 실시예에 따른 표적 추출 모듈(30)은 학습이 완료된 다중 신경망(190, 200, 210) 및 표적좌표 추출부(220)를 포함한다. The target extraction module 30 according to the present embodiment includes the multi-neural networks 190 , 200 , 210 for which learning is completed, and the target coordinate extraction unit 220 .

표적 추출 모듈(30)은 신경망 구성 모듈(20)로부터 학습이 완료된 다중 신경망(190, 200, 210)을 획득하고, 학습이 완료된 다중 신경망(190, 200, 210)을 이용하여 표적 좌표를 추출하거나 식별한다. The target extraction module 30 acquires the learned multi-neural networks 190, 200, 210 from the neural network configuration module 20, and extracts target coordinates using the learned multi-neural networks 190, 200, 210 or identify

표적 추출 모듈(30)은 데이터 수집 모듈(10)로부터 신규 탐색기 영상을 획득하고, 획득된 신규 탐색기 영상을 다중 신경망(190, 200, 210)에 입력하여 신규 탐색기 영상에 포함된 표적에 대한 표적 좌표를 추출한다. The target extraction module 30 acquires a new searcher image from the data collection module 10, and inputs the acquired new searcher image to the multiple neural networks 190, 200, 210 to coordinate target coordinates for a target included in the new searcher image. to extract

도 4는 본 발명의 실시예에 따른 표적 추출 방법을 나타낸 순서도이다.4 is a flowchart illustrating a target extraction method according to an embodiment of the present invention.

표적 추출장치(1)는 학습 또는 표적 추출을 위하여 수집된 유도 무기 관련 데이터를 기반으로 표적 크기에 따른 다중 신경망을 구성 및 학습한다(S410). The target extraction device 1 configures and learns a multi-neural network according to the target size based on the guided weapon-related data collected for learning or target extraction (S410).

표적 추출장치(1)는 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다.The target extraction device 1 configures a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size.

표적 추출장치(1)는 신규 탐색기 영상에서 기 학습된 다중 신경망을 통해 표적을 추출한다(S420). 표적 추출장치(1)는 신규 탐색기 영상을 획득하고, 학습이 완료된 다중 신경망을 적용하여 신규 탐색기 영상에 포함된 표적에 대한 표적 좌표를 추출한다. The target extraction device 1 extracts a target through a pre-trained multi-neural network from the new searcher image (S420). The target extraction apparatus 1 acquires a new searcher image, and extracts target coordinates for a target included in the new searcher image by applying a multi-neural network that has been trained.

표적 추출장치(1)는 표적 추출 결과를 출력한다(S430). 표적 추출장치(1)는 최종 추출 결과를 유도 무기에 탑재된 제어기로 전송할 수 있으나 반드시 이에 한정되는 것은 아니며, 별도의 외부 장치로 최종 추출 결과를 전달할 수 있다. The target extraction device 1 outputs a target extraction result (S430). The target extraction device 1 may transmit the final extraction result to the controller mounted on the guided weapon, but is not limited thereto, and may transmit the final extraction result to a separate external device.

도 5는 본 발명의 실시예에 따른 표적 추출 방법에서 신경망 구성 동작을 설명하기 위한 순서도이다. 5 is a flowchart illustrating an operation of constructing a neural network in a target extraction method according to an embodiment of the present invention.

표적 추출장치(1)는 학습용 탐색기 영상을 획득하고(S510), 학습용 탐색기 영상의 온도 보상 수행 여부를 확인한다(S520). 여기서, 표적 추출장치(1)는 학습용 탐색기 영상의 종류에 따라 온도 보상 수행 여부를 판단할 수 있다. 예를 들어, 학습용 탐색기 영상이 적외선 영상인 경우 온도 보상 동작을 수행하고, 온도 변화에 따른 표적 표현이 불가능한 영상인 경우 온도 보상 동작을 생략한다. The target extraction apparatus 1 acquires an image of the searcher for learning (S510), and checks whether temperature compensation is performed on the image of the searcher for learning (S520). Here, the target extraction device 1 may determine whether to perform temperature compensation according to the type of the searcher image for learning. For example, when the searcher image for learning is an infrared image, a temperature compensation operation is performed, and when it is an image in which a target expression according to a temperature change is impossible, the temperature compensation operation is omitted.

표적 추출장치(1)는 온도 보상 동작을 수행하는 경우, 영상 내 표적들의 온도, 추가로 획득한 표적 정보를 기반으로 온도 보상을 수행하여 온도 보상 영상 데이터를 생성할 수 있다(S530).When the temperature compensation operation is performed, the target extraction apparatus 1 may generate temperature compensation image data by performing temperature compensation based on the temperature of the targets in the image and additionally acquired target information ( S530 ).

이후, 표적 추출장치(1)는 표적 크기에 따른 보정 영상 데이터를 생성한다(S540).Thereafter, the target extraction apparatus 1 generates corrected image data according to the target size (S540).

표적 추출장치(1)는 학습용 탐색기 영상 및 표적 ROI 정보를 기반으로 표적 크기를 보정한다. 표적 추출장치(1)는 표적 ROI 정보에 포함된 표적 중심위치 및 표적 사이즈에 따라 학습용 탐색기 영상의 사이즈를 축소한다. 예를 들어, 표적 추출장치(1)는 표적 중심위치를 기준으로 표적 사이즈의 2 배 크기로 학습용 탐색기 영상의 사이즈를 축소할 수 있다.The target extraction device 1 corrects the target size based on the searcher image for learning and the target ROI information. The target extraction apparatus 1 reduces the size of the searcher image for learning according to the target center position and the target size included in the target ROI information. For example, the target extraction apparatus 1 may reduce the size of the searcher image for learning to twice the size of the target based on the central position of the target.

표적 추출장치(1)는 보정된 표적 크기를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성한다(S550). The target extraction apparatus 1 configures a multi-neural network by setting a filter size based on the corrected target size, and performing learning based on the set filter size (S550).

도 6은 본 발명의 실시예에 따른 표적 추출 방법에서 표적 추출 동작을 설명하기 위한 순서도이다.6 is a flowchart illustrating a target extraction operation in a target extraction method according to an embodiment of the present invention.

표적 추출장치(1)는 신규 탐색기 영상을 획득한다(S610).The target extraction device 1 acquires a new searcher image (S610).

표적 추출장치(1)는 기 학습된 다중 신경망(190, 200, 210)에 신규 탐색기 영상을 입력시켜 신규 탐색기 영상에 포함된 표적에 대한 표적 좌표를 추출한다(S620).The target extraction apparatus 1 inputs a new searcher image to the pre-trained multiple neural networks 190, 200, and 210 to extract target coordinates for a target included in the new searcher image (S620).

표적 추출장치(1)는 추출된 표적에 대한 표적 추출 결과를 출력한다(S630).The target extraction device 1 outputs a target extraction result for the extracted target (S630).

도 4 내지 도 6에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4 내지 도 6 각각에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4 내지 도 6은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each step is sequentially executed in FIGS. 4 to 6 , the present invention is not limited thereto. In other words, since it will be applicable to changing and executing the steps described in each of FIGS. 4 to 6 or executing one or more steps in parallel, FIGS. 4 to 6 are not limited to a chronological order.

도 4 내지 도 6에 기재된 본 실시예에 따른 표적 추출 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 표적 추출 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.The target extraction method according to the present embodiment described in FIGS. 4 to 6 may be implemented as an application (or program) and recorded in a recording medium readable by a terminal device (or computer). The recording medium in which the application (or program) for implementing the target extraction method according to the present embodiment is recorded and the terminal device (or computer) can read is any type of recording device in which data that can be read by the computing system is stored or includes media.

도 7은 본 발명의 실시예에 따른 표적 추출장치의 구성을 개략적으로 나타낸 도면이다.7 is a diagram schematically showing the configuration of a target extraction apparatus according to an embodiment of the present invention.

도 7에 도시된 표적 추출장치(1)는 컴퓨팅 기기로 구현될 수 있으며, 적어도 하나의 프로세서(710), 컴퓨터 판독 가능한 저장매체(720) 및 통신 버스(760)를 포함한다. The target extraction apparatus 1 shown in FIG. 7 may be implemented as a computing device, and includes at least one processor 710 , a computer-readable storage medium 720 , and a communication bus 760 .

표적 추출장치(1)의 데이터 수집 모듈(10) 및 표적 추출 결과 출력모듈(40)은 입출력 인터페이스(740) 또는 통신 인터페이스(750)에 대응할 수 있고, 신경망 구성 모듈(20) 및 표적 추출 모듈(30)은 프로세서(710)에 대응할 수 있다. The data collection module 10 and the target extraction result output module 40 of the target extraction device 1 may correspond to the input/output interface 740 or the communication interface 750, and the neural network configuration module 20 and the target extraction module ( 30 may correspond to the processor 710 .

프로세서(710)는 표적 추출장치(1)의 동작을 제어할 수 있다. 예컨대, 프로세서(710)는 컴퓨터 판독 가능한 저장매체(720)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(710)에 의해 실행되는 경우 표적 추출장치(1)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor 710 may control the operation of the target extraction device 1 . For example, the processor 710 may execute one or more programs stored in the computer-readable storage medium 720 . The one or more programs may include one or more computer-executable instructions, which, when executed by the processor 710 , may be configured to cause the target extraction apparatus 1 to perform operations according to the exemplary embodiment. can

컴퓨터 판독 가능한 저장매체(720)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장매체(720)에 저장된 프로그램(730)은 프로세서(710)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장매체(720)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 표적 추출장치(1)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 720 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 730 stored in the computer-readable storage medium 720 includes a set of instructions executable by the processor 710 . In one embodiment, computer-readable storage medium 720 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, It may be flash memory devices, other types of storage medium accessed by the target extraction device 1 and capable of storing desired information, or a suitable combination thereof.

통신 버스(760)는 프로세서(710), 컴퓨터 판독 가능한 저장매체(720)를 포함하여 표적 추출장치(1)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 760 interconnects various other components of the target extraction device 1 including the processor 710 and the computer-readable storage medium 720 .

표적 추출장치(1)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(740) 및 하나 이상의 통신 인터페이스(750)를 포함할 수 있다. 입출력 인터페이스(740) 및 통신 인터페이스(750)는 통신 버스(760)에 연결된다. 입출력 장치는 입출력 인터페이스(740)를 통해 표적 추출장치(1)의 다른 컴포넌트들에 연결될 수 있다.The target extraction device 1 may also include one or more input/output interfaces 740 and one or more communication interfaces 750 that provide interfaces for one or more input/output devices. The input/output interface 740 and the communication interface 750 are coupled to the communication bus 760 . The input/output device may be connected to other components of the target extraction device 1 through the input/output interface 740 .

도 9a 및 도 9b는 본 발명의 실시예에 따른 표적 거리에 따른 신경망의 필터를 설정하는 동작을 설명하기 위한 예시도이다.9A and 9B are exemplary views for explaining an operation of setting a filter of a neural network according to a target distance according to an embodiment of the present invention.

도 9a 및 도 9b는 표적 거리에 따른 표적 사이즈 및 필터 사이즈의 변화를 나타낸다. 9A and 9B show changes in a target size and a filter size according to a target distance.

본 실시예에 따른 표적 추출장치(1)의 탐색기 영상에서는 유도 무기와 가까워 질수록 표적의 크기는 크게 표현된다. 이에, 표적 추출장치(1)는 유도 조종 알고리즘을 통해 ROI 정보(표적 중심위치, 표적사이즈 등)을 입력 받아, 다중 신경망(예: CNN)을 구성하면 딥러닝을 이용한 표적 좌표 추출 및 표적 식별이 가능하다. In the searcher image of the target extraction device 1 according to the present embodiment, the size of the target is expressed larger as it approaches the guided weapon. Accordingly, the target extraction device 1 receives ROI information (target center position, target size, etc.) through a guided steering algorithm and configures a multi-neural network (eg, CNN) to extract target coordinates and identify targets using deep learning. It is possible.

표적 추출장치(1)의 표적 크기 보정부(140)는 다중 신경망을 구성하기 전 학습 속도를 향상시키기 위해서 표적 ROI 정보에 포함된 표적 중심위치 및 표적 사이즈에 따라 학습용 탐색기 영상의 사이즈를 축소한다. The target size correction unit 140 of the target extraction device 1 reduces the size of the searcher image for learning according to the target center position and target size included in the target ROI information in order to improve the learning speed before configuring the multi-neural network.

도 9a를 참고하면, 표적 추출장치(1)의 표적 크기 보정부(140)는 표적 중심위치를 기준으로 표적 사이즈의 2 배 크기로 학습용 탐색기 영상의 사이즈를 축소할 수 있다. Referring to FIG. 9A , the target size correcting unit 140 of the target extraction device 1 may reduce the size of the searcher image for learning to twice the size of the target based on the central position of the target.

도 9a의 (a)는 표적 거리가 200 m 이상인 제1 표적 사이즈를 기반으로 학습용 탐색기 영상의 사이즈를 축소한 도면이고, 도 9a의 (b)는 표적 거리가 100 m 이상, 200 m 미만인 제2 표적 사이즈를 기반으로 학습용 탐색기 영상의 사이즈를 축소한 도면이다. 또한, 도 9a의 (c)는 표적 거리가 50 m 이상, 100 m 미만인 표적 사이즈를 기반으로 학습용 탐색기 영상의 사이즈를 축소한 도면이다. (a) of FIG. 9A is a view in which the size of a searcher image for learning is reduced based on a first target size having a target distance of 200 m or more, and (b) of FIG. 9A is a second target distance of 100 m or more and less than 200 m It is a diagram of reducing the size of the learning explorer image based on the target size. In addition, (c) of FIG. 9A is a view in which the size of the searcher image for learning is reduced based on the target size having a target distance of 50 m or more and less than 100 m.

또한, 표적 추출장치(1)의 다중 신경망 처리부(150, 160, 170)는 표적 사이즈를 기반으로 신경망 각각의 필터 사이즈를 설정한다. 다중 신경망 처리부(150, 160, 170)에서 다중 신경망 각각은 표적 사이즈에 기 설정 사이즈(a)를 추가하여 필터 사이즈를 설정할 수 있다. 예를 들어, 다중 신경망 처리부(150, 160, 170)는 표적 사이즈의 1/4 크기로 기 설정 사이즈(a)를 설정하여 필터 사이즈를 설정할 수 있다. 다중 신경망 처리부(150, 160, 170)는 표적이 필터 중간에 들어오게 하기 위해서 기 설정 사이즈(a) = x/4로 설정할 수 있다. 여기서, x는 표적 사이즈일 수 있으나 반드시 이에 한정되는 것은 아니며, 사용자의 입력에 따라 변경될 수 있다. In addition, the multiple neural network processing units 150 , 160 , and 170 of the target extraction apparatus 1 set the filter size of each neural network based on the target size. In the multiple neural network processing units 150 , 160 , and 170 , each of the multiple neural networks may set the filter size by adding a preset size (a) to the target size. For example, the multiple neural network processing units 150 , 160 , and 170 may set the filter size by setting the preset size a to 1/4 of the target size. The multiple neural network processing units 150 , 160 , and 170 may set a preset size (a) = x/4 to allow the target to enter the middle of the filter. Here, x may be a target size, but is not necessarily limited thereto, and may be changed according to a user's input.

도 9b의 (a)를 참고하면, 표적 거리가 200 m 이상인 제1 표적 사이즈(H1)일 경우 표적 추출장치(1)는 제1 신경망(150)의 필터 사이즈를 H1+a로 설정한다. Referring to (a) of FIG. 9B , when the target distance is 200 m or more and the first target size (H 1 ), the target extraction apparatus 1 sets the filter size of the first neural network 150 to H 1 +a. .

도 9b의 (b)를 참고하면, 표적 거리가 100 m 이상, 200 m 미만인 제2 표적 사이즈(H2)일 경우 표적 추출장치(1)는 제2 신경망(160)의 필터 사이즈를 H2+a로 설정한다. Referring to FIG. 9b (b), when the target distance is 100 m or more and the second target size (H 2 ) less than 200 m, the target extraction device 1 sets the filter size of the second neural network 160 to H 2 + set to a.

도 9b의 (c)를 참고하면, 표적 거리가 50 m 이상, 100 m 미만인 제3 표적 사이즈(H3)일 경우 표적 추출장치(1)는 제3 신경망(170)의 필터 사이즈를 H3+a로 설정한다. Referring to (c) of Figure 9b, when the target distance is 50 m or more and the third target size (H 3 ) less than 100 m, the target extraction device 1 sets the filter size of the third neural network 170 to H 3 + set to a.

도 10은 본 발명의 실시예에 따른 표적 거리에 따라 구성된 다중 신경망을 나타낸 예시도이다.10 is an exemplary diagram illustrating a multi-neural network configured according to a target distance according to an embodiment of the present invention.

표적 추출장치(1)는 신규 탐색기 영상 내에서 표적을 추출하기 위하여 학습이 완료된 다중 신경망(190, 200, 210)을 구성한다. The target extraction device 1 configures the multi-neural networks 190, 200, and 210 that have been trained in order to extract a target from the new searcher image.

도 10을 참고하면, 표적 추출장치(1)는 표적 거리에 따라 3 종류의 신경망을 구성할 수 있다. Referring to FIG. 10 , the target extraction device 1 may configure three types of neural networks according to the target distance.

도 10의 (a)는 표적 거리가 200 m 이상인 제1 표적 사이즈(H1)를 기반으로 제1 필터 사이즈(H1+a)가 설정된 제1 신경망(190)을 나타내고, 도 10의 (b)는 표적 거리가 100 m 이상, 200 m 미만인 제2 표적 사이즈(H2)를 기반으로 제2 필터 사이즈(H2+a)가 설정된 제2 신경망(200)을 나타낸다. 또한, 도 10의 (c)는 표적 거리가 50 m 이상, 100 m 미만인 제3 표적 사이즈(H3)를 기반으로 제3 필터 사이즈(H3+a)가 설정된 제3 신경망(300)을 나타낸다. 10 (a) shows a first neural network 190 in which a first filter size (H 1 +a) is set based on a first target size (H 1 ) having a target distance of 200 m or more, and in FIG. 10 (b) ) represents the second neural network 200 in which the second filter size (H 2 +a) is set based on the second target size (H 2 ) having a target distance of 100 m or more and less than 200 m. In addition, (c) of FIG. 10 shows a third neural network 300 in which a third filter size (H 3 +a) is set based on a third target size (H 3 ) having a target distance of 50 m or more and less than 100 m. .

표적 추출장치(1)는 신규 탐색기 영상에 포함된 표적에 따라 다중 신경망(190, 200, 210) 전체 또는 일부 신경망 각각의 각각의 출력 영상을 이용하여 표적 좌표를 추출할 수 있다. The target extraction apparatus 1 may extract target coordinates by using each output image of all or some of the multiple neural networks 190 , 200 , and 210 according to a target included in the new searcher image.

도 11은 본 발명의 실시예에 따른 유도 무기를 개략적으로 나타낸 블록 구성도이다. 11 is a block diagram schematically showing a guided weapon according to an embodiment of the present invention.

본 실시예에 따른 유도 무기(1100)는 탐색기(1110), 표적 식별 장치(1120) 및 유도 무기 제어기(1130)를 포함한다. The guided weapon 1100 according to the present embodiment includes a searcher 1110 , a target identification device 1120 , and a guided weapon controller 1130 .

탐색기(1110)는 유도 무기에 탑재되어, 유도 무기 환경, 상태 등의 탐색을 수행한다. The searcher 1110 is mounted on a guided weapon, and searches for a guided weapon environment, state, and the like.

표적 식별 장치(1120)는 표적 추출 장치(1)과 대응되며, 탐색기(1110)의 탐색 결과에 대한 유도 무기 관련 데이터를 수집하고, 유도 무기 관련 데이터를 기반으로 학습을 통해 다중 신경망을 구성하여 표적을 추출한다. The target identification device 1120 corresponds to the target extraction device 1, collects guided weapon-related data for the search result of the searcher 1110, and configures a multi-neural network through learning based on the guided weapon-related data to target the target. to extract

유도 무기 제어기(1130)는 유도 무기의 이동 경로를 제어하는 장치를 의미한다. 유도 무기 제어기(1130)는 표적의 표적 추출 결과를 획득하고, 획득된 표적 추출 결과를 기반으로 이동 경로를 제어한다. 유도 무기 제어기(1130)는 이동 경로 제어를 위하여 유도 무기의 구동부에 대한 제어를 함께 수행할 수 있다. The guided weapon controller 1130 refers to a device that controls the movement path of the guided weapon. The guided weapon controller 1130 obtains a target extraction result of the target, and controls a movement path based on the obtained target extraction result. The guided weapon controller 1130 may also control the driving unit of the guided weapon for movement path control.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the embodiment of the present invention, and those of ordinary skill in the art to which the embodiment of the present invention pertains may modify various modifications and transformation will be possible. Accordingly, the embodiments of the present invention are not intended to limit the technical spirit of the embodiment of the present invention, but to explain, and the scope of the technical spirit of the embodiment of the present invention is not limited by these embodiments. The protection scope of the embodiment of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the embodiment of the present invention.

1: 표적 추출장치 10: 데이터 수집 모듈
20: 신경망 구성 모듈 30: 표적 추출 모듈
40: 표적 추출 결과 출력모듈1: target extraction device 10: data collection module
20: neural network configuration module 30: target extraction module
40: target extraction result output module

Claims (12)

표적 추출 장치에서 표적을 추출하는 방법에 있어서,
학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 데이터 수집 단계;
상기 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 신경망 구성 단계;
신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출하는 표적 추출 단계; 및
상기 표적에 대한 최종 추출 결과를 출력하는 표적 추출 결과 출력 단계
를 포함하는 것을 특징으로 하는 표적 추출 방법.A method for extracting a target in a target extraction device, the method comprising:
a data collection step of collecting guided weapon-related data for learning or target extraction;
a neural network configuration step of configuring a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size;
A target extraction step of extracting a target through the multi-neural network in which learning is completed by inputting a new searcher image; and
A target extraction result output step of outputting the final extraction result for the target
Target extraction method comprising a. 제1항에 있어서,
상기 데이터 수집 단계는,
유도 무기의 탐색기 영상, 표적 ROI(Region Of Interest) 정보, 표적 정보 중 적어도 하나를 포함하는 상기 유도 무기 관련 데이터를 수집하되,
상기 탐색기 영상은 학습용 탐색기 영상 또는 신규 탐색기 영상인 것을 특징으로 하는 표적 추출 방법.According to claim 1,
The data collection step is
Collecting the guided weapon-related data including at least one of a searcher image of a guided weapon, target ROI (Region Of Interest) information, and target information,
The target extraction method, characterized in that the searcher image is a searcher image for learning or a new searcher image. 제2항에 있어서,
상기 신경망 구성 단계는,
상기 학습용 탐색기 영상 및 표적 ROI 정보를 기반으로 표적 크기를 보정하는 표적 크기 보정 단계; 및
보정된 표적 크기를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 다중 신경망 처리 단계
를 포함하는 것을 특징으로 하는 표적 추출 방법.3. The method of claim 2,
The step of constructing the neural network is
a target size correction step of correcting the target size based on the learning searcher image and target ROI information; and
A multiple neural network processing step of setting a filter size based on the corrected target size, and performing learning based on the set filter size to configure a multiple neural network
Target extraction method comprising a. 제3항에 있어서,
상기 표적 크기 보정 단계는,
상기 표적 ROI 정보에 포함된 표적 중심위치 및 표적 사이즈에 따라 상기 학습용 탐색기 영상의 사이즈를 축소하되,
상기 표적 중심위치를 기준으로 상기 표적 사이즈의 2 배 크기로 상기 학습용 탐색기 영상의 사이즈를 축소하는 것을 특징으로 하는 표적 추출 방법.4. The method of claim 3,
The target size correction step,
Reduce the size of the searcher image for learning according to the target center position and target size included in the target ROI information,
Target extraction method, characterized in that by reducing the size of the search searcher image for learning to twice the size of the target based on the central position of the target. 제4항에 있어서,
상기 다중 신경망 처리 단계는,
상기 표적 사이즈에 근거하여 표적 거리에 따른 상기 다중 신경망을 구성하되,
상기 다중 신경망 각각은 상기 표적 사이즈에 기 설정 사이즈(a)를 추가하여 상기 필터 사이즈를 설정하는 것을 특징으로 하는 표적 추출 방법.5. The method of claim 4,
The multiple neural network processing step is,
Configure the multi-neural network according to the target distance based on the target size,
Each of the multiple neural networks adds a preset size (a) to the target size to set the filter size. 제5항에 있어서,
상기 다중 신경망 처리 단계는,
상기 표적 사이즈의 1/4 크기로 상기 기 설정 사이즈(a)를 설정하는 것을 특징으로 하는 표적 추출 방법.6. The method of claim 5,
The multiple neural network processing step is,
Target extraction method, characterized in that the preset size (a) is set to a size of 1/4 of the target size. 제3항에 있어서,
상기 학습용 탐색기 영상의 온도 보상을 수행하는 온도 보상 단계를 추가로 포함하되,
상기 표적 크기 보정 단계는, 상기 온도 보상 단계에서 온도가 보상된 학습용 탐색기 영상을 이용하여 표적 크기를 보정하는 것을 특징으로 하는 표적 추출 방법.4. The method of claim 3,
Further comprising a temperature compensation step of performing temperature compensation of the image searcher for learning,
In the target size correction step, the target extraction method, characterized in that the target size is corrected by using the searcher image for learning for which the temperature is compensated in the temperature compensation step. 제2항에 있어서,
상기 표적 추출 단계는,
상기 신규 탐색기 영상을 획득하고, 학습이 완료된 다중 신경망을 적용하여 상기 신규 탐색기 영상에 포함된 상기 표적에 대한 표적 좌표를 추출하되,
상기 신규 탐색기 영상에 포함된 표적에 따라 상기 다중 신경망 전체 또는 일부 신경망 각각의 각각의 출력 영상을 이용하여 상기 표적 좌표를 추출하는 것을 특징으로 하는 표적 추출 방법.3. The method of claim 2,
The target extraction step is
Obtaining the new searcher image and extracting the target coordinates for the target included in the new searcher image by applying the learned multi-neural network,
The target extraction method, characterized in that the target coordinates are extracted by using each output image of each of all or part of the multiple neural networks according to the target included in the new searcher image. 학습 또는 표적 추출을 위한 유도 무기 관련 데이터를 수집하는 데이터 수집부;
상기 유도 무기 관련 데이터를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 신경망 구성부;
신규 탐색기 영상을 입력으로 학습이 완료된 상기 다중 신경망을 통해 표적을 추출하는 표적 추출부; 및
상기 표적에 대한 최종 추출 결과를 출력하는 표적 추출 결과 출력부
를 포함하는 것을 특징으로 하는 표적 추출 장치.a data collection unit for collecting guided weapon-related data for learning or target extraction;
a neural network constructing unit configured to configure a multi-neural network by setting a filter size based on the guided weapon-related data, and performing learning based on the set filter size;
a target extraction unit for extracting a target through the multi-neural network that has been trained by inputting a new searcher image; and
Target extraction result output unit for outputting the final extraction result for the target
Target extraction device comprising a. 제9항에 있어서,
상기 데이터 수집부는,
유도 무기의 탐색기 영상, 표적 ROI(Region Of Interest) 정보, 표적 정보 중 적어도 하나를 포함하는 상기 유도 무기 관련 데이터를 수집하되,
상기 탐색기 영상은 학습용 탐색기 영상 또는 신규 탐색기 영상인 것을 특징으로 하는 표적 추출 장치.10. The method of claim 9,
The data collection unit,
Collecting the guided weapon-related data including at least one of a searcher image of a guided weapon, target ROI (Region Of Interest) information, and target information,
The searcher image is a target extraction device, characterized in that the searcher image for learning or a new searcher image. 제10항에 있어서,
상기 신경망 구성부는,
상기 학습용 탐색기 영상 및 표적 ROI 정보를 기반으로 표적 크기를 보정하는 표적 크기 보정부; 및
보정된 표적 크기를 기반으로 필터 사이즈를 설정하고, 설정된 상기 필터 사이즈를 기반으로 학습을 수행하여 다중 신경망을 구성하는 다중 신경망 처리부
를 포함하는 것을 특징으로 하는 표적 추출 장치.11. The method of claim 10,
The neural network component,
a target size correction unit for correcting the target size based on the learning searcher image and target ROI information; and
A multi-neural network processing unit that configures a multi-neural network by setting a filter size based on the corrected target size, and performing learning based on the set filter size
Target extraction device comprising a. 제11항에 있어서,
상기 표적 크기 보정부는,
상기 표적 ROI 정보에 포함된 표적 중심위치 및 표적 사이즈에 따라 상기 학습용 탐색기 영상의 사이즈를 축소하되,
상기 표적 중심위치를 기준으로 상기 표적 사이즈의 2 배 크기로 상기 학습용 탐색기 영상의 사이즈를 축소하는 것을 특징으로 하는 표적 추출 장치.
12. The method of claim 11,
The target size correction unit,
Reduce the size of the searcher image for learning according to the target center position and target size included in the target ROI information,
Target extraction apparatus, characterized in that by reducing the size of the search search image for learning to twice the size of the target based on the central position of the target.
KR1020200180929A 2020-12-22 2020-12-22 Method and Apparatus for Extracting Target According to Target Distance KR102407206B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200180929A KR102407206B1 (en) 2020-12-22 2020-12-22 Method and Apparatus for Extracting Target According to Target Distance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200180929A KR102407206B1 (en) 2020-12-22 2020-12-22 Method and Apparatus for Extracting Target According to Target Distance

Publications (1)

Publication Number Publication Date
KR102407206B1 true KR102407206B1 (en) 2022-06-10

Family

ID=81986631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200180929A KR102407206B1 (en) 2020-12-22 2020-12-22 Method and Apparatus for Extracting Target According to Target Distance

Country Status (1)

Country Link
KR (1) KR102407206B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914281B1 (en) * 2018-05-23 2018-11-01 엘아이지넥스원 주식회사 Apparatus and method for targeting target
KR102032960B1 (en) * 2019-04-22 2019-11-08 국방과학연구소 Apparatus and method for controlling laser based on image tracking
KR102077597B1 (en) * 2019-08-20 2020-02-14 주식회사 한화 Anti-air tracking device and operation method of the same
KR102136245B1 (en) * 2020-01-13 2020-07-21 국방과학연구소 Apparatus, method, computer-readable storage medium and computer program for detecting and selecting target

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914281B1 (en) * 2018-05-23 2018-11-01 엘아이지넥스원 주식회사 Apparatus and method for targeting target
KR102032960B1 (en) * 2019-04-22 2019-11-08 국방과학연구소 Apparatus and method for controlling laser based on image tracking
KR102077597B1 (en) * 2019-08-20 2020-02-14 주식회사 한화 Anti-air tracking device and operation method of the same
KR102136245B1 (en) * 2020-01-13 2020-07-21 국방과학연구소 Apparatus, method, computer-readable storage medium and computer program for detecting and selecting target

Similar Documents

Publication Publication Date Title
US9946960B1 (en) Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108090443B (en) Scene text detection method and system based on deep reinforcement learning
CN108780508B (en) System and method for normalizing images
US8630489B2 (en) Efficient image matching
KR100886407B1 (en) Information processing apparatus and control method therefor
US9036863B2 (en) Resuming tracking after losing target
US20150363670A1 (en) Image recognition method and camera system
EP3188074A1 (en) Fingerprint information dynamic updating method and fingerprint recognition apparatus
CN109376684A (en) A kind of face critical point detection method, apparatus, computer equipment and storage medium
CN109940614B (en) Mechanical arm multi-scene rapid motion planning method integrating memory mechanism
CN108846850B (en) Target tracking method based on TLD algorithm
KR20090041068A (en) Method and device for target tracking
CN114332166A (en) Visible light infrared target tracking method and device based on modal competition cooperative network
CN114332157B (en) Long-time tracking method for double-threshold control
KR102407206B1 (en) Method and Apparatus for Extracting Target According to Target Distance
Huang et al. Anti-uav410: A thermal infrared benchmark and customized scheme for tracking drones in the wild
CN113028897B (en) Image guidance method and device
KR102489641B1 (en) Method and Apparatus for Controlling Guided Weapons Through Temperature Compensation Based Target Extraction
US20220343631A1 (en) Learning apparatus, learning method, and recording medium
CN113326832B (en) Model training method, image processing method, electronic device, and storage medium
CN113129332A (en) Method and apparatus for performing target object tracking
CN116311515A (en) Gesture recognition method, device, system and storage medium
CN115272796A (en) Behavior recognition method, behavior recognition device, behavior recognition equipment and storage medium
CN115116128A (en) Self-constrained optimization human body posture estimation method and system
CN114241202A (en) Method and device for training dressing classification model and method and device for dressing classification

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant