KR102308096B1 - Image processing apparatus and method, and reconnaissance system - Google Patents

Image processing apparatus and method, and reconnaissance system Download PDF

Info

Publication number
KR102308096B1
KR102308096B1 KR1020200172192A KR20200172192A KR102308096B1 KR 102308096 B1 KR102308096 B1 KR 102308096B1 KR 1020200172192 A KR1020200172192 A KR 1020200172192A KR 20200172192 A KR20200172192 A KR 20200172192A KR 102308096 B1 KR102308096 B1 KR 102308096B1
Authority
KR
South Korea
Prior art keywords
image
virtual
resolution
captured
images
Prior art date
Application number
KR1020200172192A
Other languages
Korean (ko)
Inventor
박상준
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020200172192A priority Critical patent/KR102308096B1/en
Application granted granted Critical
Publication of KR102308096B1 publication Critical patent/KR102308096B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

The present invention provides an image processing device for processing a photographed image obtained by an artificial satellite, which includes: an image generation unit capable of generating a virtual image having a higher resolution than the resolution of a photographed image by using the photographed image; and a control unit capable of controlling the operation of the image generation unit so that a virtual image is identical to the real image using a relative antagonistic neural network model. The image processing device can be easily utilized by increasing the resolution of the image obtained by satellite.

Description

이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템{IMAGE PROCESSING APPARATUS AND METHOD, AND RECONNAISSANCE SYSTEM}Image processing apparatus, image processing method, and satellite surveillance and reconnaissance system having the same

본 발명은 이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템에 관한 것으로, 더욱 상세하게는 인공위성으로 획득한 이미지의 해상도를 높여 용이하게 활용할 수 있는 이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템에 관한 것이다.The present invention relates to an image processing apparatus, an image processing method, and an artificial satellite monitoring and reconnaissance system having the same, and more particularly, an image processing apparatus, an image processing method, and It relates to a satellite monitoring and reconnaissance system having the same.

일반적으로 인공위성에는 광학장비가 설치된다. 이에, 국방분야에서는 인공위성의 광학장비를 이용하여 이미지를 촬영하고, 획득한 이미지를 통해 감시정찰 임무 등을 수행할 수 있다.In general, satellites are equipped with optical equipment. Accordingly, in the field of defense, an image can be taken using an optical device of an artificial satellite, and surveillance and reconnaissance missions can be performed using the acquired image.

이때, 인공위성을 통해 획득한 이미지에서 물체가 매우 작게 표시되기 때문에, 표적을 탐지하거나 식별하기 어렵고, 이미지를 확대하면 영상의 품질이 저하되어 정확도가 떨어지는 문제가 있다. 따라서, 감시정찰 임무를 정확하게 수행하기 위해 높은 해상도의 이미지를 획득하는 것이 중요하다.In this case, since the object is displayed very small in the image acquired through the satellite, it is difficult to detect or identify the target, and if the image is enlarged, the quality of the image is deteriorated, and thus the accuracy is lowered. Therefore, it is important to acquire high-resolution images to accurately perform surveillance and reconnaissance missions.

종래에는 렌즈와 이미지센서 등의 크기를 증가시켜 광학장비의 광학성능은 향상시켰다. 그러나 렌즈와 이미지센서의 크기가 증가하면 광학장비의 크기와 무게도 증가한다. 따라서, 소형 인공위성에는 렌즈와 이미지센서의 크기를 증가시킨 광학장비를 설치하기 어렵기 때문에, 소형 인공위성으로 감시정찰 임무를 수행하기 어려운 문제가 있다.Conventionally, the optical performance of optical equipment has been improved by increasing the sizes of lenses and image sensors. However, as the size of the lens and image sensor increases, the size and weight of the optical equipment also increases. Therefore, since it is difficult to install optical equipment having an increased size of a lens and an image sensor on a small satellite, there is a problem in that it is difficult to perform a surveillance and reconnaissance mission with a small satellite.

KRUS 2005-00658752005-0065875 AA

본 발명은 인공위성으로 획득한 이미지를 처리하여 해상도가 높아진 이미지를 획득할 수 있는 이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템을 제공한다.The present invention provides an image processing apparatus, an image processing method, and an artificial satellite surveillance and reconnaissance system having the same, which can obtain an image with an increased resolution by processing an image acquired by a satellite.

본 발명은 해상도를 높인 이미지를 활용하여 감시정찰 임무의 정확성을 향상시킬 수 있는 이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템을 제공한다.The present invention provides an image processing apparatus, an image processing method, and an artificial satellite monitoring and reconnaissance system having the same, which can improve the accuracy of a surveillance and reconnaissance mission by using an image with increased resolution.

본 발명은 인공위성으로 획득한 촬영 이미지를 처리하기 위한 이미지 처리장치로서, 상기 촬영 이미지를 이용하여 상기 촬영 이미지보다 해상도가 높은 가상 이미지를 생성할 수 있는 이미지 생성부; 및 상대적 대립 신경망 모델을 이용하여 가상 이미지가 실제와 같아지도록 상기 이미지 생성부의 작동을 제어할 수 있는 제어부;를 포함한다.The present invention provides an image processing apparatus for processing a photographed image obtained by using an artificial satellite, comprising: an image generating unit capable of generating a virtual image having a higher resolution than that of the photographed image by using the photographed image; and a control unit capable of controlling the operation of the image generating unit so that the virtual image is identical to the real one using the relative antagonistic neural network model.

상기 제어부는, 상기 촬영 이미지와 동일한 영역을 나타내고 상기 가상 이미지와 동일한 해상도를 가지는 기준 이미지가 저장되는 저장부; 상기 가상 이미지를 상기 기준 이미지와 비교할 수 있는 감식부; 및 상기 가상 이미지와 상기 기준 이미지의 비교결과를 기초로, 상기 이미지 생성부가 다음에 생성하는 가상 이미지와 상기 기준 이미지의 차이가 감소하도록, 상기 이미지 생성부에 피드백할 수 있는 피드백부;를 포함한다.The control unit may include: a storage unit for storing a reference image representing the same area as the captured image and having the same resolution as the virtual image; a recognition unit capable of comparing the virtual image with the reference image; and a feedback unit configured to feed back to the image generating unit such that a difference between the virtual image and the reference image generated next by the image generating unit is reduced based on a comparison result of the virtual image and the reference image. .

상기 인공위성은 복수개가 구비되어 서로 다른 시간에 동일한 영역을 촬영할 수 있고, 상기 이미지 생성부는 상기 인공위성이 구비되는 개수만큼 복수개가 구비된다.A plurality of the artificial satellites may be provided to photograph the same area at different times, and a plurality of the image generating unit may be provided as many as the number of the artificial satellites provided.

상기 이미지 생성부는, 상기 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 저장할 수 있는 기억매체; 및 상기 기억매체에 저장된 촬영 이미지를 참조하여, 다른 인공위성으로 획득한 촬영 이미지의 가상 이미지를 생성할 수 있는 생성기;를 포함한다.The image generating unit may include: a storage medium capable of storing a photographed image taken by any one of the artificial satellites; and a generator capable of generating a virtual image of a captured image obtained by another satellite with reference to the captured image stored in the storage medium.

상기 이미지 생성부들에서 생성된 가상 이미지들을 합성하고, 상기 감식부에 합성된 가상 이미지를 전달할 수 있는 합성부를 더 포함한다.It further includes a synthesizing unit capable of synthesizing the virtual images generated by the image generating units and transmitting the synthesized virtual image to the identification unit.

상기 저장부는, 상기 이미지 생성부들에서 생성된 가상 이미지들을 전달받을 수 있는 저장매체; 및 상기 저장매체로 전달된 가상 이미지들을 비교하여 유사도에 따라 분류하고, 가상 이미지들 중 유사도가 높다고 분류된 가상 이미지를 상기 저장매체에 기준 이미지로 저장시킬 수 있는 유사도 측정기;를 포함한다.The storage unit may include: a storage medium capable of receiving the virtual images generated by the image generating units; and a similarity measurer capable of comparing the virtual images delivered to the storage medium, classifying them according to similarities, and storing a virtual image classified as having a high similarity among virtual images as a reference image in the storage medium.

상기 저장부는, 상기 인공위성들보다 높은 해상도의 이미지를 촬영할 수 있는 광학장비로 촬영한 고해상도 이미지가 입력될 수 있는 입력기를 더 포함하고, 상기 고해상도 이미지는 상기 저장매체에 기준 이미지로 저장될 수 있다.The storage unit may further include an input device capable of inputting a high-resolution image photographed by an optical device capable of photographing an image having a higher resolution than that of the satellites, and the high-resolution image may be stored as a reference image in the storage medium.

본 발명은 서로 다른 시간에 동일한 영역의 이미지를 촬영할 수 있는 복수개의 인공위성; 상기 인공위성들과 신호를 주고받을 수 있는 송수신장치; 및 상기 송수신장치로 전달된 상기 인공위성들이 촬영한 촬영 이미지의 해상도를 높일 수 있는 이미지 처리장치;를 포함한다.The present invention provides a plurality of artificial satellites capable of taking images of the same area at different times; a transceiver capable of sending and receiving signals to and from the satellites; and an image processing device capable of increasing the resolution of the captured image captured by the satellites transmitted to the transceiver.

상기 인공위성들은 200km 이상 내지 15000km 이하의 상공에서 동일한 궤도를 따라 지구의 자전속도보다 빠르게 이동한다.The artificial satellites move faster than the rotation speed of the Earth along the same orbit in the air of 200 km or more to 15000 km or less.

본 발명은 인공위성으로 획득한 촬영 이미지를 처리하기 위한 이미지 처리방법으로서, 상대적 대립 신경망 모델을 이용하여 이미지 생성부가 생성하는 가상 이미지가 실제와 같아지도록 상기 이미지 생성부를 학습시키는 과정; 인공위성으로 미리 설정된 영역을 촬영하여 촬영 이미지를 획득하는 과정; 및 상기 촬영 이미지를 이용하여 상기 이미지 생성부로 상기 촬영 이미지보다 해상도가 높은 가상 이미지를 생성하는 과정;을 포함한다.The present invention provides an image processing method for processing a photographed image acquired by an artificial satellite, comprising: training the image generator so that a virtual image generated by the image generator becomes the same as the real one using a relative adversarial neural network model; acquiring a photographed image by photographing a preset area with an artificial satellite; and generating a virtual image having a higher resolution than that of the captured image by the image generator using the captured image.

상기 이미지 생성부를 학습시키는 과정은, 인공위성으로 획득한 촬영 이미지를 이용하여 상기 이미지 생성부로 가상 이미지를 생성하는 과정; 상기 촬영 이미지와 동일한 영역을 나타내고 상기 가상 이미지와 동일한 해상도를 가지는 기준 이미지와 가상 이미지를 비교하는 과정; 및 가상 이미지와 상기 기준 이미지의 비교결과를 기초로, 상기 이미지 생성부가 다음에 생성하는 가상 이미지와 상기 기준 이미지의 차이가 감소하도록, 상기 이미지 생성부를 학습시키는 과정;을 포함한다.The process of learning the image generating unit may include: generating a virtual image with the image generating unit by using a captured image acquired by an artificial satellite; comparing a reference image and a virtual image representing the same area as the captured image and having the same resolution as the virtual image; and training the image generator to reduce a difference between the virtual image and the reference image generated next by the image generator based on the comparison result of the virtual image and the reference image.

상기 인공위성은 복수개가 구비되어 서로 다른 시간에 동일한 영역을 촬영할 수 있고, 상기 촬영 이미지를 이용하여 가상 이미지를 생성하는 과정은, 상기 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 저장하는 과정; 및 저장된 촬영 이미지를 참조하여, 다른 인공위성으로 획득한 촬영 이미지의 가상 이미지를 생성하는 과정;을 포함한다.The artificial satellites are provided in plurality so that the same area can be photographed at different times, and the process of generating a virtual image using the photographed image includes: storing a photographed image photographed by any one of the artificial satellites; and a process of generating a virtual image of a captured image acquired by another satellite with reference to the stored captured image.

상기 기준 이미지와 가상 이미지의 비교하기 전에, 서로 다른 인공위성들의 촬영 이미지를 이용하여 생성된 가상 이미지들을 비교하여 유사도에 따라 분류하는 과정; 및 가상 이미지들 중 유사도가 높다고 분류되는 가상 이미지를 기준 이미지로 저장하는 과정;을 포함한다.before comparing the reference image and the virtual image, comparing virtual images generated using images taken from different satellites and classifying them according to the degree of similarity; and storing, as a reference image, a virtual image classified as having a high similarity among virtual images.

상기 가상 이미지들을 비교하여 유사도에 따라 분류하는 과정은, 가상 이미지를 블럭별로 이진화하는 과정; 가상 이미지들을 블럭별로 비교하여 일치하는 블럭의 개수를 확인하는 과정; 및 일치하는 블럭의 개수가 많은 순서로 가상 이미지들을 분류하는 과정;을 포함한다.The process of comparing the virtual images and classifying them according to the similarity may include binarizing the virtual images for each block; Comparing the virtual images for each block and confirming the number of matching blocks; and a process of classifying the virtual images in the order of the largest number of matching blocks.

본 발명의 실시 예들에 따르면, 인공위성으로 획득한 이미지를 처리하여 해상도가 높아진 이미지를 획득할 수 있다. 이에, 인공위성에 낮은 성능의 광학장비가 설치되더라도, 저해상도 이미지의 해상도를 높여 고해상도 이미지를 획득할 수 있다. 따라서, 인공위성을 이용한 감시정찰 임무의 정확성을 향상시킬 수 있다.According to embodiments of the present invention, it is possible to obtain an image with an increased resolution by processing an image acquired by an artificial satellite. Accordingly, even if low-performance optical equipment is installed in the satellite, it is possible to obtain a high-resolution image by increasing the resolution of the low-resolution image. Therefore, it is possible to improve the accuracy of the surveillance and reconnaissance mission using the satellite.

도 1은 본 발명의 실시 예에 따른 인공위성 감시정찰 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 이미지 처리장치를 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지 처리방법을 나타내는 플로우 차트이다.
도 4는 본 발명의 실시 예에 따른 가상 이미지들을 블럭화하여 비교하는 과정을 나타내는 도면이다.1 is a view showing a satellite monitoring and reconnaissance system according to an embodiment of the present invention.
2 is a diagram illustrating an image processing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
4 is a diagram illustrating a process of comparing virtual images by block according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장될 수 있고, 도면상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and the scope of the invention to those of ordinary skill in the art completely It is provided to inform you. In order to explain the invention in detail, the drawings may be exaggerated, and like numerals refer to like elements in the drawings.

도 1은 본 발명의 실시 예에 따른 인공위성 감시정찰 시스템을 나타내는 도면이고, 도 2는 본 발명의 실시 예에 이미지 처리장치를 나타내는 도면이다. 하기에서는 본 발명의 실시 예에 따른 인공위성 감시정찰 시스템에 대해 설명하기로 한다.1 is a diagram illustrating a satellite monitoring and reconnaissance system according to an embodiment of the present invention, and FIG. 2 is a diagram showing an image processing apparatus according to an embodiment of the present invention. Hereinafter, the satellite monitoring and reconnaissance system according to an embodiment of the present invention will be described.

본 발명의 실시 예에 따른 인공위성 감시정찰 시스템은, 감시정찰 임무를 수행하기 위한 시스템이다. 도 1을 참조하면, 인공위성 감시정찰 시스템(100)은, 인공위성(110), 송수신장치(120), 및 이미지 처리장치(130)를 포함한다.A satellite monitoring and reconnaissance system according to an embodiment of the present invention is a system for performing a monitoring and reconnaissance mission. Referring to FIG. 1 , the satellite surveillance and reconnaissance system 100 includes a satellite 110 , a transceiver 120 , and an image processing device 130 .

인공위성(110)은 상공에서 미리 정해진 궤도를 따라 이동한다. 인공위성(110)에는 광학장비가 설치된다. 따라서, 인공위성(110)을 이동시키면서 광학장비로 원하는 영역을 촬영할 수 있다.The artificial satellite 110 moves along a predetermined orbit in the sky. The artificial satellite 110 is equipped with optical equipment. Therefore, while moving the satellite 110, it is possible to photograph a desired area with optical equipment.

이때, 인공위성(110)은 소형 인공위성일 수 있다. 따라서, 인공위성(110)에 렌즈와 이미지센서의 크기를 증가된 고성능 광학장비의 탑재가 어렵기 때문에, 무게가 가볍지만 광학 성능이 저하된 광학 장비가 탑재될 수 있다. 이에, 인공위성(110)으로 획득한 이미지의 해상도가 낮을 수 있다.In this case, the artificial satellite 110 may be a small artificial satellite. Therefore, since it is difficult to mount high-performance optical equipment with an increased size of the lens and the image sensor on the satellite 110 , optical equipment with a light weight but reduced optical performance may be mounted. Accordingly, the resolution of the image acquired by the satellite 110 may be low.

또한, 인공위성(110)은 200km 이상 내지 15000km 이하의 상공을 이동하는 저궤도 인공위성일 수 있다. 이에, 지구의 자전속도와 같은 속도로 이동하는 정지궤도 인공위성과 달리, 지구의 자전속도보다 빠르게 궤도를 따라 이동할 수 있다. 따라서, 하나의 인공위성(110)을 미리 설정된 미리 설정된 영역 상에 계속 위치시킬 수 없기 때문에, 동일한 궤도를 따라 이동하는 복수개의 인공위성(110)을 구비하여 서로 다른 시간에 미리 설정된 동일한 영역의 이미지를 촬영하여 감시정찰 임무를 수행할 수 있다.In addition, the artificial satellite 110 may be a low-orbit satellite moving in the air of 200 km or more to 15000 km or less. Accordingly, unlike a geostationary orbit satellite that moves at the same speed as the Earth's rotation speed, it can move along the orbit faster than the Earth's rotation speed. Therefore, since one artificial satellite 110 cannot be continuously positioned on the preset area, a plurality of satellites 110 moving along the same orbit are provided to capture images of the same area preset at different times. It can carry out surveillance and reconnaissance missions.

송수신장치(120)는 지상에 설치되어 인공위성(110)들과 신호를 주고받을 수 있다. 송수신장치(120)는 안테나(121) 및 신호 처리기(122)를 포함할 수 있다. 이에, 인공위성(110)이 촬영하여 획득한 촬영 이미지는 디지털 신호 형태로 안테나(121)에 수신될 수 있고, 안테나(121)와 연결된 신호 처리기(122)가 디지털 신호를 수집하여 보정한 후 처리하여 이미지화할 수 있다.The transceiver 120 may be installed on the ground to exchange signals with the artificial satellites 110 . The transceiver 120 may include an antenna 121 and a signal processor 122 . Accordingly, the captured image captured by the satellite 110 may be received by the antenna 121 in the form of a digital signal, and the signal processor 122 connected to the antenna 121 collects the digital signal, corrects it, and processes it. can be imaged.

이미지 처리장치(130)는 송수신장치(120)와 신호를 주고받을 수 있게 연결될 수 있다. 이에, 이미지 처리장치(130)는 송수신장치(120)에서 이미지화된 촬영 이미지를 전달받을 수 있다. 따라서, 이미지 처리장치(130)는 인공위성(110)들이 촬영한 촬영 이미지를 처리하여 해상도가 높은 이미지를 생성할 수 있다. 도 2와 같이 이미지 처리장치(130)는, 이미지 생성부(131), 및 제어부를 포함한다.The image processing device 130 may be connected to the transceiver 120 to send and receive signals. Accordingly, the image processing device 130 may receive the captured image imaged by the transceiver 120 . Accordingly, the image processing apparatus 130 may generate an image having a high resolution by processing the photographed image captured by the satellites 110 . As shown in FIG. 2 , the image processing apparatus 130 includes an image generator 131 and a controller.

이미지 생성부(131)는 전달받은 촬영 이미지를 이용하여 촬영 이미지보다 해상도가 더 높은 가상 이미지를 생성할 수 있다. 가상 이미지는 촬영 이미지와 동일한 영역을 나타내고 해상도가 높지만, 가상적으로 생성한 이미지이기 때문에 실제와 차이가 있을 수 있다.The image generator 131 may generate a virtual image having a higher resolution than that of the captured image by using the received captured image. The virtual image represents the same area as the captured image and has a high resolution, but since it is a virtual image, there may be a difference from the actual image.

또한, 이미지 생성부(131)는 인공위성(110)들이 구비되는 개수만큼 복수개가 구비될 수 있다. 이에, 이미지 생성부(131)들 각각에 대응하는 인공위성(110)이 촬영한 촬영 이미지가 입력되어, 인공위성(110)들 각각의 촬영 이미지에 대응하는 복수개의 가상 이미지가 생성될 수 있다.In addition, a plurality of image generators 131 may be provided as many as the number of artificial satellites 110 are provided. Accordingly, a photographed image captured by the artificial satellite 110 corresponding to each of the image generators 131 may be input, and a plurality of virtual images corresponding to the photographed image of each of the artificial satellites 110 may be generated.

이때, 이미지 생성부(131)는 참조 이미지 가이드 슈퍼 해상도 방식(RefSR: Reference image guided Super-Resolution)으로 가상 이미지를 생성할 수 있다. 이를 위해 이미지 생성부(131)는, 기억매체, 및 생성기를 포함할 수 있다.In this case, the image generator 131 may generate a virtual image using a reference image guided super-resolution (RefSR) method. To this end, the image generator 131 may include a storage medium and a generator.

기억매체는 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 저장할 수 있다. 상세하게는 기억매체에 어느 한 인공위성의 촬영 이미지가 전달되어 저장되고, 생성기에 다른 인공위성의 촬영 이미지가 전달될 수 있다. 기억매체에 저장되는 촬영 이미지는 생성기에 전달되는 촬영 이미지보다 먼저 촬영된 이미지일 수 있다.The storage medium may store a photographed image taken by any one of the artificial satellites. In detail, a photographed image of one artificial satellite may be transmitted and stored in a storage medium, and a photographed image of another artificial satellite may be transmitted to the generator. The photographed image stored in the storage medium may be an image photographed earlier than the photographed image transmitted to the generator.

예를 들어, 복수개의 이미지 생성부(131) 중 어느 하나로 해상도를 높이려는 촬영 이미지가 입력될 때, 동일한 촬영 이미지가 다른 이미지 생성부(131)의 기억매체로도 전달될 수 있다. 따라서, 다른 이미지 생성부(131)에서 촬영 이미지의 해상도를 높이는 작업을 수행할 때, 기억매체에 사전에 저장된 촬영 이미지를 활용할 수 있다.For example, when a photographed image whose resolution is to be increased is input to one of the plurality of image generators 131 , the same photographed image may be transmitted to a storage medium of another image generator 131 . Accordingly, when the other image generating unit 131 performs an operation of increasing the resolution of the captured image, the captured image previously stored in the storage medium may be utilized.

생성기는 기억매체와 신호를 주고받을 수 있게 연결되고, 해상도를 높이려는 촬영 이미지가 입력될 수 있다. 생성기는 기억매체에 저장된 촬영 이미지를 참조하여 입력된 촬영 이미지의 가상 이미지를 생성할 수 있다. 해상도를 높이려는 촬영 이미지와 기억매체에 저장된 촬영 이미지가 동일한 영역을 촬영한 이미지이기 때문에, 생성기가 생성하는 가상 이미지가 실제와 더 유사해질 수 있다.The generator is connected so as to be able to send and receive signals to and from the storage medium, and a photographed image whose resolution is to be increased may be input. The generator may generate a virtual image of the input captured image with reference to the captured image stored in the storage medium. Since the captured image for which the resolution is to be increased and the captured image stored in the storage medium are images obtained from the same area, the virtual image generated by the generator may be more similar to the real image.

제어부는 준지도 상대적 대립 신경망(SGAN: Semi-Supervised with Generative Adversarial Network) 모델과 같은 딥러닝 방식을 이용하여 이미지 생성부(131)의 작동을 제어할 수 있다. 이에, 이미지 생성부(131)에서 생성하는 가상 이미지와 실제와 유사하게 생성될 수 있다. 제어부는, 저장부(132), 감식부(133), 및 피드백부(134)를 포함한다.The controller may control the operation of the image generator 131 by using a deep learning method such as a Semi-Supervised with Generative Adversarial Network (SGAN) model. Accordingly, the virtual image generated by the image generator 131 may be generated similarly to the real one. The control unit includes a storage unit 132 , a detection unit 133 , and a feedback unit 134 .

저장부(132)는 이미지 생성부(131) 및 감식부(133)와 신호를 주고받을 수 있게 연결된다. 저장부(132)에는 촬영 이미지와 동일한 영역을 나타내고 가상 이미지와 동일한 해상도를 가지는 기준 이미지가 저장된다. 이에, 감식부(133)는 저장부(132)에 저장된 기준 이미지를 활용하여 가상 이미지와 비교할 수 있다. 저장부(132)는, 저장매체(132a), 및 유사도 측정기(132b)를 포함한다.The storage unit 132 is connected to send and receive signals to and from the image generator 131 and the identification unit 133 . The storage unit 132 stores a reference image representing the same area as the captured image and having the same resolution as the virtual image. Accordingly, the identification unit 133 may compare the virtual image by using the reference image stored in the storage unit 132 . The storage unit 132 includes a storage medium 132a and a similarity measurer 132b.

저장매체(132a)에는 기준 이미지들이 저장될 수 있다. 기준 이미지는 실제를 촬영하거나 실제와 유사하게 생성하여, 가상 이미지와 비교하는 이미지이다. 예를 들어, 기준 이미지로 가상 이미지를 사용하거나, 인공위성(110)에 장착된 광학장비보다 더 높은 광학 성능의 광학장비로 촬영한 이미지를 사용할 수 있다. 따라서, 가상 이미지를 기준 이미지와 비교하여, 가상 이미지가 실제와 어느 정도 유사하게 생성되었는지 판단하는데 사용할 수 있다. Reference images may be stored in the storage medium 132a. The reference image is an image that is photographed in real life or generated similarly to the real image and compared with a virtual image. For example, a virtual image may be used as the reference image, or an image captured by optical equipment having higher optical performance than optical equipment mounted on the satellite 110 may be used. Accordingly, by comparing the virtual image with the reference image, it can be used to determine how similar the virtual image is to the real one.

이때, 가상 이미지들 중 어느 하나를 기준 이미지로 사용하는 경우, 가상 이미지들을 유사도에 따라 분류하고, 유사도가 높다고 분류되는 이미지로 사용할 수 있다. 이를 위해 저장매체(132a)는 이미지 생성부(131)들에서 생성된 가상 이미지들을 전달받을 수 있다. In this case, when any one of the virtual images is used as a reference image, the virtual images may be classified according to a similarity and used as an image classified as having a high similarity. To this end, the storage medium 132a may receive virtual images generated by the image generators 131 .

유사도 측정기(132b)는 저장매체(132a)와 신호를 주고받을 수 있게 연결된다. 유사도 측정기(132b)는 저장매체(132a)로 전달된 가상 이미지들을 비교하여 유사도에 따라 분류할 수 있다. 유사도 측정기(132b)는 유사도가 높다고 판단되는 가상 이미지를 저장매체(132a)에 기준 이미지로 저장시킬 수 있다.The similarity measurer 132b is connected to the storage medium 132a to send and receive a signal. The similarity measurer 132b may compare the virtual images transferred to the storage medium 132a and classify them according to the similarity. The similarity measurer 132b may store a virtual image determined to have high similarity as a reference image in the storage medium 132a.

예를 들어, 유사도 측정기(132b)는 가상 이미지들 각각을 4개의 블럭으로 나누어 블럭별로 이진화하고, 가상 이미지들을 블럭별로 비교하여 일치하는 블럭의 개수와 불일치하는 블럭의 개수를 산출할 수 있다. 3개 이상의 이미지를 2개씩 가각 비교한 후, 일치하는 블럭의 개수가 많을수록 유사도가 높다고 판단할 수 있다. 따라서, 유사도 측정기(132b)는 가상 이미지들을 유사도에 따라 분류할 수 있다. 이에, 유사도가 가장 높은 가상 이미지는 저장매체(132a)에 기준 이미지로 저장할 수 있고, 다른 가상 이미지는 저장매체(132a)에서 삭제할 수 있다. 그러나 유사도 측정기(132b)가 가상 이미지의 블럭을 나누는 개수는 이에 한정되지 않고 다양할 수 있다.For example, the similarity measurer 132b divides each of the virtual images into four blocks, binarizes them for each block, and compares the virtual images for each block to calculate the number of blocks that match and the number of blocks that do not match. After comparing three or more images two by two, it can be determined that the higher the number of matching blocks, the higher the similarity. Accordingly, the similarity measurer 132b may classify the virtual images according to the similarity. Accordingly, the virtual image having the highest similarity may be stored as a reference image in the storage medium 132a, and other virtual images may be deleted from the storage medium 132a. However, the number of blocks of the virtual image by the similarity measurer 132b is not limited thereto and may vary.

이때, 기준 이미지로 선택된 가상 이미지는 이후에도 사용될 수 있다. 따라서, 이후 기준 이미지를 획득하기 위해 별도의 작업을 수행하지 않을 수 있기 때문에, 이미지 생성부(131)를 학습시키는 시간을 감소시켜 학습의 효율성을 향상시킬 수 있다.In this case, the virtual image selected as the reference image may be used later. Therefore, since a separate operation may not be performed to acquire the reference image thereafter, the learning time for the image generating unit 131 may be reduced to improve the learning efficiency.

한편, 저장부(132)는 입력기(132c)를 더 포함할 수도 있다. 입력기(132c)에 인공위성(110)보다 높은 해상도의 이미지를 촬영할 수 있는 고성능 광학장비로 촬영한 고해상도 이미지가 입력될 수 있다. 입력기(132c)는 저장매체(132a)와 신호를 주고받을 수 있게 연결될 수 있다. 따라서, 입력기(132c)를 통해 저장매체(132a)에 고해상도 이미지가 전달되어 기준 이미지로 저장될 수 있다. 이때, 고성능 광학장비는 비행체나 고궤도 인공위성에 탑재될 수 있고, 촬영 이미지와 동일한 영역을 촬영할 수 있다.Meanwhile, the storage unit 132 may further include an input device 132c. A high-resolution image photographed with high-performance optical equipment capable of photographing an image with a higher resolution than that of the artificial satellite 110 may be input to the input unit 132c. The input device 132c may be connected to the storage medium 132a to transmit and receive a signal. Accordingly, the high-resolution image may be transferred to the storage medium 132a through the input unit 132c and stored as a reference image. In this case, the high-performance optical equipment may be mounted on an air vehicle or a high-orbit satellite, and may capture the same area as the photographed image.

감식부(133)는 저장부(132) 및 이미지 생성부(131)와 신호를 주고받을 수 있게 연결될 수 있다. 이에, 감식부(133)는 가상 이미지와 기준 이미지를 전달받을 수 있다. 감식부(133)는 기준 이미지와 가상 이미지를 비교할 수 있다. 따라서, 감식부(133)는 가상 이미지가 기준 이미지와 동일한지 또는 차이가 있는지 판단할 수 있다.The identification unit 133 may be connected to send and receive signals to and from the storage unit 132 and the image generation unit 131 . Accordingly, the identification unit 133 may receive the virtual image and the reference image. The identification unit 133 may compare the reference image and the virtual image. Accordingly, the recognizing unit 133 may determine whether the virtual image is the same as or different from the reference image.

이때, 감식부(133)는 SGAN 모델의 감식자 신경망(Discriminator Network)을 통해 기준 이미지와 가상 이미지를 비교할 수 있다. 예를 들어, 감식부(133)는 기준 이미지와 가상 이미지를 각각을 블럭화한 후, 블럭별로 비교할 수 있다. 따라서, 가상 이미지가 기준 이미지와 차이가 있다고 판단되는 경우, 가상 이미지의 어느 블럭이 기준 이미지와 차이가 있는지 확인할 수 있다. 감식부(133)는 비교된 결과 파라미터 값을 피드백부(134)에 전달할 수 있다.In this case, the discriminator 133 may compare the reference image and the virtual image through a discriminator network of the SGAN model. For example, the identification unit 133 may block each of the reference image and the virtual image, and then compare them for each block. Accordingly, when it is determined that the virtual image is different from the reference image, it is possible to check which block of the virtual image is different from the reference image. The forensic unit 133 may transmit the compared result parameter value to the feedback unit 134 .

피드백부(134)는 감식부(133)와 신호를 주고받을 수 있게 연결될 수 있다. 피드백부(134)는 가상 이미지와 기준 이미지의 비교결과를 기초로, 이미지 생성부(131)가 다음에 생성하는 가상 이미지와 기준 이미지의 차이가 감소하도록, 이미지 생성부(134)에 피드백할 수 있다. The feedback unit 134 may be connected to transmit and receive a signal to and from the forensic unit 133 . The feedback unit 134 may feed back to the image generation unit 134 so that the difference between the virtual image and the reference image generated by the image generation unit 131 next decreases based on the comparison result of the virtual image and the reference image. have.

예를 들어, 감식부(133)가 가상 이미지를 기준 이미지와 차이가 있다고 판단하면, 가상 이미지의 어느 블럭이 기준 이미지와 차이가 발생했는지 확인할 수 있기 때문에, 피드백부(134)는 가상 이미지에서 차이가 발생한 블럭 부분이 수정되도록 이미지 생성부(131)에 피드백할 수 있다. 이미지 생성부(131)는 피드백에 따라 수정된 다른 가상 이미지를 생성할 수 있다. 따라서 새로 생성되는 가상 이미지는 기준 이미지와 점점 더 유사해질 수 있고, 이미지 생성부(131)가 기준 이미지와 유사하거나 동일한 가상 이미지를 생성할 수 있게 된다.For example, if the detection unit 133 determines that the virtual image is different from the reference image, it can check which block of the virtual image has a difference from the reference image, so the feedback unit 134 can determine the difference in the virtual image. It may be fed back to the image generating unit 131 so that the block portion in which is generated is corrected. The image generator 131 may generate another modified virtual image according to the feedback. Accordingly, the newly generated virtual image may become more and more similar to the reference image, and the image generator 131 may generate a virtual image similar to or identical to the reference image.

한편, 감식부(133)가 가상 이미지를 기준 이미지와 동일하다고 판단하면, 이미지 생성부(131)의 학습이 종료될 수 있다. 즉, 이미지 생성부(131)가 실제와 유사하거나 동일하게 가상 이미지를 생성할 수 있게 되었기 때문에, 이후 학습이 완료된 이미지 생성부(131)에서 생성된 가상 이미지를 감시정찰 임무에 사용할 수 있다. 이러한 가상 이미지는 인공위성(110)이 촬영한 촬영 이미지보다 해상도가 높기 때문에, 가상 이미지를 통해 표적을 찾고 감시하기가 더 용이해질 수 있다. 따라서, 감시정찰 임무를 더 정확하게 수행할 수 있다.Meanwhile, when the recognition unit 133 determines that the virtual image is the same as the reference image, the learning of the image generation unit 131 may be terminated. That is, since the image generating unit 131 can generate a virtual image similar to or identical to the real one, the virtual image generated by the image generating unit 131 after learning is completed can be used for the surveillance and reconnaissance mission. Since the virtual image has a higher resolution than the captured image taken by the satellite 110, it may be easier to find and monitor a target through the virtual image. Therefore, surveillance and reconnaissance missions can be performed more accurately.

한편, 이미지 처리장치(130)는 합성부(미도시)를 더 포함할 수도 있다. 합성부는 이미지 생성부들과 감식부 사이에 배치되어, 이미지 생성부(131)와 신호를 주고받을 수 있게 연결된다. 이에, 이미지 생성부(131)들에서 생성된 가상 이미지들이 합성부에 전달될 수 있고, 합성부는 전달받은 가상 이미지들을 합성하여 하나의 가상 이미지로 만들 수 있다. 가상 이미지들이 복수개가 합성되기 때문에, 합성된 가상 이미지가 실제와 더 유사해질 수 있다. 따라서, 합성부가 합성된 가상 이미지를 감식부(133)에 전달하면, 감식부(133)에서 합성된 가상 이미지를 기준 이미지와 비교할 수 있다.Meanwhile, the image processing apparatus 130 may further include a synthesizing unit (not shown). The synthesizing unit is disposed between the image generating units and the detecting unit, and is connected to the image generating unit 131 to transmit and receive a signal. Accordingly, the virtual images generated by the image generators 131 may be transferred to the synthesizing unit, and the synthesizing unit may synthesize the received virtual images to form a single virtual image. Since a plurality of virtual images are synthesized, the synthesized virtual image may be more similar to the real one. Accordingly, when the synthesizer transmits the synthesized virtual image to the identification unit 133 , the synthesized virtual image in the identification unit 133 may be compared with the reference image.

이처럼 인공위성(110)으로 획득한 이미지를 처리하여 해상도가 높아진 이미지를 획득할 수 있다. 따라서, 인공위성(110)에 낮은 성능의 광학장비가 설치되더라도, 저해상도 이미지의 해상도를 높여 고해상도 이미지를 획득할 수 있다. 이에, 고해상도 이미지에서 표적을 감지하고 추적하기 용이해지기 때문에, 인공위성(110)을 이용한 감시정찰 임무의 정확성을 향상시킬 수 있다.In this way, by processing the image acquired by the satellite 110, it is possible to obtain an image with an increased resolution. Therefore, even if low-performance optical equipment is installed in the satellite 110 , a high-resolution image can be obtained by increasing the resolution of the low-resolution image. Accordingly, since it is easy to detect and track the target in the high-resolution image, it is possible to improve the accuracy of the surveillance and reconnaissance mission using the satellite 110 .

도 3은 본 발명의 실시 예에 따른 이미지 처리방법을 나타내는 플로우 차트이고, 도 4는 본 발명의 실시 예에 따른 가상 이미지들을 블럭화하여 비교하는 과정을 나타내는 도면이다. 하기에서는 본 발명의 실시 예에 따른 이미지 처리방법에 대해 설명하기로 한다. 3 is a flowchart illustrating an image processing method according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating a process of comparing virtual images by block according to an embodiment of the present invention. Hereinafter, an image processing method according to an embodiment of the present invention will be described.

본 발명의 실시 예에 따른 이미지 처리방법은, 인공위성으로 획득한 촬영 이미지를 처리하여 해상도가 높은 이미지를 생성할 수 있다. 도 3을 참조하면, 이미지 처리방법은, 상대적 대립 신경망 모델을 이용하여 이미지 생성부가 생성하는 가상 이미지가 실제와 같아지도록 이미지 생성부를 학습시키는 과정(S110), 인공위성으로 미리 설정된 영역을 촬영하여 촬영 이미지를 획득하는 과정(S120), 및 촬영 이미지를 이용하여 이미지 생성부로 촬영 이미지보다 해상도가 높은 가상 이미지를 생성하는 과정(S130)을 포함한다. 이때, 이미지 처리방법은, 도 1 및 도 2와 같은 구조를 가지는 본 발명의 실시 예에 따른 인공위성 감시정찰 시스템(100)에 구비되는 이미지 처리장치(130)의 운용방법일 수 있다. The image processing method according to an embodiment of the present invention may generate an image having a high resolution by processing a photographed image acquired by an artificial satellite. Referring to FIG. 3 , the image processing method includes a process of learning the image generator so that the virtual image generated by the image generator is identical to the real one using a relative antagonist neural network model ( S110 ), and an image taken by photographing a preset area with an artificial satellite It includes a process of obtaining (S120), and a process of using the captured image to generate a virtual image having a higher resolution than that of the captured image by an image generator (S130). In this case, the image processing method may be an operating method of the image processing apparatus 130 provided in the satellite monitoring and reconnaissance system 100 according to an embodiment of the present invention having the structure as shown in FIGS. 1 and 2 .

우선, 상대적 대립 신경망 모델을 이용하여 이미지 생성부가 생성하는 가상 이미지가 실제와 같아지도록 이미지 생성부를 학습시킬 수 있다(S110). 따라서, 이미지 생성부(131)가 생성한 가상 이미지를 감시정찰 임무에 사용할 수 있는 퀄리티를 가질 수 있다.First, the image generator may be trained so that the virtual image generated by the image generator is identical to the real image by using the relative antagonistic neural network model (S110). Accordingly, the virtual image generated by the image generator 131 may have a quality that can be used for surveillance and reconnaissance missions.

이미지 생성부(131)를 학습시키기 위해, 복수개의 인공위성으로 촬영 이미지를 획득하고, 획득한 이미지를 이용하여 이미지 생성부(131)로 가상 이미지를 생성할 수 있다. 이미지 생성부(131)는 참조 이미지 가이드 슈퍼 해상도 방식(RefSR: Reference image guided Super-Resolution)으로 가상 이미지를 생성할 수 있다. 즉, 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 이미지 생성부(131)의 기억매체에 저장하고, 이미지 생성부(131)의 생성기에 다른 인공위성에서 촬영한 촬영 이미지가 전달될 수 있다. 따라서, 생성기가 기억매체에 저장된 촬영 이미지를 참조하여 전달받은 촬영 이미지의 가상 이미지를 생성할 수 있다. 해상도를 높이려는 촬영 이미지와 참조한 촬영 이미지가 동일한 영역을 촬영한 것이기 때문에, 가상 이미지가 실제와 더 유사하게 생성될 수 있다.In order to train the image generator 131 , a captured image may be acquired by a plurality of satellites, and a virtual image may be generated by the image generator 131 using the acquired image. The image generator 131 may generate a virtual image using a reference image guided super-resolution (RefSR) method. That is, a photographed image photographed by one of the artificial satellites may be stored in the storage medium of the image generating unit 131 , and the photographed image photographed by another artificial satellite may be transmitted to the generator of the image generating unit 131 . Accordingly, the generator may generate a virtual image of the received captured image with reference to the captured image stored in the storage medium. Since the photographed image for which the resolution is to be increased and the referenced photographed image are photographed in the same area, a virtual image may be generated more similar to the real one.

한편, 기준 이미지와 상기 가상 이미지의 비교하기 전에, 기준 이미지를 마련하는 작업이 수행될 수 있다. 기준 이미지는 촬영 이미지와 동일한 영역을 나타내고 가상 이미지와 동일한 해상도를 가지며, 실제를 촬영하거나 실제와 유사하게 생성되어 가상 이미지와 비교할 수 있는 이미지이다. 예를 들어, 기준 이미지로 가상 이미지를 사용하거나, 인공위성(110)에 장착된 광학장비보다 더 높은 광학 성능의 광학장비로 촬영한 이미지를 사용할 수 있다. 따라서, 가상 이미지를 기준 이미지와 비교하여, 가상 이미지가 실제와 어느 정도 유사하게 생성되었는지 판단하는데 사용할 수 있다. Meanwhile, before the comparison of the reference image and the virtual image, an operation of preparing a reference image may be performed. The reference image is an image that represents the same area as the captured image, has the same resolution as the virtual image, is captured in real life or is generated similarly to the real image and can be compared with the virtual image. For example, a virtual image may be used as the reference image, or an image captured by optical equipment having higher optical performance than optical equipment mounted on the satellite 110 may be used. Accordingly, by comparing the virtual image with the reference image, it can be used to determine how similar the virtual image is to the real one.

가상 이미지들 중 어느 하나를 기준 이미지로 사용하는 경우, 가상 이미지들을 유사도에 따라 분류하고, 유사도가 높다고 분류되는 이미지로 사용할 수 있다. 예를 들어, 도 4와 같이 가상 이미지들 각각을 4개의 블럭으로 나누어 블럭별로 이진화하고, 해시(Hash) 함수를 이용하여 각각의 해시값(Hash Value)을 구할 수 있다. 가상 이미지들 각각의 해시값을 블럭별로 비교하여 일치하는 블럭의 개수와 불일치하는 블럭의 개수를 산출할 수 있다. 3개 이상의 이미지를 2개씩 각각 비교한 후, 일치하는 블럭의 개수가 많을수록 유사도가 높다고 판단할 수 있다. 이에, 유사도가 가장 높은 가상 이미지는 기준 이미지로 저장할 수 있고, 다른 가상 이미지는 삭제할 수 있다. When any one of the virtual images is used as a reference image, the virtual images may be classified according to a similarity and used as an image classified as having a high similarity. For example, as shown in FIG. 4 , each of the virtual images may be divided into four blocks and binarized for each block, and each hash value may be obtained by using a hash function. By comparing the hash values of each of the virtual images for each block, the number of blocks that match and the number of blocks that do not match may be calculated. After comparing three or more images two by two, it can be determined that the higher the number of matching blocks, the higher the degree of similarity. Accordingly, a virtual image having the highest similarity may be stored as a reference image, and other virtual images may be deleted.

이때, 기준 이미지로 선택된 가상 이미지는 이후에도 사용될 수 있다. 따라서, 이후 기준 이미지를 획득하기 위해 별도의 작업을 수행하지 않을 수 있기 때문에, 이미지 생성부(131)를 학습시키는 시간을 감소시켜 학습의 효율성을 향상시킬 수 있다.In this case, the virtual image selected as the reference image may be used later. Therefore, since a separate operation may not be performed to acquire the reference image thereafter, the learning time for the image generating unit 131 may be reduced to improve the learning efficiency.

또는, 인공위성(110)보다 높은 해상도의 이미지를 촬영할 수 있는 고성능 광학장비로 촬영한 고해상도 이미지를 저장매체(132a)에 입력하여 기준 이미지로 저장할 수도 있다. 고성능 광학장비는 비행체나 고궤도 인공위성에 탑재될 수 있고, 촬영 이미지와 동일한 영역을 촬영할 수 있다. 따라서, 고해상도 이미지는 실제를 촬영한 이미지이다.Alternatively, a high-resolution image photographed by a high-performance optical device capable of photographing an image having a higher resolution than that of the artificial satellite 110 may be input to the storage medium 132a and stored as a reference image. High-performance optical equipment can be mounted on an air vehicle or high-orbit satellite, and can capture the same area as the captured image. Therefore, the high-resolution image is an image taken in reality.

그 다음, 기준 이미지와 가상 이미지를 비교할 수 있다. 따라서, 가상 이미지가 기준 이미지와 동일한지 또는 차이가 있는지 판단할 수 있다.Then, the reference image and the virtual image may be compared. Accordingly, it may be determined whether the virtual image is the same as or different from the reference image.

예를 들어, 기준 이미지와 가상 이미지를 각각을 블럭화한 후, 블럭별로 비교할 수 있다. 이에, 가상 이미지가 기준 이미지의 블럭들이 모두 동일하게 생성되는 경우 가상 이미지를 기준 이미지와 동일하다고 판단하고, 가상 이미지가 기준 이미지의 블럭들 중 차이가 있는 블럭이 있으면 가상 이미지가 기준 이미지와 차이가 있다고 판단할 수 있다.For example, after each block of the reference image and the virtual image, it is possible to compare them for each block. Accordingly, if the virtual image is created with all blocks of the reference image identical, the virtual image is determined to be the same as the reference image. It can be judged that there is

그 다음, 가상 이미지와 기준 이미지의 비교결과를 기초로, 이미지 생성부(131)가 다음에 생성하는 가상 이미지와 기준 이미지의 차이가 감소하도록, 이미지 생성부(131)를 학습시킬 수 있다. 즉, 비교결과에 따라 이미지 생성부(131)에 피드백하여 이미지 생성부(131)의 작동을 제어할 수 있다.Next, based on the comparison result of the virtual image and the reference image, the image generator 131 may train the image generator 131 to reduce the difference between the virtual image and the reference image generated next. That is, the operation of the image generating unit 131 may be controlled by feeding back to the image generating unit 131 according to the comparison result.

예를 들어, 가상 이미지를 기준 이미지와 차이가 있다고 판단되면, 가상 이미지의 어느 블럭이 기준 이미지와 차이가 발생했는지 확인할 수 있기 때문에, 가상 이미지에서 차이가 발생한 블럭 부분이 수정되도록 이미지 생성부(131)에 피드백할 수 있다. 이미지 생성부(131)는 피드백에 따라 수정된 다른 가상 이미지를 생성할 수 있고, 수정된 다른 가상 이미지를 기준 이미지와 비교할 수 있다. 이에, 가상 이미지가 기준 이미지와 동일하다고 판단할 때까지 이미지 생성부(131)로 가상 이미지를 수정하여 생성시키면서 이미지 생성부(131)를 학습시킬 수 있다. 따라서 새로 생성되는 가상 이미지는 기준 이미지와 점점 더 유사해질 수 있고, 이미지 생성부(131)가 기준 이미지와 유사하거나 동일한 가상 이미지를 생성할 수 있게 된다. For example, if it is determined that there is a difference between the virtual image and the reference image, it is possible to check which block of the virtual image has a difference from the reference image, so that the portion of the block in which the difference occurs in the virtual image is corrected. ) can be fed back. The image generator 131 may generate another modified virtual image according to the feedback, and may compare the other modified virtual image with a reference image. Accordingly, the image generator 131 may be trained while the virtual image is modified and generated by the image generator 131 until it is determined that the virtual image is identical to the reference image. Accordingly, the newly generated virtual image may become more and more similar to the reference image, and the image generator 131 may generate a virtual image similar to or identical to the reference image.

한편, 가상 이미지를 기준 이미지와 동일하다고 판단되면, 이미지 생성부(131)의 학습이 종료될 수 있다. 즉, 이미지 생성부(131)가 실제와 유사하거나 동일하게 가상 이미지를 생성할 수 있게 되었기 때문에, 이후 학습이 완료된 이미지 생성부(131)에서 생성된 가상 이미지를 감시정찰 임무에 사용할 수 있다.Meanwhile, if it is determined that the virtual image is the same as the reference image, the learning of the image generator 131 may be terminated. That is, since the image generating unit 131 can generate a virtual image similar to or identical to the real one, the virtual image generated by the image generating unit 131 after learning is completed can be used for the surveillance and reconnaissance mission.

그 다음, 감시정찰 임무를 위해, 인공위성으로 미리 설정된 영역을 촬영하여 촬영 이미지를 획득할 수 있다(S120). 예를 들어, 200km 이상 내지 15000km 이하의 상공을 이동하는 저궤도 인공위성으로 미리 설정된 동일한 영역을 촬영하여 촬영 이미지들을 획득할 수 있다. Then, for the surveillance and reconnaissance mission, it is possible to acquire a photographed image by photographing a preset area with an artificial satellite (S120). For example, photographed images may be acquired by photographing the same area preset with a low-orbit satellite moving in the sky of 200 km or more to 15,000 km or less.

이때, 저궤도 인공위성은 지구의 자전속도보다 빠르게 궤도를 따라 이동하기 때문에, 하나의 인공위성(110)을 미리 설정된 미리 설정된 영역 상에 계속 위치시킬 수 없다. 따라서, 동일한 궤도를 따라 이동하는 복수개의 인공위성(110)을 구비하여 서로 다른 시간에 미리 설정된 동일한 영역의 이미지를 계속 촬영하여 감시정찰 임무를 수행할 수 있다.At this time, since the low orbit artificial satellite moves along the orbit faster than the rotation speed of the earth, it is impossible to continuously position one artificial satellite 110 on a preset area. Therefore, it is possible to perform a surveillance and reconnaissance mission by continuously capturing images of the same area preset at different times by having a plurality of artificial satellites 110 moving along the same orbit.

그 다음, 촬영 이미지를 이용하여 이미지 생성부(131)로 촬영 이미지보다 해상도가 높은 가상 이미지를 생성할 수 있다. 이미지 생성부(131)가 학습을 통해 실제와 유사하게 이미지를 생성할 수 있고, 인공위성(110)이 촬영한 촬영 이미지보다 해상도가 높기 때문에, 가상 이미지를 통해 표적을 찾고 감시하기가 더 용이해질 수 있다. 따라서, 감시정찰 임무를 더 정확하게 수행할 수 있다.Thereafter, a virtual image having a higher resolution than that of the captured image may be generated by the image generator 131 using the captured image. Since the image generator 131 can generate an image similar to the real one through learning, and the resolution is higher than that of the captured image taken by the satellite 110, it can be easier to find and monitor the target through the virtual image. have. Therefore, surveillance and reconnaissance missions can be performed more accurately.

이처럼 인공위성(110)으로 획득한 이미지를 처리하여 해상도가 높아진 이미지를 획득할 수 있다. 따라서, 인공위성(110)에 낮은 성능의 광학장비가 설치되더라도, 저해상도 이미지의 해상도를 높여 고해상도 이미지를 획득할 수 있다. 이에, 고해상도 이미지에서 표적을 감지하고 추적하기 용이해지기 때문에, 인공위성(110)을 이용한 감시정찰 임무의 정확성을 향상시킬 수 있다.In this way, by processing the image acquired by the satellite 110, it is possible to obtain an image with an increased resolution. Therefore, even if low-performance optical equipment is installed in the satellite 110 , a high-resolution image can be obtained by increasing the resolution of the low-resolution image. Accordingly, since it is easy to detect and track the target in the high-resolution image, it is possible to improve the accuracy of the surveillance and reconnaissance mission using the satellite 110 .

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하며, 실시 예들 간에 다양한 조합도 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 아래에 기재될 특허청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.As such, although specific embodiments have been described in the detailed description of the present invention, various modifications are possible without departing from the scope of the present invention, and various combinations between the embodiments are possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims to be described below as well as the claims and equivalents.

100: 인공위성 감시정찰 시스템 110: 인공위성
120: 송수신장치 130: 이미지 처리장치
131: 이미지 생성부 132: 저장부
133: 감식부 134: 피드백부100: satellite surveillance and reconnaissance system 110: satellite
120: transceiver 130: image processing device
131: image generating unit 132: storage unit
133: forensic unit 134: feedback unit

Claims (14)

복수개의 인공위성으로 서로 다른 시간대에 동일한 영역을 촬영하여 획득한 촬영 이미지를 처리하기 위한 이미지 처리장치로서,
상기 촬영 이미지를 이용하여 상기 촬영 이미지보다 해상도가 높은 가상 이미지를 생성할 수 있고, 상기 인공위성이 구비되는 개수만큼 구비되는 복수개의 이미지 생성부;
상대적 대립 신경망 모델을 이용하여 가상 이미지가 실제와 같아지도록 상기 이미지 생성부의 작동을 제어할 수 있는 제어부; 및
상기 이미지 생성부들에서 생성된 가상 이미지들을 합성하고, 상기 제어부에 합성된 가상 이미지를 전달할 수 있는 합성부;를 포함하는 이미지 처리장치.An image processing apparatus for processing a photographed image obtained by photographing the same area at different times with a plurality of artificial satellites,
a plurality of image generators capable of generating a virtual image having a higher resolution than that of the captured image by using the captured image, and provided as many as the number of the artificial satellites;
a control unit capable of controlling the operation of the image generating unit so that the virtual image is identical to the real image using a relative antagonistic neural network model; and
and a synthesizing unit capable of synthesizing the virtual images generated by the image generating units and transmitting the synthesized virtual image to the controller. 청구항 1에 있어서,
상기 제어부는,
상기 촬영 이미지와 동일한 영역을 나타내고 상기 가상 이미지와 동일한 해상도를 가지는 기준 이미지가 저장되는 저장부;
상기 가상 이미지를 상기 기준 이미지와 비교할 수 있는 감식부; 및
상기 가상 이미지와 상기 기준 이미지의 비교결과를 기초로, 상기 이미지 생성부가 다음에 생성하는 가상 이미지와 상기 기준 이미지의 차이가 감소하도록, 상기 이미지 생성부에 피드백할 수 있는 피드백부;를 포함하는 이미지 처리장치.The method according to claim 1,
The control unit is
a storage unit for storing a reference image representing the same area as the captured image and having the same resolution as the virtual image;
a recognition unit capable of comparing the virtual image with the reference image; and
a feedback unit capable of feeding back to the image generating unit such that a difference between the virtual image and the reference image generated next by the image generating unit is reduced based on a comparison result of the virtual image and the reference image; processing unit. 삭제delete 청구항 1에 있어서,
상기 이미지 생성부는,
상기 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 저장할 수 있는 기억매체; 및
상기 기억매체에 저장된 촬영 이미지를 참조하여, 다른 인공위성으로 획득한 촬영 이미지의 가상 이미지를 생성할 수 있는 생성기;를 포함하는 이미지 처리장치.The method according to claim 1,
The image generating unit,
a storage medium capable of storing a photographed image taken by any one of the artificial satellites; and
and a generator capable of generating a virtual image of a captured image acquired by another satellite by referring to the captured image stored in the storage medium. 삭제delete 청구항 2에 있어서,
상기 저장부는,
상기 이미지 생성부들에서 생성된 가상 이미지들을 전달받을 수 있는 저장매체; 및
상기 저장매체로 전달된 가상 이미지들을 비교하여 유사도에 따라 분류하고, 가상 이미지들 중 유사도가 가장 높은 가상 이미지를 상기 저장매체에 기준 이미지로 저장시킬 수 있는 유사도 측정기;를 포함하고,
상기 유사도 측정기는, 전달된 가상 이미지들 각각을 복수개의 블록으로 나누고, 가상 이미지들을 나누어진 블럭별로 비교하여 일치하는 블럭의 개수를 산출하고, 일치하는 블럭의 개수가 많을수록 유사도가 높다고 판단할 수 있는 이미지 처리장치.3. The method according to claim 2,
The storage unit,
a storage medium capable of receiving the virtual images generated by the image generators; and
a similarity measurer capable of comparing the virtual images delivered to the storage medium, classifying them according to the degree of similarity, and storing a virtual image having the highest similarity among virtual images as a reference image in the storage medium; and
The similarity measurer divides each of the delivered virtual images into a plurality of blocks, compares the virtual images for each divided block, calculates the number of matching blocks, and determines that the higher the number of matching blocks, the higher the similarity. image processing unit. 청구항 6에 있어서,
상기 저장부는,
상기 인공위성들보다 높은 해상도의 이미지를 촬영할 수 있는 광학장비로 촬영한 고해상도 이미지가 입력될 수 있는 입력기를 더 포함하고,
상기 고해상도 이미지는 상기 저장매체에 기준 이미지로 저장될 수 있는 이미지 처리장치.7. The method of claim 6,
The storage unit,
Further comprising an input device capable of inputting a high-resolution image taken with an optical device capable of photographing an image of higher resolution than the satellites,
The high-resolution image may be stored in the storage medium as a reference image. 서로 다른 시간에 동일한 영역의 이미지를 촬영할 수 있는 복수개의 인공위성;
상기 인공위성들과 신호를 주고받을 수 있는 송수신장치; 및
상기 송수신장치로 전달된 상기 인공위성들이 촬영한 촬영 이미지의 해상도를 높일 수 있는 청구항 1, 청구항 2, 청구항 4, 청구항 6, 및 청구항 7 중 어느 하나의 이미지 처리장치;를 포함하는 인공위성 감시정찰 시스템.a plurality of satellites capable of taking images of the same area at different times;
a transceiver capable of sending and receiving signals to and from the satellites; and
The satellite surveillance and reconnaissance system comprising a; the image processing device of any one of claims 1, 2, 4, 6, and 7 capable of increasing the resolution of the image captured by the satellites transmitted to the transceiver. 청구항 8에 있어서,
상기 인공위성들은 200km 이상 내지 15000km 이하의 상공에서 동일한 궤도를 따라 지구의 자전속도보다 빠르게 이동하는 인공위성 감시정찰 시스템.9. The method of claim 8,
The artificial satellites are a satellite monitoring and reconnaissance system that moves faster than the rotation speed of the Earth along the same orbit in the sky of 200 km or more to 15000 km or less. 복수개의 인공위성으로 서로 다른 시간대에 동일한 영역을 촬영하여 획득한 촬영 이미지를 처리하기 위한 이미지 처리방법으로서,
상대적 대립 신경망 모델을 이용하여 이미지 생성부가 생성하는 가상 이미지가 실제와 같아지도록 상기 이미지 생성부를 학습시키는 과정;
인공위성으로 미리 설정된 영역을 촬영하여 촬영 이미지를 획득하는 과정; 및
상기 촬영 이미지를 이용하여 상기 이미지 생성부로 상기 촬영 이미지보다 해상도가 높은 가상 이미지를 생성하는 과정;을 포함하고,
상기 이미지 생성부를 학습시키는 과정은,
인공위성들로 획득한 촬영 이미지를 이용하여, 인공위성이 구비되는 개수만큼 구비되는 복수개의 이미지 생성부로 가상 이미지들을 생성하는 과정;
상기 이미지 생성부들에서 생성된 가상 이미지들을 합성하는 과정;
상기 촬영 이미지와 동일한 영역을 나타내고 합성된 가상 이미지와 동일한 해상도를 가지는 기준 이미지와 합성된 가상 이미지를 비교하는 과정; 및
합성된 가상 이미지와 상기 기준 이미지의 비교결과를 기초로, 상기 이미지 생성부가 다음에 생성하는 가상 이미지와 상기 기준 이미지의 차이가 감소하도록, 상기 이미지 생성부를 학습시키는 과정;을 포함하는 이미지 처리방법.An image processing method for processing a photographed image obtained by photographing the same area at different times with a plurality of artificial satellites,
training the image generator so that the virtual image generated by the image generator is identical to the real image using the relative antagonist neural network model;
A process of acquiring a photographed image by photographing a preset area with an artificial satellite; and
The process of generating a virtual image having a higher resolution than that of the captured image by the image generator using the captured image;
The process of learning the image generator is,
A process of generating virtual images by a plurality of image generators provided as many as the number of artificial satellites by using the captured images obtained by the artificial satellites;
synthesizing the virtual images generated by the image generators;
comparing the synthesized virtual image with a reference image representing the same area as the captured image and having the same resolution as the synthesized virtual image; and
and training the image generator to reduce a difference between the virtual image and the reference image generated next by the image generator based on a comparison result between the synthesized virtual image and the reference image. 삭제delete 청구항 10에 있어서,
상기 인공위성은 복수개가 구비되어 서로 다른 시간에 동일한 영역을 촬영할 수 있고,
상기 촬영 이미지를 이용하여 가상 이미지를 생성하는 과정은,
상기 인공위성들 중 어느 한 인공위성에서 촬영한 촬영 이미지를 저장하는 과정; 및
저장된 촬영 이미지를 참조하여, 다른 인공위성으로 획득한 촬영 이미지의 가상 이미지를 생성하는 과정;을 포함하는 이미지 처리방법.11. The method of claim 10,
The artificial satellites are provided in plurality so that the same area can be photographed at different times,
The process of generating a virtual image using the photographed image includes:
storing a photographed image taken by any one of the artificial satellites; and
An image processing method comprising a; generating a virtual image of the captured image acquired by another satellite with reference to the stored captured image. 청구항 10에 있어서,
상기 기준 이미지와 가상 이미지의 비교하기 전에,
서로 다른 인공위성들의 촬영 이미지를 이용하여 생성된 가상 이미지들을 비교하여 유사도에 따라 분류하는 과정; 및
가상 이미지들 중 유사도가 가장 높은 가상 이미지를 기준 이미지로 저장하는 과정;을 포함하고,
상기 가상 이미지들을 비교하여 유사도에 따라 분류하는 과정은,
가상 이미지를 블럭별로 이진화하는 과정,
가상 이미지들을 블럭별로 비교하여 일치하는 블럭의 개수를 확인하는 과정, 및
일치하는 블럭의 개수가 많은 순서로 가상 이미지들을 분류하여, 일치하는 블럭의 개수가 많을수록 유사도가 높다고 판단하는 과정을 포함하는 이미지 처리방법.11. The method of claim 10,
Before comparing the reference image with the virtual image,
a process of comparing virtual images generated using images taken from different satellites and classifying them according to similarities; and
The process of storing a virtual image having the highest similarity among virtual images as a reference image;
The process of comparing the virtual images and classifying them according to the degree of similarity,
The process of binarizing the virtual image block by block,
The process of comparing the virtual images for each block and confirming the number of matching blocks, and
An image processing method comprising: classifying virtual images in an order of increasing the number of matching blocks, and determining that the more the number of matching blocks is, the higher the similarity. 삭제delete
KR1020200172192A 2020-12-10 2020-12-10 Image processing apparatus and method, and reconnaissance system KR102308096B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200172192A KR102308096B1 (en) 2020-12-10 2020-12-10 Image processing apparatus and method, and reconnaissance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200172192A KR102308096B1 (en) 2020-12-10 2020-12-10 Image processing apparatus and method, and reconnaissance system

Publications (1)

Publication Number Publication Date
KR102308096B1 true KR102308096B1 (en) 2021-10-01

Family

ID=78115327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200172192A KR102308096B1 (en) 2020-12-10 2020-12-10 Image processing apparatus and method, and reconnaissance system

Country Status (1)

Country Link
KR (1) KR102308096B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194866A (en) * 1998-12-28 2000-07-14 Secom Co Ltd Image sensor and monitoring system including the same
KR20050065875A (en) 2003-12-24 2005-06-30 한국항공우주연구원 Large high-resolution camera supporting structure of a satellite
KR20190131205A (en) * 2018-05-16 2019-11-26 한국과학기술원 Super-resolution network processing method and system
KR102188035B1 (en) * 2020-06-04 2020-12-07 국방과학연구소 Learning method and apparatus for improved resolution of satellite images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194866A (en) * 1998-12-28 2000-07-14 Secom Co Ltd Image sensor and monitoring system including the same
KR20050065875A (en) 2003-12-24 2005-06-30 한국항공우주연구원 Large high-resolution camera supporting structure of a satellite
KR20190131205A (en) * 2018-05-16 2019-11-26 한국과학기술원 Super-resolution network processing method and system
KR102188035B1 (en) * 2020-06-04 2020-12-07 국방과학연구소 Learning method and apparatus for improved resolution of satellite images

Similar Documents

Publication Publication Date Title
US20180060691A1 (en) Active visual attention models for computer vision tasks
US8705795B2 (en) Information processing apparatus, information processing method, and program
KR101634878B1 (en) Apparatus and method for matching aviation image using swarm filght of unmanned vehicle
KR101214081B1 (en) Image expression mapping system using space image and numeric information
JPH1183530A (en) Optical flow detector for image and self-position recognizing system for mobile body
CN111765974B (en) Wild animal observation system and method based on miniature refrigeration thermal infrared imager
CN112419233B (en) Data annotation method, device, equipment and computer readable storage medium
CN105096346B (en) A kind of moving target shooting processing system of stabilization
CN109214254B (en) Method and device for determining displacement of robot
CN111397541A (en) Method, device, terminal and medium for measuring slope angle of refuse dump
KR20200084972A (en) Method for acquisition of hyperspectral image using an unmanned aerial vehicle
CN110532853B (en) Remote sensing time-exceeding phase data classification method and device
JP2014222825A (en) Video processing apparatus and video processing method
CN116523748A (en) Image stitching method, device, storage medium and unmanned aerial vehicle
KR102308096B1 (en) Image processing apparatus and method, and reconnaissance system
CN108347577B (en) Imaging system and method
KR102592988B1 (en) Method and device for detecting object in aerial images
CN115950435A (en) Real-time positioning method for unmanned aerial vehicle inspection image
KR20200084974A (en) Method for estimation of depth of water using hyperspectral image
KR102499401B1 (en) Device for analyzing explosives media propagation characteristic image, drone therefor and method thereof
CN113139985B (en) Tracking target framing method for eliminating communication delay influence of unmanned aerial vehicle and ground station
CN115965745A (en) Three-level video perception-based dynamic three-dimensional reconstruction system and method for unmanned aerial vehicle
US11940569B2 (en) Method for determining extrinsic calibration parameters for a measuring system
CN113949826A (en) Unmanned aerial vehicle cluster cooperative reconnaissance method and system under limited communication bandwidth condition
CN112585946A (en) Image shooting method, image shooting device, movable platform and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant