KR20230087879A - Method and apparatus for comparing images using intermediate images converted through artificial neural network - Google Patents

Method and apparatus for comparing images using intermediate images converted through artificial neural network Download PDF

Info

Publication number
KR20230087879A
KR20230087879A KR1020210176499A KR20210176499A KR20230087879A KR 20230087879 A KR20230087879 A KR 20230087879A KR 1020210176499 A KR1020210176499 A KR 1020210176499A KR 20210176499 A KR20210176499 A KR 20210176499A KR 20230087879 A KR20230087879 A KR 20230087879A
Authority
KR
South Korea
Prior art keywords
image
images
comparison
map
optical
Prior art date
Application number
KR1020210176499A
Other languages
Korean (ko)
Other versions
KR102659347B1 (en
Inventor
오한
이훈희
김예지
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020210176499A priority Critical patent/KR102659347B1/en
Publication of KR20230087879A publication Critical patent/KR20230087879A/en
Application granted granted Critical
Publication of KR102659347B1 publication Critical patent/KR102659347B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

A method and apparatus for comparing images using intermediate images converted through an artificial neural network are disclosed. According to an embodiment of the present invention, a method for comparing images using intermediate images converted through an artificial neural network may include the steps of: collecting a plurality of images from a satellite; converting each of the plurality of images into a plurality of intermediate images using an image translation technique; and matching the plurality of images by comparing the plurality of intermediate images through a comparison network.

Description

인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치{METHOD AND APPARATUS FOR COMPARING IMAGES USING INTERMEDIATE IMAGES CONVERTED THROUGH ARTIFICIAL NEURAL NETWORK}Method and device for comparison between images using intermediate images converted through artificial neural network

본 발명은 영상 간 비교 결과를 활용하여 영상 간 유사성 및 차이점을 정확하게 측정하는 것으로서, 수집된 위성 영상들을, 인공신경망에 의한 학습을 통해 중간영상으로 변환하고, 변환된 중간영상을 활용하여 위성 영상들 간을 비교, 정합하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치를 제공한다.The present invention accurately measures similarities and differences between images by using comparison results between images. Provided is a method and apparatus for comparing between images using an intermediate image converted through an artificial neural network to compare and match between images.

기존의 영상 비교는, 한 영상에서 사람이 수동으로 특징점을 선택하고, 다른 영상에서 그 특징점들이 어디에 대응되는지를 판단하여, 영상 간의 비교를 수행하는 수동적인 방식 이였다.Conventional image comparison is a passive method in which a person manually selects feature points in one image, determines where the feature points correspond in another image, and performs comparison between images.

이를 개선하는 것이 자동 특징점 추출이며, 자동 특징점 추출에서는, 두 개 이상의 영상을 비교하기 위한 전처리 기술을 필요로 한다.To improve this is automatic feature point extraction, and automatic feature point extraction requires a preprocessing technique for comparing two or more images.

자동 특징점 추출에 의한 영상 비교 기술에서는, 컴퓨터 비전 기술(대표적으로 SIFT, SURF가 있음)이나 인공신경망 기술을 이용하여 자동으로 특징점을 추출하고, 추출된 특징점을 이용하여 영상 간의 비교를 수행하는 방식을 사용하였다.In the image comparison technology by automatic feature point extraction, a method of automatically extracting feature points using computer vision technology (typically SIFT and SURF) or artificial neural network technology and performing comparison between images using the extracted feature points used

이러한 자동 특징점 추출 방법은, 비교 영상들의 특성이 비슷한 경우 잘 동작하지만, 촬영 환경(낮 vs 밤, 여름 vs 겨울 등)이나 촬영 센서의 차이(CT vs MRI, 광학 vs SAR영상 등)로 인해 비교 영상 간의 특성이 확연하게 차이가 나는 경우, 대응되는 특징점을 찾기가 쉽지 않아, 비교 정확성이 떨어진다는 단점을 가지고 있다.This automatic feature point extraction method works well when the characteristics of comparison images are similar, but due to differences in imaging environment (day vs. night, summer vs winter, etc.) or imaging sensors (CT vs. MRI, optical vs. SAR images, etc.) When the characteristics of the livers are clearly different, it is not easy to find corresponding feature points, which has a disadvantage in that the comparison accuracy is low.

이에 따라, 비교 정확도가 중요한 응용 분야(의료 및 위성영상 등)에서는, 영상 비교를 위해 여전히 수동적인 방식으로 처리하는 경우가 많아, 비용이 많이 들며, 대규모 데이터를 짧은 시간에 처리하는 데에 어려움이 있어 왔다.Accordingly, in applications where comparison accuracy is important (medical and satellite imagery, etc.), image comparison is still often processed in a passive manner, which is costly and difficult to process large-scale data in a short time. there has been

따라서, 촬영 환경이나 촬영 센서의 차이와 무관하게, 특징점을 자동으로 빠르고 정확하게 추출하여, 영상 간의 비교 및 정합에 활용할 수 있게 하는, 보다 개선된 모델의 등장이 절실히 요구되고 있다.Therefore, there is an urgent need for a more improved model that automatically and quickly and accurately extracts feature points regardless of differences in photographing environments or photographing sensors and can be used for comparison and matching between images.

본 발명의 실시예는, 인공신경망 기술을 활용하여 중간영상을 생성하고, 그 중간영상 간 비교를 통해 영상의 특징을 용이하게 식별 함으로써, 비교 영상 간의 특성이 매우 다른 경우라도 영상 간의 정합을 수행할 수 있게 하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치를 제공하는 것을 목적으로 한다.In an embodiment of the present invention, by generating intermediate images using artificial neural network technology and easily identifying characteristics of images through comparison between the intermediate images, matching between images can be performed even when the characteristics of the compared images are very different. An object of the present invention is to provide a method and apparatus for comparing images using an intermediate image converted through an artificial neural network.

본 발명의 실시예에 따른, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법은, 위성으로부터 복수의 영상을 수집하는 단계; 상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환하는 단계; 및 상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합하는 단계를 포함 할 수 있다.According to an embodiment of the present invention, a comparison method between images using an intermediate image converted through an artificial neural network includes collecting a plurality of images from satellites; converting each of the plurality of images into a plurality of intermediate images using an image translation technique; and matching the plurality of images by comparing the plurality of intermediate images through a comparison network.

또한, 본 발명의 실시예에 따른, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치는, 위성으로부터 복수의 영상을 수집하는 수집부; 상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환하는 처리부; 및 상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합하는 비교정합부를 포함하여 구성 할 수 있다.In addition, an apparatus for comparing images using an intermediate image converted through an artificial neural network according to an embodiment of the present invention includes a collection unit that collects a plurality of images from satellites; a processing unit that converts each of the plurality of images into a plurality of intermediate images using an image translation technique; and a comparison and matching unit that matches the plurality of intermediate images by comparing the plurality of intermediate images through a comparison network.

본 발명의 실시예에 따르면, 인공신경망 기술을 활용하여 중간영상을 생성하고, 그 중간영상 간 비교를 통해 영상의 특징을 용이하게 식별 함으로써, 비교 영상 간의 특성이 매우 다른 경우라도 영상 간의 정합을 수행할 수 있게 하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치를 제공 할 수 있다.According to an embodiment of the present invention, by generating intermediate images using artificial neural network technology and easily identifying characteristics of the images through comparison between the intermediate images, matching between images is performed even when the characteristics of the compared images are very different. It is possible to provide a comparison method and device between images using an intermediate image converted through an artificial neural network, which enables

도 1은 본 발명의 실시예에 따른 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치의 구성을 도시한 블록도이다.
도 2는 GAN을 이용한 중간 영상의 생성과 영상 간을 비교하여 결과를 도출하는 것을 설명하기 위한 도이다.
도 3은 중간영상(지도 영상) 생성을 활용하여, 광학과 SAR 위성 영상의 비교를 예시하기 위한 도이다.
도 4는 본 발명의 실시예에 따른, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법을 도시한 흐름도이다.1 is a block diagram showing the configuration of an apparatus for comparing images using an intermediate image converted through an artificial neural network according to an embodiment of the present invention.
2 is a diagram for explaining derivation of a result by comparing generation of an intermediate image using GAN and images.
3 is a diagram for illustrating comparison between optical and SAR satellite images by utilizing intermediate image (map image) generation.
4 is a flowchart illustrating a comparison method between images using an intermediate image converted through an artificial neural network according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

도 1은 본 발명의 실시예에 따른 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an apparatus for comparing images using an intermediate image converted through an artificial neural network according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치(이하, '영상 간 비교 장치'이라 약칭함, 100)는, 수집부(110), 처리부(120), 및 비교정합부(130)를 포함하여 구성할 수 있다.Referring to FIG. 1 , an inter-image comparison device (hereinafter, abbreviated as 'inter-image comparison device', 100) using an intermediate image converted through an artificial neural network according to an embodiment of the present invention includes a collection unit 110 ), a processing unit 120, and a comparison matching unit 130.

수집부(110)는 위성으로부터 복수의 영상을 수집한다. 즉, 수집부(110)는 위성에서 촬영되어 작성되는 영상을, 위성으로부터 정해진 시간 간격으로 수신하는 역할을 할 수 있다.The collection unit 110 collects a plurality of images from satellites. That is, the collecting unit 110 may play a role of receiving an image created by being photographed by a satellite at a predetermined time interval from the satellite.

수집되는 영상은, 위성에 장착된 광학 센서에 의해 촬영되는 고해상도 광학 영상과, 레이더 센서에 의해 촬영되는 SAR(Synthetic Aperture Radar) 영상 일 수 있다.The collected image may be a high-resolution optical image captured by an optical sensor mounted on a satellite and a synthetic aperture radar (SAR) image captured by a radar sensor.

처리부(120)는 상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환한다. 즉, 처리부(120)는 촬영 환경, 촬영 센서 등의 차이로 인해 영상 간의 특성이 확연하게 차이를 갖는 영상들에 대해, 영상 변환 기법을 적용하여, 중간영상을 생성하는 역할을 할 수 있다.The processing unit 120 converts each of the plurality of images into a plurality of intermediate images using an image translation technique. That is, the processing unit 120 may play a role of generating an intermediate image by applying an image conversion technique to images having distinctly different characteristics between images due to differences in photographing environments, photographing sensors, and the like.

처리부(120)는, 상기 영상 변환 기법에 의한, 상기 복수의 영상의 변환을 통해, 동일한 도메인을 갖는 상기 중간영상을 생성 할 수 있다. 즉, 처리부(120)는 특성에 확연한 차이를 갖는 영상들을, 영상 변환 기법을 적용하여 같은 도메인의 중간영상으로 변환 시킴으로써, 후속의 영상 정합을 위한 비교시 동일 조건하에서의 영상 비교로 보다 신속하고 정확한 영상 정합이 이루어지도록 할 수 있다.The processing unit 120 may generate the intermediate image having the same domain through conversion of the plurality of images by the image conversion technique. That is, the processing unit 120 converts images having a clear difference in characteristics into intermediate images of the same domain by applying an image conversion technique, so that a faster and more accurate image is compared under the same conditions in comparison for subsequent image matching. matching can be achieved.

상기 영상 변환 기법은, pix2pix, CycleGAN 및 StyleGAN 등의 영상 생성 모델에 따른 학습에 의해, 영상을 중간영상으로 변환시키는 것 일 수 있다.The image conversion technique may be to convert an image into an intermediate image by learning according to image generation models such as pix2pix, CycleGAN, and StyleGAN.

Pix2Pix는 학습 과정에서 이미지 자체를 조건(condition)으로 입력받는 Conditional GAN의 한 유형으로 대표적인 image-to-image translation의 아키텍처 일 수 있다.Pix2Pix is a type of conditional GAN that receives the image itself as a condition in the learning process, and can be a typical image-to-image translation architecture.

CycleGAN은 unpaired dataset을 가지고 style을 변형시키는 Image to Image Translation의 아키텍처 일 수 있다. CycleGAN은 두 개의 다른 이미지가 매칭되지 않아도 이미지 변환을 가능하게 할 수 있다.CycleGAN can be an architecture of Image to Image Translation that transforms the style with an unpaired dataset. CycleGAN can enable image conversion even if two different images do not match.

StyleGAN은 영상(이미지)의 characteristic artifacts를 생성하고, 이 characteristic artifacts의 특징들을 분석하여 훈련하는 image-to-image translation의 아키텍처 일 수 있다.StyleGAN can be an image-to-image translation architecture that generates characteristic artifacts of video (images) and analyzes and trains the characteristics of these characteristic artifacts.

비교정합부(130)는 상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합한다. 즉, 비교정합부(130)는 영상 변환 기법에 의해 생성되는 중간영상을 비교하여, 양 영상 간에 정합을 수행하는 역할을 할 수 있다.The comparison and matching unit 130 matches the plurality of images by comparing the plurality of intermediate images through a comparison network. That is, the comparison and matching unit 130 may serve to perform matching between the two images by comparing the intermediate images generated by the image conversion technique.

비교 네트워크는 하나의 대상에 대해 촬영된 이종의 영상을, 하나의 좌표계로 나타내는 영상 정합(image registration)을 수행하는 수단으로서, 본 발명에서는 동일한 도메인으로 변환되어 생성된 중간영상들을 입력으로 하여, 영상 간 비교 할 수 있다.The comparison network is a means for performing image registration representing heterogeneous images captured for one object in one coordinate system. In the present invention, intermediate images generated by converting to the same domain are input, can be compared between

실시예에 따라, 영상 간 비교 장치(100)는 광학영상과 SAR영상을 대상으로 각각의 지도영상을 활용한 영상 간의 정합을 수행 할 수 있다.Depending on the embodiment, the inter-image comparison device 100 may perform matching between images using each map image for the optical image and the SAR image.

이를 위해, 수집부(110)는 상기 복수의 영상으로서, 상기 위성으로부터 광학영상과 SAR영상을 수집할 수 있다.To this end, the collection unit 110 may collect optical images and SAR images from the satellite as the plurality of images.

이후, 처리부(120)는 GAN(Generative Adversarial Networks) 모델을 이용하여, 상기 광학영상에 대한 중간영상으로서의 제1 지도영상과, 상기 SAR영상 대한 중간영상으로서의 제2 지도영상을 생성 할 수 있다.Thereafter, the processing unit 120 may generate a first map image as an intermediate image for the optical image and a second map image as an intermediate image for the SAR image by using a Generative Adversarial Networks (GAN) model.

GAN(생성적 대립 신경망) 모델은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습(ML: Machine Learning) 방식의 하나 일 수 있다.A generative adversarial network (GAN) model may be one of ML (Machine Learning) methods in which a generative model and a discriminant model compete to automatically create images, videos, voices, etc. close to reality.

본 발명에서는, GAN 모델이 광학영상과 SAR영상을 학습하고 공통점을 추론하여 광학영상과 SAR영상 각각에 관한 매우 정교한 지도영상을 만들어 낼 수 있다.In the present invention, the GAN model can learn the optical image and the SAR image and infer a common point to create a very sophisticated map image for each optical image and the SAR image.

즉, 처리부(120)는 상기 광학영상과, 상기 광학영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제1 지도영상을 생성할 수 있다. 처리부(120)는 광학영상을 GAN 모델에 입력하고, 상기 광학영상을 모사하는 제1 지도영상을 출력으로 획득 할 수 있다.That is, the processing unit 120 may generate the first map image according to learning by the GAN model for a data set of the optical image and map parameters mapped to the optical image. The processing unit 120 may input an optical image to the GAN model and obtain a first map image simulating the optical image as an output.

유사하게, 처리부(120)는 상기 SAR영상과, 상기 SAR영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제2 지도영상을 생성 할 수 있다. 처리부(120)는 SAR영상을 GAN 모델에 입력하고, 상기 SAR영상을 모사하는 제2 지도영상을 출력으로 획득 할 수 있다.Similarly, the processing unit 120 may generate the second map image according to learning by the GAN model for a data set of the SAR image and map parameters mapped to the SAR image. The processing unit 120 may input the SAR image to the GAN model and obtain a second map image simulating the SAR image as an output.

이후, 비교정합부(130)는, 상기 제1 지도영상과 상기 제2 지도영상을 정합 네트워크를 통해 정합 할 수 있다. 즉, 비교정합부(130)는, 동일한 도메인을 갖는 제1 지도영상과 제2 지도영상을, 정합 네트워크에서 정합 시킬 수 있다.Thereafter, the comparison and matching unit 130 may match the first map image and the second map image through a matching network. That is, the comparison and matching unit 130 may match the first map image and the second map image having the same domain in a matching network.

정합 네트워크는 앞서의 비교 네트워크와 유사하게, 하나의 대상과 관련되어 생성되는 이종의 영상을, 하나의 좌표계로 나타내는 영상 정합을 수행하는 수단일 수 있다.Similar to the comparison network described above, the matching network may be a means for performing image matching representing heterogeneous images generated in relation to one object in one coordinate system.

실시예에 따라, 수집부(110)는, 상기 위성으로부터 광학영상을 함께, 이종 광학영상, SAR영상, 지도 벡터 데이터 중 어느 하나의 타영상을 수집할 수 있다. 즉, 수집부(110)는, 광학영상과 쌍을 이룰 다른 종류의 영상을 위성으로부터 수집할 수 있다. 여기서, 이종 광학영상은 광학영상을 촬영하는 센서와 다른 종류의 광학 센서에 의해 촬영되는 예컨대, 중저해상도 광학 영상일 수 있다.Depending on the embodiment, the collection unit 110 may collect an optical image from the satellite and any other image among heterogeneous optical images, SAR images, and map vector data. That is, the collection unit 110 may collect other types of images to be paired with optical images from satellites. Here, the heterogeneous optical image may be, for example, a medium-low resolution optical image captured by a different type of optical sensor from the sensor for capturing the optical image.

처리부(120)는, 광학영상과 타영상과의 쌍, 즉 '광학영상-이종 광학영상', 또는 '광학영상-SAR영상', 또는 '광학영상-지도 벡터 데이터'의 그룹에 대해 영상 변환 기법을 이용하여, 한 쌍의 중간영상을 생성할 수 있다.The processing unit 120 performs an image conversion technique for a pair of an optical image and another image, that is, a group of 'optical image-heterogeneous optical image', 'optical image-SAR image', or 'optical image-map vector data'. Using , a pair of intermediate images can be generated.

이후, 비교정합부(130)는, 상기 광학영상과 상기 타영상과 관련되어 변환된 한 쌍의 중간영상을 비교 네트워크를 통해 비교할 수 있다.Then, the comparison and matching unit 130 may compare the pair of intermediate images converted in relation to the optical image and the other image through a comparison network.

본 발명의 실시예에 따르면, 인공신경망 기술을 활용하여 중간영상을 생성하고, 그 중간영상 간 비교를 통해 영상의 특징을 용이하게 식별 함으로써, 비교 영상 간의 특성이 매우 다른 경우라도 영상 간의 정합을 수행할 수 있게 하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치를 제공 할 수 있다.According to an embodiment of the present invention, by generating intermediate images using artificial neural network technology and easily identifying characteristics of the images through comparison between the intermediate images, matching between images is performed even when the characteristics of the compared images are very different. It is possible to provide a comparison method and device between images using an intermediate image converted through an artificial neural network, which enables

본 발명의 영상 간 비교 장치(100)는, 비교 영상 간 특성이 매우 다른 경우에, 인공신경망 기술 중 하나인 적대적 생성 신경망(GAN, Generative Adversarial Networks) 기술을 활용하여, 영상의 특징을 비교하는 데에 용이한 중간영상을 생성하고, 그 중간영상 간 비교를 통해, 영상 간 비교를 수행한다.The device for comparing images 100 of the present invention compares the characteristics of images by utilizing Generative Adversarial Networks (GAN) technology, which is one of artificial neural network technologies, when the characteristics between images for comparison are very different. Intermediate images are generated that are easy to perform, and comparison between images is performed through comparison between the intermediate images.

도 2는 GAN을 이용한 중간 영상의 생성과 영상 간을 비교하여 결과를 도출하는 것을 설명하기 위한 도이다.2 is a diagram for explaining derivation of a result by comparing generation of an intermediate image using GAN and images.

도 2에 도시한 바와 같이, 영상 간 비교 장치(100)는, 촬영 대상을 센서 A로 촬영하여 작성된 영상 A를 GAN에 적용하여 중간영상 A를 생성할 수 있다.As shown in FIG. 2 , the inter-image comparison device 100 may generate an intermediate image A by applying an image A created by photographing a subject to be photographed with a sensor A to a GAN.

또한, 영상 간 비교 장치(100)는, 센서 A와 다른 기기의 센서 B로 상기 촬영 대상을 동일하게 촬영하여 작성된 영상 B을 GAN에 적용하여 중간영상 B를 생성할 수 있다.In addition, the inter-image comparison apparatus 100 may generate an intermediate image B by applying an image B created by taking the same image of the photographing target with a sensor A and a sensor B of another device to a GAN.

이후, 영상 간 비교 장치(100)는, 생성된 중간 영상 A와 중간 영상 B를, 비교 네트워크에 입력하고, 비교 네트워크로부터의 결과를 도출하여, 영상 비교 및 영상 정합을 결과로서 얻을 수 있다.Thereafter, the inter-image comparison device 100 inputs the generated intermediate image A and intermediate image B to a comparison network, derives a result from the comparison network, and obtains image comparison and image matching as a result.

여기서, GAN은 생성적 적대 신경망(Generative Adversarial Network)의 약자로, 차세대 딥러닝 알고리즘으로 주목받고 있다. GAN은 진짜 같은 가짜를 생성하는 모델과 이에 대한 진위를 판별하는 모델의 경쟁을 통해 진짜 같은 가짜 이미지를 만들 수 있다. GAN은 기존에 인간이 정제한 데이터를 바탕으로 학습하는 지도 학습 방식에서 벗어나, 스스로 답을 찾는 비지도학습 방식을 사용한다.Here, GAN stands for Generative Adversarial Network and is attracting attention as a next-generation deep learning algorithm. GAN can create fake images that look real through competition between a model that creates fakes that look real and a model that determines their authenticity. GAN departs from the existing supervised learning method, which learns based on human-refined data, and uses an unsupervised learning method to find answers on its own.

영상 간 비교 장치(100)는, pix2pix나 CycleGAN, StyleGAN 등과 같은 영상 변환(Image Translation) 기법을 이용하여 중간영상을 생성할 수 있다.The inter-image comparison device 100 may generate an intermediate image using an image translation technique such as pix2pix, CycleGAN, or StyleGAN.

영상 간 비교 장치(100)는, 중간영상의 생성에 있어, 데이터셋을 상대적으로 만들기 쉬운 도메인을 정할 수 있다. 여기서, 상대적으로 만들기 쉬운 도메인은, 영상 쌍(데이터셋)의 생성이 가능한 도메인을 지칭할 수 있다.The apparatus 100 for comparing images between images may determine a domain in which a dataset is relatively easy to create in generating an intermediate image. Here, a domain that is relatively easy to create may refer to a domain in which image pairs (datasets) can be generated.

중간영상은 영상의 특성을 단순화 및 추상화하여, 영상 간의 비교를 용이하게 할 수 있다.Intermediate images simplify and abstract the characteristics of images to facilitate comparison between images.

영상 간 비교 장치(100)는, 응용 분야에 따라, 비교 대상의 영상 도메인으로 직접 변환 할 수 있다. 즉, 영상 간 비교 장치(100)는, 영상 A의 도메인을 영상 B의 도메인과 동일한 차원으로 변환 시킬 수 있다.The apparatus 100 for comparing images between images may directly convert images into a target image domain according to an application field. That is, the apparatus 100 for comparing images between images may transform the domain of image A into the same dimension as the domain of image B.

비교 네트워크는 중간영상을 입력으로 하여 응용 목적에 따라, 두 영상 간의 유사점/차이점을 추출하고(변화 감지), 영상 정합 등 다양한 작업을 수행하는 수단일 수 있다.The comparison network may be a means for performing various tasks such as extracting similarities/differences between two images (change detection) and image matching according to application purposes by taking an intermediate image as an input.

중간영상 생성 단계와 비교 네트워크를 통한 결과 추출 단계에서의 영상 간 비교 장치(100)는, 인공신경망으로 end-to-end 연결이 가능해 GPU의 강력한 병렬연산 능력으로 기존 SIFT(Scale Invariant Feature Transform)나 SURF(Speeded Up Robust Feature) 보다 휠씬 더 빠르게 결과물을 얻을 수 있다.The inter-image comparison device 100 in the intermediate image generation step and the result extraction step through the comparison network can be connected end-to-end with an artificial neural network, so that the existing SIFT (Scale Invariant Feature Transform) or You can get results much faster than SURF (Speeded Up Robust Feature).

도 3은 중간영상(지도 영상) 생성을 활용하여, 광학과 SAR 위성 영상의 비교를 예시하기 위한 도이다.3 is a diagram for illustrating comparison between optical and SAR satellite images by utilizing intermediate image (map image) generation.

광학 위성영상과 SAR 위성영상 간의 직접적인 정합은 센서의 특성 차이로 인해 쉽지 않았다.Direct matching between optical satellite images and SAR satellite images was not easy due to differences in sensor characteristics.

본 발명의 영상 간 비교 장치(100)는, 중간영상으로 각 영상을 지도 영상으로 변환하여, 좀 더 용이하게 정합을 수행할 수 있다.The inter-image comparison device 100 according to the present invention converts each image into a map image as an intermediate image, so that matching can be performed more easily.

중간영상 생성을 위한 GAN 모델은, 광학영상과 지도 쌍과, SAR영상과 지도 쌍 데이터셋을 이용하여 학습할 수 있다.A GAN model for intermediate image generation can be learned using an optical image and map pair and a SAR image and map pair dataset.

정합 네트워크는, 같은 도메인이면서 단순화 된 지도 영상을 입력으로 받아 인공신경망으로 정합을 수행 할 수 있다.The matching network can perform matching with an artificial neural network by receiving a simplified map image of the same domain as an input.

도 3에 도시한 바와 같이, 영상 간 비교 장치(100)는, 광학영상에 매핑된 지도 파라메타와, 상기 광학영상과의 데이터 셋을 GAN에서 학습시켜 중간영상인 지도영상을 생성할 수 있다.As shown in FIG. 3 , the inter-image comparison apparatus 100 may generate a map image, which is an intermediate image, by learning a map parameter mapped to an optical image and a data set of the optical image in a GAN.

또한, 영상 간 비교 장치(100)는, SAR영상에 매핑된 지도 파라메타와, 상기 SAR영상과의 데이터 셋을 GAN에서 학습시켜 중간영상인 지도영상을 생성할 수 있다.In addition, the inter-image comparison apparatus 100 may generate a map image as an intermediate image by learning a map parameter mapped to the SAR image and a data set of the SAR image in a GAN.

이후, 영상 간 비교 장치(100)는, 생성된 지도영상들을 정합 네트워크에 입력함으로써, 상기 정합 네트워크에 의한 광학영상과 SAR영상과의 영상 정합을 수행 할 수 있다.Thereafter, the inter-image comparison device 100 may perform image matching between the optical image and the SAR image by the matching network by inputting the generated map images to the matching network.

이하, 도 4에서는 본 발명의 실시예들에 따른 영상 간 비교 장치(100)의 작업 흐름을 상세히 설명한다.Hereinafter, in FIG. 4 , a workflow of the inter-image comparison device 100 according to embodiments of the present invention will be described in detail.

본 실시예에 따른 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법은 영상 간 비교 장치 (100)에 의해 수행될 수 있다.The inter-image comparison method using the intermediate image converted through the artificial neural network according to the present embodiment may be performed by the inter-image comparison device 100 .

도 4는 본 발명의 실시예에 따른, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법을 도시한 흐름도이다.4 is a flowchart illustrating a comparison method between images using an intermediate image converted through an artificial neural network according to an embodiment of the present invention.

우선, 영상 간 비교 장치(100)는 위성으로부터 복수의 영상을 수집한다(410). 단계(410)은 위성에서 촬영되어 작성되는 영상을, 위성으로부터 정해진 시간 간격으로 수신하는 과정일 수 있다.First, the image comparison device 100 collects a plurality of images from satellites (410). Step 410 may be a process of receiving an image captured and created by a satellite at a predetermined time interval from the satellite.

수집되는 영상은, 위성에 장착된 광학 센서에 의해 촬영되는 고해상도 광학 영상과, 레이더 센서에 의해 촬영되는 SAR(Synthetic Aperture Radar) 영상 일 수 있다.The collected image may be a high-resolution optical image captured by an optical sensor mounted on a satellite and a synthetic aperture radar (SAR) image captured by a radar sensor.

영상 간 비교 장치(100)는 상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환한다(420). 단계(420)는 촬영 환경, 촬영 센서 등의 차이로 인해 영상 간의 특성이 확연하게 차이를 갖는 영상들에 대해, 영상 변환 기법을 적용하여, 중간영상을 생성하는 역할을 할 수 있다.The inter-image comparison device 100 converts each of the plurality of images into a plurality of intermediate images using an image translation technique (420). Step 420 may play a role of generating intermediate images by applying an image conversion technique to images having distinctly different characteristics between images due to differences in photographing environments, photographing sensors, and the like.

영상 간 비교 장치(100)는, 상기 영상 변환 기법에 의한, 상기 복수의 영상의 변환을 통해, 동일한 도메인을 갖는 상기 중간영상을 생성 할 수 있다. 즉, 영상 간 비교 장치(100)는 특성에 확연한 차이를 갖는 영상들을, 영상 변환 기법을 적용하여 같은 도메인의 중간영상으로 변환 시킴으로써, 후속의 영상 정합을 위한 비교시 동일 조건하에서의 영상 비교로 보다 신속하고 정확한 영상 정합이 이루어지도록 할 수 있다.The apparatus 100 for comparing images between images may generate the intermediate image having the same domain through conversion of the plurality of images by the image conversion technique. That is, the image-to-image comparison device 100 converts images having distinct differences in characteristics into intermediate images of the same domain by applying an image conversion technique, so that image comparison under the same conditions is more rapid during subsequent image matching comparisons. and accurate image matching can be achieved.

상기 영상 변환 기법은, pix2pix, CycleGAN 및 StyleGAN 중 적어도 하나의 영상 생성 모델에 따른 학습에 의해, 영상을 중간영상으로 변환시키는 것 일 수 있다.The image conversion technique may be to convert an image into an intermediate image by learning according to at least one image generation model selected from pix2pix, CycleGAN, and StyleGAN.

Pix2Pix는 학습 과정에서 이미지 자체를 조건(condition)으로 입력받는 Conditional GAN의 한 유형으로 대표적인 image-to-image translation의 아키텍처 일 수 있다.Pix2Pix is a type of conditional GAN that receives the image itself as a condition in the learning process, and can be a typical image-to-image translation architecture.

CycleGAN은 unpaired dataset을 가지고 style을 변형시키는 Image to Image Translation의 아키텍처 일 수 있다. CycleGAN은 두 개의 다른 이미지가 매칭되지 않아도 이미지 변환을 가능하게 할 수 있다.CycleGAN can be an architecture of Image to Image Translation that transforms the style with an unpaired dataset. CycleGAN can enable image conversion even if two different images do not match.

StyleGAN은 영상(이미지)의 characteristic artifacts를 생성하고, 이 characteristic artifacts의 특징들을 분석하여 훈련하는 image-to-image translation의 아키텍처 일 수 있다.StyleGAN can be an image-to-image translation architecture that generates characteristic artifacts of video (images) and analyzes and trains the characteristics of these characteristic artifacts.

계속해서, 영상 간 비교 장치(100)는 상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합한다(430). 단계(430)는 영상 변환 기법에 의해 생성되는 중간영상을 비교하여, 양 영상 간에 정합을 수행하는 과정일 수 있다.Subsequently, the apparatus 100 for comparing images between the plurality of images is matched between the plurality of images by comparing the plurality of intermediate images through a comparison network (430). Step 430 may be a process of performing matching between the two images by comparing intermediate images generated by the image conversion technique.

비교 네트워크는 하나의 대상에 대해 촬영된 이종의 영상을, 하나의 좌표계로 나타내는 영상 정합(image registration)을 수행하는 수단으로서, 본 발명에서는 동일한 도메인으로 변환되어 생성된 중간영상들을 입력으로 하여, 영상 간 비교 할 수 있다.The comparison network is a means for performing image registration representing heterogeneous images captured for one object in one coordinate system. In the present invention, intermediate images generated by converting to the same domain are input, can be compared between

실시예에 따라, 영상 간 비교 장치(100)는 광학영상과 SAR영상을 대상으로 각각의 지도영상을 활용한 영상 간의 정합을 수행 할 수 있다.Depending on the embodiment, the inter-image comparison device 100 may perform matching between images using each map image for the optical image and the SAR image.

이를 위해, 영상 간 비교 장치(100)는 상기 복수의 영상으로서, 상기 위성으로부터 광학영상과 SAR영상을 수집할 수 있다.To this end, the image-to-image comparison device 100 may collect optical images and SAR images from the satellite as the plurality of images.

이후, 영상 간 비교 장치(100)는 GAN(Generative Adversarial Networks) 모델을 이용하여, 상기 광학영상에 대한 중간영상으로서의 제1 지도영상과, 상기 SAR영상 대한 중간영상으로서의 제2 지도영상을 생성 할 수 있다.Thereafter, the inter-image comparison device 100 may generate a first map image as an intermediate image for the optical image and a second map image as an intermediate image for the SAR image by using a Generative Adversarial Networks (GAN) model. there is.

GAN(생성적 대립 신경망) 모델은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습(ML: Machine Learning) 방식의 하나 일 수 있다.A generative adversarial network (GAN) model may be one of ML (Machine Learning) methods in which a generative model and a discriminant model compete to automatically create images, videos, voices, etc. close to reality.

본 발명에서는, GAN 모델이 광학영상과 SAR영상을 학습하고 공통점을 추론하여 광학영상과 SAR영상 각각에 관한 매우 정교한 지도영상을 만들어 낼 수 있다.In the present invention, the GAN model can learn the optical image and the SAR image and infer a common point to create a very sophisticated map image for each optical image and the SAR image.

즉, 영상 간 비교 장치(100)는 상기 광학영상과, 상기 광학영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제1 지도영상을 생성할 수 있다. 영상 간 비교 장치(100)는 광학영상을 GAN 모델에 입력하고, 상기 광학영상을 모사하는 제1 지도영상을 출력으로 획득 할 수 있다.That is, the apparatus 100 for comparing images between images may generate the first map image according to learning by the GAN model for a data set of the optical image and map parameters mapped to the optical image. The inter-image comparison apparatus 100 may input an optical image to a GAN model and obtain a first map image simulating the optical image as an output.

유사하게, 영상 간 비교 장치(100)는 상기 SAR영상과, 상기 SAR영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제2 지도영상을 생성 할 수 있다. 영상 간 비교 장치(100)는 SAR영상을 GAN 모델에 입력하고, 상기 SAR영상을 모사하는 제2 지도영상을 출력으로 획득 할 수 있다.Similarly, the apparatus 100 for comparing images between images may generate the second map image according to learning by the GAN model for a data set of the SAR image and map parameters mapped to the SAR image. . The inter-image comparison device 100 may input the SAR image to the GAN model and obtain a second map image simulating the SAR image as an output.

이후, 영상 간 비교 장치(100)는, 상기 제1 지도영상과 상기 제2 지도영상을 정합 네트워크를 통해 정합 할 수 있다. 즉, 영상 간 비교 장치(100)는, 동일한 도메인을 갖는 제1 지도영상과 제2 지도영상을, 정합 네트워크에서 정합 시킬 수 있다.Thereafter, the inter-image comparison device 100 may match the first map image and the second map image through a matching network. That is, the apparatus 100 for comparing images between images may match a first map image and a second map image having the same domain in a matching network.

정합 네트워크는 앞서의 비교 네트워크와 유사하게, 하나의 대상과 관련되어 생성되는 이종의 영상을, 하나의 좌표계로 나타내는 영상 정합을 수행하는 수단일 수 있다.Similar to the comparison network described above, the matching network may be a means for performing image matching representing heterogeneous images generated in relation to one object in one coordinate system.

실시예에 따라, 영상 간 비교 장치(100)는, 상기 위성으로부터 광학영상을 함께, 이종 광학영상, SAR영상, 지도 벡터 데이터 중 어느 하나의 타영상을 수집할 수 있다. 즉, 영상 간 비교 장치(100)는, 광학영상과 쌍을 이룰 다른 종류의 영상을 위성으로부터 수집할 수 있다. 여기서, 이종 광학영상은 광학영상을 촬영하는 센서와 다른 종류의 광학 센서에 의해 촬영되는 예컨대, 중저해상도 광학 영상일 수 있다.Depending on the embodiment, the inter-image comparison device 100 may collect an optical image from the satellite and another image of any one of heterogeneous optical images, SAR images, and map vector data. That is, the image comparison device 100 may collect other types of images to be paired with optical images from satellites. Here, the heterogeneous optical image may be, for example, a medium-low resolution optical image captured by a different type of optical sensor from the sensor for capturing the optical image.

영상 간 비교 장치(100)는, 광학영상과 타영상과의 쌍, 즉 '광학영상-이종 광학영상', 또는 '광학영상-SAR영상', 또는 '광학영상-지도 벡터 데이터'의 그룹에 대해 영상 변환 기법을 이용하여, 한 쌍의 중간영상을 생성할 수 있다.The inter-image comparison device 100, for a pair of an optical image and another image, that is, a group of 'optical image-heterogeneous optical image', 'optical image-SAR image', or 'optical image-map vector data' A pair of intermediate images may be generated using an image conversion technique.

이후, 영상 간 비교 장치(100)는, 상기 광학영상과 상기 타영상과 관련되어 변환된 한 쌍의 중간영상을 비교 네트워크를 통해 비교할 수 있다.Thereafter, the inter-image comparison device 100 may compare the optical image and a pair of intermediate images converted in relation to the other image through a comparison network.

본 발명의 실시예에 따르면, 인공신경망 기술을 활용하여 중간영상을 생성하고, 그 중간영상 간 비교를 통해 영상의 특징을 용이하게 식별 함으로써, 비교 영상 간의 특성이 매우 다른 경우라도 영상 간의 정합을 수행할 수 있게 하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치를 제공 할 수 있다.According to an embodiment of the present invention, by generating intermediate images using artificial neural network technology and easily identifying characteristics of the images through comparison between the intermediate images, matching between images is performed even when the characteristics of the compared images are very different. It is possible to provide a comparison method and device between images using an intermediate image converted through an artificial neural network, which enables

실시예에 따른 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The comparison method between images using an intermediate image converted through an artificial neural network according to an embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed on a networked computer system and stored or executed as a method of comparison between images using an intermediate image converted through a distributed artificial neural network. Software and data may be stored on one or more computer readable media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described inter-image comparison method using an intermediate image converted through an artificial neural network, and/or the components of the described system, structure, device, circuit, etc. are described. Even if it is combined or combined in a different form from the inter-image comparison method using the intermediate image converted through the artificial neural network, or replaced or substituted by other components or equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100 : 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치
110 : 수집부 120 : 처리부
130 : 비교정합부100: Inter-image comparison device using an intermediate image converted through an artificial neural network
110: collection unit 120: processing unit
130: comparison matching unit

Claims (13)

위성으로부터 복수의 영상을 수집하는 단계;
상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환하는 단계; 및
상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합하는 단계
를 포함하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.Collecting a plurality of images from satellites;
converting each of the plurality of images into a plurality of intermediate images using an image translation technique; and
Matching the plurality of images by comparing the plurality of intermediate images through a comparison network.
A comparison method between images using an intermediate image converted through an artificial neural network, including a. 제1항에 있어서,
상기 복수의 중간영상으로 변환하는 단계는,
상기 영상 변환 기법에 의한, 상기 복수의 영상의 변환을 통해, 동일한 도메인을 갖는 상기 중간영상을 생성하는 단계
를 포함하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.According to claim 1,
The step of converting the plurality of intermediate images,
generating the intermediate image having the same domain through conversion of the plurality of images by the image conversion technique;
A comparison method between images using an intermediate image converted through an artificial neural network, including a. 제1항에 있어서,
상기 영상 변환 기법은,
pix2pix, CycleGAN 및 StyleGAN 중 적어도 어느 하나의 영상 생성 모델에 따른 학습에 의해, 영상을 중간영상으로 변환시키는 것 인,
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.According to claim 1,
The image conversion technique,
Converting an image into an intermediate image by learning according to at least one image generation model of pix2pix, CycleGAN, and StyleGAN,
A comparison method between images using intermediate images converted through an artificial neural network. 제1항에 있어서,
상기 복수의 영상으로 상기 위성으로부터 광학영상과 SAR영상이 수집되는 경우,
GAN(Generative Adversarial Networks) 모델을 이용하여, 상기 광학영상에 대한 중간영상으로서의 제1 지도영상과, 상기 SAR영상 대한 중간영상으로서의 제2 지도영상을 생성하는 단계; 및
상기 제1 지도영상과 상기 제2 지도영상을 정합 네트워크를 통해 정합하는 단계
를 더 포함하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.According to claim 1,
When optical images and SAR images are collected from the satellite as the plurality of images,
generating a first map image as an intermediate image for the optical image and a second map image as an intermediate image for the SAR image by using a Generative Adversarial Networks (GAN) model; and
Matching the first map image and the second map image through a matching network
Comparison method between images using an intermediate image converted through an artificial neural network, further comprising. 제4항에 있어서,
상기 생성하는 단계는,
상기 광학영상과, 상기 광학영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제1 지도영상을 생성하는 단계; 및
상기 SAR영상과, 상기 SAR영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제2 지도영상을 생성하는 단계
를 포함하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.According to claim 4,
The generating step is
generating the first map image according to learning by the GAN model for a data set of the optical image and map parameters mapped to the optical image; and
Generating the second map image according to learning by the GAN model for a data set of the SAR image and map parameters mapped to the SAR image
A comparison method between images using an intermediate image converted through an artificial neural network, including a. 제1항에 있어서,
상기 위성으로부터 광학영상을 함께, 이종 광학영상, SAR영상, 지도 벡터 데이터 중 어느 하나의 타영상이 수집되는 경우,
상기 광학영상과 상기 타영상과 관련되어 변환된 한 쌍의 중간영상을 비교 네트워크를 통해 비교하는 단계
를 더 포함하는 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법.According to claim 1,
When an optical image from the satellite is collected together with any other image among heterogeneous optical images, SAR images, and map vector data,
Comparing a pair of intermediate images converted in relation to the optical image and the other image through a comparison network
A comparison method between images using an intermediate image converted through an artificial neural network further comprising. 위성으로부터 복수의 영상을 수집하는 수집부;
상기 복수의 영상 각각을 영상 변환(Image Translation) 기법을 이용하여, 복수의 중간영상으로 변환하는 처리부; 및
상기 복수의 중간영상을 비교 네트워크를 통해 비교 함으로써, 상기 복수의 영상 간을 정합하는 비교정합부
를 포함하는, 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.a collection unit that collects a plurality of images from satellites;
a processing unit that converts each of the plurality of images into a plurality of intermediate images using an image translation technique; and
A comparison matching unit for matching the plurality of intermediate images by comparing the plurality of intermediate images through a comparison network.
A comparison device between images using an intermediate image converted through an artificial neural network, including a. 제7항에 있어서,
상기 처리부는,
상기 영상 변환 기법에 의한, 상기 복수의 영상의 변환을 통해, 동일한 도메인을 갖는 상기 중간영상을 생성하는
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.According to claim 7,
The processing unit,
Generating the intermediate image having the same domain through conversion of the plurality of images by the image conversion technique
A comparison device between images using an intermediate image converted through an artificial neural network. 제7항에 있어서,
상기 영상 변환 기법은,
pix2pix, CycleGAN 및 StyleGAN 중 적어도 하나의 영상 생성 모델에 따른 학습에 의해, 영상을 중간영상으로 변환시키는 것 인,
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.According to claim 7,
The image conversion technique,
Converting an image into an intermediate image by learning according to at least one image generation model of pix2pix, CycleGAN, and StyleGAN,
A comparison device between images using an intermediate image converted through an artificial neural network. 제7항에 있어서,
상기 복수의 영상으로 상기 위성으로부터 광학영상과 SAR영상이 수집되는 경우,
상기 처리부는,
GAN(Generative Adversarial Networks) 모델을 이용하여, 상기 광학영상에 대한 중간영상으로서의 제1 지도영상과, 상기 SAR영상 대한 중간영상으로서의 제2 지도영상을 생성하고,
상기 비교정합부는,
상기 제1 지도영상과 상기 제2 지도영상을 정합 네트워크를 통해 정합하는
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.According to claim 7,
When optical images and SAR images are collected from the satellite as the plurality of images,
The processing unit,
Using a Generative Adversarial Networks (GAN) model, generating a first map image as an intermediate image for the optical image and a second map image as an intermediate image for the SAR image;
The comparison matching unit,
Matching the first map image and the second map image through a matching network
A comparison device between images using an intermediate image converted through an artificial neural network. 제10항에 있어서,
상기 처리부는,
상기 광학영상과, 상기 광학영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제1 지도영상을 생성하고,
상기 SAR영상과, 상기 SAR영상에 매핑된 지도 파라메타와의 데이터 셋에 대한, 상기 GAN 모델에 의한 학습에 따라, 상기 제2 지도영상을 생성하는
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.According to claim 10,
The processing unit,
generating the first map image according to learning by the GAN model for a data set of the optical image and map parameters mapped to the optical image;
Generating the second map image according to learning by the GAN model for a data set of the SAR image and map parameters mapped to the SAR image
A comparison device between images using an intermediate image converted through an artificial neural network. 제7항에 있어서,
상기 위성으로부터 광학영상을 함께, 이종 광학영상, SAR영상, 지도 벡터 데이터 중 어느 하나의 타영상이 수집되는 경우,
상기 비교정합부는,
상기 광학영상과 상기 타영상과 관련되어 변환된 한 쌍의 중간영상을 비교 네트워크를 통해 비교하는
인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 장치.According to claim 7,
When an optical image from the satellite is collected together with any other image among heterogeneous optical images, SAR images, and map vector data,
The comparison matching unit,
Comparing a pair of intermediate images converted in relation to the optical image and the other image through a comparison network
A comparison device between images using an intermediate image converted through an artificial neural network. 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium recording a program for executing the method of any one of claims 1 to 6.
KR1020210176499A 2021-12-10 2021-12-10 Method and apparatus for comparing images using intermediate images converted through artificial neural network KR102659347B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210176499A KR102659347B1 (en) 2021-12-10 2021-12-10 Method and apparatus for comparing images using intermediate images converted through artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210176499A KR102659347B1 (en) 2021-12-10 2021-12-10 Method and apparatus for comparing images using intermediate images converted through artificial neural network

Publications (2)

Publication Number Publication Date
KR20230087879A true KR20230087879A (en) 2023-06-19
KR102659347B1 KR102659347B1 (en) 2024-04-19

Family

ID=86988616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210176499A KR102659347B1 (en) 2021-12-10 2021-12-10 Method and apparatus for comparing images using intermediate images converted through artificial neural network

Country Status (1)

Country Link
KR (1) KR102659347B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057885A (en) * 2017-11-21 2019-05-29 한국전자통신연구원 3d reconstruction terrain matching method of and apparatus thereof
KR102285530B1 (en) * 2021-03-09 2021-08-04 주식회사 에스아이에이 Method for processing image for registration
KR102296220B1 (en) * 2021-03-16 2021-08-31 국방과학연구소 Building extraction method for synthetic aperture radar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057885A (en) * 2017-11-21 2019-05-29 한국전자통신연구원 3d reconstruction terrain matching method of and apparatus thereof
KR102285530B1 (en) * 2021-03-09 2021-08-04 주식회사 에스아이에이 Method for processing image for registration
KR102296220B1 (en) * 2021-03-16 2021-08-31 국방과학연구소 Building extraction method for synthetic aperture radar

Also Published As

Publication number Publication date
KR102659347B1 (en) 2024-04-19

Similar Documents

Publication Publication Date Title
Ma et al. GANMcC: A generative adversarial network with multiclassification constraints for infrared and visible image fusion
Kumar et al. An object detection technique for blind people in real-time using deep neural network
CN111161315B (en) Multi-target tracking method and system based on graph neural network
CN111368766B (en) Deep learning-based cow face detection and recognition method
JP2018028899A5 (en)
CN111814661A (en) Human behavior identification method based on residual error-recurrent neural network
CN110415297B (en) Positioning method and device and unmanned equipment
CN112200057A (en) Face living body detection method and device, electronic equipment and storage medium
CN109784205B (en) Intelligent weed identification method based on multispectral inspection image
CN114241505A (en) Method and device for extracting chemical structure image, storage medium and electronic equipment
CN115393404A (en) Double-light image registration method, device and equipment and storage medium
US20220188975A1 (en) Image conversion device, image conversion model learning device, method, and program
CN112507893A (en) Distributed unsupervised pedestrian re-identification method based on edge calculation
CN114494242A (en) Time series data detection method, device, equipment and computer storage medium
Chowdhury et al. Automated augmentation with reinforcement learning and GANs for robust identification of traffic signs using front camera images
CN111259700B (en) Method and apparatus for generating gait recognition model
Khatri et al. Detection of animals in thermal imagery for surveillance using GAN and object detection framework
KR101705584B1 (en) System of Facial Feature Point Descriptor for Face Alignment and Method thereof
CN114092804A (en) Method and device for identifying remote sensing image
KR102251704B1 (en) Method and Apparatus for Detecting Object Using Relational Query
KR102659347B1 (en) Method and apparatus for comparing images using intermediate images converted through artificial neural network
KR102101481B1 (en) Apparatus for lenrning portable security image based on artificial intelligence and method for the same
JP7253967B2 (en) Object matching device, object matching system, object matching method, and computer program
Vismaya et al. Fuzzy c-means algorithm based depth estimation in single image
Srivastava et al. Matching disparate image pairs using shape-aware convnets

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant