KR102427293B1

KR102427293B1 - Apparatus and method for fusing images of multiple wavelength bands

Info

Publication number: KR102427293B1
Application number: KR1020210012484A
Authority: KR
Inventors: 이민석; 하남구; 장현성; 김동건
Original assignee: 국방과학연구소
Priority date: 2021-01-28
Filing date: 2021-01-28
Publication date: 2022-07-29

Abstract

The present disclosure relates to an image fusion apparatus for fusing a plurality of input images having multiple wavelength bands. The image fusion apparatus according to the present disclosure comprises: an input image registration unit for registering a first input image and a second input image; a region separation unit for dividing an image region into a foreground object region and a background region in a first registered image and a second registered image output by the input image registration unit, and generating a patch pair for the foreground object region and a background pair for the background region; a foreground object region fusion unit for generating a foreground object region fusion image by combining patch images of the patch pair in the foreground object region; a background region fusion unit for generating a background region fusion image by combining background region images of the background pair in the background region; and an image integration unit for generating an integrated image based on the foreground object region fusion image and the background region fusion image.

Description

Apparatus and method for fusing images of multiple wavelength bands

본 개시(disclosure)는 일반적으로 영상들을 융합하는 방법에 관한 것으로, 보다 구체적으로 서로 다른 파장 대역을 가지는 복수의 입력 영상들을 융합하기 위한 장치 및 방법에 관한 것이다.The present disclosure generally relates to a method of fusing images, and more particularly, to an apparatus and method for fusing a plurality of input images having different wavelength bands.

영상 융합(image fusion)은 서로 다른 공간 해상도를 가지는 영상들을 하나의 영상으로 통합하여 보다 높은 분광 및 공간 해상도의 하나의 영상으로 병합하는 기술을 지시한다. 서로 다른 파장 대역들에 관한 복수의 입력 영상들이 융합되고, 복수의 입력 영상들 각각으로부터 식별 가능한 상이한 정보가 하나의 영상에 표현될 수 있다. 그에 따라 생성된 하나의 영상은 각각의 파장 대역에서 촬영 가능한 중요 정보를 포함한다. Image fusion refers to a technique for integrating images having different spatial resolutions into one image and merging them into one image having higher spectral and spatial resolution. A plurality of input images relating to different wavelength bands may be fused, and different information identifiable from each of the plurality of input images may be expressed in one image. Accordingly, one image generated includes important information that can be captured in each wavelength band.

다중 파장 대역들에 관한 영상 촬영 장치의 종류는 가시 광선을 이용하는 일반 카메라, 근적외선(short wavelength infrared, SWIR), 중적외선(medium wavelength infrared, MWIR 또는 원적외선(long wavelength infrared, LWIR)을 이용한 적외선 카메라, 자외선 카메라, 및 초음파 카메라 등이 있다. 각각의 카메라들은 파장 대역이 달라 중점적으로 촬영되는 특징들이 상이하다. 그에 따라, 가시광선 카메라, SWIR, MWIR, LWIR에 관한 적외선 카메라 등 다중 파장 대역에서 촬영된 영상을 융합하는 경우, 상호 보완적인 정보가 모두 포함되도록 조정하는 것이 중요하다. The types of imaging devices for multiple wavelength bands include a general camera using visible light, an infrared camera using short wavelength infrared (SWIR), medium wavelength infrared (MWIR) or long wavelength infrared (LWIR), There are ultraviolet cameras, ultrasonic cameras, etc. Each camera has different wavelength bands, so the features that focus on shooting are different.Therefore, there are visible light cameras, SWIR, MWIR, LWIR infrared cameras, etc. When merging images, it is important to adjust so that all complementary information is included.

영상 융합 기술은 융합이 발생하는 영상 표현 수준에 따라 픽셀 수준(pixel-level) 영상 융합, 특징 수준(feature-level) 영상 융합, 결정 수준(decision-level) 영상 융합으로 분류될 수 있다. 픽셀 수준 영상 융합은 복수의 입력 영상들에 관한 정합(registration)을 수행한 후에 픽셀 단위로 결합하는 방법을 지시한다. 특징 수준 영상 융합은 입력 영상으로부터 특정한 목적을 위해 추출한 특징을 기반으로 영상을 융합하는 방법을 지시한다. 결정 수준 영상 융합은 서로 다른 입력 영상에서 해석(interpretation)을 통해 얻은 이해(understanding)를 기반으로 영상을 융합하는 방법을 지시한다.Image fusion technology may be classified into pixel-level image fusion, feature-level image fusion, and decision-level image fusion according to the image expression level at which the fusion occurs. Pixel-level image fusion indicates a method of combining a plurality of input images in units of pixels after registration is performed. Feature-level image fusion refers to a method of fusing images based on features extracted for a specific purpose from an input image. Decision-level image fusion refers to a method of fusing images based on understanding obtained through interpretation from different input images.

종래의 픽셀 수준 영상 융합과 특징 수준 영상 융합 방법에 따르면, 영상 융합이 이상적으로 수행되기 위하여 여러 입력 센서의 위치 및 시야각(field-of-view)과 해상도(resolution)가 일치해야 한다. 이러한 조건을 모두 만족하는 센서를 구현하는 것은 불가능하고, 물리적인 특성을 극복하기 위해 여러 영상 처리 기법을 사용하여도 센서 노이즈 및 잘못된 정합에 취약한 문제가 있다. 추가로, 픽셀 수준 영상 융합과 특징 수준 영상 융합은 유용성이 없는 정보를 생성 할 가능성이 높다.According to the conventional pixel-level image fusion and feature-level image fusion methods, in order to ideally perform image fusion, the positions, field-of-view, and resolution of various input sensors must match. It is impossible to implement a sensor that satisfies all of these conditions, and even if various image processing techniques are used to overcome the physical characteristics, there is a problem of being vulnerable to sensor noise and mismatching. Additionally, pixel-level image fusion and feature-level image fusion are likely to generate information that is not useful.

또한, 종래의 결정 수준 영상 융합 방법에 따르면, 객체 검출 또는 시각적 관심 지도를 추정하여 영상 융합이 수행되기 때문에, 각 입력 영상에서 특징이 두드러진 위치가 대략적으로 활용될 수 있다. 그러나, 여러 입력 영상 중 검출된 객체 및 시각적 관심도가 높은 부분을 그대로 기준 영상에 쌓는(stacking) 수준이기 때문에, 정확한 영상 융합이 수행될 수 없는 문제가 있다.In addition, according to the conventional decision-level image fusion method, since image fusion is performed by object detection or by estimating a visual interest map, a position where a feature is prominent in each input image can be roughly utilized. However, there is a problem in that accurate image fusion cannot be performed because the detected object and parts of high visual interest among various input images are stacked on the reference image as they are.

상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는 서로 다른 파장 대역을 가지는 입력 영상들을 융합하기 위한 장치 및 방법을 제공한다.Based on the above discussion, the present disclosure provides an apparatus and method for fusing input images having different wavelength bands.

또한, 본 개시는 서로 다른 파장 대역을 가지는 영상들에서, 객체를 식별하고 객체에 관련된 전경 객체 영역과 배경 영역으로 구분하기 위한 장치 및 방법을 제공한다.Also, the present disclosure provides an apparatus and method for identifying an object in images having different wavelength bands and dividing the object into a foreground object area and a background area related to the object.

또한, 본 개시는 서로 다른 파장 대역을 가지는 영상들에서, 전경 객체 영역 영상과 배경 영역 영상을 융합하기 위한 장치 및 방법을 제공한다.Also, the present disclosure provides an apparatus and method for fusing a foreground object region image and a background region image in images having different wavelength bands.

본 개시의 다양한 실시 예들에 따르면, 다중 파장 대역을 가지는 복수의 입력 영상들을 융합하는 영상 융합 장치는 제1 입력 영상과 제2 입력 영상을 정합(registration)하는 입력 영상 정합부, 상기 입력 영상 정합부가 출력하는 제1 정합 영상과 제2 정합 영상에서, 영상의 영역을 전경 객체 영역과 배경 영역을 구분하고, 상기 전경 객체 영역에 관한 패치 페어(patch pair)와, 상기 배경 영역에 관한 배경 페어(pair)를 생성하는 영역 분리부, 상기 전경 객체 영역에서 상기 패치 페어의 패치 영상들을 결합하여 전경 객체 영역 융합 영상을 생성하는 전경 객체 영역 융합부, 상기 배경 영역에서 상기 배경 페어의 배경 영역 영상들을 결합하여 배경 영역 융합 영상을 생성하는 배경 영역 융합부, 및 상기 전경 객체 영역 융합 영상과 상기 배경 영역 융합 영상에 기반하여 통합 영상을 생성하는 영상 통합부를 포함한다.According to various embodiments of the present disclosure, an image fusion apparatus for fusing a plurality of input images having a multi-wavelength band includes an input image matching unit that registers a first input image and a second input image, and the input image matching unit In the output first and second matched images, an image region is divided into a foreground object region and a background region, and a patch pair for the foreground object region and a background pair for the background region are separated. ), a foreground object region fusion unit that combines the patch images of the patch pair in the foreground object region to generate a foreground object region fusion image, and combines the background region images of the background pair in the background region a background region fusion unit generating a background region fusion image; and an image integrator generating an integrated image based on the foreground object region fusion image and the background region fusion image.

다른 일 실시 예에 따르면, 상기 입력 영상 정합부는 상기 제1 입력 영상에서 검출되는 제1 윤곽선으로부터 제1 특징을 추출하고, 상기 제2 입력 영상에서 검출되는 제2 윤곽선으로부터 제2 특징을 추출하고, 상기 제2 특징이 상기 제1 특징에 대응되는지 여부를 결정하고, 상기 제2 입력 영상과 상기 제1 입력 영상의 변환 관계에 관한 호모그래피 추정(homography estimation)을 수행하고, 상기 제2 입력 영상이 상기 제1 입력 영상에 대응되도록 영상 와핑(warping)을 수행한다.According to another embodiment, the input image matching unit extracts a first feature from a first contour detected in the first input image, extracts a second feature from a second contour detected in the second input image, It is determined whether the second feature corresponds to the first feature, and homography estimation is performed on a transformation relationship between the second input image and the first input image, and the second input image is Image warping is performed to correspond to the first input image.

다른 일 실시 예에 따르면, 상기 영역 분리부는, 상기 제1 정합 영상과 상기 제2 정합 영상에서, 딥러닝(deep learning) 기반 객체 분류를 통해 객체를 식별하고, 상기 제1 정합 영상과 상기 제2 정합 영상에서, 상기 식별된 객체에 관한 정확도 정보와 위치 정보를 획득하고, 상기 위치 정보에 기반하여, 상기 전경 객체 영역에 관한 패치 페어를 생성하고, 상기 패치 페어에 기반하여, 상기 배경 영역에 관한 배경 페어를 생성한다.According to another embodiment, the region separator may be configured to identify an object from the first matched image and the second matched image through deep learning-based object classification, and the first matched image and the second Acquire accuracy information and location information about the identified object from the matching image, generate a patch pair for the foreground object area based on the location information, and generate a patch pair for the background area based on the patch pair Create a background pair.

다른 일 실시 예에 따르면, 상기 영역 분리부는 상기 제1 정합 영상과 상기 제2 정합 영상에서 상기 객체가 검출된 경우, 상기 제1 정합 영상에서 상기 객체의 위치에 관한 제1 객체 영역과 상기 제2 정합 영상에서 객체의 위치에 관한 제2 객체 영역에 기반하여 IOU(intersection over union) 값을 결정하고, 상기 IOU 값이 미리 설정된 제1 임계 값 이상인 경우, 상기 제1 객체 영역과 상기 제2 객체 영역을 이용하여 패치 페어를 생성한다.According to another exemplary embodiment, when the object is detected in the first matched image and the second matched image, the region separator includes a first object region and the second object region in the first matched image. An intersection over union (IOU) value is determined based on a second object region related to the position of an object in the matched image, and when the IOU value is equal to or greater than a preset first threshold value, the first object region and the second object region to create a patch pair.

다른 일 실시 예에 따르면, 상기 영역 분리부는, 상기 제1 정합 영상 또는 상기 제2 정합 영상 중 하나에서 상기 객체가 검출되는 경우, 객체가 검출된 정합 영상에서 상기 객체의 영역과, 나머지 정합 영상에서 상기 객체의 영역에 대응되는 객체의 영역을 이용하여 패치 페어를 생성한다.According to another embodiment, when the object is detected in one of the first matched image and the second matched image, the region separator is configured to include a region of the object in a registered image in which the object is detected, and a region of the object in the other registered images. A patch pair is generated using an object area corresponding to the object area.

다른 일 실시 예에 따르면, 상기 영역 분리부는, 상기 제1 정합 영상과 상기 제2 정합 영상에서 상기 패치 페어의 영역에 관한 픽셀 강도를 감소시켜, 배경 페어를 생성한다.According to another exemplary embodiment, the region separating unit generates a background pair by reducing pixel intensity with respect to a region of the patch pair in the first matched image and the second matched image.

다른 일 실시 예에 따르면, 상기 전경 객체 영역 융합부는, 상기 패치 페어에서 기준 프레임(frame)이 되는 기준 패치를 식별하고, 상기 기준 패치를 기반으로, 상기 패치 페어의 패치 영상들을 결합한다.According to another embodiment, the foreground object region fusion unit identifies a reference patch serving as a reference frame in the patch pair, and combines the patch images of the patch pair based on the reference patch.

다른 일 실시 예에 따르면, 상기 전경 객체 영역 융합부는, 상기 제1 정합 영상과 상기 제2 정합 영상에서 상기 객체가 검출된 경우, 상기 제1 정합 영상에서 상기 객체의 정확도 정보와 상기 제2 정합 영상에서 상기 객체의 정확도 정보에 기반하여 기준 패치를 식별한다.According to another embodiment, when the object is detected in the first matched image and the second matched image, the foreground object region fusion unit may include accuracy information of the object in the first matched image and the second matched image. identifies the reference patch based on the accuracy information of the object.

다른 일 실시 예에 따르면, 상기 전경 객체 영역 융합부는, 상기 제1 정합 영상과 상기 제2 정합 영상 중 하나에서 상기 객체가 검출되는 경우, 객체가 검출된 정합 영상에서 상기 객체의 영역을 기준 패치로 식별한다.According to another embodiment, when the object is detected in one of the first registered image and the second registered image, the foreground object region fusion unit uses the region of the object in the registered image in which the object is detected as a reference patch. identify

다른 일 실시 예에 따르면, 상기 배경 영역 융합부는, 상기 배경 페어에서 기준 프레임이 되는 기준 배경 영역을 식별하고, 상기 기준 배경 영역을 기반으로, 상기 배경 페어의 배경 영역 영상들을 결합한다.According to another embodiment, the background region fusion unit identifies a reference background region serving as a reference frame in the background pair, and combines the background region images of the background pair based on the reference background region.

다른 일 실시 예에 따르면, 상기 배경 영역 융합부는, 상기 제1 정합 영상에서 픽셀 위치의 픽셀 값과 상기 제2 정합 영상에서 상기 픽셀 위치의 픽셀 값의 차이에 관한 배경 영역 차이 값을 결정하고, 상기 배경 영역 차이 값과 미리 설정된 제2 임계 값에 기반하여 상기 기준 배경 영역을 식별한다.According to another embodiment, the background region fusion unit determines a background region difference value with respect to a difference between a pixel value at a pixel position in the first matched image and a pixel value at the pixel position in the second matched image, and The reference background area is identified based on a background area difference value and a preset second threshold value.

다른 일 실시 예에 따르면, 상기 복수의 입력 영상들은 가시광선 대역 영상, SWIR(short wave infrared) 대역 영상, MWIR(medium wavelength infrared) 대역 영상, LWIR(long wavelength infrared) 대역 영상 중 적어도 하나를 포함한다.According to another embodiment, the plurality of input images include at least one of a visible ray band image, a short wave infrared (SWIR) band image, a medium wavelength infrared (MWIR) band image, and a long wavelength infrared (LWIR) band image. .

다른 일 실시 예에 따르면, 다중 파장 대역을 가지는 복수의 입력 영상들을 융합하는 영상 융합 장치의 동작 방법은 제1 입력 영상과 제2 입력 영상을 정합(registration)을 수행 하는 단계, 제1 정합 영상과 제2 정합 영상에서, 영상의 영역을 전경 객체 영역과 배경 영역을 구분하고, 상기 전경 객체 영역에 관한 패치 페어(patch pair)와 상기 배경 영역에 관한 배경 페어(pair)를 생성하는 단계, 상기 패치 페어의 패치 영상들을 결합하여, 전경 객체 영역 융합 영상을 생성하는 단계, 상기 배경 페어의 배경 영역 영상들을 결합하여, 배경 영역 융합 영상을 생성하는 단계, 및 상기 전경 객체 영역 융합 영상과 상기 배경 영역 융합 영상에 기반하여 통합 영상을 생성하는 단계를 포함한다.According to another embodiment, a method of operating an image fusion apparatus for fusing a plurality of input images having multiple wavelength bands includes performing registration of a first input image and a second input image, the first registered image and the In a second matched image, dividing an image region from a foreground object region and a background region, and generating a patch pair for the foreground object region and a background pair for the background region, the patch combining the pair of patch images to generate a foreground object region fusion image, combining the background region images of the background pair to generate a background region fusion image, and fusion of the foreground object region fusion image and the background region and generating an integrated image based on the image.

다른 일 실시 예에 따르면, 상기 패치 페어와 배경 페어를 생성하는 단계는 상기 제1 정합 영상과 상기 제2 정합 영상에서, 딥러닝(deep learning) 기반 객체 분류를 통해 객체를 식별하는 단계, 상기 제1 정합 영상과 상기 제2 정합 영상에서, 상기 식별된 객체에 관한 정확도 정보와 위치 정보를 획득하는 단계, 상기 위치 정보에 기반하여, 상기 전경 객체 영역에 관한 패치 페어를 생성하는 단계, 및 상기 패치 페어에 기반하여, 상기 배경 영역에 관한 배경 페어를 생성하는 단계를 포함한다.According to another embodiment, the generating of the patch pair and the background pair comprises: identifying an object from the first matched image and the second matched image through deep learning-based object classification; Acquiring accuracy information and location information about the identified object from a first matched image and the second matched image, generating a patch pair about the foreground object region based on the location information, and the patch and generating a background pair for the background region based on the pair.

본 발명의 다양한 각각의 측면들 및 특징들은 첨부된 청구항들에서 정의된다. 종속 청구항들의 특징들의 조합들(combinations)은, 단지 청구항들에서 명시적으로 제시되는 것뿐만 아니라, 적절하게 독립항들의 특징들과 조합될 수 있다.Various respective aspects and features of the invention are defined in the appended claims. Combinations of features of the dependent claims may be combined with features of the independent claims as appropriate, not just expressly set forth in the claims.

또한, 본 개시에 기술된 임의의 하나의 실시 예(any one embodiment) 중 선택된 하나 이상의 특징들은 본 개시에 기술된 임의의 다른 실시 예 중 선택된 하나 이상의 특징들과 조합될 수 있으며, 이러한 특징들의 대안적인 조합이 본 개시에 논의된 하나 이상의 기술적 문제를 적어도 부분적으로 경감시키거나, 본 개시로부터 통상의 기술자에 의해 식별될 수 있는(discernable) 기술적 문제를 적어도 부분적으로 경감시키고, 나아가 실시 예의 특징들(embodiment features)의 이렇게 형성된 특정한 조합(combination) 또는 순열(permutation)이 통상의 기술자에 의해 양립 불가능한(incompatible) 것으로 이해되지만 않는다면, 그 조합은 가능하다.In addition, one or more features selected in any one embodiment described in this disclosure may be combined with one or more features selected in any other embodiment described in this disclosure, and alternatives to these features a combination of at least partially alleviates one or more technical problems discussed in the present disclosure, or at least partially alleviates technical problems that can be discerned by a person skilled in the art from the present disclosure, and furthermore features of embodiments ( The combination is possible, provided that a specific combination or permutation so formed of the embodiment features is not understood by a person skilled in the art as incompatible.

본 개시에 기술된 임의의 예시 구현(any described example implementation)에 있어서 둘 이상의 물리적으로 별개의 구성 요소들은 대안적으로, 그 통합이 가능하다면 단일 구성 요소로 통합될 수도 있으며, 그렇게 형성된 단일한 구성 요소에 의해 동일한 기능이 수행된다면, 그 통합은 가능하다. 반대로, 본 개시에 기술된 임의의 실시 예(any embodiment)의 단일한 구성 요소는 대안적으로, 적절한 경우, 동일한 기능을 달성하는 둘 이상의 별개의 구성 요소들로 구현될 수도 있다.In any described example implementation, two or more physically separate components may alternatively be integrated into a single component if their integration is possible, and the single component so formed If the same function is performed by , the integration is possible. Conversely, a single component of any embodiment described in the present disclosure may alternatively be implemented with two or more separate components that achieve the same function, where appropriate.

본 발명의 특정 실시 예들(certain embodiments)의 목적은 종래 기술과 관련된 문제점 및/또는 단점들 중 적어도 하나를, 적어도 부분적으로, 해결, 완화 또는 제거하는 것에 있다. 특정 실시 예들(certain embodiments)은 후술하는 장점들 중 적어도 하나를 제공하는 것을 목적으로 한다.It is an object of certain embodiments of the present invention to solve, mitigate, or eliminate, at least in part, at least one of the problems and/or disadvantages associated with the prior art. Certain embodiments aim to provide at least one of the advantages described below.

본 개시의 다양한 실시 예들에 따른 장치 및 방법은 서로 다른 파장 대역을 가지는 입력 영상들이 융합될 수 있게 한다.The apparatus and method according to various embodiments of the present disclosure enable input images having different wavelength bands to be fused.

또한 본 개시는 다중 파장 대역의 입력 영상에서 객체에 관한 정보를 활용함으로써, 전경 객체 영역 및 배경 영역을 명확하기 구분할 수 있게 한다. In addition, the present disclosure makes it possible to clearly distinguish a foreground object region and a background region by utilizing information about an object in an input image of a multi-wavelength band.

또한, 본 개시는 픽셀 수준 영상 융합 방법, 특징 수준 영상 융합 방법, 및 결정 수준 영상 융합 방법을 모두 적용함으로써, 입력 영상들이 높은 정확도로 융합될 수 있게 한다.In addition, the present disclosure applies all of the pixel-level image fusion method, the feature-level image fusion method, and the decision-level image fusion method, so that input images can be fused with high accuracy.

또한, 본 개시는 전경 객체 영역과 배경 영역에서 일정한 기준으로 기준 영역을 선택함으로써, 중요한 신호 특성을 가지는 영상을 기준으로 중요한 특징 정보를 보존할 수 있게 한다.In addition, the present disclosure selects a reference area from the foreground object area and the background area based on a predetermined criterion, thereby preserving important characteristic information based on an image having important signal characteristics.

또한, 본 개시는 객체 분류기, 픽셀 수준 또는 특징 수준 영상 융합 방법, 결정 수준 영상 융합 방법을 선택적으로 사용함으로써, 사용자의 목적에 대응되도록 영상이 융합될 수 있게 한다.In addition, the present disclosure selectively uses an object classifier, a pixel-level or feature-level image fusion method, and a decision-level image fusion method, so that images can be fused to correspond to a user's purpose.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the description below. will be.

도 1은 본 개시의 다양한 실시 예들에 따른 영상 융합 장치를 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른, 영상 융합 장치의 영상 융합 방법에 관한 흐름도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른, 복수의 입력 영상들을 정합하는 영상 융합 장치의 동작 방법에 관한 흐름도를 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른, 복수의 정합 영상들에서 패치 페어를 생성하는 방법에 관한 일 예를 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른, 융합 영상의 일 예를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른, 전경 객체 영역 융합 영상을 생성하는 방법에 관한 일 예를 도시한다.
도 7은 본 개시의 다양한 실시 예들에 따른, 배경 영역 융합 영상을 생성하는 방법에 관한 일 예를 도시한다.
도 8은 본 개시의 다양한 실시 예들에 따른, 영상 융합 장치의 동작 방법에 관한 흐름도를 도시한다.1 illustrates an image fusion apparatus according to various embodiments of the present disclosure.
2 is a flowchart illustrating an image fusion method of an image fusion apparatus according to various embodiments of the present disclosure.
3 is a flowchart illustrating a method of operating an image fusion apparatus for matching a plurality of input images, according to various embodiments of the present disclosure.
4 illustrates an example of a method of generating a patch pair from a plurality of matched images, according to various embodiments of the present disclosure.
5 illustrates an example of a fusion image according to various embodiments of the present disclosure.
6 illustrates an example of a method of generating a foreground object region fusion image according to various embodiments of the present disclosure.
7 illustrates an example of a method of generating a background region fusion image according to various embodiments of the present disclosure.
8 is a flowchart illustrating a method of operating an image fusion apparatus according to various embodiments of the present disclosure.

본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.Terms used in the present disclosure are used only to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described in the present disclosure. Among the terms used in the present disclosure, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in the present disclosure, ideal or excessively formal meanings is not interpreted as In some cases, even terms defined in the present disclosure cannot be construed to exclude embodiments of the present disclosure.

이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.In various embodiments of the present disclosure described below, a hardware access method will be described as an example. However, since various embodiments of the present disclosure include technology using both hardware and software, various embodiments of the present disclosure do not exclude a software-based approach.

이하 본 개시는 영상들을 융합하기 위한 장치 및 방법에 관한 것이다. 구체적으로, 본 개시는 서로 다른 파장 대역을 가지는 입력 영상들을 융합하기 위한 하기 위한 기술을 설명한다.Hereinafter, the present disclosure relates to an apparatus and method for fusing images. Specifically, the present disclosure describes a technique for fusing input images having different wavelength bands.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 명세서에 개시된 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present disclosure pertains can easily implement it. However, since the technical spirit of the present disclosure may be modified and implemented in various forms, it is not limited to the embodiments described herein. In the description of the embodiments disclosed in the present specification, when it is determined that a detailed description of a related known technology may obscure the gist of the present disclosure, a detailed description of the known technology will be omitted. The same or similar components are given the same reference numerals, and overlapping descriptions thereof will be omitted.

본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.In the present specification, when an element is described as being "connected" with another element, it includes not only the case of being "directly connected" but also the case of being "indirectly connected" with another element interposed therebetween. When an element "includes" another element, it means that another element may be further included without excluding another element in addition to other elements unless otherwise stated.

일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.Some embodiments may be described in terms of functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function. The functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks of the present disclosure may be implemented as an algorithm running on one or more processors. Functions performed by a functional block of the present disclosure may be performed by a plurality of functional blocks, or functions performed by a plurality of functional blocks in the present disclosure may be performed by one functional block. Also, the present disclosure may employ prior art for electronic configuration, signal processing, and/or data processing, and the like.

또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용되었으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. In addition, in the present disclosure, in order to determine whether a specific condition is satisfied or fulfilled, an expression of more than or less than is used, but this is only a description to express an example, and more or less description is excluded. not to do Conditions described as 'more than' may be replaced with 'more than', conditions described as 'less than', and conditions described as 'more than and less than' may be replaced with 'more than and less than'.

도 1은 본 개시의 다양한 실시 예들에 따른 영상 융합 장치(100)를 도시한다. 이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 영상 융합 장치는 통신부, 저장부, 및 제어부를 포함한다. 저장부, 통신부, 및 제어부는 기능적으로 결합되는 적어도 하나의 프로세서의하여 동작할 수 있다.1 illustrates an image fusion apparatus 100 according to various embodiments of the present disclosure. Hereinafter used '… wealth', '… The term 'group' means a unit for processing at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. The image fusion apparatus includes a communication unit, a storage unit, and a control unit. The storage unit, the communication unit, and the control unit may be operated by at least one processor that is functionally coupled.

도 1을 참고하면, 영상 융합 장치(100)는 입력 영상 정합부(101), 영역 분리부(103), 전경 객체 영역 융합부(105), 배경 영역 융합부(107), 영상 통합부(109)를 포함한다.Referring to FIG. 1 , the image fusion apparatus 100 includes an input image matching unit 101 , a region dividing unit 103 , a foreground object region fusion unit 105 , a background region fusion unit 107 , and an image integrator 109 . ) is included.

입력 영상 정합부(101)는 입력 받은 영상들을 정합(registration)하는 기능을 수행한다. 영상 정합은 상이한 시간 또는 상이한 관점에서 촬영된 장면(scene)이나 객체에 관한 영상들에 대하여, 적어도 하나의 영상을 변형하여 하나의 좌표계에 표현하는 방법을 지시한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 복수의 입력 영상들을 수신할 수 있다. 여기서 복수의 입력 영상들은 가시광선 카메라나, 적외선 카메라, 자외선 카메라를 이용하여 촬영된 영상을 포함한다. 본 개시의 일 실시 예에 따르면, 복수의 입력 영상들은 가시광선 대역 영상, SWIR(short wavelength infrared) 대역 영상, MWIR(medium wavelength infrared) 대역 영상, LWIR(long wavelength infrared) 대역 영상 중 적어도 하나를 포함한다. 입력 영상 정합부(101)는 수신한 다중 파장 대역의 입력 영상들을 하나의 좌표계에 표현되도록 영상 정합을 수행할 수 있다.The input image matching unit 101 performs a function of registering received images. Image registration indicates a method of transforming at least one image and expressing it in one coordinate system with respect to images about a scene or object captured at different times or from different viewpoints. According to an embodiment of the present disclosure, the image fusion apparatus 100 may receive a plurality of input images. Here, the plurality of input images include images captured using a visible light camera, an infrared camera, or an ultraviolet camera. According to an embodiment of the present disclosure, the plurality of input images includes at least one of a visible ray band image, a short wavelength infrared (SWIR) band image, a medium wavelength infrared (MWIR) band image, and a long wavelength infrared (LWIR) band image. do. The input image matching unit 101 may perform image matching so that the received input images of multiple wavelength bands are expressed in one coordinate system.

영역 분리부(103)는 정합된 영상에서 이미지 영역을 전경 객체 영역과 배경 영역으로 분리한다. 영역 분리부(103)는 복수의 입력 영상들에 관하여 영상 정합이 수행된 이후 정합된 영상들을 전경 객체 영역과 배경 영역으로 분리한다. 본 개시의 일 실시 예에 따르면, 영역 분리부(103)는 인공 신경망(artificial neural network)를 이용하여 객체를 식별한다. 이후 영역 분리부(103)는 식별된 객체를 이용하여 정합 영상의 적어도 일부 영역을 전경 객체 영역으로 결정하고, 정합 영상의 나머지를 배경 영역으로 결정한다. 본 개시의 일 실시 예에 따르면, 영역 분리부(103)는 딥러닝(deep learning) 기반의 객체 분류기를 이용하여 사용하여 객체를 식별하고, 식별된 객체의 정확도(accuracy) 정보와 위치 정보를 획득한다. 영역 분리부(103)는 객체의 위치 정보를 이용하여, 전경 객체 영역에 관한 패치 페어(patch pair)와 배경 영역에 관한 배경 패어(pair)를 생성할 수 있다. The region separator 103 divides the image region into a foreground object region and a background region in the matched image. The region separator 103 separates the matched images into a foreground object region and a background region after image matching is performed on the plurality of input images. According to an embodiment of the present disclosure, the region separator 103 identifies an object using an artificial neural network. Thereafter, the region separator 103 determines at least a partial region of the matched image as a foreground object region using the identified object, and determines the remainder of the matched image as a background region. According to an embodiment of the present disclosure, the region separator 103 identifies an object by using a deep learning-based object classifier, and obtains accuracy information and location information of the identified object. do. The region separator 103 may generate a patch pair for the foreground object region and a background pair for the background region by using the location information of the object.

전경 객체 영역 융합부(105)는 패치 페어를 이용하여, 전경 객체 영역에서 영상들을 융합한다. 본 개시의 일 실시 예에 따르면, 전경 객체 영역 융합부(105)는 복수의 정합 영상들의 전경 객체 영역에서, 패치 페어의 패치 영상들을 결합할 수 있다. 전경 객체 영역 융합부(105)는 패치 영상들을 결합하여 전경 객체 영역 융합 영상을 생성할 수 있다.The foreground object region fusion unit 105 fuses images in the foreground object region using a patch pair. According to an embodiment of the present disclosure, the foreground object region fusion unit 105 may combine patch images of a patch pair in a foreground object region of a plurality of matched images. The foreground object region fusion unit 105 may combine the patch images to generate a foreground object region fusion image.

배경 영역 융합부(107)는 배경 페어를 이용하여, 배경 영역에서 영상들을 융합한다. 본 개시의 일 실시 예에 따르면, 배경 영역 융합부(107)는 복수의 정합 영상들의 배경 영역에서, 배경 페어의 배경 영역 영상들을 결합함으로써 영상을 융합할 수 있다. 배경 영역 융합부(107)는 배경 영역 영상들을 결합하여 배경 영역 융합 영상을 생성할 수 있다.The background region fusion unit 107 fuses images in the background region using the background pair. According to an embodiment of the present disclosure, the background region fusion unit 107 may fuse images in a background region of a plurality of matching images by combining background region images of a background pair. The background region fusion unit 107 may generate a background region fusion image by combining the background region images.

영상 통합부(109)는 전경 객체 영역 융합부(105)에서 생성한 전경 객체 영역 융합 영상과 배경 영역 융합부(107)에서 생성한 배경 영역 융합 영상에 기반하여 통합 영상을 생성할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 통합부(109)는 전경 객체 영역 융합 영상과 배경 영역 융합 영상을 결합하여 하나의 융합 영상을 생성할 수 있다.The image integrator 109 may generate an integrated image based on the foreground object region fusion image generated by the foreground object region fusion unit 105 and the background region fusion image generated by the background region fusion unit 107 . According to an embodiment of the present disclosure, the image integrator 109 may generate one fusion image by combining the foreground object region fusion image and the background region fusion image.

도 2는 본 개시의 다양한 실시 예들에 따른, 영상 융합 장치의 영상 융합 방법에 관한 흐름도(200)를 도시한다. 도 2는 영상 융합 장치(100)의 동작 과정을 예시한다.2 is a flowchart 200 of an image fusion method of an image fusion apparatus according to various embodiments of the present disclosure. 2 illustrates an operation process of the image fusion apparatus 100 .

도 2를 참고하면 단계(201)에서, 영상 융합 장치(100)는 다중 파장 대역의 복수의 입력 영상들을 정합(registration)한다. 영상 융합 장치(100)는 복수의 영상 촬영 장치로부터 서로 다른 파장 대역을 가지는 복수의 입력 영상들을 획득한다. 영상 융합 장치는 복수의 입력 영상들에서 특징 추출, 특징 매칭, 호모그래피 추정(homography estimation), 및 영상 와핑(warping)을 통해 복수의 정합 영상들을 생성한다. 구체적인 영상 정합 방법은 도 3에 도시 된다.Referring to FIG. 2 , in step 201 , the image fusion apparatus 100 registers a plurality of input images of multiple wavelength bands. The image fusion apparatus 100 acquires a plurality of input images having different wavelength bands from a plurality of image photographing apparatuses. The image fusion apparatus generates a plurality of matched images through feature extraction, feature matching, homography estimation, and image warping from a plurality of input images. A detailed image registration method is shown in FIG. 3 .

단계(203)에서, 영상 융합 장치(100)는 복수의 정합 영상들에서 객체를 식별하여 전경 객체 영역과 배경 영역으로 구분하고, 패치 페어와 배경 페어를 생성한다. 영상 융합 장치(100)는 정합 영상들에서 객체 분류기를 통해 객체를 식별하고, 객체에 관한 정보를 획득한다. 객체에 관한 정보는, 객체의 정확도 정보 또는 객체의 위치 정보 중 적어도 하나를 포함할 수 있다. 이후 영상 융합 장치(100)는 객체에 관한 정보를 이용하여 영상의 영역을 전경 객체 영역과 배경 영역으로 구분하고, 전경 객체 영역에 관한 패치 페어와 배경 영역에 관한 배경 페어를 생성한다.In operation 203 , the image fusion apparatus 100 identifies an object from a plurality of matched images, divides the object into a foreground object area and a background area, and generates a patch pair and a background pair. The image fusion apparatus 100 identifies an object from the matched images through an object classifier, and obtains information about the object. The information about the object may include at least one of accuracy information of the object and location information of the object. Thereafter, the image fusion apparatus 100 divides the image region into a foreground object region and a background region using the object information, and generates a patch pair for the foreground object region and a background pair for the background region.

단계(205)에서, 영상 융합 장치(100)는 전경 객체 영역에 관한 패치 페어에서 기준 패치를 식별한다. 영상 융합 장치(100)는 패치 페어의 패치 영상들 중 하나를 기준 패치로 식별하고, 단계(207)로 진행하여 기준 패치를 중심으로, 기준 패치 영상에 패치 페어의 나머지 패치 영상을 융합한다.In operation 205 , the image fusion apparatus 100 identifies a reference patch from the patch pair for the foreground object region. The image fusion apparatus 100 identifies one of the patch images of the patch pair as a reference patch, and proceeds to step 207 to fuse the remaining patch images of the patch pair with the reference patch image with the reference patch as the center.

단계(209)에서, 영상 융합 장치(100)는 배경 영역에 관한 배경 페어에서 기준 배경 영역을 식별한다. 영상 융합 장치(100)는 배경 페어의 배경 영상들 중 하나를 기준 배경 영역으로 식별하고, 단계(211)로 진행하여 기준 배경 영역을 중심으로, 기준 배경 영역 영상에 배경 페어의 나머지 배경 영역 영상을 융합한다. 본 개시의 일 실시 예에 따르면, 전경 객체 영역에 관한 영상 융합 단계들(205, 207)과 배경 영역에 관한 영상 융합 단계들(209, 211)을 별도로 도시하였으나, 전경 객체 영역에 관한 영상 융합 단계들(205, 207)과 배경 영역에 관한 영상 융합 단계들(209, 211)은 순서에 관계 없이 동시에 수행되거나, 어느 하나의 단계만 수행될 수 있다.In operation 209 , the image fusion apparatus 100 identifies a reference background region from a background pair related to the background region. The image fusion apparatus 100 identifies one of the background images of the background pair as the reference background region, and proceeds to step 211 to add the remaining background region images of the background pair to the reference background region image based on the reference background region. fuse According to an embodiment of the present disclosure, although the image fusion steps 205 and 207 for the foreground object region and the image fusion steps 209 and 211 for the background region are separately illustrated, the image fusion step for the foreground object region The images 205 and 207 and the image fusion steps 209 and 211 regarding the background region may be performed simultaneously regardless of an order, or only one of the steps may be performed.

단계(213)에서, 영상 융합 장치(100)는 전경 객체 영역에 관한 융합 영상과 배경 영역에 관한 융합 영상을 통합한다. 영상 융합 장치(100) 단계(207)를 통해 생성된 전경 객체 영역 융합 영상과 단계(211)를 통해 생성된 배경 영역 융합 영상을 결합하여 하나의 융합 영상을 생성할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치는 전경 객체 영역 융합 영상 또는 배경 영역 융합 영상 중 어느 하나만 생성된 경우, 단계(203)의 융합되지 않은 정합 영상들 중 적어도 하나를 이용하여 통합된 영상을 생성할 수 있다.In operation 213, the image fusion apparatus 100 integrates the fusion image of the foreground object region and the fusion image of the background region. The image fusion apparatus 100 may generate one fusion image by combining the foreground object region fusion image generated in step 207 and the background region fusion image generated in step 211 . According to an embodiment of the present disclosure, when either one of the foreground object region fusion image and the background region fusion image is generated, the image fusion apparatus uses at least one of the non-fused registered images of step 203 to create an integrated image. can create

도 3은 본 개시의 다양한 실시 예들에 따른, 복수의 입력 영상들을 정합하는 영상 융합 장치의 동작 방법에 관한 흐름도(300)를 도시한다. 3 is a flowchart 300 illustrating a method of operating an image fusion apparatus for matching a plurality of input images, according to various embodiments of the present disclosure.

도 3은 도 2의 단계(201)에서 영상 융합 장치가 다중 파장 대역에 관한 복수의 입력 영상들에 기반하여 복수의 정합 영상들을 생성하는 방법을 예시한다. 또한 도 3은 도 1의 영상 융합 장치(100)의 입력 영상 정합부(101)의 동작 방법을 예시한다.FIG. 3 exemplifies a method in which the image fusion apparatus generates a plurality of matched images based on a plurality of input images for a multi-wavelength band in step 201 of FIG. 2 . Also, FIG. 3 illustrates an operation method of the input image matching unit 101 of the image fusion apparatus 100 of FIG. 1 .

도 3을 참고하면 단계(301)에서, 영상 융합 장치(100)는 제1 입력 영상과 제2 입력 영상을 수신한다. 본 개시의 일 실시 예에 따르면, 제1 입력 영상과 제2 입력 영상은 서로 다른 파장 대역의 입력 영상을 지시한다. 본 개시의 일 실시 예에 따르면, 제1 입력 영상과 제2 입력 영상은 가시광선 영상, SWIR 영상, MWIR 영상, LWIR 영상 중 적어도 하나의 영상을 포함한다.Referring to FIG. 3 , in step 301 , the image fusion apparatus 100 receives a first input image and a second input image. According to an embodiment of the present disclosure, the first input image and the second input image indicate input images of different wavelength bands. According to an embodiment of the present disclosure, the first input image and the second input image include at least one of a visible ray image, a SWIR image, a MWIR image, and an LWIR image.

단계(303)에서, 영상 융합 장치(100)는 제1 입력 영상에서 검출되는 제1 윤곽선으로부터 제1 특징을 추출한다. 영상 융합 장치(100)는 제1 입력 영상의 특징이 되는 윤곽선을 검출한다. 영상 융합 장치(100)는 제1 입력 영상에서 특정 영역의 엣지(edge)에 따른 윤곽선을 검출할 수 있다. 본 개시의 일 실시 예에 따르면, 윤곽선 검출하는 방법은 소벨 에지 검출(sobel edge detector) 또는 캐니 에지 검출(canny edge detector) 방법을 이용할 수 있다. 다중 파장 대역 영상들은 각 영상 별로 신호 특성이 상이하므로 특징을 매칭하기 어렵다. 그에 따라, 영상 융합 장치(100)는 유사한 특징을 가지는 영상으로 변환하기 위해 윤곽선 검출을 수행할 수 있다. 영상 융합 장치는 윤곽선 검출을 통해, 제1 입력 영상과 제2 입력 영상에서 공통적으로 두드러진 윤곽선을 중심으로 특징을 매칭할 수 있다.In operation 303 , the image fusion apparatus 100 extracts a first feature from a first contour detected in the first input image. The image fusion apparatus 100 detects an outline that is a characteristic of the first input image. The image fusion apparatus 100 may detect an outline according to an edge of a specific region in the first input image. According to an embodiment of the present disclosure, a method of detecting a contour may use a Sobel edge detector or a Canny edge detector. Since the multi-wavelength band images have different signal characteristics for each image, it is difficult to match the characteristics. Accordingly, the image fusion apparatus 100 may perform contour detection to convert an image having similar characteristics. The image fusion apparatus may match features based on a commonly prominent outline in the first input image and the second input image by detecting the outline.

영상 융합 장치(100)는 윤곽선을 검출한 이후, 제1 입력 영상에서 윤곽선으로부터 획득 가능한 특징을 추출할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 입력 영상에서, 소벨 에지 검출 또는 캐니 에지 검출을 통해 획득한 값으로부터 특정 형상과 같은 특징(feature)을 추출할 수 있다.After detecting the contour, the image fusion apparatus 100 may extract an obtainable feature from the contour in the first input image. According to an embodiment of the present disclosure, the image fusion apparatus 100 may extract a feature, such as a specific shape, from a value obtained through Sobel edge detection or Canny edge detection from the first input image.

단계(305)에서, 영상 융합 장치(100)는 제2 입력 영상에서 검출되는 제2 윤곽선으로부터 제2 특징을 추출한다. 영상 융합 장치는 제2 입력 영상에 관하여, 단계(303)에서 수행된 특징 추출 방법에 대응되는 특징 추출 방법을 이용할 수 있다. 영상 융합 장치(100)는 단계(303)를 통해 제1 입력 영상에 관한 특징을 추출하고, 단계(305)를 통해 제2 입력 영상에 관한 특징을 추출할 수 있다.In operation 305 , the image fusion apparatus 100 extracts a second feature from a second contour detected in the second input image. The image fusion apparatus may use a feature extraction method corresponding to the feature extraction method performed in step 303 with respect to the second input image. The image fusion apparatus 100 may extract features related to the first input image in step 303 and extract features related to the second input image in step 305 .

단계(307)에서, 영상 융합 장치(100)는 제1 특징과 제2 특징을 매칭한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제2 특징이 제1 특징에 대응되는지 여부를 식별한다. 영상 융합 장치(100)는 제2 특징이 제1 특징에 대응되는 것으로 식별한 경우 제2 특징은 제1 특징과 동일한 것으로 식별한다.In step 307 , the image fusion device 100 matches the first feature with the second feature. According to an embodiment of the present disclosure, the image fusion apparatus 100 identifies whether the second characteristic corresponds to the first characteristic. When the image fusion apparatus 100 identifies that the second characteristic corresponds to the first characteristic, the image fusion apparatus 100 identifies the second characteristic as the same as the first characteristic.

단계(309)에서, 영상 융합 장치(100)는 제2 입력 영상과 제1 입력 영상의 변환 관계에 관한 호모그래피 추정(homography estimation)을 수행한다. 영상 융합 장치(100)는 제1 입력 영상을 제2 입력 영상에 투영한 경우, 투영된 대응점들 사이에서의 변환 관계를 추정한다.In operation 309 , the image fusion apparatus 100 performs homography estimation on a transformation relationship between the second input image and the first input image. When the first input image is projected onto the second input image, the image fusion apparatus 100 estimates a transformation relationship between the projected corresponding points.

단계(311)에서, 영상 융합 장치(100)는 제2 입력 영상이 제1 입력 영상에 대응되도록 영상 와핑(warping)을 수행한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 입력 영상과 제 2 입력 영상 중 하나를 원본 영상으로 선택하고, 원본 영상을 중심으로 기하학적 변형을 수행한다. 이를 통해 영상 융합 장치(100)는 제1 입력 영상에 대응되는 제1 정합 영상과 제2 입력 영상에 대응되는 제2 정합 영상을 생성할 수 있다.In operation 311 , the image fusion apparatus 100 performs image warping so that the second input image corresponds to the first input image. According to an embodiment of the present disclosure, the image fusion apparatus 100 selects one of the first input image and the second input image as an original image, and performs geometric transformation based on the original image. Through this, the image fusion apparatus 100 may generate a first matched image corresponding to the first input image and a second matched image corresponding to the second input image.

도 4는 본 개시의 다양한 실시 예들에 따른, 복수의 정합 영상들에서 패치 페어를 생성하는 방법에 관한 일 예(400)를 도시한다. 도 4에서 제1 정합 영상(410-1)과 제2 정합 영상(410-2)은 도 3의 과정을 통해 입력 영상 정합부(101)가 출력한 제1 정합 영상과 제2 정합 영상을 예시한다. 또한, 도 4는 도 1의 영상 융합 장치(100)의 영역 분리부(103)의 동작을 예시한다.4 illustrates an example 400 of a method of generating a patch pair from a plurality of matched images according to various embodiments of the present disclosure. In FIG. 4 , the first registered image 410-1 and the second registered image 410-2 are examples of the first registered image and the second registered image output by the input image matching unit 101 through the process of FIG. 3 . do. Also, FIG. 4 exemplifies the operation of the region separator 103 of the image fusion apparatus 100 of FIG. 1 .

제1 정합 영상(410-1)과 제2 정합 영상(410-2)은 서로 다른 파장 대역에서 촬영된 정합 영상을 지시한다. 본 개시의 일 실시 예에 따르면, 제1 정합 영상(410-1)은 가시광선 대역 영상을 예시하고, 제2 정합 영상(410-2)은 LWIR 대역 영상을 예시한다. 제1 정합 영상(410-1)과 제2 정합 영상(410-2)을 참고하면, 어두운 장소에서 제1 입력 영상과 제2 입력 영상이 촬영된 경우, 가시광선 대역에 관한 제1 정합 영상(410-1) 보다 LWIR 대역에 관한 제2 정합 영상(410-2)에서 객체들의 위치가 보다 명확히 식별된다.The first matched image 410 - 1 and the second matched image 410 - 2 indicate matched images captured in different wavelength bands. According to an embodiment of the present disclosure, the first matched image 410 - 1 exemplifies a visible ray band image, and the second matched image 410 - 2 exemplifies an LWIR band image. Referring to the first matched image 410-1 and the second matched image 410-2, when the first input image and the second input image are photographed in a dark place, the first matched image ( 410-1), the positions of the objects are more clearly identified in the second matched image 410-2 for the LWIR band.

첫 번째 단계에서, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상을 이용하여 객체 분류(420)를 수행한다. 영상 융합 장치(100)는 제1 정합 영상(420-1)과 제2 정합 영상(420-2)에 대하여, 인공 신경망을 이용하여 객체를 식별할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 딥러닝 기반 객체 분류기를 이용하여 정합 영상에서 객체를 구분할 수 있다. 여기서 객체는 사용자의 설정에 따라, 영상에서 식별하고자하는 대상을 포함한다. 본 개시의 일 실시 예에 따르면, 객체는 자동차, 사람, 전차, 비행기, 장애물을 포함할 수 있다. 영상 융합 장치(100)는 객체를 식별하고, 식별된 객체에 관한 정확도 정보와 위치 정보를 획득할 수 있다. 객체의 정확도 정보는 인공 신경망이 검출한 객체가 실제 객체가 맞을 확률에 관한 정보를 지시하고, 객체의 위치 정보는 검출된 객체에 관한 픽셀 정보를 지시한다.In a first step, the image fusion apparatus 100 performs object classification 420 using the first and second registered images. The image fusion apparatus 100 may identify an object with respect to the first matched image 420-1 and the second matched image 420-2 using an artificial neural network. According to an embodiment of the present disclosure, the image fusion apparatus 100 may classify an object in a matched image using a deep learning-based object classifier. Here, the object includes a target to be identified in the image according to the user's setting. According to an embodiment of the present disclosure, the object may include a car, a person, a train, an airplane, and an obstacle. The image fusion apparatus 100 may identify an object and obtain accuracy information and location information about the identified object. The accuracy information of the object indicates information about the probability that the object detected by the artificial neural network is an actual object, and the location information of the object indicates pixel information about the detected object.

본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 딥러닝 기반 객체 분류기를 이용하여, 제1 정합 영상(420-1)에서 세 개의 객체를 식별하고, 제2 정합 영상(420-2)에서 여섯 개의 객체를 식별할 수 있다. 다중 파장 대역에서 촬영된 영상에서 객체 분류가 수행됨에 따라, 제1 정합 영상에서 식별된 객체는 제2 정합 영상에서 식별되지 않을 수 있고, 반대로 제2 정합 영상에서 식별된 객체는 제1 정합 영상에서 식별되지 않을 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 식별된 객체에 관한 정확도 정보와 식별된 객체에 대응되는 바운딩 박스(bounding box)의 픽셀 정보를 획득할 수 있다. 본 개시의 일 실시 예에 따르면, 픽셀 정보는 바운딩 박스의 좌상단의 픽셀 위치 값과, 우하단 픽셀 위치 값을 포함할 수 있다.According to an embodiment of the present disclosure, the image fusion apparatus 100 uses a deep learning-based object classifier to identify three objects in the first registered image 420-1, and the second registered image 420-2 ), six objects can be identified. As object classification is performed on images captured in multiple wavelength bands, the object identified in the first registered image may not be identified in the second registered image, and conversely, the object identified in the second registered image may not be identified in the first registered image. may not be identified. According to an embodiment of the present disclosure, the image fusion apparatus 100 may obtain accuracy information about the identified object and pixel information of a bounding box corresponding to the identified object. According to an embodiment of the present disclosure, the pixel information may include a pixel position value of an upper left corner and a pixel position value of a lower right corner of a bounding box.

두 번째 단계에서, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상을 이용하여 전경 객체 영역에 관한 패치 페어(patch pair)를 생성(430)한다. 영상 융합 장치(100)는 제1 정합 영상(430-1)과 제2 정합 영상(430-2)에서 식별된 객체에 관한 정보를 이용하여, 전경 객체 영역에 관한 패치 페어를 생성한다. 제1 정합 영상(430-1)과 제2 정합 영상(430-2)에서 식별된 객체들이 상이하므로, 영상 융합 장치(100) 식별된 객체들을 대응시킴으로써 패치 페어를 생성할 수 있다. In a second step, the image fusion apparatus 100 generates ( 430 ) a patch pair for the foreground object region by using the first matched image and the second matched image. The image fusion apparatus 100 generates a patch pair regarding the foreground object region by using the information on the object identified in the first matched image 430-1 and the second matched image 430-2. Since objects identified in the first matched image 430 - 1 and the second matched image 430 - 2 are different, the image fusion apparatus 100 may generate a patch pair by matching the identified objects.

본 개시의 일 실시 예에 따르면, 특정 대역 영상에서 검출된 객체의 위치가 다른 대역 영상에서 객체가 검출되지 않은 경우, 영상 융합 장치(100)는 객체가 검출된 대역의 정합 영상에서 객체의 위치를 기반으로 패치를 추출하여 패치 페어를 생성한다. 본 개시의 다른 일 실시 예에 따르면, 특정 대역 영상에서 검출된 객체의 위치가 다른 대역 영상에서 객체가 검출된 경우, IOU(intersection over union) 값을 이용하여 패치 페어를 생성한다. 영상 융합 장치는 정합 영상들에서 객체의 영역에 관한 IOU 값이 미리 설정된 임계 값 이상인 경우, 각 정합 영상들에서 검출된 객체들이 동일한 객체로 식별하고, 패치 페어를 생성한다. 본 개시의 일 실시 예에 따르면, 미리 설정된 임계 값은 0.5를 포함한다.According to an embodiment of the present disclosure, when the object is not detected in an image of a band having a position of an object detected in a specific band image, the image fusion apparatus 100 determines the position of the object in the matched image of the band in which the object is detected. A patch pair is created by extracting a patch based on According to another embodiment of the present disclosure, when an object is detected in a band image having a position of an object detected in a specific band image, a patch pair is generated using an intersection over union (IOU) value. The image fusion apparatus identifies objects detected in each matched image as the same object and generates a patch pair when the IOU value of the region of the object in the matched images is equal to or greater than a preset threshold value. According to an embodiment of the present disclosure, the preset threshold value includes 0.5.

본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상(430-1)에서 세 개의 객체들을 식별하고 세 개의 패치들(433, 435, 436)을 결정할 수 있다. 또한 영상 융합 장치(100)는 제2 정합 영상(430-2)에서 여섯 개의 객체들을 식별하고 여섯 개의 패치들(431, 432, 433, 434, 435, 437)을 결정한다. 이후, 영상 융합 장치(100)는 제1 정합 영상에서 검출되지 않았지만 제2 정합 영상에서 검출된 네 개의 객체들에 대응되는 패치들(431, 432, 434, 437)을, 제1 정합 영상 추가한다. 또한, 영상 융합 장치(100)는 제2 정합 영상에서 검출되지 않았지만 제1 정합 영상에서 검출된 한 개의 객체에 대응되는 패치(436)를 제2 정합 영상에 추가한다. 그에 따라, 영상 융합 장치(100)는 제1 정합 영상(430-1)과 제2 정합 영상(430-2) 각각에서 대응되는 일곱 개의 패치들을 결정하고, 일곱 개의 패치 페어들(431 내지 437)을 생성할 수 있다.According to an embodiment of the present disclosure, the image fusion apparatus 100 may identify three objects in the first matched image 430-1 and determine three patches 433, 435, and 436. Also, the image fusion apparatus 100 identifies six objects in the second matched image 430 - 2 and determines six patches 431 , 432 , 433 , 434 , 435 , and 437 . Thereafter, the image fusion apparatus 100 adds patches 431 , 432 , 434 , and 437 corresponding to four objects that are not detected in the first registered image but detected in the second registered image to the first registered image. . Also, the image fusion apparatus 100 adds a patch 436 corresponding to one object detected in the first registered image but not detected in the second registered image to the second registered image. Accordingly, the image fusion apparatus 100 determines seven patches corresponding to each of the first matched image 430 - 1 and the second matched image 430 - 2 , and sets the seven patch pairs 431 to 437 . can create

세 번째 단계에서, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상을 이용하여 배경 영역에 관한 배경 페어(pair)를 생성(440)한다. 영상 융합 장치(100)는 패치 페어들을 이용하여, 배경 영역에 관한 배경 페어(pair)를 생성(440)한다. 영상 융합 장치(100)는 제1 정합 영상(440-1)과 제2 정합 영상(440-2)과 같이, 전경 객체 영역을 제외한 나머지 영역에 관한 배경 페어(441)를 생성한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 두번째 단계에서 추출된 패치 페어 영역의 픽셀 강도를 감소시킴으로써, 배경 페어(441)를 생성할 수 있다. 본 개시의 일 실시 예에 따르면, 패치 페어 영역의 픽셀 강도가 0으로 할당됨으로써, 배경 페어가 생성될 수 있다.In a third step, the image fusion apparatus 100 generates ( 440 ) a background pair related to the background region by using the first matched image and the second matched image. The image fusion apparatus 100 generates ( 440 ) a background pair related to the background region by using the patch pairs. The image fusion apparatus 100 generates a background pair 441 of a region other than the foreground object region, such as the first matched image 440 - 1 and the second matched image 440 - 2 . According to an embodiment of the present disclosure, the image fusion apparatus 100 may generate the background pair 441 by reducing the pixel intensity of the patch pair region extracted in the second step. According to an embodiment of the present disclosure, a background pair may be generated by allocating the pixel intensity of the patch pair region to 0.

도 5는 본 개시의 다양한 실시 예들에 따른, 융합 영상의 일 예(500)를 도시한다. 도 5는 기준 영상에 따른 융합 영상의 차이를 예시한다.5 illustrates an example 500 of a fusion image according to various embodiments of the present disclosure. 5 illustrates a difference between a fusion image according to a reference image.

제1 정합 영상(501)과 제2 정합 영상(503)은 서로 다른 파장 대역에서 촬영된 정합 영상을 지시한다. 본 개시의 일 실시 예에 따르면, 제1 정합 영상(501)은 SWIR 대역 영상을 예시하고, 제2 정합 영상(503)은 LWIR 대역 영상을 예시한다. 제1 정합 영상(501)에 따르면 뒷배경이 명확하게 식별되지만 자동차들은 명확하게 식별되지 않는다. 또한 제2 정합 영상(503)을 참고하면, 뒷배경이 명확하게 식별되지 않지만, 자동차들은 명확하게 식별된다.The first matched image 501 and the second matched image 503 indicate matched images captured in different wavelength bands. According to an embodiment of the present disclosure, the first matched image 501 exemplifies a SWIR band image, and the second matched image 503 exemplifies an LWIR band image. According to the first matching image 501 , the background is clearly identified, but cars are not clearly identified. Also, referring to the second matching image 503 , although the background is not clearly identified, cars are clearly identified.

제1 정합 영상(501)과 제2 정합 영상(503)이 융합되는 경우, 영상 융합의 기준 프레임(reference frame)의 선택에 따라 영상 융합의 결과는 상이할 수 있다. 융합 영상은 기준 프레임의 전반적인 신호 특성이 의존적으로 나타나므로, 기준 프레임이 어떤 프레임인지 여부에 따라 융합 영상의 결과는 상이할 수 있다. 본 개시의 일 실시 예에 따르면, 제1 정합 영상(501)을 기준 영상으로 하여 제2 정합 영상(503)이 융합되는 경우, 제1 융합 영상(505)이 생성된다. 제1 융합 영상(505)은 제1 정합 영상(501)에 기반하여 뒷배경 영역이 명확히 표현된다. 본 개시의 다른 일 실시 예에 따르면, 제2 정합 영상(503)을 기준 영상으로 하여 제1 정합 영상(501)이 융합되는 경우, 제2 융합 영상(507)이 생성된다. 제2 융합 영상(507)은 제2 정합 영상(503)에 기반하여 자동차들이 명확하게 표현된다.When the first registered image 501 and the second registered image 503 are fused, the result of image fusion may be different according to selection of a reference frame for image fusion. Since the overall signal characteristics of the reference frame are dependent on the fusion image, the result of the fusion image may be different depending on which frame the reference frame is. According to an embodiment of the present disclosure, when the second registered image 503 is fused with the first registered image 501 as a reference image, the first fusion image 505 is generated. In the first fusion image 505 , a background region is clearly expressed based on the first matched image 501 . According to another embodiment of the present disclosure, when the first registered image 501 is fused with the second registered image 503 as a reference image, a second fusion image 507 is generated. In the second fusion image 507 , cars are clearly expressed based on the second matched image 503 .

도 6은 본 개시의 다양한 실시 예들에 따른, 전경 객체 영역 융합 영상을 생성하는 방법에 관한 일 예(600)를 도시한다. 도 6은 자동으로 기준 프레임을 선택하여 전경 객체 영역에 관한 영상 융합 방법에 관한 것으로서, 검출된 전경 객체 영역 패치에서 부분적인 영상 융합이 수행될 수 있다. 도 6은 도 1의 영상 융합 장치(100)의 전경 객체 영역 융합부(105)의 동작을 예시한다.6 illustrates an example 600 of a method of generating a foreground object region fusion image according to various embodiments of the present disclosure. FIG. 6 is a method for merging images on a foreground object region by automatically selecting a reference frame. Partial image fusion may be performed on a detected foreground object region patch. 6 exemplifies the operation of the foreground object region fusion unit 105 of the image fusion apparatus 100 of FIG. 1 .

도 6을 참고하면, 제1 정합 영상(610-1)과 제2 정합 영상(610-2)은 서로 다른 파장 대역에서 촬영된 정합 영상을 지시한다. 제1 정합 영상(610-1)과 제2 정합 영상(610-2)은 영역 분리부(103)에서 식별한 객체에 관한 정보와, 전경 객체 영역에 관한 패치 페어 정보를 포함한다. 본 개시의 일 실시 예에 따르면, 제1 정합 영상(610-1)은 한 명의 사람(person)에 관한 객체가 식별되어 있고, 객체의 정확도(accuracy)가 94%인 경우를 예시한다. 제2 정합 영상(610-2)은 두 명의 사람들에 관한 객체들이 식별되어 있고, 객체의 정확도가 각각 92%와 96%인 경우를 예시한다.Referring to FIG. 6 , a first matched image 610 - 1 and a second matched image 610 - 2 indicate matched images captured in different wavelength bands. The first matched image 610 - 1 and the second matched image 610 - 2 include information on the object identified by the region separator 103 and patch pair information on the foreground object region. According to an embodiment of the present disclosure, the first matched image 610 - 1 exemplifies a case in which an object related to one person is identified, and the accuracy of the object is 94%. The second matched image 610 - 2 exemplifies a case in which objects related to two people are identified, and the accuracy of the objects is 92% and 96%, respectively.

영상 융합 장치(100)는 전경 객체 영역에 관하여, 패치 페어에서 기준 프레임이 되는 기준 패치를 식별한다. 영상 융합 장치(100)는 제1 정합 영상(610-1)과 제2 정합 영상(610-2)에서 결정된 패치 페어에서 패치 영상들을 결합하기 위하여, 패치 페어에서 하나의 패치를 기준 패치로 결정한다.The image fusion apparatus 100 identifies a reference patch serving as a reference frame in the patch pair with respect to the foreground object region. The image fusion apparatus 100 determines one patch from the patch pair as a reference patch in order to combine patch images in the patch pair determined from the first matched image 610 - 1 and the second matched image 610 - 2 . .

제1 정합 영상과 제2 정합 영상에서 동일한 객체가 상보적으로 검출된 경우(620), 영상 융합 장치는 객체가 검출된 정합 영상을 기준 패치로 식별한다. 본 개시의 일 실시 예에 따르면, 객체는 제1 정합 영상에서 검출되지 않았으나 제2 정합 영상에서 검출되었고, 검출된 객체에 대응되는 제1-1 패치(621)와 제1-2 패치(622)는 제1 패치 페어를 구성한다. 이 경우, 영상 융합 장치(100)는 객체가 검출된 제2 정합 영상(620-2)의 제1-2 패치(622)를 기준 패치로 식별한다.When the same object is complementaryly detected in the first matched image and the second matched image ( 620 ), the image fusion apparatus identifies the matched image in which the object is detected as a reference patch. According to an embodiment of the present disclosure, the object is not detected in the first registered image, but is detected in the second registered image, and the 1-1 patch 621 and 1-2 patch 622 corresponding to the detected object. constitutes the first patch pair. In this case, the image fusion apparatus 100 identifies the 1-2 patch 622 of the second matched image 620-2 in which the object is detected as the reference patch.

정합 영상들에서 동일한 객체가 모두 검출된 경우(630), 영상 융합 장치는 객체의 정확도에 기반하여 기준 패치를 식별한다. 본 개시의 일 실시 예에 따르면, 객체는 제1 정합 영상과 제2 정합 영상에서 모두 검출 되었고, 제1 정합 영상에서 제2-1 패치(631)와 제2-2 패치(632)는 제2 패치 페어를 구성한다. 이때, 제2-1 패치(631)의 정확도는 94%이고, 제2-2 패치(632)의 정확도는 96%이다. 이 경우, 영상 융합 장치(100)는 정확도가 높은 제2-2 패치(632)를 기준 패치로 식별한다.When all identical objects are detected in the matched images ( 630 ), the image fusion apparatus identifies the reference patch based on the accuracy of the object. According to an embodiment of the present disclosure, the object is detected in both the first registered image and the second registered image, and in the first registered image, the 2-1 patch 631 and the 2-2 patch 632 are the second Make up a patch pair. In this case, the accuracy of the 2-1 patch 631 is 94%, and the accuracy of the 2-2 patch 632 is 96%. In this case, the image fusion apparatus 100 identifies the 2-2 patch 632 with high accuracy as the reference patch.

이후, 영상 융합 장치(100)는 전경 객체 영역에 관한 적어도 하나의 패치 페어에서, 패치 영상들을 결합한다. 영상의 융합은 픽셀 수준 영상 융합 또는 특징 수준 영상 융합을 포함할 수 있다. 상보적으로 객체를 검출하거나 동일한 객체를 동시에 검출한 경우 모두 패치 내의 영상 특성이 상이하다. 그에 따라, 추출된 패치를 중심으로 픽셀 수준 영상 융합 또는 특징 수준 영상 융합이 수행될 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치는 융합되는 패치보다 기준 패치에 너 높은 가중치를 할당하여 영상을 융합할 수 있다.Thereafter, the image fusion apparatus 100 combines patch images in at least one patch pair related to the foreground object region. Image fusion may include pixel level image fusion or feature level image fusion. In the case of complementary detection of objects or detection of the same object at the same time, image characteristics in the patch are different. Accordingly, pixel-level image fusion or feature-level image fusion may be performed based on the extracted patch. According to an embodiment of the present disclosure, the image fusion apparatus may fuse images by assigning a weight higher to the reference patch than the fused patch.

정합 영상들에서 동일한 객체가 상보적으로 검출된 경우(640), 객체가 검출된 정합 영상을 기준 패치로 영상 융합이 수행될 수 있다. 본 개시의 일 실시 예에 따르면, 제1-2 패치(622)가 기준 패치로 식별된 경우, 영상 융합 장치는 제1-2 패치(622)를 기준 패치로 제1-1 패치(621)를 융합할 수 있다.When the same object is complementaryly detected from the matched images ( 640 ), image fusion may be performed using the matched image in which the object is detected as a reference patch. According to an embodiment of the present disclosure, when the 1-2 th patch 622 is identified as the reference patch, the image fusion apparatus uses the 1-2 th patch 622 as the reference patch and the 1-1 patch 621 as the reference patch. can be fused.

정합 영상들에서 동일한 객체가 모두 검출된 경우(650), 정확도가 높은 제2-2 패치(632)가 기준 패치로 식별된 경우, 영상 융합 장치는 제2-2 패치(632)를 기준 패치로 제2-1 패치(631)를 융합할 수 있다.When all the same objects are detected from the matched images (650), and when the 2-2 patch 632 with high accuracy is identified as the reference patch, the image fusion apparatus uses the 2-2 patch 632 as the reference patch. The 2-1 patch 631 may be fused.

도 7은 본 개시의 다양한 실시 예들에 따른, 배경 영역 융합 영상을 생성하는 방법에 관한 일 예(700)를 도시한다. 도 7은 도 1의 영상 융합 장치(100)의 배경 영역 융합부(107)의 동작을 예시한다.7 illustrates an example 700 of a method for generating a background region fusion image according to various embodiments of the present disclosure. FIG. 7 exemplifies the operation of the background region fusion unit 107 of the image fusion apparatus 100 of FIG. 1 .

도 7을 참고하면, 제1 정합 영상(710-1)과 제2 정합 영상(710-2)은 서로 다른 파장 대역에서 촬영된 정합 영상을 지시한다. 제1 정합 영상(710-1)과 제2 정합 영상(710-2)은 전경 객체 영역을 제외한 나머지 영역에 관한 배경 페어 정보를 포함한다.Referring to FIG. 7 , a first matched image 710 - 1 and a second matched image 710 - 2 indicate matched images captured in different wavelength bands. The first matched image 710 - 1 and the second matched image 710 - 2 include background pair information on the remaining areas except for the foreground object area.

영상 융합 장치(100)는 배경 영역에 관하여, 배경 페어에서 기준 프레임이 되는 기준 배경 영역을 식별(720)한다. 영상 융합 장치(100)는 영역 분리부(103)로부터 획득한 배경 페어에서 배경 영역 영상들을 결합하기 위하여, 하나의 배경 영역 영상을 기준 배경 영역으로 결정한다. The image fusion apparatus 100 identifies ( 720 ) a reference background area serving as a reference frame in the background pair with respect to the background area. The image fusion apparatus 100 determines one background region image as a reference background region in order to combine the background region images in the background pair obtained from the region separation unit 103 .

본 개시의 일 실시 예에 따르면, 영상 융합 장치는 기준 배경 영역을 식별하기 위하여 배경 영역 차이(frame difference)를 결정한다. 배경 영역 차이는 <수학식 1>과 같이 표현될 수 있다.According to an embodiment of the present disclosure, the image fusion apparatus determines a frame difference of a background region to identify a reference background region. The background area difference may be expressed as <Equation 1>.

<수학식 1>을 참고하면, D는 배경 영역 차이 값, B₁과 B₂는 각각의 배경 영역에 관한 제1 정합 영상과 제2 정합 영상의 픽셀 값, x와 y는 배경 영역에서 픽셀 좌표 위치, X와 Y는 배경 영역 영상의 가로 및 세로 길이를 나타낸다.Referring to <Equation 1>, D is a background area difference value, B ₁ and B ₂ are pixel values of the first and second matched images for each background area, and x and y are pixel coordinates in the background area. The positions, X and Y, represent the horizontal and vertical lengths of the background area image.

영상 융합 장치(100)는 배경 영역 차이 값을 미리 설정된 임계 값과 비교하여 기준 배경 영역을 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 배경 영역 차이 값이 0 이상인 경우 제1 정합 영상이 더 큰 신호 특성을 가지므로, 제1 정합 영상을 기준 배경 영역으로 결정한다. 본 개시의 다른 일 실시 예에 따르면, 영상 융합 장치(100)는 배경 영역 차이 값이 0 보다 작은 경우 제2 정합 영상이 더 큰 신호 특성을 가지므로, 제2 정합 영상을 기준 배경 영역으로 결정한다.The image fusion apparatus 100 may determine the reference background area by comparing the background area difference value with a preset threshold value. According to an embodiment of the present disclosure, the image fusion apparatus 100 determines the first matched image as the reference background region because the first matched image has a larger signal characteristic when the background region difference value is 0 or more. According to another embodiment of the present disclosure, the image fusion apparatus 100 determines the second matched image as the reference background region because the second matched image has a larger signal characteristic when the background region difference value is less than 0. .

이후, 영상 융합 장치(100)는 배경 영역에서 배경 페어에 관한 배경 영상들을 융합한다. 영상의 융합은 픽셀 수준 영상 융합 또는 특징 수준 영상 융합을 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치는 융합되는 패치보다 기준 패치에 너 높은 가중치를 할당하여 영상을 융합할 수 있다.Thereafter, the image fusion apparatus 100 fuses the background images related to the background pair in the background area. Image fusion may include pixel level image fusion or feature level image fusion. According to an embodiment of the present disclosure, the image fusion apparatus may fuse images by assigning a weight higher to the reference patch than the fused patch.

도 8은 본 개시의 다양한 실시 예들에 따른, 영상 융합 장치의 동작 방법에 관한 흐름도(800)를 도시한다. 도 8은 영상 융합 장치(100)의 동작 과정을 예시한다.8 is a flowchart 800 of a method of operating an image fusion apparatus according to various embodiments of the present disclosure. 8 illustrates an operation process of the image fusion apparatus 100 .

도 8을 참고하면 단계(801)에서, 영상 융합 장치(100)는 제1 입력 영상과 제2 입력 영상의 정합을 수행한다. 제1 입력 영상과 제2 입력 영상은 서로 다른 파장 대역을 가지는 복수의 입력 영상들을 지시한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 입력 영상에서 검출되는 제1 윤곽선으로부터 제1 특징을 추출하고, 제2 입력 영상에서 검출되는 제2 윤곽선으로부터 제2 특징을 추출한다. 영상 융합 장치(100)는 제2 특징이 제1 특징에 대응되는지 여부를 결정하고, 제2 특징이 제1 특징에 대응되는 경우 제2 입력 영상과 제1 입력 영상의 변환 관계에 관한 호모그래피 추정을 수행한다. 이후, 영상 융합 장치(100)는 제2 입력 영상이 제1 입력 영상에 대응되도록 영상 와핑(warping)을 수행한다. 이를 통해 영상 융합 장치(100)는 제1 입력 영상과 제2 입력 영상으로부터 제1 정합 영상과 제2 정합 영상을 생성할 수 있다.Referring to FIG. 8 , in step 801 , the image fusion apparatus 100 matches the first input image and the second input image. The first input image and the second input image indicate a plurality of input images having different wavelength bands. According to an embodiment of the present disclosure, the image fusion apparatus 100 extracts a first feature from a first contour detected in a first input image, and extracts a second feature from a second contour detected in a second input image. do. The image fusion apparatus 100 determines whether the second feature corresponds to the first feature, and when the second feature corresponds to the first feature, homography estimation regarding the transformation relationship between the second input image and the first input image carry out Thereafter, the image fusion apparatus 100 performs image warping so that the second input image corresponds to the first input image. Through this, the image fusion apparatus 100 may generate a first matched image and a second matched image from the first input image and the second input image.

단계(803)에서, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상에서, 영상의 영역을 전경 객체 영역과 배경 영역을 구분하고, 전경 객체 영역에 관한 패치 페어와 배경 영역에 관한 배경 페어를 생성한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상에서, 딥러닝(deep learning) 기반 객체 분류를 통해 객체를 식별하고, 식별된 객체에 관한 정확도 정보와 위치 정보를 획득한다. 영상 융합 장치(100)는 획득한 위치 정보에 기반하여 전경 객체 영역에 관한 패치 페어를 생성하고, 패치 페어에 기반하여 배경 영역에 관한 배경 페어를 생성한다. In step 803, the image fusion apparatus 100 divides an image region into a foreground object region and a background region in the first registered image and the second registered image, and sets the patch pair for the foreground object region and the background region. Create a background pair. According to an embodiment of the present disclosure, the image fusion apparatus 100 identifies an object in the first matched image and the second matched image through deep learning-based object classification, and accuracy information about the identified object and location information. The image fusion apparatus 100 generates a patch pair for the foreground object region based on the obtained location information, and generates a background pair for the background region based on the patch pair.

본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상 모두에서 객체가 검출된 경우, 제1 정합 영상에서 객체의 위치에 관한 제1 객체 영역과 제2 정합 영상에서 객체의 위치에 관한 제2 객체 영역에 기반하여 IOU 값을 결정한다. 결정된 IOU 값이 미리 설정된 제1 임계 값 이상인 경우, 제1 객체 영역과 제2 객체 영역을 이용하여 패치 페어를 생성할 수 있다. 본 개시의 다른 일 실시 예에 따르면, 제1 정합 영상 또는 제2 정합 영상 중 하나에서 객체가 검출되는 경우, 객체가 검출된 정합 영상에서 객체의 영역과, 나머지 정합 영상에서 객체의 영역에 대응되는 객체의 영역을 이용하여 패치 페어를 생성할 수 있다.According to an embodiment of the present disclosure, when an object is detected in both the first registered image and the second registered image, the image fusion apparatus 100 determines the first object region and the second object location in the first registered image. The IOU value is determined based on the second object area with respect to the position of the object in the matched image. When the determined IOU value is equal to or greater than the first threshold value, a patch pair may be generated using the first object area and the second object area. According to another embodiment of the present disclosure, when an object is detected in one of the first registered image and the second registered image, a region of the object in the registered image in which the object is detected and a region of the object in the remaining registered image are detected. A patch pair can be created using the area of the object.

본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상에서 패치 페어의 영역에 관한 픽셀 강도를 감소시켜 배경 페어를 생성할 수 있다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 패치 페어의 영역에서 픽셀 강도를 0으로 감소시킴으로써, 배경 페어를 생성할 수 있다.According to an embodiment of the present disclosure, the image fusion apparatus 100 may generate a background pair by reducing pixel intensity with respect to a region of a patch pair in the first matched image and the second matched image. According to an embodiment of the present disclosure, the image fusion apparatus 100 may generate the background pair by reducing the pixel intensity to 0 in the area of the patch pair.

단계(805)에서, 영상 융합 장치(100)는 패치 페어의 패치 영상들을 결합하여, 전경 객체 영역 융합 영상을 생성한다. 영상 융합 장치(100)는 적어도 하나의 패치 페어에서 하나의 패치 영상을 기준 패치로 결정하고, 기준 패치에 대응되는 패치를 융합한다. In operation 805, the image fusion apparatus 100 combines the patch images of the patch pair to generate a foreground object region fusion image. The image fusion apparatus 100 determines one patch image from at least one patch pair as a reference patch, and fuses the patch corresponding to the reference patch.

본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 패치 페어에서 기준 프레임이 되는 기준 패치를 식별하고, 기준 패치를 기반으로, 패치 페어의 패치 영상들을 결합한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상 모두에서 객체가 검출된 경우, 제1 정합 영상에서 객체의 정확도 정보와 제2 정합 영상에서 객체의 정확도 정보에 기반하여 기준 패치를 식별한다. 영상 융합 장치(100)는 객체의 정확도가 높은 것으로 검출된 정합 영상의 패치를 기준 패치로 식별할 수 있다. 본 개시의 다른 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상 중 하나에서 객체가 검출되는 경우, 객체가 검출된 정합 영상에서 객체의 영역을 기준 패치로 식별할 수 있다.According to an embodiment of the present disclosure, the image fusion apparatus 100 identifies a reference patch serving as a reference frame in a patch pair, and combines patch images of the patch pair based on the reference patch. According to an embodiment of the present disclosure, when an object is detected in both the first registered image and the second registered image, the image fusion apparatus 100 determines the accuracy information of the object in the first registered image and the object in the second registered image. A reference patch is identified based on the accuracy information. The image fusion apparatus 100 may identify a patch of a matched image detected as having high object accuracy as a reference patch. According to another embodiment of the present disclosure, when an object is detected in one of the first registered image and the second registered image, the image fusion apparatus 100 identifies the region of the object in the registered image in which the object is detected as a reference patch. can do.

단계(807)에서, 영상 융합 장치(100)는 배경 페어의 배경 영역 영상들을 결합하여, 배경 영역 융합 영상을 생성한다. 영상 융합 장치(100)는 배경 영역의 배경 페어에서 하나의 배경 영상을 기준 배경 영역으로 결정하고, 나머지 배경 영역을 융합한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 배경 페어에서 기준 프레임이 되는 기준 배경 영역을 식별하고, 기준 배경 영역을 기반으로, 배경 페어의 배경 영역 영상들을 결합한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상에서 픽셀 위치의 픽셀 값과 제2 정합 영상에서 픽셀 위치의 픽셀 값의 차이에 관한 배경 영역 차이 값을 결정하고, 배경 영역 차이 값과 미리 설정된 제2 임계 값에 기반하여 기준 배경 영역을 식별한다. 본 개시의 일 실시 예에 따르면, 영상 융합 장치(100)는 제1 정합 영상과 제2 정합 영상의 배경 영역 차이가 0 이상인 경우 제1 정합 영상을 기준 배경 영역으로 결정한다. 본 개시의 다른 일 실시 예에 따르면, 영상 융합 장치(100)는 배경 영역 차이 값이 0 보다 작은 경우 제2 정합 영상을 기준 배경 영역으로 결정할 수 있다.In operation 807 , the image fusion apparatus 100 combines the background region images of the background pair to generate a background region fusion image. The image fusion apparatus 100 determines one background image from the background pair of the background region as a reference background region, and fuses the remaining background regions. According to an embodiment of the present disclosure, the image fusion apparatus 100 identifies a reference background region serving as a reference frame in the background pair, and combines the background region images of the background pair based on the reference background region. According to an embodiment of the present disclosure, the image fusion apparatus 100 determines a background area difference value related to a difference between a pixel value at a pixel position in the first registered image and a pixel value at a pixel position in the second registered image, and A reference background area is identified based on the area difference value and a preset second threshold value. According to an embodiment of the present disclosure, the image fusion apparatus 100 determines the first matched image as the reference background area when the difference between the background areas of the first matched image and the second matched image is 0 or more. According to another embodiment of the present disclosure, when the background region difference value is less than 0, the image fusion apparatus 100 may determine the second matched image as the reference background region.

단계(809)에서, 영상 융합 장치(100)는 전경 객체 영역 융합 영상과 배경 영역 융합 영상에 기반하여 통합 영상을 생성한다. 영상 융합 장치(100)는 단계(805)에서 생성된 전경 객체 영역 융합 영상과 단계(807)에서 생성된 배경 영역 융합 영상을 결합하여 통합 영상을 생성할 수 있다.In operation 809 , the image fusion apparatus 100 generates an integrated image based on the foreground object region fusion image and the background region fusion image. The image fusion apparatus 100 may generate an integrated image by combining the foreground object region fusion image generated in operation 805 and the background region fusion image generated in operation 807 .

　본 개시의 일 실시 예에 따른 영상 융합 방법에 따르면, 픽셀 수준 및 특징 수중 영상 융합 방법과 결정 수준 영상 융합 방법을 결합하여 완전 자동화한(fully automated) 다중 파장 대역(multi-spectrum) 영상 융합을 위해 딥러닝 기반 객체 분류기(object classifier)를 사용하여 다중 파장 대역에서 상보적으로 검출된 전경 객체 및 배경 영역이 단일 영상에 표현될 수 있다.According to the image fusion method according to an embodiment of the present disclosure, for fully automated multi-spectrum image fusion by combining the pixel-level and feature underwater image fusion method and the crystal-level image fusion method A foreground object and a background region complementaryly detected in multiple wavelength bands using a deep learning-based object classifier can be represented in a single image.

또한 본 개시의 일 실시 예에 따른 영상 융합 방법에 따르면, 영상 융합 장치는 각각의 파장 대역에서 오는 입력 영상에서 표현할 수 있는 정보를 종합적으로 사용하여 전경 객체 영역 및 배경 영역을 판단한다. 이후, 영상 융합 장치는 전경 객체 영역 및 배경 영역에 따라 기준 영역(reference region)을 사람의 개입없이 자동으로 판단하여 영상 융합을 수행할 수 있다.Also, according to the image fusion method according to an embodiment of the present disclosure, the image fusion apparatus determines the foreground object region and the background region by comprehensively using information that can be expressed in an input image coming from each wavelength band. Thereafter, the image fusion apparatus may perform image fusion by automatically determining a reference region according to the foreground object region and the background region without human intervention.

본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다. Methods according to the embodiments described in the claims or specifications of the present disclosure may be implemented in the form of hardware, software, or a combination of hardware and software.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다. When implemented in software, a computer-readable storage medium storing one or more programs (software modules) may be provided. One or more programs stored in the computer-readable storage medium are configured to be executable by one or more processors in an electronic device (device). One or more programs include instructions for causing an electronic device to execute methods according to embodiments described in a claim or specification of the present disclosure.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다. Such programs (software modules, software) include random access memory, non-volatile memory including flash memory, read only memory (ROM), electrically erasable programmable ROM (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other It may be stored in an optical storage device or a magnetic cassette. Alternatively, it may be stored in a memory composed of a combination of some or all thereof. In addition, each configuration memory may be included in plurality.

또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.In addition, the program is transmitted through a communication network consisting of a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that can be accessed. Such a storage device may be connected to a device implementing an embodiment of the present disclosure through an external port. In addition, a separate storage device on the communication network may be connected to the device implementing the embodiment of the present disclosure.

상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.In the specific embodiments of the present disclosure described above, components included in the disclosure are expressed in the singular or plural according to the specific embodiments presented. However, the singular or plural expression is appropriately selected for the context presented for convenience of description, and the present disclosure is not limited to the singular or plural component, and even if the component is expressed in plural, it is composed of a singular or singular. Even an expressed component may be composed of a plurality of components.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, although specific embodiments have been described in the detailed description of the present disclosure, various modifications are possible without departing from the scope of the present disclosure. Therefore, the scope of the present disclosure should not be limited to the described embodiments and should be defined by the claims described below as well as the claims and equivalents.

Claims

In the image fusion apparatus for fusing a plurality of input images having multiple wavelength bands,
an input image matching unit for registering the plurality of input images;
An object is determined using a first matched image and a second matched image output by the input image matching unit, an image area is divided into a foreground object area and a background area, and a patch pair related to the foreground object area is used. and a region separating unit generating a background pair related to the background region;
a foreground object region fusion unit generating a foreground object region fusion image by combining the patch images of the patch pair in the foreground object region;
a background region fusion unit generating a background region fusion image by combining the background region images of the background pair in the background region; and
and an image integrator for generating an integrated image based on the foreground object region fusion image and the background region fusion image,
The region separation unit,
determining a first object group by using the first matching image;
determining a second object group by using the second matching image;
At least one object included in the first object group and at least one object included in the second object group correspond to each other, so that a corresponding object is assigned to at least one of the first object group and the second object group. Video fusion device to add.

The method according to claim 1,
The input image matching unit,
extracting a first feature from a first contour detected in the first input image,
extracting a second feature from a second contour detected in the second input image,
determine whether the second characteristic corresponds to the first characteristic;
performing homography estimation on a transformation relationship between the second input image and the first input image;
Image fusion apparatus for performing image warping so that the second input image corresponds to the first input image

The method according to claim 1,
The region separation unit,
Acquire accuracy information and location information about the object from the first matched image and the second matched image,
generating a patch pair for the foreground object area based on the location information;
An image fusion apparatus for generating a background pair related to the background region based on the patch pair.

4. The method of claim 3,
The region separation unit,
When the object is detected from the first matched image and the second matched image,
determining an intersection over union (IOU) value based on a first object area related to the position of the object in the first matched image and a second object area related to the location of the object in the second matched image,
An image fusion apparatus for generating a patch pair using the first object area and the second object area when the IOU value is equal to or greater than a preset first threshold value.

4. The method of claim 3,
The region separation unit,
When the object is detected from one of the first matched image and the second matched image,
An image fusion apparatus for generating a patch pair by using a region of the object in a registered image in which an object is detected and an object region corresponding to the region of the object in the remaining matched images.

4. The method of claim 3,
The region separation unit,
An image fusion apparatus for generating a background pair by reducing pixel intensity with respect to a region of the patch pair in the first matched image and the second matched image.

4. The method of claim 3,
The foreground object region fusion unit,
Identifies a reference patch serving as a reference frame in the patch pair,
An image fusion apparatus for combining patch images of the patch pair based on the reference patch.

8. The method of claim 7,
The foreground object region fusion unit,
When the object is detected from the first matched image and the second matched image,
An image fusion apparatus for identifying a reference patch based on accuracy information of the object in the first matched image and accuracy information of the object in the second matched image.

8. The method of claim 7,
The foreground object region fusion unit,
When the object is detected from one of the first matched image and the second matched image,
An image fusion apparatus for identifying a region of an object as a reference patch in a registered image in which an object is detected.

4. The method of claim 3,
The background area fusion unit,
identifying a reference background area serving as a reference frame in the background pair;
An image fusion apparatus for combining images of the background region of the background pair based on the reference background region.

11. The method of claim 10,
The background area fusion unit,
determining a background area difference value with respect to a difference between a pixel value at a pixel position in the first matched image and a pixel value at the pixel position in the second matched image;
An image fusion apparatus for identifying the reference background region based on the background region difference value and a preset second threshold value.

The method according to claim 1,
The plurality of input images includes at least one of a visible ray band image, a short wave infrared (SWIR) band image, a medium wavelength infrared (MWIR) band image, and a long wavelength infrared (LWIR) band image.

A method of operating an image fusion device for fusing a plurality of input images having multiple wavelength bands, the method comprising:
registering the plurality of input images;
determining an object using a first matched image and a second matched image according to the registration;
In the first matched image and the second matched image, an image region is divided into a foreground object region and a background region, and a patch pair for the foreground object region and a background pair for the background region creating a;
generating a foreground object region fusion image by combining the patch images of the patch pair;
generating a background region fusion image by combining the background region images of the background pair; and
generating an integrated image based on the foreground object region fusion image and the background region fusion image,
Determining the object comprises:
determining a first object group by using the first matched image;
determining a second object group by using the second matched image; and
At least one object included in the first object group and at least one object included in the second object group correspond to each other, so that a corresponding object is assigned to at least one of the first object group and the second object group. A method of operating an image fusion device comprising the step of adding.

14. The method of claim 13,
The step of generating the patch pair and the background pair comprises:
obtaining accuracy information and location information about the object from the first matched image and the second matched image;
generating a patch pair for the foreground object region based on the location information; and
and generating a background pair for the background region based on the patch pair.