WO2024101714A1 - 저대조도 영상 융합방법 및 장치 - Google Patents

저대조도 영상 융합방법 및 장치 Download PDF

Info

Publication number
WO2024101714A1
WO2024101714A1 PCT/KR2023/016451 KR2023016451W WO2024101714A1 WO 2024101714 A1 WO2024101714 A1 WO 2024101714A1 KR 2023016451 W KR2023016451 W KR 2023016451W WO 2024101714 A1 WO2024101714 A1 WO 2024101714A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
weight
fusion
target image
reference image
Prior art date
Application number
PCT/KR2023/016451
Other languages
English (en)
French (fr)
Inventor
강동구
박해수
배영민
신기영
양정원
장민혜
정계영
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of WO2024101714A1 publication Critical patent/WO2024101714A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to a low-contrast image fusion method and device.
  • infrared cameras are being used to secure visibility in various invisible environments.
  • Types of infrared cameras include Near-Infrared (NIR) cameras, Short-Wavelength Infrared (SWIR) cameras, Mid-Wavelength Infrared (MWIR) cameras, and Long-Wavelength infrared (LWIR) cameras. ) cameras, etc.
  • NIR Near-Infrared
  • SWIR Short-Wavelength Infrared
  • MWIR Mid-Wavelength Infrared
  • LWIR Long-Wavelength infrared
  • near-infrared cameras and long-wavelength infrared cameras are widely used in daily life because their manufacturing costs are relatively low compared to short-wavelength infrared cameras and mid-wavelength infrared cameras.
  • Images obtained in non-visible environments generally have characteristics of low illumination and low contrast.
  • low illumination refers to a case in which a pixel is expressed darkly due to a small amount of light or low electromagnetic wave energy
  • low contrast refers to a case in which the difference in brightness of two different pixels in the space of the image is small, making it difficult to distinguish objects. it means.
  • NIR near-infrared
  • LWIR long-wavelength infrared
  • Examples of technologies for fusing multiple images include technologies based on multi-scale decomposition and technologies based on sparse representation.
  • these techniques all depend on the transform coefficient of the image, and in low-light and low-contrast images, information corresponding to salient features that are the subject of fusion is not easily revealed in the transform coefficient.
  • the pixel pattern that does not fit the transform model has the disadvantage of making it difficult to fully express the subtle differences in brightness values between pixels that appear in low-light and low-contrast environments.
  • the purpose of the present disclosure is to provide a new framework that does not depend on the transformation coefficient of the image to be fused when fusing multiple images at the pixel level.
  • the purpose of the present disclosure is to provide an image fusion method and device that can better express subtle differences in brightness values between pixels that appear in low-light and low-contrast environments.
  • a computer-implemented method for fusing a plurality of images comprising: calculating a correlation coefficient between a reference image and a target image; determining a sign of a weight to be applied to the target image based on the correlation coefficient; and generating a first fusion image based on addition between the reference image and a target image multiplied by a weight having the determined sign.
  • a correlation coefficient calculation unit that calculates a correlation coefficient between a reference image and a target image; and an image weighting unit that generates a weighted image by adding a target image multiplied by a weight having a sign determined based on the correlation coefficient to the reference image.
  • a non-transitory computer-readable recording medium storing instructions, wherein the instructions, when executed by the computer, cause the computer to execute each process included in the above-described method.
  • a non-transitory computer-readable recording medium characterized in that:
  • the user's sense of heterogeneity can be reduced by generating a fused image expressed in a similar style to the reference image. Additionally, by allowing the user to designate a reference image among a plurality of images, a fused image in a style familiar to the user can be provided.
  • the present disclosure by performing image enhancement processing before and/or after fusion of images, it is possible to detect a change pattern of pixel brightness values in a low contrast area in the fused image. Additionally, the visibility of images captured in poor atmospheric environments such as smoke can be improved.
  • FIG. 1 is a block diagram schematically showing an image fusion device according to an embodiment of the present disclosure.
  • Figure 2 is an example diagram for explaining the recursive operation of the image fusion device according to an embodiment of the present disclosure.
  • Figure 3 is a flowchart showing an image fusion method according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram schematically showing an example computing device to which the present disclosure can be applied.
  • Figures 5A to 5F are exemplary diagrams for comparing image fusion results according to an embodiment of the present disclosure and image fusion results according to a comparative example.
  • FIGS. 6A to 6D, 7A to 7D, and 8A to 8D are exemplary views for explaining the effect of image enhancement processing according to an embodiment of the present disclosure.
  • symbols such as first, second, i), ii), a), and b) may be used. These codes are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the code. In the specification, when a part is said to 'include' or 'have' a certain component, this means that it does not exclude other components, but may further include other components, unless explicitly stated to the contrary. .
  • FIG. 1 is a block diagram schematically showing an image fusion device according to an embodiment of the present disclosure.
  • the image fusion device 10 includes an image registration unit (100), a preprocessing unit (110), and a reference image selection unit. unit (120), correlation coefficient calculation unit (130), weight map calculation unit (140), image weighting unit (150), and contrast magnification unit , 160) may include all or part of the following. Not all blocks shown in FIG. 1 are essential elements, and in other embodiments, some blocks included in the image fusion device 10 may be added, changed, or deleted. Meanwhile, each component of the image fusion device 10 shown in FIG. 1 represents functionally distinct functional elements, and at least one component may be implemented in an integrated form in an actual physical environment.
  • the image fusion device 10 can generate a fused image using a plurality of images.
  • the image fusion device 10 may receive a first image and a second image captured using light of different wavelengths and generate a fused image.
  • the first image and the second image are a visible light image, a near-infrared (NIR) image, a short-wavelength infrared (SWIR) image, a mid-wavelength infrared (MWIR) image, and It may be any one of long-wavelength infrared (LWIR) images, but is not limited to this example.
  • NIR near-infrared
  • SWIR short-wavelength infrared
  • MWIR mid-wavelength infrared
  • LWIR long-wavelength infrared
  • the image alignment unit 100 may align pixels of the first image and the second image for pixel-level image fusion. Depending on the implementation, image alignment may be performed through various methods well known in the art, and the present disclosure does not limit this to a specific method.
  • the preprocessor 110 performs image enhancement processing on each of the aligned first image and the aligned second image in order to improve the image quality of the low-light area and/or low-contrast area of each image.
  • Image enhancement processing may include contrast equalization.
  • the preprocessor 110 may apply CLAHE (Contrast Limited Adaptive Histogram Equalization) to each of the aligned first image and the aligned second image, but the present disclosure is not limited to this, and in the present disclosure, it is used for image enhancement processing. Regarding specific methods, this is not limited to specific methods.
  • the reference image selection unit 120 may select one of the enhanced first image and the improved second image as a reference image and select the remaining image as a target image.
  • the fused image generated by the image fusion device 10 may be expressed in a style similar to the reference image. For example, if a visible light image, which is expressed brightly as more visible light is reflected by the subject, is selected as the reference image, the fused image may be expressed in a style similar to the visible light image as if it were an image captured by a visible light camera. As another example, if an infrared thermal image, which is expressed brightly as the temperature of the subject increases, is selected as the reference image, the fused image may be expressed in a style similar to the thermal image as if it were an image captured with a thermal imaging camera.
  • the reference image selection unit 120 may select a reference image based on predefined conditions. To this end, the reference image selection unit 120 may receive a setting value from the user regarding which style of the first image or the second image to generate a similar fused image, but is not limited to this example. Meanwhile, in FIG. 1, the reference image selection unit 120 is shown as being located behind the pre-processing unit 110, but this is for convenience of explanation and the present disclosure is not limited thereto. For example, in another embodiment of the present disclosure, the reference image selection unit 120 may be located in front of the image alignment unit 100.
  • the correlation coefficient calculation unit 130 may calculate the correlation coefficient between the reference image and the target image.
  • the correlation coefficient calculation unit 130 may calculate, for example, a Pearson correlation coefficient. Pearson correlation coefficient can be calculated as Equation 1.
  • R represents the reference image
  • T represents the target image
  • ⁇ R,T is the Pearson correlation coefficient between the reference image and the target image
  • cov(R,T) is the covariance between the reference image and the target image
  • ⁇ R and ⁇ T are the standard deviation of the reference image and target image, respectively.
  • the correlation coefficient calculation unit 130 may determine the sign of the weight to be applied to the target image based on the calculated correlation coefficient.
  • the correlation coefficient calculation unit 130 sets the sign of the weight to be applied to the target image in order to prevent the contrast information in the reference image and the target image from canceling each other and improve the contrast of the fused image. It can be determined by the sign of .
  • the correlation coefficient calculation unit 130 determines the sign of the weight as a positive sign when the calculated correlation coefficient has a positive value, and sets the sign of the weight to a negative sign when the calculated correlation coefficient has a negative value. can be decided.
  • the weight map calculation unit 140 can determine the size of the weight to be applied to the target image.
  • the weight map calculation unit 140 may determine the size of the weight that varies depending on the pixel location of the target image.
  • the weight applied to the pixel (x,y) of the target image can be expressed as w(x,y), and the set of weights applied to each pixel can be referred to as a weighted map.
  • the weight map calculation unit 140 may determine the size of the weight to be applied to each pixel of the target image based on the change in brightness between adjacent pixels in the reference image or target image.
  • the weight map calculation unit 140 calculates the change in brightness values of adjacent pixels around each pixel position (x, y) in the target image, and the greater the change in the calculated brightness value, the greater the weight to be applied to the pixel position.
  • the size of w(x,y) can be determined to be a large value.
  • the weight map calculation unit 140 calculates the change in brightness value of adjacent pixels centered on each pixel position (x, y) in the reference image, and the smaller the change in calculated brightness value, the closer the pixel position is to the corresponding pixel position.
  • the weight to be applied can be determined by setting the size of w(x,y) to a large value.
  • the weight map calculation unit 140 may calculate the change in brightness value using the variance or standard deviation of the brightness values of adjacent pixels, but is not limited to this example.
  • the weight map calculation unit 140 may limit the range (eg, maximum value and/or minimum value) of the weight to be applied to each pixel.
  • the weight map calculation unit 140 may determine the weight to be assigned to each pixel of the target image using various equations depending on the implementation.
  • the weight map calculation unit 140 may apply an adaptive weight to the target image based on local contrast within the reference image or the target image.
  • the weight map calculation unit 140 may be omitted.
  • the image weighting unit 150 may multiply the target image by a weight having a determined sign and/or size and add it to the reference image to generate a weighted image.
  • the weighted image can be calculated as shown in Equation 2.
  • the weighted image can be calculated as in Equation 3.
  • I weighted (x,y), R(x,y), and T(x,y) are the pixel positions (x,y) of the weighted image, reference image, and target image, respectively. It is the pixel value of Meanwhile, sign(x) is a sign function that is mapped to 1 if x is a positive value, to -1 if x is a negative value, and to an arbitrary number in the remaining cases. .
  • the contrast magnification unit 160 may perform image enhancement processing on the weighted image.
  • Image enhancement processing may include contrast equalization.
  • the contrast enlarger 160 may apply CLAHE (Contrast Limited Adaptive Histogram Equalization) to the weighted image, but is not limited thereto, and the present disclosure provides a specific method for image enhancement processing. It is not limited by method.
  • the weighted image appropriately contains contrast information of the reference image and contrast information of the target image, but the information of the two images overlaps. Therefore, if the difference in contrast between the reference image and the target image is small, it may be difficult for the observer to fully identify the contrast information included in the weighted image.
  • the contrast magnification unit 160 can improve the visibility of the fused image by processing each pixel (x, y) of the weighted image so that the difference between adjacent pixel values appears larger.
  • the image fusion device 10 is shown as including both the preprocessing unit 110 and the contrast enlargement unit 160, but in another embodiment, the preprocessor 110 and/or the contrast enlargement unit 160 are included.
  • Unit 160 may be omitted, or its function may be selectively deactivated.
  • the reference image selection unit 120 may output one of the aligned first image and the aligned second image as the reference image.
  • the image fusion device 10 may output the weighted image generated by the image weighting unit 150 as a fused image.
  • Figure 2 is an example diagram for explaining the recursive operation of the image fusion device according to an embodiment of the present disclosure.
  • the image fusion device can operate recursively to fuse three or more images.
  • the image fusion device () receives the first image and the second image as a reference image and a target image, respectively, in the first iteration and outputs the first fusion image, and uses the first fusion image again as the reference image in the second iteration. You can receive input.
  • the image fusion device may fuse the first fusion image with the third image to generate a second fusion image.
  • the fusion image generated in each iteration may be expressed in a style similar to the image input as the reference image in the first iteration (the first image in the example of FIG. 2).
  • the first image, the second image, and the third image are a visible light image, a near-infrared image, and a long-wavelength infrared image, respectively
  • the first fusion image and the second fusion image are as if they were images taken using a visible light camera. can be expressed.
  • Figure 3 is a flowchart showing an image fusion method according to an embodiment of the present disclosure.
  • the method shown in FIG. 3 may be implemented by executing the functions of one or more components of the above-described image fusion device 10 by at least one computing device. Accordingly, the following description may be written in terms of operations performed by the computing device.
  • the computing device can calculate the correlation coefficient between the reference image and the target image (S300).
  • the correlation coefficient may be a Pearson correlation coefficient.
  • the computing device may determine the size and/or sign of the weight to be applied to the target image (S320).
  • the computing device may determine the sign of the weight to be applied to the target image based on the correlation coefficient between the reference image and the target image. For example, if the calculated correlation coefficient has a positive value, the computing device may determine the sign of the weight to be a positive sign, and if the calculated correlation coefficient has a negative value, the computing device may determine the sign of the weight to have a negative sign. there is.
  • the computing device may apply a weight having the same sign and size to each pixel of the target image.
  • the size of the weight may be a preset constant value.
  • the computing device may determine the size of the weight to be applied to each pixel of the target image based on the change in brightness between adjacent pixels in the reference image or target image.
  • the computing device may apply adaptive weighting to local contrast within the reference image or target image. For example, the computing device may assign a greater weight to each pixel of the target image as the brightness change between the pixel and the adjacent pixel is greater. As another example, for each pixel of a reference image, the smaller the brightness change between the pixel and the adjacent pixel, the computing device may assign a greater weight to the pixel of the target image located at the same location as the pixel.
  • the computing device may add the target image multiplied by the weight to the reference image (S340).
  • the computing device before performing step S300, acquires a first image and a second image captured using light of different wavelengths, and selects one of the acquired images as a reference image. And you can select the rest as the target image. For example, the computing device may select one of the acquired images as a reference image based on predefined conditions. To this end, the computing device may receive a setting value from the user regarding which image to select as the reference image among the first image and the second image.
  • the computing device may perform image enhancement processing, such as contrast equalization, on each of the reference image and the target image before performing step S300.
  • image enhancement processing such as contrast equalization
  • the computing device may use the improved reference image and the improved target image to determine the sign and/or size of the weight and perform a weighting operation between images.
  • the computing device may perform image enhancement processing, such as contrast smoothing, on the added image according to process S340.
  • image enhancement processing such as contrast smoothing
  • the computing device may repeatedly perform steps S300 to S340 to fuse three or more images.
  • the computing device receives distinct first and second images as reference images and target images, respectively, generates a first fusion image through processes S300 to S340, and generates a first fusion image that is distinct from the first and second images.
  • a second fusion image can be generated by fusing the third image and the first fusion image.
  • the computing device may re-perform steps S300 to S340 using the first fusion image and the third image as a reference image and a target image, respectively.
  • the first image, second image, and third image may be images captured using light of different wavelengths.
  • the first fusion image and the second fusion image may be expressed as if they were images captured using light of the same wavelength as the first image.
  • FIG. 4 is a block diagram schematically showing an example computing device to which the present disclosure can be applied.
  • the computing device 40 may include some or all of a memory 400, a processor 420, storage 440, an input/output interface 460, and a communication interface 480.
  • Computing device 40 may structurally and/or functionally include at least a portion of image processing device 10 or 20.
  • Computing device 40 may be a stationary computing device, such as a desktop computer, server, and/or intelligent camera, as well as a mobile computing device, such as a smart phone and/or laptop computer.
  • the memory 400 may store a program that causes the processor 420 to perform the image fusion method according to an embodiment of the present invention.
  • a program may include a plurality of instructions executable by the processor 420, and the image fusion method may be performed by executing the plurality of instructions by the processor 420.
  • Memory 400 may be a single memory or multiple memories. Information required for image fusion may be stored in a single memory or divided into multiple memories. When the memory 400 is comprised of a plurality of memories, the plurality of memories may be physically separated.
  • the memory 400 may include at least one of volatile memory and non-volatile memory. Volatile memory includes Static Random Access Memory (SRAM) or Dynamic Random Access Memory (DRAM), and non-volatile memory includes flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • the processor 420 may include at least one core capable of executing at least one instruction.
  • the processor 420 may execute instructions stored in the memory 400.
  • Processor 420 may be a single processor or multiple processors.
  • the storage 440 can maintain stored data even when power supplied to the computing device 40 is cut off.
  • storage 440 may include non-volatile memory or may include a storage medium such as magnetic tape, optical disk, or magnetic disk.
  • Storage 440 may store data to be processed by processor 420 and data processed by processor 420. According to one embodiment of the present invention, the storage 440 may store constant values to be used as weights, conditions for selecting a reference image, and/or a program for fusing a plurality of images. Programs or data stored in the storage 440 may be loaded into the memory 400 before being executed by the processor 420.
  • the storage 440 can store files written in a program language, and a program created from a file by a compiler, etc. can be loaded into the memory 400.
  • the input/output interface 460 may include an input device such as a keyboard, mouse, touch interface, microphone, and/or camera, and may include an output device such as a display and/or speaker.
  • the user can trigger execution of the program by the processor 420 through the input/output interface 460, input settings for selecting a reference image, and/or check the fused image.
  • the input/output interface 460 may include a plurality of cameras that capture images using light of different wavelengths.
  • the input/output interface 460 may include two or more of a near-infrared camera, a short-wavelength infrared camera, a mid-wavelength infrared camera, a long-wavelength infrared camera, and a visible light camera, but is not limited to these examples.
  • Communications interface 480 provides access to external networks.
  • the computing device 40 may collect images to be fused from one or more cameras and/or servers through the communication interface 480.
  • Figures 5A to 5F are exemplary diagrams for comparing image fusion results according to an embodiment of the present disclosure and image fusion results according to a comparative example.
  • FIGS. 5A and 5B are visible light images and infrared images that are the subject of fusion, respectively
  • FIGS. 5C and 5D show image fusion results according to an embodiment of the present disclosure
  • FIGS. 5E and 5F are a comparative example. The resulting image fusion results are shown.
  • Figure 5c shows the result of image fusion using the visible light image as the reference image and the infrared image as the target image
  • Figure 5d shows the result of image fusion using the visible light image as the target image and the infrared image as the reference image. It shows one result.
  • the fused image is expressed in a similar style to the reference image, thereby reducing the user's sense of heterogeneity. Furthermore, the user can select an image with a style that is familiar to him or her among the input images as the reference image.
  • Figures 6A to 8D are exemplary diagrams for explaining the effect of image enhancement processing according to an embodiment of the present disclosure.
  • FIGS. 6A and 6B show near-infrared images and thermal images (long-wavelength infrared images) taken in a smoke-free environment
  • FIGS. 6C and 6D show examples of the present disclosure and comparison (Wavelet transform-based It shows the fusion results according to the image fusion technique
  • FIGS. 7A and 7B show near-infrared images and thermal images taken in a smoky environment
  • FIGS. 7C and 7D show fusion results for these according to the present disclosure and comparative examples
  • FIGS. 8A and 8B show near-infrared images and thermal images taken in an environment with thick smoke
  • FIGS. 8C and 8D show fusion results for these according to the present disclosure and comparative examples.
  • image enhancement processing is performed before and/or after fusion of the images, and the visibility of the number panel in the fused image is improved. You can check it.
  • Table 1 is a table comparing the computational processing speed of the image fusion technique and the Wavelet transform-based image fusion technique according to an embodiment of the present disclosure.
  • the image fusion technique consists of simple repetition of calculations, enabling parallelization when implemented in software or hardware, enabling low-power, high-speed fusion image processing. Additionally, since most operations can be implemented with a Gaussian filter, there is an advantage in hardware acceleration.
  • Each component of the device or method according to the present invention may be implemented as hardware or software, or may be implemented as a combination of hardware and software. Additionally, the function of each component may be implemented as software and a microprocessor may be implemented to execute the function of the software corresponding to each component.
  • Various implementations of the systems and techniques described herein may include digital electronic circuits, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or these. It can be realized through combination.
  • These various implementations may include being implemented as one or more computer programs executable on a programmable system.
  • the programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from and transmit data and instructions to a storage system, at least one input device, and at least one output device. or may be a general-purpose processor).
  • Computer programs also known as programs, software, software applications or code
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. These computer-readable recording media are non-volatile or non-transitory such as ROM, CD-ROM, magnetic tape, floppy disk, memory card, hard disk, magneto-optical disk, and storage device. It may be a medium, and may further include a transitory medium such as a data transmission medium. Additionally, the computer-readable recording medium may be distributed in a computer system connected to a network, and the computer-readable code may be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

저대조도 영상 융합방법 및 장치를 개시한다. 본 개시의 일 측면에 의하면, 복수의 영상을 융합하기 위한 컴퓨터 구현 방법으로서, 기준영상 및 타겟영상 간의 상관계수를 산출하는 과정; 상기 상관계수를 기초로 상기 타겟영상에 적용할 가중치의 부호를 결정하는 과정; 및 상기 결정된 부호를 갖는 가중치가 곱해진 타겟영상과 상기 기준영상 간의 가산에 근거하여 제1 융합영상을 생성하는 과정을 포함하는 것을 특징으로 하는, 방법을 제공한다.

Description

저대조도 영상 융합방법 및 장치
본 개시는 저대조도 영상 융합방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
다양한 비가시 환경에서 시야를 확보하기 위해 다양한 종류의 적외선 카메라가 활용되고 있다. 적외선 카메라의 종류로는 근적외선(Near-Infrared, NIR) 카메라, 단파장 적외선(Short-Wavelength Infrared, SWIR) 카메라, 중파장 적외선(Mid-Wavelength Infrared, MWIR) 카메라 및 장파장 적외선(Long-Wavelength infrared, LWIR) 카메라 등이 있다. 특히, 근적외선 카메라와 장파장 적외선 카메라는, 단파장 적외선 카메라 및 중파장 적외선 카메라 등에 비해 제조 원가가 상대적으로 저렴하여 일상 생활에서도 많이 활용되고 있다.
비가시 환경에서 얻어진 영상은 일반적으로 저조도 및 저대조도의 특성을 가지게 된다. 여기서, 저조도는 적은 빛의 양 또는 낮은 전자기파 에너지로 인해 화소가 어둡게 표현되는 경우를 의미하고, 저대조도는 영상의 공간 상 서로 다른 두 화소의 밝기 차이가 적어 물체를 구분하기 어렵게 표현되는 경우를 의미한다. 예를 들어 근적외선(Near-Infrared, NIR) 영상과 장파장 적외선(Long-Wavelength infrared, LWIR) 영상은 서로 다른 영상 정보를 제공할 수 있고, 이들의 융합(fusion)을 통해 더 나은 영상 정보를 제공할 수 있으나, 저조도 및 저대조도 환경에서는 각 카메라가 가지는 영상 표현의 한계가 융합 후에도 그대로 유지된다.
복수의 영상을 융합하는 기술의 예로는, 다중 스케일 분해(multi-scale decomposition) 기반의 기술 및 희소 표현(sparse representation) 기반의 기술이 있다. 그러나 이러한 기법들은 모두 영상의 변환계수(transform coefficient)에 의존하는데, 저조도 및 저대조도 영상에서는 융합의 대상이 되는 주요한 특징(salient feature)에 해당하는 정보가 변환계수에 잘 드러나지 않는다. 특히, 변환 모델(transform model)에 맞지 않는 화소 패턴일수록 저조도 및 저대조도 환경에서 나타나는 화소 간 미세한 밝기값의 차이를 온전히 표현하기 어렵다는 단점이 있다.
최근에는 딥러닝 학습 기반의 융합 기술이 발전하고 있으나, 아직 고해상도 영상에 적용하기에는 계산량이 많으며, 영상 표현이 직관적이지 않고, 재난 상황과 같이 데이터를 수집하기 어려운 환경에서는 정밀한 융합 성능을 기대하기 어렵다는 단점이 있다.
본 개시는, 복수의 영상을 픽셀수준에서 융합함에 있어, 융합 대상이 되는 영상의 변환계수에 의존하지 않는 새로운 프레임워크를 제공하는 데 일 목적이 있다.
본 개시는, 저조도 및 저대조도 환경에서 나타나는 화소 간 미세한 밝기값의 차이를 더 잘 표현할 수 있는 영상 융합방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에 의하면, 복수의 영상을 융합하기 위한 컴퓨터 구현 방법으로서, 기준영상 및 타겟영상 간의 상관계수를 산출하는 과정; 상기 상관계수를 기초로 상기 타겟영상에 적용할 가중치의 부호를 결정하는 과정; 및 상기 결정된 부호를 갖는 가중치가 곱해진 타겟영상과 상기 기준영상 간의 가산에 근거하여 제1 융합영상을 생성하는 과정을 포함하는 것을 특징으로 하는, 방법을 제공한다.
본 개시의 다른 측면에 의하면, 기준영상 및 타겟영상 간의 상관계수를 산출하는 상관계수 산출부; 및 상기 상관계수를 기초로 결정된 부호를 갖는 가중치가 곱해진 타겟영상을 상기 기준영상에 가산하여 가중된 영상을 생성하는 영상 가중부를 포함하는 것을 특징으로 하는, 영상 융합장치를 제공한다.
본 개시의 또 다른 측면에 의하면, 명령어가 저장된, 컴퓨터로 읽을 수 있는 비-일시적 기록매체로서, 상기 명령어는 상기 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금, 전술한 방법이 포함하는 각 과정을 실행하도록 하는 것을 특징으로 하는, 컴퓨터로 읽을 수 있는 비-일시적 기록매체를 제공한다.
본 개시의 일 실시예에 의하면, 저조도 및 저대조도 환경에서 나타나는 화소간 미세한 밝기값의 차이를 더 잘 표현할 수 있다. 또한, 변환 모델(transform model)을 사용하지 않으므로, 예상치 못한 화소 밝기값의 패턴에 대해서도 영상의 대조도 정보를 더 잘 포함할 수 있다.
본 개시의 일 실시예에 의하면 기준영상과 유사한 스타일로 표현되는 융합된 영상 생성함으로써 사용자의 이질감을 줄일 수 있다. 또한, 사용자가 복수의 영상들 중 기준영상을 지정할 수 있게 함으로써, 사용자에게 익숙한 스타일의 융합된 영상을 제공할 수 있다.
본 개시의 일 실시예에 의하면, 영상 간의 상관계수에 기반한 가중치를 부여함으로써, 기준영상에 익숙하면서도 타겟영상의 대조도 정보를 더 잘 유지하는 융합된 영상을 생성할 수 있다.
본 개시의 일 실시예에 의하면, 영상들을 융합하기 전 및/또는 후에 이미지 향상처리를 수행함으로써, 융합된 영상에서 낮은 대조도 영역의 화소 밝기값의 변화 패턴을 감지할 수 있다. 또한, 연기와 같이 열악한 대기 환경에서 촬영된 영상들의 시인성을 개선할 수 있다.
본 개시의 일 실시예에 의하면, 규칙기반 알고리즘을 통해 영상 융합을 수행함으로써, 재난 상황과 같이 학습용 데이터를 수집하기 어려운 환경에서 촬영된 영상들에 대해서도 범용적으로 적용이 가능하다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 영상 융합장치를 개략적으로 나타낸 블록구성도이다.
도 2는 본 개시의 일 실시예에 따른 영상 융합장치의 재귀적 동작을 설명하기 위한 예시도이다.
도 3은 본 개시의 일 실시예에 따른 영상 융합방법을 나타내는 흐름도이다.
도 4는 본 개시가 적용될 수 있는 예시적인 컴퓨팅 장치를 개략적으로 나타낸 블록구성도이다.
도 5a 내지 도 5f는 본 개시의 일 실시예에 따른 영상 융합 결과 및 비교 실시예에 따른 영상 융합 결과를 비교하기 위한 예시도이다.
도 6a 내지 도 6d, 도 7a 내지 도 7d, 및 도 8a 내지 도 8d는 본 개시의 일 실시예에 따른 이미지 향상 처리의 효과를 설명하기 위한 예시도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 1은 본 개시의 일 실시예에 따른 영상 융합장치를 개략적으로 나타낸 블록구성도이다.
도 1에 도시되듯이, 본 개시의 일 실시예에 따른 영상 융합장치(10)는 영상 정렬부(image registration unit, 100), 전처리부(preprocessing unit, 110), 기준영상 선택부(reference image selection unit, 120), 상관계수 산출부(correlation coefficient calculation unit, 130), 가중치맵 산출부(weight map calculation unit, 140), 영상 가중부(image weighting unit, 150) 및 대조도 확대부(contrast magnification unit, 160)의 전부 또는 일부를 포함할 수 있다. 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 영상 융합장치(10)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편, 도 1에 도시된 영상 융합장치(10)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있다.
영상 융합장치(10)는 복수의 영상을 이용하여, 융합된 영상(fused image)을 생성할 수 있다. 예를 들어, 영상 융합장치(10)는 서로 다른 파장의 광을 이용하여 촬영된 제1 영상 및 제2 영상을 입력받아, 융합된 영상을 생성할 수 있다. 제1 영상 및 제2 영상은 각각 가시광(visible) 영상, 근적외선(Near-Infrared, NIR) 영상, 단파장 적외선(Short-Wavelength Infrared, SWIR) 영상, 중파장 적외선(Mid-Wavelength Infrared, MWIR) 영상 및 장파장 적외선(Long-Wavelength infrared, LWIR) 영상 중 어느 하나 일 수 있으나, 이러한 예시에 한정되는 것은 아니다.
영상 정렬부(100)는 픽셀 수준의 영상 융합을 위해, 제1 영상과 제2 영상의 픽셀을 정렬할 수 있다. 구현예에 따라, 영상 정렬은, 당해 기술 분야에서 널리 알려진 다양한 방법을 통해 수행될 수 있으며, 본 개시에서는 이에 대해 특정한 방법으로 한정하지 않는다.
전처리부(110)는, 각 영상의 저조도 영역 및/또는 저대조도 영역의 화질을 개선하기 위해, 정렬된 제1 영상 및 정렬된 제2 영상 각각에 대해 이미지 향상(image enhancement) 처리를 수행할 수 있다. 이미지 향상 처리는, 대조도 평활화(contrast equalization)를 포함할 수 있다. 예컨대, 전처리부(110)는 정렬된 제1 영상 및 정렬된 제2 영상 각각에 대해 CLAHE(Contrast Limited Adaptive Histogram Equalization)을 적용할 수 있으나, 이에 한정되는 것은 아니며, 본 개시에서는 이미지 향상 처리를 위한 구체적인 방법에 대해 이에 대해 특정한 방법으로 한정하지 않는다.
기준영상 선택부(120)는 향상된 제1 영상 및 향상된 제2 영상 중 어느 하나를 기준영상(reference image)으로 선택하고, 나머지를 타겟영상(target image)으로 선택할 수 있다. 영상 융합장치(10)가 생성하는 융합된 영상은, 기준영상과 유사한 스타일(style)로 표현될 수 있다. 일 예로, 피사체에 의해 반사된 가시광이 많을수록 밝게 표현되는 가시광 영상이 기준 영상으로 선택된 경우, 융합된 영상은 마치 가시광 카메라로 촬영된 영상인 것처럼 가시광 영상과 유사한 스타일로 표현될 수 있다. 다른 예로, 피사체의 온도가 높을수록 밝게 표현되는 적외선 열화상이 기준 영상으로 선택된 경우, 융합된 영상은 마치 열화상 카메라로 촬영된 영상인 것처럼 열화상과 유사한 스타일로 표현될 수 있다.
기준영상 선택부(120)는 사전에 정의된 조건에 기초하여, 기준영상을 선택할 수 있다. 이를 위해 기준영상 선택부(120)는 사용자로부터, 제1 영상 및 제2 영상 중 어떤 스타일과 유사한 융합된 영상을 생성할지에 대한 설정값을 입력받을 수 있으나 이러한 예시에 한정되는 것은 아니다. 한편, 도 1에서는, 기준영상 선택부(120)가 전처리부(110)의 뒷 단에 위치하는 것으로 도시하고 있으나, 이는 설명의 편의를 위한 것으로 본 개시가 이에 한정되는 것은 아니다. 예컨대, 본 개시의 다른 실시예에서, 기준영상 선택부(120)는 영상 정렬부(100) 앞 단에 위치할 수도 있다.
상관계수 산출부(130)는 기준영상 및 타겟영상 간의 상관계수를 산출할 수 있다. 상관계수 산출부(130)는, 예컨대, 피어슨 상관계수(Pearson correlation coefficient) 산출할 수 있다. 피어슨 상관계수는 수학식 1과 같이 산출될 수 있다.
Figure PCTKR2023016451-appb-img-000001
여기서, R은 기준영상, T는 타겟영상을 나타내며, ρR,T는 기준영상과 타겟영상 간의 피어슨 상관계수이고, cov(R,T)는 기준영상과 타겟영상의 공분산(covariance)이며, σR 및 σT는 각각 기준영상 및 타겟영상의 표준편차(standard deviation)이다.
상관계수 산출부(130)는 산출된 상관계수를 기초로, 타겟영상에 적용할 가중치의 부호를 결정할 수 있다.
예를 들어, 기준영상 및 타겟영상 간의 상관계수가 음의 값을 가진다는 것은, 기준영상 및 타겟영상의 같은 위치에서의 화소 밝기값이 반전(inversion)되어 있음을 뜻한다. 이 경우, 상관계수 산출부(130)는 기준영상 및 타겟영상에서의 대조도 정보가 서로 상쇄되는 것을 방지하고, 융합된 영상의 대조도를 개선하기 위해, 타겟영상에 적용할 가중치의 부호를 음의 부호로 결정할 수 있다.
즉, 상관계수 산출부(130)는 산출된 상관계수가 양의 값을 가지는 경우 가중치의 부호를 양의 부호로 결정하고, 산출된 상관계수가 음의 값을 가지는 경우 가중치의 부호를 음의 부호로 결정할 수 있다.
가중치맵 산출부(140)는 타겟영상에 적용할 가중치의 크기를 결정할 수 있다.
일 실시예에서, 가중치맵 산출부(140)는 타겟영상의 화소 위치에 따라 가변되는 가중치의 크기를 결정할 수 있다. 이때, 타겟영상의 화소 (x,y)에 적용되는 가중치를 w(x,y)라 표현할 수 있으며, 각 화소들에 적용되는 가중치들의 집합을 가중치 맵(weighted map)이라 지칭할 수 있다.
가중치맵 산출부(140)는, 기준영상 또는 타겟영상 내의 인접한 화소들 간의 밝기 변화를 기초로, 타겟영상의 각 화소에 적용할 가중치의 크기를 결정할 수 있다.
일 예로, 가중치맵 산출부(140)는 타겟영상에서 각 화소위치 (x,y)를 중심으로 인접한 화소들의 밝기값의 변화를 계산하고, 계산된 밝기값의 변화가 클수록 해당 화소위치에 적용될 가중치를 w(x,y)의 크기를 큰 값으로 결정할 수 있다.
다른 예로, 가중치맵 산출부(140)는 기준영상에서 각 화소위치 (x,y)를 중심으로 인접한 화소들의 밝기값의 변화를 계산하고, 계산된 밝기값의 변화가 작을수록, 해당 화소위치에 적용될 가중치를 w(x,y)의 크기를 큰 값으로 결정할 수 있다.
여기서, 가중치맵 산출부(140)는 인접한 화소들의 밝기값의 분산(variance) 또는 표준편차(standard deviation)를 이용하여, 밝기값의 변화를 계산할 수 있으나, 이러한 예시에 한정되는 것은 아니다.
일부 실시예에서, 가중치맵 산출부(140)는 각 화소에 적용될 가중치의 범위(예컨대, 최댓값 및/또는 최솟값)를 제한할 수 있다. 가중치맵 산출부(140)는 구현예에 따라 다양한 식을 이용하여 타겟영상의 각 화소에 부여할 가중치를 결정할 수 있다.
이상과 같이, 가중치맵 산출부(140)는, 기준영상 또는 타겟영상 내의 지역 대조도(local contrast)에 적응적인 가중치를, 타겟영상에 적용할 수 있다.
다른 실시예에서, 후술하는 것과 같이, 화소 위치와 상관없이 미리 정해진(pre-defined) 일정한 값을 가지는 가중치가 타겟영상에 적용되는 경우, 가중치맵 산출부(140)가 생략될 수도 있다.
영상 가중부(150)는 타겟영상에 결정된 부호 및/또는 크기 갖는 가중치를 곱하고, 이를 기준영상에 가산하여, 가중된 영상(weighted image)을 생성할수 있다.
일 예로, 화소 위치와 상관없이 일정한 값을 가지는 가중치가 타겟영상에 적용되는 경우, 가중된 영상은 수학식 2와 같이 산출될 수 있다.
Figure PCTKR2023016451-appb-img-000002
다른 예로, 화소 위치에 따라 가변하는 가중치가 타겟영상에 적용되는 경우, 가중된 영상은 수학식 3과 같이 산출될 수 있다.
Figure PCTKR2023016451-appb-img-000003
수학식 2 또는 수학식 3에서, Iweighted(x,y), R(x,y) 및 T(x,y)는 각각 가중된 영상, 기준영상 및 타겟영상의 화소위치 (x,y)에서의 화소값이다. 한편, sign(x)는 x가 양의 값(positive)이면 1로 매핑되고, 음의 값(negative)이면 -1로 매핑되며, 나머지의 경우에는 임의의 수로 매핑되는 부호함수(sign function)이다.
대조도 확대부(160)는 가중된 영상에 대해 이미지 향상 처리를 수행할 수 있다. 이미지 향상 처리는, 대조도 평활화(contrast equalization)를 포함할 수 있다. 예컨대, 대조도 확대부(160)는 가중된 영상에 대해 CLAHE(Contrast Limited Adaptive Histogram Equalization)을 적용할 수 있으나, 이에 한정되는 것은 아니며, 본 개시에서는 이미지 향상 처리를 위한 구체적인 방법에 대해 이에 대해 특정한 방법으로 한정하지 않는다.
가중된 영상에는 기준영상의 대조도 정보 및 타겟영상의 대조도 정보가 적절히 포함되어 있으나, 두 영상의 정보가 서로 겹쳐 있게 된다. 따라서, 기준영상과 타겟영상의 대조도의 차이가 작을 경우에는, 가중된 영상에 포함되어 있는 대조도 정보를 관찰자가 온전히 식별하기 어려울 수 있다. 대조도 확대부(160)는 가중된 영상의 각 화소 (x,y)를 중심으로 인접한 화소값의 차이가 더 크게 나타나도록 처리함으로써, 융합된 영상의 시인성을 개선할 수 있다.
한편, 도 1에서는, 영상 융합장치(10)가 전처리부(110) 및 대조도 확대부(160)를 모두 포함하는 것으로 도시하고 있으나, 다른 실시예에서 전처리부(110) 및/또는 대조도 확대부(160)가 생략되거나, 그 기능이 선택적으로 비활성화될 수도 있다. 일 예로, 전처리부(110)가 생략되거나 그 기능이 비활성화되는 경우, 기준영상 선택부(120)는 정렬된 제1 영상과 정렬된 제2 영상 중에서 어느 하나를 기준영상으로 출력할 수 있다. 다른 예로, 대조도 확대부(160)가 생략되거나 그 기능이 비활성화되는 경우, 영상 융합장치(10)는 영상 가중부(150)가 생성하는 가중된 영상을, 융합된 영상으로서 출력할 수 있다.
도 2는 본 개시의 일 실시예에 따른 영상 융합장치의 재귀적 동작을 설명하기 위한 예시도이다.
도 2를 참조하면, 영상 융합장치()는 3개 이상의 영상들을 융합하기 위해 재귀적(recursive)으로 동작할 수 있다.
예컨대, 영상 융합 장치()는 첫번째 이터레이션에서 제1 영상 및 제2 영상을 각각 기준영상 및 타겟영상으로서 입력받아 제1 융합영상을 출력하고, 두번째 이터레이션에서 제1 융합영상을 다시 기준영상으로서 입력받을 수 있다. 두번째 이터레이션에서 영상 융합 장치()는 제1 융합영상을 제3 영상과 융합하여 제2 융합영상을 생성할 수 있다. 각각의 이터레이션에서 생성되는 융합영상은, 첫번째 이터레이션에서 기준영상으로서 입력된 영상(도 2의 예시에서는, 제1 영상)과 유사한 스타일로 표현될 수 있다. 예컨ㄷ, 제1 영상, 제2 영상 및 제3 영상이 각각 가시광 영상, 근적외선 영상 및 장파장 적외선 영상인 경우, 제1 융합영상 및 제2 융합영상은 마치 가시광 카메라를 이용하여 촬영한 영상인 것 처럼 표현될 수 있다.
도 3은 본 개시의 일 실시예에 따른 영상 융합방법을 나타내는 흐름도이다.
도 3에 도시된 방법은, 전술한 영상 융합장치(10)의 하나 이상의 구성요소의 기능이 적어도 하나의 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 따라서 이하의 설명은 컴퓨팅 장치가 수행하는 동작 측면에서 서술될 수 있다.
컴퓨팅 장치는 기준영상 및 타겟영상 간의 상관계수를 산출할 수 있다(S300). 여기서, 상관계수는, 피어슨 상관계수(Pearson correlation coefficient)일 수 있다.
컴퓨팅 장치는 타겟영상에 적용할 가중치의 크기 및/또는 부호를 결정할 수 있다(S320).
일 실시예에서, 컴퓨팅 장치는 기준영상 및 타겟영상 간의 상관계수를 기초로, 타겟영상에 적용할 가중치의 부호를 결정할 수 있다. 예를 들어, 컴퓨팅 장치는 산출된 상관계수가 양의 값을 가지는 경우 가중치의 부호를 양의 부호로 결정하고, 산출된 상관계수가 음의 값을 가지는 경우 가중치의 부호를 음의 부호로 결정할 수 있다.
일 실시예에서, 컴퓨팅 장치는 타겟영상의 각 화소에 동일한 부호 및 크기를 갖는 가중치를 적용할 수 있다. 여기서, 가중치의 크기는 사전에 설정된 상수 값일 수 있다.
다른 실시예에서, 컴퓨팅 장치는 기준영상 또는 타겟영상 내의 인접한 화소들 간의 밝기 변화를 기초로, 타겟영상의 각 화소에 적용할 가중치의 크기를 결정할 수 있다. 컴퓨팅 장치는 기준영상 또는 타겟영상 내의 지역 대조도(local contrast)에 적응적인 가중치를 부여할 수 있다. 일 예로, 컴퓨팅 장치는, 타겟영상의 화소별로, 인접한 화소와의 밝기 변화가 큰 화소일수록, 해당 화소에 큰 가중치를 부여할 수 있다. 다른 예로, 컴퓨팅 장치는 기준영상의 화소별로, 인접한 화소와의 밝기 변화가 작은 화소일수록, 해당 화소와 동일한 위치에 존재하는 타겟영상의 화소에 큰 가중치를 부여할 수 있다.
컴퓨팅 장치는 가중치가 곱해진 타겟영상을 기준영상에 가산할 수 있다(S340).
실시예들에 따라, 컴퓨팅 장치는 과정 S300을 수행하기에 앞서, 서로 다른 파장의 광을 이용하여 촬영된 제1 영상 및 제2 영상을 획득하고, 획득한 영상들 중 어느 하나를 기준영상으로 선택하고, 나머지를 타겟영상으로 선택할 수 있다. 예를 들어, 컴퓨팅 장치는, 사전에 정의된 조건에 기초하여, 획득한 영상들 중 어느 하나를 기준영상으로 선택할 수 있다. 이를 위해 컴퓨팅 장치는 사용자로부터, 제1 영상 및 제2 영상 중 어떤 영상을 기준영상으로 선택할지에 대한 설정값을 입력받을 수 있다.
실시예들에 따라, 컴퓨팅 장치는 과정 S300을 수행하기에 앞서, 기준영상 및 타겟영상 각각에 대해 대조도 평활화 등과 같은 이미지 향상 처리를 수행할 수 있다. 이를 통해, 영상들이 융합되는 과정에서 각 영상 내의 대조도 정보가 손실되는 것을 방지할 수 있다. 이때, 컴퓨팅 장치는, 향상된 기준영상 및 향상된 타겟영상을 이용하여, 가중치의 부호 및/또는 크기를 결정하고, 영상 간 가중연산을 수행할 수 있다.
실시예들에 따라, 컴퓨팅 장치는 과정 S340에 따라 가산된 영상에 대조도 평활화 등과 같은 이미지 향상 처리를 수행할 수 있다.
실시예들에 따라, 컴퓨팅 장치는 3개 이상의 영상들을 융합하기 위해 과정 S300 내지 S340을 반복적으로 수행할 수 있다. 예컨대, 컴퓨팅 장치는 서로 구별되는 제1 영상 및 제2 영상을 각각 기준영상 및 타겟영상으로 입력받아 과정 S300 내지 과정 S340을 통해 제1 융합영상을 생성하고, 제1 영상 및 제2 영상과 구별되는 제3 영상 및 제1 융합영상을 융합하여 제2 융합영상을 생성할 수 있다. 이때, 컴퓨팅 장치는 제1 융합영상 및 제3 영상을 각각 기준영상 및 타겟영상으로 이용하여 과정 S300 내지 과정 S340을 재수행할 수 있다. 여기서, 제1 영상, 제2 영상 및 제3 영상은 서로 다른 파장의 광을 이용하여 촬영된 영상들일 수 있다. 제1 융합영상 및 제2 융합영상은, 마치 제1 영상과 동일한 파장의 광을 이용하여 촬영된 영상인 것 처럼 표현될 수 있다.
도 4는 본 개시가 적용될 수 있는 예시적인 컴퓨팅 장치를 개략적으로 나타낸 블록구성도이다.
도 4를 참조하면, 컴퓨팅 장치(40)는 메모리(400), 프로세서(420), 스토리지(440), 입출력 인터페이스(460) 및 통신 인터페이스(480) 중 일부 또는 전부를 포함할 수 있다. 컴퓨팅 장치(40)는 영상 처리장치(10 또는 20)의 적어도 일부를 구조적 및/또는 기능적으로 포함할 수 있다. 컴퓨팅 장치(40)는 데스크탑 컴퓨터, 서버 및/또는 지능형 카메라 등과 같은 고정형(stationary) 컴퓨팅 장치뿐만 아니라 스마트 폰 및/또는 랩탑 컴퓨터 등과 같은 휴대용(mobile) 컴퓨팅 장치일 수도 있다.
메모리(400)는 프로세서(420)로 하여금 본 발명의 일 실시예에 따른 영상 융합방법을 수행하도록 하는 프로그램을 저장할 수 있다. 예를 들면, 프로그램은 프로세서(420)에 의해서 실행 가능한(executable) 복수의 명령어들을 포함할 수 있고, 복수의 명령어들이 프로세서(420)에 의해서 실행됨으로써 영상 융합방법이 수행될 수 있다.
메모리(400)는 단일 메모리 또는 복수의 메모리들일 수 있다. 영상 융합에 필요한 정보는 단일 메모리에 저장되거나 복수의 메모리들에 나뉘어 저장될 수 있다. 메모리(400)가 복수의 메모리들로 구성된 경우, 복수의 메모리들은 물리적으로 분리될 수 있다. 메모리(400)는 휘발성 메모리 및 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 휘발성 메모리는 SRAM(Static Random Access Memory) 또는 DRAM(Dynamic Random Access Memory) 등을 포함하고, 비휘발성 메모리는 플래시 메모리(flash memory) 등을 포함한다.
프로세서(420)는 적어도 하나의 명령어들을 실행할 수 있는 적어도 하나의 코어를 포함할 수 있다. 프로세서(420)는 메모리(400)에 저장된 명령어들을 실행할 수 있다. 프로세서(420)는 단일 프로세서 또는 복수의 프로세서들일 수 있다.
스토리지(440)는 컴퓨팅 장치(40)에 공급되는 전력이 차단되더라도 저장된 데이터를 유지할 수 있다. 예를 들면, 스토리지(440)는 비휘발성 메모리를 포함할 수도 있고, 자기 테이프, 광학 디스크, 자기 디스크와 같은 저장 매체를 포함할 수도 있다.
스토리지(440)는 프로세서(420)에 의해서 처리될 데이터 및 프로세서(420)에 의해서 처리된 데이터를 저장할 수 있다. 본 발명의 일 실시예에 의하면, 스토리지(440)는 가중치로 사용할 상수 값, 기준영상을 선택하기 위한 조건 및/또는 복수의 영상을 융합하는 프로그램 등을 저장할 수 있다. 스토리지(440)에 저장된 프로그램 또는 데이터는, 프로세서(420)에 의해서 실행되기 이전에 메모리(400)로 로딩될 수 있다. 스토리지(440)는 프로그램 언어로 작성된 파일을 저장할 수 있고, 파일로부터 컴파일러 등에 의해서 생성된 프로그램은 메모리(400)로 로딩될 수 있다.
입출력 인터페이스(460)는 키보드, 마우스, 터치 인터페이스, 마이크 및/또는 카메라 등과 같은 입력 장치를 포함할 수 있고, 디스플레이 및/또는 스피커 등과 같은 출력 장치를 포함할 수 있다. 사용자는 입출력 인터페이스(460)를 통해 프로세서(420)에 의한 프로그램의 실행을 트리거하고, 기준영상 선택을 위한 설정값을 입력하고/거나, 융합된 영상을 확인할 수 있다. 실시예들에 따라, 입출력 인터페이스(460)는 서로 다른 파장의 광을 이용하여 영상을 촬영하는 복수의 카메라를 포함할 수도 있다. 예컨대, 입출력 인터페이스(460)는 근적외선 카메라, 단파장 적외선 카메라, 중파장 적외선 카메라, 장파장 적외선 카메라, 및 가시광 카메라 중 2 이상을 포함할 수 있으나 이러한 예시에 한정되는 것은 아니다.
통신 인터페이스(480)는 외부 네트워크에 대한 액세스를 제공한다. 예를 들면, 컴퓨팅 장치(40)는 통신 인터페이스(480)를 통해 하나 이상의 카메라 및/또는 서버로부터 융합하고자하는 영상들을 수집할 수 있다.
도 5a 내지 도 5f는 본 개시의 일 실시예에 따른 영상 융합 결과 및 비교 실시예에 따른 영상 융합 결과를 비교하기 위한 예시도이다.
도 5a 및 도 5b는 각각 융합의 대상이 되는 가시광 영상 및 적외선 영상이고, 도 5c 및 도 5d는 본 개시의 일 실시예에 따른 영상 융합 결과를 보여주며, 도 5e 및 도 5f는 비교 실시예에 따른 영상 융합 결과를 보여준다.
구체적으로, 도 5c는 가시광 영상을 기준영상으로 하고 적외선 영상을 타겟영상으로 하여 영상을 융합한 결과를 보여주며, 도 5d는, 가시광 영상을 타겟영상으로하고 적외선 영상을 기준영상으로 하여 영상을 융합한 결과를 보여준다.
도 5c 및 도 5d에 도시되듯이, 본 개시의 일 실시예에 따라 융합된 영상은 기준영상과 유사한 스타일로 표현됨으로써 사용자의 이질감을 줄일 수 있다. 나아가, 사용자는 입력 영상들 중 자신에게 익숙한 스타일의 영상을 기준영상으로 선택할 수 있다.
또한, 도 5e에 도시된 Wavelet 변환 기반의 영상 융합 기법 및 도 5f에 도시된 이중 판별자 조건부 생성적 적대 네트워크(Dual-Discriminator Conditional Generative Adversarial Network, DDcGAN) 기반의 영상 융합 기법의 결과와 비교할 때, 본 개시의 일 실시예에 따라 융합된 영상은 기준영상과 유사한 스타일로 표현되면서도 타겟 영상의 대조도 정보를 더 잘 포함하는 것을 확인할 수 있다.
도 6a 내지 도 8d는 본 개시의 일 실시예에 따른 이미지 향상 처리의 효과를 설명하기 위한 예시도이다.
구체적으로, 도 6a 및 도 6b는 연기가 없는 환경에서 촬영된 근적외선 영상 및 열화상 영상(장파장 적외선 영상)을 보여주고, 도 6c 및 도 6d는 이들에 대하 본 개시 및 비교 실시예(Wavelet 변환 기반의 영상 융합 기법)에 따른 융합결과를 보여준다. 도 7a 및 도 7b는 연기가 있는 환경에서 촬영된 근적외선 영상 및 열화상 영상을 보여주고, 도 7c 및 도 7d는 이들에 대한 본 개시 및 비교 실시예에 따른 융합결과를 보여준다. 도 8a 및 도 8b는 짙은 연기가 있는 환경에서 촬영된 근적외선 영상 및 열화상 영상을 보여주고, 도 8c 및 도 8d는 이들에 대한 본 개시 및 비교 실시예에 따른 융합결과를 보여준다.
도 6c, 도 7c 및 도 8c에 도시된 것과 같이, 본 개시의 일 실시예 따르면, 영상들을 융합하기 전 및/또는 후에 이미지 향상 처리를 수행하여, 융합된 영상 내의 숫자 패널의 시인성이 개선된 것을 확인할 수 있다.
표 1은 본 개시의 일 실시예 따른 영상 융합 기법 및 Wavelet 변환 기반의 영상 융합 기법의 연산 처리 속도를 비교한 표이다.
연산처리속도
본 발명 20.3 fps @640x512 (with NVIDIA Quadro RTX 5000)
Wavelet fusion 4.2 fps @640x512 (with Intel i9-9960X CPU)
본 개시의 일 실시예 따른 영상 융합 기법은 단순한 계산의 반복으로 이루어져 있어, 소프트웨어나 하드웨어 구현시 병렬화가 가능하여 저전력 고속 융합 영상처리가 가능하다. 또한, 대부분의 연산을 가우시안 필터(Gaussian filter)로 구현 가능하므로, 하드웨어 가속에 유리한 장점이 있다.
본 발명에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2022년 11월 07일에 한국에 출원한 특허출원번호 제10-2022-0147390호에 대해 우선권을 주장한다.

Claims (20)

  1. 복수의 영상을 융합하기 위한 컴퓨터 구현 방법으로서,
    기준영상 및 타겟영상 간의 상관계수를 산출하는 과정;
    상기 상관계수를 기초로 상기 타겟영상에 적용할 가중치의 부호를 결정하는 과정; 및
    상기 결정된 부호를 갖는 가중치가 곱해진 타겟영상과 상기 기준영상 간의 가산에 근거하여 제1 융합영상을 생성하는 과정
    을 포함하는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 상관계수는, 피어슨 상관계수(Pearson correlation coefficient)인 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 가중치의 부호를 결정하는 과정은,
    상기 기준영상 및 상기 타겟영상 간의 상관계수가 양의 값을 가지는 경우, 상기 가중치의 부호를 양의 부호로 결정하고,
    상기 기준영상 및 상기 타겟영상 간의 상관계수가 음의 값을 가지는 경우, 상기 가중치의 부호를 음의 부호로 결정하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    상기 가산하는 과정은,
    상기 타겟영상의 각 화소에 동일한 부호 및 크기를 갖는 가중치를 곱하는 것을 특징으로 하는, 방법.
  5. 제1항에 있어서,
    상기 가산하는 과정 이전에,
    상기 기준영상 또는 상기 타겟영상 내의 인접한 화소들 간의 밝기 변화를 기초로, 상기 타겟영상의 각 화소에 적용할 가중치의 크기를 결정하는 과정
    을 추가로 포함하는 것을 특징으로 하는, 방법.
  6. 제5항에 있어서,
    상기 가중치의 크기를 결정하는 과정은,
    상기 기준영상 또는 상기 타겟영상 내의 지역 대조도(local contrast)에 적응적인 가중치를 부여하는 것을 특징으로 하는, 방법.
  7. 제5항에 있어서,
    상기 가중치의 크기를 결정하는 과정은,
    상기 타겟영상의 화소별로, 인접한 화소와의 밝기 변화가 큰 화소일수록, 큰 가중치를 부여하는 것을 특징으로 하는, 방법.
  8. 제5항에 있어서,
    상기 가중치의 크기를 결정하는 과정은,
    상기 기준영상의 화소별로, 인접한 화소와의 밝기 변화가 작은 화소일수록, 상기 타겟영상의 동일한 위치의 화소에 큰 가중치를 부여하는 것을 특징으로 하는 방법.
  9. 제5항에 있어서,
    상기 가중치의 크기를 결정하는 과정은,
    상기 인접한 화소들의 밝기값의 분산(variance) 또는 표준편차(standard deviation)를 기초로, 상기 밝기 변화를 산출하는 과정
    을 포함하는 것을 특징으로 하는, 방법.
  10. 제1항에 있어서,
    상기 기준영상 및 타겟영상은, 서로 다른 파장의 광을 이용하여 촬영된 영상들인 것을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 기준영상 및 타겟영상 중 적어도 하나는, 비-가시광 영상인 것을 특징으로 하는 방법.
  12. 제1항에 있어서,
    상기 산출하는 과정 이전에,
    서로 다른 파장의 광을 이용하여 촬영된 제1 영상 및 제2 영상 중 어느 하나를 상기 기준영상으로 선택하고, 나머지를 상기 타겟영상으로 선택하는 과정을 추가로 포함하며,
    상기 제1 융합영상은, 상기 제1 영상 및 상기 제2 영상 중에서 상기 기준영상으로 선택된 영상과 유사한 스타일로 표현되는 것을 특징으로 하는, 방법.
  13. 제12항에 있어서,
    상기 선택하는 과정 이전에,
    상기 제1 영상 및 상기 제2 영상 중 상기 기준영상으로 선택할 영상에 대한 설정값을 입력받는 과정
    을 추가로 포함하는 것을 특징으로 하는, 방법.
  14. 제1항에 있어서,
    서로 구별되는 제1 영상 및 제2 영상을 각각 상기 기준영상 및 상기 타겟영상으로 입력받는 과정; 및
    상기 제1 영상 및 제2 영상과 구별되는 제3 영상을 상기 제1 융합영상과 융합하여 제2 융합영상을 생성하는 과정을 더 포함하되,
    상기 제2 융합영상을 생성하는 과정은, 상기 제1 융합영상 및 상기 제3 영상을 각각 상기 기준영상 및 상기 타겟영상으로 이용하여 상기 산출하는 과정, 상기 결정하는 과정 및 상기 생성하는 과정을 재수행하는 것인, 방법.
  15. 제14항에 있어서,
    상기 제1 영상, 상기 제2 영상 및 상기 제3 영상은, 서로 다른 파장의 광을 이용하여 촬영된 영상들이고,
    상기 제1 융합영상 및 상기 제2 융합영상은, 마치 상기 제1 영상과 동일한 파장의 광을 이용하여 촬영된 영상인 것 처럼 표현되는, 방법
  16. 제1항에 있어서,
    상기 산출하는 과정 이전에,
    상기 기준영상 및 상기 타겟영상에 대해 대조도 평활화(contrast equalization) 처리를 각각 수행하는 과정을 추가로 포함하는 것을 특징으로 하는, 방법.
  17. 제1항에 있어서,
    상기 제1 융합영상을 생성하는 과정은,
    상기 결정된 부호를 갖는 가중치가 곱해진 타겟영상과 상기 기준영상이 가산된 영상에 대해 대조도 평활화 처리를 수행하는 과정을 추가로 포함하는 것을 특징으로 하는, 방법.
  18. 제17항에 있어서,
    상기 수행하는 과정은,
    상기 제1 융합영상의 각 화소값과 인접한 화소값의 차이가 커지도록, 상기 각 화소값을 조정하는 것을 특징으로 하는, 방법.
  19. 기준영상 및 타겟영상 간의 상관계수를 산출하는 상관계수 산출부; 및
    상기 상관계수를 기초로 결정된 부호를 갖는 가중치가 곱해진 타겟영상을 상기 기준영상에 가산하여 가중된 영상을 생성하는 영상 가중부
    를 포함하는 것을 특징으로 하는, 영상 융합장치.
  20. 명령어가 저장된, 컴퓨터로 읽을 수 있는 비-일시적 기록매체로서, 상기 명령어는 상기 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금, 제1항에 따른 방법이 포함하는 각 과정을 실행하도록 하는 것을 특징으로 하는, 컴퓨터로 읽을 수 있는 비-일시적 기록매체.
PCT/KR2023/016451 2022-11-07 2023-10-23 저대조도 영상 융합방법 및 장치 WO2024101714A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220147390A KR20240065993A (ko) 2022-11-07 2022-11-07 저대조도 영상 융합방법 및 장치
KR10-2022-0147390 2022-11-07

Publications (1)

Publication Number Publication Date
WO2024101714A1 true WO2024101714A1 (ko) 2024-05-16

Family

ID=91032743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016451 WO2024101714A1 (ko) 2022-11-07 2023-10-23 저대조도 영상 융합방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240065993A (ko)
WO (1) WO2024101714A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072386A (ko) * 2012-12-03 2014-06-13 삼성테크윈 주식회사 영상 처리 장치 및 방법
KR101829415B1 (ko) * 2016-07-25 2018-02-19 국민대학교 산학협력단 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치
KR102294630B1 (ko) * 2020-03-19 2021-08-26 한양대학교 산학협력단 영상 융합 방법 및 장치
KR20210134945A (ko) * 2019-07-29 2021-11-11 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 이미지 처리 방법과 장치, 전자 기기 및 저장 매체
KR102431419B1 (ko) * 2020-03-06 2022-08-11 세종대학교산학협력단 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072386A (ko) * 2012-12-03 2014-06-13 삼성테크윈 주식회사 영상 처리 장치 및 방법
KR101829415B1 (ko) * 2016-07-25 2018-02-19 국민대학교 산학협력단 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치
KR20210134945A (ko) * 2019-07-29 2021-11-11 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 이미지 처리 방법과 장치, 전자 기기 및 저장 매체
KR102431419B1 (ko) * 2020-03-06 2022-08-11 세종대학교산학협력단 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법 및 그 장치
KR102294630B1 (ko) * 2020-03-19 2021-08-26 한양대학교 산학협력단 영상 융합 방법 및 장치

Also Published As

Publication number Publication date
KR20240065993A (ko) 2024-05-14

Similar Documents

Publication Publication Date Title
WO2017150878A1 (en) Leveraging multi cues for fine-grained object classification
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
JP2021103555A (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
CN104853091A (zh) 一种拍照的方法及移动终端
WO2017155292A1 (ko) 비정상행위 탐색방법 및 탐색프로그램
WO2018174581A1 (ko) 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치
WO2022156167A1 (zh) 图像处理方法及装置、电子设备、计算机可读存储介质、计算机程序及程序产品
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2020111776A1 (en) Electronic device for focus tracking photographing and method thereof
EP3891695A1 (en) Electronic device and method for adjusting color of image data by using infrared sensor
US20210279508A1 (en) Image processing method, apparatus and storage medium
EP3707909A1 (en) Electronic device and method for correcting images using external electronic device
CN108765532A (zh) 儿童绘本模型建立方法、阅读机器人及存储设备
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
JP2020127194A (ja) コンピュータシステムおよびプログラム
CN110211195A (zh) 生成图像集合的方法、装置、电子设备和计算机可读存储介质
CN108932703B (zh) 图片处理方法、图片处理装置及终端设备
WO2024101714A1 (ko) 저대조도 영상 융합방법 및 장치
WO2021256812A1 (en) Multi-sensor, multi-view, multi-frame, multi-task synthetic image fusion engine for mobile imaging system
CN109886864B (zh) 隐私遮蔽处理方法及装置
EP3803797A1 (en) Methods and systems for performing editing operations on media
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
WO2020017937A1 (en) Method and electronic device for recommending image capture mode