WO2018030593A1 - 라플라시안 패치 기반 이미지 합성 방법 및 장치 - Google Patents

라플라시안 패치 기반 이미지 합성 방법 및 장치 Download PDF

Info

Publication number
WO2018030593A1
WO2018030593A1 PCT/KR2016/014769 KR2016014769W WO2018030593A1 WO 2018030593 A1 WO2018030593 A1 WO 2018030593A1 KR 2016014769 W KR2016014769 W KR 2016014769W WO 2018030593 A1 WO2018030593 A1 WO 2018030593A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
patches
image
pyramid
gaussian
Prior art date
Application number
PCT/KR2016/014769
Other languages
English (en)
French (fr)
Inventor
김민혁
이주호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2018030593A1 publication Critical patent/WO2018030593A1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a Laplacian patch-based image synthesizing technique.
  • the Laplacian pyramid uses a Laplacian pyramid to approximate the second derivative property at each scale through a Difference of Gaussian (Dog) and synthesize the image using the Laplacian patch. It relates to a patch-based image composition method and apparatus.
  • Dog Difference of Gaussian
  • the existing inpainting algorithm used an image gradient, which is the first derivative of the image intensity, to detect the image structure and copy (or fill) it inward from the boundary.
  • the first derivative measures the directional change in intensity around the edges.
  • an image pyramid that represents an image representation based on a multi-scale signal is used to complete missing regions in patch-based synthesis. Widely used to improve structural consistency.
  • image gradients are used to enhance the edge structure of the synthesized image as well as consistent image synthesis.
  • the combination of gradient and image goramid improves the detail and structural consistency of inpainting, but since the gradient operation is directional, it requires very heavy computation because it needs to be calculated twice in each direction and solves the Poisson equation. Shall be.
  • filling the first derivative region which is not integral, results in artifacts.
  • Laplacian operations the divergence of image gradients, have the advantage of being rotation independent and non-directional.
  • the Laplacian values are well aligned with the edges, making them suitable for representing image structures near the edges.
  • the Laplacian pyramid decomposes the basic and detail structures of the image into their frequency components. This data structure is used for various applications such as image blending / fusion, enhancement, and denoising.
  • inpainting algorithms can be largely divided into diffuse-based and example-based methods.
  • the diffusion method extends the geometry of adjacent regions and fills the empty regions, using a neighbor smoothness constraint that enforces local connectivity. Most diffusion methods proceed by solving partial differential equations locally, but there are also local optimization methods that minimize changes in the entire filled area. Diffuse dog Inpainting is effective for reconstructing lines, curves, and small holes, but blurring artifacts can occur when filling large holes.
  • the example-based approach was proposed as an extension of the diffuser approach, which first determines which target patches (patches in the empty regions) to fill first for any empty region (target region), and then candidate patches that resemble the target patches. In the image area outside of the target area. Finally, the candidate patch is synthesized at the target patch position. Since this method was proposed, global optimization method and various modification algorithms have been proposed. For example, there is a method of propagating a structure based on user input, a method of determining the order of filling using a tensor-based data term, and a method of determining the order of filling using a tensor-based data term. Candidate patches represented by Nearest neighbor field are searched after local denoising algorithm. In addition, a method of greatly reducing the amount of computation using a random search method has been proposed, and this method has been widely used for searching for corresponding points. In addition, priority propagation has been proposed for patch synthesis through discrete global optimization.
  • Embodiments of the present invention provide a Laplacian patch-based image compositing method and apparatus capable of approximating a second derivative property at each scale using a Laplacian pyramid through a Difference of Gaussian (DoG) and synthesizing the image using the same. do.
  • DoG Difference of Gaussian
  • a method of synthesizing a gaussian pyramid and a laplacian pyramid of an input image Image synthesizing a target region within the input image using the Gaussian pyramid and the Laplacian pyramid; And performing image synthesis of the target area by sequentially repeating the image synthesizing for each level of the Gaussian pyramid and the Laplacian pyramid.
  • the generating may include generating the lapolasian pyramid using the upsampling Gaussian pyramid by upsampling the Gaussian pyramid and the Gaussian pyramid.
  • the target area may be image synthesized by updating the pixel of each of the target patches using the searched source patches.
  • the image synthesizing of the target region may search for neighbor-neighbor source patches for each of the target patches using the Gaussian pyramid and the Laplacian pyramid.
  • the image synthesizing of the target region may update a pixel of each of the target patches based on a weighted value of a distance of each of the target patches at a boundary between the searched source patches and the target region.
  • the image synthesizing of the target region may update the pixel of each of the target patches based on the similarity between the retrieved source patches and the target patches and the confidence value at the target pixel of each of the target patches.
  • the image synthesis result of the target region at the previous level may be filled in the target region, and the image synthesis may be repeatedly performed.
  • a method of synthesizing a Laplacian pyramid of an input image Approximating the second derivative property at each level using the generated Laplacian pyramid through a Gaussian difference; And synthesizing a target region within the input image using the second derivative at each approximated level.
  • the generating comprises upsampling a Gaussian pyramid and the Laplacian goramid for the input image.
  • One upsampling Gaussian pyramid can be used to generate the Laplacian pyramid.
  • the image synthesizing of the target region may include source patches for each of the target patches of the target region using a Gaussian pyramid and the Laplacian pyramid for the input image, wherein the source patches are patches on a side of the target region.
  • the target region may be image synthesized.
  • the image synthesizing of the target region may search for neighbor-neighbor source patches for each of the target patches using the Gaussian pyramid and the Laplacian pyramid.
  • the image synthesizing of the target region may update a pixel of each of the target patches based on a weighted value of a distance of each of the target patches at a boundary between the searched source patches and the target region.
  • the image synthesizing of the target area may update the pixel of each of the target patches based on the similarity between the retrieved source patches and the target patches and a confidence weight at a target pixel of each of the target patches.
  • the image synthesizing of the target region may be performed by filling the target region with the image synthesis result of the other region at a previous level and sequentially repeating each target level.
  • An image synthesizing apparatus includes a generation unit for generating a Laplacian pyramid for an input image; Using the generated Laplacian pyramid, the second derivative at each level is used to calculate the Gaussian difference (Difference of Gaussian). Approximation through approximation; And a compositing unit for synthesizing the target region in the input image by using the second derivative at each approximated level.
  • a generation unit for generating a Laplacian pyramid for an input image
  • the second derivative at each level is used to calculate the Gaussian difference (Difference of Gaussian). Approximation through approximation;
  • a compositing unit for synthesizing the target region in the input image by using the second derivative at each approximated level.
  • an image synthesis algorithm that fills a blank portion of an image, and may be applied to various applications.
  • the empty area is imaged using the image synthesis algorithm of the present invention. Filling can solve privacy problems.
  • FIG. 1 is a diagram illustrating an image synthesizing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an internal configuration of a computing device including an image synthesizing apparatus according to the present invention.
  • Figure 3 shows an example for explaining the Gaussian and Gaussian difference (DoG).
  • Figure 4 shows a conceptual diagram of the edge-recognition Daeungjeom search in the Laplacian pyramid of the present invention.
  • FIG. 5 illustrates a conceptual diagram of a Laplacian patch-based image synthesis method according to an embodiment of the present invention.
  • FIG. 6 illustrates a Laplacian based image completion algorithm according to an embodiment of the present invention.
  • FIG. 7 illustrates an operation flowchart for an image compositing method according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an image synthesizing apparatus according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an image synthesizing apparatus according to an embodiment of the present invention.
  • the image synthesizing apparatus may be mounted or installed inside the computing device 100, and a predetermined area is empty . It is a device that can fill the empty part of the input image as naturally as possible.
  • the input image should be filled with an image including an area that is poorly photographed for some reason, an image including an area that is left as an empty area in the background by removing the foreground object, and an image including an area damaged for unknown reason. It can contain any kind of image that has an area.
  • the computing device 100 shown in FIG. 1 may include any device capable of installing or mounting an image compositing algorithm according to the present invention, for example, a smartphone capable of installing software such as Photoshop. It may be a phone, a computer, a notebook, a personal digital assistant (PDA), a tablet PC, or the like.
  • a smartphone capable of installing software such as Photoshop. It may be a phone, a computer, a notebook, a personal digital assistant (PDA), a tablet PC, or the like.
  • PDA personal digital assistant
  • Such computing devices may communicate with other electronic devices and / or servers over a network using a wireless or wired communication scheme.
  • the communication method is not limited and may include short-range wireless communication between devices as well as a communication method utilizing a communication network (eg, a mobile communication network, a wired internet, a wireless Internet, a broadcasting network) that the network may include.
  • a communication network eg, a mobile communication network, a wired internet, a wireless Internet, a broadcasting network
  • the network may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN),
  • PAN personal area network
  • LAN local area network
  • CAN campus area network
  • the network may also include any one or more of network topologies including, but not limited to, bus networks, star networks, ring networks, mesh networks, star-bus networks, trees, or hierarchical networks. .
  • FIG. 2 is a block diagram illustrating an internal configuration of a computing device including an image synthesizing apparatus according to the present invention.
  • the computing device 100 may include a memory 210, a processor 220, a communication module 230, and an input / output interface 240.
  • the memory 210 is a computer-readable recording medium, and may include a permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive.
  • RAM random access memory
  • ROM read only memory
  • the operating system and at least one program code may be stored in the memory.
  • These software components can be loaded from a computer readable recording medium separate from the memory using a drive mechanism.
  • Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, a memory card, and the like.
  • software components may be loaded into memory via communication modules rather than on computer-readable recording media.
  • At least one program may be loaded into a memory based on a file distribution system for distributing installation files of developers or applications, for example, a program installed by files provided by a server through a network.
  • the processor 220 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations.
  • the instructions may be provided to the processor by memory or communication modules.
  • the processor may be configured to execute instructions received in accordance with program code stored in a recording device such as a memory.
  • the processor 220 may be a constituent means for performing the image combining method of the present invention.
  • the communication modules 230 may provide a function for communicating with other electronic devices or servers through a network.
  • the input / output interface 240 may be a means for interfacing with the input / output device 250.
  • the input device may include a device such as a keyboard or mouse
  • the output device may include a device such as a display for displaying a communication session of an application.
  • the input / output interface may be a means for interfacing with a device in which functions for input and output are integrated into one, such as a touch screen.
  • the computing device may include more components than the components of Figure 2 in other embodiments. However, it is not necessary to clearly show most of the prior art components.
  • the computing device may be implemented to include at least some of the above-described input and output devices, or may further include other components such as speakers, microphones, various sensors, and the like.
  • the present invention may be installed and performed in such a computing device, and the method and apparatus according to the embodiments of the present invention performed in the computing device will be described with reference to FIGS. 3 to 8.
  • the present invention utilizes the Laplacian pyramid to improve structural consistency in image synthesis. Since the nearest neighbor search (or search) in the Laplician pyramid is invariant to the rotation of propagated structure information, it is possible to improve the accuracy of the correspondence search compared to the existing methods.
  • the present invention is due to i using the up-sampled image and the Gaussian Laplacian image, it is possible to obtain a robust result in changes in the noise parameter.
  • Detailed description of the invention describes edge-aware (or edge endpoint) image compositing techniques.
  • Gaussian, Gradient and Laplacian The Image Pyramid provides a multi-resolution representation of an image and is used in many applications. Paramids are generated in two steps: filtering and sampling.
  • Gaussian functions (a), Gaussian gradients (b) and gradient divergence (c) are usually used for filtering. Since convolution filtering is a linear operation, the Laplacian 2 [ ⁇ ® /] of the Gaussian filtered image is the same as the filtered image with the Laplacian kernel [ 2 ⁇ 1 ] ® /. By downsampling the signal by filtering, an image pyramid is formed.
  • gradients and Laplacian V 2 are mainly used to detect edge structures in images.
  • the gradient is from the first partial derivative of X and y. Is calculated. That is, ⁇ ⁇ — I dx ⁇ ' 9y ⁇ /. At least two operators are needed to detect changes in the local structure in the image.
  • the gradient is a directional edge detector that requires multiple operators for each direction, so that the gradient magnitude is used for detecting edges.
  • the Laplacian pyramid stores the band-passed structure information of each frequency band as shown in FIG. 4A. Pyramids are widely used for various edge-aware image processing.
  • Laplacian of Gaussian (LoG; Laplacian of Gaussian) is a two Gaussian difference in different scales as shown in Figure 3d to Figure 3 f; can be simply approximated by (DoG Difference of Gaussian).
  • the image scale at level (1 + 1) is reduced to half the scale of level 1 in the Gaussian pyramid, and the DoG can be approximated to LoG with high accuracy.
  • 3C and 3F compare the similarity between LoG and DoG.
  • the backward calculation of the gradient has to solve the Poisson equation, which is computationally expensive and undesired gradient fields can cause unwanted artifacts.
  • the choice of the pyramid kernel operator is critical to the information from which the image is derived.
  • Gaussian operators are effective in determining the basic structure at each level of frequency. This operator is frequently used in many image completion algorithms to achieve spatial consistency in searching correspondence and aggregating similarity. Contrary to Gaussian, the gradient and Laplacian operators can find the edge structure of each level of an image. Differential pyramid elements are preserved in the local domain in the spatial domain of the gradient or Laplacian. The differential image pyramid is broken down into edge localization at each level of frequency.
  • Inputs for example-based image completion are color image I and mask image M.
  • the mask image M distinguishes the source region S from the target region T.
  • the purpose of example-based image completion is to fill the target area T of image I with the contents of source area S.
  • the present invention first constructs Gaussian pyramid G for image I as shown in Equation 1 below.
  • Gi denotes the i th Gaussian pyramid image (or the i th scale of the Gaussian pyramid G), and the number of images (or the total scale number) of the Gaussian pyramid n + 1, downsampleO may refer to an operator that partially samples a blurred image (or filtered scale).
  • the most detailed pyramid (finest level) in a Gaussian pyramid is .
  • G 0 same as original image I.
  • the i th Gaussian scale +1 may be obtained by performing partial sampling after Gaussian filtering the previous scale.
  • the Laplacian pyramid L is calculated as the difference of the Gaussian pyramid (DoG), and can be expressed as Equation 2 below.
  • upsampleO is the upsampling operator.
  • an upsampled Gaussian pyramid U is defined. i th Laplacian image L, with Gi. It is a detail structure existing between G 1 + 1 . Since the number of Gaussian levels in the Gaussian pyramid is limited, the coarse level Laplacian pyramid L n is the coarse level image of the Gaussian pyramid.
  • the DoG-based Laplacian pyramid of the present invention includes two images, a Gaussian pyramid and a Laplacian pyramid, as shown in FIGS. 4A and 4B.
  • the frequency of the basic structure is decomposed to the intensity of each level in the Gaussian pyramid, and the frequency of the edge structure is localized to Laplacian at each level of the frequency of the Laplacian pyramid.
  • 4 is a conceptual diagram of an edge-aware correspondence point search in the Laplacian pyramid of the present invention . This shows a comparison of gradient-based search (d) and conventional Gaussian-based search (e).
  • the present invention creates a Gaussian pyramid using a 5 ⁇ 5 blur kernel.
  • the bottom figure of FIG. 4C shows an example of the patch color distance from the upper left corner of the circular function of the scale of U 2 and L 2 to the target patch of all source patches, where the area indicated by the arrow is the base in both pyramids.
  • Random search As shown in Equation 3 below, the algorithm attempts to minimize the color distance of the patch gradually, and the aggregated edges of the base structure and the detail structure are important clues to finding the corresponding points of the structure due to the characteristics of the random search algorithm. .
  • the gradient size (or gradient distance function) shown in FIG. 4D and the Gaussian scale (or Gaussian distance function) shown in FIG. 4E have only a few patches with significantly higher values. As a result, most of the patch structure is ignored by the weight when calculating the weighted sum of the colors in the vote process, as shown in Equation 4 to be described later. With these gradients. Gaussian two images. The pyramid can be used as an energy function of the patch distance.
  • the main strategy for finding the main point in the present invention is not only to minimize the distance of the low frequency base structure but also to preserve the distance of the high frequency detail structure.
  • the energy function in the present invention is similar to the iterative expectation-maximization (EM) algorithm, but there is a big difference in that it uses two image pyramids of upsampling Gaussian and Laplacian.
  • NMF nearest neighbor field
  • Ei (T, S) Y mm (aD (U i> p , U i> q ) + ⁇ (L ijP , L i> q ))
  • i means the current level
  • p and q are the target areas
  • the pixel position in T and source region S, Ui , p , Li , and p are patches centered at pixel position p at level i of pyramids U and L, and D is between CIELAB colors of the two patches.
  • the image gradients Vo: G and ⁇ 3 ⁇ 4 / ⁇ can only sense structural changes in the horizontal and vertical directions because they are directional operators.
  • the present invention has the significant advantage of being invariant to rotation because it uses a Laplacian operator which has a rotational invariant property.
  • Laplacian behaves the same in structural changes near the edge in any direction and is robust to detecting detail structures.
  • Laplacian's isotropic nature uses local (or local) structured correspondences, which avoids the use of multiple operator gradients, which can be expected to be computationally efficient.
  • the present invention updates the upsampling Gaussian image and the Laplacian image by blending the nearest source patches, in order to maximize the similarity of the target patches and the source patches after finding the corresponding point.
  • the present invention performs weighted blending of the scales. Patches with similar color distance and patches close to the completion boundary are given a high weight.
  • the filled result Uj should be passed to the next level i-1. That is, the completion at the i level may be utilized as the initial completion of the next level i-1. 5 and 6, the fine scale of the Gaussian blood filled at level i may be obtained by adding upsampling Gaussian ⁇ 7 ⁇ and Laplacian Li at level i using Equation 2 above. As a result, the reconstructed Gaussian ( ⁇ can be obtained from upsampling the filled Gaussian. However, the fine scale of Laplacian " ⁇ -i at level i-1 cannot be reconstructed in this way. Because of the details, the nearest neighbor field correspondence of the search patch obtained at level i can be used to fill the target region of the Laplacian scale ⁇ ii with the information of the source region at level il.
  • the present invention can complete the basic and detail structures in both image pyramids, from coarse level to the finest level.
  • Vote Referring to the color voting step, the present invention first describes the similarity between pixel q and the target patch at the level 1 and the corresponding source patch of pixel p.
  • the present invention can calculate the confidence weight A (q) at the target pixel q, which can avoid boundary errors by assigning higher confidence values to target points closer to the filled boundary. This voting process weights the two metrics of similarity and confidence in cell q, indicating that the image in the target area is located in the background of the target area in the image. To combine. For every other pixel q, the present invention calculates the weighted average C q of the overlapping color of G 3 from the nearest neighbor field using the weight, and the weighted average may be calculated as in Equation 4 below.
  • the Laplacian patch-based image summarization method calculates a difference of Gaussian (DoG) using a Gaussian pyramid and a Laplacian pyramid, and approximates a second derivative by using DoG and approximates 2
  • DoG Gaussian
  • Such a method according to the present invention removes an image, a foreground object, which includes a region that is not well photographed for some reason, and then moves from the background to an empty region. You can naturally fill in blank areas within an image, such as images that contain areas that remain, or images that contain areas that are corrupted for unknown reasons.
  • FIG. 7 illustrates an operation flowchart for an image compositing method according to an embodiment of the present invention.
  • the image combining method when an input image is received, the image combining method generates a Laplacian pyramid for the input image (S710).
  • the Laplacian pyramid may be generated using a Gaussian pyramid for the input image and an upsampling Gaussian pyramid upsampled from the Gaussian pyramid, and can be known through Equation 2 described above.
  • the present invention generates an upsampling Gaussian pyramid and a Laplacian pyramid, and uses the two pimarides of the upsampling ginsian pyramid and the Laplacian pyramid.
  • the second differential property at each level is approximated through a Gaussian difference using the generated Laplacian pyramid (S720).
  • the target region within the input image is image synthesized using the second derivative property approximated at each level (S730).
  • step S730 is a source for each of the target patches of the target area using a Gaussian pyramid and a Laplacian pyramid for the input image.
  • the target area may be image synthesized by searching for patches and updating the pixels of each of the target patches using the searched source patches.
  • step S730 may search for the nearest neighbor source patches for each of the target patches using the Gaussian pyramid and the Laplacian pyramid, and blend the searched nearest neighbor source patches to the target patches, thereby obtaining a pixel of each target patch. Can be updated.
  • step S730 may update the pixel of each of the target patches based on a weighted value according to the distance of each of the target patches at the boundary between the searched source patches and the target area, and further, the search of the source patches and the target patches.
  • the pixel of each of the target patches may be updated based on the similarity and the confidence weight at the target pixel of each of the target patches. .
  • Such image compositing is repeatedly performed sequentially for each level of the pyramid. Specifically, the image compositing result of the target area in the previous level is filled in the target area, and each level, that is, the coarse level to the finest ( By sequentially repeating at the finest level, image synthesis of the target region can be performed.
  • the inpainting process is repeatedly performed to synthesize an image of the target area at each level, and the inpainting process searches for the nearest neighbor source patch and updates the pixels of the target patch using the found source patch.
  • the voting process is performed by using the output of the previous level at the next level.
  • upsampling The image is filled with Gaussian and Laplacian, and these two images are used in the next level.
  • the method according to another embodiment of the present invention generates a Gaussian pyramid and Laplacian pyramid for the input image, by using the Gaussian pyramid and Laplacian pyramid in parallel, to image synthesize the target area in the input image, By sequentially performing the synthesis process for each level of the Gaussian pyramid and the Laplacian pyramid, the target region and the image synthesis may be performed.
  • the content of generating the Laplacian pyramid the content of searching for the nearest neighbor source patches, the content of the image by considering the weight, the content of the image by using similarity and reliability are the same as the content of FIG. The description is omitted.
  • the technique according to the present invention is an image-related software or application, for example, a technique that can properly fill the empty areas of the image in Photoshop, and for some reason removes the poorly photographed areas, the foreground object is removed from the background to empty areas It is a technology that can fill the remaining areas and damaged areas for unknown reasons as naturally as possible.
  • FIG. 8 is a block diagram illustrating an image synthesizing apparatus according to an embodiment of the present invention, which is a configuration of an apparatus for performing the above-described contents of FIGS. 1 to 7, and the processor of the computing device of FIG. 2. Can be.
  • an apparatus 800 according to an embodiment of the present invention includes a generator 810, an approximator 820, and a synthesizer 830.
  • the generator 810 generates a Laplacian pyramid for the input image when the input image is received.
  • the generation unit 810 may generate a Lapulatian pyramid using the upsampling Gaussian pyramid by upsampling the Gaussian pyramid and the Gaussian pyramid with respect to the input image.
  • the approximation unit 820 uses the generated Laplacian pyramid to approximate the second derivative at each level through a Gaussian difference.
  • the synthesis unit 830 combines the target areas in the input image by using the second derivative property approximated at each level. .
  • the synthesis unit 830 searches for source patches for each of the target patches in the target area using the Gaussian pyramid and the Laplacian pyramid for the input image, and updates the pixel all of the target patches using the searched source patches. By doing this, the target region can be image synthesized.
  • the synthesis unit 830 searches for the nearest neighbor source patches for each of the target patches using the Gaussian pyramid and the Laplacian pyramid, and blends the searched neighbor neighbor source patches to the target patches, thereby targeting the target patches.
  • Each pixel can be updated.
  • the synthesis unit 830 selects a pixel of each of the target patches based on a weighted value according to the distance of each of the target patches at the boundary between the retrieved source patches and the target area. It is also possible to update the pixel of each of the target patches based on the similarity of the retrieved source and target patches and the confidence weight at the target pixel of each of the target patches.
  • the synthesis unit 830 repeats such image synthesis sequentially for each level of the pyramid. Specifically, the synthesis unit 830 fills the image synthesis result of the target region at the previous level into the target region, and coarse the respective levels. ) By sequentially repeating from the) level to the fine level, image synthesis of the target area can be performed.
  • the apparatus according to the present invention is not limited to being constituted only by the configuration means shown in FIG. 8, but may be configured by functional means that can be performed by a processor of the computing device. That is, the configuration means of FIG. 8 illustrates the functional configuration means of the processor, and at least one processor may perform the functions of the configuration means of FIG. 8.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

라플라시안 패치 기반 이미지 합성 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 이미지 합성 방법은 입력 이미지에 대한 라플라시안 피라미드를 생성하는 단계; 상기 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사하는 단계; 및 상기 근사된 각 레벨에서의 2차 미분 성질을 이용하여 상기 입력 이미지 내의 타겟 영역을 이미지 합성하는 단계를 포함한다.

Description

【명세서】
【발명의 명칭】
라플라시안 패치 기반 이미지 합성 방법 및 장치
【기술분야】
본 발명은 라플라시안 패치 기반 이미지 합성기술에 관한 것으로서, 상세하게는 라플라시안 피라미드를 사용하여 각 스케일에서의 2차 미분 성질을 DoG(Difference of Gaussian)을 통해 근사하고 이를 이용하여 이미지를 합성할 수 있는 라플라시안 패치 기반 이미지 합성 방법 및 장치에 관한 것이다.
【배경기술】
사람들은 디지털 사진을 다루다 보면 종종 사진 안에 원하지 않는 물체가 들어오거나 어느 부분이 가려진다거나 전송 오류로 이.미지가 훼손되는 등의 상황들에 직면하게 된다. 이러한 경우 사람들은 훼손된 영역들을 그럴듯하게 보수하고 싶어한다. 이러한 문제를 해결하기 위해, 훼손된 영역을 채우는 이미지 인페인팅 (inpainting) 알고리즘이 지난 수년간 많은 관심을 받아 왔다. 이미지 인페인팅 알고리즘아 주로 초보자들에게 사용됨에도 불구하고 어떤 상황에서도 강인한 결과를 내는 알고리즘은 아직 없다.
가존 인페인팅 알고리즘은 이미지 구조를 감지하고 경계로부터 안쪽으로 복사하기 (또는 채워넣기) 위하여 이미지 강도 (intensity)의 1차 미분인 이미지 그래디언트 (gradient)를 사용하였다. 1차 미분은 에지 주변 강도의 방향적 변화를 측정한다. 그리고 다중 스케일 신호에 기초하여 이미지 표시를 나타내는 이미지 피라미드는 패치 기반 합성에서 누락된 영역 (missing region)을 완성시키고자 할 때 구조적 일관성을 향상시키기 위해 널리 사용된다. 최근 이미지 피라미드의 각 레벨에서 이미지 그래디언트는 일관된 이미지 합성 뿐만 아니라 합성된 이미지의 에지 구조를 향상시키기 위해 사용된다. 최근. 그래디언트와 이미지 괴라미드를 결합한 접근 방식이 인페인팅의 디테일과 구조적 일관성을 향상시켰지만， 그래디언트 연산은 방향성이 있기에, 방향마다 두 번 계산해야 하고 포아송 방정식 (Poisson equation)을 풀어야 하기에 매우 무거운 연산을 필요로 한다. 게다가， 적분 가능하지 않는 1차 미분 영역을 채울 경우 아티팩트 (artifact)가 생기게 된다.
이미지 그래디언트의 발산인 라플라시안 연산은 로테이션에 무관하고 방향성이 없다는 장점을 갖고 있다. 또한 라플라시안 값들이 에지들과 나란히 정렬이 잘되어 있어 에지 근방의 이미지 구조를 표현하는데 적합하다. 라플라시안 피라미드는 이미지의 기본 구조와 디테일 구조를 각 주파수 성분으로 분해한다. 이러한 자료구조는 이미지 블렌딩 /퓨전, 향상, 디노이징 등 각종 어플리케이션에 활용된다.
이러한 인페인팅 알고리즘에 대해 조금 더 설명하면, 인페인팅 알고리즘은 크게 디퓨견 기반과 예제 기반 방식으로 나눌 수 있다.
디퓨전 방식은 인접한 영역의 기하 구조를 연장하며 빈 영역을 채우는 방법으로, 국부적 연결구조를 강화하는 이웃 닮음 조건 (smoothness constraint)을 사용한다. 대부분의 디퓨전 방식은 국부적으로 편미분 방정식을 풀며 진행되나 채워진 영역 전체의 변화를 최소화하는 국부적 최적화 방식도 있다. 디퓨견 방식의 인페인팅은 라인, 커브, 작은 구멍을 재구성하기에 효을적으로 보이나 큰 구멍을 채울 때 블러링 (blurring) 아티팩트가 생길 수 있다.
예제 기반 방식은 디퓨견 방식의 연장선으로 제안되었으며， 이 방식은 먼저 임의의 빈 영역 (목표 영역)에 대하여 어떤 목표 패치 (빈 영역 안의 패치)부터 먼저 채울 것인지 순서를 정하고 그 목표 패치와 닮은 후보 패치를 목표 영역 밖의 이미지 영역에서 찾는다. 최종적으로 후보 패치를 타겟 패치 위치에 합성한다. 이러한 방식이 제안된 이후로 전역 최적화 방식과 다양한 변형 알고리즘들이 제안되었다. 예를 들어， 사용자 입력 기반으로 구조를 전파하는 방식， 텐서 기반 자료 항을 이용하여 채우는 순서를 정하는 방식 등이 있으며， 텐서 기반 자료 항을 이용하여 채우는 순서를 정하는 방식에서는 최근접 이웃 필드 (NNF; Nearest neighbor field)로 표현되는 후보 패치들을 국부적 디노이징 알고리즘 이후 검색하였다. 또한, 랜덤 검색 방식을 이용하여 연산량을 크게 줄이는 방식도 제안된 바 있으며, 이 방식은 대응점 탐색에 넓게 사용되고 있다. 또한, 이산적 전역 최적화를 통한 패치 합성을 하기 위해 우선 순위 신뢰도 확산 (belief propagation)이 제안되기도 하였다.
또 다른 인페인팅 알고리즘인 이미지 피라미드에서 닮음올 계산하는 기존 패치 기반 인페인팅 알고리즘은 시각적으로 만족할만한 결과를 생성하지만 몇몇의 결과는 공간적 일관성의 부족으로 비일관적 구조를 갖고 있다. 최근 각 레벨의 이미지 그래디언트를 활용하여 구조적 일관성을 향상시키고자 하였지만 일부 방식은 이미지 그래디언트의 본연적 한계를 갖고 있으며, 이미지 그래디언트는 수평적 수직적 세기 변화를 제기 때문에 적분을 하기 위해서 포아송 방정식을 필히 풀어야 한다. 게다가 이러한 편미분 방정식 기반 해법은 적분이 가능하지 않는 그래디언트 필드에 대해서 자주 아티팩트를 발생시킨다.
또 다른 인페인팅 알고리즘으로, 배경과 전경올 고려한 마스크를 이용하여 패치 기반 검색 알고리즘을 향상시켰으며， 이는 기존의 패치 합성 알고리즘이 발생시키는 아티팩트를 크게 줄였다. 패치 기반 합성과 라플라시안 피라미드는 최근 10년동안 넓게 활용되었지만 오직 소수의 연구만이 이 두 분야를 합치고자 하였다.
이와 같이, 기존의 기반 이미지 합성 연구들은 라플라시안 피라미드의 활용성은 아직 집중적으로 연구하지 않았다.
【발명의 상세한 설명】
【기술적 과제】
본 발명의 실시예들은, 라플라시안 피라미드를 사용하여 각 스케일에서의 2차 미분 성질을 DoG(Difference of Gaussian)을 통해 근사하고 이를 이용하여 이미지를 합성할 수 있는 라플라시안 패치 기반 이미지 합성 방법 및 장치를 제공한다.
【기술적 해결방법】
본 발명의 일 실시예에 따른 이미지 합성 방법은 입력 이미지에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하는 단계; 상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 입력 이미지 내의 타겟 영역을 이미지 합성하는 단계; 및 상기 이미지 합성하는 단계를 상기 가우시안 피라미드와 상기 라플라시안 피라미드의 각 레벨별로 순차적으로 반복 수행함으로써, 상기 타겟 영역의 이미지 합성을 수행하는 단계를 포함한다.
상기 생성하는 단계는 상기 가우시안 피라미드와 상기 가우시안 피라미드를 업샘풀링한 업샘플링 가우시안 피라미드를 이용하여 상기 라폴라시안 피라미드를 생성할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들 - 상기 소스 패치들은 상기 타겟 영역 바칼쪽의 패치들임 - 을 검색하고, 상기 검색된 소스 패치들을 이용하여 상기 타겟 패치들 각각의 픽셀을 업데이트함으로써， 상기 타겟 영역을 이미지 합성할 수 있다. 상기 타겟 영역을 이미지 합성하는 단계는 상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 패치들 각각에 대한 촤근접 이웃 (nearest-neighbor) 소스 패치들을 검색할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 검색된 소스 패치들과 상기 타겟 영역의 경계에서 상기 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 검색된 소스 패치들과 상기 타겟 패치들의 유사도와 상기 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가증치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트할 수 있다.
상기 타겟 영역의 이미지 합성을 수행하는 단계는 이전 레벨에서의 상기 타겟 영역의 이미지 합성 결과를 상기 타겟 영역에 채워 넣고, 상기 아미지 합성하는 단계를 반복 수행할 수 있다.
본 발명의 다른 일 실시예에 따른 이미지 합성 방법은 입력 이미지에 대한 라플라시안 피라미드를 생성하는 단계; 상기 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사하는 단계; 및 상기 근사된 각 레벨에서의 2차 미분 성질을 이용하여 상기 입력 이미지 내의 타겟 영역을 이미지 합성하는 단계를 포함한다.상기 생성하는 단계는 상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 괴라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 상기 라플라시안 피라미드를 생성할 수 있다. 상기 타겟 영역을 이미지 합성하는 단계는 상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들 - 상기 소스 패치들은 상기 타겟 영역 바깔쪽의 패치들임 - 을 검색하고, 상기 검색된 소스 패치들을 이용하여 상기 타겟 패치들 각각의 픽셀을 업데이트함으로써, 상기 타겟 영역을 이미지 합성할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 가우시안 피라마드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 패치들 각각에 대한 최근접 이웃 (nearest-neighbor) 소스 패치들을 검색할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 검색된 소스 패치들과 상기 타겟 영역의 경계에서 상기 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 상기 검색된 소스 패치들과 상기 타겟 패치들의 유사도와 상기 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트할 수 있다.
상기 타겟 영역을 이미지 합성하는 단계는 이전 레벨에서의 상기 타갯 영역의 이미지 합성 결과를 상기 타겟 영역에 채워 넣고， 각 레벨별로 순차적으로 반복 수행함으로써, 상기 타겟 영역의 이미지 합성을 수행할 수 있다.
본 발명의 일 실시예에 따른 이미지 합성 장치는 입력 이미지에 대한 라플라시안 피라미드를 생성하는 생성부; 상기 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사하는 근사화부; 및 상기 근사된 각 레벨에서의 2차 미분 성질을 이용하여 상기 입력 이미지 내의 타겟 영역을 이미지 합성하는 합성부를 포함한다.
【발명의 효과】
본 발명의 실시예들에 따르면， DoG(difference of Gaussian)를 계산하여 2차 미분을 근사하고 이를 이용하여 이미지 합성을 수행함으로써 1차 미분 합성 이미지를 합성해야 하는 문제를 피할 수 있다.
또한 본 발명의 실시예들에 따르면, 2차 미분 패치를 사용하여 이미지를 합성함으로써， 에지 방향 의존도가 큰 1차 미분에 비해 다른 방향의 에자 구조를 잘 감지할수 있다.
또한 본 발명의 실시예들에 따르면, 이미지에서의 빈 부분을 채우는 이미지 합성 알고리즘으로, 다양한 어플리케이션에 적용하여 사용할 수 있다.
예를 들어, 구글 (goggle) 도로 이미지에 사람, 자동차 등이 많이 촬영되고 이는 사생활 침해와 연관이 깊은데, 물체를 감지하고 감지한 영역을 비운 후 본 발명의 이미지 합성 알고리즘을 이용하여 빈 영역을 채움으로써 사생활 침해 문제를 해결할 수 있다.
또한 이미지가 구김 또는 오물에 의해 부분 손상이 발생하는 경우 손상된 부분을 고치는 용도로 사용될 수도 있으며, 마음에 들지 않은 부분을 새로 디자인할 때 이미지 컴플리션을 통해 초기 밑그림을 채울 수도 있다.
이와 같이, 븐 발명을 이용하면, 어떤 이유로 잘 촬영되지 않은 영역을 포함하는 이미지, 포어그라운드 (foreground) 물체를 제거한 결과 백그라운드에서 빈 영역으로 남게 되는 영역을 포함하는 이미지, 알 수 없는 이유로 훼손된 영역을 포함하는 이미지 등에서 이미지 내의 빈 영역을 자연스럽게 채울 수 있습니다.
또한 본 발명의 실시예들에 따르면, 기존 이미지 컴플리션과 비교하여 컴플리션 퀄리티를 유지한 상태로 이미지 컴플리션 소요시간을 줄일 수 있기 때문에 사용자들이 편하고 빠르게 사용할 수 있다.
【도면의 간단한 설명】
도 1은 본 발명의 일 실시예에 따른 이미지 합성 장치를 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명에 따른 이미지 합성 장치를 포함하는 컴퓨팅 장치의 내부 구성을 설명하기 위한 블록도를 나타낸 것이다.
도 3은 가우시안과 가우시안 차이 (DoG)를 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 본 발명의 라플라시안 피라미드에서 에지 -인식 대웅점 검색의 개념도를 나타낸 것이다.
도 5는 본 발명의 실시예에 따른 라플라시안 패치 기반 이미지 합성 방법쎄 대한 개념도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 라플라시안 기반 이미지 컴플리션 알고리즘을 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 이미지 합성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 이미지 합성 장치에 대한 구성 블록도를 나타낸 것이다.
【발명의 실시를 위한 최선의 형태】
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한,각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 도 1은 본 발명의 일 실시예에 따른 이미지 합성 장치를 설명하기 위한 일 예시도를 나타낸 것이다.
도 1에 도시된 바와 같이， 본 발명에 따른 이미지 합성 장치는 컴퓨팅 장치 (100) 내부에 탑재 또는 설치될 수 있으며, 일정 영역이 비어. 있는 입력 이미지에서 비어 있는 일정 영역을 최대한 자연스럽게 채울 수 있는 장치이다.
여기서, 입력 이미지는 어떤 이유로 잘 촬영되지 않은 영역을 포함하는 이미지, 포어그라운드 물체를 제거한 결과 백그라운드에서 빈 영역으로 남게 되는 영역을 포함하는 이미지, 알 수 없는 이유로 훼손된 영역을 포함하는 이미지 둥과 같이 채워야 하는 영역을 가지고 있는 모든 종류의 이미지를 포함할 수 있다.
도 1에 도시된 컴퓨뒹 장치 (100)는 본 발명에 따른 이미지 합성 알고리즘을 설치 또는 탑재할 수 있는 모든 기기를 포함할 수 있으며, 예를 들어, 포토샵과 같은 소프트웨어를 설치할 수 있는 스마트폰 (smart phone), 컴퓨터， 노트북， PDA(Personal Digital Assistants), 태블릿 PC 등이 될 수 있다.
이러한 컴퓨팅 장치는 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 전자 기기들 및 /또는 서버와 통신할 수 있다.
통신 방식은 제한되지 않으며， 네트워크가 포함할 수 있는 통신망 (일례로, 이동통신망， 유선 인터벳, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network),
MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타- 버스 네트워크, 트리 또는 계층적 (hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나， 이에 제한되지 않는다.
도 2는 본 발명에 따른 이미지 합성 장치를 포함하는 컴퓨팅 장치의 내부 구성을 설명하기 위한 블록도를 나타낸 것이다.
도 2에 도시된 바와 같이， 컴퓨팅 장치 (100)는 메모리 (210)， 프로세서 (220), 통신 모들 (230) 및 입출력 인터페이스 (240)를 포함할 수 있다.
메모리 (210)는 컴퓨터에서 판독 가능한 기록 매체로서， RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치 (permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘 (drive mechanism)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 풀로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브， 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모들을 통해 메모리에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템 예를 들어, 서버가 네트워크를 통해 제공하는 파일들에 의해 설치되는 프로그램에 기반하여 메모리에 로딩될 수 있다. 프로세서 (220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써， 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 통신 모들에 의해 프로세서로 제공될 수 있다. 예를 들어， 프로세서는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 여기서， 프로세서 (220)는 본 발명의 이미지 합성 방법을 수행하는 구성 수단일 수 있다.
통신 모들 (230)은 네트워크를 통해 다른 전자 기기 또는 서버와 서로 통신하기 위한 기능을 제공할 수 있다.
입출력 인터페이스 (240)는 입출력 장치 (250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
또한, 다른 실시예들에서 컴퓨팅 장치는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도ᅵ 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어， 컴퓨팅 장치는 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 스피커, 마이크, 각종 센서 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 본 발명은 이러한 컴퓨팅 장치에 설치되어 수행될 수 있으며， 이하 컴퓨팅 장치에서 수행되는 본 발명의 실시예들에 따른 방법 및 장치에 대해 도 3 내지 도 8을 참조하여 설명한다.
본 발명은 이미지 합성에 있어서 구조적 일관성을 향상시키기 위하여 라플라시안 피라미드를 활용한다. 라플리시안 피라미드에서의 최근접 이웃 검색 (또는 검색)는 전파된 구조 정보의 회전에 불변하기에， 기존 방법들과 비교해서 대응점 검색 (correspondence search)의 정확성을 향상시킬 수 있다. 또한， 본 발명은 업샘플링 가우시안 이미지와 라플라시안 이미지를 사용하기 ᅵ때문에, 노이즈와 파라미터들의 변화에 강인한 결과를 얻을 수 있다. 본 발명의 상세한 설명에서는 에지 -인식 (또는 에지 종점) 이미지 합성 기술에 대해 설명한다.
1. 라플라시안 일관성 공간 (Laplacian Coherent Spaces)
가우시안, 그래디언트 및 라플라시안: 이미지 피라미드는 이미지의 다중 해상도 표현을 제공하고， 많은 어플리케이션에서 사용된다. 파라미드는 필터링과 샘플링의 두 스텝으로 생성된다.
도 3에 도시된 바와 같이， 가우시안 함수 (a), 가우시안 그래디언트 (b)와 그래디언트 발산 (c)은 보통 필터링하는데 사용된다. 컨볼루션 필터링은 선형 연산이기 때문에， 가우시안 필터링된 이미지의 라플라시안 2 [ σ ® /]은 라플라사안 커널 [ 2 ^1 ] ® /로 필터링된 이미지와 동일하다. 필터링에 의한 신호를 다운샘플링함으로써， 이미지 피라미드를 형성한다.
특히， 그래디언트 와 라플라시안 V2은 이미지에서 에지 구조를 검출하는데 주로 사용된다. 그래디언트는 X 와 y 의 일차 편미분으로부터. 계산된다. 즉, σ ᅳ— I dx σ' 9y σ /이 된다. 적어도 두 개의 연산자는 이미지에서 로컬 구조의 변화를 검출하기 위해 필요하다. 도 3에 도시된 바와 같이, 그래디먼트는 각 방향에 대한 다중 연산자를 요구하는 방향성 에지 검출기이다, 따라서, 그래디언트 크기 (magnitude)는 에지를 검출하는 용도로 사용된다.
그래디언트와 달리, 라플라시안 연산자
V V . V V h Ι ίσ -ᅳ V V 2h Ιίσ -ᅳ"" ( I °2} χ ΐσ2 4- ° d hy^2
"ΰΙ 지에서 함수의 회전에 불변하는 등방성 에지 검출기이다.
라플라시안 피라미드는 도 4a 에 도시된 바와 같이 각 주파수 대역의 대역 통과된 구조 정보를 저장한다. 피라미드는 다양한 에지 -인식 이미지 프로세싱에 넓게 사용된다.
라폴라시안 컴퓨팅 (computing the Laplacians): 큰 가중치 (weighting) 함수를 가지는 컨볼루션은 많은 계산량을 필요로 하기 . 때문에 가우시안의 라플라시안 (LoG; Laplacian of Gaussian)은 도 3d 내지 도 3f 에 도시된 바와 같이, 다른 스케일의 두 가우시안 차이 (DoG; Difference of Gaussian)로 간단하게 근사화될 수 있다. 레벨 (1+1)의 이미지 스케일은 가우시안 피라미드에서 레밸 1 의 절반 스케일로 줄어들고， DoG 은 높은 정확도를 가지고 LoG 로 근사될 수 있다. 도 3c 와 도 3f 는 LoG 와 DoG 의 유사도를 비교한다. 그래디언트의 백워드 계산은 포아송 방정식을 풀어야 하기 때문에 계산량이 많고, 적분되지 않은 그래디언트 필드에 의해 원하지 않은 아티팩트가 발생될 수 있다. 반대로, DoG 를 사용하는 라플라시안의 포워드와 백워드 계산은 뺄씸과 합산의 연산에 매우 효과적이며, 라플라시안 피라미드는 패치 기반 이미지 합성쎄 뛰어난 잠재성을 가지고 있다. 이러한 이유로, 본 발명은 포아송 방정식을 푸는 것과 같은 기존 패치 기반 합성 방법들에서 계산되는 추가적인 계산 비용을 필요로 하지 않는다.
2. 라플라시안 피라미드의 패치 기반 합성 (patch-based synthesis on a Laplacian pyramid)
피라미드 커널 연산자의 선택은 이미지를 도출하는 정보에 대해 크리티컬하다. 가우시안 연산자는 주파수의 각 레벨에서 기본 구조를 결정하는데 효과적이다. 이 연산자는 기존의 다양한 알고리즘에서 제안한 대응점을 검색 (searching correspondence)하고 유사도를 집계 (aggregating similarity)하는데 공간적인 일관성을 달성하기 위하여 많은 이미지 컴플리션 알고리즘에서 자주 사용된다. 가우시안과는 반대로， 그래디언트와 라플라시안 연산자는 이미지의 각 레벨의 에지 구조를 찾을 수 있다. 미분의 피라미드 요소는 그래디언트 또는 라플라시안의 공간적인 도메인에서 로컬 영역에 보존된다. 미분 이미지 피라미드는 주파수의 각 레벨에서 에지 지역화로 분해된다.
최근 기존 방식에서, 이미지 피라미드에서 컬러와 그래디언트를 검사하는 대웅점 검색 (또는 검색)이 소개된 바 있다. 1차 미분 검사는 이미지 컴플리션에서 구조 일관성의 대웅점 검색에 매우 이롭다. 본 발명은 기존 방식에 비해 집계된 대응점과 회전 불변성의 두 차이점이 있다.
라플라시안 피라미드 만들기 (Building a Laplacian Pyramid): 예제 기반 이미지 컴플리션의 입력은 컬러 이미지 I 와 마스크 이미지 M 이다. 여기서, 마스크 이미지 M 은 소스 영역 S 와 타겟 영역 T 를 구분 짓는다. 예제 기반 이미지 컴플리션의 목적은 이미지 I 의 타겟 영역 T 를 소스 영역 S 의 내용들로 채우는 것이다. 이미지 인페인팅에 라플라시안 피라미드를 사용하기 위해, 본 발명은 먼저 이미지 I 에 대해 가우사안 피라미드 G 를 아래 <수학식 1>과 같이 구성한다.
[수학식 1]
Go = I,
Gi+i― downsample(G'j) (i < n) 여기서, Gi 는 i 번째 가우시안 피라미드 이미지 (또는 가우시안 피라미드 G 의 i 번째 스케일)를 의미하고, 가우시안 피라미드의 이미지 수 (또는 전체 스케일 수)는 n+1개이며， downsampleO은 블러된 (blurred) 이미지 (또는 필터링된 스케일)를 부분 샘플링하는 연산자를 의미할 수 있다. 가우시안 피라미드에서 가장 디테일한 피라미드 (finest level)는. G0로 오리지널 이미지 I 와 같다. i 번째 가우시안 스케일 +1은 이전 스케일 를 가우시안 필터링한 후 부분 샘플링하여 구해질 수 있다. 그리고 라플라시안 피라미드 L 를 가우시안 피라미드의 차이 (DoG)로 계산하며, 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure imgf000018_0001
Li = Gi - Ui (i < n),
L — Gri 여기서 upsampleO은 업샘플링 연산자이다. 본 발명의 알고리즘을 간단하 설명하기 위해, 업샘플링된 가우시안 피라미드 U 를 정의한다. i 번째 라플라시안 이미지 L, 는 Gi 와. G1+1 사이에서 존재하는 디테일 구조이다. 가우시안 피라미드에서 가우시안 레벨 수는 한정되어 있으므로 가장 거친 레벨 (coarse level)의 라플라시안 피라미드 Ln은 가우시안 피라미드의 가장 거친 레벨 이미지
Gn 과 같다.
본 발명의 DoG 기반 라플라시안 피라미드는 도 4a 와 도 4b 에 도시된 바와 같이, 가우시안 피라미드와 라플라시안 피라미드의 두 이미지를 포함한다. 기본 구조의 주파수는 가우시안 피라미드에서 각 레벨의 강도로 분해되고, 에지 구조의 주파수는 라플라시안 피라미드의 주파수의 각 레벨에서 라플라시안으로 지역화 (localized)된다. 도 4는 본 발명의 라플라시안 피라미드에서 에지 -인식 대응점 검색의 개념도를 나타낸 것으로，. 그래디언트 기반 검색 (d)와 기존 가우시안 기반 검색 (e)를 비교한 것을 나타낸 것이다. 본 발명은 5 X 5 블러 커널을 사용하여 가우시안 피라미드를 만들었다.
집계된 대응점 (Aggregated correspondence): 우리가 두 개의 피라미드를 택한 이유는 베이스 구조와 에지 구조의 집계된 대응점 (aggregated correspondence)이다.
도 4c 의 맨 아래 도면은 U2와 L2의 스케일의 원형 함수의 좌측 상단 코너에서 모든 소스 패치들의 타겟 패치까지의 패치 컬러 거리에 대한 예를 나타낸 것으로, 화살표가 가리키는 영역은 양쪽의 피라미드에서 베이스 구조 정보와 디테일 구조 정보가 집계 (aggregation)됨을 의미한다. 랜덤 검색 알고리즘은 후술할 <수학식 3>에 나타낸 바와 같이, 점진적으로 패치의 색깔 거리를 최소화하고자 함으로， 베이스구조와 디테일 구조의 집계된 에지는 랜덤 검색 알고리즘의 특성 때문에 구조의 대응점을 찾는데 중대한 단서가 된다.
이에 대조적으로 도 4d에 도시된 그래디언트 크기 (또는 그래디언트 거리 함수)와 도 4e 에 도시된 가우시안 스케일 (또는 가우시안 거리 함수)는 오직 몇 개의 패치만이 두드러지게 높은 값을 갖고 있다. 결과적으로 대부분의 패치 구조는 후술할 <수학식 4>에 나타낸 바와 같이, vote 과정에서 컬러들의 가중치 합을 계산할 때 가중치에 의해 무시된다. 이러한 그래디언트와. 가우시안 두 개의 이미지. 피라미드는 패치 거리의 에너지 함수로 사용될 수 있다.
이러한 관찰올 기초하여 본 발명에서 대웅점을 찾는 주 전략은 저주파수 베이스 구조의 거리를 최소화 할뿐만 아니라 고주파수 디테일 구조의 거리를 보존하는 것이다.
본 발명에서의 에너지 함수는 반복적 기대 -최대화 (EM; Expectation- Maximization) 알고리즘과 비슷하나 업샘플링 가우시안과 라플라시안의 두 이미지 피라미드를 사용한다는 점에서 큰 차이점이 있다.
기대 단계에서는 도 4c 의 중간 도면에 도시된 바와 같이 모든 타겟 패치들에 대해 소스 패치들을 찾는다. 본 발명은 거리 함수를 이용한 타겟 패치들의 최근접 이웃 필드 (NNF)를 근사하기 위하여 랜덤 대웅점 검색 알고리즘을 사용하며, 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3] Ei (T, S) = Y mm (aD (Ui >p, Ui>q) + βΌ (LijP, Li>q)) 여기서, i는 현재 레벨을 의미하고, p 와 q는 타겟 영역 T와 소스 영역 S 에서의 픽셀 위치를 의미하며， Ui,p와 Li,p는 피라미드 U, L 의 레벨 i 에 픽셀 위치 p 를 중심으로 하는 패치를 의미하고, D 는 두 개의 패치의 CIELAB 색들간의 사각 거리의 합 (SSD; sum of square distance)를 의미하며, α , β는 저주파수 기본 스케일 U 와 고주파수 디테일 스케일 L 의 비율을 결정하는 것으로, α + β =1일 수 있다.
회전 불변 (rotation invariance): 도 4d 에 도시된 바와 같이， 이미지 그래디언트 Vo:G와 ▽¾/ ^ 는 이들이 방향 연산자이기 때문에 오직 수평 방향과 수직 방향의 구조적 변화를 감지할 수 있다. 그래디언트 기반 방식과는 달리， 본 발명은 회전 불변의 성질을 갖고 있는 라플라시안 연산자를 사용하기 때문에 회전에 불변하는 증요한 이점을 가진다. 라플라시안은 어떤 방향의 에지 근방 구조적 변화에서 똑같이 동작하며 디테일 구조를 감지하는데 강인하다. 라플라시안의 등방성 성질은 로컬 (또는 지역적) 구조의 대응점을 사용하는데 다중 연산자인 그래디언트 사용을 피할 수 있으며 이는 연산적 효율을 기대할 수 있다.
결합된 vote(Combined Vote): 본 발명은 대응점을 찾은 후에 타겟 패치들과 소스 패치들의 유사도를 최대화하기 위하여, 최근접 소스 패치들을 블렌딩함으로써， 업샘플링 가우시안 이미지와 라플라시안 이미지를 업데이트한다. 알고리즘의 수렴을 가속화 하기 위해, 본 발명은 스케일의 가중치 블렌딩을 수행한다. 컬러 거리가 유사한 패치들과 컴플리션 경계에 가까운 패치들은 높은 가중치가 주어진다.
라플라시안 구조 재구성 (Laplacian Structure Reconstruction): 레벨 i 에서의 EM 최적화가 수렴되면 채워진 결과 Uj를 다음 레벨 i- 1에 전달하여야 한다. 즉 i 레벨에서의 컴플리션은 다음 레벨 i-1의 초기 컴플리션으로 활용될 수 있다. 도 5와 도 6에 도시된 바와 같이, 레벨 i 에서 채워진 가우시안 피의 미세 스케일 (finer scale)은 상기 수학식 2를 이용하여 레벨 i 에서 업샘플링 가우시안 Ϊ7ΐ 와 라플라시안 Li 를 더하여 구해질 수 있다. 결과적으로, 재구성된 가우시안 ( ^^는 채워진 가우시안을 업샘플링한 로부터 구해질 수 있다. 그러나， 레벨 i-1에서 라플라시안 "^― i 의 미세 스케일은 이러한 방식으로 재구성될 수 없다. 라플라시안 스케일 은 고주파 디테일을 보유하고 있기 때문에 레벨 i 에서 획득된 검색 패치 의 최근접 이웃 필드 대응점을 이용하여 레벨 i-l에서 소스 영역의 정보로 라플라시안 스케일 ^i-i의 타겟 영역을 채울 수 있다.
이러한 방법으로, 본 발명은 거친 레벨 (coarse level)부터 최미세 레벨 (finest level)까지 두 이미지 피라미드에서 기본 구조와 디테일 구조를 컴플리트할 수 있다..
Vote: 컬러 보팅 (voting) 단계에 대해 설명하면， 본 발명은 먼저 레벨 1 에서 픽셀 q 와 타겟 패차와 이에 대응하는 픽셀 p 의 소스 패치의 유사도
^fe ^ 0 = e 2σ 를 계산한다. 여기서, σ는 검출하고자 하는 유사도의 감도 (sensitivity)를 결정할 수 있다. 유사도 이외에, 본 발명은 타겟 픽셀 q 에서 신뢰 가중치 A (q)를 계산할 수 있으며, 이는 채워진 경계에 더 가까운 타겟 포인트에 더 높은 신뢰 값을 할당함으로써, 경계 오류를 피할 수 있다. 이런 보팅 프로세스는 타겟 영역 내의 이미지가 이미지 내 타겟 영역 바깔에 위치되는 것을 가 셀 q 에서의 유사도와 신뢰의 두 메트릭을 가중치
Figure imgf000023_0001
결합한다. 모든 타 픽셀 q 에 대해, 본 발명은 가중치 를 사용하여 최근접 이웃 필드 로부터 G ¾의 중첩 컬러의 가중치 평균 Cq 를 계산하며, 가중치 평균은 아래 <수학식 4>와 같이 계산될 수 있다.
[수학식 4] ᅳ
_ ∑g Q뼤 ᅳ ¾
Cq
^qEQ w^ 여기서， Q는 타겟 픽셀 q에서의 중첩된 패치들을 의미할 수 있다. 상술한 바와 같이, 본 발명의 실시예에 따른 라플라시안 패치 기반 이미지 합상 방법은 가우시안 피라미드와 라플라시안 피라미드를 이용하여 DoG(difference of Gaussian)를 계산하고, DoG 를 이용하여 2차 미분을 근사하고 근사화된 2차 미분을 통해 이미지 합성을 수행함으로써 1차 미분 합성 이미지를 합성해야 하는 문제를 피할 수 있다. 이러한 본 발명에 따른 방법은 어떤 이유로 잘 촬영되지 않은 영역을 포함하는 이미지， 포어그라운드 물체를 제거한 결과 백그라운드에서 빈 영역으로 남게 되는 영역을 포함하는 이미지 , 알 수 없는 이유로 훼손된 영역을 포함하는 이미지 등에서 이미지 내의 빈 영역을 자연스럽게 채울 수 있습니다.
이러한 본 발명에 따른 방법을 도 7을 참조하여 조금 더 설명하면 다음과 같다.
도 7은 본 발명의 일 실시예에 따른 이미지 합성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 7을 참조하면， 본 발명의 실시예에 따른 이미지 합성 방법은 입력 이미지가 수신되면 입력 이미지에 대한 라플라시안 피라미드를 생성한다 (S710).
여기서, 라플라시안 피라미드는 입력 이미지에 대한 가우시안 피라미드와 가우시안 피라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 생성될 수 있으며, 상술한 수학식 2를 통해 알 수 있다.
구체적으로， 본 발명은 업샘플링 가우시안 피라미드와 라플라시안 피라미드를 생성하는 것으로, 이렇게 생성된 업샘플링 가운시안 피라미드와 라플라시안 피라미드의 두 피마리드를 이용하는 것이다.
단계 S710에 의해 라플라시안 피라미드가 생성되면 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사한다 (S720).
그리고， 각 레밸에서 근사화된 2차 미분 성질을 이용하여 입력 이미지 내의 타켓 영역을 이미지 합성한다 (S730).
여기서, 단계 S730은 입력 이미지에 대한 가우시안 피라미드와 라플라시안 피라미드를 이용하여 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들을 검색하고， 검색된 소스 패치들올 이용하여 타겟 패치들 각각의 픽셀을 업데이트함으로써，타겟 영역을 이미지 합성할 수 있다.
이 때, 단계 S730은 가우시안 피라미드와 라플라시안 피라미드를 이용하여 타겟 패치들 각각에 대한 최근접 이웃 소스 패치들을 검색하고, 이렇게 검색된 최근접 이웃 소스 패치들을 타켓 패치들에 블렌딩함으로써, 타켓 패치들 각각의 픽셀을 업데이트할 수 있다.
나아가, 단계 S730은 검색된 소스 패치들과 타겟 영역의 경계에서 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 타겟 패치들 각각의 픽셀을 업데이트할 수 있으며, 더 나아가， 검색된 소스 패치들과 타겟 패치들의 유사도와 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 타겟 패치들 각각의 픽셀을 업데이트할 수도 있다. .
이러한 이미지 합성은 피라미드의 각 레벨에 대하여 순차적으로 반복 수행되는 것으로， 구체적으로 이전 레벨에서의 타겟 영역의 이미지 합성 결과를 타겟 영역에 채워 넣고， 각 레벨별 즉, 거친 (coarse) 레벨부터 최미세 (finest) 레벨로 순차적으로 반복 수행함으로써， 타겟 영역의 이미지 합성을 수행할 수 있다. 다시 말해， 각 레벨 마다 타겟 영역의 이미지를 합성하는 인페인팅 프로세스를 반복적으로 수행하고, 인페인팅 프로세스는 최근접 이웃 소스 패치를 검색하는 과정과 이렇게 검색된 소스 패치를 이용하여 타겟 패치의 픽셀을 업데이트하는 보팅 (voting) 과정올 수행하는 것으로, 이전 레벨의 결과물을 다음 레벨에서 사용하는 것이다. 한 레벨에서 본 발명의 이미지 인페인팅을 수행하면, 업샘플링 가우시안을 채운 이미지와 라플라시안을 채운 이미지가 나오고, 이렇게 나온 두 이미지를 그 다음 레벨에서 사용하는 것이다.
또한， 본 발명의 다른 실시예에 따른 방법은 입력 이미지에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고， 가우시안 피라미드와 라플라시안 피라미드를 병렬적으로 사용함으로써， 입력 이미지 내의 타켓 영역을 이미지 합성하며, 이러한 이미지를 합성하는 과정을 가우시안 피라미드와 라플라시안 피라미드의 각 레벨별로 순차적으로 반복 수행함으로써, 타겟 영역와 이미지 합성을 수행할 수 있다.
물론, 라플라시안 피라미드를 생성하는 내용, 최근접 이웃 소스 패치들을 검색하는 내용， 가중치를 고려하여 이미지를 합성하는 내용, 유사도와 신뢰도를 이용하여 이미지를 합성하는 내용 등은 도 7의 내용과 동일하기에 그 설명은 생략한다.
이러한 본 발명에 따른 기술은 이미지 관련 소프트웨어 또는 어플리케이션 예를 들어， 포토샵에서 이미지의 비어 있는 곳을 적절히 채울 수 있는 기술로서, 어떤 이유로 잘 촬영되지 않은 영역, 포어그라운드 물체를 제거한 결과 백그라운드에서 빈 영역으로 남게 되는 영역, 알 수 없는 이유로 훼손된 영역을 최대한 자연스럽게 채울 수 있는 기술이다.
도 8은 본 발명의 일 실시예에 따른 이미지 합성 장치에 대한 구성 블록도를 나타낸 것으로， 상술한 도 1 내지 도 7의 내용을 수행하는 장치에 대한 구성이며, 도 2의 컴퓨팅 장치의 프로세서에 대웅될 수 있다. 도 8을 참조하면, 본 발명의 실시예에 따른 장치 (800)는 생성부 (810), 근사화부 (820) 및 합성부 (830)를 포함한다.
생성부 (810)는 입력 이미지가 수신되면 입력 이미지에 대한 라플라시안 피라미드를 생성한다.
여기서， 생성부 (810)는 입력 이미지에 대한 가우시안 피라미드와 가우시안 피라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 라풀라시안 피라미드를 생성할 수 있다.
근사화부 (820)는 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사한다.
합성부 (830)는 각 레벨에서 근사화된 2차 미분 성질을 이용하여 입력 이미지 내의 타겟 영역을 이미지 합성한다. .
이 때, 합성부 (830)는 입력 이미지에 대한 가우시안 피라미드와 라플라시안 피라미드를 이용하여 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들을 검색하고， 검색된 소스 패치들을 이용하여 타겟 패치들 각각의 픽셀올 업데이트함으로써， 타겟 영역을 이미지 합성할 수 있다.
이 때, 합성부 (830)는 가우시안 피라미드와 라플라시안 피라미드를 이용하여 타겟 패치들 각각에 대한 최근접 이웃 소스 패치들을 검색하고, 이렇게 검색된 최근접 이웃 소스 패치들을 타겟 패치들에 블렌딩함으로써, 타겟 패치들 각각의 픽셀을 업데이트할 수 있다.
나아가, 합성부 (830)는 검색된 소스 패치들과 타겟 영역의 경계에서 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 타겟 패치들 각각의 픽셀을 업데이트할 수 있으며, 더 나아가, 검색된 소스 패치들과 타겟 패치들의 유사도와 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 타겟 패치들 각각의 픽셀을 업데이트할 수도 있다. 합성부 (830)는 이러한 이미지 합성을 피라미드의 각 레벨에 대하여 순차적으로 반복 수행되는 것으로, 구체적으로 이전 레벨에서의 타겟 영역의 이미지 합성 결과를 타겟 영역에 채워 넣고， 각 레벨별 즉， 거친 (coarse) 레벨부터 최미세 (finest) 레벨로 순차적으로 반복 수행함으로써, 타켓 영역의 이미지 합성을 수행할 수 있다.
물론， 이 뿐만 아니라 본 발명의 일 실시예에 따른 따른 장치는 도 1 내지 도 7에서 설명한 내용을 모두 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 자명하다.
또한, 본 발명에 따른 장치는 도 8에 도시된 구성 수단으로만 구성되는 것으로 한정되지 않으며， 컴퓨팅 장치의 프로세서에서 수행할 수 있는 기능적인 수단에 의해 구성될 수 있다. 즉, 도 8의 구성 수단을 프로세서의 기능적인 구성 수단을 도시한 것으로， 적어도 하나의 프로세서에 의해 도 8의 구성 수단의 기능올 수행할 수 있다.
【발명의 실시를 위한 형태】
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나， 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및 /또는 설명된 시스템, 구조， 장치, 회로 등의 구성요소들미 설명된 방법과 다른 형태로 결합 또는 조합되거나， 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
. 그러므로, 다^ 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

【청구의 범위】
【청구항 1】
입력 이미지에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하는 단계;
상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 입력 이미지 내의 타겟 영역을 이미지 합성하는 단계; 및
상기. 이미지 합성하는 단계를 상기 가우시안 피라미드와 상기 라플라시안 피라미드의 각 레벨별로 순차적으로 반복 수행함으로써， 상기 타겟 영역의 이미지 합성을 수행하는 단계
를 포함하는 이미지 합성 방법.
【청구항 2】
제 1항에 있어서,
상기 생성하는 단계는
상기 가우시안 피라미드와 상기 가우시안 피라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 상기 라플라시안 피라미드를 생성하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 3】
제 1항에 있어서,
상기 타겟 영역을 이미지 합성하는 단계는
상기 가우시안 피라미드와 상기 라풀라시안 피라미드를 이용하여 상기 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들 - 상기 소스 패치들은 상기 타겟 영역 바 "쪽의 패치들임 - 을 검색하고, 상기 검색된 소스 패치들을 이용하여 상기 타겟 패치들 각각의 픽셀을 업데이트함으로써， 상기 타겟 영역을 이미지 합성하는 것을 특징으로 하는 이미지 합성 방법.
[청구항 4】
. 제 3항에 있어서,
상기 타겟 영역을 이미지 합성하는 단계는
상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 패치들 각각에 대한 최근접 이웃 (nearest-neighbor) 소스 패치들을 검색하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 5】
제 3항에 있어서，
상기 타겟 영역을 이미지 합성하는 단계는
상기 검색된 소스 패치들과 상기 타겟 영역의 경계에서 상기 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 6】
제 3항에 있어서,
상기 타겟 영역을 이미지 합성하는 단계는
상기 검색된 소스 패치들과 상기 타겟 패치들의 유사도와 상기 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 7】
제 1항에 있어서,
상기 타겟 영역의 이미지 합성을 수행하는 단계는
이전 레벨에서의 상기 타겟 영역의 이미지 합성 결과를 상기 타켓 영역에 채워 넣고, 상기 이미지 합성하는 단계를 반복 수행하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 8】
입력 이미지에 대한 라풀라시안 피라미드를 생성하는 단계;
상기 생성된. 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사하는 단계; 및
상기 근사된 각 레벨에서의 2차 미분 성질을 이용하여 상기 입력 이미지 내의 타켓 영역을 이미지 합성하는 단계
를 포함하는 이미지 합성 방법.
【청구항 9】
제 8항에 있어서,
상기 생성하는 단계는
상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 피라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 상기 라플라시안 피라미드를 생성하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 10]
제 8항에 있어서, 상기 타겟 영역을 이미지 합성하는 단계는
상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들 - 상기 소스 패치들은 상기 타겟 영역 바깥쪽의 패치들임 - 을 검색하고, 상기 검색된 소스 패치들을 이용하여 상기 타겟 패치들 각각의 픽셀을 업데이트함으로써， 상기 타겟 영역을 이미지 합성하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 11】
제 10항에 있어서,
상기 타겟 영역을 이미지 합성하는 단계는
상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 패치들 각각에 대한 최근접 이웃 (nearest-neighbor) 소스 패치들을 검색하는 것을 특징으로 하는 이미지 합성 방법.
[청구항 12】
제 10항에 있어서，
상기 타겟 영역을 이미지 합성하는 단계는
상기 검색된 소스 패치들과 상기 타겟 영역의 경계에서 상기 타켓 패치들 각각의 거리에 따른 가중치에 기초하여 상기 타켓 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 13】
제 10항에 있어서, 상기 타겟 영역을 이미지 합성하는 단계는
상기 검색된 소스 패치들과 상기 타겟 패치들의 유사도와 상기 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 14】
저 18항에 있어서,
상기 타겟 영역을 이미지 합성하는 단계는
이전 레벨에서의 상기 타겟 영역의 이미지 합성 결과를 상기 타겟 영역에 채워 넣고, 각 레벨별로 순차적으로 반복 수행함으로써, 상기 타겟 영역의 이미지 합성을 수행하는 것을 특징으로 하는 이미지 합성 방법.
【청구항 15】
입력 이미지에 대한 라플라시안 피라미드를 생성하는 생성부;
상기 생성된 라플라시안 피라미드를 사용하여 각 레벨에서의 2차 미분 성질을 가우시안 차이 (Difference of Gaussian)을 통해 근사하는 근사화부; 및
상기 근사된 각 레벨에서의 2차 미분 성질을 이용하여 상기 입력 이미지 내와 타겟 영역을 이미지 합성하는 합성부
를 포함하는 이미지 합성 장치.
【청구항 16】
제 15항에 있어서,
상기 생성부는 상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 피라미드를 업샘플링한 업샘플링 가우시안 피라미드를 이용하여 상기 라플라시안 피라미드를 생성하는 것을 특징으로 하는 이미지 합성 장치.
【청구항 17】
제 15항에 있어서,
상기 합성부는
상기 입력 이미지에 대한 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 영역의 타겟 패치들 각각에 대한 소스 패치들 ᅳ 상기 소스 패치들은 상기 타겟 영역 바깥쪽의 패치들임 - 을 검색하고, 상기 검색된 소스 패치들을 이용하여 상기 타겟 패치들 각각의 픽셀을 업데이트함으로써, 상기 타겟 영역을 이미지 합성하는 것을 특징으로 하는 이미지 합성 장치.
【청구항 18】
제 17항에 있어서,
상기 합성부는
상기 가우시안 피라미드와 상기 라플라시안 피라미드를 이용하여 상기 타겟 패치들 각각에 대한 최근접 이웃 (nearest-neighbor) 소스 패치들을 검색하는 것을 특징으로 하는 이미지 합성 장치.
【청구항 19]
제 17항에 있어서,
상기 합성부는 상기 검색된 소스 패치들과 상기 타겟 영역의 경계에서 상기 타겟 패치들 각각의 거리에 따른 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 장치.
【청구항 20】
제 17항에 있어서,
상기 합성부는
상기 검색된 소스 패치들과 상기 타겟 패치들의 유사도와 상기 타겟 패치들 각각의 타겟 픽셀에서의 신뢰 가중치에 기초하여 상기 타겟 패치들 각각의 픽셀을 업데이트하는 것을 특징으로 하는 이미지 합성 장치.
【청구항 21】
제 15항에 있어서，
상기 합성부는
이전 레벨에서의 상기 타겟 영역의 이미지 합성 결과를 상기 타겟 영역에 채워 넣고, 각 레벨별로 순차적으로 반복 수행함으로써， 상기 타겟 영역의 이미지 합성을 수행하는 것을 특징으로 하는 이미지 합성 장치.
PCT/KR2016/014769 2016-08-10 2016-12-16 라플라시안 패치 기반 이미지 합성 방법 및 장치 WO2018030593A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0102032 2016-08-10
KR1020160102032A KR101837286B1 (ko) 2016-08-10 2016-08-10 라플라시안 패치 기반 이미지 합성 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018030593A1 true WO2018030593A1 (ko) 2018-02-15

Family

ID=61162851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/014769 WO2018030593A1 (ko) 2016-08-10 2016-12-16 라플라시안 패치 기반 이미지 합성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101837286B1 (ko)
WO (1) WO2018030593A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质
CN113496175A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种人形上半身检测分块设计方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070029A (ko) 2019-12-04 2021-06-14 삼성전자주식회사 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램
KR102505908B1 (ko) * 2020-11-24 2023-03-06 인천대학교 산학협력단 의료 영상 융합 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361075B1 (ko) * 2012-08-17 2014-02-10 한림대학교 산학협력단 구조행렬을 이용한 예제기반 영상 인페인팅 방법
US20160148359A1 (en) * 2014-11-20 2016-05-26 Siemens Medical Solutions Usa, Inc. Fast Computation of a Laplacian Pyramid in a Parallel Computing Environment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632069B1 (ko) 2015-01-08 2016-06-20 한국과학기술원 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361075B1 (ko) * 2012-08-17 2014-02-10 한림대학교 산학협력단 구조행렬을 이용한 예제기반 영상 인페인팅 방법
US20160148359A1 (en) * 2014-11-20 2016-05-26 Siemens Medical Solutions Usa, Inc. Fast Computation of a Laplacian Pyramid in a Parallel Computing Environment

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANKITA S. BAGUL: "Video Inpainting using Nearest Neighbor Field Algorithm", INTERNATIONAL JOURNAL OF EMERGING TECHNOLOGY AND ADVANCED ENGINEERING, vol. 4, no. 2, February 2014 (2014-02-01), pages 921 - 925, ISSN: 2250-2459 *
JOO HO LEE: "Laplacian Patch-Based Image Synthesis", COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 27 June 2016 (2016-06-27), pages 2727 - 2734 *
JOURNAL OF KIISE, vol. 42, no. 1, January 2015 (2015-01-01), pages 9 3 - 96 *
S. PADMAVATHI: "Laplacian Pyramid based Hierarchical Image Inpainting", ADVANCED IN IMAGE AND VIDEO PROCESSING, vol. 1, February 2014 (2014-02-01), pages 9 - 22, ISSN: 2054-7412 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质
CN113496175A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种人形上半身检测分块设计方法

Also Published As

Publication number Publication date
KR20180017737A (ko) 2018-02-21
KR101837286B1 (ko) 2018-03-09

Similar Documents

Publication Publication Date Title
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
Li et al. Fast guided global interpolation for depth and motion
Zhang et al. Meshstereo: A global stereo model with mesh alignment regularization for view interpolation
Min et al. Depth video enhancement based on weighted mode filtering
US8331615B2 (en) Match, expand, and filter technique for multi-view stereopsis
US8885941B2 (en) System and method for estimating spatially varying defocus blur in a digital image
Lee et al. Laplacian patch-based image synthesis
US20150097827A1 (en) Target Region Fill Utilizing Transformations
US8897588B2 (en) Data-driven edge-based image de-blurring
US20110242126A1 (en) Capturing image structure detail from a first image and color from a second image
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
WO2018030593A1 (ko) 라플라시안 패치 기반 이미지 합성 방법 및 장치
Zhang et al. Exemplar-based image inpainting using angle-aware patch matching
US20140267350A1 (en) Stylizing animation by example
US20200134847A1 (en) Structure depth-aware weighting in bundle adjustment
US10445926B2 (en) Light path correlation in digital image rendering of a digital scene
JP5506717B2 (ja) ステレオ画像においてオクルージョンをハンドリングするための方法
Guillemot et al. Object removal and loss concealment using neighbor embedding methods
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
US10089764B2 (en) Variable patch shape synthesis
Wang et al. Fast 3D reconstruction method based on UAV photography
CN113284237A (zh) 一种三维重建方法、系统、电子设备及存储介质
Shi et al. Fast algorithm for multiplicative noise removal
Väänänen et al. Inpainting occlusion holes in 3D built environment point clouds
Liu et al. Gradient prior dilated convolution network for remote sensing image super resolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16912791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16912791

Country of ref document: EP

Kind code of ref document: A1