WO2016114574A2 - 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치 - Google Patents

패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치 Download PDF

Info

Publication number
WO2016114574A2
WO2016114574A2 PCT/KR2016/000332 KR2016000332W WO2016114574A2 WO 2016114574 A2 WO2016114574 A2 WO 2016114574A2 KR 2016000332 W KR2016000332 W KR 2016000332W WO 2016114574 A2 WO2016114574 A2 WO 2016114574A2
Authority
WO
WIPO (PCT)
Prior art keywords
patch
image
pixel
input image
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/000332
Other languages
English (en)
French (fr)
Other versions
WO2016114574A3 (ko
Inventor
이승용
이현준
강형우
조호진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POSTECH Academy Industry Foundation
Original Assignee
POSTECH Academy Industry Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POSTECH Academy Industry Foundation filed Critical POSTECH Academy Industry Foundation
Priority to US15/543,564 priority Critical patent/US10521918B2/en
Publication of WO2016114574A2 publication Critical patent/WO2016114574A2/ko
Publication of WO2016114574A3 publication Critical patent/WO2016114574A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • Embodiments of the present invention relate to a technique for automatically generating an image from which a texture is removed from a two-dimensional image. More specifically, a texture filtering method for removing a texture without affecting a structure edge of an image using a patch shift, and Relates to a device.
  • Texture removal of an image is a kind of image processing technique that enables to more clearly convey the overall shape of an object in an image by removing the texture while preserving the structural edge of the image.
  • Various studies have been conducted to remove the image texture, and the most common approach is to blend the pixels so as not to cross the edge boundary in consideration of the structural edge when smoothing the image.
  • the bidirectional filter is a filtering technique that does not mix a region with a large color difference of an image and is widely used in various applications because of its simplicity, effect, and scalability.
  • image texture removal methods have been developed to preserve edges, including weighted least squares, edge-avoiding wavelets, local histogram filtering, Laplacian pyramids, and domains. Techniques have been proposed that use a transition approach and an optimization method to minimize the L0 gradient. These image texture removal methods have been proposed for the purpose of smoothing fine-details while preserving the structural edges of the image, but they are not used for explicit texture removal because they do not explicitly process textures. .
  • Another edge-preserving smoothing method is a technique that separates the detail of the image from the base layer using local extrema.
  • regular or nearly regular textures can be found using spatial relationships, frequencies, and symmetry of texture features.
  • Total variation (TV) regularization is effective for removing textures with no regularity, and is suitable for filtering that preserves large edges.
  • Gross normalization has been further extended to improve quality, robustness and efficiency.
  • relative total variation is a measure of spatially varying total variance of an image to improve quality when separating texture and image structure.
  • a patch-based texture removal method that measures the similarity of image patches based on region covariance descriptors. Compared with typical pixel-based image decomposition methods, using a covariance matrix between each patch and neighboring patches allows for more accurate detection of texture features and improves the performance of separating texture from structure edges.
  • the patch-based method has a problem of crushing structure edges by having patches having similar statistical characteristics as patches overlap at edge boundaries.
  • the proposed methods have limitations in that it is difficult to implement, accelerate, scale, or adapt algorithms to a computer due to the complexity of operations.
  • the existing image texture removal techniques mainly focus on the smoothing technique for preserving edges, and thus do not explicitly process the texture, and there is a limitation in that the texture is not removed cleanly.
  • the patch-based texture removal method that explicitly considers the texture has a limitation that it is difficult to accelerate, extend, and adapt due to the computational complexity of image optimization and normalization calculation.
  • a texture filtering method may include providing a patch shift on a patch of each pixel based on the structure edge information to select a representative patch of each pixel.
  • the determining of the structure edge may be performed based on a value of measuring a gradation range of the pixel values in the patch of each pixel or the corrected relative total variation from the input image.
  • the peripheral patch or the basic patch having the smallest gradation range or the modified relative omnivariation can be selected as the representative patch.
  • the texture filtering method may further include generating a first guide image by using the representative patch information and the input image after selecting the representative patch.
  • the texture filtering method may further include planarizing the input image before generating the first guide image.
  • the texture filtering method may further include generating a second guide image by using the first guide image and the input image after generating the first guide image.
  • the texture filtering method may further include performing joint bidirectional filtering using the second guide image and the input image.
  • the generating of the second guide image may include adding a value obtained by multiplying a pixel value of the first guide image by a degree of blending and a value obtained by multiplying a pixel value of the flattened input image by a complement of 1 of the degree of blending and adding a second value.
  • the method may include generating a guide image.
  • the blending degree may be determined by the relative full shift value determined by the structure edge determination for each patch and the full change value of the representative patch selected by the representative patch selection.
  • the texture filtering method may further include an iterative step of repeatedly performing texture filtering using the resultant image obtained by performing the co-directional filtering as the input image, that is, the new input image.
  • a computer readable medium having recorded thereon a program for performing the texture filtering method of any one of the above-described embodiments.
  • a patch-based texture filtering device for removing the texture of the image, comprising: a discrimination unit for determining the structure edge in the patches for each pixel of the input image, and the patch
  • the present invention provides a texture filtering apparatus including a selector configured to select a representative patch of each pixel by performing a patch shift on a patch of each pixel based on the respective structural edge information.
  • the determination unit may determine whether the structure edge is included based on a gray scale range of the pixel values in the patch of each pixel from the input image or a value measured from the modified relative total variation.
  • the selection unit may select the peripheral patch or the basic patch having the smallest gray scale range or the modified relative omnivariation as the representative patch.
  • the peripheral patch may include any one of patches in which the first pixel is disposed around the center of the base patch by shifting the base patch in the base patch in which the first pixel is placed at the center of the patch, or the first pixel is patched.
  • the base patch located at a particular first position of, the base patch may include any of the patches shifted to move the first pixel to a second position different from the first position.
  • the texture filtering apparatus may include a first generator configured to generate a first guide image using information of the representative patch and an input image, and a second guide image generated using the first guide image and the input image. It may further include a generator. The first generator and the second generator may be included in the generator that generates the guide image.
  • the texture filtering device or generator may further include a planarizer to flatten the input image before generating the first guide image of the first generator.
  • the texture filtering apparatus may further include a joint bidirectional filtering unit performing joint bidirectional filtering using the second guide image and the input image or the second guide image and the flattened input image.
  • the texture filtering apparatus may further include a feedback unit for repeating the texture filtering process by using the resultant image of the joint bidirectional filtering unit as a new input image.
  • a result image from which a texture is removed from a single two-dimensional image may be generated. That is, the structure edge can be preserved compared to the existing texture removal methods, thereby solving the existing problem of not removing the texture cleanly by not explicitly processing the texture, thereby completely removing the texture.
  • the resultant image can be generated.
  • the texture is clearly removed, and the image is not only meaningful in itself because it includes a structure that is meaningful for image recognition, but also can be used as a preprocessing technology to enhance the effects of various image processing and computer vision technologies. There is an advantage.
  • the texture filtering method or apparatus using a patch shift according to the present invention, selecting a neighboring patch from which a structure edge is excluded among the patches selected from each pixel in the image filtering process performed in units of patches as a patch representing each pixel
  • patch shift By using patch shift, the edge of the structure is not crushed, thereby solving the problem of texture removal of the image, as well as being able to be utilized in various image processing and image enhancement operations.
  • FIG. 1 is a flowchart of a texture filtering method according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram for describing a patch type and a patch-based image filtering method employable in the texture filtering method of FIG. 1.
  • FIG. 3 is a flowchart of a texture filtering method according to another embodiment of the present invention.
  • FIG. 4 is a block diagram of a texture filtering apparatus according to another embodiment of the present invention.
  • FIG. 5 is a block diagram of a texture filtering apparatus according to another embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a flowchart of a texture filtering method according to an embodiment of the present invention.
  • one of patch-based image filtering methods for removing textures of an image may include determining a structure edge (hereinafter, referred to as a structure edge determination step) (S11). ), And selecting a representative patch of each pixel (hereinafter referred to as a representative patch selection step) (S12).
  • the structure edge determination step S11 may include determining a structure edge from patches for each pixel of the input image in a determination unit of a device that performs a texture filtering method. In an embodiment, the structure edge determination step S11 may determine a structure edge based on a tonal range or a modified relative total variation of pixel values in a patch of each pixel from an input image. have.
  • the structure edge determination step (S11) the case where the structure edge is discriminated based on the gradation range will be described.
  • the input image Each pixel in Each patch centered For (s), the gradation range of pixel values contained within each patch is determined by the maximum brightness value of the image pixel included in each patch. And minimum brightness values It may be defined as shown in [Equation 1] including.
  • the corrected relative total variation of the pixel values inside the patch (reference patch) of each pixel is the gradient range of [Equation 1] and the gradient of each pixel in the patch. Size value It may be defined as shown in [Equation 2], including.
  • the selector of the apparatus which performs the texture filtering method patch-shifts the patch of each pixel based on the structural edge information from the discriminator and based on the gradation range or the modified relative omnivariation value of the discriminator. You can select a representative patch.
  • the pixel of the input image Patch Belong to For pixels, pixel Containing A representative patch can be selected by comparing the two patches. That is, in the representative patch selection step (S12) of this embodiment, the pixel Adjacent to When selecting a representative patch from among the two patches, a patch (base patch or peripheral patch) having the smallest gradation range or modified relative total variation value determined in the structure edge determination step S11 of each pixel may be selected as the representative patch.
  • the first pixel refers to patches positioned around the center of the base patch.
  • the first pixel may include any one of patches (peripheral patches) that patch-shift the base patch.
  • the peripheral patch according to the present embodiment is a base patch when the first pixel is positioned at a specific first position (non-center position, that is, peripheral position) of the base patch according to the implementation. It may refer to any one of the patches (peripheral patches) that may be shifted so that the first pixel is located at a second position different from the first position.
  • selecting the base patch as the representative patch may be included.
  • a patch shift is required by selecting a preset patch form for each pixel (including the first pixel) as it is. Otherwise, the patch shift operation can be suppressed to increase the efficiency of the device.
  • an image having only structure edges may be provided by effectively removing textures in a patch-based texture filtering operation or an image filtering operation that removes textures from a 2D image.
  • FIG. 2 is an exemplary diagram for describing a patch type and a patch-based image filtering method employable in the texture filtering method of FIG. 1.
  • a 3 ⁇ 3 patch 3 having three pixels horizontally and three pixels vertically may be used in an image 2 or a display displaying an image.
  • the patch is an image portion including a plurality of pixels of all the pixels of the input image, and may be used for filtering of smoothing, texture removal, etc. of the 2D image, and may be used for filtering a specific pixel (or a reference pixel).
  • a patch size for patch-based image filtering or texture filtering is described as a 3 ⁇ 3 patch.
  • the present invention is not limited thereto, and a k ⁇ k patch having k pixels horizontally and k pixels vertically may be used. have.
  • a 5x5 patch 5 having 5 pixels horizontally and 5 pixels vertically may be used.
  • an n ⁇ m patch with n pixels horizontally and m pixels vertically may be used. Where n and m are different natural numbers.
  • the patch form is described as a form in which the reference pixel is positioned at the center of the patch.
  • the present invention is not limited thereto, and the reference pixel may have a patch form located at one side edge or between the center and the edge of the patch. (See patch P5s in FIG. 2 (d)).
  • a process of texture filtering using the 3 ⁇ 3 patch 3 is as follows.
  • an apparatus that performs a texture filtering method (hereinafter, simply referred to as a texture filtering apparatus) performs filtering on the input image 2 based on a patch of each pixel of the input image 2.
  • the texture filtering apparatus determines the structure edge E in the first patch P1 for the first pixel c1 as shown in FIG. You can perform filtering on the shape and move to the next pixel.
  • the texture filtering apparatus determines the structure edge in the second patch (P2) for the second pixel (c2), as shown in Figure 2 (b) If is not included, filtering may be performed in the current patch form, and the next pixel in the predetermined order may be moved.
  • the texture filtering apparatus determines a structure edge at a fifth patch P5 for a specific pixel of the input image 2, for example, the fifth pixel c5, as shown in FIG. 2C, and includes the structure edge. If it is determined that it is, the fifth patch P5 having the current basic patch form may be shifted to the peripheral patch form.
  • the texture filtering apparatus replaces the fifth patch P5, which is a basic patch of the fifth pixel located at the center of the fifth patch P5, with the fifth pixel c5.
  • One of the peripheral patches may be converted into the shifted fifth patch P5s.
  • the fifth pixel c5 is positioned at one edge of the patch.
  • the texture filtering device determines the structure edges in the patch (base patch) of each pixel, and in the case of the pixel where the structure edge is detected, the base patch of the pixel and all the surrounding patches shiftable in the base patch. After obtaining the gradation range or the corrected relative total variation value of each pixel value of, the values having the smallest value can be selected as representative patches by comparing the obtained values with each other.
  • the filtering is performed in each patch.
  • the present invention is not limited to such a configuration, and the pixel value of each patch for each pixel of one or more row / column units or the entire image may be changed. After saving, you can filter by batch. This may be selectively applied depending on the data processing speed of the device, the memory capacity, the type of display screen of the application program, or the like.
  • FIG. 3 is a flowchart of a texture filtering method according to another embodiment of the present invention.
  • an input image reception step S31 a patch edge determination step S32, a representative patch selection step S33, a guide image generation step S34.
  • a guide image generation step S34 a guide image generation step S34.
  • the joint bi-directional filtering step (S35) the joint bi-directional filtering step (S35).
  • the texture filtering apparatus may receive a 2D image obtained by various methods.
  • the texture filtering apparatus may receive a two-dimensional image by reading an image captured by a camera or a disk in the image receiving step S31.
  • the 2D image may be a planar image and may have Cartesian coordinate axes of x and y axes.
  • the 2D image may be a mosaic image as an input image including a structure edge.
  • the texture filtering apparatus inputs the input image received from the input image receiving step (S31) or the joint bi-directional filtering step (S35) For each pixel of, it is determined whether the image patch including the corresponding pixel includes the structure edge. That is, in the structure edge determination step (S32), it is determined whether an image patch including some of the pixels constituting the input image includes the structure edge.
  • whether or not any patch includes a structure edge can be calculated by measuring a tonal range or modified relative total variation of pixel values within the patch. have.
  • the texture filtering apparatus performs a patch shift on a patch of a specific pixel including a structure edge in the representative patch selection step (S33) to obtain a gradation range or correction based on the pixel value of each patch among a plurality of patch shifted patches.
  • the patch with the smallest relative full change value can be selected as the representative patch.
  • the texture filtering apparatus may select a basic patch included therein, or an arbitrary patch when there is no basic patch.
  • image smoothing may be performed on the image received from the input image receiving step S31 or the joint bidirectional filtering step S35 to obtain a flattened image.
  • the texture filtering apparatus or the image filtering apparatus may generate the initial guide image by substituting the flattened pixel values of the representative patch selected in the representative patch selection step S33 for each pixel of the flattened image.
  • the texture filtering apparatus or the image filtering apparatus may obtain the guide image (second guide image) by mixing the initial guide image and the input image into which the pixel value of the representative patch selected by the patch shift is substituted.
  • the input image may be a flattened input image or an unflattened input image.
  • the initial guide image is the flattened image It may be generated by substituting the flattened pixel values of the selected representative patch in each patch of the image for each pixel of.
  • guide video The process of generating pixel values of the flattened image And pixel values of the initial guide image And mixed degree It may be defined as shown in [Equation 3] including.
  • mixing degree I the relative total shift value determined in the structure edge determination step (S32) for each patch.
  • the total variation value of the representative patch selected in the representative patch selection step (S33) It may be defined as shown in [Equation 4], including.
  • the modified relative omnivariation value of each patch in [Equation 4] may be replaced with the gradation range of [Equation 1].
  • the texture filtering apparatus may obtain the resultant image by applying the joint bidirectional filter using the guide image generated in the guide image generation step S34 in the joint bidirectional filtering step S35.
  • the texture filtering apparatus may perform joint bidirectional filtering using the guide image and the input image to obtain a resultant image.
  • Filters for joint bidirectional filtering can be performed using Eisemann and Durand's “Flash photography enhancement via intrinsic relighting” method (Elmar Eisemann and Fredo Durand, ACM Transactions on Graphics, 23, 3, 2004). .
  • two inputs of joint bidirectional filtering are input images to which filtering is applied and guide images to which patch shift is applied to the input images.
  • the joint bidirectional filtering of the present embodiment calculates the bidirectional weight from the guide image to which the patch sheet is applied and uses the calculated weight to filter the input image to obtain the final result image. You can print
  • a desired result image may be obtained by repeatedly performing the above steps S32 to S35 using the resultant image of the joint bidirectional filtering as an input image (S36 and S37).
  • the repetition of the steps S32 to S35 may be performed for a repetition number i smaller than the preset number j or according to a user setting or a user input replacing the preset number.
  • the image filtering device or the texture filtering device available thereto may be configured such that a patch representing each pixel does not include the structure edge in order to preserve the structure edge in the image filtering process performed in units of patches.
  • a patch shift to select a it is possible to provide a result image in which the texture is effectively removed after the texture filtering.
  • FIG. 4 is a schematic block diagram of a texture filtering apparatus according to another embodiment of the present invention.
  • the texture filtering apparatus 10 may be a device for performing the texture filtering method using the above-described patch sheet, and may include a processor 11 and a memory system 12.
  • the texture filtering device 10 may include a network interface 13 according to an implementation, and may further include a display device 14 (hereinafter, simply referred to as a display) and an interface 15.
  • the processor 11 is mounted on a terminal or a computer device capable of performing image filtering to determine a structure edge from patches for each pixel of the input image, and for each pixel patch based on the structure edge information of each patch.
  • the patch shift may be performed to select a representative patch of each pixel.
  • the processor 11 may select the representative patch of each pixel based on the gradation range or the modified relative total variation based on the pixel value of each patch.
  • the processor 11 may generate a guide image and jointly bi-filter the generated guide image and the input image.
  • the processor 11 flattens the input image, generates an initial guide image (first guide image) based on the flattened input image and representative patch information of each pixel of the input image,
  • the second guide image may be generated using the first guide image and the input image.
  • the processor 11 may operate to repeat the above-described texture filtering process using the resultant image of the joint bidirectional filtering as a new input image.
  • the processor 11 described above may be connected to the memory system 12 to execute a program stored in the memory system 12.
  • the program may be for performing a texture filtering method using the patch shift of the above-described embodiment or an image filtering method including the same.
  • the memory system 12 includes main memory in the form of storage media such as random access memory (RAM) and read only memory (ROM), and long-terms such as floppy disk, hard disk, tape, CD-ROM, and flash memory. It may include an auxiliary memory in the form of a storage medium.
  • main memory in the form of storage media such as random access memory (RAM) and read only memory (ROM), and long-terms such as floppy disk, hard disk, tape, CD-ROM, and flash memory. It may include an auxiliary memory in the form of a storage medium.
  • the network interface 13 may be connected to a network to perform data communication with other communication devices on the network.
  • the apparatus for performing the texture filtering method using the patch shift of the present embodiment may perform a texture filtering operation by downloading or real-time receiving data or a signal including the steps of the texture filtering method.
  • the above-described network interface 13 may be implemented to support one or more communication protocols for performing data communication in one or more single or combination networks selected from wireless networks, wired networks, satellite networks, power line communications, and the like.
  • the display 14 refers to a means connected to the processor 11 to display a texture filtering process or a resultant image of the processor 11 on a screen, or to perform a function corresponding to the means.
  • the display 14 may be directly connected to the processor 11, but is not limited thereto and may be connected to a remote location through the network interface 13.
  • the display 14 may be a liquid crystal display (LCD) device, an organic light emitting diode (OLED) display device, a plasma display panel (PDP) device, a CRT TV equipped with a modem, or the like.
  • the interface 15 may comprise a means connected to the processor 11 for communication between the texture filtering device 10 and the outside (including an external user) or a device performing a function corresponding to the means.
  • the interface 15 may include at least one selected from a keyboard, a mouse, a touch screen, a touch panel, a microphone, and the like as an input device, and may include at least one selected from a speaker, lighting means, a display device, and the like as an output device. Can be.
  • FIG. 5 is a block diagram of a texture filtering apparatus according to another embodiment of the present invention.
  • the texture filtering apparatus 30 includes a discriminating unit 32 and a selecting unit 33.
  • the texture filtering device 30 may include the generation unit 34 and the joint bidirectional filtering unit 35 according to implementation. It may further include, and may further include a feedback unit 37 according to another implementation.
  • the generator 34 may include a planarizer 341, a first generator 342, and a second generator 343.
  • the determination unit 32 performs a structure edge determination step
  • the selection unit 33 represents a representative.
  • the patch selection step is performed
  • the generation unit 34 performs the guide image (second guide image) generation step
  • the joint bidirectional filtering unit 35 performs the joint bidirectional filtering step
  • the feedback unit 37 repeats. It may be implemented as a means for performing a step or a component for performing a function corresponding to the means.
  • the determination unit 32 may measure a gradation range of pixel values in the patch constituting the input image.
  • a patch is a piece of input video.
  • the determination unit 32 may measure the corrected relative total variation with respect to the pixel value in the patch.
  • the determination unit 32 may determine whether or not to include the structural edge for each patch based on the measured gray scale range and the corrected relative total variation. That is, the determination unit 32 determines whether to include the structure edge for each patch by measuring the pixel value inside the patch in the input image to determine whether to include the structure edge for each patch of the input image, or from the input image. It is possible to determine whether a structure edge is included for each patch by measuring the gradation range of the pixel value within the patch or the modified relative total variation. The method of measuring the gradation range and the corrected relative total variation is replaced with the description referring to [Equation 1] and [Equation 2].
  • the selector 33 selects a representative patch by referring to whether the patch 32 includes a structural edge for each patch. For example, the selector 33 may select a patch having the smallest gradation range and the corrected relative total variation as measured by the determiner 32 as the representative patch.
  • the selecting unit 33 when the representative unit 33 selects a representative patch using whether or not the structure-specific edges per patch are included, the selecting unit 33 includes a plurality of patches per patch (including a basic patch and a peripheral patch) for a specific pixel (reference pixel or first pixel).
  • the number of structural edges can be calculated and the patch with the smallest number of structural edges can be selected as the representative patch.
  • the plurality of patches are shifted in position so that the reference pixel includes a base patch located at a predetermined position of the patch and another pixel including the base pixel and having the same size as the base patch but not included in the base patch. (shifted) Includes surrounding patches.
  • the generation unit 34 generates a guide image by using the flattened input image and the representative patch.
  • the flattened input image refers to an input image smoothed through the flattener 341.
  • the generator 34 may generate a guide image (second guide image) based on the flattened input image, the representative patch, and the generated initial guide image (first guide image).
  • the generator 34 may include a flattener 341 for initial filtering of the input image.
  • the flattener 341 refers to a means or a component that outputs a flattened image by performing image smoothing on the resultant image obtained from the input image or the joint bidirectional filtering unit 35.
  • the generator 34 may include a first generator 342 for generating an initial guide image by substituting the flattened pixel values of the representative patch selected by the selector 200 for each pixel of the flattened input image. have.
  • the generator 34 may include a second generator 343 for generating a guide image by mixing the initial guide image into which the pixel value of the representative patch is substituted with the input image.
  • the guide image generated by the generation unit 34 may be defined by [Equation 3].
  • the joint bidirectional filtering unit 35 may perform joint bidirectional filtering by using the guide image and the input image, and acquire the resultant image.
  • the input image may be an unflattened input image or a flattened input image.
  • the joint bidirectional filtering unit 35 has two input images, an input image to which filtering is applied and a guide image to which a patch shift is applied to the input image.
  • the joint bidirectional filtering of the present embodiment calculates bidirectional weights from the guide image and the input image to which the patch sheet is applied and calculates the weights. May be used to filter the input image to output a final result image having substantially only structure edges.
  • the feedback unit 37 refers to a means or a component for repeatedly performing texture filtering using the resultant image of the joint bidirectional filtering unit 35 as an input image.
  • the feedback unit 37 repeats the comparison unit (see S36 of FIG. 3) and the feedback path (S37 of FIG. 3) to repeatedly perform texture filtering in the form of internal circulation when the number of iterations i is smaller than the preset reference number j.
  • the reference number j may correspond to a user setting stored value or a real time user input value.
  • the texture is extracted from the 2D input image through the repetitive texture filtering using the guide shift and the input image to which the selected representative patch is applied using the patch shift, and the resultant image of the joint bidirectional filtering as the new input image. It can be precisely removed, thereby outputting a final result image having substantially only structure edges.
  • the above-described components may be a module or a functional unit mounted in a processor of a portable terminal or a computer device, but is not limited thereto.
  • the above-described components may be implemented in the form of a computer readable medium (recording medium) storing a program that may be executed in various computer devices.
  • the computer readable medium may include a plurality of computer devices or cloud systems connected through a network, and at least one of the plurality of computer devices or cloud systems uses a texture filtering method using the patch shift of the present embodiment in a memory system. You can save the program you are running.
  • the computer readable medium may be embodied in the form of a single or combination of program instructions, data files, data structures, and the like.
  • the programs recorded on the computer readable medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in computer software.
  • the computer readable medium may include a hardware device that is specially configured to store and execute program instructions, such as a ROM, a RAM, a flash memory, and the like.
  • Program instructions may include high-level language code that can be executed by a computer using an interpreter, as well as machine code such as produced by a compiler.
  • the hardware device may be configured to operate with at least one software module to perform the variance estimation method of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치가 개시된다. 영상에서 텍스처를 제거하는 패치 기반의 텍스처 필터링 방법은 입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 단계와, 패치들 각각의 구조 에지 정보를 토대로 각 픽셀의 패치에 대하여 패치 쉬프트를 수행하여 각 픽셀의 대표 패치를 선택하는 단계를 포함하며, 그에 의하여 한 장의 입력 영상에서 자동으로 텍스처가 완벽하게 제거된 결과 영상을 생성할 수 있다.

Description

패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
본 발명의 실시예들은 이차원 영상으로부터 자동으로 텍스처가 제거된 영상을 생성해내는 기술에 관한 것으로, 더욱 상세하게는 패치 쉬프트를 이용하여 영상의 구조 에지에 대한 영향 없이 텍스처를 제거하는 텍스처 필터링 방법 및 장치에 관한 것이다.
영상의 텍스처(texture) 제거는 영상의 구조 에지를 보존하면서 텍스처를 제거함으로써 영상 내 대상의 전반적인 형태를 보다 명확하게 전달할 수 있도록 하는 영상 처리 기법의 일종이다. 이러한 영상 텍스처 제거를 위해 다양한 연구가 진행되어 왔으며, 가장 일반적인 접근 방법은 영상을 스무딩(smoothing) 할 때 구조 에지를 고려하여 에지 경계를 넘지 않도록 픽셀들을 섞는 것이다.
에지를 보존하는 스무딩과 관련하여 지금까지 다양한 방법들이 제시되었는데 가장 널리 사용되는 방법들 중 하나는 양방향 필터(bilateral filter)를 이용하는 방법이다. 양방향 필터는 영상의 색상 차이가 많이 나는 영역을 섞지 않는 필터링 기법으로 단순성, 효과, 확장성이 뛰어나 다양한 응용에 널리 사용되고 있다.
양방향 필터 외에도 에지를 보존하기 위한 영상 텍스처 제거 방법들이 많이 개발되었는데, 예를 들어 가중 최소 자승법(weighted least squares), 에지를 회피하는 웨이블릿(edge-avoiding wavelets), 지역적 히스토그램 필터링, 라플라시안 피라미드, 도메인을 전환하는 접근 방법, L0 그래디언트를 최소화하는 최적화 방법을 이용하는 기법들이 제안되어 있다. 이러한 영상 텍스처 제거 방법들은 영상의 구조 에지를 보존함과 동시에 세부 디테일(fine-details)을 스무딩한다는 목적으로 제안되었으나, 텍스처를 명시적으로 처리하고 있지 않으므로 명시적인 텍스처 제거에 사용되기에는 한계가 있다.
다른 에지 보존 스무딩 방법으로는, 지역적 극치값들(local extrema)을 이용하여 영상의 세부 디테일을 베이스(base) 레이어로부터 분리하는 기법이 있다. 또 다른 방법으로는, 규칙적이거나 거의 규칙성을 띄는 텍스처는 공간적 관계(spatial relationship), 빈도 및 텍스처 피처의 대칭성을 이용하여 찾을 수 있다. 규칙성이 없는 형태의 텍스처를 제거하는 데에는 총변량(total variation; TV) 정규화(regularization)가 효과적이며, 큰 규모의 에지를 보존하는 필터링에 적합하다. 총변량 정규화는 품질, 강인함, 효율성을 향상시키기 위해 더 확장되었다. 여기서 특히, 상대 총변량(relative total variation)은 텍스처와 영상 구조를 분리할 때 품질을 향상시키기 위해 영상의 공간적으로 변하는 총변량 측정치이다.
최근, 영역 공분산 기술자(region covariance descriptor)를 기반으로 영상 패치의 유사성을 측정하는 패치 기반의 텍스처 제거 방법이 제안되었다. 전형적인 픽셀 기반 영상 분리(image decomposition) 방법들과 비교하여, 각 패치와 이웃 패치들 사이의 공분산 행렬을 이용하는 것은 더욱 정확한 텍스처 피쳐의 검출을 가능하게 하였고 구조 에지로부터 텍스처를 분리하는 성능을 향상시켰다. 하지만, 패치 기반의 방법은 에지의 경계에서 패치들이 중첩되면서 유사한 통계적 특성을 갖도록 하여 구조 에지를 뭉개는 문제가 있다.
지금까지 제안된 방법들은 효과적인 스무딩에도 불구하고 연산의 복잡도로 인해 알고리즘을 컴퓨터에 구현하거나, 가속화(acceleration), 확장(scale), 적응(adapt)하기가 어렵다는 한계가 있다. 또한, 기존의 영상 텍스처 제거 기법들은 주로 에지를 보존하는 스무딩 기법에 중점을 두기 때문에 텍스처를 명시적으로 처리하지 않고, 기법 적용 시 텍스처를 깨끗하게 제거하지 못한다는 한계가 있다. 또한, 텍스처를 명시적으로 고려하는 패치 기반 텍스처 제거 방법의 경우에는 영상 최적화 및 정규화 계산에 따른 연산 복잡도로 인해 가속화, 확장, 적응이 어렵다는 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 패치 단위로 수행되는 영상 필터링 과정에서 구조 에지(structure edge)를 보존하기 위하여 각 픽셀을 대표하는 패치가 구조 에지를 포함하지 않도록 선택하는 패치 쉬프트(patch shift)를 이용한 텍스처 필터링 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에서는, 영상의 텍스처를 제거하는 패치 기반의 텍스처 필터링 방법에 있어서, 입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 단계, 및 패치들 각각의 구조 에지 정보를 토대로 각 픽셀의 패치에 대하여 패치 쉬프트를 수행하여 각 픽셀의 대표 패치를 선택하는 단계를 포함하는 텍스처 필터링 방법을 제공할 수 있다.
여기에서, 구조 에지를 판별하는 단계는, 입력 영상으로부터 각 픽셀의 패치 내 픽셀 값들의 계조 범위 혹은 수정된 상대 전변동을 측정한 값을 토대로 수행될 수 있다.
여기에서, 대표 패치를 선택하는 단계는, 계조 범위 혹은 수정된 상대 전변동이 가장 작은 주변 패치나 기본 패치를 대표 패치로 선택할 수 있다.
여기에서, 텍스처 필터링 방법은, 대표 패치를 선택하는 단계 이후에, 대표 패치의 정보와 입력 영상을 이용하여 제1 가이드 영상을 생성하는 단계를 더 포함할 수 있다.
여기에서, 텍스처 필터링 방법은, 제1 가이드 영상을 생성하는 단계 전에 입력 영상을 평탄화하는 단계를 더 포함할 수 있다.
여기에서, 텍스처 필터링 방법은, 제1 가이드 영상을 생성하는 단계 후에 제1 가이드 영상과 입력 영상을 이용하여 제2 가이드 영상을 생성하는 단계를 더 포함할 수 있다.
여기에서, 텍스처 필터링 방법은, 제2 가이드 영상과 입력 영상을 이용하여 공동 양방향 필터링을 수행하는 단계를 더 포함할 수 있다.
여기에서, 제2 가이드 영상을 생성하는 단계는, 제1 가이드 영상의 픽셀 값과 혼합 정도를 곱한 값과 상기의 평탄화된 입력 영상의 픽셀 값과 혼합 정도의 1의 보수를 곱한 값을 더하여 제2 가이드 영상을 생성하는 단계를 포함할 수 있다. 이때, 혼합 정도는 패치별 구조 에지 판별에 의해 결정된 상대 전변동 값과 대표 패치 선택에 의해 선택된 대표 패치의 전변동 값에 의해 결정될 수 있다.
여기에서, 텍스처 필터링 방법은 공동 양방향 필터링을 수행하여 얻은 결과 영상을 상기의 입력 영상 즉 새로운 입력 영상으로 하여 텍스처 필터링을 반복 수행하기 위한 반복 단계를 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 측면에서는, 전술한 실시예들 중 어느 하나의 텍스처 필터링 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체를 제공한다.
상기 또 다른 목적을 달성하기 위한 본 발명의 또 다른 측면에서는, 영상의 텍스처를 제거하는 패치 기반의 텍스처 필터링 장치로서, 입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 판별부, 및 패치들 각각의 구조 에지 정보를 토대로 각 픽셀의 패치에 대해 패치 쉬프트를 수행하여 각 픽셀의 대표 패치를 선택하는 선택부를 포함하는 텍스처 필터링 장치를 제공한다.
여기에서, 판별부는 입력 영상으로부터의 각 픽셀의 패치 내 픽셀 값들의 계조 범위 혹은 수정된 상대 전변동을 측정한 값을 토대로 구조 에지의 포함 여부를 판별할 수 있다.
여기에서, 선택부는 계조 범위 혹은 수정된 상대 전변동이 가장 작은 주변 패치나 기본 패치를 대표 패치로 선택할 수 있다. 여기서 주변 패치는, 제1 픽셀을 패치의 중심부에 배치한 기본 패치에서, 기본 패치를 쉬프트하여 제1 픽셀이 기본 패치의 중심부 주변에 배치되는 패치들 중 어느 하나를 포함하거나, 제1 픽셀이 패치의 특정한 제1 위치에 위치하는 기본 패치에서, 기본 패치를 쉬프트하여 제1 픽셀이 제1 위치와 다른 제2 위치에 위치하도록 움직인 패치들 중 어느 하나를 포함할 수 있다.
여기에서, 텍스처 필터링 장치는, 대표 패치의 정보와 입력 영상을 이용하여 제1 가이드 영상을 생성하는 제1 생성부, 및 제1 가이드 영상과 입력 영상을 이용하여 제2 가이드 영상을 생성하는 제2 생성부를 더 포함할 수 있다. 제1 생성부와 제2 생성부는 가이드 영상을 생성하는 생성부에 포함될 수 있다.
여기에서, 텍스처 필터링 장치 혹은 생성부는 제1 생성부의 상기 제1 가이드 영상의 생성 전에, 입력 영상을 평탄화하는 평탄화부를 더 포함할 수 있다.
여기에서, 텍스처 필터링 장치는 제2 가이드 영상과 입력 영상 혹은 제2 가이드 영상과 평탄화된 입력 영상을 이용하여 공동 양방향 필터링을 수행하는 공동 양방향 필터링부를 더 포함할 수 있다.
여기에서, 텍스처 필터링 장치는 공동 양방향 필터링부의 결과 영상을 새로운 입력 영상으로 하여 텍스처 필터링 과정을 반복 수행하기 위한 피드백부를 더 포함할 수 있다.
상기와 같은 본 발명에 따른 패치 쉬프트를 이용한 텍스처 필터링 방법이나 장치를 이용할 경우에는 한 장의 이차원 영상으로부터 자동으로 텍스처가 제거된 결과 영상을 생성할 수 있다. 즉, 기존의 텍스처 제거 방법들과 비교하여 구조 에지(structure edge)를 보존할 수 있고, 그에 의해 텍스처를 명시적으로 처리하지 않아서 텍스처를 깨끗하게 제거하지 못하는 기존의 문제를 해결하여 텍스처를 완벽하게 제거한 결과 영상을 생성할 수 있다. 텍스처가 확실하게 제거된 결과 영상은 영상 인식에 유의미한 구조 에지만 포함한다는 점에서 그 자체로도 의미가 있을 뿐 아니라, 다양한 영상 처리 및 컴퓨터 비전 기술의 효과를 높이기 위한 전처리 기술로도 활용될 수 있는 장점이 있다.
또한, 본 발명에 따른 패치 쉬프트를 이용한 텍스처 필터링 방법이나 장치는, 패치 단위로 수행되는 영상 필터링 과정에서 각 픽셀에서 선택되는 패치 중 구조 에지가 제외된 이웃 패치를 각 픽셀을 대표하는 패치로 선택하는 패치 쉬프트를 이용함으로써 구조 에지를 뭉개지 않고, 그에 의해 영상의 텍스처 제거 문제를 해결하는 것은 물론이고 다양한 영상 처리 및 영상 개선 작업에서 활용될 수 있는 장점이 있다.
또한, 본 발명에 따른 패치 쉬프트를 이용한 텍스처 필터링 방법이나 장치를 이용하는 경우에는, 패치 쉬프트의 단순성으로 인해 작은 계산 비용으로도 효과적으로 텍스처를 제거할 수 있는 장점이 있다. 즉, 본 발명에 의하면, 2차원 영상의 구조 에지에 영향 없이 영상 내 임의의 텍스처를 효과적으로 제거하면서 우수한 확장성과 적응성을 갖고 단순하며 구현이 쉬운 장점이 있다.
도 1은 본 발명의 일실시예에 따른 텍스처 필터링 방법의 순서도이다.
도 2는 도 1의 텍스처 필터링 방법에 채용가능한 패치 형태 및 패치 기반 영상 필터링 방법을 설명하기 위한 예시도이다.
도 3은 본 발명의 다른 실시예에 따른 텍스처 필터링 방법의 순서도이다.
도 4는 본 발명의 또 다른 실시예에 따른 텍스처 필터링 장치의 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 텍스처 필터링 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 텍스처 필터링 방법의 순서도이다.
도 1을 참조하면, 본 실시예에 따른 텍스처 필터링 방법은, 영상의 텍스처를 제거하는 패치 기반의 영상 필터링 방법의 하나로서, 구조 에지를 판별하는 단계(이하, 구조 에지 판별 단계라 함)(S11), 및 각 픽셀의 대표 패치를 선택하는 단계(이하, 대표 패치 선택 단계라 함)(S12)을 포함한다.
구조 에지 판별 단계(S11)는 텍스처 필터링 방법을 수행하는 장치의 판별부에서 입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 것을 포함할 수 있다. 일실시예에서, 구조 에지 판별 단계(S11)는 입력 영상으로부터 각 픽셀의 패치 내 픽셀 값들의 계조 범위(tonal range) 혹은 수정된 상태 전변동(modified relative total variation)을 토대로 구조 에지를 판별할 수 있다.
구조 에지 판별 단계(S11)에 있어서, 계조 범위를 토대로 구조 에지를 판별하는 경우를 설명하면 다음과 같다.
즉, 입력 영상
Figure PCTKR2016000332-appb-I000001
의 각 픽셀
Figure PCTKR2016000332-appb-I000002
를 중심으로 하는 각각의 패치
Figure PCTKR2016000332-appb-I000003
(들)에 대하여, 각 패치 내부에 포함된 픽셀 값들의 계조 범위는 각 패치에 포함된 영상 픽셀의 최대 밝기 값
Figure PCTKR2016000332-appb-I000004
와 최소 밝기 값
Figure PCTKR2016000332-appb-I000005
을 포함하여 [수학식 1]과 같이 정의될 수 있다.
Figure PCTKR2016000332-appb-M000001
또한, 구조 에지 판별 단계(S11)에 있어서, 각 픽셀의 패치(기준 패치) 내부의 픽셀 값들의 수정된 상대 전변동은 [수학식 1]의 계조 범위 및 해당 패치 내 각 픽셀의 그라디언트(gradient) 크기 값
Figure PCTKR2016000332-appb-I000006
을 포함하여 [수학식 2]와 같이 정의될 수 있다.
Figure PCTKR2016000332-appb-M000002
대표 패치 선택 단계(S12)에서는 텍스처 필터링 방법을 수행하는 장치의 선택부가 판별부로부터의 구조 에지 정보를 토대로, 그리고 판별부의 계조 범위나 수정된 상대 전변동 값을 토대로 각 픽셀의 패치를 패치 쉬프트하여 대표 패치를 선택할 수 있다.
일례로, 대표 패치 선택 단계(S12)에서는 입력 영상의 픽셀
Figure PCTKR2016000332-appb-I000007
를 중심으로 하는 패치
Figure PCTKR2016000332-appb-I000008
에 속하는
Figure PCTKR2016000332-appb-I000009
픽셀들에 대해, 픽셀
Figure PCTKR2016000332-appb-I000010
를 포함하는
Figure PCTKR2016000332-appb-I000011
개의 패치들을 비교하여 대표 패치를 선택할 수 있다. 즉, 본 실시예의 대표 패치 선택 단계(S12)에서는 픽셀
Figure PCTKR2016000332-appb-I000012
를 포함하는 인접한
Figure PCTKR2016000332-appb-I000013
개의 패치 중에서 대표 패치를 선택할 때에 각 픽셀의 패치별 구조 에지 판별 단계(S11)에서 결정된 계조 범위 혹은 수정된 상대 전변동 값이 가장 작은 패치(기본 패치 또는 주변 패치)를 대표 패치로 선택할 수 있다.
여기서, 주변 패치는, 특정 픽셀(이하, 제1 픽셀이라 함)을 기준으로 하는 패치에 있어서 해당 패치의 중심부에 제1 픽셀이 배치된 형태를 기본 패치라 할 때, 기본 패치를 쉬프트하거나 평행 이동시켜 제1 픽셀이 기본 패치의 중심부 주변에 위치하는 패치들을 지칭하는 것으로, 본 실시예에서는 기본 패치를 패치 쉬프트시킨 패치들(주변 패치들) 중 어느 하나를 포함할 수 있다.
또한, 본 실시예에 따른 주변 패치는, 구현에 따라서 제1 픽셀이 해당 기본 패치의 특정한 제1 위치(중심이 아닌 위치 즉, 주변 위치)에 위치하는 형태를 기본 패치로 할 때, 기본 패치를 쉬프트하여 제1 픽셀이 상기의 제1 위치와 다른 제2 위치에 위치할 수 있는 패치들(주변 패치들)들 중 어느 하나를 지칭하는 것일 수 있다.
또한, 전술한 대표 패치 선택 단계(S12)는, 구현에 따라서 계조 범위 혹은 수정된 상대 전변동이 가장 작은 패치로서 기본 패치와 함께 주변 패치 중 1개 이상을 포함할 때, 즉 계조 범위 혹은 수정된 상대 전변동이 가장 작은 패치가 기본 패치를 포함하여 복수 개가 존재할 때, 기본 패치를 대표 패치로 선택하는 단계를 포함할 수 있다. 이러한 구성에 의하면, 기본 설정된 패치 형태에서 구조 에지가 패치의 가장자리에 존재하거나 패치에 포함되지 않는 경우에 각 픽셀(제1 픽셀 포함)에 대하여 미리 설정된 패치 형태를 그대로 선택함으로써 패치 쉬프트가 필요한 경우가 아닌 경우에 대하여 패치 쉬프트 연산을 억제하여 장치의 효율을 높일 수 있다.
본 실시예에 의하면, 2차원 영상에서 텍스처를 제거하는 패치 기반의 텍스처 필터링 작업이나 영상 필터링 작업에서 텍스처를 효과적으로 정밀하게 제거하여 구조 에지만을 가진 영상을 제공할 수 있는 장점이 있다.
도 2는 도 1의 텍스처 필터링 방법에 채용가능한 패치 형태 및 패치 기반 영상 필터링 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 본 실시예에 따른 텍스처 필터링 방법에서는 영상(2)나 영상을 표시하는 디스플레이에서 가로 3개의 픽셀과 세로 3개의 픽셀을 가진 3×3 패치(3)를 이용할 수 있다. 여기서, 패치는 입력 영상의 전체 픽셀들 중 일부 복수의 픽셀을 포함하는 영상 부분으로서, 2차원 영상의 스므딩(smoothing), 텍스처 제거 등의 필터링을 위해 이용될 수 있으며, 특정 픽셀(또는 기준 픽셀)을 기준으로 미리 정해진 형태로 설정될 수 있다.
본 실시예에서는 패치 기반의 영상 필터링 또는 텍스처 필터링을 위한 패치 크기를 3×3 패치 형태로 설명하나, 이에 한정되지는 않으며, 가로 k개의 픽셀과 세로 k개의 픽셀을 가진 k×k 패치를 이용할 수 있다. 예컨대, 가로 5개의 픽셀과 세로 5개의 픽셀을 가진 5×5 패치(5)를 이용할 수 있다. 또한, 구현에 따라서, 가로 n개의 픽셀과 세로 m개의 픽셀을 가진 n×m 패치를 이용할 수 있다. 여기서, n과 m은 서로 다른 자연수이다.
또한, 본 실시예에서는 패치 형태를 기준 픽셀을 패치의 중심부에 위치하는 형태로 설명하나, 이에 한정되지는 않으며, 기준 픽셀이 패치의 일측 가장자리나 중심부와 가장자리 사이에 위치하는 패치 형태를 가질 수 있다(도 2(d)의 패치(P5s) 참조).
본 실시예로서 3×3 패치(3)를 이용하여 텍스처 필터링하는 과정을 예시하면 다음과 같다.
먼저, 텍스처 필터링 방법을 수행하는 장치(이하, 간략히 텍스처 필터링 장치라 함)는 입력 영상(2)의 각 픽셀의 패치 기반으로 입력 영상(2)에 대한 필터링을 수행한다.
즉, 텍스처 필터링 장치는 도 2(a)에 도시한 바와 같이 제1 픽셀(c1)에 대한 제1 패치(P1)에서 구조 에지(E)를 판별한 후 구조 에지(E)가 없으면 현재의 패치 형태에서 필터링을 수행하고, 다음 픽셀로 이동할 수 있다.
그리고 제1 패치(P1)의 경우와 유사하게, 텍스처 필터링 장치는 도 2(b)에 도시한 바와 같이 제2 픽셀(c2)에 대한 제2 패치(P2)에서 구조 에지를 판별한 후 구조 에지가 포함되어 있지 않으면 현재의 패치 형태에서 필터링을 수행하고, 미리 정해진 순서의 다음 픽셀로 이동할 수 있다.
다음, 텍스처 필터링 장치는 도 2(c)에 도시한 바와 같이 입력 영상(2)의 특정 픽셀 예컨대 제5 픽셀(c5)에 대한 제5 패치(P5)에서 구조 에지를 판별하고, 구조 에지가 포함된 것으로 판별된 경우, 현재 기본 패치 형태를 가진 제5 패치(P5)를 주변 패치 형태로 쉬프트할 수 있다.
즉, 텍스처 필터링 장치는 도 2(d)에 도시한 바와 같이 제5 픽셀(c5)이 제5 패치(P5)의 중심부에 위치한 제5 픽셀의 기본 패치인 제5 패치(P5)를 기본 패치의 주변 패치들 중 하나인 쉬프트된 제5 패치(P5s)로 변환할 수 있다. 쉬프트된 제5 패치(P5s)에서 제5 픽셀(c5)은 패치의 일측 가장자리에 위치하고 있다.
전술한 패치 쉬프트에 있어서, 텍스처 필터링 장치는 각 픽셀의 패치(기본 패치)에서 구조 에지를 판별하고, 구조 에지가 검출된 픽셀의 경우에, 해당 픽셀의 기본 패치와 기본 패치에서 쉬프트 가능한 모든 주변 패치의 각 픽셀 값의 계조 범위나 수정된 상대 전변동 값을 구한 후, 구한 값을 상호 비교하여 가장 작은 값을 갖는 패치를 대표 패치로 선택할 수 있다.
전술한 구성에 의하면, 패치 쉬프트를 이용하여 각 픽셀의 대표 패치를 선별하여 선택함으로써 구조 에지에 대한 영항 없이 영상의 텍스처를 효과적으로 제거할 수 있다.
한편, 전술한 실시예에서는 각 패치에서 필터링을 수행하는 것으로 설명하였으나, 본 발명은 그러한 구성으로 한정되지 않으며, 1개 이상의 행/열 단위나 전체 영상의 모든 픽셀에 대한 각각의 패치의 픽셀 값을 저장한 후 일괄적으로 필터링을 수행할 수 있다. 이것은 장치의 데이터 처리 속도나 메모리 용량이나 응용 프로그램의 표시화면의 종류 등에 따라 선택적으로 적용될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 텍스처 필터링 방법의 순서도이다.
도 3을 참조하면, 본 실시예에 따른 텍스처 필터링 방법은, 입력 영상 수신 단계(S31), 패치별 구조 에지 포함 여부 판별 단계(S32), 대표 패치 선택 단계(S33), 가이드 영상 생성 단계(S34) 및 공동 양방향 필터링 단계(S35)를 포함할 수 있다.
각 단계들을 좀 더 구체적으로 설명하면, 먼저 영상 수신 단계(S31)에서, 텍스처 필터링 장치는 다양한 방법으로 획득된 이차원 영상을 입력받을 수 있다. 텍스처 필터링 장치는 영상 수신 단계(S31)에서 카메라 촬영 또는 디스크에 저장된 이미지를 읽어들여 이차원 영상을 입력받을 수 있다. 이차원 영상은 평면 영상으로 x축과 y축의 직교 좌표축을 가질 수 있다. 이차원 영상은 구조 에지를 포함하는 입력 영상으로 모자이크 영상일 수 있다.
다음, 패치별 구조 에지 포함 여부 판별 단계(이하, 간략히 구조 에지 판별 단계라 함)(S32)에서, 텍스처 필터링 장치는 입력 영상 수신 단계(S31) 혹은 공동 양방향 필터링 단계(S35)로부터 수신된 입력 영상의 각 픽셀마다 해당 픽셀을 포함하는 영상 패치가 구조 에지를 포함하고 있는지 여부를 판별한다. 즉, 구조 에지 판별 단계(S32)에서는 입력 영상을 구성하는 픽셀들 중 일부를 포함하는 영상 패치가 구조 에지를 포함하고 있는지 여부를 판별한다.
구조 에지 판별 단계(S32)에서 임의의 패치가 구조 에지를 포함하고 있는지의 여부는 패치 내부의 픽셀 값들의 계조 범위(tonal range) 혹은 수정된 상대 전변동(modified relative total variation)을 측정하여 계산할 수 있다.
다음, 텍스처 필터링 장치는 대표 패치 선택 단계(S33)에서 구조 에지를 포함하는 특정 픽셀의 패치에 대하여 패치 쉬프트를 수행하여 패치 쉬프트된 다수의 패치들 중 각 패치의 픽셀 값을 토대로 얻은 계조 범위나 수정된 상대 전변동 값이 가장 작은 패치를 대표 패치로 선택할 수 있다. 계조 범위나 수정된 상대 전변동 값이 가장 작은 패치들이 복수개 존재할 때, 텍스처 필터링 장치는 그 중에 포함된 기본 패치를 선택하거나, 기본 패치가 없는 경우 임의의 패치를 선택할 수 있다.
다음, 가이드 영상 생성 단계(S34)에서는 먼저 입력 영상 수신 단계(S31) 혹은 공동 양방향 필터링 단계(S35)로부터 수신된 영상에 영상 평탄화(Image smoothing)를 수행하여 평탄화된 영상을 획득할 수 있다. 그런 다음, 텍스처 필터링 장치 또는 영상 필터링 장치는 평탄화된 영상의 각 픽셀마다 대표 패치 선택 단계(S33)에서 선택된 대표 패치의 평탄화된 픽셀 값을 대입하여 초기 가이드 영상을 생성할 수 있다. 그리고 텍스처 필터링 장치 또는 영상 필터링 장치는 패치 쉬프트에 의해 선별된 대표 패치의 픽셀 값이 대입된 초기 가이드 영상과 입력 영상을 혼합하여 가이드 영상(제2 가이드 영상)을 획득할 수 있다. 이때, 입력 영상은 평탄화된 입력 영상이거나 평탄화되지 않은 입력 영상일 수 있다.
초기 가이드 영상은 평탄화된 영상
Figure PCTKR2016000332-appb-I000014
의 각 픽셀에 대해 영상의 각 패치에서 선택된 대표 패치의 평탄화된 픽셀 값을 대입하여 생성될 수 있다.
또한, 가이드 영상
Figure PCTKR2016000332-appb-I000015
의 생성 과정은 평탄화된 영상의 픽셀 값
Figure PCTKR2016000332-appb-I000016
및 초기 가이드 영상의 픽셀 값
Figure PCTKR2016000332-appb-I000017
, 그리고 혼합 정도
Figure PCTKR2016000332-appb-I000018
를 포함하여 [수학식 3]과 같이 정의될 수 있다.
Figure PCTKR2016000332-appb-M000003
여기서 혼합 정도
Figure PCTKR2016000332-appb-I000019
는 패치별 구조 에지 판별 단계(S32)에서 결정된 상대 전변동 값
Figure PCTKR2016000332-appb-I000020
과 대표 패치 선택 단계(S33)에서 선택된 대표 패치의 전변동 값
Figure PCTKR2016000332-appb-I000021
을 포함하여 [수학식 4]와 같이 정의될 수 있다.
Figure PCTKR2016000332-appb-M000004
[수학식 4]에서 혼합 정도
Figure PCTKR2016000332-appb-I000022
는 수정된 상대 전변동 값에 대응할 수 있다.
또한, 본 실시예에서 [수학식 4]에서의 각 패치의 수정된 상대 전변동 값은 [수학식 1]의 계조 범위로 대체될 수 있다.
다음, 텍스처 필터링 장치는 공동 양방향 필터링 단계(S35)에서 가이드 영상 생성 단계(S34)에서 생성된 가이드 영상을 이용하여 공동 양방향 필터를 적용함으로써 결과 영상을 획득할 수 있다. 공동 양방향 필터링 단계(S35)에서, 텍스처 필터링 장치는 가이드 영상과 입력 영상을 이용하여 공동 양방향 필터링을 수행하여 결과 영상을 획득할 수 있다.
공동 양방향 필터링를 위한 필터는 Eisemann과 Durand의 “Flash photography enhancement via intrinsic relighting”(Elmar Eisemann and Fredo Durand, ACM Transactions on Graphics, 23, 3, 2004) 방법을 이용하여 수행될 수 있으나, 이에 한정되지는 않는다.
본 실시예에서 공동 양방향 필터링의 입력은 필터링을 적용할 입력 영상과 입력 영상에 패치 쉬프트를 적용한 가이드 영상 두 가지이다. 기존의 입력 영상으로부터 양방향 가중치를 계산하는 양방향 필터링과 달리, 본 실시예의 공동 양방향 필터링에서는 패치 시트프가 적용된 가이드 영상으로부터 양방향 가중치를 계산하고 계산된 가중치를 입력 영상의 필터링에 사용하여 최종 결과 영상을 출력할 수 있다.
또한, 전술한 텍스처 필터링 방법은 구현에 따라서 공동 양방향 필터링의 결과 영상을 입력 영상으로 하여 상기의 단계들(S32 내지 S35)을 반복수행하여 원하는 결과 영상을 획득할 수 있다(S36, S37). 상기 단계들(S32 내지 S35)의 반복 수행은 미리 설정된 횟수(j)보다 작은 반복 횟수(i) 동안 혹은 미리 설정된 횟수를 대체하는 사용자 설정이나 사용자 입력 등에 따라 수행될 수 있다.
본 실시예에 의하면, 영상 필터링 장치 혹은 이에 이용가능한 텍스터 필터링 장치는 패치 단위로 수행되는 영상 필터링 과정에서 구조 에지(structure edge)를 보존하기 위하여 각 픽셀을 대표하는 패치가 구조 에지를 포함하지 않도록 패치를 선택하는 패치 쉬프트(patch shift)를 수행함으로써 텍스처 필터링 후 텍스처가 효과적으로 제거된 결과 영상을 제공할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 텍스처 필터링 장치의 개략적인 블록도이다.
도 4를 참조하면, 본 실시예에 따른 텍스처 필터링 장치(10)는 전술한 패치 시트프를 이용한 텍스처 필터링 방법을 수행하는 장치로서, 프로세서(11) 및 메모리 시스템(12)을 포함할 수 있다. 또한, 텍스처 필터링 장치(10)는 구현에 따라서 네트워크 인터페이스(13)를 포함할 수 있고, 또한 디스플레이 장치(14)(이하, 간략히 디스플레이라 함)와 인터페이스(15)를 더 포함할 수 있다.
프로세서(11)는 영상 필터링을 수행할 수 있는 단말이나 컴퓨터 장치에 탑재되어 입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하고, 패치들 각각의 구조 에지 정보를 토대로 각 픽셀의 패치에 대해 패치 쉬프트를 수행하여 각 픽셀의 대표 패치를 선택하도록 동작할 수 있다. 이때, 프로세서(11)는 각각의 패치의 픽셀 값을 토대로 하는 계조 범위나 수정된 상대 전변동에 기초하여 각 픽셀의 대표 패치를 선택할 수 있다.
또한, 프로세서(11)는 가이드 영상을 생성하고, 생성된 가이드 영상과 입력 영상을 공동 양방향 필터링할 수 있다. 여기서, 가이드 영상의 생성 과정에서, 프로세서(11)는 입력 영상을 평탄화하고, 평탄화된 입력 영상과 입력 영상의 각 픽셀의 대표 패치 정보를 토대로 초기 가이드 영상(제1 가이드 영상)을 생성하고, 제1 가이드 영상과 입력 영상을 이용하여 제2 가이드 영상을 생성할 수 있다.
또한, 프로세서(11)는 공동 양방향 필터링의 결과 영상을 새로운 입력 영상으로 하여 전술한 텍스처 필터링 과정을 반복 수행하도록 동작할 수 있다.
전술한 프로세서(11)는 메모리 시스템(12)에 연결되어 메모리 시스템(12)에 저장된 프로그램을 수행할 수 있다. 프로그램은 앞서 설명한 본 실시예의 패치 쉬프트를 이용한 텍스처 필터링 방법이나 이를 포함하는 영상 필터링 방법을 수행하기 위한 것일 수 있다.
메모리 시스템(12)은 RAM(Random Access Memory)과 ROM(Read Only Memory) 같은 저장 매체 형태의 메인 메모리와, 플로피 디스크, 하드 디스크, 테이프, CD-ROM, 플래시 메모리 등의 장기(long-term) 저장 매체 형태의 보조 메모리를 포함할 수 있다.
네트워크 인터페이스(13)는 네트워크에 연결되어 네트워크상의 다른 통신 장치와 데이터 통신을 수행할 수 있다. 네트워크 인터페이스(13)를 이용하면, 본 실시예의 패치 쉬프트를 이용한 텍스처 필터링 방법을 수행하는 장치는 텍스처 필터링 방법의 단계들을 포함하는 데이터나 신호를 다운로드 하거나 실시간 수신하여 텍스처 필터링 동작을 수행할 수 있다. 전술한 네트워크 인터페이스(13)는 무선 네트워크, 유선 네트워크, 위성망, 전력선통신 등에서 선택되는 1종 이상의 단일 혹은 조합 네트워크에서 데이터 통신을 수행하기 위한 1개 이상의 통신 프로토콜을 지원하도록 구현될 수 있다.
디스플레이(14)는 프로세서(11)에 연결되어 프로세서(11)의 텍스처 필터링 과정이나 결과 영상을 화면에 표시하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 지칭한다. 디스플레이(14)는 프로세서(11)에 직접 연결될 수 있으나, 이에 한정되지 않고, 네트워크 인터페이스(13)를 통해 원격지에 연결될 수 있다. 디스플레이(14)에는 LCD(Liquid crystal display) 장치, OLED(Organic light emitting diode) 표시장치, PDP(Plasma display panel) 장치, 모뎀이 탑재된 브라운관 TV 등이 사용될 수 있다.
인터페이스(15)는 프로세서(11)에 연결되어 텍스처 필터링 장치(10)와 외부(외부의 사용자 포함) 사이의 의사소통을 위한 수단이나 이러한 수단에 상응하는 기능을 수행하는 장치를 포함할 수 있다. 인터페이스(15)는 입력 장치로서 키보드, 마우스, 터치스크린, 터치패널, 마이크 등에서 선택되는 적어도 하나 이상을 포함할 수 있고, 출력 장치로서 스피커, 조명 수단, 표시장치 등에서 선택되는 적어도 하나 이상을 포함할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 텍스처 필터링 장치의 블록도이다.
도 5를 참조하면, 본 실시예에 따른 텍스처 필터링 장치(30)는 판별부(32) 및 선택부(33)를 포함하며, 구현에 따라서 생성부(34)와 공동 양방향 필터링부(35)를 더 포함할 수 있고, 또한 다른 구현에 따라서 피드백부(37)를 더 포함할 수 있다. 여기서, 생성부(34)는 평탄화부(341), 제1 생성부(342) 및 제2 생성부(343)를 포함할 수 있다.
전술한 텍스처 필터링 방법(도 1 또는 도 3 참조)을 토대로 본 실시예의 텍스처 필터링 장치의 구성요소를 간략히 설명하면, 판별부(32)는 구조 에지 판별 단계를 수행하고, 선택부(33)는 대표 패치 선택 단계를 수행하고, 생성부(34)는 가이드 영상(제2 가이드 영상) 생성 단계를 수행하고, 공동 양방향 필터링부(35)는 공동 양방향 필터링 단계를 수행하고, 피드백부(37)는 반복 단계를 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다.
좀더 구체적으로 각 구성요소를 설명하면, 판별부(32)는 입력 영상을 구성하는 패치 내부의 픽셀 값에 대한 계조 범위를 측정할 수 있다. 패치는 입력 영상의 조각이다. 계조 범위를 측정함과 함께 판별부(32)는 패치 내부의 픽셀 값에 대한 수정된 상대 전변동을 측정할 수 있다.
또한, 판별부(32)는 측정된 계조 범위와 수정된 상대 전변동에 기초하여 각 패치별 구조 에지 포함 여부를 판별할 수 있다. 즉, 판별부(32)는, 입력 영상의 각 패치별 구조 에지 포함 여부에 대한 판별을 위하여, 입력 영상에서 패치 내부의 픽셀 값을 측정하여 각 패치별 구조 에지 포함 여부를 판별하거나, 입력 영상으로부터 패치 내부의 픽셀 값의 계조 범위 또는 수정된 상대 전변동을 측정하여 각 패치별 구조 에지 포함 여부를 판별할 수 있다. 계조 범위와 수정된 상대 전변동을 측정하는 방법은 [수학식 1]과 [수학식 2]를 참조한 설명으로 갈음한다.
선택부(33)는 판별부(32)의 각 패치별 구조 에지 포함 여부를 참조하여 대표 패치를 선택한다. 일례로, 선택부(33)는 판별부(32)에서 측정된 계조 범위와 수정된 상대 전변동이 가장 적은 패치를 대표 패치로 선택할 수 있다.
또한, 선택부(33)는, 패치별 구조 에지 포함 여부를 이용하여 대표 패치를 선택할 때, 특정 픽셀(기준 픽셀 또는 제1 픽셀)에 대한 패치의 다수의 패치별(기본 패치와 주변 패치 포함) 구조 에지 수를 계산하고 구조 에지 수가 가장 적은 패치를 대표 패치로 선택할 수 있다. 여기서, 다수의 패치는 기준 픽셀이 패치의 미리 정해진 위치에 위치하는 기본 패치와 상기 기준 픽셀을 포함하고 기본 패치와 동일한 크기를 가지지만 기본 패치에 포함되지 않는 다른 픽셀을 포함하도록 그 위치가 이동된(shifted) 주변 패치를 포함한다.
생성부(34)는 평탄화된 입력 영상 및 대표 패치를 이용하여 가이드 영상을 생성한다. 평탄화된 입력 영상은 평탄화부(341)를 통해 평탄화(smoothing)된 입력 영상을 지칭한다. 예를 들면, 생성부(34)는 평탄화된 입력 영상과 대표 패치 및 생성된 초기 가이드 영상(제1 가이드 영상)을 토대로 가이드 영상(제2 가이드 영상)을 생성할 수 있다.
생성부(34)는 입력 영상의 초기 필터링을 위해 평탄화부(341)를 포함할 수 있다. 평탄화부(341)는 입력 영상 혹은 공동 양방향 필터링부(35)로부터 획득한 결과 영상에 영상 평탄화(Image smoothing)를 수행하여 평탄화된 영상을 출력하는 수단이나 구성부를 지칭한다.
또한, 생성부(34)는 평탄화된 입력 영상의 각 픽셀마다 선택부(200)에서 선택된 대표 패치의 평탄화된 픽셀 값을 대입하여 초기 가이드 영상을 생성하는 제1 생성부(342)를 포함할 수 있다. 또한, 생성부(34)는 대표 패치의 픽셀 값이 대입된 초기 가이드 영상을 입력 영상과 혼합하여 가이드 영상을 생성하는 제2 생성부(343)를 포함할 수 있다.
전술한 생성부(34)에서 생성되는 가이드 영상은 [수학식 3]에 의해 정의될 수 있다.
공동 양방향 필터링부(35)는 가이드 영상과 입력 영상을 이용하여 공동 양방향 필터링을 수행하고 결과 영상을 획득할 수 있다. 입력 영상은 평탄화되지 않은 입력 영상이거나 평탄화된 입력 영상일 수 있다.
본 실시예에서 공동 양방향 필터링부(35)는 필터링을 적용할 입력 영상과 입력 영상에 패치 쉬프트를 적용한 가이드 영상을 두 입력으로 가진다. 기존의 입력 영상(NO FLASH 영상 및 FLASH 영상 포함)으로부터 양방향 가중치를 계산하는 양방향 필터링과 달리, 본 실시예의 공동 양방향 필터링에서는 패치 시트프가 적용된 가이드 영상과 입력 영상으로부터 양방향 가중치를 계산하고 계산된 가중치를 입력 영상의 필터링에 사용하여 실질적으로 구조 에지만을 가진 최종 결과 영상을 출력할 수 있다.
피드백부(37)는 공동 양방향 필터링부(35)의 결과 영상을 입력 영상으로 하여 텍스처 필터링을 반복 수행하기 위한 수단이나 구성부를 지칭한다. 피드백부(37)는 미리 설정된 기준 횟수(j)보다 반복 횟수(i)가 작을 때 텍스처 필터링을 내부 순환 형태로 반복 수행하기 위하여 비교부(도 3의 S36 참조)와 피드백 경로(도 3의 S37 참조)를 포함할 수 있다. 여기서, 기준 횟수(j)는 사용자 설정 저장값이나 실시간 사용자 입력값에 대응할 수 있다.
본 실시예에 의하면, 패치 쉬프트를 이용하여 선택된 대표 패치가 적용된 가이드 영상과 입력 영상을 공동 양방향 필터링하고 공동 양방향 필터링의 결과 영상을 새로운 입력 영상으로 하는 반복적 텍스처 필터링을 통하여 2차원 입력 영상에서 텍스처를 정밀하게 제거할 수 있고, 그에 의해 실질적으로 구조 에지만을 가진 최종 결과 영상을 출력할 수 있다.
본 실시예에 있어서, 전술한 구성요소들(32 내지 35 포함)은 휴대 단말이나 컴퓨터 장치의 프로세서에 탑재되는 모듈이나 기능부일 수 있으나, 이에 한정되지 않는다. 전술한 구성요소들은 다양한 컴퓨터 장치에서 수행될 수 있는 프로그램을 저장하는 컴퓨터 판독 가능 매체(기록매체) 형태로 구현될 수 있다. 그 경우, 컴퓨터 판독 가능 매체는 네트워크를 통해 연결되는 복수의 컴퓨터 장치나 클라우드 시스템을 포함하며, 복수의 컴퓨터 장치나 클라우드 시스템 중 적어도 하나 이상은 메모리 시스템에 본 실시예의 패치 쉬프트를 이용한 텍스처 필터링 방법을 수행하는 프로그램을 저장할 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.
또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 발명의 분산 추정 방법을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 영상의 텍스처를 제거하는 패치 기반의 텍스처 필터링 방법에 있어서,
    입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 단계; 및
    상기 패치들 각각의 구조 에지 정보를 토대로 상기 각 픽셀의 패치에 대하여 패치 쉬프트를 수행하여 상기 각 픽셀의 대표 패치를 선택하는 단계;
    를 포함하는 텍스처 필터링 방법.
  2. 청구항 1에 있어서,
    상기 구조 에지를 판별하는 단계는,
    상기 입력 영상으로부터 상기 각 픽셀의 패치 내 픽셀 값들의 계조 범위 혹은 수정된 상대 전변동을 측정한 값을 토대로 수행되는 텍스처 필터링 방법.
  3. 청구항 1에 있어서,
    상기 대표 패치를 선택하는 단계는,
    상기 계조 범위가 가장 작은 주변 패치나 기본 패치를 대표 패치로 선택하는 단계를 포함하며,
    여기서, 상기 주변 패치는,
    상기 패치가 그 중심부에 상기 제1 픽셀을 배치한 기본 패치일 때 상기 기본 패치를 쉬프트하여 상기 제1 픽셀이 상기 기본 패치의 상기 중심부 주변에 배치되는 패치들 중 어느 하나를 포함하거나,
    상기 제1 픽셀이 상기 패치의 특정한 제1 위치에 위치하는 기본 패치일 때 상기 기본 패치를 쉬프트하여 상기 제1 픽셀이 상기 제1 위치와 다른 제2 위치에 위치하는 패치들 중 어느 하나를 포함하는 텍스처 필터링 방법.
  4. 청구항 3에 있어서,
    상기 대표 패치를 선택하는 단계는,
    상기 계조 범위 혹은 수정된 상대 전변동이 가장 작은 패치가 상기 기본 패치를 포함하여 복수 개가 존재할 때, 상기 기본 패치를 대표 패치로 선택하는 단계를 포함하는 텍스처 필터링 방법.
  5. 청구항 1에 있어서,
    상기 대표 패치를 선택하는 단계 이후에,
    상기 대표 패치의 정보와 상기 입력 영상을 이용하여 제1 가이드 영상을 생성하는 단계를 더 포함하는 텍스처 필터링 방법.
  6. 청구항 5에 있어서,
    상기 제1 가이드 영상을 생성하는 단계 이전에,
    상기 입력 영상을 평탄화하는 단계를 더 포함하는 텍스처 필터링 방법.
  7. 청구항 5에 있어서,
    상기 제1 가이드 영상을 생성하는 단계 이후에,
    상기 제1 가이드 영상과 평탄화된 입력 영상을 이용하여 제2 가이드 영상을 생성하고, 상기 제2 가이드 영상과 입력 영상을 이용하여 공동 양방향 필터링을 수행하는 단계를 더 포함하는 텍스처 필터링 방법.
  8. 청구항 7에 있어서,
    상기 공동 양방향 필터링을 수행하여 얻은 결과 영상을 상기 입력 영상으로 하여 텍스처 필터링을 반복 수행하기 위한 반복 단계를 더 포함하는 텍스처 필터링 방법.
  9. 청구항 7에 있어서,
    상기 제2 가이드 영상의 생성은 하기의 [수학식 3]으로 정의되는 텍스처 필터링 방법:
    [수학식 3]
    Figure PCTKR2016000332-appb-I000023
    여기서,
    Figure PCTKR2016000332-appb-I000024
    는 가이드 영상,
    Figure PCTKR2016000332-appb-I000025
    는 평탄화된 영상의 픽셀 값,
    Figure PCTKR2016000332-appb-I000026
    는 상기 제1 가이드 영상 또는 초기 가이드 영상의 픽셀 값, 그리고
    Figure PCTKR2016000332-appb-I000027
    는 혼합 정도를 각각 나타냄.
  10. 청구항 1 내지 9 중 어느 하나의 텍스처 필터링 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
  11. 영상의 텍스처를 제거하는 패치 기반의 텍스처 필터링 장치로서,
    입력 영상의 각 픽셀에 대한 패치들에서 구조 에지를 판별하는 판별부; 및
    상기 패치들 각각의 구조 에지 정보를 토대로 각 픽셀의 패치에 대해 패치 쉬프트를 수행하여 상기 각 픽셀의 대표 패치를 선택하는 선택부;
    를 포함하는 텍스처 필터링 장치.
  12. 청구항 11에 있어서,
    상기 판별부는 상기 입력 영상으로부터의 상기 각 픽셀의 패치 내 픽셀 값들의 계조 범위 혹은 수정된 상대 전변동을 측정한 값을 토대로 상기 구조 에지의 포함 여부를 판별하는 텍스처 필터링 장치.
  13. 청구항 11에 있어서,
    상기 선택부는 상기 계조 범위 혹은 수정된 상대 전변동이 가장 작은 주변 패치나 기본 패치를 대표 패치로 선택하며, 여기서 상기 주변 패치는,
    상기 제1 픽셀을 패치의 중심부에 배치한 기본 패치에서, 상기 기본 패치를 쉬프트하여 상기 제1 픽셀이 상기 기본 패치의 상기 중심부 주변에 배치되는 패치들 중 어느 하나를 포함하거나,
    상기 제1 픽셀이 패치의 특정한 제1 위치에 위치하는 기본 패치에서, 상기 기본 패치를 쉬프트하여 상기 제1 픽셀이 상기 제1 위치와 다른 제2 위치에 위치하는 패치들 중 어느 하나를 포함하는 텍스처 필터링 장치.
  14. 청구항 13에 있어서,
    상기 선택부는, 상기 계조 범위 혹은 수정된 상대 전변동이 가장 작은 패치가 상기 기본 패치를 포함하여 복수 개가 존재할 때, 상기 기본 패치를 대표 패치로 선택하는 텍스처 필터링 장치.
  15. 청구항 11에 있어서,
    상기 대표 패치의 정보와 입력 영상을 이용하여 제1 가이드 영상을 생성하는 제1 생성부; 및
    상기 제1 가이드 영상과 입력 영상을 이용하여 제2 가이드 영상을 생성하는 제2 생성부를 더 포함하는 텍스처 필터링 장치.
  16. 청구항 15에 있어서,
    상기 제1 생성부의 상기 제1 가이드 영상의 생성 전에, 상기 입력 영상을 평탄화하는 평탄화부를 더 포함하는 텍스처 필터링 장치.
  17. 청구항 15에 있어서,
    상기 제2 가이드 영상과 입력 영상을 이용하여 공동 양방향 필터링을 수행하는 공동 양방향 필터링부를 더 포함하는 텍스처 필터링 장치.
  18. 청구항 17에 있어서,
    상기 공동 양방향 필터링부의 결과 영상을 새로운 입력 영상으로 하여 텍스처 필터링 과정을 반복 수행하기 위한 피드백부를 더 포함하는 텍스처 필터링 장치.
  19. 청구항 15에 있어서,
    상기 제2 생성부는 상기 제1 가이드 영상의 픽셀 값과 혼합 정도를 곱한 값과 상기 평탄화된 입력 영상의 픽셀 값과 상기 혼합 정도의 1의 보수를 곱한 값을 더하여 상기 제2 가이드 영상을 생성하는 텍스처 필터링 장치.
  20. 청구항 19에 있어서,
    상기 혼합 정도는 패치별 구조 에지 판별에 의해 결정된 상대 전변동 값과 대표 패치 선택에 의해 선택된 대표 패치의 전변동 값을 포함하는 텍스처 필터링 장치.
PCT/KR2016/000332 2015-01-14 2016-01-13 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치 Ceased WO2016114574A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/543,564 US10521918B2 (en) 2015-01-14 2016-01-13 Method and device for filtering texture, using patch shift

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0006964 2015-01-14
KR1020150006964A KR101635309B1 (ko) 2015-01-14 2015-01-14 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치

Publications (2)

Publication Number Publication Date
WO2016114574A2 true WO2016114574A2 (ko) 2016-07-21
WO2016114574A3 WO2016114574A3 (ko) 2016-09-09

Family

ID=56406543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000332 Ceased WO2016114574A2 (ko) 2015-01-14 2016-01-13 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치

Country Status (3)

Country Link
US (1) US10521918B2 (ko)
KR (1) KR101635309B1 (ko)
WO (1) WO2016114574A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891720B2 (en) * 2018-04-04 2021-01-12 AlgoMedica, Inc. Cross directional bilateral filter for CT radiation dose reduction
US11080898B2 (en) 2018-04-06 2021-08-03 AlgoMedica, Inc. Adaptive processing of medical images to reduce noise magnitude
CN109272539A (zh) * 2018-09-13 2019-01-25 云南大学 基于引导图全变分模型的图像纹理和结构的分解方法
US10909700B2 (en) * 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
WO2021081903A1 (zh) * 2019-10-31 2021-05-06 深圳先进技术研究院 图像的去噪方法、装置及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4224093B2 (ja) * 2006-09-25 2009-02-12 株式会社東芝 テクスチャフィルタリング装置、テクスチャマッピング装置、方法およびプログラム
KR101028628B1 (ko) * 2008-12-29 2011-04-11 포항공과대학교 산학협력단 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
KR101231212B1 (ko) * 2011-03-11 2013-02-07 이화여자대학교 산학협력단 영상에서의 잡음 제거 방법
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
CN102497489B (zh) * 2011-12-05 2015-11-18 优视科技有限公司 图像压缩方法、图像压缩装置和移动终端
US8977012B2 (en) * 2012-10-31 2015-03-10 Google Inc. Image denoising system and method
AU2012268846A1 (en) * 2012-12-21 2014-07-10 Canon Kabushiki Kaisha Optimal patch ranking for coordinate transform estimation of microscope images from sparse patch shift estimates
US9390478B2 (en) * 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter

Also Published As

Publication number Publication date
US20180033156A1 (en) 2018-02-01
US10521918B2 (en) 2019-12-31
WO2016114574A3 (ko) 2016-09-09
KR101635309B1 (ko) 2016-07-01

Similar Documents

Publication Publication Date Title
EP4044122B1 (en) Image processing method and apparatus, computer storage medium, and electronic device
CN114719966B (zh) 光源确定方法、装置、电子设备及存储介质
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2022149746A1 (en) Method and system for image retargeting
WO2020231016A1 (en) Image optimization method, apparatus, device and storage medium
WO2011087289A2 (en) Method and system for rendering three dimensional views of a scene
WO2022181998A1 (en) Self-regularizing inverse filter for image deblurring
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
CN115170440B (zh) 图像处理方法、相关装置及存储介质
CN118097157A (zh) 基于模糊聚类算法的图像分割方法及系统
WO2024012334A1 (zh) 虚拟对象显示方法、装置、设备及存储介质
CN113706400B (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2023149786A1 (en) Method and electronic device for synthesizing image training data and image processing using artificial intelligence
WO2017003240A1 (ko) 영상 변환 장치 및 그 영상 변환 방법
CN114693697A (zh) 图像处理方法、装置、设备及计算机可读存储介质
WO2020171304A1 (ko) 영상 복원 장치 및 방법
WO2022149716A1 (en) System and method for obtaining and applying a vignette filter and grain layer
WO2024147483A1 (en) Image-filtering interface
CN115131209A (zh) 一种基于dsp的实时视频拼接方法
CN116823700A (zh) 一种图像质量的确定方法和装置
WO2023239096A1 (en) Restoring images using deconvolution
WO2024154951A1 (ko) 전자 장치 및 이의 제어 방법
CN119693991B (zh) 基于光场相机的人脸识别方法及系统
CN116958279B (zh) 一种颜色分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16737538

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16737538

Country of ref document: EP

Kind code of ref document: A2