WO2010134675A1 - 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
WO2010134675A1
WO2010134675A1 PCT/KR2009/006711 KR2009006711W WO2010134675A1 WO 2010134675 A1 WO2010134675 A1 WO 2010134675A1 KR 2009006711 W KR2009006711 W KR 2009006711W WO 2010134675 A1 WO2010134675 A1 WO 2010134675A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
flow
adjacent
pixels
Prior art date
Application number
PCT/KR2009/006711
Other languages
English (en)
French (fr)
Inventor
이인권
윤종철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2010134675A1 publication Critical patent/WO2010134675A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the present invention relates to an apparatus for generating a non-realistic image, a method thereof, and a recording medium on which a program for implementing the method is recorded. More specifically, the present invention relates to an apparatus for generating a non-realistic image using non-photorealistic rendering (NPR), a method thereof, and a recording medium on which a program for implementing the method is recorded.
  • NPR non-photorealistic rendering
  • styling an image (2D image or 3D image) in the field of computer graphics or computer vision has been progressed as a method of describing the artistic creative methodology existing in reality based on photorealistic basis.
  • Representative examples of such styling techniques include stroke-based oil painting rendering techniques and line drawing techniques.
  • the oil painting rendering technique a stroke-type texture is newly applied by applying a stroke-like texture to a given input in order to render the image input due to the photorealistic.
  • the line drawing method arranges the stroke texture based on the bias energy in order to maintain the shape of the object shown in the image as much as possible.
  • bilateral filtering is typically used for abstraction of images.
  • the kernel shape of the filter is isotropic, the curved feature is removed from the image, and aliasing occurs in the abstracted image.
  • stroke-based styling methods which are not conventional filter-based, are very complicated in computation and it is impossible to abstract video in real time.
  • image styling has tended to focus on video styling, which requires a large amount of computation.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a non-real-time image generating apparatus for abstracting a video through filtering having an anisotropic kernel shape, a method thereof, and a recording medium on which a program for implementing the method is recorded. It is done.
  • Another object of the present invention is to provide an apparatus for generating a non-realistic image that abstracts a video based on a flow vector field, a method thereof, and a recording medium on which a program for implementing the method is recorded.
  • the reference to the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than a predetermined reference value
  • a flow field generating unit generating a flow vector from a pixel to the first adjacent pixel and generating a flow field consisting of a unidirectional flow of the generated flow vectors; And determining the color of the flow pixel using the color of the image pixels and the color of the flow pixel overlapping the flow pixel positioned on the generated flow field according to the one-way movement of the image pixels included in the image.
  • an image styling unit configured to generate an unrealized image of the image based on the determined color of the flow pixel.
  • the non-realistic image generating apparatus further includes a texture tone mapping unit configured to overlay a predetermined texture image on the generated non-realistic image. More preferably, the texture tone mapping unit repeats the one-way movement of the image pixels at least twice, and when performing the repetition, the texture tone mapping unit performs the at least one adjacent pixel of the adjacent pixels in the reference pixel. Considering a speed control parameter controlling the moving speed of the reference pixel according to the average value of the vector toward the pixel window, or a speed control parameter controlling the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels. Acquire a texture image.
  • the image styling unit comprises: a particle simulation unit for determining the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels overlap the flow pixel; And a non-real image generating unit generating the non-real image based on the determination when the colors of all the flow pixels positioned on the generated flow field are determined.
  • the flow field generator when the flow field generator generates the flow vector, the flow field generator may be configured to perform at least one second neighboring pixel in which the amount of color change is greater than the reference value in comparison with the reference pixel among the adjacent pixels in the image.
  • a deflection value vector extracting unit which extracts a deflection value vector from a reference pixel to the second adjacent pixel;
  • a flow vector generator for generating the flow vector which is a difference value between the extracted deflection value vectors.
  • the flow field generation unit includes a deflection value vector stabilizing unit for smoothing the extracted deflection value vectors; Or a flow vector stabilizer for smoothing the generated flow vectors to generate the flow field.
  • the flow field generating unit includes adjacent pixels adjacent to the reference pixel from the adjacent pixels adjacent to the reference pixel or at least one neighboring image frame adjacent to the image frame in the same image frame as the adjacent pixels. Use them.
  • the deflection vector stabilization unit is a magnitude weighting function that weights according to the magnitude difference between two adjacent deflection vector vectors when smoothing the extracted deflection vector, and between two adjacent deflection vector vectors. Consider a weighting function of at least one of a directional weighting function weighted according to each size, and a color weighting function weighted according to a color difference between two pixels each including two adjacent bias vector.
  • the particle simulation unit repeats the one-way movement of the image pixels at least twice, and when performing the repetition, the particle window at the reference pixel with respect to a pixel window including at least one adjacent pixel among the adjacent pixels.
  • a speed control parameter that controls the moving speed of the reference pixel according to the average value of the vector heading toward or a speed control parameter that controls the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels.
  • the flow vector generation unit comprises: a tangential vector calculator for calculating a tangential vector from two deflection value vectors having the same length and adjacent to each other; And an approximation calculator for generating the flow vector by calculating an approximation of the calculated tangential vector.
  • the flow field generator uses an adjacent pixel having the minimum amount of color change as the first adjacent pixel, and uses an adjacent pixel having the maximum amount of color change as the second adjacent pixel.
  • the present invention (a) the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than the predetermined reference value in the first pixel in the reference pixel Generating a flow vector directed to a pixel, the flow field comprising a one-way flow of the generated flow vectors; And (b) using the colors of the image pixels and the color of the flow pixels to overlap the flow pixels positioned on the generated flow field according to the one-way movement of the image pixels included in the image. And generating a non-realistic image of the image based on the determined color of the flow pixel.
  • the method for generating a non-realistic image further includes (c) overlaying a predetermined texture image on the generated non-realistic image as a step after the step (b).
  • the step (b) includes determining the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels are superimposed on the flow pixel. ; And (bb) generating the non-realistic image based on the determination when the colors of all the flow pixels positioned on the generated flow field are determined. More preferably, the step (ba) repeats the one-way movement of the image pixels at least twice, and at the reference pixel with respect to a pixel window including at least one adjacent pixel among the adjacent pixels during the repetition.
  • a speed control parameter for controlling the moving speed of the reference pixel according to the average value of the vector toward the pixel window or a speed control parameter for controlling the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels. .
  • the step (a) comprises: (aa) at least one second neighboring pixel in the reference pixel with respect to at least one second neighboring pixel whose color variation is greater than the reference value in comparison with the reference pixel among the adjacent pixels in the image; Extracting a bias vector directed to two adjacent pixels; (ab) generating the flow vector which is a difference value between the extracted deflection value vectors; And (ac) generating the flow field from the generated flow vectors. More preferably, the intermediate step of step (aa) and step (ab) includes smoothing the extracted deflection value vectors, or step (ac) smoothes the generated flow vectors to form the flow. Create a field.
  • the step (ac) is the reference pixel from the adjacent pixels adjacent to the reference pixel in the same image frame or at least one neighboring image frame neighboring the image frame when generating the flow field. Use adjacent pixels adjacent to.
  • the step (ac) is a size weighting function that weights the magnitude difference between two adjacent deflection value vectors when smoothing the generated flow vectors, and according to the magnitude of the angle between two adjacent deflection value vectors.
  • a weighting function of at least one of a weighting direction weighting function and a color weighting function weighting according to a color difference between two pixels each including two adjacent bias vector.
  • the step (aa) uses an adjacent pixel having the minimum amount of color change as the first adjacent pixel when extracting the deflection value vector, and uses an adjacent pixel having the maximum amount of color change as the second adjacent pixel. .
  • the curved feature of the object inside the video can be maintained as it is, and a video having more unrealistic features can be produced.
  • FIG. 1 is a block diagram schematically illustrating an internal configuration of an apparatus for generating a non-realistic image according to a preferred embodiment of the present invention.
  • FIG 2 is an exemplary view of a three-dimensional Sobel operator applied to the present invention.
  • FIG. 3 is a diagram illustrating one embodiment of spatially adjacent pixels and temporary adjacent pixels according to the present invention.
  • FIG. 4 is an exemplary diagram illustrating a method of calculating a flow vector from a deflection value vector according to the present invention.
  • 5 is an exemplary diagram illustrating the degree of abstraction of the unrealized image according to the speed of the particle.
  • FIG. 6 is an exemplary diagram showing the degree of abstraction according to the number of iterations of particle simulation.
  • FIG. 7 is an exemplary diagram illustrating a method of generating a texture tone map according to the present invention.
  • FIG. 8 is a diagram for comparing a conventional bilateral filtering result with a flow field based method according to the present invention.
  • FIG. 10 is a flowchart illustrating a method for generating a non-realistic image according to a preferred embodiment of the present invention.
  • the reference to the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than a predetermined reference value
  • a flow field generating unit generating a flow vector from a pixel to the first adjacent pixel and generating a flow field consisting of a unidirectional flow of the generated flow vectors; And determining the color of the flow pixel using the color of the image pixels and the color of the flow pixel overlapping the flow pixel positioned on the generated flow field according to the one-way movement of the image pixels included in the image.
  • an image styling unit configured to generate an unrealized image of the image based on the determined color of the flow pixel.
  • the present invention (a) the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than the predetermined reference value in the first pixel in the reference pixel Generating a flow vector directed to a pixel, the flow field comprising a one-way flow of the generated flow vectors; And (b) using the colors of the image pixels and the color of the flow pixels to overlap the flow pixels positioned on the generated flow field according to the one-way movement of the image pixels included in the image. And generating a non-realistic image of the image based on the determined color of the flow pixel.
  • the NPR image generating apparatus 100 includes an image input unit 110, a flow field generator 120, and an image styling unit 130.
  • the NPR image generating apparatus 100 is an apparatus for generating non-realistic images by using non-photorealistic rendering (NPR).
  • NPR non-photorealistic rendering
  • Non-realistic rendering is a digital technology that reproduces human emotional expression techniques. Unlike photorealistic rendering (PR), which pursues realism, it creates a human-like image.
  • Non-realistic rendering aims to effectively convey the meaning and feeling by expressing the main features of the image well in consideration of external information such as light source, position, and color.
  • Non-realistic renderings cover traditional drawing methods such as ink drawing, pen drawing, cartoons and watercolors, and new forms of artistic expression.
  • Non-realistic rendering is used for the production of various digital contents, especially in the production of drama title screens, games, and advertisements.
  • the image input unit 110 performs a function of inputting a video to the flow field generator 120.
  • X pixel coordinates
  • X (x, y, t) in this embodiment.
  • x x y represents a space concept
  • t represents a time concept.
  • the flow field generator 120 may be configured to perform at least one first neighboring pixel in which an amount of color change is smaller than a predetermined reference value in comparison with the reference pixel among adjacent pixels adjacent to the reference pixel in the image.
  • a flow vector directed to a pixel is generated, and a flow field consisting of a unidirectional flow of the generated flow vectors is generated.
  • the flow field generating unit 120 includes a deflection value vector extracting unit 121, a deflection value vector stabilizing unit 122, a flow vector generating unit 123, a flow vector stabilizing unit 124, and the like in this embodiment. .
  • the deflection value vector extractor 121 extracts a gradient vector having the largest color variation of the pixel from each image frame.
  • the deflection value vector extractor 121 uses a sobel operator to extract the deflection value vector. Since the deflection value vector extracted in the present embodiment is three-dimensional, a three-dimensional Sobel operator having a cubic mask is used as the Sobel operator as shown in FIG. 2. The Sobel operator detects edge sizes in the horizontal and vertical directions of edge pixels of at least one adjacent frame adjacent to the reference frame.
  • the deflection value vector extractor 121 allocates Gaussian weights to the axes x, y, and t and calculates g x (X), g y (X), and g t (X).
  • g x (X), g y (X), and g t (X) mean the amount of color change along the x axis, the y axis, and the t axis, respectively.
  • the stabilization vector stabilizer 122 performs this stabilization function.
  • the deflection value vector stabilizer 122 stabilizes the deflection value vector, the coherence of the deflection value vector may be improved.
  • the stabilization method of the bias vector uses an ETF (Edge Tangent Flow) generation method, which is an iterative vector stabilization process, to correct the continuity of the bias vector. This will be described below.
  • ETF Erge Tangent Flow
  • adjacent pixels to reference pixels are used when stabilizing the three-dimensional deflection vector.
  • Adjacent pixels are divided into spatial neighborhood pixels and temporary neighborhood pixels as shown in FIG. 3.
  • the spatial neighboring pixel ⁇ (X) means at least one pixel adjacent to the reference pixel in the same image frame
  • the temporary neighboring pixel ⁇ (X) is at least one adjacent to the reference image frame to which the reference pixel belongs.
  • the range of the adjacent video frame is a (t-v) th frame to a (t + v) th frame when the reference video frame is a t th frame.
  • t denotes an index of the current image frame
  • v denotes a radius of kernels corresponding to the temporarily adjacent pixel.
  • nonlinear vector smoothing is performed in consideration of spatial neighboring pixels and temporary neighboring pixels with respect to a reference pixel. If this is expressed as an equation, it can be expressed as a nonlinear weighted sum function as follows.
  • Equation 1 g (X) is a three-dimensional deflection vector, u is a radius of ⁇ (X) kernels, v is a radius of ⁇ (X) kernels, and k is a constant that normalizes the vector.
  • three kinds of weight functions such as w m , w d , and w c are for assigning smoothing weights according to the color similarity for each pixel between the coordinate X of the reference pixel and the coordinate Y of the adjacent pixel adjacent thereto. .
  • w m is a magnitude weight function for maintaining the direction of feature points in an image.
  • w m is expressed as an equation, it is as follows.
  • Equation 2 Is the magnitude of the normalized bias vector. In other words, Denotes the magnitude of the bias vector having the [0, 1] domain.
  • w m is a function that monotonically increases depending on the magnitude difference between the deflection vector g (X) and g (Y) between two neighboring pixels. Therefore, w m has a high value when the magnitudes of the deflection value vectors g (X) and g (Y) between two neighboring pixels are relatively larger than the deflection value vectors g (X) of the reference pixel. In other words, w m can be regarded as a function for preserving the direction of the flow vector above the feature point of the image.
  • w d is a directional weight function, which gives a higher weight when the reference deflection vector is similar in direction to the adjacent deflection vector.
  • w d can be expressed by the following equation.
  • Equation 3 g ( ⁇ ) is a normalized bias vector.
  • w d has a larger value as the two deflection vector (g (X), g (Y)) considered closer to parallel (ie, the angle between the two deflection vector is closer to 0 ° or 180 °).
  • the closer the two deflection vector vectors considered ie, the closer the angle is between 90 °, the smaller the value.
  • w c is a color weight function, which is used to smooth the direction of the deflection vector of temporally adjacent pixels.
  • w c is represented by the following equation.
  • Equation 4 Means a normalized color value having a [0, 1] domain.
  • w c tends to increase as the color difference between the reference pixel and the adjacent pixel becomes smaller.
  • w c reduces the amount of variation of the bias vectors having similar color values, and improves temporal coherence between the bias vector fields in the image frame.
  • ⁇ (X, Y) is a sine function for making the cabinet when the included angle of the two deflection value vectors is not the cabinet, and can be expressed by the following equation.
  • Equations 1 to 5 refer to two neighboring bias vector (reference deflection vector and adjacent deflection vector). However, it is common to have three or more deflection value vectors extracted along feature points of an image. Therefore, the stabilization method of the deflection vector in the present embodiment can be summarized as follows.
  • the first deflection vector extracted by the Sobel filter is set as the reference deflection vector g 0 (X).
  • g 0 (X) is applied to equation (1) to stabilize g 0 (X).
  • set g 1 (X) as the new reference deflection vector according to g i (X) ⁇ g i + 1 (X).
  • g 1 (X) is applied to equation ( 1 ) to stabilize g 1 (X). The third and fourth steps are repeated until all extracted deflection value vectors have stabilized.
  • the flow vector generator 123 performs a function of generating a flow vector from the stabilized deflection value vector by applying PDE (Partial Difference Equation). Since the deflection value vector and the flow vector have opposite concepts, in general, the flow vector can be obtained by rotating the deflection value vector in the vertical direction in two dimensions. However, in three dimensions, the infinity of the vector is perpendicular to the tangent plane having the normalized deflection value vector. Therefore, in 3D, a flow vector is calculated from a deflection value vector according to the method mentioned later. The following description refers to FIG. 4.
  • PDE Partial Difference Equation
  • the deflection value vectors follow a direction in which the color change amount is maximum. So it should be perpendicular to most edges in the image.
  • the edge curve (by calculating the difference value between two neighboring deflection vector vectors as shown in FIG. A tangent of an edge curve may be obtained.
  • this function is performed by the tangential vector calculator.
  • at least two tangent vectors are obtained for two neighboring deflection vector vectors, and an approximation of the tangent vectors is calculated.
  • this function is performed by an approximation calculator.
  • the flow vector calculation method follows the following equation.
  • Equation 6 it can be seen that an approximation of the three-dimensional flow vector can be obtained by differentiating the stabilized three-dimensional deflection vector once more.
  • a specific flow vector is selected as the stabilization target flow vector f 0 (X).
  • f 0 (X) is applied to equation (1) to stabilize f 0 (X).
  • f 1 (X) is selected as a new target flow vector according to f i (X) ⁇ f i + 1 (X).
  • f 1 (X) is applied to equation ( 1 ) to stabilize f 1 (X). The third and fourth steps are repeated until all flow vectors are stabilized.
  • f t (X) <0 the flow of the flow vector field on the time axis t can be kept constant by reversing the direction of f (X).
  • the stabilization method of the flow vector described above can obtain an effect of improving both temporal coherence and spatial coherence of the flow vector field.
  • the image styling unit 130 generates a non-realistic image of the target image based on the stabilized flow vectors.
  • the image styling unit 130 uses the color of the image pixels and the color of the flow pixel to overlap the flow pixel positioned on the generated flow field according to the one-way movement of the image pixels included in the image.
  • a color of the flow pixel is determined, and a non-realistic image of the image is generated based on the determined color of the flow pixel.
  • the image styling unit 130 includes a particle simulation unit 131 and a non-realistic image generating unit 132.
  • the particle simulation unit 131 determines the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels overlap the flow pixel.
  • the non-realistic image generating unit 132 performs a function of generating the non-realistic image based on the determination when the colors of all the flow pixels positioned on the generated flow field are determined.
  • each pixel I (X) in the image is assumed to be a particle to generate a non-realistic image from the target image, and each particle is flowed along the advancing direction of the flow vector field.
  • the particle simulation unit 131 accumulates color values in the pixel grid in proportion to a range overlapping each cell of the pixel grid for each particle. At this time, the color value accumulation of the particles uses, for example, trilinear interpolation. Thereafter, the particle simulation unit 131 generates color patterns arranged according to the advancing direction of the flow vector field based on the color values accumulated in the pixel grid. The flow vector field then becomes flat in time, and the color pattern is consistent between image frames. In summary, the color value of the pixel is moved to the neighboring pixel according to the flow direction of the flow vector field, and the neighboring pixel repeats the process of adding its color value to the color value of the previous pixel, thereby advancing the flow vector field. Converging in a similar color by direction.
  • FIG. 5 is an exemplary diagram illustrating the degree of abstraction of an unrealized image according to the velocity of a particle v g .
  • (a) is an input image
  • the particle vector simulation based on the flow vector field of the particle simulation unit 131 is as follows.
  • Equation 7 v g and v c are speed adjustment parameters of each pixel particle, and ⁇ is a weight for adjusting a color accumulation ratio. ⁇ is determined by the volume of the overlapping region between I (X + v g v c f (X)) and I (X). That is, ⁇ is determined depending on how much the moved particles overlap with other pixels.
  • v g can be obtained based on the bias energy of the video frame for a simulation similar to the form of multi-resolution. Accordingly, v g can be obtained from the following equation.
  • W (X) is a window defining spatial neighborhoods neighboring the current pixel coordinate X.
  • the size of the window W is 8x8.
  • v c is another speed control parameter based on the color difference. This v c is necessary to prevent pixel particles from penetrating along the outline of the object included in the image due to the rapid movement of the particles. v c can be obtained from the following equation.
  • Equation 9 Denotes a color value normalized to a domain between [0, 1].
  • v c can achieve the effect of preventing the collapse of outline feature points. This is because the v c value decreases with the color difference between the increase of the original pixel and the shifted pixel according to the particle simulation.
  • the non-realistic image generator 132 When the color value is determined for each pixel according to the particle-based simulation described above, the non-realistic image generator 132 generates a non-realistic image of the target image therefrom.
  • Creating non-realistic images based on particle-based simulations can produce the following effects: First, the computational speed is very fast because kernel filters are used to perform simple calculations pixel by pixel rather than convolutional calculations. Second, since colors accumulate along the direction of flow field, it is possible to abstract them while maintaining the shape of the object in the image. Third, since it can be repeatedly applied like a bilateral filter, the degree of abstraction can be easily adjusted. 6 is an exemplary diagram showing the degree of abstraction according to the number of iterations of particle simulation. (A) to (c) in FIG. 6 are examples in which the number of repetitions is 5 iterations, 15 iterations, and 30 iterations, respectively.
  • the non-realistic image generated through the particle simulation unit 131 and the non-realistic image generator 132 is an abstraction video abstracted from the target image.
  • the texture tone mapping unit 133 further emphasizes the feeling of hand-drawing of the target image so that the non-realistic image is embodied as an emulsified video.
  • the texture tone mapping unit 133 applies a texture tone having time consistency to each pixel using an advection based texture mapping method. Accordingly, the texture tone mapping unit 133 may obtain an effect of reducing typical problems of video painting, such as a flipping effect or a shower door effect. In the present embodiment, if the size of each pixel is smaller than the stroke texture, the texture tone mapping unit 133 may further reduce the flipping effect or the shower door effect.
  • the texture tone mapping unit 133 uses a similar pixel-based approach to implement an emulsified video.
  • the texture tone mapping unit 133 generates a texture tone map as follows.
  • the initial tone map t 0 (X) is full of pseudo random numbers in the range [0, 1].
  • the initial tone map t 0 (X) is as shown in FIG.
  • particle simulation is performed on t 0 (X) using the flow field of the input video. This particle simulation uses equation (7).
  • the particle simulation is repeated many times for the styling process of the video. This process is the second step, and when the number of repetitions is i, the i th tone map t i (X) is as shown in FIG.
  • the obtained i-th tone map t i (X) is overlaid on the non-realistic image. Accordingly, the non-realistic image reflecting the texture tone map is as shown in FIG. 7C.
  • the non-realistic image reflecting the texture tone map may improve the directional characteristics of the video and generate brush-type smoothing aligned with the direction of the flow field. That is, it is possible to generate an emulsion video from the target image.
  • FIG. 8 is a diagram for comparing a conventional bilateral filtering result with a flow field based method according to the present embodiment.
  • (a) is an input image
  • (b) is an abstraction video obtained through bilateral filtering.
  • (c) is an abstraction video to which flow-based particle simulation is applied
  • (d) is an emulsion video to which a flow field-based tone map is applied.
  • the texture may be reflected in the form of an image for the oil-like feeling, and the abstraction of the texture may be generated by shaking the flow field using the normal vector obtained from the texture.
  • FIG. 9 is an experimental result diagram for confirming the result of video styling.
  • (a) is an input image
  • (b) is a result image of particle simulation when the number of repetitions is 20
  • (c) is a result image to which a tone map is applied.
  • Table 1 shows the time required when styling an image according to the conventional bilateral filtering method and the flow-based method according to the present embodiment.
  • Table 1 when the number of repetitions is 20, it can be seen that the flow-based method according to the present embodiment is faster than the conventional bilateral filtering method.
  • NPR image non-realistic image
  • the image input unit 110 inputs an image to the deflection value vector extractor 121 of the flow field generator 120 (S10). Subsequently, the deflection value vector extractor 121 extracts the deflection value vector having the largest color change amount of the pixel from each image frame (S20). Thereafter, the deflection value vector stabilization unit 122 stabilizes the extracted deflection value vector (S30).
  • the flow vector generator 123 calculates a flow vector from the stabilized deflection value vector (S40). Thereafter, the flow vector stabilizing unit 124 stabilizes the calculated flow vector (S50). Information about the stabilized flow vector is transmitted from the flow field generator 120 to the image styling unit 130.
  • the particle simulation unit 131 performs particle-based simulation on the input image (S60). As the particle-based simulation is repeated a predetermined number of times, the degree of abstraction of the input image is determined. Thereafter, the non-realistic image generator 132 generates a non-realistic image in which the input image is abstracted (S70).
  • the texture tone mapping unit 133 may apply the texture tone map to the abstracted non-realistic image (S65).
  • the non-realistic image generator 132 may generate an oil painting video in operation S70.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, a magnetic tape, etc.), an optical reading medium (for example, a CD-ROM, a DVD, an optical data storage device, etc.).
  • storage media such as carrier waves (eg, transmission over the Internet).
  • the present invention has better temporal linkage than existing video style results, and has a faster calculation speed, which can be added to a variety of image editing tools on the market.
  • the present invention may be applied to a movie industry, a broadcast industry, or the like. Therefore, the present invention can be expected to increase the share of the relevant field in the global market by being added as a core technology to domestic and overseas image editing tool makers.
  • the domestic special effects technology market which is still lacking, it is possible to expect not only domestic but also global technological preoccupation with technical preemption of image-based special effects instead of 3D special effects.

Abstract

본 발명은 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 기준 픽셀에서 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 영상 픽셀들의 색상과 플로우 픽셀의 색상을 이용하여 플로우 픽셀의 색상을 결정하며, 결정된 플로우 픽셀의 색상을 토대로 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다. 본 발명에 따르면, 비디오 내부 물체가 가지는 곡면적 특징을 그대로 유지할 수 있어 종래보다 더욱 비사실적 특징이 두드러지는 비디오를 생성할 수 있다. 또한, 실시간으로 비디오를 추상화시킬 수 있다.

Description

비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
본 발명은 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 컴퓨터 그래픽스 분야나 컴퓨터 비젼 분야에서의 이미지(2차원 이미지 또는 3차원 이미지)의 스타일화에 관한 문제는 현실 속에 존재하는 예술적 창작 방법론을 실사 기반으로 묘사하는 방법으로 진행되고 있다. 이러한 스타일화 기법의 대표적인 예로 스트로크(stroke)에 기반한 유화 렌더링 기법과 라인 드로잉 기법 등을 들 수 있다. 유화 렌더링 기법의 경우 실사로 입력된 이미지를 비실사적으로 표현하기 위해 스트로크 형태의 텍스처를 주어진 입력에 적용하여 새롭게 렌더링한다. 반면, 라인 드로잉 방법은 이미지에 나타난 물체의 형태를 최대한 유지하기 위해 편향치 에너지를 기반으로 하여 스트로크 텍스처를 배치시킨다.
그런데, 이러한 종래 방법들 중 이미지의 추상화를 위해선 양방향 필터링 (bilateral filtering)을 대표적으로 사용하였다. 기존의 기법의 경우 필터의 커널 형태가 등방형(isotropic)이기 때문에 이미지에서 곡선 형태의 특징점이 제거되며, 추상화된 이미지에 앨리어싱(aliasing)이 발생하는 문제점이 있다.
또한, 종래 필터 기반이 아닌 스트로크 기반의 스타일화 방법들은 계산량이 매우 복잡하여 실시간으로 비디오를 추상화시키는 것이 불가능하였다. 즉, 종래에는 많은 계산량을 요구하는 비디오 스타일화 보다는 이미지 스타일화가 중시되는 경향이 있어왔다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
또한, 본 발명은 플로우 벡터 필드에 기반하여 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다.
바람직하게는, 상기 비실사 영상 생성 장치는 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 텍스처 톤 매핑부를 더 포함한다. 더 바람직하게는, 상기 텍스처 톤 매핑부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하여 상기 질감 영상을 획득한다.
바람직하게는, 상기 영상 스타일화부는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 파티클 시뮬레이션부; 및 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 비실사 영상 생성부를 포함한다.
더 바람직하게는, 상기 플로우 필드 생성부는 상기 플로우 벡터를 생성하는 경우, 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출부; 및 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 플로우 벡터 생성부를 포함한다.
바람직하게는, 상기 플로우 필드 생성부는 상기 추출된 편향치 벡터들을 스무딩(smoothing)시키는 편향치 벡터 안정화부; 또는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화부를 더 포함한다. 더 바람직하게는, 상기 플로우 필드 생성부는 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 더욱더 바람직하게는, 상기 편향치 벡터 안정화부는 상기 추출된 편향치 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다.
바람직하게는, 상기 파티클 시뮬레이션부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.
바람직하게는, 상기 플로우 벡터 생성부는 동일한 길이를 가지며 서로 인접하는 두 편향치 벡터들로부터 접선 벡터를 계산하는 접선 벡터 계산부; 및 상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 근사값 계산부를 포함한다.
바람직하게는, 상기 플로우 필드 생성부는 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.
또한, 본 발명은 (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 단계; 및 (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 단계를 포함한다.
바람직하게는, 상기 비실사 영상 생성 방법은 상기 (b) 단계의 이후 단계로 (c) 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 단계를 더 포함한다.
바람직하게는, 상기 (b) 단계는 (ba) 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 단계; 및 (bb) 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (ba) 단계는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.
바람직하게는, 상기 (a) 단계는 (aa) 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 단계; (ab) 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 단계; 및 (ac) 상기 생성된 플로우 벡터들로부터 상기 플로우 필드를 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (aa) 단계와 상기 (ab) 단계의 중간 단계는 상기 추출된 편향치 벡터들을 스무딩시키는 단계를 포함하거나, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시킨다. 또한, 상기 (ac) 단계는 상기 플로우 필드를 생성시킬 때에 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 또한, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다. 또한, 상기 (aa) 단계는 상기 편향치 벡터를 추출할 때에 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.
본 발명에 따르면, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시킴으로써 비디오 내부 물체가 가지는 곡면적 특징을 그대로 유지할 수 있으며, 종래보다 더욱 비사실적 특징이 두드러지는 비디오를 생성할 수 있다.
또한, 본 발명에 따르면, 플로우 벡터 필드에 기반하여 비디오를 추상화시킴으로써 종래보다 연산량을 감축시킬 수 있고, 동일 연산의 반복으로 이루어지는 추상화 과정을 통해 GPU를 사용한 가속화 알고리즘 구현이 가능하며, 실시간으로 비디오를 추상화시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명에 적용되는 3차원 소벨 오퍼레이터의 일실시 예시도이다.
도 3은 본 발명에 적용되는 공간적 인접 픽셀과 일시적 인접 픽셀의 일실시 예시도이다.
도 4는 본 발명에 따라 편향치 벡터로부터 플로우 벡터를 계산하는 방법에 대한 일실시 예시도이다.
도 5는 파티클의 속도에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다.
도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다.
도 7은 본 발명에 따라 텍스처 톤 맵을 생성하는 방법에 대한 일실시 예시도이다.
도 8은 종래 바이레터럴 필터링 결과와 본 발명에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다.
도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다.
또한, 본 발명은 (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 단계; 및 (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 단계를 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 NPR(Non-Photorealistic Rendering) 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다. 도 1에 따르면, 본 실시예에 따른 NPR 영상 생성 장치(100)는 영상 입력부(110), 플로우 필드 생성부(120) 및 영상 스타일화부(130)를 포함한다.
NPR 영상 생성 장치(100)는 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치이다. 비사실적 렌더링이란 인간의 감성적 표현 기법을 디지털 기술로 재현하는 것으로서, 사실성을 추구하는 사실적 렌더링(PR; Photorealistic Rendering)과 달리 사람이 손으로 그린 듯한 느낌의 영상을 생성한다. 비사실적 렌더링은 광원, 위치, 색상 등 외부 정보를 고려하여 영상의 주요 특징을 잘 표현하여 그 의미와 느낌을 효과적으로 전달하는 것을 목적으로 한다. 비사실적 렌더링은 잉크화, 펜화, 만화, 수채화 등의 전통적인 드로잉 방식과 새로운 형태의 예술적 표현을 포괄적으로 다룬다. 비사실적 렌더링은 다양한 디지털 콘텐트 제작에 활용되고 있으며, 특히 드라마 타이틀 화면이나 게임, 광고 등의 제작에 활발하게 적용되고 있다.
영상 입력부(110)는 플로우 필드 생성부(120)로 영상(video)을 입력하는 기능을 수행한다. 영상은 다수개의 프레임으로 구성된 비디오로, 본 실시예에서 픽셀 좌표가 X=(x, y, t)인 I(X)로 정의된다. 여기서, x×y는 공간 개념(space)을 나타내며, t는 시간 개념(time)을 나타낸다.
플로우 필드 생성부(120)는 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 기능을 수행한다.
플로우 필드 생성부(120)는 본 실시예에서 편향치 벡터 추출부(121), 편향치 벡터 안정화부(122), 플로우 벡터 생성부(123), 플로우 벡터 안정화부(124) 등을 포함하여 이루어진다.
편향치 벡터 추출부(121)는 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터(gradient vector)를 추출하는 기능을 수행한다. 영상 프레임에서의 플로우 필드란 각 픽셀의 색상값을 기반으로 유사한 색상의 흐름을 따르는 방향을 의미한다. 따라서, 영상 프레임의 플로우 필드를 구성하기 위해서는 색상의 차이가 가장 큰 방향으로 구성되는 3차원 편향치 벡터(g(X)=▽I(X))를 먼저 계산해야 한다.
편향치 벡터 추출부(121)는 편향치 벡터를 추출하는 데에 소벨 오퍼레이터(sobel operator)를 이용한다. 본 실시예에서 추출되는 편향치 벡터가 3차원이므로, 소벨 오퍼레이터로 도 2에 도시된 바와 같이 큐빅 마스크(cubic mask)를 가지는 3차원 소벨 오퍼레이터를 이용한다. 소벨 오퍼레이터는 기준 프레임에 인접한 적어도 하나의 인접 프레임의 에지 화소들에 대한 가로 방향과 세로 방향의 에지 크기를 검출하는 기능을 수행한다.
편향치 벡터 추출부(121)는 각 축(x, y, t)에 대하여 가우시안 가중치(gaussian weight)를 할당하며 gx(X), gy(X), gt(X)를 계산한다. 여기서, gx(X), gy(X), gt(X)란 각각 x축, y축, t축에 따른 색상 변화량을 의미한다.
그런데, 소벨 오퍼레이터에 의해 추출된 편향치 벡터는 비디오 노이즈(video noise)나 균등 영역(homogeneous region)의 부재로 인해 불연속적인 경우가 많다. 그래서, 편향치 벡터를 안정화시키는 과정이 필요하다. 본 실시예에서는 이 안정화 기능을 편향치 벡터 안정화부(122)가 수행한다. 편향치 벡터 안정화부(122)가 편향치 벡터를 안정화시키면 편향치 벡터의 코히어런스(coherence)를 향상시킬 수 있다.
편향치 벡터의 안정화 방법은 편향치 벡터의 연속성을 보정하기 위해 반복적 형태의 벡터 안정화 과정인 ETF(Edge Tangent Flow) 생성 방법을 이용한다. 이하 이에 대해 설명한다.
본 실시예에서 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대한 인접 픽셀을 이용한다. 인접 픽셀은 도 3에 도시된 바와 같이 공간적 인접(spatial neighborhood) 픽셀과 일시적 인접(temporal neighborhood) 픽셀로 구분된다. 공간적 인접 픽셀(Ω(X))은 동일 영상 프레임에서 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미하며, 일시적 인접 픽셀(Ψ(X))은 기준 픽셀이 속하는 기준 영상 프레임에 인접하는 적어도 하나의 인접 영상 프레임으로부터 상기 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미한다. 여기서, 인접 영상 프레임의 범위는 기준 영상 프레임이 t번째 프레임일 경우 (t-v)번째 프레임 ~ (t+v)번째 프레임이다. t는 현재 영상 프레임의 인덱스를 의미하며, v는 일시적 인접 픽셀에 해당하는 커널들의 반경을 의미한다.
본 실시예에서는 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대해 공간적 인접 픽셀과 일시적 인접 픽셀을 고려하여 비선형 벡터 스무딩(smoothing)을 수행한다. 이를 수학식으로 표시하면 다음과 같이 비선형 가중치 합 함수로 나타낼 수 있다.
수학식 1
Figure PCTKR2009006711-appb-M000001
수학식 1에서, g(X)는 3차원 편향치 벡터, u는 Ω(X) 커널들의 반경, v는 Ψ(X) 커널들의 반경, k는 벡터를 정규화시키는 상수이다. 또한, wm, wd, wc 등 3종류의 가중치 함수들은 기준 픽셀의 좌표(X)와 그에 인접하는 인접 픽셀의 좌표(Y) 사이의 픽셀별 색상 유사도에 따라 스무딩 가중치를 할당하기 위한 것이다.
wm은 크기 가중치 함수(magnitude weight function)로, 영상에서의 특징점의 방향을 유지시키기 위한 것이다. wm을 수학식으로 나타내면 다음과 같다.
수학식 2
Figure PCTKR2009006711-appb-M000002
수학식 2에서,
Figure PCTKR2009006711-appb-I000001
는 정규화된 편향치 벡터의 크기를 의미한다. 즉,
Figure PCTKR2009006711-appb-I000002
는 [0, 1] 도메인을 가지는 편향치 벡터의 크기를 의미한다.
wm은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기 차에 따라 단조 증가하는 함수이다. 그래서, wm은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기가 기준 픽셀의 편향치 벡터(g(X))보다 상대적으로 클 경우 높은 값을 가진다. 다시 말해, wm은 영상의 특징점 위에 있는 플로우 벡터의 방향을 보존하기 위한 함수라 볼 수 있다.
wd는 방향 가중치 함수(directional weight function)로, 기준 편향치 벡터가 인접 편향치 벡터와 방향이 비슷할 경우 더욱 높은 가중치를 부여한다. wd는 다음 수학식으로 표현할 수 있다.
수학식 3
Figure PCTKR2009006711-appb-M000003
수학식 3에서, g(·)는 정규화된 편향치 벡터이다.
wd는 고려되는 두 편향치 벡터(g(X), g(Y))가 평행에 가까울수록(즉, 두 편향치 벡터의 사이각이 0° 또는 180°에 가까울수록) 큰 값을 가진다. 반면, 고려되는 두 편향치 벡터가 수직에 가까울수록(즉, 사이각이 90°에 가까울수록) 작은 값을 가진다.
wc는 컬러 가중치 함수(color weight function)로, 일시적 인접 픽셀들의 편향치 벡터의 방향을 스무딩하는 데에 이용된다. wc는 다음 수학식으로 나타낸다.
수학식 4
Figure PCTKR2009006711-appb-M000004
수학식 4에서,
Figure PCTKR2009006711-appb-I000003
는 [0, 1] 도메인을 가지는 정규화된 색상값을 의미한다.
wc는 기준 픽셀과 인접 픽셀 사이의 색상 차가 작을수록 증가하는 경향을 보인다. 결과적으로, wc는 유사 색상값을 가지는 편향치 벡터들의 변화량을 감소시키며, 영상 프레임에서 편향치 벡터 필드들 간의 시간 일관성(temporal coherence)을 향상시킨다.
마지막으로, φ(X,Y)는 두 편향치 벡터의 끼인각이 내각이 아닐 경우 내각으로 만들어주기 위한 사인 함수로, 다음과 같은 수학식으로 나타낼 수 있다.
수학식 5
Figure PCTKR2009006711-appb-M000005
수학식 1 ~ 수학식 5를 참조하여 상술한 내용은 이웃하는 두 편향치 벡터(기준 편향치 벡터와 인접 편향치 벡터)에 대한 것이다. 그런데, 영상의 특징점들을 따라 추출되는 편향치 벡터들은 3개 이상인 것이 일반이다. 따라서, 본 실시예에서 편향치 벡터의 안정화 방법은 다음과 같이 정리될 수 있다.
제1 단계에서, 소벨 필터에 의해 추출된 최초의 편향치 벡터를 기준 편향치 벡터 g0(X)로 설정한다. 제2 단계에서, g0(X)를 수학식 1에 적용시켜 g0(X)를 안정화시킨다. 제3 단계에서, gi(X)→gi+1(X)에 따라 g1(X)를 새로운 기준 편향치 벡터로 설정한다. 제4 단계에서, g1(X)를 수학식 1에 적용시켜 g1(X)를 안정화시킨다. 제3 단계와 제4 단계는 추출된 모든 편향치 벡터들이 안정화될 때까지 반복된다.
플로우 벡터 생성부(123)는 PDE(Partial Difference Equation)를 적용함으로써 안정화된 편향치 벡터로부터 플로우 벡터를 생성하는 기능을 수행한다. 편향치 벡터와 플로우 벡터는 반대적 개념을 가지므로, 일반적으로 2차원에서는 편향치 벡터를 수직 방향으로 회전시킴으로써 플로우 벡터를 구할 수 있다. 그런데, 3차원에서는 벡터의 무한대가 정규화된 편향치 벡터를 가지는 접평면과 수직이다. 따라서, 3차원에서는 후술하는 방법에 따라 편향치 벡터로부터 플로우 벡터를 계산한다. 이하 설명은 도 4를 참조한다.
도 4의 (a)를 참조하면, 편향치 벡터들은 색상 변화량이 최대인 방향을 따른다. 그래서, 이미지에서 대부분의 에지와 수직이어야 한다. 편향치 벡터 필드가 충분히 스무드(smooth)하고 각각의 편향치 벡터가 일정한 길이를 가진다면, 도 4의 (b)에 도시된 바와 같이 이웃하는 두 편향치 벡터들 간의 차이값을 계산함으로써 에지 곡선(edge curve)의 탄젠트(tangent)를 획득할 수 있다. 본 실시예에서 이 기능은 접선 벡터 계산부가 수행한다. 이후, 이웃하는 두 편향치 벡터들을 대상으로 적어도 두개의 접선 벡터를 획득하며 이 접선 벡터들의 근사값을 계산한다. 본 실시예에서 이 기능은 근사값 계산부가 수행한다. 그러면, 도 4의 (c)에서 보는 바와 같이 색상 변화량이 최소한 방향을 따르는 편향치 벡터들의 흐름, 즉 플로우 벡터를 계산할 수 있다. 플로우 벡터 계산 방법은 다음 수학식을 따른다.
수학식 6
Figure PCTKR2009006711-appb-M000006
수학식 6을 참조하면, 3차원 플로우 벡터의 근사치는 안정화된 3차원 편향치 벡터를 한번 더 미분함으로써 얻을 수 있음을 알 수 있다.
다시 도 1을 참조하여 설명한다.
플로우 벡터가 모두 계산되면, 플로우 벡터를 안정화시킬 필요가 있다. 이 기능은 플로우 벡터 안정화부(124)가 수행하며, 수학식 1 ~ 수학식 5를 토대로 한다. 즉, 수학식 1 ~ 수학식 5에 g(X), g(Y) 대신 f(X), f(Y)를 대입시킴으로써 플로우 벡터의 안정화를 구현한다. 본 실시예에서 플로우 벡터의 안정화 방법은 다음과 같이 정리된다.
제1 단계에서, 특정 플로우 벡터를 안정화 대상 플로우 벡터 f0(X)로 선정한다. 제2 단계에서, f0(X)를 수학식 1에 적용시켜 f0(X)를 안정화시킨다. 제3 단계에서, fi(X)→fi+1(X)에 따라 f1(X)를 새로운 대상 플로우 벡터로 선정한다. 제4 단계에서, f1(X)를 수학식 1에 적용시켜 f1(X)를 안정화시킨다. 제3 단계와 제4 단계는 모든 플로우 벡터들을 안정화시킬 때까지 반복 수행한다. 한편, ft(X)<0일 때에는 f(X)의 방향을 리버싱(reversing)시킴으로써 시간축 t에 대한 플로우 벡터 필드의 흐름을 일정하게 유지시킬 수 있다.
이상 설명한 플로우 벡터의 안정화 방법은 플로우 벡터 필드의 시간 일관성(temporal coherence)과 공간 일관성(spatial coherence)을 모두 향상시키는 효과를 얻을 수 있다.
영상 스타일화부(130)는 안정화된 플로우 벡터들을 기반으로 대상 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 구체적으로, 영상 스타일화부(130)는 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 이러한 영상 스타일화부(130)는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 포함한다.
파티클 시뮬레이션부(131)는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 기능을 수행한다. 그리고, 비실사 영상 생성부(132)는 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 기능을 수행한다.
이하에서는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)가 각각 어떻게 상기 기능을 수행하는지 이에 대해 상세히 설명한다.
본 실시예에서는 대상 영상으로부터 비실사 영상을 생성하기 위해 영상에서의 각 픽셀 I(X)를 파티클(particle)로 가정하고 각각의 파티클을 플로우 벡터 필드의 진행 방향에 따라 흘려 보내는 것을 골자로 한다.
파티클 시뮬레이션부(131)는 각 파티클에 대해 픽셀 그리드(pixel grid)의 각 셀에 중첩하는 범위에 비례하여 픽셀 그리드에 색상값을 축적시킨다. 이때, 파티클의 색상값 축적은 예컨대 삼선형 보간법(trilinear interpolation)을 이용한다. 이후, 파티클 시뮬레이션부(131)는 픽셀 그리드에 축적된 색상값을 토대로 플로우 벡터 필드의 진행 방향에 따라 정렬된 컬러 패턴을 생성한다. 그러면, 플로우 벡터 필드는 시간적으로 평탄해지며, 컬러 패턴은 영상 프레임들 사이에서 일관성을 가진다. 상기한 내용을 정리해 보면, 픽셀의 색상값을 플로우 벡터 필드의 진행 방향에 따라 이웃 픽셀로 이동시키며 이웃 픽셀은 자신의 색상값을 이전 픽셀의 컬러값에 더해주는 과정을 반복함으로써, 플로우 벡터 필드의 진행 방향에 따라 유사한 색상으로 수렴된다는 것이다.
플로우 벡터 필드에서 플로우 벡터를 정규화시킨 후에는 각 픽셀 파티클의 속도를 선정해줄 필요가 있다. 그 이유는 파티클 기반의 시뮬레이션에서 파티클의 속도를 조절함으로써 추상화의 정도를 컨트롤할 수 있기 때문이다. 예컨대, 파티클의 속도가 느릴 경우 색상의 이동이 적으므로 영상의 디테일이 더욱 정확하게 보존된다. 반면, 파티클의 속도가 빠를 경우 색상의 이동이 많아지므로 보다 단순화된 색상 표현이 가능해지며 더욱 추상화된 영상을 생성할 수 있다. 도 5는 파티클의 속도(vg)에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다. 도 5에서 (a)는 입력 영상이며, (b)는 파티클의 속도가 느릴 경우(vg=0.5)의 시뮬레이션 영상이고, (c)는 파티클의 속도가 빠를 경우(vg=2.0)의 시뮬레이션 영상이다.
파티클 시뮬레이션부(131)부의 플로우 벡터 필드 기반 파티클 시뮬레이션을 수학식으로 나타내면 다음과 같다.
수학식 7
Figure PCTKR2009006711-appb-M000007
수학식 7에서, vg와 vc는 각 픽셀 파티클의 속도 조절 파라미터이고, α는 색상의 축적 비율을 조절하는 가중치이다. α는 I(X+vgvcf(X))와 I(X) 사이의 중첩 영역의 부피에 따라 결정된다. 즉, α는 이동한 파티클이 다른 픽셀과 얼마나 겹쳐져 있는지 여부에 따라 결정된다.
vg는 멀티 해상도(multi-resolution)의 형태와 유사한 시뮬레이션을 위해 비디오 프레임의 편향치 에너지를 기반으로 하여 구할 수 있다. 이에 따라, vg는 다음 수학식으로부터 구할 수 있다.
수학식 8
Figure PCTKR2009006711-appb-M000008
수학식 8에서, W(X)는 현재 픽셀 좌표 X에 이웃하는 공간적 인접 픽셀(spatial neighborhood)들을 정의하는 윈도우이다.
윈도우 내에 편향치 평균값이 높은 부분은 외곽선 부분이거나 주요한 특징점 요소일 가능성이 높으므로, 느린 속도로 파티클 시뮬레이션을 수행한다. 반면, 편향치 평균값의 크기가 낮은 부분은 보다 빠른 속도로 파티클 시뮬레이션을 수행한다. 이러한 방법은 추상화의 정도를 높여주는 데에 기여할 수 있다. 본 실시예에서 윈도우 W의 크기는 8×8이다.
vc는 색상차에 기반하는 또다른 속도 조절 파라미터이다. 이러한 vc는 파티클의 급격한 이동으로 영상에 구비되는 물체의 외곽선을 따라 픽셀 파티클이 침투하는 것을 방지하기 위해 필요하다. vc는 다음 수학식으로부터 구할 수 있다.
수학식 9
Figure PCTKR2009006711-appb-M000009
수학식 9에서,
Figure PCTKR2009006711-appb-I000004
는 [0, 1] 사이의 도메인으로 정규화된 색상값을 의미한다.
앞서 언급했지만, vc의 적용에 따라 외곽선 특징점의 붕괴를 방지하는 효과를 얻을 수 있다. 그 이유는 vc 값이 파티클 시뮬레이션에 따라 원 픽셀과 이동된 픽셀의 증가 사이에서 색상차에 따라 감소하기 때문이다.
이상 설명한 파티클 기반 시뮬레이션에 따라 픽셀마다 색상값이 결정되면, 비실사 영상 생성부(132)는 이로부터 대상 영상에 대한 비실사 영상을 생성한다. 파티클 기반 시뮬레이션에 따라 비실사 영상을 생성하면 다음과 같은 효과를 얻을 수 있다. 첫째, 커널 필터를 사용하여 컨볼루션(convolution) 형태의 계산을 수행하지 않고 픽셀 단위로 단순 계산을 수행하기 때문에 계산 속도가 매우 빠르다. 둘째, 플로우 필드의 진행 방향을 따라가면서 색상이 축적되기 때문에 영상에서 물체의 형태를 유지하면서 추상화시킬 수가 있다. 세째, 바이레터럴 필터와 같이 반복적으로 적용 가능하므로 추상화의 정도를 용이하게 조절할 수 있다. 도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다. 도 6에서 (a) ~ (c)는 각각 반복 횟수가 5 iterations, 15 iterations, 30 iterations인 예이다.
본 실시예에서 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 거쳐 생성되는 비실사 영상은 대상 영상을 추상화시킨 추상화 비디오이다. 그런데, 본 실시예에서는 대상 영상에 대해 플로우 필드 기반 텍스처 톤 맵핑(texture tone mapping)을 수행하는 텍스처 톤 매핑부(133)를 더 부가시키는 것도 가능하다. 텍스처 톤 매핑부(133)는 대상 영상에 대해 손으로 그린 듯한 느낌을 보다 강조함으로써 비실사 영상이 유화적 비디오로 구현되도록 한다.
텍스처 톤 매핑부(133)는 이류 기반 텍스처 매핑 방법(advection based texture mapping)을 이용하여 각각의 픽셀에 시간 일관성을 가지는 텍스처 톤을 적용시킨다. 이에 따르면, 텍스처 톤 매핑부(133)는 플립핑 효과(flipping effect)나 샤워 도어 효과(shower door effect)와 같이 비디오 페인팅(video painting)의 전형적인 문제점을 줄이는 효과를 얻을 수 있다. 본 실시예에서 각 픽셀의 크기가 스트로크 텍스처(stroke texture)보다 작다면 텍스처 톤 매핑부(133)에 의해 플립핑 효과나 샤워 도어 효과를 더욱 줄일 수가 있다.
본 실시예에서는 텍스처 톤 매핑부(133)가 유화적 비디오를 구현하기 위해 유사 픽셀 기반 접근법을 이용한다. 텍스처 톤 매핑부(133)가 텍스처 톤 맵을 생성하는 방법은 다음과 같다.
초기 톤 맵 t0(X)는 [0, 1] 범위에서 의사 난수(pseudo random number)들로 가득차 있다. 초기 톤 맵 t0(X)는 도 7의 (a)에 도시된 바와 같다. 제1 단계에서, 입력 비디오의 플로우 필드를 이용하여 t0(X)에 대해 파티클 시뮬레이션을 수행한다. 이러한 파티클 시뮬레이션은 수학식 7을 이용한다.
본 실시예에서 비디오의 스타일화 과정을 위해 파티클 시뮬레이션은 다수회 반복된다. 이 과정이 제2 단계이며, 반복 횟수를 i라고 할 때 i번째 톤 맵 ti(X)는 도 7의 (b)와 같다.
제3 단계에서는, 획득된 i번째 톤 맵 ti(X)를 비실사 영상에 오버레이시킨다. 이에 따라, 텍스처 톤 맵이 반영된 비실사 영상은 도 7의 (c)와 같다.
텍스처 톤 맵이 반영된 비실사 영상은 비디오의 방향적 특징들이 향상되며, 플로우 필드의 방향에 따라 정렬된 브러시형 스무딩을 생성할 수 있다. 즉, 대상 영상으로부터 유화적 비디오의 생성이 가능하다.
3차원 플로우 필드를 사용한 비디오 스타일화의 결과를 확인하기 위해 입력 영상을 이용하여 바이레터럴 필터링 결과, 파티클 기반의 시뮬레이션 결과 및 톤 맵이 적용된 결과 등을 실험을 통해 도출해 보았다. 이하에서는 이에 대해 설명한다.
도 8은 종래 바이레터럴 필터링 결과와 본 실시예에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다. 도 8에서 (a)는 입력 영상이며, (b)는 바이레터럴 필터링을 통해 획득된 추상화 비디오이다. 또한, (c)는 플로우 기반 파티클 시뮬레이션이 적용된 추상화 비디오이며, (d)는 플로우 필드 기반 톤 맵이 적용된 유화적 비디오이다. (b)에서 보는 바와 같이 기존의 바이레터럴 필터링을 적용했을 경우 영상에서 주요한 특징점들이 사라지는 문제점이 있었다. 그러나, (c)에서 보는 바와 같이 플로우 필드 기반의 추상화를 적용하게 되면 곡선 형태가 보존되는 안정적인 추상화가 가능하다. 또한, (d)에서 보는 바와 같이 유화와 비슷한 느낌의 결과를 위해 질감을 이미지 형태로써 반영시키고 질감에서 얻어진 노말 벡터를 사용하여 플로우 필드를 흔들어 줌으로써 질감이 살아있는 추상화 결과를 생성할 수 있다.
도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다. 실험에 사용된 영상은 740×480의 해상도를 가지며 u=v=5이다. 도 9에서 (a)는 입력 영상이고, (b)는 반복 횟수가 20회일 때의 파티클 시뮬레이션의 결과 영상이며, (c)는 톤 맵이 적용된 결과 영상이다.
표 1은 종래 바이레터럴 필터링 방법과 본 실시예에 따른 플로우 기반 방법에 따라 영상을 스타일화했을 때에 소요되는 시간을 보여준다. 본 실험에서는 Intel Core2 Quad 2.40GHz 프로세서와 2GB 메모리를 가진 PC로 시간을 체크하였다. 표 1에서 보는 바와 같이, 반복 횟수가 20회일 경우 종래 바이레터럴 필터링 방법보다 본 실시예에 따른 플로우 기반 방법이 처리 속도가 더 빠르다는 것을 확인할 수 있다.
표 1
Figure PCTKR2009006711-appb-T000001
다음으로, 본 발명의 바람직한 실시예에 따른 비실사 영상(NPR 영상) 생성 방법을 설명한다. 도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다. 이하 설명은 도 10을 참조한다.
먼저, 영상 입력부(110)가 플로우 필드 생성부(120)의 편향치 벡터 추출부(121)로 영상을 입력한다(S10). 이후, 편향치 벡터 추출부(121)가 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터를 추출한다(S20). 이후, 편향치 벡터 안정화부(122)가 추출된 편향치 벡터를 안정화시킨다(S30).
플로우 벡터 생성부(123)는 안정화된 편향치 벡터로부터 플로우 벡터를 계산한다(S40). 이후, 플로우 벡터 안정화부(124)가 계산된 플로우 벡터를 안정화시킨다(S50). 안정화된 플로우 벡터에 대한 정보는 플로우 필드 생성부(120)로부터 영상 스타일화부(130)로 전송된다.
파티클 시뮬레이션부(131)는 입력 영상에 대하여 파티클 기반의 시뮬레이션을 수행한다(S60). 파티클 기반의 시뮬레이션이 소정 횟수 반복됨에 따라 입력 영상의 추상화 정도가 결정된다. 이후, 비실사 영상 생성부(132)가 입력 영상을 추상화시킨 비실사 영상을 생성한다(S70).
한편, S60 단계 이후 텍스처 톤 매핑부(133)가 추상화된 비실사 영상에 텍스처 톤 맵을 적용시키는 것도 가능하다(S65). 추상화된 영상에 텍스처 톤 맵이 적용되면 S70 단계에서 비실사 영상 생성부(132)가 유화적 비디오를 생성할 수 있게 된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
UCC의 제작을 위한 비전문적 영상 편집 툴을 포함하여, Adobe 등의 회사에서 제공하는 전문적인 영상 편집 툴에서도 사용자가 촬영한 영상을 추상화 또는 유화적 스타일화로 자동으로 바꾸어 주는 기능에 대한 시도가 계속되고 있다. 이러한 스타일화 기능의 목적은 전문가 또는 비전문가가 손쉽게 심미적 목적의 영상을 제작하는 것이며, 카툰 형태의 추상화 및 유화적 표현은 이러한 심미적 결과물의 대표적 예라 볼 수 있다. 하지만, 지금까지의 제공된 기능은 비디오(3차원 영상)보다는 이미지(2차원 영상)에 한정적이었으며, 비디오의 스타일화를 위해선 고성능의 컴퓨터가 요구되는 단점이 있었다.
본 발명은 기존의 비디오 스타일 결과보다 뛰어난 시간적 연계성을 가지며, 보다 빠른 계산 속도를 가지므로 현재 판매되는 다양한 영상 편집 툴에 높은 가치로 추가될 수 있다. 또한, 독립적인 소프트웨어로써, 영화 산업이나 방송 산업 등에 적용될 수도 있다. 따라서, 본 발명은 국내외 영상 편집 툴 제작 업체에 코어 기술로 추가됨으로써, 세계 시장에서 관련 분야 점유율을 높이는 효과를 기대할 수 있다. 또한, 아직은 부족한 국내의 특수 효과 기술 시장에서 기존에 3차원 특수 효과가 아닌 영상 기반의 특수 효과의 기술적 선점으로 국내 뿐 아니라 세계적인 기술 선점까지도 기대할 수 있다.

Claims (22)

  1. 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및
    상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  2. 제 1 항에 있어서,
    미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 텍스처 톤 매핑부
    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  3. 제 1 항에 있어서,
    상기 영상 스타일화부는,
    상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 파티클 시뮬레이션부; 및
    상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 비실사 영상 생성부
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  4. 제 3 항에 있어서,
    상기 플로우 필드 생성부는 상기 플로우 벡터를 생성하는 경우,
    상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출부; 및
    상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 플로우 벡터 생성부
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  5. 제 4 항에 있어서,
    상기 플로우 필드 생성부는,
    상기 추출된 편향치 벡터들을 스무딩(smoothing)시키는 편향치 벡터 안정화부; 또는
    상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화부
    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  6. 제 3 항에 있어서,
    상기 파티클 시뮬레이션부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하는 것을 특징으로 하는 비실사 영상 생성 장치.
  7. 제 5 항에 있어서,
    상기 플로우 필드 생성부는 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용하는 것을 특징으로 하는 비실사 영상 생성 장치.
  8. 제 7 항에 있어서,
    상기 편향치 벡터 안정화부는 상기 추출된 편향치 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려하는 것을 특징으로 하는 비실사 영상 생성 장치.
  9. 제 4 항에 있어서,
    상기 플로우 벡터 생성부는,
    동일한 길이를 가지며 서로 인접하는 두 편향치 벡터들로부터 접선 벡터를 계산하는 접선 벡터 계산부; 및
    상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 근사값 계산부
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  10. 제 4 항에 있어서,
    상기 플로우 필드 생성부는 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용하는 것을 특징으로 하는 비실사 영상 생성 장치.
  11. 제 2 항에 있어서,
    상기 텍스처 톤 매핑부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하여 상기 질감 영상을 획득하는 것을 특징으로 하는 비실사 영상 생성 장치.
  12. 제 1 항에 있어서,
    상기 영상을 상기 플로우 필드 생성부에 입력시키는 영상 입력부
    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
  13. (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 단계; 및
    (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
  14. 제 13 항에 있어서,
    (c) 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 단계
    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
  15. 제 13 항에 있어서,
    상기 (b) 단계는,
    (ba) 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 단계; 및
    (bb) 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
  16. 제 15 항에 있어서,
    상기 (a) 단계는,
    (aa) 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 단계;
    (ab) 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 단계; 및
    (ac) 상기 생성된 플로우 벡터들로부터 상기 플로우 필드를 생성하는 단계
    를 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
  17. 제 16 항에 있어서,
    상기 (aa) 단계와 상기 (ab) 단계의 중간 단계는 상기 추출된 편향치 벡터들을 스무딩시키는 단계를 포함하거나,
    상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 것을 특징으로 하는 비실사 영상 생성 방법.
  18. 제 15 항에 있어서,
    상기 (ba) 단계는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하는 것을 특징으로 하는 비실사 영상 생성 방법.
  19. 제 17 항에 있어서,
    상기 (ac) 단계는 상기 플로우 필드를 생성시킬 때에 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용하는 것을 특징으로 하는 비실사 영상 생성 방법.
  20. 제 19 항에 있어서,
    상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려하는 것을 특징으로 하는 비실사 영상 생성 방법.
  21. 제 16 항에 있어서,
    상기 (aa) 단계는 상기 편향치 벡터를 추출할 때에 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용하는 것을 특징으로 하는 비실사 영상 생성 방법.
  22. 컴퓨터로 판독 가능한 기록매체에 있어서,
    제 13 항 내지 제 21 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
PCT/KR2009/006711 2009-05-18 2009-11-16 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 WO2010134675A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090043138A KR101060322B1 (ko) 2009-05-18 2009-05-18 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR10-2009-0043138 2009-05-18

Publications (1)

Publication Number Publication Date
WO2010134675A1 true WO2010134675A1 (ko) 2010-11-25

Family

ID=43126331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/006711 WO2010134675A1 (ko) 2009-05-18 2009-11-16 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Country Status (2)

Country Link
KR (1) KR101060322B1 (ko)
WO (1) WO2010134675A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574834A (zh) * 2015-12-23 2016-05-11 小米科技有限责任公司 图像处理方法及装置
CN105793896A (zh) * 2013-11-28 2016-07-20 三星电子株式会社 图像输出装置和渲染图像的方法
CN106937120A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于对象的监控视频浓缩方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093856A2 (en) * 2011-01-04 2012-07-12 Samsung Electronics Co., Ltd. Method and apparatus for creating a live artistic sketch of an image
KR101226990B1 (ko) * 2011-01-20 2013-01-29 연세대학교 산학협력단 영상으로부터 외곽선을 추출하는 방법 및 장치
KR101279021B1 (ko) * 2011-04-19 2013-07-02 박덕은 화가의 페인팅 절차에 기반한 회화적 렌더링 방법
KR101129084B1 (ko) 2011-09-14 2012-03-23 인하대학교 산학협력단 정점 편향 배분을 이용한 지형 렌더링 방법
KR101382595B1 (ko) * 2012-10-18 2014-04-10 연세대학교 산학협력단 입체 영상의 스타일화 방법 및 장치
KR102608466B1 (ko) 2016-11-22 2023-12-01 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
WO2022186417A1 (ko) * 2021-03-03 2022-09-09 (주)디피어소시에이츠 초고화질 이미지를 이용한 실감형 컨텐츠 제공 방법 및 시스템
KR102336156B1 (ko) * 2021-03-03 2021-12-07 (주)디피어소시에이츠 초고화질 이미지 구현 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593925B1 (en) * 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
JP2005332028A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム
US20080018647A1 (en) * 2006-07-24 2008-01-24 Bunnell Michael T System and methods for real-time rendering of deformable geometry with global illumination
US20080198168A1 (en) * 2007-02-16 2008-08-21 Guofang Jiao Efficient 2-d and 3-d graphics processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593925B1 (en) * 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
JP2005332028A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム
US20080018647A1 (en) * 2006-07-24 2008-01-24 Bunnell Michael T System and methods for real-time rendering of deformable geometry with global illumination
US20080198168A1 (en) * 2007-02-16 2008-08-21 Guofang Jiao Efficient 2-d and 3-d graphics processing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793896A (zh) * 2013-11-28 2016-07-20 三星电子株式会社 图像输出装置和渲染图像的方法
CN105574834A (zh) * 2015-12-23 2016-05-11 小米科技有限责任公司 图像处理方法及装置
CN105574834B (zh) * 2015-12-23 2018-09-04 小米科技有限责任公司 图像处理方法及装置
CN106937120A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于对象的监控视频浓缩方法
CN106937120B (zh) * 2015-12-29 2019-11-12 北京大唐高鸿数据网络技术有限公司 基于对象的监控视频浓缩方法

Also Published As

Publication number Publication date
KR20100124077A (ko) 2010-11-26
KR101060322B1 (ko) 2011-08-29

Similar Documents

Publication Publication Date Title
WO2010134675A1 (ko) 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN106373187B (zh) 基于ar的二维图像转换至三维场景的实现方法
McCann et al. Real-time gradient-domain painting
US7050058B2 (en) Interactive water effects using texture coordinate shifting
Hays et al. Image and video based painterly animation
JP3830555B2 (ja) 原映像を修正する方法及び装置
US8286102B1 (en) System and method for image processing using multi-touch gestures
US8665258B2 (en) Generating a depth map based on a single image
CN115699114B (zh) 用于分析的图像增广的方法和装置
Toklu et al. Tracking motion and intensity variations using hierarchical 2-D mesh modeling for synthetic object transfiguration
US20020027555A1 (en) Method of rendering motion blur image and apparatus therefor
JPH07302336A (ja) 画像の特徴を曖昧化する方法および装置
Hou et al. Poisson vector graphics (PVG)
Browning et al. Stylized keyframe animation of fluid simulations
CN108537868A (zh) 信息处理设备和信息处理方法
Norraji et al. wARna—Mobile-based augmented reality colouring book
JP2020532022A (ja) 全視角方向の球体ライトフィールドレンダリング方法
Yoon et al. Video painting based on a stabilized time-varying flow field
WO2022022260A1 (zh) 图像风格迁移方法及其装置
Liao et al. Depth annotations: Designing depth of a single image for depth-based effects
Zheng et al. A novel pencil drawing algorithm based on non-symmetry and anti-packing pattern representation model
US10922872B2 (en) Noise reduction on G-buffers for Monte Carlo filtering
Li et al. Video vectorization via bipartite diffusion curves propagation and optimization
Zhou et al. Pencil Drawing Generation Algorithm Based on GMED
Chen et al. Importance-driven composition of multiple rendering styles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09844983

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09844983

Country of ref document: EP

Kind code of ref document: A1