WO2012108587A1 - 이미지 처리 방법 및 이를 위한 장치 - Google Patents

이미지 처리 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2012108587A1
WO2012108587A1 PCT/KR2011/003880 KR2011003880W WO2012108587A1 WO 2012108587 A1 WO2012108587 A1 WO 2012108587A1 KR 2011003880 W KR2011003880 W KR 2011003880W WO 2012108587 A1 WO2012108587 A1 WO 2012108587A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
grid
pixel
feature
generating
Prior art date
Application number
PCT/KR2011/003880
Other languages
English (en)
French (fr)
Inventor
이승용
이윤진
손민정
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to JP2012556997A priority Critical patent/JP5362130B2/ja
Priority to CN201180066733XA priority patent/CN103403755A/zh
Priority to EP11858292.3A priority patent/EP2674909A4/en
Priority to US13/266,047 priority patent/US9019303B2/en
Publication of WO2012108587A1 publication Critical patent/WO2012108587A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Definitions

  • the present invention relates to an image processing method and apparatus therefor, and more particularly, to a method for processing an image using a structure grid and an apparatus therefor.
  • a headcut is an artistic technique for representing an object by arranging points or lines of different sizes at regular intervals along the characteristic flow of the object to be expressed. These headcuts were developed to create woodcut-like pictures, and they were often used to express portraits in print media such as newspapers and magazines. In addition, the headcut is attractive because of the style itself because the object to be expressed is represented by a point or a line, and thus is used in various fields beyond the print media. However, a limited number of artists can be widely used by everyone because it takes a lot of time to create a headcut by hand.
  • This characteristic of the headcut uses points or lines of different sizes to express the tone of the object, these points or lines are arranged along the characteristic direction of the object, and the points or lines listed are arranged at some regular intervals. Also, in a single headcut image, these dots and lines are used without any discomfort.
  • a first object of the present invention for solving the above problems is to provide an apparatus for processing an image using a structure grid.
  • a second object of the present invention for solving the above problems is to provide a method for processing an image using a structure grid.
  • the image processing apparatus using the structure grid for achieving the first object of the present invention, by using a feature pixel and the direction information of the feature pixel in the received image image to the image image And a first generator for generating a vector field, a second generator for generating a structure grid using the vector field, and a rendering unit for rendering primitives expressing a predetermined tone on the generated structure grid. have.
  • An image processing method using a structure grid for achieving a second object of the present invention, a vector for the image image using the feature pixel and the direction information of the feature pixel in the received image image And a first generation step of generating a field, a second generation step of generating a structure grid using the vector field, and a rendering step of rendering primitives expressing a predetermined tone on the generated structure grid. .
  • the resultant image can be automatically generated from a single image image in a short time. This makes it possible for anyone to create a headcut easily with one picture, beyond the limitation that a limited headcut artist could invest a long time to complete a single headcut.
  • the feature vector field, the structure grid, and the primitive rendering method defined for the present invention may be independently used for various image processing techniques.
  • the feature vector field generation may be used in various image processing methods based on the direction by generating a vector field that smoothly changes throughout the image while reflecting the direction information defined in a part of the image.
  • the structure grid may be used in various fields such as flow visualization by generating various patterns such as a stripe pattern repeated at regular intervals along a vector field or a grid overlapping a plurality of stripe patterns in an image.
  • the rendering method using the structure grid may be the basis for rendering basic primitives such as points and lines in a short time on a pixel basis.
  • FIG. 1 is a block diagram showing the internal structure of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram for describing a process of generating a vector field by a first generation unit of an image processing apparatus according to an embodiment of the present invention.
  • 3 to 5 are exemplary diagrams for describing a process of generating a structure grid by a second generation unit of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram in which a rendering unit of an image processing apparatus according to an embodiment of the present invention performs primitive rendering.
  • FIG. 7 is a flowchart illustrating an image processing process according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a block diagram showing the internal structure of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus may include a receiver 101, a first generator 103, a second generator 105, a renderer 107, and an image generator 109. .
  • the receiver 101 receives an image image captured by a plurality of image photographing apparatuses, for example, a two-dimensional image image.
  • the first generator 103 receives an image image from the receiver 101, generates a feature line map corresponding to feature pixels in the received image image, and corresponds to the generated feature line map. After defining direction information of points, interpolation is performed to generate a vector field for an image.
  • the first generator 103 interpolates the direction information of the feature pixels included in the feature line map to define the direction information of the feature pixels not included in the feature line map.
  • ETF edge tangent field
  • the first generation unit 103 corresponds to the feature line map using multi-level B-spline interpolation among scattered data interpolation.
  • a vector field for an image image may be generated by interpolating direction information of points.
  • the first generation unit 103 is configured to process vectors pointing in opposite directions, for example, ((1, 0) and (-1, 0)) in the same direction. After transforming the direction information of the feature pixels into a 2 ⁇ 2 structure tensor, interpolating each term, calculating an intrinsic vector of the interpolated structure tensor, defining the direction of each pixel, You can create vector fields.
  • the second generator 105 generates a structure grid that is used to arrange primitives such as points and lines by using the feature vector field generated by the first generator 103.
  • the second generator 105 may smoothly deform along the vector field generated by the first generator 103 to generate a structure grid having a lattice structure.
  • styling and hatching or a mixture of both can be represented by drawing points on the grid intersections and lines on the grid lines, and these primitives can be arranged at regular intervals along both the feature direction and its vertical direction. have.
  • the second generation unit 105 is perpendicular to the direction information of the first stripe pattern and the feature pixel, which is a result of repeatedly combining the stripe patterns according to the direction information of the feature pixel.
  • a structure grid may be generated by combining a second stripe pattern, which is a result of repeatedly combining the stripe patterns.
  • the renderer 107 renders a primitive representing a predetermined tone on the structure grid generated by the second generator 105.
  • the primitive rendering refers to creating a final result image by drawing basic primitives such as points or lines on the structure grid generated by the second generator 105.
  • the image generator 109 generates a resultant image by adding feature lines to the result of primitive rendering by the second generator 105.
  • FIG. 2 is an exemplary diagram for describing a process of generating a vector field by a first generation unit of an image processing apparatus according to an embodiment of the present invention.
  • the first generation unit 103 receives an image image from the reception unit 101 (202a), and generates a feature line map corresponding to the feature pixels in the received image image (202b).
  • the first generation unit 103 defines a feature line map using the flow based line drawing technique 202b black line, and the flow based line drawing technique effectively defines the stylized feature lines.
  • the ETF information of all the feature pixels obtained in the step of generating the feature line map can be used as the direction information of the feature pixel.
  • the first generator 103 defines direction information of points corresponding to the generated feature line map and interpolates it to generate a vector field 202c or 202d for the image.
  • the vector field 202d corresponds to a case where the first generation unit 103 generates a vector field using the feature line map defined only by the flow-based line drawing
  • the vector field 202c corresponds to the first generation unit ( This is the case when 103) generates a vector field using an additional isophote curve.
  • the first generation unit 103 receives an image image, and if the received image image is a two-dimensional image, an isometry curve 202b blue line may be assumed to some extent.
  • the vector field 202c may be generated using the first and second generation units 103.
  • the first generator 103 quantizes the brightness information of the received image image in a predetermined number of steps, and then delimits the boundary. After defining a light curve and applying feature pixels corresponding to the light curve to the feature line map, the vector field 202c may be generated using the feature line map.
  • 3 to 5 are exemplary diagrams for describing a process of generating a structure grid by a second generation unit of an image processing apparatus according to an embodiment of the present invention.
  • the second generator 105 generates a structure grid using the feature vector field generated by the first generator 103.
  • the structure grid is a structure defined for the ordering of primitives such as points and lines.
  • the second generator 105 may smoothly deform along the vector field generated by the first generator 103 to generate the structure grid 300a having a lattice structure.
  • both the stippling 300b and the hatching 300c or a mixture 300d can be represented by drawing a point at the intersection of the grid and a line at the grid line. All may be listed at regular intervals.
  • the second generator 105 generates a structure grid using the feature vector field generated by the first generator 103.
  • the second generation unit 105 defines the lattice pattern as an input texture sample and performs texture synthesis on the vector field in the texture rotation direction to generate the structure grids 400f and 400h. In this case, however, the grid intersections or grid line portions may be damaged to follow the freely deformed vector field.
  • the second generation unit 105 is the first stripe pattern 401b, 401c, 401d as a result of repeatedly combining the stripe pattern according to the direction information of the feature pixel.
  • the second stripe patterns 400b, 400c, and 400d which are a result of repeatedly combining the stripe patterns in the vertical direction with respect to the direction information of the feature pixels, may generate the structure grids 400e and 400g.
  • the first stripe patterns 401b, 401c, and 401d represent a change according to a result of repeatedly combining the stripe patterns according to the direction information of the feature pixel.
  • the first stripe pattern 401b which is the first result of synthesizing the stripe pattern according to the direction information of the feature pixel
  • the first stripe pattern 401b simply appears as a distance from the feature line.
  • the stripe pattern 401c and the second result, the second stripe pattern 401d the stripe pattern is improved according to the direction information of the feature pixel of each part.
  • the second stripe patterns 400b, 400c, and 400d represent a change according to the result of repeatedly combining the stripe patterns in the vertical direction with respect to the direction information of the feature pixels.
  • the stripe in the vertical direction with respect to the direction information of the feature pixel appears in the second stripe pattern 400b.
  • the stripe pattern 400c which is the pattern combination and the second stripe pattern 400d which is the third result the stripe pattern can be confirmed.
  • the second generation unit 105 combines the stripe pattern, for example, the first stripe pattern 401d and the second stripe pattern 400d, which are generated in two perpendicular directions to each other, and finally the structure grid 400e. , 400 g).
  • the structure grid generation using the one-dimensional stripe pattern synthesis proposed in the present invention is very excellent in terms of the resulting structure grid compared to the two-dimensional texture synthesis.
  • the operation of O (d 2 (2r + 1) 2 ) is required for each update of each pixel, but the texture synthesis is performed using the coincidence stripe pattern synthesis proposed in the present invention. In this case, the performance of 2 ⁇ O (d (2r + 1)) is required for each pixel update.
  • the generated first stripe pattern is effective to effectively show a vector field by itself, the first stripe pattern may be used in flow visualization and the like as an embodiment.
  • the structure grid G generated by the second generator 105 may be defined as an image image G having a vector value: p- > (t 0 , t 1 ).
  • t 0 and t 1 represent the distance from the pixel p to the direction information of the feature pixel and the grid line nearest to the vertical direction, respectively. This is to improve the synthesis result by allowing the entire pattern to include more information by having each pixel have distance information to the grid instead of the grid, and to use the distance information in a later step.
  • t i is a value in the range [0, d / 2]. It may have a shape that is periodically reflected to reflect a grid that is repeated at regular intervals. In this case, the points are located at (0, 0) and the hatching lines are located at (t 0 , 0) or (0, t 1 ).
  • the second generation unit 105 may apply the first stripe pattern 401d of FIG. 4 and the direction information of the feature pixel as a result of repeatedly combining the stripe patterns according to the direction information of the feature pixel.
  • the structured grids 400e and 400g of FIG. 4 may be generated by combining the second stripe patterns 400d of FIG. 4, which are a result of repeatedly combining the stripe patterns in the vertical direction.
  • the stripe pattern P for this purpose may be defined as an image P: p- > t having a constant value corresponding to one of two distance values t 0 and t 1 defined for each pixel.
  • the stripe pattern P of the structure grid generated by the second generator 105 is along the vector field F or its vertical direction and has a grid spacing d. At this time, the stripe pattern P is synthesized by repeatedly updating the distance value of P through a local optimization method. To this end, the second generator 105 defines initial values for the stripe patterns of the structure grid. For example, in the case of the stripe pattern along the vertical direction of the vector field F , since there is no definite criterion for determining the initial value of P, the second generation unit 105 generates a random number between [0, d / 2]. Determine the initial value of.
  • the second generator 105 initializes the distance information to the feature line closest to each pixel.
  • the second generator 105 may calculate distance information to the nearest feature line for each pixel by using a jump-flooding algorithm, and periodically reflects the equation as shown in Equation 1.
  • the distance information may be calculated to have a real value between [0, d / 2] by converting the distance to the nearest grid line for each pixel using a function having a shape of.
  • the second generator 105 may calculate an optimal value t of the stripe pattern P for at least one pixel p 501 among the pixels of the received image image.
  • the value t of the stripe pattern P is updated repeatedly.
  • the value of r generally uses a value d indicating a predetermined interval between points or a predetermined interval between lines in the resultant image.
  • the second generator 105 may define an optimal value t for the pixel p by comparing the calculated one-dimensional array w 503 with the function S that is the target of the stripe pattern.
  • the second generation unit 105 updates the s x [0] to a current optimum value t corresponds to the center of the s x value for a pixel p (501).
  • the second generation unit 105 performs this pixel-by-pixel update repeatedly for all pixels, and the total number of repetitions is 3 to 8 times.
  • the second generation unit 105 when the second generation unit 105 performs texture synthesis using the coincidence stripe pattern composition proposed in the present invention, the neighbor window W to update at least one pixel p 501 among the pixels of the image image.
  • the direction as well as the ratio of neighboring window W 502 can be adjusted together.
  • the second generator 105 adjusts the ratio of the neighboring window W 502
  • the area of the peripheral pixels considered for at least one pixel p 501 of the pixels of the image image is changed, and as a result, The spacing of the stripe patterns is different.
  • the second generation unit 105 may smoothly adjust the intervals of points or lines in each part of the image image, thereby generating a structure grid having a high degree of freedom, such as an image drawn by an artist.
  • FIG. 6 is an exemplary diagram in which a rendering unit of an image processing apparatus according to an embodiment of the present invention performs primitive rendering.
  • the renderer 107 receives the structure grid generated by the second generator 105, and renders a primitive representing a predetermined tone on the received structure grid.
  • primitive rendering refers to creating a resultant image by drawing basic primitives such as points and lines on the structure grid generated by the second generator 105.
  • the rendering unit 107 determines the position and size of the primitive to be rendered by using the value on the structure grid and the tone map generated from the received image image.
  • the tonemap generated from the image image may be generated by converting the image image to a grayscale image and Gaussian smoothing.
  • the tonemap generated by performing image processing such as brightness or gamma adjustment is added to the converted Gaussian smoothing result. Shows the map of the tone to be represented as a result image.
  • the structure grid value is (0, 0)
  • the points that the headcut artist draws are irregularly shaped, which is overall comfortable and can produce a resultant image even when the orientation information of the feature pixel is deformed.
  • the rendering unit 107 using the pixel-based styling method according to an embodiment of the present invention for solving such a problem is a position of a point to which at least one pixel p of the pixels of the image image belongs, that is, the pixel p. Estimate the position of the nearest point at the position of. At this time, the information rendering unit 107 is necessary to estimate whether it belongs to the closest points in the location of the pixels p and p is the pixel size of the distance and the point from the center pixel p to the closest point. The rendering unit 107 calculates the distance d s from the position of the pixel p to the center of the nearest point from the structure grid value.
  • the size of the point can be defined in inverse proportion to the tone value of the part.
  • Equation 2 b denotes an average tone in the region ⁇ 603 of the size d (602) ⁇ d (602) around the point closest to the position of the pixel p , and s (601)
  • the size of a point necessary for expressing the average tone in the area ⁇ 603 is represented, and d represents a value indicating a predetermined distance between points or hatching lines in the resultant image, that is, the distance of the structure grid.
  • the rendering unit 107 determines the brightness value of the pixel p by comparing the distance d s from the position of the pixel p to the center of the point closest to the size s of the corresponding point. At this time, in order to prevent aliasing in which lines appear ruggedly, the rendering unit 107 is around the point closest to the position of the pixel p .
  • the area corresponding to the thickness of the boundary is defined as the gray part, and d s is s- If smaller, determine the brightness value of pixel p to be 0 as the area corresponding to the point closest to the position of pixel p , for example, the black region, and the point closest to the position of pixel p if d s is greater than s.
  • the brightness value of the pixel p is determined as 1 by determining that the area does not correspond to, for example, the white area. Also, the rendering unit 107 is around the point closest to the position of the pixel p . Corresponds to a thickness boundary, that is, d s is s- In regions with values between and s, the brightness value of pixel p is interpolated to 1-(s-d s ) / Determined by Uses 1 as the default value.
  • the direction information of the pixel feature from the pixel p and its vertical in the structure grid It can be generated by connecting a portion of the grid line where t 0 or t 1 representing the distance to the grid line closest to each other in the direction is 0 and arranging the line therein.
  • the resultant image is too artificial and the position is not perfect due to the deformation of the orientation information of the feature pixel, it is easily noticeable.
  • the rendering unit 107 according to the pixel-based hatching method according to one embodiment of the present invention for solving the same problem is hatched in can belong at least one pixel p of the pixels of the image the image line position, that is, the pixel p Estimate the position of the hatching line closest to the position.
  • the information rendering unit 107 is necessary to estimate whether it belongs to the nearest hatching lines in the pixel location p is the width of the line and the distance to the center pixel p from the nearest line hatching.
  • the rendering unit 107 may define the distance dh from the position of the pixel p to the center of the hatching line closest to min ⁇ t 0 , t 1 ⁇ from the structure grid value, and the thickness of the hatching line may be As in the case, it can be defined to be inversely proportional to the tone value of the corresponding hatching line.
  • the thickness of the hatching line necessary to express the tone b in the area ⁇ 606 is represented. Calculating h (604) is shown in equation (3).
  • Equation 3 b denotes an average tone in an area ⁇ 606 of size d (605) x d (605) around a point closest to the position of the pixel p , and h (604). It represents the thickness of the hatching line required to express the average tone in the region VII (606).
  • the renderer 107 determines the brightness value of the pixel p by comparing the distance dh from the position of the pixel p to the nearest hatching line and the thickness h 604 of the line. At this time, in order to prevent aliasing in which lines appear ruggedly, the rendering unit 107 is located at the boundary of the hatching line closest to the position of the pixel p .
  • the brightness value of pixel p is determined to be 0 by determining the area corresponding to the hatching line closest to the position of pixel p , for example, the black area, and when d h is greater than h , the value closest to the position of pixel p
  • the brightness value of the pixel p is determined as 1 by determining that the area does not correspond to the hatching line, for example, the white area.
  • the rendering unit 107 is located at the boundary of the hatching line closest to the position of the pixel p .
  • d h is h ⁇
  • the brightness value of pixel p is interpolated to 1-(h-d h ) / Determined by Uses 1 as the default value.
  • each pixel renders a point or line having a natural shape in a short time by an independent operation.
  • the styling and hatching defined in this way are all generated on the same structure grid on the pixel, so there is no discomfort even when the two styles are mixed (300d). Therefore, in actual rendering, these two styles are mixed to produce a result closer to the result image produced by the artist, which was previously impossible.
  • the maximum allowable point size is defined as s max
  • the stiffening is performed in the area where the calculated point size s is smaller than s max
  • the area where the calculated point size s is larger than s max. Can be used to mix stirring and hatching by performing hatching.
  • the default value of s max is defined as d / 2 the point size of the dot overlap start, it is possible to produce a resulting image only by hatching of defining the value of s max to zero, the value of s max If you define a value large enough to cover the region ⁇ , you can create a resultant image that consists only of styling.
  • the post processing unit corresponds to the grid intersection of the structure grid in the corresponding area, for example Calculate the local minima at and compute the Voronoi diagranm from the calculated local minima.
  • the post-processing unit calculates the distance from each pixel to the center of the Voronoi cell to which it belongs on the calculated Voronoi diagram in the feature direction and the vertical direction of the feature direction, and corrects by defining a new t 0 , t 1 value.
  • Structure grid G ' can be generated.
  • the post-processing unit may generate the structure grid G ′′ by re-defining t 0 and t 1 of the modified structure grid G ′ through stripe pattern synthesis to solve the discontinuity occurring at the boundary of the Voronoi cell.
  • the post processor defines, for each pixel, a weight w that is inversely proportional to the distance to the center of the Voronoi cell, and weighted using the weight w to update the updated structure grid wG '( p ) + (1-w) G "( p ) can be generated.
  • the rendering unit 107 When using the structure grid modified through this process, the rendering unit 107 reflects the center portion of the Voronoi cell in the center portion of the point and has a natural shape with a natural shape even though the position or spacing is enforced to some extent. Can be rendered. In addition, since the rendering unit 107 calculates operations related to the Voronoi diagram by using the jump flooding algorithm, it is possible to perform the pixel-based fast operation and thus almost no additional time is consumed.
  • FIG. 7 is a flowchart illustrating an image processing process according to an embodiment of the present invention.
  • the image processing apparatus generates a vector field for the image image by using the feature pixel and the direction information of the feature pixel in the received image image (S701).
  • the image processing apparatus interpolates and uses the direction information of the feature pixels included in the feature line map to define the direction information of the feature pixels not included in the feature line map. This is advantageous in that it is possible to obtain a vector field that is smooth and stable and highly reflects information of a feature part, compared to simply using ETF information of all feature pixels included in an image image.
  • the image processing apparatus may generate a vector field for an image image by interpolating direction information of points corresponding to a feature line map using multilevel B-spline interpolation among scatter data interpolation methods. .
  • the image processing apparatus performs direction information of feature pixels in order to process vectors pointing in opposite directions, for example, ((1, 0) and (-1, 0)) in the same direction. After converting to a 2 ⁇ 2 structure tensor (interpolation), each term is interpolated, the eigenvectors of the interpolated structural tensor are calculated and defined in the direction of each pixel to generate a vector field for the image image.
  • the image processing apparatus generates a structure grid using the vector field (S702).
  • the image processing apparatus may smoothly deform along the generated vector field to generate a structure grid having a lattice structure.
  • styling and hatching or a mixture of both can be represented by drawing points on the grid intersections and lines on the grid lines, and these primitives can be arranged at regular intervals along both the feature direction and its vertical direction. have.
  • the image processing apparatus renders a primitive representing a predetermined tone on the generated structure grid (S703).
  • primitive rendering refers to creating a final result image by drawing basic primitives such as points or lines on the generated structure grid.
  • the image processing apparatus generates a resultant image by adding a feature line to the primitive rendering result (S704).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

이미지 영상으로부터 아티스트가 그린 것과 같은 결과 영상을 생성하는 방법 및 이를 실행하는 장치가 개시된다. 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성부, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부, 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부 및 상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성부를 포함하여 구성될 수 있다. 따라서, 한 장의 이미지 영상으로부터 빠른 시간에 자동으로 결과 영상을 생성할 수 있다. 이는 한정된 헤드컷 아티스트가 긴 시간을 투자하여야 한 장의 헤드컷을 완성할 수 있던 한계를 벗어나 누구나 사진 한 장으로 쉽게 헤드컷을 생성할 수 있도록 한다.

Description

이미지 처리 방법 및 이를 위한 장치
본 발명은 이미지 처리 방법 및 이를 위한 장치에 관한 것으로, 더욱 상세하게는 스트럭쳐 그리드를 이용하여 이미지를 처리하는 방법 및 이를 위한 장치에 관한 것이다.
헤드컷은 표현하고자 하는 대상의 특징적인 흐름을 따라 일정 간격으로 크기가 다른 점 또는 선을 나열하여 대상을 표현하는 예술적 기법이다. 이러한 헤드컷은 목판 느낌의 그림을 만들기 위해서 개발되었으며, 특히 신문이나 잡지 등과 같은 인쇄매체에서 초상화를 표현하는데 많이 사용되었다. 또한, 헤드컷은 표현하고자 하는 대상을 점 또는 선으로 표현하기 때문에 스타일 자체의 매력이 있고, 이에 따라 인쇄매체를 넘어서 보다 다양한 분야에서 활용되고 있다. 하지만, 한정된 수의 아티스트는 수작업으로 헤드컷을 생성할 때 많은 시간이 소요되기 때문에 모든 사람들에게 널리 사용되기에는 무리가 있다.
이러한 헤드컷의 특성은 대상의 톤을 표현하기 위하여 크기가 다른 점이나 선들을 사용하고, 이러한 점이나 선들은 대상의 특징적인 방향을 따라 나열되며, 나열된 점이나 선들은 어느 정도 일정한 간격으로 배치되고, 또한 한 장의 헤드컷 영상에서도 이러한 점과 선들이 위화감 없이 섞여서 사용된다. 기존의 연구 중에서는 이러한 특징들을 모두 충족하는 헤드컷 생성 방법이 없었으며, 스티플링(stippling), 해칭(hatching)이 가장 관련 깊은 연구이다.
하지만, 이러한 방법들은 헤드컷의 특징인 대상의 톤을 표현하기 위해서 크기가 다른 점 또는 선들을 대상의 특징적인 방향에 따라 나열하고, 나열된 점 또는 선들을 어느 정도 일정한 간격으로 배치하여 생성된 헤드컷의 특징을 충분히 만족시킬 수 없다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은, 스트럭쳐 그리드를 이용하여 이미지를 처리하는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 스트럭쳐 그리드를 이용하여 이미지를 처리하는 방법을 제공하는데 있다.
상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스트럭쳐 그리드를 이용한 이미지 처리 장치는, 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성부, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부 및 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부를 포함하여 구성될 수 있다.
본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스트럭쳐 그리드를 이용한 이미지 처리 방법은, 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성 단계, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성 단계 및 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링 단계를 포함하여 구성될 수 있다.
상기와 같은 본 발명에 따른 이미지 영상으로부터 아티스트가 그린 것과 같은 결과 영상을 생성하는 방법 및 이를 실행하는 장치를 이용할 경우에는 한 장의 이미지 영상으로부터 빠른 시간에 자동으로 결과 영상을 생성할 수 있다. 이는 한정된 헤드컷 아티스트가 긴 시간을 투자하여야 한 장의 헤드컷을 완성할 수 있던 한계를 벗어나 누구나 사진 한 장으로 쉽게 헤드컷을 생성할 수 있도록 한다.
또한, 본 발명을 위하여 정의된 특징 벡터장, 스트럭쳐 그리드, 프리미티브 렌더링 방법 등은 각각 독립적으로도 다양한 영상 처리 기법들에 활용될 수 있다. 특징 벡터장 생성은 영상의 일부에 정의된 방향 정보를 반영하면서도 영상 전체에 걸쳐 부드럽게 변화하는 벡터장을 생성하여, 방향을 기반으로 하는 다양한 영상 처리 방법들에 활용될 수 있다. 스트럭쳐 그리드는 영상에서 벡터장을 따라 일정 간격으로 반복되는 스트라이프 패턴, 또는 다수의 스트라이프 패턴을 겹쳐 생성하는 격자 등 다양한 패턴을 생성함으로써 흐름 시각화 등 여러 분야에 활용될 수 있다. 스트럭쳐 그리드를 이용한 렌더링 방법은 픽셀 기반으로 빠른 시간에 점이나 선 등 기초적인 프리미티브를 렌더링하는 기반이 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구조를 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기 위한 예시도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 과정을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구조를 도시한 블럭도이다.
도 1을 참조하면, 이미지 처리 장치는 수신부(101), 제 1 생성부(103), 제 2 생성부(105), 렌더링부(107) 및 영상 생성부(109)를 포함하여 구성될 수 있다.
수신부(101)는 복수개의 영상 촬영기기에 의해 촬영된 이미지 영상, 예를 들어 이차원 이미지 영상을 수신한다. 제 1 생성부(103)는 수신부(101)로부터 이미지 영상을 수신하고, 수신된 이미지 영상에서 특징 픽셀들에 해당하는 특징 라인맵(feature line map)을 생성하고, 생성된 특징 라인맵에 해당하는 점들의 방향 정보를 정의한 후 이를 보간(interpolation)하여 이미지 영상에 대한 백터장을 생성한다. 여기서, 제 1 생성부(103)는 특징 라인맵에 포함되지 않는 특징 픽셀들의 방향 정보를 정의하기 위해서, 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간하여 사용한다. 이는 단순히 이미지 영상에 포함된 모든 특징 픽셀의 ETF(Edge Tangent Field) 정보를 사용하는 것에 비해 부드럽고 안정적이며 특징 부분의 정보를 높게 반영한 벡터장을 얻을 수 있다는 장점이 있다.
본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 산포 자료 보간법(scattered data interpolation) 중 다중 레벨 B-스플라인 보간법(multi-level B-spline interpolation)을 사용하여 특징 라인맵에 해당하는 점들의 방향 정보를 보간하여 이미지 영상에 대한 벡터장을 생성할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 반대 방향을 가리키는 벡터들, 예를 들어 ((1, 0) 및 (-1, 0))을 같은 방향으로 처리 하기 위해서, 특징 픽셀들의 방향 정보를 2 × 2 구조 텐서(structure tensor)로 변환한 후 각 항을 보간하고, 보간된 구조 텐서의 고유 벡터(engenvector)를 산출하여 각 픽셀의 방향으로 정의하여 이미지 영상에 대한 벡터장을 생성할 수 있다.
제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 점이나 선과 같은 프리미티브를 나열하기 위해서 사용되는 스트럭쳐 그리드를 생성한다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링과 해칭 또는 그 혼합을 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 제 1 스트라이프 패턴과 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 제 2 스트라이프 패턴을 결합하여 스트럭쳐 그리드를 생성할 수 있다.
렌더링부(107)는 제 2생성부(105)에서 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다. 여기서, 프리미티브 렌더링은 제 2 생성부(105)에서 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 최종 결과 영상을 만드는 것을 나타낸다. 영상 생성부(109)는 제 2 생성부(105)에 의해 프리미티브 렌더링된 결과에 특징 선을 추가하여 결과 영상을 생성한다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기 위한 예시도이다.
도 2를 참조하면, 제 1 생성부(103)는 수신부(101)로부터 이미지 영상을 수신(202a)하고, 수신된 이미지 영상에서 특징 픽셀들에 해당하는 특징 라인맵을 생성(202b)한다. 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 흐름 기반 라인 드로잉 기법(202b 검은선)을 이용하여 특징 라인맵을 정의하며, 흐름 기반 라인 드로잉 기법은 스타일화된 특징 라인을 효과적으로 표현할 수 있고, 특징 라인맵을 생성하는 단계에서 얻어지는 모든 특징 픽셀의 ETF 정보를 특징 픽셀의 방향 정보로 이용할 수 있다는 장점이 있다.
제 1 생성부(103)는 생성된 특징 라인맵에 해당하는 점들의 방향 정보를 정의한 후 이를 보간하여 이미지 영상에 대한 벡터장(202c 또는 202d)을 생성한다. 여기서, 벡터장(202d)는 제 1 생성부(103)가 흐름 기반 라인 드로잉만으로 정의된 특징 라인맵을 사용하여 벡터장을 생성한 경우에 해당하며, 벡터장(202c)는 제 1 생성부(103)가 등광선 커브(isophote curve)를 추가로 사용하여 벡터장을 생성한 경우에 해당한다. 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 이미지 영상을 수신하고, 수신된 이미지 영상이 이차원 영상일 경우 물체의 모양을 어느 정도 가정할 수 있도록 등광선 커브(202b 파란선)를 추가적으로 사용하여 벡터장(202c)을 생성할 수 있으며, 제 1 생성부(103)는 수신된 이미지 영상의 밝기 정보를 사용자가 미리 정의한 수만큼의 단계로 양자화(quantization)한 후, 그 경계를 등광선 커브로 정의하고, 등광선 커브에 해당하는 특징 픽셀들을 추가적으로 특징 라인맵에 적용한 후, 특징 라인맵을 이용하여 벡터장(202c)을 생성할 수 있다. 그러면 이하에서는, 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기로 한다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기 위한 예시도이다.
도 3을 참조하면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 스트럭쳐 그리드를 생성한다. 여기서, 스트럭쳐 그리드는 점이나 선과 같은 프리미티브의 나열을 위해 정의된 구조이다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드(300a)를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링(300b)과 해칭(300c) 또는 그 혼합(300d)를 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.
도 4를 참조하면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 스트럭쳐 그리드를 생성한다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 격자 패턴을 입력 텍스쳐 샘플로 정의하고 벡터장을 텍스쳐 회전 방향으로 텍스쳐 합성(texture synthesis)을 하여 스트럭쳐 그리드(400f, 400h)를 생성할 수 있지만, 이 경우, 자유롭게 변형된 벡터장을 따르기 위해 격자 교점 또는 격자 선 부분이 손상될 수 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 제 1 스트라이프 패턴(401b, 401c, 401d)와 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 제 2 스트라이프 패턴(400b, 400c, 400d)를 결합하여 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다.
제 1 스트라이프 패턴(401b, 401c, 401d)은 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과에 따른 변화를 나타낸다. 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 합성한 첫 번째 결과인 제 1 스트라이프 패턴(401b)에서는 특징 선으로부터 거리로 단순히 나타나지만, 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 합성한 두 번째 결과인 제 1 스트라이프 패턴(401c) 및 세 번째 결과인 제 2 스트라이프 패턴(401d)에서는 각 부분의 특징 픽셀의 방향 정보에 따라 스트라이프 패턴이 개선되었다.
제 2 스트라이프 패턴(400b, 400c, 400d)은 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과에 따른 변화를 나타낸다. 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴 합성한 첫 번째 결과인 제 2 스트라이프 패턴(400b)에서는 난수에서 시작되어 연관성이 없는것과 같이 나타나지만, 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴 합성한 두 번째 결과인 제 2 스트라이프 패턴(400c) 및 세 번째 결과인 제 2 스트라이프 패턴(400d)에서는 스트라이프 패턴을 확인할 수 있다. 이와 같이 제 2 생성부(105)는 두 번에 걸쳐 서로 수직 방향으로 생성된 스트라이프 패턴, 예를 들어 제 1 스트라이프 패턴(401d) 및 제 2 스트라이프 패턴(400d)을 결합하여 최종적으로 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다.
한편, 본 발명에서 제시한 일차원 스트라이프 패턴 합성을 이용한 스트럭쳐 그리드 생성은 이차원 텍스쳐 합성에 비해 생성된 스트럭쳐 그리드의 결과면에서 매우 우수하다. 더구나, 이차원 텍스쳐 합성을 수행할 경우 각 픽셀을 한 번 업데이트 할 때마다 O(d2(2r + 1)2)의 연산이 필요하지만, 본 발명에서 제시한 일치원 스트라이프 패턴 합성을 이용하여 텍스쳐 합성을 수행할 경우 각 픽셀을 한 번 업데이트 할 때마다 2 × O(d(2r + 1))의 연산이 필요하므로, 속도면에서도 훨씬 뛰어난 성능을 보인다.
또한, 이렇게 생성된 제 1 스트라이프 패턴은 그 자체로도 벡터장을 효과적으로 보여주는데 효과적이므로, 일 실시예로 흐름 시각화(flow visualization) 등에 사용될 수 있다.
제 2 생성부(105)가 생성한 스트럭쳐 그리드 G는 벡터값을 갖는 이미지 영상 G:p -> (t0, t1)으로 정의될 수 있다. 이때, t0, t1은 픽셀 p로부터 해당 특징 픽셀의 방향 정보 및 그 수직 방향으로 가장 가까운 격자 선까지의 거리를 각각 나타낸다. 이는 각 픽셀이 격자 여부가 아닌 격자까지의 거리 정보를 가짐으로써 패턴 전체가 보다 많은 정보를 포함할 수 있도록 하여 합성 결과를 향상시키고 또한 이후 단계에서 해당 거리 정보를 이용하기 위함이다. 제 2 생성부(105)가 생성한 스트럭쳐 그리드에서 이웃하는 격자 선들 간의 원하는 거리, 즉 결과 영상에서 원하는 점 또는 선의 간격이 d라고 할 때, ti는 [0, d/2] 범위에서 값을 가질 수 있으며, 일정 간격으로 반복되는 격자를 반영하기 위해 주기적으로 반사되는 형태로 정의된다. 그리고, 이 경우 점들은 (0, 0)의 위치에 위치하게 되며 해칭선들은 (t0, 0) 또는 (0, t1)의 위치에 위치하게 된다.
본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 도 4의 제 1 스트라이프 패턴(401d)와 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 도 4 의 제 2 스트라이프 패턴(400d)를 결합하여 도 4의 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다. 이를 위한 스트라이프 패턴 P는 각 픽셀에 대해 정의된 두 거리 값(t0, t1) 중 하나에 해당하는 상수 값을 갖는 영상 P:p -> t로 정의될 수 있다.
제 2 생성부(105)가 생성한 스트럭쳐 그리드의 스트라이프 패턴 P는 벡터장 F 또는 그 수직 방향을 따르고 격자 간격 d를 갖는다. 이때, 스트라이프 패턴 P는 P가 갖는 거리 값을 국부 최적화(local optimization) 방법을 통해 반복적으로 업데이트하여 합성된다. 이를 위해서, 제 2 생성부(105)는 스트럭쳐 그리드의 스트라이프 패턴들에 대해서 초기값을 정의한다. 예를 들어, 벡터장 F의 수직 방향을 따르는 스트라이프 패턴의 경우 P의 초기값을 결정할 명확한 기준이 없기 때문에, 제 2 생성부(105)는 [0, d/2]사이의 난수를 스트라이프 패턴 P의 초기값으로 결정한다. 반면, 제 2 생성부(105)는 벡터장 F 방향으로의 스트라이프 패턴의 경우, 각 픽셀에 대해 가장 가까운 특징 선까지의 거리 정보를 이용하여 초기화한다. 예를 들어, 제 2 생성부(105)는 점프 범람(jump-flooding) 알고리즘을 이용하여 각 픽셀에 대해 가장 가까운 특징 선까지의 거리 정보를 산출할수 있고, <수학식 1>과 같이 주기적으로 반사되는 형태를 띤 함수를 이용해 각 픽셀에 대해 가장 가까운 격자 선까지의 거리로 변환하여 [0, d/2]사이의 실수값을 갖도록 거리 정보를 산출할 수 있다.
수학식 1
Figure PCTKR2011003880-appb-M000001
도 5를 참조하면, 제 2 생성부(105)는 수신된 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)에 대한 스트라이프 패턴 P의 최적 값 t를 산출하기 위해서, 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)를 중심으로 픽셀 p(501)에서의 벡터장 F 또는 그 수직 방향으로 방향 지어진 (2r + 1) × (2r + 1) 크기의 이웃 창(neighbor window) W(502)를 이용해 스트라이프 패턴 P의 값 t를 반복적으로 업데이트 한다. 이때, r의 값은 일반적으로 결과 영상에서 점들간의 소정의 간격 또는 선들간의 소정의 간격을 지시하는 값 d를 사용한다.
제 2 생성부(105)가 이웃 창 W(502)의 각 줄의 평균 픽셀 값을 산출하여 (2r + 1)크기의 일차원 배열(array) w(503)로 정의하면, 이는 픽셀 p (501)를 중심으로 현재 주변의 스트라이프 패턴 P의 값 t의 분포를 의미하며, w[i], i = -r, …, r 로 표현될 수 있다. 제 2 생성부(105)는 이렇게 산출된 일차원 배열 w(503)와 스트라이프 패턴의 목표가 되는 함수 S를 비교함으로써 픽셀 p에 대한 최적 값 t값을 정의할 수 있다. 이를 위해서, 제 2 생성부(105)는 스트라이프 패턴의 목표가 되는 함수 S로부터 샘플링을 통해 w[i]와 동일한 크기의 템플릿 어레이(template array)(504) sx[i] = S(i + x), i = -r, …, r(0 ≤ x < d)를 정의하고, 샘플링 위치 x를 달리하며 일차원 배열 w(503)와 템플릿 어레이(504) 사이의 원소별(element-by-element) 차이인
Figure PCTKR2011003880-appb-I000001
를 최소화하는 샘플링 위치 x값을 찾는다. 하지만, 이 경우 <수학식 1>로부터 정의되어 sx[i]에 포함된 min 함수로 인해 바로 최적 값을 찾는 것이 불가능하기 때문에, x의 범위를 [m/2, m/2 + 0.5], m = 0, …, 2d - 1의 부분범위(subrange)로 나누고, 각 부분범위에서는 sx[i]에서 min함수를 제거하여 E(w, sx)가 단순한 이차식(quadratic function)으로 표현되도록 한다.
제 2 생성부(105)가 각 부분범위에서 산출된 최소 E(w, sx)들을 비교하여 이들 중 최소 E(w, sx)를 갖는 x값을 산출한 경우, 그 때의 sx가 픽셀 p(501)와 그 주위 정보를 가장 잘 반영한 템플릿 어레이라고 볼 수 있다. 따라서, 제 2 생성부(105)는 픽셀 p(501)에 대한 현재의 최적 값 t를 sx의 중심에 해당하는 sx[0]값으로 업데이트 한다. 제 2 생성부(105)는 이러한 픽셀 단위 업데이트를 모든 픽셀에 대해 반복적으로 수행하며, 총 반복 수행 횟수는 3 에서 8회 사이이다.
한편, 제 2 생성부(105)가 본 발명에서 제시한 일치원 스트라이프 패턴 합성을 이용하여 텍스쳐 합성을 수행할 경우 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)을 업데이트하기 위하여 이웃 창 W(502)를 정의할 때, 방향뿐만 아니라 추가적으로 이웃 창 W(502)의 비율을 함께 조절할 수 있다. 이와 같이, 제 2 생성부(105)가 이웃 창 W(502)의 비율을 조절할 경우, 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)에 대해 고려되는 주변 픽셀들의 영역이 변화하여 결과적으로 스트라이프 패턴의 간격이 달라진다. 이와 같은 이유로, 제 2 생성부(105)는 이미지 영상의 각 부분에서 점 또는 선의 간격을 조금씩 부드럽게 조절할 수 있어, 아티스트가 그린 영상처럼 자유도가 높은 스트럭쳐 그리드를 생성할 수 있다. 그러면 이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 경우를 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 예시도이다.
렌더링부(107)는 제 2 생성부(105)에서 생성된 스트럭쳐 그리드를 수신하고, 수신된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다. 여기서, 프리미티브 렌더링은 제 2 생성부(105)에서 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 결과 영상을 만드는 것을 나타낸다. 렌더링부(107)는 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기 등을 결정한다. 이때, 이미지 영상으로부터 생성된 톤맵은 이미지 영상을 회색조 영상으로 변환하고 가우시안 스무딩(Gaussian smoothing)하여 생성될 수 있으며, 변환된 가우시안 스무딩 결과에 추가적으로 밝기나 감마(gamma) 조절 등 영상 처리를 수행하여 생성될 수 있는 결과 영상으로 표현하고자 하는 톤의 맵을 나타낸다.
한편, 격자 형태의 구조를 가진 스트럭쳐 그리드 상에서 격자 교점 부분에 점을 배치한 스티플링(300b)을 표현하기 위한 방법은, 본 발명의 일 실시예에 따르면, 스트럭쳐 그리드 값이 (0, 0)에 해당하는 위치에 원을 그리는 방법이 있다. 하지만, 이 경우 결과 영상이 지나치게 인위적이고, 특징 픽셀의 방향 정보의 변형 등으로 인하여 위치가 완벽하지 않을 경우 쉽게 눈에 띄는 문제가 있다. 실제로 헤드컷 아티스트가 그리는 점은 불규칙한 모양을 나타내며, 이는 전체적으로 편안하고 특징 픽셀의 방향 정보의 변형에도 자연스러운 결과 영상을 생성할 수 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 픽셀 기반 스티플링 방법을 이용하는 렌더링부(107)는 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p가 속할 수 있는 점의 위치, 즉 픽셀 p의 위치에서 가장 가까운 점의 위치를 추정한다. 이때, 렌더링부(107)가 픽셀 p가 픽셀 p의 위치에서 가장 가까운 점에 속하는지 여부를 추정하기 위해서 필요한 정보는 픽셀 p에서부터 가장 가까운 점의 중심까지의 거리와 해당 점의 크기이다. 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 중심까지의 거리 ds를 스트럭쳐 그리드 값으로부터
Figure PCTKR2011003880-appb-I000002
라 정의할 수 있고, 해당 점의 크기를 해당 부분의 톤 값에 반비례하여 정의할 수 있다. 이때, 해당 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서의 평균 톤을 b라고 할 때, 톤맵이 스무딩되었다는 점을 고려하면 b는 간단하게 픽셀 p에서의 톤맵 값으로 근사화될 수 있다. 이를 기반으로 렌더링부(107)가 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서 톤 b를 표현하기 위해 필요한 점의 크기 s(601)를 계산하면 <수학식 2>와 같다. 이때, 점의 크기 s가 d/2보다 클 경우, 점들 사이의 겹침이 발생하기 때문에 렌더링부(107)는 이러한 경우에 대해 추가적으로 고려한 점 크기 s를 산출해야 한다.
수학식 2
Figure PCTKR2011003880-appb-M000002
<수학식 2>를 참조하면, b는 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서의 평균 톤을 나타내고, s(601)는 영역 Ω(603)에서의 평균 톤을 표현하기 위해 필요한 점의 크기를 나타내고, d는 결과 영상에서 점 또는 해칭 선들간의 소정의 간격을 지시하는 값, 즉, 스트럭쳐 그리드의 간격를 나타낸다.
렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 중심까지의 거리 ds와 해당 점의 크기 s를 비교하여 픽셀 p의 밝기 값을 결정한다. 이때, 선이 울퉁 불퉁하게 나타나는 앨리어싱(aliasing)을 막기 위해서, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 둘레에
Figure PCTKR2011003880-appb-I000003
두께만큼의 경계에 해당하는 영역을 회색 부분이라고 정의하고, ds가 s -
Figure PCTKR2011003880-appb-I000004
보다 작을 경우 픽셀 p의 위치에서 가장 가까운 점에 해당하는 영역, 예를 들어 검정색 영역이라고 판단하여 픽셀 p의 밝기 값을 0으로 결정하고, ds가 s보다 큰 경우 픽셀 p의 위치에서 가장 가까운 점에 해당하지 않는 영역, 예를 들어 흰색 영역이라고 판단하여 픽셀 p의 밝기 값을 1으로 결정한다. 또한, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 둘레에
Figure PCTKR2011003880-appb-I000005
두께만큼의 경계에 해당하는, 즉, ds가 s -
Figure PCTKR2011003880-appb-I000006
와 s 사이 값을 갖는 영역에서는 픽셀 p의 밝기 값을 보간된 회색조인 1 - (s - ds)/
Figure PCTKR2011003880-appb-I000007
로 결정하며,
Figure PCTKR2011003880-appb-I000008
는 기본 값으로 1을 사용한다.
한편, 격자 형태의 구조를 가진 스트럭쳐 그리드 상에서 격자 선 부분에 선을 배치한 해칭(300c)을 표현하기 위한 본 발명의 일 실시예에 따르면, 스트럭쳐 그리드에서 픽셀 p로부터 픽셀 특징의 방향 정보 및 그 수직 방향으로 가장 가까운 격자 선까지의 거리를 각각 나타내는 t0 또는 t1이 0인 격자 선 부분을 연결하고 여기에 선을 배치하여 생성될 수 있다. 하지만, 이 경우 결과 영상이 지나치게 인위적이고, 특징 픽셀의 방향 정보의 변형 등으로 인하여 위치가 완벽하지 않을 경우 쉽게 눈에 띄는 문제가 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 픽셀 기반 해칭 방법을 따르는 렌더링부(107)는 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p가 속할 수 있는 해칭 선의 위치, 즉 픽셀 p의 위치에서 가장 가까운 해칭 선의 위치를 추정한다. 이때, 렌더링부(107)가 픽셀 p의 위치에서 가장 가까운 해칭 선에 속하는지 여부를 추정하기 위해서 필요한 정보는 픽셀 p에서부터 가장 가까운 해칭 선의 중심까지의 거리와 해당 선의 굵기이다.
렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 중심까지의 거리 dh를 스트럭쳐 그리드 값으로부터 min{t0, t1}라 정의할 수 있고, 해당 해칭 선의 굵기를 도 6의 스티플링의 경우와 마찬가지로 해당 해칭 선의 톤 값에 반비례하도록 정의할 수 있다. 이때, 해당 해칭 선을 중심으로 d(605) × d(605) 크기의 영역 Ω(606)에서의 평균 톤을 b라고 할 때, 영역 Ω(606)에서 톤 b를 표현하기 위해 필요한 해칭 선의 굵기 h(604)를 계산하면 <수학식 3>과 같다.
수학식 3
Figure PCTKR2011003880-appb-M000003
<수학식 3>을 참조하면, b는 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(605) × d(605) 크기의 영역 Ω(606)에서의 평균 톤을 나타내고, h(604)는 영역 Ω(606)에서의 평균 톤을 표현하기 위해 필요한 해칭 선의 굵기를 나타낸다.
렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선까지의 거리 dh와 해당 선의 굵기 h(604)를 비교하여 픽셀 p의 밝기 값을 결정한다. 이때, 선이 울퉁 불퉁하게 나타나는 앨리어싱을 막기 위해서, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 경계에
Figure PCTKR2011003880-appb-I000009
두께만큼의 선의 경계에 해당하는 영역을 회색 부분으로 정의하고, dh가 h -
Figure PCTKR2011003880-appb-I000010
보다 작을 경우 픽셀 p의 위치에서 가장 가까운 해칭 선에 해당하는 영역, 예를 들어 검정색 영역이라고 판단하여 픽셀 p의 밝기 값을 0으로 결정하고, dh가 h보다 큰 경우 픽셀 p의 위치에서 가장 가까운 해칭 선에 해당하지 않는 영역, 예를 들어 흰색 영역이라고 판단하여 픽셀 p의 밝기 값을 1으로 결정한다. 또한, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 경계에
Figure PCTKR2011003880-appb-I000011
두께만큼의 경계에 해당하는, 즉, dh가 h -
Figure PCTKR2011003880-appb-I000012
와 h 사이 값을 갖는 영역에서는 픽셀 p의 밝기 값을 보간된 회색조인 1 - (h - dh) /
Figure PCTKR2011003880-appb-I000013
로 결정하며,
Figure PCTKR2011003880-appb-I000014
는 기본 값으로 1을 사용한다.
이와 같이 본 발명의 일 실시예에 따른 픽셀 기반의 프리미티브 렌더링 방법을 이용하여 렌더링부(107)가 렌더링을 수행할 경우, 각 픽셀들이 독립적인 연산으로 빠른 시간에 자연스러운 모양의 점이나 선을 렌더링 하면서도 효과적으로 톤맵의 톤을 만들어낼 수 있다. 또한 이렇게 정의된 스티플링 및 해칭은 동일한 구조인 스트럭쳐 그리드 상에서 모두 픽셀 기반으로 생성되었기 때문에 두 스타일이 혼합(300d)되어도 위화감이 없다. 따라서 실제 렌더링에서는 이 두 스타일을 섞어서 표현함으로써 기존에는 불가능하던, 아티스트에 의해 생성된 결과 영상에 보다 가까운 결과를 생성한다.
일반적으로 아티스트는 어두운 부분을 표현할 때 점이 겹쳐지는 스티플링 보다는 해칭을 선호하는 경향이 있다. 이와 같은 이유로 본 발명의 일 실시예에서는 최대 허용 점 크기를 smax 라 정의하고, 연산된 점 크기 s가 smax보다 작은 영역에서 스티플링을 수행하고, 연산된 점 크기 s가 smax보다 큰 영역에서는 해칭을 수행함으로써 스티플링 및 해칭을 섞어서 사용할 수 있다. 이때, smax의 기본 값은 점의 겹침이 시작되는 점 크기인 d/2로 정의되며, smax의 값을 0으로 정의할 경우 해칭만으로 된 결과 영상을 생성할 수 있고, smax의 값을 영역 Ω를 덮을 수 있을 만큼 큰 값으로 정의할 경우 스티플링만으로 된 결과 영상을 생성할 수 있다.
한편, 생성된 스티플링만으로 스트럭쳐 그리드에서 특이점(singularity) 등 벡터장이 극단적으로 변화하는 부분에서는 점의 모양이나 간격 역시 과하게 변형 될 수 있지만, 이러한 점의 모양을 개선하고 싶을 경우 추가적으로 스트럭쳐 그리드를 개선하는 후처리 과정을 수행할 수 있다. 먼저, 후처리부(미도시)는 해당 영역에서 스트럭쳐 그리드의 격자 교점에 해당하는, 예를 들어
Figure PCTKR2011003880-appb-I000015
의 지역적 극소점들을 산출하고, 산출된 지역적 극소점들로부터 보로노이 다이아그램(Voronoi diagranm)을 산출한다. 후처리부는 산출된 보로노이 다이아그램 상에서 각 픽셀로부터 자신이 속한 보로노이 셀(cell)의 중심까지의 거리를 특징 방향 및 특징 방향의 수직 방향으로 연산하고 새로운 t0, t1 값을 정의하여 수정된 스트럭쳐 그리드 G'을 생성할 수 있다. 이때, 후처리부는 보로노이 셀 경계 부분에서 나타나는 불연속을 해결하기 위해서, 수정된 스트럭쳐 그리드 G'의 t0, t1을 각각 스트라이프 패턴 합성을 통해서 다시 정의하여 스트럭쳐 그리드 G"을 생성할 수 있다. 최종적으로, 후처리부는 각 픽셀에 대해 보로노이 셀 중심까지의 거리에 반비례하는 가중치 w를 정의하고, 가중치 w를 이용해 가중합하면 업데이트된 스트럭쳐 그리드 wG'(p) + (1 - w) G"(p)를 생성할 수 있다. 이러한 과정을 통해서 수정된 스트럭쳐 그리드를 이용할 경우, 렌더링부(107)는 점의 중심 부분에서 보로노이 셀의 중심 부분을 반영하여 위치나 간격이 어느 정도 강제되면서도 자연스러운 모양을 갖고 효과적으로 톤을 표현하는 점을 렌더링할 수 있다. 또한, 렌더링부(107)가 보로노이 다이아그램과 관련된 연산들에 대해서 점프 범람 알고리즘을 이용하여 연산하기 때문에 픽셀 기반으로 빠른 수행이 가능하므로 추가적인 시간 소모가 거의 없다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 과정을 설명하기 위한 흐름도이다.
도 7을 참조하면, 이미지 처리 장치는 수신된 이미지 영상에서 특징 픽셀 및 특징 픽셀의 방향 정보를 이용하여 이미지 영상에 대한 백터장을 생성한다(S701). 여기서, 이미지 처리 장치는 특징 라인맵에 포함되지 않는 특징 픽셀들의 방향 정보를 정의하기 위해서, 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간하여 사용한다. 이는 단순히 이미지 영상에 포함된 모든 특징 픽셀의 ETF 정보를 사용하는 것에 비해 부드럽고 안정적이며 특징 부분의 정보를 높게 반영한 벡터장을 얻을 수 있다는 장점이 있다.
본 발명의 일 실시예에 따르면, 이미지 처리 장치는 산포 자료 보간법 중 다중 레벨 B-스플라인 보간법을 사용하여 특징 라인맵에 해당하는 점들의 방향 정보를 보간하여 이미지 영상에 대한 벡터장을 생성할 수 있다. 본 발명의 일 실시예에 따르면, 이미지 처리 장치는 반대 방향을 가리키는 벡터들, 예를 들어 ((1, 0) 및 (-1, 0))을 같은 방향으로 처리 하기 위해서, 특징 픽셀들의 방향 정보를 2 × 2 구조 텐서(structure tensor)로 변환한 후 각 항을 보간하고, 보간된 구조 텐서의 고유 벡터를 산출하여 각 픽셀의 방향으로 정의하여 이미지 영상에 대한 벡터장을 생성할 수 있다.
이미지 처리 장치는 백터장을 이용하여 스트럭쳐 그리드를 생성한다(S702). 본 발명의 일 실시예에 따르면, 이미지 처리 장치는 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링과 해칭 또는 그 혼합을 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.
이미지 처리 장치는 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다(S703). 여기서, 프리미티브 렌더링은 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 최종 결과 영상을 만드는 것을 나타낸다. 이미지 처리 장치는 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성한다(S704).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (24)

  1. 스트럭쳐 그리드를 이용한 이미지 처리 장치에 있어서,
    수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성부;
    상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부; 및
    상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  3. 제 1 항에 있어서, 상기 제 1 생성부는,
    상기 특징 픽셀에 해당하는 특징 라인맵을 생성하고, 상기 생성된 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간(interpolation)하여 상기 이미지 영상에 대한 벡터장을 생성하는 것을 특징으로 하는 이미지 처리 장치.
  4. 제 1 항에 있어서, 상기 제 2 생성부는,
    적어도 하나 이상의 벡터장을 이용해 해당 방향을 따라 일정 간격으로 반복되는 적어도 하나 이상의 스트라이프 패턴을 생성하는 것을 특징으로 하는 이미지 처리 장치.
  5. 제 1 항에 있어서, 상기 제 2 생성부는,
    이미지 영상에 포함된 복수개의 픽셀들 중 적어도 하나의 픽셀로부터 소정 거리만큼 떨어진 스트라이프 패턴을 정의하는 것을 특징으로 하는 이미지 처리 장치.
  6. 제 1 항에 있어서,
    상기 스트럭쳐 그리드에서 격자 교점 및 격자 선에 해당하는 위치를 추정하는 후처리부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  7. 제 6 항에 있어서, 상기 후처리부는,
    상기 추정된 위치에 해당하는 격자 교점 및 격자 선의 모양을 변형하여 스트럭쳐 그리드를 개선하는 것을 특징으로 하는 이미지 처리 장치.
  8. 제 1 항에 있어서, 상기 렌더링부는,
    상기 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기를 결정하는 것을 특징으로 하는 이미지 처리 장치.
  9. 제 8 항에 있어서, 상기 렌더링부는,
    각 픽셀이 가진 거리 정보를 이용하여 특정 크기의 프리미티브를 렌더링하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제 8 항에 있어서, 상기 톤맵은,
    상기 결과 영상으로 표현하고자하는 톤의 맵임을 특징으로 하는 이미지 처리 장치.
  11. 제 1 항에 있어서, 상기 벡터장은,
    렌더링되어야 할 프리미티브의 나열 방향 정보를 지시하는 벡터임을 특징으로 하는 이미지 처리 장치.
  12. 제 1 항에 있어서, 상기 스트럭쳐 그리드는,
    렌더링되어야 할 프리미티브의 위치 정보를 지시하는 구조체임을 특징으로 하는 이미지 처리 장치.
  13. 스트럭쳐 그리드를 이용한 이미지 처리 방법에 있어서,
    수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성 단계;
    상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성 단계; 및
    상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  14. 제 13 항에 있어서,
    상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  15. 제 13 항에 있어서, 상기 제 1 생성 단계는,
    상기 특징 픽셀에 해당하는 특징 라인맵을 생성하고, 상기 생성된 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간(interpolation)하여 상기 이미지 영상에 대한 벡터장을 생성하는 것을 특징으로 하는 이미지 처리 방법.
  16. 제 13 항에 있어서, 상기 제 2 생성 단계는,
    적어도 하나 이상의 벡터장을 이용해 해당 방향을 따라 일정 간격으로 반복되는 적어도 하나 이상의 스트라이프 패턴을 생성하는 것을 특징으로 하는 이미지 처리 방법.
  17. 제 13 항에 있어서, 상기 제 2 생성 단계는,
    이미지 영상에 포함된 복수개의 픽셀들 중 적어도 하나의 픽셀로부터 소정 거리만큼 떨어진 스트라이프 패턴이 정의하는 것을 특징으로 하는 이미지 처리 방법.
  18. 제 13 항에 있어서,
    상기 스트럭쳐 그리드에서 격자 교점 및 격자 선에 해당하는 위치를 추정하는 후처리 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  19. 제 18 항에 있어서, 상기 후처리 단계는,
    상기 추정된 위치에 해당하는 격자 교점 및 격자 선의 모양을 변형하여 스트럭쳐 그리드를 개선하는 것을 특징으로 하는 이미지 처리 방법.
  20. 제 13 항에 있어서, 상기 렌더링 단계는,
    상기 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기를 결정하는 것을 특징으로 하는 이미지 처리 방법.
  21. 제 20 항에 있어서, 상기 렌더링 단계는,
    각 픽셀이 가진 거리 정보를 이용하여 특정 크기의 프리미티브를 렌더링하는 것을 특징으로 하는 이미지 처리 방법.
  22. 제 20 항에 있어서, 상기 톤맵은,
    상기 결과 영상으로 표현하고자하는 톤의 맵임을 특징으로 하는 이미지 처리 방법.
  23. 제 13 항에 있어서, 상기 벡터장은,
    렌더링되어야 할 프리미티브의 나열 방향 정보를 지시하는 벡터임을 특징으로 하는 이미지 처리 방법.
  24. 제 13 항에 있어서, 상기 스트럭쳐 그리드는,
    렌더링되어야 할 프리미티브의 위치 정보를 지시하는 구조체임을 특징으로 하는 이미지 처리 방법.
PCT/KR2011/003880 2011-02-08 2011-05-26 이미지 처리 방법 및 이를 위한 장치 WO2012108587A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012556997A JP5362130B2 (ja) 2011-02-08 2011-05-26 イメージ処理方法及びそのための装置
CN201180066733XA CN103403755A (zh) 2011-02-08 2011-05-26 图像处理方法及装置
EP11858292.3A EP2674909A4 (en) 2011-02-08 2011-05-26 IMAGE PROCESSING METHOD AND DEVICE THEREOF
US13/266,047 US9019303B2 (en) 2011-02-08 2011-05-26 Method of processing image and apparatus for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0010978 2011-02-08
KR1020110010978A KR101207084B1 (ko) 2011-02-08 2011-02-08 이미지 처리 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
WO2012108587A1 true WO2012108587A1 (ko) 2012-08-16

Family

ID=46638788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/003880 WO2012108587A1 (ko) 2011-02-08 2011-05-26 이미지 처리 방법 및 이를 위한 장치

Country Status (5)

Country Link
EP (1) EP2674909A4 (ko)
JP (1) JP5362130B2 (ko)
KR (1) KR101207084B1 (ko)
CN (1) CN103403755A (ko)
WO (1) WO2012108587A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092606A (zh) * 2021-11-30 2022-02-25 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470357B1 (ko) * 2013-04-22 2014-12-09 중앙대학교 산학협력단 3차원 대상 객체의 헤드컷 렌더링 장치 및 방법
WO2015195882A1 (en) * 2014-06-18 2015-12-23 James Collier Methods and apparatus for cryptography
WO2016072559A1 (ko) * 2014-11-05 2016-05-12 전자부품연구원 3d 콘텐츠 제작 방법 및 시스템
US11270474B2 (en) * 2018-12-05 2022-03-08 Sony Corporation Screen-tone look generator
CN109949384B (zh) * 2019-02-14 2024-01-26 云南大学 基于增量Voronoi序列即时生成彩色点画的方法
KR102268758B1 (ko) * 2019-07-03 2021-06-24 제이피아이헬스케어 주식회사 X-선 영상 처리 방법 및 컴퓨터 판독 가능한 저장매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171644A1 (en) * 2001-03-31 2002-11-21 Reshetov Alexander V. Spatial patches for graphics rendering
US20100026683A1 (en) * 2005-03-30 2010-02-04 Japan Agency For Marine-Earth Science And Technology Method and program of visualizing structured grid data
US20100321478A1 (en) * 2004-01-13 2010-12-23 Ip Foundry Inc. Microdroplet-based 3-D volumetric displays utilizing emitted and moving droplet projection screens

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243211A (ja) * 1997-02-28 1998-09-11 Sanyo Electric Co Ltd 画像処理装置及び方法並びに記録媒体
JP4392082B2 (ja) * 1999-08-06 2009-12-24 ヒューレット・パッカード・カンパニー 彫版風ハーフトーン画像生成方法・装置
JP4105378B2 (ja) * 2000-10-10 2008-06-25 富士フイルム株式会社 画像変換装置及び画像変換方法
JP3673478B2 (ja) * 2001-02-13 2005-07-20 ニューリー株式会社 手書き調画像出力プログラム
JP4641957B2 (ja) * 2006-03-23 2011-03-02 彰 吉田 画像処理装置および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171644A1 (en) * 2001-03-31 2002-11-21 Reshetov Alexander V. Spatial patches for graphics rendering
US20100321478A1 (en) * 2004-01-13 2010-12-23 Ip Foundry Inc. Microdroplet-based 3-D volumetric displays utilizing emitted and moving droplet projection screens
US20100026683A1 (en) * 2005-03-30 2010-02-04 Japan Agency For Marine-Earth Science And Technology Method and program of visualizing structured grid data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092606A (zh) * 2021-11-30 2022-02-25 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN103403755A (zh) 2013-11-20
JP5362130B2 (ja) 2013-12-11
KR20120090508A (ko) 2012-08-17
KR101207084B1 (ko) 2012-12-04
JP2013511109A (ja) 2013-03-28
EP2674909A4 (en) 2014-11-19
EP2674909A1 (en) 2013-12-18

Similar Documents

Publication Publication Date Title
WO2012108587A1 (ko) 이미지 처리 방법 및 이를 위한 장치
CN109685869B (zh) 虚拟模型渲染方法与装置、存储介质、电子设备
US10861133B1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
KR100223495B1 (ko) 화상 처리 방법 및 장치
JP2009038523A (ja) 画像処理装置及び画像処理方法
CN109598673A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
JPH08510851A (ja) 画像処理方法及び装置
US20110273748A1 (en) Image processing device
JP5388559B2 (ja) 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム及び記憶媒体
US20040150656A1 (en) Image processing apparatus, image processing method, and image processing program
CN111476851A (zh) 图像处理方法、装置、电子设备及存储介质
CN114862722B (zh) 一种图像亮度增强实现方法及处理终端
CN112862943A (zh) 虚拟模型渲染方法、装置、存储介质及电子设备
WO2023193613A1 (zh) 高光渲染方法、装置、介质及电子设备
US9262704B1 (en) Rendering images to lower bits per pixel formats using reduced numbers of registers
JP4108517B2 (ja) ハーフトーン化処理方法及びハーフトーン化処理システム
CN111093045B (zh) 一种缩放视频序列分辨率的方法及装置
CN109242750B (zh) 图片签名方法、图片匹配方法、装置、设备及存储介质
CN109584172A (zh) 基于迭代模糊超限学习机的背光补偿方法及装置
EP3699863A1 (en) Image interpretation device
WO2008015836A1 (fr) Dispositif, système et procédé de traitement d&#39;image
JP4710508B2 (ja) 画像処理プログラム、画像処理装置
JP4345027B2 (ja) 画像処理プログラムおよび画像処理装置
US20130265303A1 (en) Mosaic image processing apparatus using three-dimensional information, and program
CN115209003A (zh) 一种环视图像白平衡方法和装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13266047

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012556997

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11858292

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011858292

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE