KR20100124077A - Apparatus and method for generating non-photorealistic video using non-photorealistic rendering, and the recording media storing the program performing the said method - Google Patents
Apparatus and method for generating non-photorealistic video using non-photorealistic rendering, and the recording media storing the program performing the said method Download PDFInfo
- Publication number
- KR20100124077A KR20100124077A KR1020090043138A KR20090043138A KR20100124077A KR 20100124077 A KR20100124077 A KR 20100124077A KR 1020090043138 A KR1020090043138 A KR 1020090043138A KR 20090043138 A KR20090043138 A KR 20090043138A KR 20100124077 A KR20100124077 A KR 20100124077A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- flow
- image
- adjacent
- vector
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to an apparatus for generating a non-realistic image, a method thereof, and a recording medium on which a program for implementing the method is recorded. More specifically, the present invention relates to an apparatus for generating a non-realistic image using non-photorealistic rendering (NPR), a method thereof, and a recording medium on which a program for implementing the method is recorded.
최근 컴퓨터 그래픽스 분야나 컴퓨터 비젼 분야에서의 이미지(2차원 이미지 또는 3차원 이미지)의 스타일화에 관한 문제는 현실 속에 존재하는 예술적 창작 방법론을 실사 기반으로 묘사하는 방법으로 진행되고 있다. 이러한 스타일화 기법의 대표적인 예로 스트로크(stroke)에 기반한 유화 렌더링 기법과 라인 드로잉 기법 등을 들 수 있다. 유화 렌더링 기법의 경우 실사로 입력된 이미지를 비실사적으로 표현하기 위해 스트로크 형태의 텍스처를 주어진 입력에 적용하여 새롭게 렌더링한다. 반면, 라인 드로잉 방법은 이미지에 나타난 물체의 형태를 최대한 유지하기 위 해 편향치 에너지를 기반으로 하여 스트로크 텍스처를 배치시킨다.Recently, the problem of styling an image (2D image or 3D image) in the field of computer graphics or computer vision has been progressed as a method of describing the artistic creative methodology existing in reality based on photorealistic basis. Representative examples of such styling techniques include stroke-based oil painting rendering techniques and line drawing techniques. In the case of the oil painting rendering technique, a stroke-type texture is newly applied by applying a stroke-like texture to a given input in order to render the image input due to the photorealistic. On the other hand, the line drawing method arranges the stroke texture based on the bias energy in order to maintain the shape of the object in the image as much as possible.
그런데, 이러한 종래 방법들 중 이미지의 추상화를 위해선 양방향 필터링 (bilateral filtering)을 대표적으로 사용하였다. 기존의 기법의 경우 필터의 커널 형태가 등방형(isotropic)이기 때문에 이미지에서 곡선 형태의 특징점이 제거되며, 추상화된 이미지에 앨리어싱(aliasing)이 발생하는 문제점이 있다.However, among these conventional methods, bilateral filtering is typically used for abstraction of images. In the conventional technique, since the kernel shape of the filter is isotropic, the curved feature is removed from the image, and aliasing occurs in the abstracted image.
또한, 종래 필터 기반이 아닌 스트로크 기반의 스타일화 방법들은 계산량이 매우 복잡하여 실시간으로 비디오를 추상화시키는 것이 불가능하였다. 즉, 종래에는 많은 계산량을 요구하는 비디오 스타일화 보다는 이미지 스타일화가 중시되는 경향이 있어왔다.In addition, the stroke-based styling methods, which are not conventional filter-based, are very complicated in computation and it is impossible to abstract video in real time. In other words, image styling has tended to focus on video styling, which requires a large amount of computation.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a non-real-time image generating apparatus for abstracting a video through filtering having an anisotropic kernel shape, a method thereof, and a recording medium on which a program for implementing the method is recorded. It is done.
또한, 본 발명은 플로우 벡터 필드에 기반하여 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.Another object of the present invention is to provide an apparatus for generating a non-realistic image that abstracts a video based on a flow vector field, a method thereof, and a recording medium on which a program for implementing the method is recorded.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다.The present invention has been made to achieve the above object, the reference to the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than a predetermined reference value A flow field generating unit generating a flow vector from a pixel to the first adjacent pixel and generating a flow field consisting of a unidirectional flow of the generated flow vectors; And determining the color of the flow pixel using the color of the image pixels and the color of the flow pixel overlapping the flow pixel positioned on the generated flow field according to the one-way movement of the image pixels included in the image. And an image styling unit configured to generate an unrealized image of the image based on the determined color of the flow pixel.
바람직하게는, 상기 비실사 영상 생성 장치는 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 텍스처 톤 매핑부를 더 포함한다. 더 바람직하게는, 상기 텍스처 톤 매핑부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하여 상기 질감 영상을 획득한다.Preferably, the non-realistic image generating apparatus further includes a texture tone mapping unit configured to overlay a predetermined texture image on the generated non-realistic image. More preferably, the texture tone mapping unit repeats the one-way movement of the image pixels at least twice, and when performing the repetition, the texture tone mapping unit performs the at least one adjacent pixel of the adjacent pixels in the reference pixel. Considering a speed control parameter controlling the moving speed of the reference pixel according to the average value of the vector toward the pixel window, or a speed control parameter controlling the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels. Acquire a texture image.
바람직하게는, 상기 영상 스타일화부는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 파티클 시뮬레이션부; 및 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 비실사 영상 생성부를 포함한다.Preferably, the image styling unit comprises: a particle simulation unit for determining the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels overlap the flow pixel; And a non-real image generating unit generating the non-real image based on the determination when the colors of all the flow pixels positioned on the generated flow field are determined.
더 바람직하게는, 상기 플로우 필드 생성부는 상기 플로우 벡터를 생성하는 경우, 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출부; 및 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 플로우 벡터 생성부를 포함한다.More preferably, when the flow field generator generates the flow vector, the flow field generator may be configured to perform at least one second neighboring pixel in which the amount of color change is greater than the reference value in comparison with the reference pixel among the adjacent pixels in the image. A deflection value vector extracting unit which extracts a deflection value vector from a reference pixel to the second adjacent pixel; And a flow vector generator for generating the flow vector which is a difference value between the extracted deflection value vectors.
바람직하게는, 상기 플로우 필드 생성부는 상기 추출된 편향치 벡터들을 스 무딩(smoothing)시키는 편향치 벡터 안정화부; 또는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화부를 더 포함한다. 더 바람직하게는, 상기 플로우 필드 생성부는 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 더욱더 바람직하게는, 상기 편향치 벡터 안정화부는 상기 추출된 편향치 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다.Preferably, the flow field generation unit comprises a deflection value vector stabilizing unit for smoothing the extracted deflection value vectors; Or a flow vector stabilizer for smoothing the generated flow vectors to generate the flow field. More preferably, the flow field generating unit includes adjacent pixels adjacent to the reference pixel from the adjacent pixels adjacent to the reference pixel or at least one neighboring image frame adjacent to the image frame in the same image frame as the adjacent pixels. Use them. Even more preferably, the deflection vector stabilization unit is a magnitude weighting function that weights according to the magnitude difference between two adjacent deflection vector vectors when smoothing the extracted deflection vector, and between two adjacent deflection vector vectors. Consider a weighting function of at least one of a directional weighting function weighted according to each size, and a color weighting function weighted according to a color difference between two pixels each including two adjacent bias vector.
바람직하게는, 상기 파티클 시뮬레이션부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.Preferably, the particle simulation unit repeats the one-way movement of the image pixels at least twice, and when performing the repetition, the particle window at the reference pixel with respect to a pixel window including at least one adjacent pixel among the adjacent pixels. Consider a speed control parameter that controls the moving speed of the reference pixel according to the average value of the vector heading toward or a speed control parameter that controls the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels.
바람직하게는, 상기 플로우 벡터 생성부는 동일한 길이를 가지며 서로 인접하는 두 편향치 벡터들로부터 접선 벡터를 계산하는 접선 벡터 계산부; 및 상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 근사값 계산부 를 포함한다.Preferably, the flow vector generation unit comprises: a tangential vector calculator for calculating a tangential vector from two deflection value vectors having the same length and adjacent to each other; And an approximation calculator for calculating the approximation of the calculated tangential vector to generate the flow vector.
바람직하게는, 상기 플로우 필드 생성부는 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.Preferably, the flow field generator uses an adjacent pixel having the minimum amount of color change as the first adjacent pixel, and uses an adjacent pixel having the maximum amount of color change as the second adjacent pixel.
또한, 본 발명은 (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 단계; 및 (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 단계를 포함한다.In addition, the present invention (a) the at least one first adjacent pixel of the color change in comparison with the reference pixel of the adjacent pixels adjacent to the reference pixel in the image is smaller than the predetermined reference value in the first pixel in the reference pixel Generating a flow vector directed to a pixel, the flow field comprising a one-way flow of the generated flow vectors; And (b) using the colors of the image pixels and the color of the flow pixels to overlap the flow pixels positioned on the generated flow field according to the one-way movement of the image pixels included in the image. And generating a non-realistic image of the image based on the determined color of the flow pixel.
바람직하게는, 상기 비실사 영상 생성 방법은 상기 (b) 단계의 이후 단계로 (c) 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 단계를 더 포함한다.Preferably, the method for generating a non-realistic image further includes (c) overlaying a predetermined texture image on the generated non-realistic image as a step after the step (b).
바람직하게는, 상기 (b) 단계는 (ba) 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 단계; 및 (bb) 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상 기 비실사 영상을 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (ba) 단계는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.Preferably, the step (b) includes determining the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels are superimposed on the flow pixel. ; And (bb) generating a non-realistic image based on the determination when the colors of all the flow pixels positioned on the generated flow field are determined. More preferably, the step (ba) repeats the one-way movement of the image pixels at least twice, and at the reference pixel with respect to a pixel window including at least one adjacent pixel among the adjacent pixels during the repetition. Consider a speed control parameter for controlling the moving speed of the reference pixel according to the average value of the vector toward the pixel window or a speed control parameter for controlling the moving speed of the flow pixel according to the color difference between the flow pixel and the image pixels. .
바람직하게는, 상기 (a) 단계는 (aa) 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 단계; (ab) 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 단계; 및 (ac) 상기 생성된 플로우 벡터들로부터 상기 플로우 필드를 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (aa) 단계와 상기 (ab) 단계의 중간 단계는 상기 추출된 편향치 벡터들을 스무딩시키는 단계를 포함하거나, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시킨다. 또한, 상기 (ac) 단계는 상기 플로우 필드를 생성시킬 때에 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 또한, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중 치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다. 또한, 상기 (aa) 단계는 상기 편향치 벡터를 추출할 때에 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.Preferably, the step (a) comprises: (aa) at least one second neighboring pixel in the reference pixel with respect to at least one second neighboring pixel whose color variation is greater than the reference value in comparison with the reference pixel among the adjacent pixels in the image; Extracting a bias vector directed to two adjacent pixels; (ab) generating the flow vector which is a difference value between the extracted deflection value vectors; And (ac) generating the flow field from the generated flow vectors. More preferably, the intermediate step of step (aa) and step (ab) includes smoothing the extracted deflection value vectors, or step (ac) smoothes the generated flow vectors to form the flow. Create a field. In addition, the step (ac) is the reference pixel from the adjacent pixels adjacent to the reference pixel in the same image frame or at least one neighboring image frame neighboring the image frame when generating the flow field. Use adjacent pixels adjacent to. In addition, the step (ac) is a size weighting function that gives a weighting value according to the magnitude difference between two adjacent deflection vector vectors when smoothing the generated flow vectors, and according to the angle angle between two adjacent deflection vector vectors. Consider a weighting function of at least one of a weighting direction weighting function and a color weighting function weighting according to a color difference between two pixels each including two adjacent bias vector. In addition, the step (aa) uses an adjacent pixel having the minimum amount of color change as the first adjacent pixel when extracting the deflection value vector, and uses an adjacent pixel having the maximum amount of color change as the second adjacent pixel. .
본 발명에 따르면, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시킴으로써 비디오 내부 물체가 가지는 곡면적 특징을 그대로 유지할 수 있으며, 종래보다 더욱 비사실적 특징이 두드러지는 비디오를 생성할 수 있다.According to the present invention, by abstracting the video through an anisotropic filtering of the kernel shape, the curved feature of the object inside the video can be maintained as it is, and a video having more unrealistic features can be produced.
또한, 본 발명에 따르면, 플로우 벡터 필드에 기반하여 비디오를 추상화시킴으로써 종래보다 연산량을 감축시킬 수 있고, 동일 연산의 반복으로 이루어지는 추상화 과정을 통해 GPU를 사용한 가속화 알고리즘 구현이 가능하며, 실시간으로 비디오를 추상화시킬 수 있다.In addition, according to the present invention, by abstracting the video based on the flow vector field, it is possible to reduce the amount of computation compared to the prior art, it is possible to implement the acceleration algorithm using the GPU through the abstraction process consisting of the repetition of the same operation, the video in real time Can be abstracted
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.
도 1은 본 발명의 바람직한 실시예에 따른 NPR(Non-Photorealistic Rendering) 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다. 도 1에 따르면, 본 실시예에 따른 NPR 영상 생성 장치(100)는 영상 입력부(110), 플로우 필드 생성부(120) 및 영상 스타일화부(130)를 포함한다.1 is a block diagram schematically illustrating an internal configuration of a non-photorealistic rendering (NPR) image generating device according to an exemplary embodiment of the present invention. According to FIG. 1, the NPR
NPR 영상 생성 장치(100)는 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치이다. 비사실적 렌더링이란 인간의 감성적 표현 기법을 디지털 기술로 재현하는 것으로서, 사실성을 추구하는 사실적 렌더링(PR; Photorealistic Rendering)과 달리 사람이 손으로 그린 듯한 느낌의 영상을 생성한다. 비사실적 렌더링은 광원, 위치, 색상 등 외부 정보를 고려하여 영상의 주요 특징을 잘 표현하여 그 의미와 느낌을 효과적으로 전달하는 것을 목적으로 한다. 비사실적 렌더링은 잉크화, 펜화, 만화, 수채화 등의 전통적인 드로잉 방식과 새로운 형태의 예술적 표현을 포괄적으로 다룬다. 비사실적 렌더링은 다양한 디지털 콘텐트 제작에 활용되고 있으며, 특히 드라마 타이틀 화면이나 게임, 광고 등의 제작에 활발하게 적용되고 있다.The NPR
영상 입력부(110)는 플로우 필드 생성부(120)로 영상(video)을 입력하는 기능을 수행한다. 영상은 다수개의 프레임으로 구성된 비디오로, 본 실시예에서 픽셀 좌표가 X=(x, y, t)인 I(X)로 정의된다. 여기서, x×y는 공간 개념(space)을 나타내며, t는 시간 개념(time)을 나타낸다.The image input unit 110 performs a function of inputting a video to the flow field generator 120. An image is a video composed of a plurality of frames, and is defined as I (X) in which pixel coordinates are X = (x, y, t) in this embodiment. Here, x x y represents a space concept, and t represents a time concept.
플로우 필드 생성부(120)는 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 기능을 수행한다.The flow field generator 120 may be configured to perform at least one first neighboring pixel in which an amount of color change is smaller than a predetermined reference value in comparison with the reference pixel among adjacent pixels adjacent to the reference pixel in the image. A flow vector directed to a pixel is generated, and a flow field consisting of a unidirectional flow of the generated flow vectors is generated.
플로우 필드 생성부(120)는 본 실시예에서 편향치 벡터 추출부(121), 편향치 벡터 안정화부(122), 플로우 벡터 생성부(123), 플로우 벡터 안정화부(124) 등을 포함하여 이루어진다.The flow field generating unit 120 includes a deflection value
편향치 벡터 추출부(121)는 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터(gradient vector)를 추출하는 기능을 수행한다. 영상 프레임에서의 플로우 필드란 각 픽셀의 색상값을 기반으로 유사한 색상의 흐름을 따르는 방향을 의미한다. 따라서, 영상 프레임의 플로우 필드를 구성하기 위해서는 색상의 차이가 가장 큰 방향으로 구성되는 3차원 편향치 벡터(g(X)=▽I(X))를 먼저 계산해야 한다.The deflection
편향치 벡터 추출부(121)는 편향치 벡터를 추출하는 데에 소벨 오퍼레이터(sobel operator)를 이용한다. 본 실시예에서 추출되는 편향치 벡터가 3차원이므로, 소벨 오퍼레이터로 도 2에 도시된 바와 같이 큐빅 마스크(cubic mask)를 가지는 3차원 소벨 오퍼레이터를 이용한다. 소벨 오퍼레이터는 기준 프레임에 인접한 적어도 하나의 인접 프레임의 에지 화소들에 대한 가로 방향과 세로 방향의 에지 크기를 검출하는 기능을 수행한다.The deflection
편향치 벡터 추출부(121)는 각 축(x, y, t)에 대하여 가우시안 가중치(gaussian weight)를 할당하며 gx(X), gy(X), gt(X)를 계산한다. 여기서, gx(X), gy(X), gt(X)란 각각 x축, y축, t축에 따른 색상 변화량을 의미한다.The deflection
그런데, 소벨 오퍼레이터에 의해 추출된 편향치 벡터는 비디오 노이즈(video noise)나 균등 영역(homogeneous region)의 부재로 인해 불연속적인 경우가 많다. 그래서, 편향치 벡터를 안정화시키는 과정이 필요하다. 본 실시예에서는 이 안정화 기능을 편향치 벡터 안정화부(122)가 수행한다. 편향치 벡터 안정화부(122)가 편향치 벡터를 안정화시키면 편향치 벡터의 코히어런스(coherence)를 향상시킬 수 있다.However, the bias vector extracted by the Sobel operator is often discontinuous due to the absence of video noise or homogeneous regions. Thus, a process of stabilizing the deflection vector is necessary. In the present embodiment, the
편향치 벡터의 안정화 방법은 편향치 벡터의 연속성을 보정하기 위해 반복적 형태의 벡터 안정화 과정인 ETF(Edge Tangent Flow) 생성 방법을 이용한다. 이하 이에 대해 설명한다.The stabilization method of the bias vector uses an ETF (Edge Tangent Flow) generation method, which is an iterative vector stabilization process, to correct the continuity of the bias vector. This will be described below.
본 실시예에서 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대한 인접 픽셀을 이용한다. 인접 픽셀은 도 3에 도시된 바와 같이 공간적 인접(spatial neighborhood) 픽셀과 일시적 인접(temporal neighborhood) 픽셀로 구분된다. 공간적 인접 픽셀(Ω(X))은 동일 영상 프레임에서 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미하며, 일시적 인접 픽셀(Ψ(X))은 기준 픽셀이 속하는 기준 영상 프레 임에 인접하는 적어도 하나의 인접 영상 프레임으로부터 상기 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미한다. 여기서, 인접 영상 프레임의 범위는 기준 영상 프레임이 t번째 프레임일 경우 (t-v)번째 프레임 ~ (t+v)번째 프레임이다. t는 현재 영상 프레임의 인덱스를 의미하며, v는 일시적 인접 픽셀에 해당하는 커널들의 반경을 의미한다.In the present embodiment, adjacent pixels to reference pixels are used when stabilizing the three-dimensional deflection vector. Adjacent pixels are divided into spatial neighborhood pixels and temporary neighborhood pixels as shown in FIG. 3. The spatial neighboring pixel Ω (X) means at least one pixel adjacent to the reference pixel in the same image frame, and the temporary neighboring pixel Ψ (X) is at least one adjacent to the reference image frame to which the reference pixel belongs. Means at least one pixel adjacent to the reference pixel from an adjacent image frame of. Here, the range of the adjacent video frame is a (t-v) th frame to a (t + v) th frame when the reference video frame is a t th frame. t denotes an index of the current image frame, and v denotes a radius of kernels corresponding to the temporarily adjacent pixel.
본 실시예에서는 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대해 공간적 인접 픽셀과 일시적 인접 픽셀을 고려하여 비선형 벡터 스무딩(smoothing)을 수행한다. 이를 수학식으로 표시하면 다음과 같이 비선형 가중치 합 함수로 나타낼 수 있다.In the present embodiment, when stabilizing a three-dimensional deflection vector, nonlinear vector smoothing is performed in consideration of spatial neighboring pixels and temporary neighboring pixels with respect to a reference pixel. If this is expressed as an equation, it can be expressed as a nonlinear weighted sum function as follows.
수학식 1에서, g(X)는 3차원 편향치 벡터, u는 Ω(X) 커널들의 반경, v는 Ψ(X) 커널들의 반경, k는 벡터를 정규화시키는 상수이다. 또한, wm, wd, wc 등 3종류의 가중치 함수들은 기준 픽셀의 좌표(X)와 그에 인접하는 인접 픽셀의 좌표(Y) 사이의 픽셀별 색상 유사도에 따라 스무딩 가중치를 할당하기 위한 것이다.In
wm은 크기 가중치 함수(magnitude weight function)로, 영상에서의 특징점의 방향을 유지시키기 위한 것이다. wm을 수학식으로 나타내면 다음과 같다.w m is a magnitude weight function for maintaining the direction of feature points in an image. When w m is expressed as an equation, it is as follows.
수학식 2에서, 는 정규화된 편향치 벡터의 크기를 의미한다. 즉, 는 [0, 1] 도메인을 가지는 편향치 벡터의 크기를 의미한다.In Equation 2, Is the magnitude of the normalized bias vector. In other words, Denotes the magnitude of the bias vector having the [0, 1] domain.
wm은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기 차에 따라 단조 증가하는 함수이다. 그래서, wm은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기가 기준 픽셀의 편향치 벡터(g(X))보다 상대적으로 클 경우 높은 값을 가진다. 다시 말해, wm은 영상의 특징점 위에 있는 플로우 벡터의 방향을 보존하기 위한 함수라 볼 수 있다.w m is a function that monotonically increases depending on the magnitude difference between the deflection vector g (X) and g (Y) between two neighboring pixels. Therefore, w m has a high value when the magnitudes of the deflection value vectors g (X) and g (Y) between two neighboring pixels are relatively larger than the deflection value vectors g (X) of the reference pixel. In other words, w m can be regarded as a function for preserving the direction of the flow vector above the feature point of the image.
wd는 방향 가중치 함수(directional weight function)로, 기준 편향치 벡터가 인접 편향치 벡터와 방향이 비슷할 경우 더욱 높은 가중치를 부여한다. wd는 다음 수학식으로 표현할 수 있다.w d is a directional weight function, which gives a higher weight when the reference deflection vector is similar in direction to the adjacent deflection vector. w d can be expressed by the following equation.
수학식 3에서, g(·)는 정규화된 편향치 벡터이다.In Equation 3, g (·) is a normalized bias vector.
wd는 고려되는 두 편향치 벡터(g(X), g(Y))가 평행에 가까울수록(즉, 두 편 향치 벡터의 사이각이 0° 또는 180°에 가까울수록) 큰 값을 가진다. 반면, 고려되는 두 편향치 벡터가 수직에 가까울수록(즉, 사이각이 90°에 가까울수록) 작은 값을 가진다.w d has a larger value as the two deflection vector (g (X), g (Y)) considered closer to parallel (ie, the angle between the two deflection vector is closer to 0 ° or 180 °). On the other hand, the closer the two deflection vector vectors considered (ie, the closer the angle is between 90 °), the smaller the value.
wc는 컬러 가중치 함수(color weight function)로, 일시적 인접 픽셀들의 편향치 벡터의 방향을 스무딩하는 데에 이용된다. wc는 다음 수학식으로 나타낸다.w c is a color weight function, which is used to smooth the direction of the deflection vector of temporally adjacent pixels. w c is represented by the following equation.
수학식 4에서, 는 [0, 1] 도메인을 가지는 정규화된 색상값을 의미한다.In
wc는 기준 픽셀과 인접 픽셀 사이의 색상 차가 작을수록 증가하는 경향을 보인다. 결과적으로, wc는 유사 색상값을 가지는 편향치 벡터들의 변화량을 감소시키며, 영상 프레임에서 편향치 벡터 필드들 간의 시간 일관성(temporal coherence)을 향상시킨다.w c tends to increase as the color difference between the reference pixel and the adjacent pixel becomes smaller. As a result, w c reduces the amount of variation of the bias vectors having similar color values, and improves temporal coherence between the bias vector fields in the image frame.
마지막으로, φ(X,Y)는 두 편향치 벡터의 끼인각이 내각이 아닐 경우 내각으로 만들어주기 위한 사인 함수로, 다음과 같은 수학식으로 나타낼 수 있다.Finally, φ (X, Y) is a sine function for making the cabinet when the included angle of the two deflection value vectors is not the cabinet, and can be expressed by the following equation.
수학식 1 ~ 수학식 5를 참조하여 상술한 내용은 이웃하는 두 편향치 벡터(기준 편향치 벡터와 인접 편향치 벡터)에 대한 것이다. 그런데, 영상의 특징점들을 따라 추출되는 편향치 벡터들은 3개 이상인 것이 일반이다. 따라서, 본 실시예에서 편향치 벡터의 안정화 방법은 다음과 같이 정리될 수 있다.The above descriptions with reference to
제1 단계에서, 소벨 필터에 의해 추출된 최초의 편향치 벡터를 기준 편향치 벡터 g0(X)로 설정한다. 제2 단계에서, g0(X)를 수학식 1에 적용시켜 g0(X)를 안정화시킨다. 제3 단계에서, gi(X)→gi+1(X)에 따라 g1(X)를 새로운 기준 편향치 벡터로 설정한다. 제4 단계에서, g1(X)를 수학식 1에 적용시켜 g1(X)를 안정화시킨다. 제3 단계와 제4 단계는 추출된 모든 편향치 벡터들이 안정화될 때까지 반복된다.In the first step, the first deflection vector extracted by the Sobel filter is set as the reference deflection vector g 0 (X). In a second step, g 0 (X) is applied to equation (1) to stabilize g 0 (X). In a third step, set g 1 (X) as the new reference deflection vector according to g i (X) → g i + 1 (X). In a fourth step, g 1 (X) is applied to equation ( 1 ) to stabilize g 1 (X). The third and fourth steps are repeated until all extracted deflection value vectors have stabilized.
플로우 벡터 생성부(123)는 PDE(Partial Difference Equation)를 적용함으로써 안정화된 편향치 벡터로부터 플로우 벡터를 생성하는 기능을 수행한다. 편향치 벡터와 플로우 벡터는 반대적 개념을 가지므로, 일반적으로 2차원에서는 편향치 벡터를 수직 방향으로 회전시킴으로써 플로우 벡터를 구할 수 있다. 그런데, 3차원에서는 벡터의 무한대가 정규화된 편향치 벡터를 가지는 접평면과 수직이다. 따라서, 3차원에서는 후술하는 방법에 따라 편향치 벡터로부터 플로우 벡터를 계산한다. 이하 설명은 도 4를 참조한다.The
도 4의 (a)를 참조하면, 편향치 벡터들은 색상 변화량이 최대인 방향을 따른다. 그래서, 이미지에서 대부분의 에지와 수직이어야 한다. 편향치 벡터 필드가 충분히 스무드(smooth)하고 각각의 편향치 벡터가 일정한 길이를 가진다면, 도 4의 (b)에 도시된 바와 같이 이웃하는 두 편향치 벡터들 간의 차이값을 계산함으로써 에지 곡선(edge curve)의 탄젠트(tangent)를 획득할 수 있다. 본 실시예에서 이 기능은 접선 벡터 계산부가 수행한다. 이후, 이웃하는 두 편향치 벡터들을 대상으로 적어도 두개의 접선 벡터를 획득하며 이 접선 벡터들의 근사값을 계산한다. 본 실시예에서 이 기능은 근사값 계산부가 수행한다. 그러면, 도 4의 (c)에서 보는 바와 같이 색상 변화량이 최소한 방향을 따르는 편향치 벡터들의 흐름, 즉 플로우 벡터를 계산할 수 있다. 플로우 벡터 계산 방법은 다음 수학식을 따른다.Referring to FIG. 4A, the deflection value vectors follow a direction in which the color change amount is maximum. So it should be perpendicular to most edges in the image. If the deflection vector field is sufficiently smooth and each deflection vector has a constant length, the edge curve (by calculating the difference value between two neighboring deflection vector vectors as shown in FIG. A tangent of an edge curve may be obtained. In this embodiment, this function is performed by the tangential vector calculator. Then, at least two tangent vectors are obtained for two neighboring deflection vector vectors, and an approximation of the tangent vectors is calculated. In this embodiment, this function is performed by an approximation calculator. Then, as shown in (c) of FIG. 4, it is possible to calculate the flow of the deflection value vectors, that is, the flow vector, at least in the direction of color change. The flow vector calculation method follows the following equation.
수학식 6을 참조하면, 3차원 플로우 벡터의 근사치는 안정화된 3차원 편향치 벡터를 한번 더 미분함으로써 얻을 수 있음을 알 수 있다.Referring to
다시 도 1을 참조하여 설명한다.This will be described with reference to FIG. 1 again.
플로우 벡터가 모두 계산되면, 플로우 벡터를 안정화시킬 필요가 있다. 이 기능은 플로우 벡터 안정화부(124)가 수행하며, 수학식 1 ~ 수학식 5를 토대로 한다. 즉, 수학식 1 ~ 수학식 5에 g(X), g(Y) 대신 f(X), f(Y)를 대입시킴으로써 플로우 벡터의 안정화를 구현한다. 본 실시예에서 플로우 벡터의 안정화 방법은 다음과 같이 정리된다.Once all of the flow vectors have been calculated, it is necessary to stabilize the flow vectors. This function is performed by the flow
제1 단계에서, 특정 플로우 벡터를 안정화 대상 플로우 벡터 f0(X)로 선정한 다. 제2 단계에서, f0(X)를 수학식 1에 적용시켜 f0(X)를 안정화시킨다. 제3 단계에서, fi(X)→fi +1(X)에 따라 f1(X)를 새로운 대상 플로우 벡터로 선정한다. 제4 단계에서, f1(X)를 수학식 1에 적용시켜 f1(X)를 안정화시킨다. 제3 단계와 제4 단계는 모든 플로우 벡터들을 안정화시킬 때까지 반복 수행한다. 한편, ft(X)<0일 때에는 f(X)의 방향을 리버싱(reversing)시킴으로써 시간축 t에 대한 플로우 벡터 필드의 흐름을 일정하게 유지시킬 수 있다.In a first step, a specific flow vector is selected as the stabilization target flow vector f 0 (X). In a second step, f 0 (X) is applied to equation (1) to stabilize f 0 (X). In a third step, f 1 (X) is selected as a new target flow vector according to f i (X) → f i +1 (X). In a fourth step, f 1 (X) is applied to equation ( 1 ) to stabilize f 1 (X). The third and fourth steps are repeated until all flow vectors are stabilized. On the other hand, when f t (X) < 0, the flow of the flow vector field on the time axis t can be kept constant by reversing the direction of f (X).
이상 설명한 플로우 벡터의 안정화 방법은 플로우 벡터 필드의 시간 일관성(temporal coherence)과 공간 일관성(spatial coherence)을 모두 향상시키는 효과를 얻을 수 있다.The stabilization method of the flow vector described above can obtain an effect of improving both temporal coherence and spatial coherence of the flow vector field.
영상 스타일화부(130)는 안정화된 플로우 벡터들을 기반으로 대상 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 구체적으로, 영상 스타일화부(130)는 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 이러한 영상 스타일화부(130)는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 포함한다.The image styling unit 130 generates a non-realistic image of the target image based on the stabilized flow vectors. In detail, the image styling unit 130 uses the color of the image pixels and the color of the flow pixel to overlap the flow pixel positioned on the generated flow field according to the one-way movement of the image pixels included in the image. A color of the flow pixel is determined, and a non-realistic image of the image is generated based on the determined color of the flow pixel. The image styling unit 130 includes a particle simulation unit 131 and a non-realistic
파티클 시뮬레이션부(131)는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 기능을 수행한다. 그리고, 비실사 영상 생성부(132)는 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 기능을 수행한다.The particle simulation unit 131 determines the color of the flow pixel by interpolating the color of the image pixels to the color of the flow pixel in consideration of the degree to which the image pixels overlap the flow pixel. The non-realistic
이하에서는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)가 각각 어떻게 상기 기능을 수행하는지 이에 대해 상세히 설명한다.Hereinafter, how the particle simulation unit 131 and the non-real
본 실시예에서는 대상 영상으로부터 비실사 영상을 생성하기 위해 영상에서의 각 픽셀 I(X)를 파티클(particle)로 가정하고 각각의 파티클을 플로우 벡터 필드의 진행 방향에 따라 흘려 보내는 것을 골자로 한다.In the present embodiment, each pixel I (X) in the image is assumed to be a particle to generate a non-realistic image from the target image, and each particle is flowed along the advancing direction of the flow vector field.
파티클 시뮬레이션부(131)는 각 파티클에 대해 픽셀 그리드(pixel grid)의 각 셀에 중첩하는 범위에 비례하여 픽셀 그리드에 색상값을 축적시킨다. 이때, 파티클의 색상값 축적은 예컨대 삼선형 보간법(trilinear interpolation)을 이용한다. 이후, 파티클 시뮬레이션부(131)는 픽셀 그리드에 축적된 색상값을 토대로 플로우 벡터 필드의 진행 방향에 따라 정렬된 컬러 패턴을 생성한다. 그러면, 플로우 벡터 필드는 시간적으로 평탄해지며, 컬러 패턴은 영상 프레임들 사이에서 일관성을 가진다. 상기한 내용을 정리해 보면, 픽셀의 색상값을 플로우 벡터 필드의 진행 방향에 따라 이웃 픽셀로 이동시키며 이웃 픽셀은 자신의 색상값을 이전 픽셀의 컬러값에 더해주는 과정을 반복함으로써, 플로우 벡터 필드의 진행 방향에 따라 유사한 색상으로 수렴된다는 것이다.The particle simulation unit 131 accumulates color values in the pixel grid in proportion to a range overlapping each cell of the pixel grid for each particle. At this time, the color value accumulation of the particles uses, for example, trilinear interpolation. Thereafter, the particle simulation unit 131 generates color patterns arranged according to the advancing direction of the flow vector field based on the color values accumulated in the pixel grid. The flow vector field then becomes flat in time, and the color pattern is consistent between image frames. In summary, the color value of the pixel is moved to the neighboring pixel according to the flow direction of the flow vector field, and the neighboring pixel repeats the process of adding its color value to the color value of the previous pixel, thereby advancing the flow vector field. Converging in a similar color by direction.
플로우 벡터 필드에서 플로우 벡터를 정규화시킨 후에는 각 픽셀 파티클의 속도를 선정해줄 필요가 있다. 그 이유는 파티클 기반의 시뮬레이션에서 파티클의 속도를 조절함으로써 추상화의 정도를 컨트롤할 수 있기 때문이다. 예컨대, 파티클의 속도가 느릴 경우 색상의 이동이 적으므로 영상의 디테일이 더욱 정확하게 보존된다. 반면, 파티클의 속도가 빠를 경우 색상의 이동이 많아지므로 보다 단순화된 색상 표현이 가능해지며 더욱 추상화된 영상을 생성할 수 있다. 도 5는 파티클의 속도(vg)에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다. 도 5에서 (a)는 입력 영상이며, (b)는 파티클의 속도가 느릴 경우(vg=0.5)의 시뮬레이션 영상이고, (c)는 파티클의 속도가 빠를 경우(vg=2.0)의 시뮬레이션 영상이다.After normalizing the flow vector in the flow vector field, it is necessary to select the velocity of each pixel particle. This is because in particle-based simulations, the degree of abstraction can be controlled by controlling the speed of the particles. For example, when particles are slow, the color shift is small, so the detail of the image is preserved more accurately. On the other hand, if the particle speed is fast, the color shifts more and more, thereby simplifying the color expression and creating a more abstract image. 5 is an exemplary diagram illustrating the degree of abstraction of an unrealized image according to the velocity of a particle v g . In FIG. 5, (a) is an input image, (b) is a simulation image when the particle speed is slow (v g = 0.5), and (c) is a simulation when the particle speed is fast (v g = 2.0). It is a video.
파티클 시뮬레이션부(131)부의 플로우 벡터 필드 기반 파티클 시뮬레이션을 수학식으로 나타내면 다음과 같다.The particle vector simulation based on the flow vector field of the particle simulation unit 131 is as follows.
수학식 7에서, vg와 vc는 각 픽셀 파티클의 속도 조절 파라미터이고, α는 색상의 축적 비율을 조절하는 가중치이다. α는 I(X+vgvcf(X))와 I(X) 사이의 중첩 영역의 부피에 따라 결정된다. 즉, α는 이동한 파티클이 다른 픽셀과 얼마나 겹쳐져 있는지 여부에 따라 결정된다.In
vg는 멀티 해상도(multi-resolution)의 형태와 유사한 시뮬레이션을 위해 비디오 프레임의 편향치 에너지를 기반으로 하여 구할 수 있다. 이에 따라, vg는 다음 수학식으로부터 구할 수 있다.v g can be obtained based on the bias energy of the video frame for a simulation similar to the form of multi-resolution. Accordingly, v g can be obtained from the following equation.
수학식 8에서, W(X)는 현재 픽셀 좌표 X에 이웃하는 공간적 인접 픽셀(spatial neighborhood)들을 정의하는 윈도우이다.In Equation 8, W (X) is a window defining spatial neighborhoods neighboring the current pixel coordinate X.
윈도우 내에 편향치 평균값이 높은 부분은 외곽선 부분이거나 주요한 특징점 요소일 가능성이 높으므로, 느린 속도로 파티클 시뮬레이션을 수행한다. 반면, 편향치 평균값의 크기가 낮은 부분은 보다 빠른 속도로 파티클 시뮬레이션을 수행한다. 이러한 방법은 추상화의 정도를 높여주는 데에 기여할 수 있다. 본 실시예에서 윈도우 W의 크기는 8×8이다.Part of the window with the highest mean value of deflection is likely to be an outline or a major feature point element, so we perform particle simulation at a slower rate. On the other hand, the lower part of the average value of the bias value performs the particle simulation at a higher speed. This method can contribute to increasing the degree of abstraction. In this embodiment, the size of the window W is 8x8.
vc는 색상차에 기반하는 또다른 속도 조절 파라미터이다. 이러한 vc는 파티클의 급격한 이동으로 영상에 구비되는 물체의 외곽선을 따라 픽셀 파티클이 침투하는 것을 방지하기 위해 필요하다. vc는 다음 수학식으로부터 구할 수 있다.v c is another speed control parameter based on the color difference. This v c is necessary to prevent pixel particles from penetrating along the outline of the object included in the image due to the rapid movement of the particles. v c can be obtained from the following equation.
수학식 9에서, 는 [0, 1] 사이의 도메인으로 정규화된 색상값을 의미한다.In Equation 9, Denotes a color value normalized to a domain between [0, 1].
앞서 언급했지만, vc의 적용에 따라 외곽선 특징점의 붕괴를 방지하는 효과를 얻을 수 있다. 그 이유는 vc 값이 파티클 시뮬레이션에 따라 원 픽셀과 이동된 픽셀의 증가 사이에서 색상차에 따라 감소하기 때문이다.As mentioned above, the application of v c can achieve the effect of preventing the collapse of outline feature points. This is because the v c value decreases with the color difference between the increase of the original pixel and the shifted pixel with particle simulation.
이상 설명한 파티클 기반 시뮬레이션에 따라 픽셀마다 색상값이 결정되면, 비실사 영상 생성부(132)는 이로부터 대상 영상에 대한 비실사 영상을 생성한다. 파티클 기반 시뮬레이션에 따라 비실사 영상을 생성하면 다음과 같은 효과를 얻을 수 있다. 첫째, 커널 필터를 사용하여 컨볼루션(convolution) 형태의 계산을 수행하지 않고 픽셀 단위로 단순 계산을 수행하기 때문에 계산 속도가 매우 빠르다. 둘째, 플로우 필드의 진행 방향을 따라가면서 색상이 축적되기 때문에 영상에서 물체의 형태를 유지하면서 추상화시킬 수가 있다. 세째, 바이레터럴 필터와 같이 반복적으로 적용 가능하므로 추상화의 정도를 용이하게 조절할 수 있다. 도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다. 도 6에서 (a) ~ (c)는 각각 반복 횟수가 5 iterations, 15 iterations, 30 iterations인 예이다.When the color value is determined for each pixel according to the particle-based simulation described above, the
본 실시예에서 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 거쳐 생성되는 비실사 영상은 대상 영상을 추상화시킨 추상화 비디오이다. 그런데, 본 실시예에서는 대상 영상에 대해 플로우 필드 기반 텍스처 톤 맵핑(texture tone mapping)을 수행하는 텍스처 톤 매핑부(133)를 더 부가시키는 것도 가능하다. 텍스처 톤 매핑부(133)는 대상 영상에 대해 손으로 그린 듯한 느낌을 보다 강조함으로 써 비실사 영상이 유화적 비디오로 구현되도록 한다.In the present embodiment, the non-realistic image generated through the particle simulation unit 131 and the
텍스처 톤 매핑부(133)는 이류 기반 텍스처 매핑 방법(advection based texture mapping)을 이용하여 각각의 픽셀에 시간 일관성을 가지는 텍스처 톤을 적용시킨다. 이에 따르면, 텍스처 톤 매핑부(133)는 플립핑 효과(flipping effect)나 샤워 도어 효과(shower door effect)와 같이 비디오 페인팅(video painting)의 전형적인 문제점을 줄이는 효과를 얻을 수 있다. 본 실시예에서 각 픽셀의 크기가 스트로크 텍스처(stroke texture)보다 작다면 텍스처 톤 매핑부(133)에 의해 플립핑 효과나 샤워 도어 효과를 더욱 줄일 수가 있다.The texture
본 실시예에서는 텍스처 톤 매핑부(133)가 유화적 비디오를 구현하기 위해 유사 픽셀 기반 접근법을 이용한다. 텍스처 톤 매핑부(133)가 텍스처 톤 맵을 생성하는 방법은 다음과 같다.In the present embodiment, the texture
초기 톤 맵 t0(X)는 [0, 1] 범위에서 의사 난수(pseudo random number)들로 가득차 있다. 초기 톤 맵 t0(X)는 도 7의 (a)에 도시된 바와 같다. 제1 단계에서, 입력 비디오의 플로우 필드를 이용하여 t0(X)에 대해 파티클 시뮬레이션을 수행한다. 이러한 파티클 시뮬레이션은 수학식 7을 이용한다.The initial tone map t 0 (X) is full of pseudo random numbers in the range [0, 1]. The initial tone map t 0 (X) is as shown in FIG. In a first step, particle simulation is performed on t 0 (X) using the flow field of the input video. This particle simulation uses equation (7).
본 실시예에서 비디오의 스타일화 과정을 위해 파티클 시뮬레이션은 다수회 반복된다. 이 과정이 제2 단계이며, 반복 횟수를 i라고 할 때 i번째 톤 맵 ti(X)는 도 7의 (b)와 같다.In this embodiment, the particle simulation is repeated many times for the styling process of the video. This process is the second step, and when the number of repetitions is i, the i th tone map t i (X) is as shown in FIG.
제3 단계에서는, 획득된 i번째 톤 맵 ti(X)를 비실사 영상에 오버레이시킨다. 이에 따라, 텍스처 톤 맵이 반영된 비실사 영상은 도 7의 (c)와 같다.In a third step, the obtained i-th tone map t i (X) is overlaid on the non-realistic image. Accordingly, the non-realistic image reflecting the texture tone map is as shown in FIG. 7C.
텍스처 톤 맵이 반영된 비실사 영상은 비디오의 방향적 특징들이 향상되며, 플로우 필드의 방향에 따라 정렬된 브러시형 스무딩을 생성할 수 있다. 즉, 대상 영상으로부터 유화적 비디오의 생성이 가능하다.The non-realistic image reflecting the texture tone map may improve the directional characteristics of the video and generate brush-type smoothing aligned with the direction of the flow field. That is, it is possible to generate an emulsion video from the target image.
3차원 플로우 필드를 사용한 비디오 스타일화의 결과를 확인하기 위해 입력 영상을 이용하여 바이레터럴 필터링 결과, 파티클 기반의 시뮬레이션 결과 및 톤 맵이 적용된 결과 등을 실험을 통해 도출해 보았다. 이하에서는 이에 대해 설명한다.In order to confirm the result of video styling using 3D flow field, the results of the bilateral filtering using the input image, the particle-based simulation result, and the result of applying the tone map were experimentally derived. This will be described below.
도 8은 종래 바이레터럴 필터링 결과와 본 실시예에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다. 도 8에서 (a)는 입력 영상이며, (b)는 바이레터럴 필터링을 통해 획득된 추상화 비디오이다. 또한, (c)는 플로우 기반 파티클 시뮬레이션이 적용된 추상화 비디오이며, (d)는 플로우 필드 기반 톤 맵이 적용된 유화적 비디오이다. (b)에서 보는 바와 같이 기존의 바이레터럴 필터링을 적용했을 경우 영상에서 주요한 특징점들이 사라지는 문제점이 있었다. 그러나, (c)에서 보는 바와 같이 플로우 필드 기반의 추상화를 적용하게 되면 곡선 형태가 보존되는 안정적인 추상화가 가능하다. 또한, (d)에서 보는 바와 같이 유화와 비슷한 느낌의 결과를 위해 질감을 이미지 형태로써 반영시키고 질감에서 얻어진 노말 벡터를 사용하여 플로우 필드를 흔들어 줌으로써 질감이 살아있는 추상화 결과를 생성할 수 있 다.8 is a diagram for comparing a conventional bilateral filtering result with a flow field based method according to the present embodiment. In FIG. 8, (a) is an input image, and (b) is an abstraction video obtained through bilateral filtering. In addition, (c) is an abstraction video to which flow-based particle simulation is applied, and (d) is an emulsion video to which a flow field-based tone map is applied. As shown in (b), when the existing bilateral filtering is applied, the main feature points disappear from the image. However, as shown in (c), if the flow field-based abstraction is applied, a stable abstraction in which the shape of the curve is preserved is possible. In addition, as shown in (d), it is possible to generate an abstraction result in which the texture is alive by reflecting the texture as an image form and shaking the flow field using the normal vector obtained from the texture for the result of an oil-like feeling.
도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다. 실험에 사용된 영상은 740×480의 해상도를 가지며 u=v=5이다. 도 9에서 (a)는 입력 영상이고, (b)는 반복 횟수가 20회일 때의 파티클 시뮬레이션의 결과 영상이며, (c)는 톤 맵이 적용된 결과 영상이다.9 is an experimental result diagram for confirming the result of video styling. The image used in the experiment has a resolution of 740 × 480 and u = v = 5. In FIG. 9, (a) is an input image, (b) is a result image of particle simulation when the number of repetitions is 20, and (c) is a result image to which a tone map is applied.
표 1은 종래 바이레터럴 필터링 방법과 본 실시예에 따른 플로우 기반 방법에 따라 영상을 스타일화했을 때에 소요되는 시간을 보여준다. 본 실험에서는 Intel Core2 Quad 2.40GHz 프로세서와 2GB 메모리를 가진 PC로 시간을 체크하였다. 표 1에서 보는 바와 같이, 반복 횟수가 20회일 경우 종래 바이레터럴 필터링 방법보다 본 실시예에 따른 플로우 기반 방법이 처리 속도가 더 빠르다는 것을 확인할 수 있다.Table 1 shows the time required when styling an image according to the conventional bilateral filtering method and the flow-based method according to the present embodiment. In this experiment, we checked the time with a PC with an Intel Core2 Quad 2.40GHz processor and 2GB of memory. As shown in Table 1, when the number of repetitions is 20, it can be seen that the flow-based method according to the present embodiment is faster than the conventional bilateral filtering method.
다음으로, 본 발명의 바람직한 실시예에 따른 비실사 영상(NPR 영상) 생성 방법을 설명한다. 도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다. 이하 설명은 도 10을 참조한다.Next, a non-realistic image (NPR image) generating method according to a preferred embodiment of the present invention will be described. 10 is a flowchart illustrating a method for generating a non-realistic image according to a preferred embodiment of the present invention. The following description refers to FIG. 10.
먼저, 영상 입력부(110)가 플로우 필드 생성부(120)의 편향치 벡터 추출부(121)로 영상을 입력한다(S10). 이후, 편향치 벡터 추출부(121)가 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터를 추출한다(S20). 이후, 편향치 벡터 안정화부(122)가 추출된 편향치 벡터를 안정화시킨다(S30).First, the image input unit 110 inputs an image to the deflection
플로우 벡터 생성부(123)는 안정화된 편향치 벡터로부터 플로우 벡터를 계산한다(S40). 이후, 플로우 벡터 안정화부(124)가 계산된 플로우 벡터를 안정화시킨다(S50). 안정화된 플로우 벡터에 대한 정보는 플로우 필드 생성부(120)로부터 영상 스타일화부(130)로 전송된다.The
파티클 시뮬레이션부(131)는 입력 영상에 대하여 파티클 기반의 시뮬레이션을 수행한다(S60). 파티클 기반의 시뮬레이션이 소정 횟수 반복됨에 따라 입력 영상의 추상화 정도가 결정된다. 이후, 비실사 영상 생성부(132)가 입력 영상을 추상화시킨 비실사 영상을 생성한다(S70).The particle simulation unit 131 performs particle-based simulation on the input image (S60). As the particle-based simulation is repeated a predetermined number of times, the degree of abstraction of the input image is determined. Thereafter, the
한편, S60 단계 이후 텍스처 톤 매핑부(133)가 추상화된 비실사 영상에 텍스처 톤 맵을 적용시키는 것도 가능하다(S65). 추상화된 영상에 텍스처 톤 맵이 적용되면 S70 단계에서 비실사 영상 생성부(132)가 유화적 비디오를 생성할 수 있게 된다.In operation S65, the texture
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, a magnetic tape, etc.), an optical reading medium (for example, a CD-ROM, a DVD, an optical data storage device, etc.). And storage media such as carrier waves (eg, transmission over the Internet).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
UCC의 제작을 위한 비전문적 영상 편집 툴을 포함하여, Adobe 등의 회사에서 제공하는 전문적인 영상 편집 툴에서도 사용자가 촬영한 영상을 추상화 또는 유화적 스타일화로 자동으로 바꾸어 주는 기능에 대한 시도가 계속되고 있다. 이러한 스타일화 기능의 목적은 전문가 또는 비전문가가 손쉽게 심미적 목적의 영상을 제작하는 것이며, 카툰 형태의 추상화 및 유화적 표현은 이러한 심미적 결과물의 대표적 예라 볼 수 있다. 하지만, 지금까지의 제공된 기능은 비디오(3차원 영상)보다는 이미지(2차원 영상)에 한정적이었으며, 비디오의 스타일화를 위해선 고성능의 컴퓨터가 요구되는 단점이 있었다.In addition to professional video editing tools for the production of UCC, professional video editing tools provided by companies such as Adobe continue to attempt to automatically convert a user's shot into abstraction or oil painting stylization. . The purpose of this styling function is to easily produce aesthetic images by experts or non-experts, and the abstraction and oil painting in the form of cartoons are representative examples of such aesthetic results. However, the functions provided so far have been limited to images (two-dimensional images) rather than video (three-dimensional images), and the disadvantage of requiring a high-performance computer for styling video.
본 발명은 기존의 비디오 스타일 결과보다 뛰어난 시간적 연계성을 가지며, 보다 빠른 계산 속도를 가지므로 현재 판매되는 다양한 영상 편집 툴에 높은 가치 로 추가될 수 있다. 또한, 독립적인 소프트웨어로써, 영화 산업이나 방송 산업 등에 적용될 수도 있다. 따라서, 본 발명은 국내외 영상 편집 툴 제작 업체에 코어 기술로 추가됨으로써, 세계 시장에서 관련 분야 점유율을 높이는 효과를 기대할 수 있다. 또한, 아직은 부족한 국내의 특수 효과 기술 시장에서 기존에 3차원 특수 효과가 아닌 영상 기반의 특수 효과의 기술적 선점으로 국내 뿐 아니라 세계적인 기술 선점까지도 기대할 수 있다.The present invention has a superior temporal linkage than the existing video style results, and has a faster calculation speed, and thus can be added to a variety of image editing tools on the market. In addition, as independent software, the present invention may be applied to a movie industry, a broadcast industry, or the like. Therefore, the present invention can be expected to increase the share of the relevant field in the global market by being added as a core technology to domestic and overseas image editing tool makers. In addition, in the domestic special effects technology market, which is still lacking, it is possible to expect not only domestic but also global technological preoccupation with technical preemption of image-based special effects instead of 3D special effects.
도 1은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다.1 is a block diagram schematically illustrating an internal configuration of an apparatus for generating a non-realistic image according to a preferred embodiment of the present invention.
도 2는 본 발명에 적용되는 3차원 소벨 오퍼레이터의 일실시 예시도이다.2 is an exemplary view of a three-dimensional Sobel operator applied to the present invention.
도 3은 본 발명에 적용되는 공간적 인접 픽셀과 일시적 인접 픽셀의 일실시 예시도이다.3 is a diagram illustrating one embodiment of spatially adjacent pixels and temporary adjacent pixels according to the present invention.
도 4는 본 발명에 따라 편향치 벡터로부터 플로우 벡터를 계산하는 방법에 대한 일실시 예시도이다.4 is an exemplary diagram illustrating a method of calculating a flow vector from a deflection value vector according to the present invention.
도 5는 파티클의 속도에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다.5 is an exemplary diagram illustrating the degree of abstraction of the unrealized image according to the speed of the particle.
도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다.6 is an exemplary diagram showing the degree of abstraction according to the number of iterations of particle simulation.
도 7은 본 발명에 따라 텍스처 톤 맵을 생성하는 방법에 대한 일실시 예시도이다.7 is an exemplary diagram illustrating a method of generating a texture tone map according to the present invention.
도 8은 종래 바이레터럴 필터링 결과와 본 발명에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다.8 is a diagram for comparing a conventional bilateral filtering result with a flow field based method according to the present invention.
도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다.9 is an experimental result diagram for confirming the result of video styling.
도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다.10 is a flowchart illustrating a method for generating a non-realistic image according to a preferred embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100 : NPR 영상 생성 장치 110 : 영상 입력부100: NPR image generating device 110: image input unit
120 : 플로우 필드 생성부 121 : 편향치 벡터 추출부120: flow field generation unit 121: deflection value vector extraction unit
122 : 편향치 벡터 안정화부 123 : 플로우 벡터 생성부122: deflection value vector stabilization unit 123: flow vector generation unit
124 : 플로우 벡터 안정화부 130 : 영상 스타일화부124: flow vector stabilization unit 130: image styling unit
131 : 파티클 시뮬레이션부 132 : 비실사 영상 생성부131: particle simulation unit 132: non-real image generating unit
133 : 텍스처 톤 매핑부133: texture tone mapping unit
Claims (22)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090043138A KR101060322B1 (en) | 2009-05-18 | 2009-05-18 | An apparatus and method for generating a non-realistic image using non-realistic rendering, and a recording medium having recorded thereon a program for implementing the method. |
PCT/KR2009/006711 WO2010134675A1 (en) | 2009-05-18 | 2009-11-16 | Apparatus and method for generating non-photorealistic image using non-photorealistic rendering, and recording medium wherein program for implementing the method is recorded |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090043138A KR101060322B1 (en) | 2009-05-18 | 2009-05-18 | An apparatus and method for generating a non-realistic image using non-realistic rendering, and a recording medium having recorded thereon a program for implementing the method. |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100124077A true KR20100124077A (en) | 2010-11-26 |
KR101060322B1 KR101060322B1 (en) | 2011-08-29 |
Family
ID=43126331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090043138A KR101060322B1 (en) | 2009-05-18 | 2009-05-18 | An apparatus and method for generating a non-realistic image using non-realistic rendering, and a recording medium having recorded thereon a program for implementing the method. |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101060322B1 (en) |
WO (1) | WO2010134675A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093856A2 (en) * | 2011-01-04 | 2012-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for creating a live artistic sketch of an image |
WO2012144715A1 (en) * | 2011-04-19 | 2012-10-26 | Park Deok-Eun | Method for painterly rendering based on the painting procedure of a painter |
KR101226990B1 (en) * | 2011-01-20 | 2013-01-29 | 연세대학교 산학협력단 | Method and apparatus for extracting outline from image |
KR101382595B1 (en) * | 2012-10-18 | 2014-04-10 | 연세대학교 산학협력단 | A method for stereoscopic stylization and apparatus for the same |
KR102336156B1 (en) * | 2021-03-03 | 2021-12-07 | (주)디피어소시에이츠 | Method and system for realizing ultra-high quality images |
WO2022186417A1 (en) * | 2021-03-03 | 2022-09-09 | (주)디피어소시에이츠 | Method and system for providing immersive content by using ultra-high-definition image |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101129084B1 (en) | 2011-09-14 | 2012-03-23 | 인하대학교 산학협력단 | Method for terrain rendering using biased vertex distribution |
KR102178260B1 (en) * | 2013-11-28 | 2020-11-12 | 삼성전자주식회사 | Image rendering apparatus and Method for outputting image thereof |
CN105574834B (en) * | 2015-12-23 | 2018-09-04 | 小米科技有限责任公司 | Image processing method and device |
CN106937120B (en) * | 2015-12-29 | 2019-11-12 | 北京大唐高鸿数据网络技术有限公司 | Object-based monitor video method for concentration |
KR102608466B1 (en) | 2016-11-22 | 2023-12-01 | 삼성전자주식회사 | Method and apparatus for processing image |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6593925B1 (en) * | 2000-06-22 | 2003-07-15 | Microsoft Corporation | Parameterized animation compression methods and arrangements |
JP4398785B2 (en) * | 2004-05-18 | 2010-01-13 | 日本電信電話株式会社 | Multidimensional data encoding method, multidimensional data decoding method, texture image creation method, apparatus for realizing the methods, and program for realizing the methods |
US7408550B2 (en) * | 2006-07-24 | 2008-08-05 | Bunnell Michael T | System and methods for real-time rendering of deformable geometry with global illumination |
US8203564B2 (en) * | 2007-02-16 | 2012-06-19 | Qualcomm Incorporated | Efficient 2-D and 3-D graphics processing |
-
2009
- 2009-05-18 KR KR1020090043138A patent/KR101060322B1/en not_active IP Right Cessation
- 2009-11-16 WO PCT/KR2009/006711 patent/WO2010134675A1/en active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093856A2 (en) * | 2011-01-04 | 2012-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for creating a live artistic sketch of an image |
WO2012093856A3 (en) * | 2011-01-04 | 2012-12-06 | Samsung Electronics Co., Ltd. | Method and apparatus for creating a live artistic sketch of an image |
KR101226990B1 (en) * | 2011-01-20 | 2013-01-29 | 연세대학교 산학협력단 | Method and apparatus for extracting outline from image |
WO2012144715A1 (en) * | 2011-04-19 | 2012-10-26 | Park Deok-Eun | Method for painterly rendering based on the painting procedure of a painter |
KR101382595B1 (en) * | 2012-10-18 | 2014-04-10 | 연세대학교 산학협력단 | A method for stereoscopic stylization and apparatus for the same |
KR102336156B1 (en) * | 2021-03-03 | 2021-12-07 | (주)디피어소시에이츠 | Method and system for realizing ultra-high quality images |
WO2022186417A1 (en) * | 2021-03-03 | 2022-09-09 | (주)디피어소시에이츠 | Method and system for providing immersive content by using ultra-high-definition image |
Also Published As
Publication number | Publication date |
---|---|
KR101060322B1 (en) | 2011-08-29 |
WO2010134675A1 (en) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101060322B1 (en) | An apparatus and method for generating a non-realistic image using non-realistic rendering, and a recording medium having recorded thereon a program for implementing the method. | |
Lee et al. | Directional texture transfer | |
US8665258B2 (en) | Generating a depth map based on a single image | |
WO2018040511A1 (en) | Method for implementing conversion of two-dimensional image to three-dimensional scene based on ar | |
Semmo et al. | Image stylization by interactive oil paint filtering | |
CN104732479B (en) | Resizing an image | |
Qian et al. | Gourd pyrography art simulating based on non-photorealistic rendering | |
Browning et al. | Stylized keyframe animation of fluid simulations | |
Kim et al. | Fire sprite animation using fire-flake texture and artificial motion blur | |
Wang et al. | Real-time coherent stylization for augmented reality | |
CN112516595B (en) | Magma rendering method, device, equipment and storage medium | |
Barla et al. | Gradient art: Creation and vectorization | |
Jin et al. | Convolution surfaces for arcs and quadratic curves with a varying kernel | |
Yoon et al. | Video painting based on a stabilized time-varying flow field | |
Montesdeoca et al. | Art-directed watercolor rendered animation | |
KR101461086B1 (en) | Apparatus and method for texture transfer for video animation | |
KR101715266B1 (en) | Line drawing method for 3d model using graphic accelerator and computer-readable recording medium storing for processing program using the same | |
US8766985B1 (en) | Generating animation using image analogies to animate according to particular styles | |
US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering | |
Kim et al. | Geometry image super-resolution with AnisoCBConvNet architecture for efficient cloth modeling | |
Semmo et al. | Interactive image filtering for level-of-abstraction texturing of virtual 3D scenes | |
US8358867B1 (en) | Painterly filtering | |
US7880743B2 (en) | Systems and methods for elliptical filtering | |
Chen et al. | Importance-driven composition of multiple rendering styles | |
Benjamin et al. | Painting with triangles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140515 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150812 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160823 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |