WO2013137522A1 - Method for removing image noise on basis of stochastic rendering - Google Patents

Method for removing image noise on basis of stochastic rendering Download PDF

Info

Publication number
WO2013137522A1
WO2013137522A1 PCT/KR2012/005322 KR2012005322W WO2013137522A1 WO 2013137522 A1 WO2013137522 A1 WO 2013137522A1 KR 2012005322 W KR2012005322 W KR 2012005322W WO 2013137522 A1 WO2013137522 A1 WO 2013137522A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise
rendering
stochastic
input noise
Prior art date
Application number
PCT/KR2012/005322
Other languages
French (fr)
Korean (ko)
Inventor
윤성의
문보창
김근호
전종윤
이종협
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2013137522A1 publication Critical patent/WO2013137522A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Definitions

  • the present invention relates to a method for removing noise in an image according to probabilistic rendering, and more particularly, to a method for removing noise in an image due to probabilistic rendering using a combined bidirectional filter.
  • the present invention has been made to meet the needs of the prior art, and is to provide a method for effectively removing noise while preserving image characteristics of an input noise image obtained through probabilistic rendering.
  • a method of removing noise from an image obtained from probabilistic rendering includes: obtaining an input noise image through probabilistic rendering; Obtaining an auxiliary image for the same object as the object of the input noise image; Receiving the input noise image and the auxiliary image, and using the auxiliary image as an estimated value of the input noise image, combine bidirectional filtering to obtain a resultant image.
  • Acquiring the auxiliary image may be performed through distributed ray tracing using flash shading.
  • the auxiliary image may include a virtual flash image and a depth image.
  • the probabilistic rendering may be performed through a stochastic global illumination method.
  • the root mean square (RMS) error of the reference image may be considerably reduced and the quality of the image may be improved.
  • FIG. 1 is a block diagram illustrating a method of removing noise of an image obtained through probabilistic rendering according to an embodiment of the present invention.
  • the Stochastic Global Illumination Method is used to produce high quality images from computer graphics.
  • the algorithm considers indirect lighting effects as well as direct lighting effects.
  • Direct lighting effects refer to the effects of light hitting an object directly into an imaginary lens from a light source
  • indirect lighting effects refer to the effects of light hitting another object and reflected light hitting the object again and entering the virtual lens. .
  • BRDF bidirectional reflectance distribution function
  • This stochastic global illumination method can produce high quality rendered images, but it takes a lot of time to produce noiseless images. In other words, a sufficiently large number of samples are required to obtain a noise-free rendered image through a stochastic illumination method. In this case, when the number of samples is insufficient, the resulting image includes noise.
  • Distributed ray tracing is a ray tracing method that can exhibit effects such as depth of field, soft shadows, and motion blur. Diffuse ray tracing is generally not capable of producing high quality images compared to stochastic global illumination, but the resulting rendered image exhibits much less noise. In addition, it is possible to obtain a rendered image in a significantly faster time compared to the stochastic global illumination method.
  • FIG. 1 is a block diagram illustrating a method of removing noise of an image obtained through probabilistic rendering according to an embodiment of the present invention.
  • the method may further include obtaining an input noise image 110 through stochastic rendering 100.
  • the method may include acquiring the resultant image 310 by joint bidirectional filtering using the estimated value of the image.
  • the stochastic rendering 100 may be performed through a stochastic global illumination method.
  • the input noise image 110 since it is difficult to identify the high frequency image characteristic and the noise component of the input noise image 110 acquired through the stochastic rendering 100, in the exemplary embodiment of the present invention, the input noise image 110 according to the technique described below. ) Remove the noise.
  • the noise of the input noise image 110 is removed by using the auxiliary images 210 and 220 as the estimated values of the input noise image 110 through the combined bidirectional filtering 300. Accordingly, the image characteristic of the input noise image 110 obtained through the probabilistic rendering 100 can be effectively removed while the noise of the input noise image 110 can be effectively removed.
  • auxiliary images 210 and 220 may be obtained using distributed ray tracing 200 using flash shading.
  • the obtained secondary image may include a virtual flash image 210 and a depth image.
  • Flash shading is a technique that calculates direct lighting using original light sources and light sources added to the point of view of the input noise image and simplifies indirect lighting. That is, flash shading simplifies noisy lighting components.
  • the image thus obtained contains high frequency image characteristics but exhibits a significantly reduced amount of noise.
  • a ray hits diffuse or glossy objects, it does not produce a secondary ray.
  • a Phong illumination model is used instead of secondary beams produced by stochastic methods to simplify complex indirect lighting effects. If a ray hits a specular or transparent object, it produces a secondary ray according to Snell's law.
  • the virtual flash image 210 has high frequency image characteristics of the input noise image 110 obtained through the stochastic rendering 100 according to an embodiment of the present invention.
  • a separate new light source may be positioned at a viewing point. Rendered images obtained by the distributed ray tracing method 200 using the flash shading can be made faster than the probabilistic rendering method, and include most of the characteristics of the image produced by the probabilistic rendering method with little noise. have.
  • distributed ray tracing has been used to create a virtual flash image, but various methods can replace it.
  • a method such as instance-radiosity may be used to obtain the flash image.
  • the depth image 210 may be defined by the distance between the objects that are seen first in the viewpoint.
  • the resultant image 310 from which the noise is removed from the input noise image 110 acquired through the probabilistic rendering 100 according to the embodiment of the present invention is combined using the virtual flash image 210 and the depth image 220. It may be obtained through the bidirectional filtering 300. By using the combined bidirectional filtering 300, the characteristics of the high frequency image stored in the virtual flash image 210 and the depth image 220 may be preserved.
  • the virtual flash image 210 and the depth image 220 having almost no noise are used.
  • the value of one pixel of the virtual flash image 210 or the depth image 220 is largely different from the value of the surrounding pixels, it means that an edge exists at the corresponding pixel of the input noise image 110.
  • the value of one pixel of the virtual flash image 210 or the depth image 220 is similar to the value of the surrounding pixels, it may be determined that an edge does not exist in the corresponding pixel of the input noise image 110.
  • the combined bidirectional filtering 300 does not use the input noise image 110 when determining the edge information in the input noise image 110, and uses the virtual flash image 210 and the depth image (the secondary image). 220).
  • the virtual flash image 210 and the depth image 220 may be used as the estimated value of the input noise image 110 in the combined bidirectional filtering 300. That is, the virtual flash image 210 and the depth image 220 may be used as an estimated value for the edge information of the input noise image 110. These estimates are used to reduce noise in the input noise image 110 using the combined bidirectional filter 300. Accordingly, the resultant image 310 of the combined bidirectional filtering 300 is an image in which noise is effectively reduced while preserving image characteristics of the input noise image 110.
  • the overhead of creating the virtual flash image 210 and the depth image 210 used in the above is small, and the combined bidirectional filter 300 may be effectively performed in the graphics processing unit (GPU).
  • GPU graphics processing unit
  • a user can obtain a high quality rendering result image at high speed.
  • the quality of an image may be improved by reducing noise while maintaining characteristics such as an edge of the input noise image 110 acquired through the probabilistic rendering 100.
  • the root mean square (RMS) error of the reference image may be considerably reduced and the quality of the image may be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

A method for removing image noise on the basis of stochastic rendering comprises the steps of: acquiring a noisy image input by means of stochastic rendering; acquiring an auxiliary image for a target identical to the target of an noisy image input ; and acquiring the final image by receiving the noisy image input and the auxiliary image, and via joint bidirectional filtering using the auxiliary image for estimated values for the noisy image input, acquiring the final image.

Description

확률적 렌더링에 따른 이미지의 잡음 제거 방법Noise Reduction of Images by Probabilistic Rendering
본 발명은 확률적 렌더링에 따른 이미지의 잡음 제거 방법에 관한 것으로, 보다 구체적으로 결합 양방향 필터를 이용하여 확률적 렌더링에 따른 이미지의 잡음을 제거하는 방법에 관한 것이다.The present invention relates to a method for removing noise in an image according to probabilistic rendering, and more particularly, to a method for removing noise in an image due to probabilistic rendering using a combined bidirectional filter.
컴퓨터 그래픽 분야에서 2차원의 화상에 광원, 위치, 색상 등 외부의 정보를 고려하여 사실감을 불어넣어, 3차원의 화상을 만드는 과정 또는 그러한 기법을 렌더링(rendering)이라고 지칭한다. 3 차원(3 Dimensional) 게임, 3 차원 애니메이션 영화 등의 보급에 따라 이미지의 특성을 보존하면서도 이미지의 잡음(noise)을 줄일 수 있는 효과적인 렌더링 기법에 대한 연구가 지속적으로 진행되고 있다. In the field of computer graphics, a process or a technique of creating a three-dimensional image by injecting realism into a two-dimensional image in consideration of external information such as a light source, a position, and a color is called rendering. With the spread of 3D games and 3D animation movies, researches on effective rendering techniques that can reduce noise of images while preserving the characteristics of images are continuously conducted.
현재, 다양한 렌더링 기법이 이용되고 있으며 이 중 확률적 전역 조명 방법들(stochastic global illumination methods)과 같은 확률적 렌더링 기법이 연구되고 있다. 이러한 확률적 렌더링 기법으로 획득된 이미지의 잡음을 줄이기 위해 다양한 이미지 기반 잡음 감소 기법들이 소개되었다. 지금까지 소개된 이미지 기반 잡음 감소 기법은 렌더링된 입력 잡음 이미지만을 이용하여 잡음을 제거한다. 하지만, 이미지의 고주파 특성(high frequency feature)과 잡음을 구별하는 것이 매우 어려워 입력 잡음 이미지로부터 잡음이 잘 제거되지 않거나, 잡음 제거시 이미지 특성까지 사라지는 문제점이 야기된다. Currently, various rendering techniques are used, and probabilistic rendering techniques such as stochastic global illumination methods have been studied. Various image-based noise reduction techniques have been introduced to reduce the noise of the image obtained by this stochastic rendering technique. The image-based noise reduction techniques introduced so far remove noise using only the rendered input noise image. However, it is very difficult to distinguish noise from high frequency features of an image, which causes problems such that noise is not well removed from an input noise image or disappears even when the noise is removed.
따라서, 확률적 렌더링 기법에 따라 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 상기 이미지로부터 잡음을 효과적으로 제거할 수 있는 기법에 대한 필요성이 대두되고 있다.Therefore, there is a need for a technique capable of effectively removing noise from an image while preserving image characteristics of an input noise image obtained by a stochastic rendering technique.
본 발명은 종래의 필요성을 충족시키기 위해 안출된 것으로써, 확률적 렌더링을 통해 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 잡음을 효과적으로 제거할 수 있는 방법을 제공하기 위한 것이다. SUMMARY OF THE INVENTION The present invention has been made to meet the needs of the prior art, and is to provide a method for effectively removing noise while preserving image characteristics of an input noise image obtained through probabilistic rendering.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description of the present invention. .
본 발명의 실시예에 따른 확률적 렌더링으로부터 획득된 이미지의 잡음 제거 방법은 확률적 렌더링을 통해 입력 잡음 이미지를 획득하는 단계; 상기 입력 잡음 이미지의 대상과 동일한 대상에 대해 보조 이미지를 획득하는 단계; 상기 입력 잡음 이미지와 상기 보조 이미지를 입력받아, 상기 보조 이미지를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링함으로써 결과 이미지를 획득하는 단계를 포함한다.According to an embodiment of the present invention, a method of removing noise from an image obtained from probabilistic rendering includes: obtaining an input noise image through probabilistic rendering; Obtaining an auxiliary image for the same object as the object of the input noise image; Receiving the input noise image and the auxiliary image, and using the auxiliary image as an estimated value of the input noise image, combine bidirectional filtering to obtain a resultant image.
상기 보조 이미지를 획득하는 단계는 플래시 쉐이딩을 이용한 분산 광선 추적을 통해 수행될 수 있다. Acquiring the auxiliary image may be performed through distributed ray tracing using flash shading.
상기 보조 이미지는 가상의 플래시 이미지와 깊이 이미지를 포함할 수 있다. The auxiliary image may include a virtual flash image and a depth image.
상기 확률적 렌더링은 확률적 전역 조명 방법을 통해 수행될 수 있다.The probabilistic rendering may be performed through a stochastic global illumination method.
본 발명의 실시예에 따르면 확률적 렌더링을 통해 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 잡음을 효과적으로 제거할 수 있는 이미지의 잡음 제거 방법을 제공할 수 있다. 본 발명의 실시예에 따라 잡음이 제거된 이미지는 참조 이미지에 대해서 RMS(Root Mean Square) 오차가 상당량 감소되고 이미지의 품질 또한 향상될 수 있다.According to an embodiment of the present invention, it is possible to provide a method for removing noise in an image that can effectively remove noise while preserving image characteristics of an input noise image obtained through probabilistic rendering. According to the exemplary embodiment of the present invention, the root mean square (RMS) error of the reference image may be considerably reduced and the quality of the image may be improved.
도1은 본 발명의 실시예에 따른 확률적 렌더링을 통해 획득된 이미지의 잡음 제거 방법을 나타내는 구성도이다.1 is a block diagram illustrating a method of removing noise of an image obtained through probabilistic rendering according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명된다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면들 중 인용부호들 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 인용부호들로 표시됨을 유의해야 한다. 참고로 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, detailed descriptions of preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Note that the shapes and sizes of elements in the drawings may be exaggerated for clarity, and reference numerals and like elements in the drawings may be denoted by the same reference numerals as much as possible even though they are shown in different drawings. Should be. For reference, in the following description of the present invention, if it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
이하, 본원 발명의 이해를 위해 주요 용어를 설명하면 아래와 같다. Hereinafter, the main terms will be described for understanding the present invention.
확률적 전역 조명 방법(Stochastic Global Illumination Method)은 컴퓨터 그래픽에서 고품질의 이미지를 만들기 위해 사용된다. 상기 알고리즘은 직접 조명 효과뿐 아니라 간접 조명 효과까지 고려한다. 직접 조명 효과는 광원에서 빛이 직접 물체에 부딪혀 가상의 렌즈에 들어오는 효과를 지칭하며 간접 조명 효과는 빛이 다른 물체에 부딪히고 반사되는 빛이 다시 그 물체에 부딪혀 가상의 렌즈에 들어오는 효과를 지칭한다. 간접 조명 효과를 고려할 때, BRDF(bidirectional reflectance distribution function)에 기반하여 빛이 물체에 확률적으로 반사된다고 가정하며 여러 개의 광선을 확률적으로 만들어 낸다. 이러한 확률적 전역 조명 방법은 고품질의 렌더링 이미지를 만들 수 있으나 이를 통해 잡음이 없는 이미지를 만드는 데는 많은 시간이 소요된다. 즉, 확률적 조명 방법을 통해 잡음이 없는 렌더링 이미지를 획득하기 위해서는 충분히 많은 수의 샘플이 요구된다. 이때, 샘플의 수가 부족할 경우 결과 이미지는 잡음을 포함하게 된다. The Stochastic Global Illumination Method is used to produce high quality images from computer graphics. The algorithm considers indirect lighting effects as well as direct lighting effects. Direct lighting effects refer to the effects of light hitting an object directly into an imaginary lens from a light source, and indirect lighting effects refer to the effects of light hitting another object and reflected light hitting the object again and entering the virtual lens. . Considering the indirect lighting effect, it generates stochastic beams of light based on the bidirectional reflectance distribution function (BRDF), assuming that light is stolenly reflected on the object. This stochastic global illumination method can produce high quality rendered images, but it takes a lot of time to produce noiseless images. In other words, a sufficiently large number of samples are required to obtain a noise-free rendered image through a stochastic illumination method. In this case, when the number of samples is insufficient, the resulting image includes noise.
분산 광선 추적법(distributed ray tracing)은 아웃포커스(depth of field), 부드러운 그림자(soft shadow) 및 모션 블러(motion blur)와 같은 효과를 나타낼 수 있는 광선 추적법이다. 분산 광선 추적법은 일반적으로 확률적 전역 조명 방법에 비해 고품질의 이미지를 만들어 낼 수는 없으나, 렌더링된 결과 이미지는 훨씬 적은 잡음을 나타낸다. 또한, 확률적 전역 조명 방법과 비교하여 상당히 빠른 시간 내에 렌더링된 이미지를 획득할 수 있다. Distributed ray tracing is a ray tracing method that can exhibit effects such as depth of field, soft shadows, and motion blur. Diffuse ray tracing is generally not capable of producing high quality images compared to stochastic global illumination, but the resulting rendered image exhibits much less noise. In addition, it is possible to obtain a rendered image in a significantly faster time compared to the stochastic global illumination method.
도1은 본 발명의 실시예에 따른 확률적 렌더링을 통해 획득된 이미지의 잡음 제거 방법을 나타내는 구성도이다. 1 is a block diagram illustrating a method of removing noise of an image obtained through probabilistic rendering according to an embodiment of the present invention.
도1에 도시된 바와 같이, 본 발명의 실시예에 따른 렌더링된 이미지의 잡음 제거 방법은 확률적 렌더링(100)을 통해 입력 잡음 이미지(110)를 획득하는 단계, 상기 입력 잡음 이미지(110)의 대상과 동일한 대상에 대해 보조 이미지(210, 220)를 획득하는 단계, 상기 입력 잡음 이미지(110)와 상기 보조 이미지(210, 220)를 입력받아, 상기 보조 이미지(210, 220)를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링(300: joint bidirectional filtering)함으로써 결과 이미지(310)를 획득하는 단계를 포함할 수 있다. As shown in FIG. 1, in the method of removing noise of a rendered image according to an embodiment of the present invention, the method may further include obtaining an input noise image 110 through stochastic rendering 100. Obtaining auxiliary images 210 and 220 for the same object as the object, receiving the input noise image 110 and the auxiliary images 210 and 220, and converting the auxiliary images 210 and 220 into the input noise. The method may include acquiring the resultant image 310 by joint bidirectional filtering using the estimated value of the image.
본 발명의 실시예에서는 확률적 렌더링(100)은 확률적 전역 조명 방법을 통해 수행될 수 있다. 이때, 확률적 렌더링(100)을 통해 획득된 입력 잡음 이미지(110)의 고주파 이미지 특성과 잡음 성분을 식별하는 것은 어려우므로, 본 발명의 실시예에서는 이하에서 설명되는 기법에 따라 입력 잡음 이미지(110)의 잡음을 제거한다. In an embodiment of the present invention, the stochastic rendering 100 may be performed through a stochastic global illumination method. In this case, since it is difficult to identify the high frequency image characteristic and the noise component of the input noise image 110 acquired through the stochastic rendering 100, in the exemplary embodiment of the present invention, the input noise image 110 according to the technique described below. ) Remove the noise.
본 발명의 실시예에서는 결합 양방향 필터링(300)을 통해 보조 이미지(210, 220)를 입력 잡음 이미지(110)의 추정값으로 사용함으로써 입력 잡음 이미지(110)의 잡음을 제거한다. 이에 따라 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 이미지 특성은 보전하면서도 입력 잡음 이미지(110)의 잡음을 효과적으로 제거할 수 있다. In the embodiment of the present invention, the noise of the input noise image 110 is removed by using the auxiliary images 210 and 220 as the estimated values of the input noise image 110 through the combined bidirectional filtering 300. Accordingly, the image characteristic of the input noise image 110 obtained through the probabilistic rendering 100 can be effectively removed while the noise of the input noise image 110 can be effectively removed.
본 발명의 실시예에서, 보조 이미지(210, 220)는 플래시 쉐이딩을 이용한 분산 광선 추적법(200)을 이용하여 획득될 수 있다. 이렇게 획득된 보조 이미지는 가상의 플래시 이미지(210: virtual flash image)와 깊이 이미지(depth image)를 포함할 수 있다. In an embodiment of the present invention, auxiliary images 210 and 220 may be obtained using distributed ray tracing 200 using flash shading. The obtained secondary image may include a virtual flash image 210 and a depth image.
플래시 쉐이딩(flash shading)은 본래의 광원들과 입력 잡음 이미지의 시점 위치에 추가된 광원을 이용하여 직접 조명을 계산하며 간접조명은 간략화시키는 기법이다. 즉, 플래시 쉐이딩은 잡음이 많은 조명 성분들을 간략화한다. 이에 따라 획득되는 이미지는 고주파 이미지 특성들을 포함하지만 상당히 감소된 잡음량을 나타낸다. 광선이 난반사나 광택이 나는 물체들(diffuse or glossy objects)에 부딪히면 2차 광선을 만들지 않는다. 또한, 확률적 방법에 의해 만들어지는 2차 광선 대신에 퐁 조명 모델(Phong illumination model)을 이용하여 복잡한 간접 조명 효과를 간략화한다. 만약 광선이 정반사나 투명한 물체에 부딪히면 스넬의 법칙(Snell's law)에 따라 2차 광선을 만든다. Flash shading is a technique that calculates direct lighting using original light sources and light sources added to the point of view of the input noise image and simplifies indirect lighting. That is, flash shading simplifies noisy lighting components. The image thus obtained contains high frequency image characteristics but exhibits a significantly reduced amount of noise. When a ray hits diffuse or glossy objects, it does not produce a secondary ray. In addition, a Phong illumination model is used instead of secondary beams produced by stochastic methods to simplify complex indirect lighting effects. If a ray hits a specular or transparent object, it produces a secondary ray according to Snell's law.
이와 같은 플래시 쉐이딩을 이용한 분산 광선 추적법(200)에 따른 결과 이미지의 하나로서 가상의 플래시 이미지(210)가 있다. 가상의 플래시 이미지(210)는 본 발명의 실시예에 따라 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 고주파 이미지 특성을 구비한다. 가상의 플래시 이미지(210)를 효과적으로 만들기 위해서 별도의 새로운 광원을 시점(viewing point)에 위치시킬 수 있다. 이와 같은 플래시 쉐이딩을 이용한 분산 광선 추적법(200)에 따라 획득된 렌더링 이미지는 확률적 렌더링 방법에 비해 빠르게 만들 수 있으며, 잡음이 거의 없으면서도 확률적 렌더링 방법에 의해 만들어진 이미지의 특성을 대부분 포함하고 있다. As one of the resultant images according to the distributed ray tracing method 200 using the flash shading, there is a virtual flash image 210. The virtual flash image 210 has high frequency image characteristics of the input noise image 110 obtained through the stochastic rendering 100 according to an embodiment of the present invention. In order to make the virtual flash image 210 effectively, a separate new light source may be positioned at a viewing point. Rendered images obtained by the distributed ray tracing method 200 using the flash shading can be made faster than the probabilistic rendering method, and include most of the characteristics of the image produced by the probabilistic rendering method with little noise. have.
이상에서 가상의 플래시 이미지를 만들기 위해 분산 광선 추적법이 이용되었으나 다양한 방법이 이를 대체할 수 있다. 예컨대, 인스턴스-라디오 시티(instance-radiosity)와 같은 방법이 플래시 이미지를 획득하기 위해 이용될 수 있다.In the above, distributed ray tracing has been used to create a virtual flash image, but various methods can replace it. For example, a method such as instance-radiosity may be used to obtain the flash image.
분산 광선 추적법(200)을 통해 획득한 또 다른 결과 이미지로 깊이 이미지(210)가 있다. 깊이 이미지(210)는 시점에서 가장 먼저 보이는 물체 사이의 거리에 의해 정의될 수 있다. Another resultant image obtained through the scatter ray tracing method 200 is the depth image 210. The depth image 210 may be defined by the distance between the objects that are seen first in the viewpoint.
본 발명의 실시예에 따른 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)에서 잡음이 제거된 결과 이미지(310)는 가상의 플래시 이미지(210)와 깊이 이미지(220)를 이용한 결합 양방향 필터링(300)을 통해 획득할 수 있다. 결합 양방향 필터링(300)을 이용함으로써 가상의 플래시 이미지(210)와 깊이 이미지(220)에 저장된 고주파 이미지의 특성이 보존될 수 있다. The resultant image 310 from which the noise is removed from the input noise image 110 acquired through the probabilistic rendering 100 according to the embodiment of the present invention is combined using the virtual flash image 210 and the depth image 220. It may be obtained through the bidirectional filtering 300. By using the combined bidirectional filtering 300, the characteristics of the high frequency image stored in the virtual flash image 210 and the depth image 220 may be preserved.
종래의 이미지 필터링시에, 입력 잡음 이미지의 각 픽셀에 대해서 해당 픽셀 주위의 픽셀의 색 정보를 이용하여 잡음을 제거하였다. 이때, 입력 잡음 이미지의 에지(edge)를 보전하면서 잡음만을 제거하는 것이 중요한 과제이다. 하지만, 본 발명의 실시예에 따라 확률적 렌더링(100)에 의해 만들어진 입력 잡음 이미지(110)는 잡음을 많이 포함하고 있으므로 이러한 입력 잡음 이미지(110)만을 가지고 잡음과 에지(edge)를 구별하는 것이 매우 어렵다. In conventional image filtering, for each pixel of an input noise image, noise is removed by using color information of pixels around the pixel. In this case, it is important to remove noise while maintaining the edge of the input noise image. However, since the input noise image 110 produced by the probabilistic rendering 100 according to the embodiment of the present invention contains a lot of noise, it is only necessary to distinguish the noise from the edge using only the input noise image 110. Very difficult.
따라서, 본 발명의 실시예에서는 입력 잡음 이미지(110)에서 에지 정보를 판단할 때 입력 잡음 이미지(110)를 이용하는 대신 잡음이 거의 없는 가상의 플래시 이미지(210) 및 깊이 이미지(220)를 이용한다. 예컨대, 가상의 플래시 이미지(210)나 깊이 이미지(220)의 한 픽셀의 값이 그 주위 픽셀의 값과 차이가 크다면 입력 잡음 이미지(110)의 해당 픽셀에 에지가 존재함을 의미한다. 이와 반대로 가상의 플래시 이미지(210)나 깊이 이미지(220)의 한 픽셀의 값이 그 주위의 픽셀의 값과 비슷하다면 입력 잡음 이미지(110)의 해당 픽셀에 에지가 존재하지 않는다고 판단될 수 있다. 본 발명의 실시예에서 결합 양방향 필터링(300)은 입력 잡음 이미지(110)에서 에지 정보를 판단할 때 입력 잡음 이미지(110)를 이용하지 않고 보조 이미지인 가상의 플래시 이미지(210)와 깊이 이미지(220)를 사용함을 지칭한다. Therefore, in the exemplary embodiment of the present invention, instead of using the input noise image 110 when determining the edge information in the input noise image 110, the virtual flash image 210 and the depth image 220 having almost no noise are used. For example, if the value of one pixel of the virtual flash image 210 or the depth image 220 is largely different from the value of the surrounding pixels, it means that an edge exists at the corresponding pixel of the input noise image 110. On the contrary, if the value of one pixel of the virtual flash image 210 or the depth image 220 is similar to the value of the surrounding pixels, it may be determined that an edge does not exist in the corresponding pixel of the input noise image 110. In the exemplary embodiment of the present invention, the combined bidirectional filtering 300 does not use the input noise image 110 when determining the edge information in the input noise image 110, and uses the virtual flash image 210 and the depth image (the secondary image). 220).
본 발명의 실시예에서 결합 양방향 필터링(300)시에 가상의 플래시 이미지(210)와 깊이 이미지(220)를 입력 잡음 이미지(110)의 추정값으로 사용할 수 있다. 즉, 가상의 플래시 이미지(210)와 깊이 이미지(220)는 입력 잡음 이미지(110)의 에지 정보에 대한 추정값으로 이용될 수 있다. 이러한 추정 값들은 결합 양방향 필터(300)를 이용하여 입력 잡음 이미지(110)의 잡음을 줄이는데 사용된다. 이에 따라 결합 양방향 필터링(300)의 결과 이미지(310)는 입력 잡음 이미지(110)의 이미지 특성을 보전하면서도 잡음이 효과적으로 감소된 이미지이다. In the exemplary embodiment of the present invention, the virtual flash image 210 and the depth image 220 may be used as the estimated value of the input noise image 110 in the combined bidirectional filtering 300. That is, the virtual flash image 210 and the depth image 220 may be used as an estimated value for the edge information of the input noise image 110. These estimates are used to reduce noise in the input noise image 110 using the combined bidirectional filter 300. Accordingly, the resultant image 310 of the combined bidirectional filtering 300 is an image in which noise is effectively reduced while preserving image characteristics of the input noise image 110.
이상에서 이용되는 가상의 플래시 이미지(210)와 깊이 이미지(210)를 만드는 오버헤드(overhead)가 작을 뿐 아니라 결합 양방향 필터(300)는 GPU(Graphics Processing Unit)에서 효과적으로 수행될 수 있다. 따라서, 본 발명의 실시예에 따르면 고속으로 사용자로 하여금 고품질의 렌더링 결과 이미지를 획득할 수 있도록 한다. 특히, 본 발명의 실시예에 따르면 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 에지(edge)와 같은 특성을 보전하면서 잡음을 감소시킴으로써 이미지의 품질이 향상될 수 있다. The overhead of creating the virtual flash image 210 and the depth image 210 used in the above is small, and the combined bidirectional filter 300 may be effectively performed in the graphics processing unit (GPU). Thus, according to an embodiment of the present invention, a user can obtain a high quality rendering result image at high speed. In particular, according to an exemplary embodiment of the present invention, the quality of an image may be improved by reducing noise while maintaining characteristics such as an edge of the input noise image 110 acquired through the probabilistic rendering 100.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. will be. Therefore, the above-described embodiments are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the appended claims rather than the detailed description, and the meaning and scope of the claims and All changes or modifications derived from the equivalent concept should be interpreted as being included in the scope of the present invention.
본 발명의 실시예에 따르면 확률적 렌더링을 통해 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 잡음을 효과적으로 제거할 수 있는 이미지의 잡음 제거 방법을 제공할 수 있다. 본 발명의 실시예에 따라 잡음이 제거된 이미지는 참조 이미지에 대해서 RMS(Root Mean Square) 오차가 상당량 감소되고 이미지의 품질 또한 향상될 수 있다.According to an embodiment of the present invention, it is possible to provide a method for removing noise in an image that can effectively remove noise while preserving image characteristics of an input noise image obtained through probabilistic rendering. According to the exemplary embodiment of the present invention, the root mean square (RMS) error of the reference image may be considerably reduced and the quality of the image may be improved.

Claims (4)

  1. 확률적 렌더링을 통해 입력 잡음 이미지를 획득하는 단계;Obtaining an input noise image through probabilistic rendering;
    상기 입력 잡음 이미지의 대상과 동일한 대상에 대해 보조 이미지를 획득하는 단계;Obtaining an auxiliary image for the same object as the object of the input noise image;
    상기 입력 잡음 이미지와 상기 보조 이미지를 입력받아, 상기 보조 이미지를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링함으로써 결과 이미지를 획득하는 단계를 포함하는, Receiving the input noise image and the auxiliary image, and using the auxiliary image as an estimated value of the input noise image, combining bidirectional filtering to obtain a resultant image;
    이미지의 잡음 제거 방법. How to remove noise in an image.
  2. 제1항에 있어서, The method of claim 1,
    상기 보조 이미지를 획득하는 단계는:Acquiring the auxiliary image may include:
    플래시 쉐이딩을 이용한 분산 광선 추적을 통해 수행되는 것을 특징으로 하는 이미지의 잡음 제거 방법. A method for removing noise in an image, characterized by performing distributed ray tracing using flash shading.
  3. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2,
    상기 보조 이미지는 가상의 플래시 이미지와 깊이 이미지를 포함하는 것을 특징으로 하는 이미지의 잡음 제거 방법. And the auxiliary image comprises a virtual flash image and a depth image.
  4. 제1항 또는 제2항에 있어서, The method according to claim 1 or 2,
    상기 확률적 렌더링은 확률적 전역 조명 방법을 통해 수행되는 것을 특징으로 하는 이미지의 잡음 제거 방법.The probabilistic rendering is performed by a stochastic global illumination method.
PCT/KR2012/005322 2012-03-12 2012-07-05 Method for removing image noise on basis of stochastic rendering WO2013137522A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120024843A KR101282700B1 (en) 2012-03-12 2012-03-12 Noise reduction method for stochastic rendering image
KR10-2012-0024843 2012-03-12

Publications (1)

Publication Number Publication Date
WO2013137522A1 true WO2013137522A1 (en) 2013-09-19

Family

ID=48996651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005322 WO2013137522A1 (en) 2012-03-12 2012-07-05 Method for removing image noise on basis of stochastic rendering

Country Status (2)

Country Link
KR (1) KR101282700B1 (en)
WO (1) WO2013137522A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135459B1 (en) 2018-10-05 2020-07-17 광주과학기술원 Denoising method in image processing device and method for generating feature therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309329A (en) * 2005-04-26 2006-11-09 Canon Inc Image forming apparatus
JP2007188337A (en) * 2006-01-13 2007-07-26 Yamaha Corp Image processor
US20090003728A1 (en) * 2005-01-12 2009-01-01 Koninklijke Philips Electronics, N.V. Depth Perception

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745660A (en) * 1995-04-26 1998-04-28 Polaroid Corporation Image rendering system and method for generating stochastic threshold arrays for use therewith

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003728A1 (en) * 2005-01-12 2009-01-01 Koninklijke Philips Electronics, N.V. Depth Perception
JP2006309329A (en) * 2005-04-26 2006-11-09 Canon Inc Image forming apparatus
JP2007188337A (en) * 2006-01-13 2007-07-26 Yamaha Corp Image processor

Also Published As

Publication number Publication date
KR101282700B1 (en) 2013-07-05

Similar Documents

Publication Publication Date Title
US8866813B2 (en) Point-based guided importance sampling
EP3133552B1 (en) Denoising filter
KR100866573B1 (en) A point-based rendering method using visibility map
Supan et al. Image based shadowing in real-time augmented reality
US7755626B2 (en) Cone-culled soft shadows
US9418473B2 (en) Relightable texture for use in rendering an image
EP3373586B1 (en) Method for inverse tone mapping of an image with visual effects
KR101885090B1 (en) Image processing apparatus, apparatus and method for lighting processing
WO2020023880A1 (en) Global illumination using shared lighting contributions for interactions in path tracing
CN109985384B (en) Method and device for dynamically adjusting map
Dos Santos et al. Real time ray tracing for augmented reality
Novák et al. Screen-space bias compensation for interactive high-quality global illumination with virtual point lights
US8730239B2 (en) Transitioning between shading regions on an object
US20160042558A1 (en) Method and apparatus for processing image
CN111199573A (en) Virtual-real mutual reflection method, device, medium and equipment based on augmented reality
US8314797B1 (en) Method and apparatus for irradiance computation in 3-D computer graphics
US20220245889A1 (en) Systems and methods of texture super sampling for low-rate shading
WO2013137522A1 (en) Method for removing image noise on basis of stochastic rendering
Madsen et al. Real-time image-based lighting for outdoor augmented reality under dynamically changing illumination conditions
Liu et al. Depth of field synthesis from sparse views
Wen et al. Post0-vr: Enabling universal realistic rendering for modern vr via exploiting architectural similarity and data sharing
US20140044345A1 (en) Method of analyzing and/or processing an image
WO2023005757A1 (en) Transparent polyhedron rendering method and apparatus
Brüll et al. Stenciled Volumetric Ambient Occlusion.
CN117422814A (en) OpenGL-based 3D liquid crystal instrument system control system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12871345

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12871345

Country of ref document: EP

Kind code of ref document: A1