KR101282700B1 - 확률적 렌더링에 따른 이미지의 잡음 제거 방법 - Google Patents

Abstract

본 발명의 확률적 렌더링에 따른 이미지의 잡음 제거 방법은 확률적 렌더링을 통해 입력 잡음 이미지를 획득하는 단계; 상기 입력 잡음 이미지의 대상과 동일한 대상에 대해 플래시 쉐이딩을 이용한 분산 광선 추적을 통해 보조 이미지를 획득하는 단계; 상기 입력 잡음 이미지와 상기 보조 이미지를 입력받아, 상기 보조 이미지를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링함으로써 결과 이미지를 획득하는 단계를 포함한다.

Description

확률적 렌더링에 따른 이미지의 잡음 제거 방법 {Noise Reduction Method for Stochastic Rendering Image}

본 발명은 확률적 렌더링에 따른 이미지의 잡음 제거 방법에 관한 것으로, 보다 구체적으로 결합 양방향 필터를 이용하여 확률적 렌더링에 따른 이미지의 잡음을 제거하는 방법에 관한 것이다.

컴퓨터 그래픽 분야에서 2차원의 화상에 광원, 위치, 색상 등 외부의 정보를 고려하여 사실감을 불어넣어, 3차원의 화상을 만드는 과정 또는 그러한 기법을 렌더링(rendering)이라고 지칭한다. 3 차원(3 Dimensional) 게임, 3 차원 애니메이션 영화 등의 보급에 따라 이미지의 특성을 보존하면서도 이미지의 잡음(noise)을 줄일 수 있는 효과적인 렌더링 기법에 대한 연구가 지속적으로 진행되고 있다.

현재, 다양한 렌더링 기법이 이용되고 있으며 이 중 확률적 전역 조명 방법들(stochastic global illumination methods)과 같은 확률적 렌더링 기법이 연구되고 있다. 이러한 확률적 렌더링 기법으로 획득된 이미지의 잡음을 줄이기 위해 다양한 이미지 기반 잡음 감소 기법들이 소개되었다. 지금까지 소개된 이미지 기반 잡음 감소 기법은 렌더링된 입력 잡음 이미지만을 이용하여 잡음을 제거한다. 하지만, 이미지의 고주파 특성(high frequency feature)과 잡음을 구별하는 것이 매우 어려워 입력 잡음 이미지로부터 잡음이 잘 제거되지 않거나, 잡음 제거시 이미지 특성까지 사라지는 문제점이 야기된다.

따라서, 확률적 렌더링 기법에 따라 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 상기 이미지로부터 잡음을 효과적으로 제거할 수 있는 기법에 대한 필요성이 대두되고 있다.

한국공개공보 제10-2006-0048709호 (2006.05. 18)

본 발명은 종래의 필요성을 충족시키기 위해 안출된 것으로써, 확률적 렌더링을 통해 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 잡음을 효과적으로 제거할 수 있는 방법을 제공하기 위한 것이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 확률적 렌더링으로부터 획득된 이미지의 잡음 제거 방법은 확률적 렌더링을 통해 입력 잡음 이미지를 획득하는 단계; 상기 입력 잡음 이미지의 대상과 동일한 대상에 대해 보조 이미지를 획득하는 단계; 상기 입력 잡음 이미지와 상기 보조 이미지를 입력받아, 상기 보조 이미지를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링함으로써 결과 이미지를 획득하는 단계를 포함한다.

상기 보조 이미지를 획득하는 단계는 플래시 쉐이딩을 이용한 분산 광선 추적을 통해 수행될 수 있다.

상기 보조 이미지는 가상의 플래시 이미지와 깊이 이미지를 포함할 수 있다.

상기 확률적 렌더링은 확률적 전역 조명 방법을 통해 수행될 수 있다.

본 발명의 실시예에 따르면 확률적 렌더링을 통해 획득된 입력 잡음 이미지의 이미지 특성을 보전하면서도 잡음을 효과적으로 제거할 수 있는 이미지의 잡음 제거 방법을 제공할 수 있다. 본 발명의 실시예에 따라 잡음이 제거된 이미지는 참조 이미지에 대해서 RMS(Root Mean Square) 오차가 상당량 감소되고 이미지의 품질 또한 향상될 수 있다.

도1은 본 발명의 실시예에 따른 확률적 렌더링을 통해 획득된 이미지의 잡음 제거 방법을 나타내는 구성도이다.

이하, 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명된다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면들 중 인용부호들 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 인용부호들로 표시됨을 유의해야 한다. 참고로 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본원 발명의 이해를 위해 주요 용어를 설명하면 아래와 같다.

확률적 전역 조명 방법(Stochastic Global Illumination Method)은 컴퓨터 그래픽에서 고품질의 이미지를 만들기 위해 사용된다. 상기 알고리즘은 직접 조명 효과뿐 아니라 간접 조명 효과까지 고려한다. 직접 조명 효과는 광원에서 빛이 직접 물체에 부딪혀 가상의 렌즈에 들어오는 효과를 지칭하며 간접 조명 효과는 빛이 다른 물체에 부딪히고 반사되는 빛이 다시 그 물체에 부딪혀 가상의 렌즈에 들어오는 효과를 지칭한다. 간접 조명 효과를 고려할 때, BRDF(bidirectional reflectance distribution function)에 기반하여 빛이 물체에 확률적으로 반사된다고 가정하며 여러 개의 광선을 확률적으로 만들어 낸다. 이러한 확률적 전역 조명 방법은 고품질의 렌더링 이미지를 만들 수 있으나 이를 통해 잡음이 없는 이미지를 만드는 데는 많은 시간이 소요된다. 즉, 확률적 조명 방법을 통해 잡음이 없는 렌더링 이미지를 획득하기 위해서는 충분히 많은 수의 샘플이 요구된다. 이때, 샘플의 수가 부족할 경우 결과 이미지는 잡음을 포함하게 된다.

분산 광선 추적법(distributed ray tracing)은 아웃포커스(depth of field), 부드러운 그림자(soft shadow) 및 모션 블러(motion blur)와 같은 효과를 나타낼 수 있는 광선 추적법이다. 분산 광선 추적법은 일반적으로 확률적 전역 조명 방법에 비해 고품질의 이미지를 만들어 낼 수는 없으나, 렌더링된 결과 이미지는 훨씬 적은 잡음을 나타낸다. 또한, 확률적 전역 조명 방법과 비교하여 상당히 빠른 시간 내에 렌더링된 이미지를 획득할 수 있다.

도1은 본 발명의 실시예에 따른 확률적 렌더링을 통해 획득된 이미지의 잡음 제거 방법을 나타내는 구성도이다.

도1에 도시된 바와 같이, 본 발명의 실시예에 따른 렌더링된 이미지의 잡음 제거 방법은 확률적 렌더링(100)을 통해 입력 잡음 이미지(110)를 획득하는 단계, 상기 입력 잡음 이미지(110)의 대상과 동일한 대상에 대해 보조 이미지(210, 220)를 획득하는 단계, 상기 입력 잡음 이미지(110)와 상기 보조 이미지(210, 220)를 입력받아, 상기 보조 이미지(210, 220)를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링(300: joint bidirectional filtering)함으로써 결과 이미지(310)를 획득하는 단계를 포함할 수 있다.

본 발명의 실시예에서는 확률적 렌더링(100)은 확률적 전역 조명 방법을 통해 수행될 수 있다. 이때, 확률적 렌더링(100)을 통해 획득된 입력 잡음 이미지(110)의 고주파 이미지 특성과 잡음 성분을 식별하는 것은 어려우므로, 본 발명의 실시예에서는 이하에서 설명되는 기법에 따라 입력 잡음 이미지(110)의 잡음을 제거한다.

본 발명의 실시예에서는 결합 양방향 필터링(300)을 통해 보조 이미지(210, 220)를 입력 잡음 이미지(110)의 추정값으로 사용함으로써 입력 잡음 이미지(110)의 잡음을 제거한다. 이에 따라 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 이미지 특성은 보전하면서도 입력 잡음 이미지(110)의 잡음을 효과적으로 제거할 수 있다.

본 발명의 실시예에서, 보조 이미지(210, 220)는 플래시 쉐이딩을 이용한 분산 광선 추적법(200)을 이용하여 획득될 수 있다. 이렇게 획득된 보조 이미지는 가상의 플래시 이미지(210: virtual flash image)와 깊이 이미지(depth image)를 포함할 수 있다.

플래시 쉐이딩(flash shading)은 본래의 광원들과 입력 잡음 이미지의 시점 위치에 추가된 광원을 이용하여 직접 조명을 계산하며 간접조명은 간략화시키는 기법이다. 즉, 플래시 쉐이딩은 잡음이 많은 조명 성분들을 간략화한다. 이에 따라 획득되는 이미지는 고주파 이미지 특성들을 포함하지만 상당히 감소된 잡음량을 나타낸다. 광선이 난반사나 광택이 나는 물체들(diffuse or glossy objects)에 부딪히면 2차 광선을 만들지 않는다. 또한, 확률적 방법에 의해 만들어지는 2차 광선 대신에 퐁 조명 모델(Phong illumination model)을 이용하여 복잡한 간접 조명 효과를 간략화한다. 만약 광선이 정반사나 투명한 물체에 부딪히면 스넬의 법칙(Snell's law)에 따라 2차 광선을 만든다.

이와 같은 플래시 쉐이딩을 이용한 분산 광선 추적법(200)에 따른 결과 이미지의 하나로서 가상의 플래시 이미지(210)가 있다. 가상의 플래시 이미지(210)는 본 발명의 실시예에 따라 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 고주파 이미지 특성을 구비한다. 가상의 플래시 이미지(210)를 효과적으로 만들기 위해서 별도의 새로운 광원을 시점(viewing point)에 위치시킬 수 있다. 이와 같은 플래시 쉐이딩을 이용한 분산 광선 추적법(200)에 따라 획득된 렌더링 이미지는 확률적 렌더링 방법에 비해 빠르게 만들 수 있으며, 잡음이 거의 없으면서도 확률적 렌더링 방법에 의해 만들어진 이미지의 특성을 대부분 포함하고 있다.

이상에서 가상의 플래시 이미지를 만들기 위해 분산 광선 추적법이 이용되었으나 다양한 방법이 이를 대체할 수 있다. 예컨대, 인스턴스-라디오 시티(instance-radiosity)와 같은 방법이 플래시 이미지를 획득하기 위해 이용될 수 있다.

분산 광선 추적법(200)을 통해 획득한 또 다른 결과 이미지로 깊이 이미지(210)가 있다. 깊이 이미지(210)는 시점에서 가장 먼저 보이는 물체 사이의 거리에 의해 정의될 수 있다.

본 발명의 실시예에 따른 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)에서 잡음이 제거된 결과 이미지(310)는 가상의 플래시 이미지(210)와 깊이 이미지(220)를 이용한 결합 양방향 필터링(300)을 통해 획득할 수 있다. 결합 양방향 필터링(300)을 이용함으로써 가상의 플래시 이미지(210)와 깊이 이미지(220)에 저장된 고주파 이미지의 특성이 보존될 수 있다.

종래의 이미지 필터링시에, 입력 잡음 이미지의 각 픽셀에 대해서 해당 픽셀 주위의 픽셀의 색 정보를 이용하여 잡음을 제거하였다. 이때, 입력 잡음 이미지의 에지(edge)를 보전하면서 잡음만을 제거하는 것이 중요한 과제이다. 하지만, 본 발명의 실시예에 따라 확률적 렌더링(100)에 의해 만들어진 입력 잡음 이미지(110)는 잡음을 많이 포함하고 있으므로 이러한 입력 잡음 이미지(110)만을 가지고 잡음과 에지(edge)를 구별하는 것이 매우 어렵다.

따라서, 본 발명의 실시예에서는 입력 잡음 이미지(110)에서 에지 정보를 판단할 때 입력 잡음 이미지(110)를 이용하는 대신 잡음이 거의 없는 가상의 플래시 이미지(210) 및 깊이 이미지(220)를 이용한다. 예컨대, 가상의 플래시 이미지(210)나 깊이 이미지(220)의 한 픽셀의 값이 그 주위 픽셀의 값과 차이가 크다면 입력 잡음 이미지(110)의 해당 픽셀에 에지가 존재함을 의미한다. 이와 반대로 가상의 플래시 이미지(210)나 깊이 이미지(220)의 한 픽셀의 값이 그 주위의 픽셀의 값과 비슷하다면 입력 잡음 이미지(110)의 해당 픽셀에 에지가 존재하지 않는다고 판단될 수 있다. 본 발명의 실시예에서 결합 양방향 필터링(300)은 입력 잡음 이미지(110)에서 에지 정보를 판단할 때 입력 잡음 이미지(110)를 이용하지 않고 보조 이미지인 가상의 플래시 이미지(210)와 깊이 이미지(220)를 사용함을 지칭한다.

본 발명의 실시예에서 결합 양방향 필터링(300)시에 가상의 플래시 이미지(210)와 깊이 이미지(220)를 입력 잡음 이미지(110)의 추정값으로 사용할 수 있다. 즉, 가상의 플래시 이미지(210)와 깊이 이미지(220)는 입력 잡음 이미지(110)의 에지 정보에 대한 추정값으로 이용될 수 있다. 이러한 추정 값들은 결합 양방향 필터(300)를 이용하여 입력 잡음 이미지(110)의 잡음을 줄이는데 사용된다. 이에 따라 결합 양방향 필터링(300)의 결과 이미지(310)는 입력 잡음 이미지(110)의 이미지 특성을 보전하면서도 잡음이 효과적으로 감소된 이미지이다.

이상에서 이용되는 가상의 플래시 이미지(210)와 깊이 이미지(210)를 만드는 오버헤드(overhead)가 작을 뿐 아니라 결합 양방향 필터(300)는 GPU(Graphics Processing Unit)에서 효과적으로 수행될 수 있다. 따라서, 본 발명의 실시예에 따르면 고속으로 사용자로 하여금 고품질의 렌더링 결과 이미지를 획득할 수 있도록 한다. 특히, 본 발명의 실시예에 따르면 확률적 렌더링(100)을 통해 획득한 입력 잡음 이미지(110)의 에지(edge)와 같은 특성을 보전하면서 잡음을 감소시킴으로써 이미지의 품질이 향상될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 확률적 렌더링,
110: 입력 잡음 이미지
200: 분산 광선 추적법
210: 가상의 플래시 이미지
220: 깊이 이미지
300: 결합 양방향 필터링
310: 결과 이미지

Claims (4)

1. 확률적 렌더링을 통해 입력 잡음 이미지를 획득하는 단계;
   상기 입력 잡음 이미지의 대상과 동일한 대상에 대해 플래시 쉐이딩을 이용한 분산 광선 추적을 통해 보조 이미지를 획득하는 단계;
   상기 입력 잡음 이미지와 상기 보조 이미지를 입력받아, 상기 보조 이미지를 상기 입력 잡음 이미지의 추정 값으로 사용하여 결합 양방향 필터링함으로써 결과 이미지를 획득하는 단계를 포함하는,
   이미지의 잡음 제거 방법.
2. 삭제
3. 제1항에 있어서,
   상기 보조 이미지는 가상의 플래시 이미지와 깊이 이미지를 포함하는 것을 특징으로 하는 이미지의 잡음 제거 방법.
4. 제1항 또는 제3항에 있어서,
   상기 확률적 렌더링은 확률적 전역 조명 방법을 통해 수행되는 것을 특징으로 하는 이미지의 잡음 제거 방법.

Images