KR101231212B1 - 영상에서의 잡음 제거 방법 - Google Patents

Abstract

본 발명은 영상에서의 잡음 제거 방법에 관한 것이다. 개시된 기술은, 잡음 제거 방법에 있어서, 중심 화소를 포함하는 윈도우를 설정하는 단계; 상기 윈도우 내에 포함된 픽셀들의 값의 표준 편차를 계산하는 단계; 상기 표준 편차에 기초하여 양방향 필터(bilateral filter)의 레인지 필터(range filter)의 변수를 결정하는 단계; 및 상기 결정된 변수의 레인지 필터를 가진 양방향 필터로 상기 윈도우 내에 포함된 픽셀들을 필터링하여 상기 중심 화소의 값을 결정하는 단계를 포함한다.

Description

영상에서의 잡음 제거 방법 {METHOD FOR REMOVING NOISE IN IMAGE}

본 발명은 영상에서의 잡음 제거 방법에 관한 것이다.

카메라 등에서 입력되는 모든 영상에서는 원치않는 잡음이 항상 존재할 수 있다. 특히, 어두운 환경에서 영상을 획득할 경우 잡음에 의해 열화된 영상을 얻을 수 있다. 이러한 현상이 나타나는 이유는 저조도 환경에서 화소당 받아들이는 빛의 입자 수가 현저히 줄어들게 되어 잡음의 영향이 커지기 때문이다. 이러한 문제점을 해결하기 위해 후처리 과정으로 잡음을 제거시키는 여러가지 필터에 대한 연구가 개발되어왔고 현재도 진행중이다.

여러 잡음 제거 필터 중에서 일반적으로 가우시안 저역 통과 필터를 이용해 주변 화소값들의 평균값을 계산하여 잡음을 제거하지만, 동시에 에지 영역까지 평탄화시켜 선명한 고화질의 영상을 획득하기에는 한계가 있다. 이러한 한계점을 보완하고자 평탄 영역과 에지 영역 모두에 대해 화질을 향상시키면서 동시에 계산량을 최소화할 수 있는 필터들이 고안되어왔고, 이를 대표하는 필터가 양방향 필터(bilateral filter)이다.

양방향 필터의 성능 관련 연구는 속도 향상, 영상의 주관적 화질 개선, 최적 변수 설정 방법 등 다방면에서 활발히 진행되고 있다. 그러나 포아송-가우시안(Poisson-Gaussian) 혼합 잡음에 대한 고려는 하지 않았다.

개시된 기술이 이루고자 하는 과제는, 포아송-가우시안(Poisson-Gaussian) 혼합 잡음에 대하여 효과적으로 잡음을 제거하는 양방향 필터(bilateral filter)를 이용한 잡음 제거 방법을 제공하는 데 있다.

상술한 바와 같은 목적을 달성하기 위하여 본 발명의 제 1 측면은, 잡음 제거 방법에 있어서, 중심 화소를 포함하는 윈도우를 설정하는 단계; 상기 윈도우 내에 포함된 픽셀들의 값의 표준 편차를 계산하는 단계; 상기 표준 편차에 기초하여 양방향 필터(bilateral filter)의 레인지 필터(range filter)의 변수를 결정하는 단계; 및 상기 결정된 변수의 레인지 필터를 가진 양방향 필터로 상기 윈도우 내에 포함된 픽셀들을 필터링하여 상기 중심 화소의 값을 결정하는 단계를 포함한다.

상술한 바와 같은 목적을 달성하기 위하여 본 발명의 제 2 측면은, 잡음 제거 방법에 있어서, 입력 영상을 앤스콤비 변환(anscombe transform)하는 단계; 상기 변환된 영상을 양방향 필터(bilateral filter)로 필터링하는 단계; 및 상기 필터링된 영상을 역앤스콤비 변환(inverse anscombe transform)하는 단계를 포함한다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

일 실시예에 따른 잡음 제거 방법은 포아송-가우시안(Poisson-Gaussian) 혼합 잡음에 대하여 효과적으로 잡음을 제거하는 양방향 필터(bilateral filter)를 제공할 수 있다.

또한, 일 실시예에 따른 잡음 제거 방법은 영상에 포화 상태(saturation)이나 절단 상태(cut-off)가 발생할 때에도 밝기에 따른 양방향 필터를 통해 영상의 잡음을 제거할 수 있다.

도 1은 본 발명의 실시예에 따른 영상에서의 잡음 제거 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예에 따른 영상에서의 잡음 제거 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 레인지 필터의 변수 값에 따른 열화된 영상과 양방향 필터가 수행된 영상의 PSNR을 설명하기 위한 도면이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명의 실시예에 따른 영상에서의 잡음 제거 방법을 나타내는 순서도이다. 도 1을 참조하면, 입력된 영상에 중심 화소를 포함하는 윈도우를 설정한다(S110). 여기에서, 윈도우는 N*N 픽셀(N은 자연수)로 구성될 수 있다. 예로서, 윈도우는 11*11 픽셀에 해당할 수 있다. 중심 화소는 윈도우의 중심에 위치하고, 양방향 필터를 수행할 때 중심이 되는 픽셀을 나타낸다.

윈도우 내에 포함된 픽셀들의 값의 표준 편차를 계산한다(S120). 픽셀들 값의 표준 편차는 레인지 필터의 변수에 영향을 줄 수 있다.

수학식 1은 각 위치에 따라 다른 값을 구하는 경우의 윈도우 내의 표준 편차를 구하는 방법을 나타낸다. 수학식 1에서, f[m,n]은 원본 영상을 나타내고, [m,n]은 픽셀 위치를 나타낸다. 또한, a는 포아송 잡음 파라미터를 나타내고, b는 가우시안 잡음 파라미터를 나타낸다.

픽셀들의 값의 표준 편차에 기초하여 양방향 필터(bilateral filter)의 레인지 필터(range filter)의 변수를 결정한다(S130). 양방향 필터링에서 영상의 밝기 성분에 민감한 레인지 필터의 변수를 조절하는 것이 변수 설정시 중요하다. 일 예로서, 양방향 필터의 레인지 필터의 변수는 중심 화소의 위치에 따라 적응적으로 변할 수 있다.

결정된 변수의 레인지 필터를 가진 양방향 필터로 윈도우 내에 포함된 픽셀들을 필터링하여 중심 화소의 값을 결정한다(S140). 양방향 필터는 도메인 필터(domain filter)와 레인지 필터의 곱으로 이루어진다. 도메인 필터는 윈도우의 중심 화소와 가까운 거리에 있는 화소에 높은 가중치를 주는 필터이고, 레인지 필터는 윈도우의 중심 화소의 밝기 값과 비슷한 화소에 높은 가중치를 주는 필터이다. 양방향 필터는 도메인 필터를 통해 공간 정보를 고려하고 레인지 필터를 통해 화소의 밝기 정보를 동시에 고려할 수 있다. 따라서, 양방향 필터는 공간 정보만을 이용하는 가우시안 저역 통과 필터에 비해 에지를 잘 살리면서 잡음을 제거할 수 있다.

수학식 2는 양방향 필터의 임펄스 반응(impulse response)인

를 나타내는 것으로, m₀,n₀는 윈도우 내의 중심 화소를 의미하고,

는 m₀,n₀ 를 중심으로 하는 필터링 윈도우이며 크기가 N*N인 윈도우 내에 포함되는 화소를 나타낸다. 또한,

는 도메인 필터의 변수를 나타내고,

은 레인지 필터의 변수를 나타낸다. 일 예로서,

는 3에 해당할 수 있고,

는 윈도우 내 영상의 픽셀들로부터 계산된 표준 편차와 동일하거나 2배에 해당할 수 있다.

양방향 필터의 임펄스 반응

는 도메인 필터의 항과 레인지 필터의 항의 곱으로 나타낼 수 있다. 도메인 필터의 항은

에 의해 결정되며 윈도우 내의 중심 화소와 가까운 거리에 있는 화소들에게 가우시안 함수로 높은 가중치를 주는 것을 의미한다. 레인지 필터의 항은

에 의해 결정되며, 중심 화소의 밝기와 비슷한 값을 갖는 화소들에게 높은 가중치를 주는 가우시안 함수로 이루어져 있다. 위치에 따라 다른 값을 구할 때 레인지 필터의 변수

은

로 변하게 되며 레인지 필터의 항은

와 같이 위치에 따라 변하게 된다.

입력된 영상에 포함된 각 픽셀에 대하여 S110 내지 S140 단계를 수행하여 각 픽셀의 값을 결정한다. 또한, 양방향 필터로 필터링이 수행된 후의 PSNR(Peak Signal to Noise Ratio)을 산출한다. PSNR이 높을수록 노이즈 제거에 효과적인 필터링에 해당된다.

도 2는 본 발명의 실시예에 따른 영상에서의 잡음 제거 방법을 나타내는 순서도이다. 도 2를 참조하면, 입력된 영상을 앤스콤비 변환(anscombe transform)한다(S210). 앤스콤비 변환은 분산을 안정화(stabilization)하기 위한 변환으로서 잡음의 분산을 데이터의 연관성을 제거하기 위해 해주는 것이다. 각각 위치에 따라 다른 포아송-가우시안 잡음일 경우 앤스콤비 변환을 시키면 각 위치에 따라 다른 레인지 필터의 변수 값이 아닌 각 위치에 따라 같은 레인지 필터의 변수 값을 적용시킬 수 있다.

수학식 3은 앤스콤비 변환을 나타내는 식이다. 수학식 3에서, g[m,n]은 열화된 영상을 나타낸다.

변환된 영상을 양방향 필터로 필터링한다(S220). 양방향 필터링에서 영상의 밝기 성분에 민감한 레인지 필터의 변수를 조절하는 것이 변수 설정시 중요하다.

수학식 4는 각 위치에 따라 같은 값을 구하는 경우의 윈도우 내의 표준 편차를 구하는 방법을 나타낸다. 수학식 4에서, g[m,n]은 관찰된 영상을 나타내고, f[m,n]은 원본 영상을 나타내고, std는 표준 편차를 나타낸다.

필터링된 영상을 역앤스콤비 변환(inverse anscombe trasform)한다(S230).

수학식 5는 역앤스콤비 변환을 나타내는 식이다. 수학식 5에서, g[m,n]은 열화된 영상을 나타낸다. 또한, 필터링된 영상에 역앤스콤비 변환이 수행된 후의 PSNR(Peak Signal to Noise Ratio)을 산출한다. PSNR이 높을수록 노이즈 제거에 효과적인 필터링 즉 잡음 제거에 해당된다.

도 3은 본 발명의 일 실시예에 따른 레인지 필터의 변수 값에 따른 열화된 영상과 양방향 필터가 수행된 영상의 PSNR을 설명하기 위한 도면이다. 도 3을 참조하면, 레인지 필터의 변수 값을 영상의 계산된 표준 편차 값과 동일하게 하고, 가우시안 파라미터 b값은 0.001로 고정시키고, 포아송 파라미터 a값은 0.000에서 0.020까지 변화시켜 가면서 PSNR을 비교한 것을 나타낸다. 도 3에서 each pos는 각 위치에 따라 다른 레인지 필터의 변수 값을 사용한 것이고, global은 각 위치에 따라 같은 레인지 필터의 변수 값을 사용한 것을 나타낸다. Anscombe는 각 위치에 따라 같은 값의 레인지 필터의 변수 값을 사용할 때, 앤스콤비 변환을 통과시킨 후 양방향 필터링 시키고, 다시 역앤스콤비 변환시킨 것을 나타낸다. 도 3에서, 기존의 PSNR 값인 global과 비교할 때, global이 가장 작고, Anscombe 값이 다음으로 크고, each pos이 가장 큰 것을 알 수 있다. 따라서, 결과상으로, 레인지 필터의 변수 값이 입력된 영상의 표준 편차와 동일한 경우에는, 윈도우를 설정하여 각 위치에 따른 다른 레인지 필터의 변수 값을 사용하여 양방향 필터링을 하는 것이 잡음 제거에 효과적이라고 할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

1. 중심 화소를 포함하는 윈도우를 설정하는 단계;
   상기 윈도우 내에 포함된 픽셀들의 값의 표준 편차(σ)를 아래의 수식을 이용하여 계산하는 단계;
   상기 표준 편차에 기초하여 양방향 필터(bilateral filter)의 레인지 필터(range filter)의 변수를 결정하는 단계; 및
   상기 결정된 변수의 레인지 필터를 가진 양방향 필터로 상기 윈도우 내에 포함된 픽셀들을 필터링하여 상기 중심 화소의 값을 결정하는 단계를 포함하는 잡음 제거 방법.
   

   

   
   (여기서, f[m,n]은 원본 영상, [m,n]은 픽셀 위치, a는 포아송 잡음 파라미터, b는 가우시안 잡음 파라미터를 의미함)
2. 제 1 항에 있어서,
   상기 레인지 필터의 상기 변수는 상기 계산된 표준 편차와 동일하거나 2배인 잡음 제거 방법.
3. 제 1 항에 있어서,
   상기 중심 화소는 상기 윈도우의 중심에 위치하는 잡음 제거 방법.
4. 제 1 항에 있어서,
   상기 윈도우는 N*N 픽셀(N은 자연수)인 잡음 제거 방법.
5. 제 1 항에 있어서,
   영상에 포함된 각 픽셀을 상기 중심 화소로 설정하고, 상기 각 단계를 반복 수행하여 상기 각 픽셀에 대한 값을 결정하는 잡음 제거 방법.
6. 제 1 항에 있어서,
   상기 양방향 필터는 도메인 필터와 상기 레인지 필터를 포함하는 잡음 제거 방법.
7. 제 1 항에 있어서,
   상기 양방향 필터의 레인지 필터의 변수는
   상기 중심 화소의 위치에 따라 적응적으로 변하는 잡음 제거 방법.
8. 삭제
9. 입력 영상을 앤스콤비 변환(anscombe transform)하는 단계;
   상기 변환된 영상을 양방향 필터(bilateral filter)로 필터링하는 단계; 및
   상기 필터링된 영상을 역앤스콤비 변환(inverse anscombe transform)하는 단계를 포함하되,
   상기 양방향 필터는 레인지 필터를 포함하고, 상기 레인지 필터의 변수는 상기 입력 영상의 표준 편차에 기초하고, 상기 표준 편차(σ)는 아래의 수식을 이용하여 계산하는 잡음 제거 방법.
   

   

   
   (여기서, f[m,n]은 입력 영상, [m,n]은 픽셀 위치, a는 포아송 잡음 파라미터, b는 가우시안 잡음 파라미터를 의미함)
10. 삭제
11. 제 9 항에 있어서,
    상기 레인지 필터의 상기 변수는 상기 입력 영상의 상기 표준 편차와 동일하거나 2배인 잡음 제거 방법.
12. 제 9 항에 있어서,
    상기 양방향 필터는 도메인 필터와 상기 레인지 필터를 포함하는 잡음 제거 방법.
    

Images