KR100677574B1

KR100677574B1 - 비디오 시퀀스로부터 노이즈 분포를 추정하는 방법

Info

Publication number: KR100677574B1
Application number: KR1020050032305A
Authority: KR
Inventors: 김영택; 지 쥬
Original assignee: 삼성전자주식회사
Priority date: 2004-11-17
Filing date: 2005-04-19
Publication date: 2007-02-02
Also published as: US7715645B2; US20060103765A1; KR20060055296A

Abstract

일련의 비디오 프레임들에서 노이즈들을 추정하는 노이즈 추정 시스템은 이미지 구조 제거기와 노이즈 분산 계산기를 사용한다. 이미지 구조 제거기는 두 개의 연속 프레임들에서 국부 윈도우상의 차이를 계산한다. 노이즈 분산 계산기는 국부 차 분포(distribution of local difference)로부터 노이즈 분산(표준 편차)을 추정한다. 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직이 있다면 그 이미지 구조는 국부 차이를 계산함으로써 제거될 수 있으며 따라서 강한 내성이 있는 추정이 얻어진다.

Description

비디오 시퀀스로부터 노이즈 분포를 추정하는 방법{Methods to estimate noise variance from a video sequence}

도 1은 본 발명에 따른 시간적 노이즈 추정 시스템의 일실시예 블록도이다.

도 2는 본 발명의 일실시예에 따른 국부 차를 계산하는 스킴의 일실시예 블록도이다.

도 3은 본 발명의 일실시예에 따라 국부차로서 MAE를 계산하는 일실시예를 보인다.

도 4는 본 발명의 일실시예에 따라 국부차로서 DLM을 계산하는 일실시예를 보인다.

도 5는 본 발명의 일실시예에 따라 MAE의 분포도(히스토그램)의 일실시예를 보인다.

본 발명은 비디오 처리에 관한 것이며, 특히 비디오 신호에서 노이즈 추정에 관한 것이다.

노이즈 추정은 이미지 또는 비디오를 최적으로 처리하기 위한 많은 알고리듬에서 필요하다. 예를 들면, TV 시스템들에서 노이즈 감소(reduction)는 노이즈가 없는 비디오 시퀀스들을 얻기 위한 첫 단계로서 흔히 적용된다. 노이즈 감소의 최적 알고리듬은 노이즈에 적응적이며, 우선 입력 비디오 시퀀스들의 노이즈 분산을 추정하고 다음으로 노이즈 감소를 수행한다. 노이즈 추정은 과대추정이면 이미지 블러링(blurring)을 낳고 과소 추정이면 불충분한 노이즈 감소를 낳기 때문에 이 경우에 매우 중요하다. 입력 이미지(g)가 일반적으로 가법 가우시안 노이즈(additive Gaussian noise)N(0, σ² ₀)에 의해 오염된다고 가정한다.

.................. (1)

여기서 f는 노이즈가 없는 원래 이미지이고, n는 N(0, σ² ₀)이다. 각 픽셀에 대해

..................(2)

여기서 (i,j)는 각 픽셀(g_i,j)의 좌표이며, f_i,j및 g_i,j 는 이미지 g 및 f에서의 픽셀값을 나타내고, 그리고 n_i,j는 N(0, σ² ₀)이다. 노이즈 추정의 문제점은 원래 이미지(f)의 이전 정보없이 오염된 이미지의 노이즈 분산(σ² ₀)을 추정한다는 것이다.

노이즈 추정의 간단한 방법은 이미지(g)의 국부 분산의 예측을 계산하는 것이다. 이 방법은 과대 추정을 초래하는 이미지 구조를 갖는 문제점이 있다. 이 문제를 극복하기 위해 여러 방법들이 제안된다. 한 가지 방법은 해당 픽셀의 그래디언트 크기(gradient)가 설정된 임계치보다 크면 국부 분산을 배제하는 것이다. 그러나 그래디언트 크기가 노이즈 분산과 관련이 있어서 적절한 임계치를 구하는 것이 어렵다. 다른 방법으로서, 우선 오염된 이미지(g)에 고역통과 필터를 적용함으로써 작은 구조를 갖는 노이즈 성분을 추출하고 나서 그 노이즈 성분으로 노이즈 추정을 수행하는 것이다. 또 다른 방법은 그 이미지를 다른 블록 사이즈들의 피라미드 구조로 분해하는 것이다. 노이즈 분산은 각 레벨에서 일련의 4개의 가장 적은 블록 기반의 국부 분산으로 추정된다. 그러나 또 다른 방법으로서, 레일리(Reyleigh) 분포는 세기 그래디언트(intensity gradient)의 크기에 적합하다. 노이즈 분산은 레일리 확률 밀도 함수가 값(σ₀)에 최대로 접근하는 속성을 기반으로 추정된다. 다른 방법들은 가법 노이즈(additive noise)뿐만 아니라 승법 노이즈(multiplicative noise)를 추정한다. 전체적으로, 상기 방법의 모두는 노이즈 분산을 추정하기 위해 공간 국부 통계(spatial local statistics)를 이용한다. 그러나 추정 정확도는 노이즈 성분과 실제 이미지의 분리에 의존한다. 만약 이미지가 복잡한 구조를 포함한다면 강인함(robustness)이 크게 악화된다.

본 발명이 이루고자하는 기술적 과제는 비디오 시퀀스로부터 노이즈 분포를 추정하는 방법을 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 종래 공간 노이즈 추정의 한계들에 대처한다. 본 발명에 따르면, 노이즈 추정은 이미지 구조 제거기 및 노이즈 분산 계산기를 포함한다. 이미지 구조 제거기는 두 개의 연속 프레임에서 SAE(sum of absolute error), MAE(mean absolute error), SSE(sum of square error), MSE(mean square error), DLM(difference of local mean)등을 사용하여 국부 윈도우상의 차이를 계산한다. 노이즈 분산 계산기는 국부 차 분포(distribution of local difference)로부터 노이즈 분산(표준 편차)을 추정한다. 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 적은 움직임이 있다면 그 이미지 구조는 국부 차이를 계산함으로써 제거될 수 있으며 따라서 매우 강인한 추정이 얻어진다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도면들을 참조하면, 본 발명의 바람직한 실시예들은 이하에서 기술되며, 본 발명의 실시예에 따라 노이즈 추정에 대한 기본으로서 우선 가우시안 분포 신호 분석이 제공된다.

가우시안 분포 신호들의 분석

g^t를 시간(t)에서 현재 입력 노이즈성 프레임으로 표시하고, g^t-1를 이전 입력 노이즈성 프레임으로 표시하면, g^t및 g^t-1는 모두 노이즈 분산((σ² ₀)을 갖는 가우시안 노이즈에 의해 오염된다. 여기서 x = g^t- g^t-1라 하면, 그것은 (g^t및 g^t-1사이에 움직임이 존재하지 않으면) 식 (3) 및 (4)를 만족하는 제로 평균 가우시안 분포 랜덤 변수이다.

.......................... (3)

..........................(4)

x'를 식(5)에 나타나 있는바와 같이 x의 k샘플들의 평균이라고 하자.

.............(5)

x'(예를들면, σ² _x')의 분산은 식(6)을 바탕으로 계산될 수 있다.

............(6)

y = ｜g^t - g^t ^-1｜라 가정하면, y =｜x｜ 이기 때문에 y의 확률 밀도 함수(p.d.f)는 식(7)에서처럼 얻어질 수 있다.

.....(7)

y의 제1차 예측치는 식(8)에서처럼 계산될 수 있다.

...............(8)

y의 제2차 예측치는 식(9)에서처럼 계산될 수 있다.

.............................(9)

식(8) 및 식(9)로부터, y의 분산은 식(10)에서처럼 얻어질 수 있다.

................(10)

y'를 식(11)에 나타나 있는바와 같이 y의 k샘플들의 평균이라고 하자.

...............(11)

y'의 제1차 예측치는 식(12)에서처럼 계산될 수 있다.

........................(12)

y'의 분산은 식(13)에서처럼 계산될 수 있다.

....................(13)

(g^t및 g^t-1)²라고 가정하면 그때 z=x²이다. z의 제1차 예측치는 식(14)처럼 얻어질 수 있다.

.................................(14)

z'를 식(15)에 나타나 있는바와 같이 z의 k샘플들의 평균이라고 하자.

.................(15)

z'의 제1차 예측치는 식(16)에서처럼 계산될 수 있다.

..................(16)

노이즈 추정

도 1은 본 발명의 일실시예에 따라 이미지 구조 제거기(110) 및 노이즈 분산계산기(120)를 구비하는 시간 노이즈 추정 시스템(100)의 블록도이다. 이미지 구조 제거기(110)는 두 개의 연속적인 프레임내에서 국부 윈도우상에서의 차이를 계산한다. 노이즈 분산 계산기(120)는 국부 차의 분포로부터 노이즈 분산(표준 편차)을 추정한다. 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직이 있다면 그 이미지 구조는 국부 차이를 계산함으로써 제거될 수 있으며 따라서 매우 강인한 추정이 얻어진다.

이미지 구조 제거기(110)(블록 A)는 국부차(

_i,j)를 계산하며, 계산기(120)(블록 B)는 비디오 시퀀스의 노이즈 분산(표준 편차)에 관련된

의 분포도의 일정한 파라메터를 추정한다.

국부 차(

_i,j)는 식 17에서 보여진 것처럼 두 개의 연속적인 이미지의 함수이다.

................(17)

국부 차는 두 개의 연속적인 프레임에서 크기 H × W의 국부 윈도우를 적용하여 계산된다.

이미지 구조 제거기(110)의 일반 구성도는 도 2에 보여지며, 두 개의 연속적인 이미지 프레임들간의 차를 얻는 차이 추출부(130), 국부 차를 얻기 위해 국부 윈도우상에서 그 차를 필터링하는 필터부(140)를 포함한다. 블록(140)에서 국부 차를 계산하는 예들은 MAE(mean absolute error), MSE(mean square error), DLM(difference of local mean)을 포함한다. 이 기술에서 숙달된 사람들이 인정하는 것처럼 다른 예들과 그 변형들이 가능하다.

1) 도 3은 식(18)에 따라 각각 절대값(150), 합산기(160), 분할기들(170)을 이용하여 MAE 처리(F_MAE)를 수행하는 이미지 구조 제거기(110)의 예를 보인다.

.............................................(18)

2) 도 4는 식(19)에 따라 각각 제곱(square)(155), 합산기(160), 분할기들(170)을 이용하여 MSE 처리(F_MSE)를 수행하는 이미지 구조 제거기(110)의 예를 보인다.

.........................................(19)

3) 도 5는 식(20)에 따라 각각 합산기(160), 분할기들(170)을 이용하여 DLM 처리(F_DLM)를 수행하는 이미지 구조 제거기(110)의 예를 보인다.

...........................(20)

만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직임이 있다면 그 이미지 구조는 국부 차를 계산함으로써 제거될 수 있다. 움직임의 영향을 제거하기 위해 이미지 구조 제거기(110)(도 1)는 움직임 보상 방법으로 확장될 수 있다. 예를 들면, 움직임 보상된 MAE(F_MCMAE)는 식(210)에 따라 얻어질 수 있다.

........................................(21)

여기서 (dx, dy)는 움직임 추정에 의해 얻어진 움직임 벡터이다.

움직임 보상된 MSE는 식(21)에서 절대값 계산 대신에 제곱 연산기를 사용하는 것을 제외한 F_MCMAE와 같은 방식으로 얻어 질 수 있다. 더구나 움직임 보상된 DLM은 또한 식(21)에서 절대값 계산을 제거함으로써 F_MCMAE와 같은 방식으로 얻어 질 수 있다

_i,j가 랜덤 변수의 분포를 만족한다고 가정하면 계산기(120)(도 1)는

의 분포의 정해진 파라메터(α)를 추정한다. 파라메터(α)는 비디오 시퀀스의 노이즈 분산(표준 편차)에 관련된다. 노이즈 분산(표준 편차)은 α로부터 계산될 수 있다. 계산기(120)에 의한 노이즈 분산의 계산예는 이하에서 제공되며, 그러나 이 기술에 숙달된 자들이 인정하는 것처럼 다른 버전들이 가능한다.

1) 국부 차로서 MAE를 사용함.

a) α가 식 (12)로부터

의 제1차 예측 추정치 라면 α는 식(22)에 따라 계산될 수 있다.

.......(22)

이어서, 노이즈 표준 편차는 식(23)에 따라 추정될 수 있다.

......................(23)

b) α가 식 (13)으로부터

의 분산이 추정치라면 α는 식(24)에 따라 계산될 수 있다.

.......(24)

이어서, 노이즈 분산은 식(25)에 따라 추정될 수 있다.

........(25)

c) α는 식 (26)에서 보여진 바와 같이

의 최대 히스토그램 값에 해당한다.

...............(26)

h(

)는

의 히스토그램(또는 분포 커브)이며, 도 6에서 여러 예들에 의해 표시되며, 여기서

(랜덤 변수)는 국부 윈도우상에서 평균 절대 차이다. 도 6의 예에서, k = 1,2,4,8 이며, 여기서 k는

를 계산하기 위한 국부 블록내 픽셀 개수이다. 한 예에서, 블록 사이즈가 3 x 3이면 그때 한 픽셀이 버려지고 8개 픽셀들이

을 계산하기 위해 사용된다(8로 나누면 하드웨어에서 3비트들을 시프트하게 된다). 여기서

의 분포는 도 6에서 k=8의 커브이다. 최대 히스토그램 위치는 블록 사이즈 k= H × W 가 충분히 클 때 E(

)에 매우 가깝다. 따라서 이 경우에 노이즈 표준 편차는 또한 식(23)에 의해 추정될 수 있다.

2) 국부 차로서 MSE를 사용함.

a) α가 식 (16)로부터

의 제1차 예측의 추정이라면 α는 식(27)에 따라 계산될 수 있다.

................(27)

이어서, 노이즈 분산은 식(28)에 따라 추정될 수 있다.

...................(28)

b) α가 식 (26)로부터

의 최대 히스토그램값에 해당되면 추정된 α는 블록 사이즈 k= H × W 가 충분히 클 때 E(

)에 매우 가깝다. 따라서 노이즈 분산은 식(28)에 따라서 추정될 수 있다.

3) 국부 차로서 DLM를 사용함.

α는

의 분산의 추정치이며, 식 (6)으로부터 α는 식(29)에 따라 결정될 수 있다.

...............(29)

그때 노이즈 분산은 식(30)에 따라 추정될 수 있다.

....................(30)

이미지 구조 제거기(110)가 두 개의 연속 프레임들내에서 국부 윈도우상에서의 차를 계산하고, 그리고 계산기(120)가 국부 차의 분포로부터 노이즈 분산을 추정하기 때문에, 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직임이 있다면 그 이미지 구조는 국부 차를 계산함으로써 제거될 수 있으며, 대부분의 이미지가 복잡한 구조를 포함할 지라도 매우 강인한 노이즈 추정을 유도한다.

한편 본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의해 변형함이 가능함은 물론이다. 본 발명에 따라 언급된 예들은 이 기술 분야에서 종사하고 있는 사람들에게 알려져 있는 로직 회로, ASIC, 펌웨어등과 프로세서에 의한 수행을 위해 프로그램과 같이 많은 방법들로 수행될 수 있다. 그러므로 현재 발명은 여기에 기술된 실시예에 한정하지 않는다.

현재 발명은 바람직한 버전을 참조하여 상당히 상세하게 기술되었다. 그러나 다른 버전도 가능하다. 그러므로 수반된 청구범위의 정신과 범위는 여기에 포함된 바람직한 버전의 기술에 제한되지 않아야 한다.

상술한 바와 같이 본 발명에 의하면, 국부 차 분포(distribution of local difference)로부터 노이즈 분산(표준 편차)을 추정하며, 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 적은 움직이 있다면 그 이미지 구조는 국부 차이를 계산함으로써 제거될 수 있으며 따라서 매우 강인한 추정이 얻어진다.

Claims

일련의 비디오 이미지 프레임들에 대한 비디오 노이즈 추정 방법에 있어서,

프레임의 일부분과 연속한 프레임의 해당 부분간에 차를 결정하는 과정; 및

상기 차의 통계학적 분포 함수로서 노이즈 분산을 추정하는 과정을 포함하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 두 프레임에 대한 평균 절대 에러를 계산하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 두 프레임에 대한 절대 에러의 합을 계산하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 두 프레임에 대한 평균 제곱 에러를 계산하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 두 프레임에 대한 제곱 에러의 합을 계산하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 두 프레임에 대한 국부 평균의 차를 계산하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 차를 결정하는 과정은 상기 두 프레임들에서 두 개의 매칭 블록들의 차를 결정하며, 두 개의 매칭 블록들은 움직임 추정에 의해 탐색될 수 있는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 노이즈 분산을 추정하는 과정은 상기 분포에 대한 1차 예측치를 추정하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 노이즈 분산을 추정하는 과정은 상기 분포에 대한 분산을 추정하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 상기 노이즈 분산을 추정하는 과정은 상기 분포에 대한 최대 히스토그램 위치를 추정하는 과정을 더 구비하는 것을 특징으로 하는 비디오 노이즈 추정 방법.
제1항에 있어서, 두 개의 프레임들은 연속적인 프레임들임을 특징으로 하는 비디오 노이즈 추정 방법.
일련의 비디오 이미지프레임들에 대한 비디오 노이즈를 추정하는 비디오 노이즈 추정 시스템에 있어서,

프레임의 일부분과 연속한 프레임의 해당 부분 사이에 차이를 결정하는 이미지 구조 제거기; 및

상기 차의 통계학적 분포 함수로서 노이즈 분산을 추정하는 노이즈 추정기를 포함하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 두 프레임에 대한 평균 절대 에러를 계산함으로써 상기 차를 더 결정하는 것임을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 두 프레임에 대한 절대 에러의 합을 계산함으로써 상기 차를 더 결정하는 것임을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 두 프레임에 대한 평균 제곱 에러를 계산함으로써 상기 차를 더 결정하는 것임을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 두 프레임에 대한 제곱 에러의 합을 계산함으로써 상기 차를 더 결정하는 것임을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 두 프레임에 대한 국부 평균의 차를 계산함으로써 상기 차를 더 결정하는 것임을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 이미지 구조 제거기는 상기 두 프레임들에서 각각 두 개의 매칭 블록들의 상기 차를 결정하며, 상기 두 개의 매칭 블록들은 움직임 추정에 의해 탐색될 수 있음을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 노이즈 추정기는 상기 분포에 대한 1차 예측치를 추정함으로써 노이즈 분산을 더 추정하는 것을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 노이즈 추정기는 상기 분포에 대한 분산을 추정함으로써 노이즈 분산을 더 추정하는 것을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 상기 노이즈 추정기는 상기 분포에 대한 최대 히스토그램 위치를 추정함으로써 노이즈 분산을 더 추정하는 것을 특징으로 하는 비디오 노이즈 추정 시스템.
제12항에 있어서, 두 개의 프레임들은 연속적인 프레임들임을 특징으로 하는 비디오 노이즈 추정 시스템.