KR101508386B1

KR101508386B1 - 움직임 적응적 잡음 제거 방법 및 그 장치

Info

Publication number: KR101508386B1
Application number: KR20080095291A
Authority: KR
Inventors: 임경원; 김성득
Original assignee: 엘지전자 주식회사
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2015-04-03
Also published as: KR20100035909A

Abstract

본 발명은 잡음이 섞인 영상을 입력받아 공간영역 필터링과 시간영역 필터링을 수행하여 잡음을 제거하기 위한 것으로서, 공간영역 필터를 전처리 부분과 후처리 부분으로 구분하여 전처리 부분은 정확한 움직임 검출을 위한 용도로 사용하고, 영상의 잡음 제거를 위한 공간영역 필터링은 후처리 부분에서 담당한다. 특히, 시간영역 필터는 공간영역 필터링을 거치지 않은 입력 영상에 대해 시간영역 필터링을 수행한다. 이에 따라 시간적인 연관성이 강한 영상의 경우에도 영상에 내재한 세밀한 성분을 보존하면서 잡음을 제거할 수 있다. 또한, 잡음이나 움직임의 정도에 적응하여 시간영역 필터링과 공간영역 필터링의 강도가 조절되므로 상황에 맞는 효과적인 잡음 제거가 가능하다.

영상, 잡음, 움직임, 적응, 공간영역 필터, 시간영역 필터, 가중치

Description

움직임 적응적 잡음 제거 방법 및 그 장치{ Method and Apparatus for Motion Adaptive Noise Elimination }

본 발명은 움직임 적응적 잡음 제거 방법 및 그 장치에 관한 것으로서, 특히 잡음이 섞인 입력 영상에 대해 공간영역 필터링(Spatial Filtering)과 시간영역 필터링(Temporal Filtering)을 적절히 수행하여 입력 영상의 섬세한 부분까지 보존하면서 잡음을 제거할 수 있도록 한다.

각종 영상 처리 시스템과 관련하여 입력 영상에 포함되어 있는 잡음을 제거하기 위한 다양한 기술이 사용되고 있다.

이러한 기술의 예로는 공간영역 필터링과 시간영역 필터링을 들 수 있다. 공간영역 필터링은 현재 영상의 잡음을 제거하기 위해 사용되고, 시간영역 필터링은 이웃하는 영상 프레임 사이의 움직임 정보를 검사하여 화소들을 움직임 영역과 움직임이 없는 영역으로 구분하고 움직임이 없는 화소들을 필터링한다. 일반적으로 시간영역 필터링은 세밀한 부분과 경계를 유지하는데 유리하다.

도 1을 참조하여 종래에 사용되는 보편적인 시공간영역 잡음 제거 기술을 살펴보기로 한다.

잡음이 섞여 있는 입력 영상 I(t)는 잡음의 표준편차(σ_n)를 이용하여 공간영역 필터(11: Spatial Filter)에 의해 먼저 잡음이 제거된다. 공간영역 필터(11)의 결과 영상 F_S(t)는 시간 방향으로 시간영역 필터(14: Temporal Filter)에 의해 다시 잡음이 제거되어 최종 결과 영상 F_F(t)를 얻는다.

메모리(12)는 잡음이 제거된 최종 결과 영상을 저장하는 구성요소로서, 이전에 처리되었던 영상 F_F(t-T)를 공급한다. 즉, F_F(t-T)는 이전 입력 영상에 대한 최종 결과 영상을 의미한다.

움직임 검출부(13: Motion Detector)는 F_S(t)와 F_F(t-T) 사이의 움직임 정도에 따라 시간영역 필터(14)를 제어하기 위한 파라미터를 전달한다.

시간영역 필터(14)는 움직임의 양에 따라 적응적으로 필터링의 강도를 조절하는 것이 중요하므로, 움직임 검출부(13)가 전달하는 파라미터를 이용하여 필터링의 강도를 조절한다.

한편, 도시된 바와 같이 종래 시간영역 필터(14)는 공간영역 필터(11)에서 공간영역 필터링을 수행한 결과 영상을 입력받아 시간영역 필터링을 수행한다. 이 때문에 종래의 잡음 제거 기술은 영상에 내재한 섬세한 부분들을 손상시킬 수 있는 문제점이 있다.

즉, 움직임 검출을 위해서는 잡음이 제거된 공간영역 필터링 결과를 사용하는 것이 유리하지만, 시간영역 필터링의 입장에서 보면 공간영역 필터링 결과를 사용하는 것이 불리할 수 있다. 이것은 시간적으로 연관성이 큰 영역의 섬세한 부분을 공간영역 필터링에 의해 미리 잃어버릴 수 있기 때문이다.

이에 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 공간영역 필터를 전처리 부분과 후처리 부분으로 분리하여 전처리 부분은 정확한 움직임 검출을 위한 용도로만 사용하고, 시간영역 필터는 공간영역 필터링되지 않은 입력 영상을 필터링하도록 하여, 시간적 연관성이 강한 영상의 세밀한 성분을 보존하고 잡음이나 움직임 정도에 적절히 반응하여 효과적으로 잡음을 제거할 수 있는 움직임 적응적 잡음 제거 방법 및 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 움직임 적응적 잡음 제거 방법은, 잡음이 섞인 현재 입력 영상 프레임에 대하여 움직임 검출을 위한 공간영역 필터링을 수행하는 전처리 공간영역 필터링 단계; 상기 전처리 공간영역 필터링 단계에서 공간영역 필터링된 영상 프레임과 이전에 잡음 제거 처리가 완료된 영상 프레임(이전 영상 프레임) 사이의 움직임 정도를 검출하여 시간영역 필터링 가중치를 결정하는 움직임 검출 단계; 상기 잡음이 섞인 현재 입력 영상 프레임에 대해 상기 이전 영상 프레임과 상기 시간영역 필터링 가중치를 이용하여 시간영역 필터링을 수행하는 시간영역 필터링 단계; 및 상기 시간영역 필터링된 영상 프레임에 대해 공간영역 필터링을 수행하여 잡음 제거 처리가 완료된 영상 프레임을 출력하는 후처리 공간영역 필터링 단계를 포함하여 이루어진다.

상기 전처리 공간영역 필터링 단계는 상기 잡음이 섞인 현재 입력 영상 프레임의 각 화소에 인접한 (2T+1)·(2T+1) 크기의 윈도우를 (2F+1)·(2F+1) 크기의 윈도우(T > F)로 탐색하여 가중치 마스크(전처리용 가중치 마스크)를 산출하고, 이를 이용하여 공간영역 필터링을 수행하도록 구성될 수 있다.

상기 잡음이 섞인 현재 입력 영상 프레임의 (n₁,n₂)번째 화소를 g(n₁,n₂), 이 화소에 대한 전처리용 가중치 마스크의 (k₁,k₂)번째 요소를 w(k₁,k₂;n₁,n₂), 표준편차를 σ_n이라 할 때, w(k₁,k₂;n₁,n₂)는 다음과 같이 산출될 수 있다.

이때, m_f(n₁,n₂)가 상기 전처리 공간영역 필터링 단계에서 공간영역 필터링된 화소라 하면, 상기 공간영역 필터링은 다음과 같이 이루어질 수 있다.

또한, 상기 공간영역 필터링은 인접 화소와의 거리에 기반한 가중치 w_s를 반영하여 다음과 같이 이루어질 수도 있다.

이때 연산의 간결성을 위하여 각 제곱 연산은 절대값 연산으로 대치될 수 있고, 상기 a(i,j)는 룩 업 테이블(Look-Up-Table)을 이용하여 구할 수 있다.

한편, 상기 움직임 검출 단계는 다음과 같은 방법으로 상기 시간영역 필터링 가중치 α를 결정하도록 구성될 수 있다.

여기서, α₁,α₂, P₁, P₂는 기 설정된 값, F_s(x;t)는 전처리 공간영역 필터링 단계에서 공간영역 필터링된 화소, F_F(x;t-T)는 이전 영상 프레임의 화소, w'(r₁,r₂)는 중심 화소와의 거리에 따른 가중치, {N₁,N₂}는 중심 화소에 인접한 화소들의 위치를 나타내는 집합이다.

상기 움직임 검출 단계는 상기 잡음이 섞인 현재 입력 영상 프레임의 각 화소에 대한 영역특성에 따라 상기 시간영역 필터링 가중치를 결정하도록 구성될 수 있다.

상기 영역특성은 전처리용 가중치 마스크 w(k₁,k₂;n₁,n₂)를 이용하여 판단하도록 구성될 수 있다.

상기 영역특성은 상기 W(n₁,n₂)를 이용하여 판단하도록 구성될 수 있다.

상기 영역특성은 상기 전처리용 가중치 마스크의 각 요소에 대한 방향성 합의 최대값과 최소값 비율을 이용하여 판단하도록 구성될 수 있다.

상기 시간영역 필터링 단계에서의 시간영역 필터링은 다음과 같이 이루어지도록 구성될 수 있다.

F_T(x;t) = α·I(x;t) + (1-α)·F_F(x;t-T)

여기서 F_T(x;t)는 시간영역 필터링 단계에서 시간영역 필터링된 화소, α는 시간영역 필터링 가중치, I(x;t)는 잡음이 섞인 현재 입력 영상 프레임의 화소, F_F(x;t-T)는 이전 영상 프레임의 화소이다.

상기 후처리 공간영역 필터링 단계는 상기 시간영역 필터링 가중치를 이용하여 공간영역 필터링의 강도를 조절하도록 구성될 수 있다.

상기 후처리 공간영역 필터링 단계는 상기 전처리용 가중치 마스크를 상기 시간영역 필터링 가중치를 이용하여 갱신하고, 상기 갱신된 가중치 마스크(후처리용 가중치 마스크)를 이용하여 공간영역 필터링을 수행하도록 구성될 수 있다.

이때, 상기 후처리용 가중치 마스크는 다음과 같이 구할 수 있다.

여기서, w-post는 후처리용 가중치 마스크, w는 전처리용 가중치 마스크, α는 시간영역 필터링 가중치, H(α)는 시간영역 필터링된 영상 프레임과 상기 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산에 대한 함수이다.

상기 H(α)는 시간영역 필터링된 영상 프레임에 남아있는 잡음의 분산을 추정하는 함수로서, 다음과 같이 나타낼 수 있다.

여기서,

는 시간영역 필터링된 영상 프레임에 남아있는 잡음의 분산,

는 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산이다.

H(α(x))는 다음과 같이 결정될 수 있다.

H(α(x))=α(x)^P, 0 ≤ H(α(x)) ≤ 1

여기서, α(x)는 각 화소에 대한 시간영역 필터링 가중치, P는 실험적으로 결정되는 상수이다.

한편, 본 발명에 따른 움직임 적응적 잡음 제거 장치는, 잡음이 섞인 현재 입력 영상 프레임의 국부 특성을 분석하여 각 화소에 대한 전처리용 가중치 마스크와 자기 유사성 마스크를 산출하는 자기 유사성 탐색부; 상기 자기 유사성 마스크 를 이용하여 각 화소의 영역특성을 분류하는 영역 분류부; 상기 잡음이 섞인 현재 입력 영상 프레임에 대해 상기 전처리용 가중치 마스크를 이용하여 공간영역 필터링을 수행하는 전처리 공간영역 필터; 이전에 잡음 제거 처리가 완료된 영상 프레임(이전 영상 프레임)을 저장하는 메모리; 상기 전처리 공간영역 필터에서 처리된 영상 프레임과 상기 메모리에 저장되어 있는 이전 영상 프레임 사이의 움직임 정도를 검출하고, 상기 영역 분류부에서 분류한 영역특성에 따라 시간영역 필터링 가중치를 결정하는 움직임 검출부; 상기 잡음이 섞인 현재 입력 영상 프레임에 대하여 상기 메모리에 저장되어 있는 이전 영상 프레임과 상기 시간영역 필터링 가중치를 이용하여 시간영역 필터링을 수행하는 시간영역 필터; 및 상기 시간영역 필터에서 처리된 영상 프레임에 대해 공간영역 필터링을 수행하여 잡음 제거 처리가 완료된 영상 프레임을 출력하는 후처리 공간영역 필터링 처리부를 포함하여 이루어진다.

상기 자기 유사성 탐색부는 상기 잡음이 섞인 현재 입력 영상 프레임의 각 화소에 인접한 (2T+1)·(2T+1) 크기의 윈도우를 (2F+1)·(2F+1) 크기의 윈도우(T > F)로 탐색하여 상기 전처리용 가중치 마스크와 상기 자기 유사성 마스크를 산출하도록 구성될 수 있다.

이때, 연산의 간결성을 위하여, 각 제곱 연산은 절대값 연산으로 대치될 수 있고, 상기 a(i,j)는 룩 업 테이블(Look-Up-Table)을 이용하여 구할 수 있다.

한편, m_f(n₁,n₂)가 상기 전처리 공간영역 필터의 출력 화소라 할 때, 상기 전처리 공간영역 필터는 다음과 같이 공간영역 필터링을 수행하도록 구성될 수 있다.

상기 자기 유사성 마스크는 상기 전처리용 가중치 마스크와 동일하게 구성하거나, 상기 전처리용 가중치 마스크에 인접 화소와의 거리에 기반한 가중치 w_s를 반영하여 다음과 같이 산출하도록 구성될 수 있다.

여기서, S는 자기 유사성 마스크이다.

이러한 실시예에서, 상기 전처리 공간영역 필터는 다음과 같이 공간영역 필터링을 수행하도록 구성될 수 있다.

상기 움직임 검출부는 다음과 같이 상기 시간영역 필터링 가중치 α를 결정하도록 구성될 수 있다.

여기서, α₁,α₂, P₁, P₂ _:는 기 설정된 값, F_s(x;t)는 전처리 공간영역 필터링 단계에서 공간영역 필터링된 화소, F_F(x;t-T)는 이전 영상 프레임의 화소, w'(r₁,r₂)는 중심 화소와의 거리에 따른 가중치, {N₁,N₂}는 중심 화소에 인접한 화소들의 위치를 나타내는 집합이다.

상기 시간영역 필터의 시간영역 필터링은 다음과 같이 이루어지도록 구성될 수 있다.

F_T(x;t) = α·I(x;t) + (1-α)·F_F(x;t-T)

여기서, F_T(x;t)는 시간영역 필터의 출력 화소, I(x;t)는 잡음이 섞인 현재 입력 영상 프레임의 화소, F_F(x;t-T)는 이전 영상 프레임의 화소이다.

상기 후처리 공간영역 필터는 상기 시간영역 필터링 가중치를 이용하여 공간영역 필터링의 강도를 조절하도록 구성될 수 있다.

상기 후처리 공간영역 필터링 처리부는, 상기 시간영역 필터링 가중치를 이용하여 상기 전처리용 가중치 마스크를 조절하는 가중치 조절부; 및 상기 조절된 가중치 마스크(후처리용 가중치 마스크)를 이용하여 공간영역 필터링을 수행하는 후처리 공간영역 필터를 포함하여 구성될 수 있다.

이때, 상기 가중치 조절부는 다음과 같이 상기 후처리용 가중치 마스크를 산출하도록 구성될 수 있다.

여기서, H(α)는 시간영역 필터링된 영상 프레임과 상기 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산에 대한 함수이다.

상기 H(α)는 시간영역 필터의 출력 영상 프레임에 남아있는 잡음의 분산을 추정하는 함수로서, 다음과 같이 나타낼 수 있다.

여기서,

H(α(x))는 다음과 같이 결정될 수 있다.

H(α(x))=α(x)^P, 0 ≤ H(α(x)) ≤ 1

본 발명에 따르면, 공간영역 필터를 전처리 공간영역 필터와 후처리 공간영역 필터로 분리한다. 전처리 공간영역 필터는 움직임 검출만을 위해 사용하고, 시간영역 필터는 잡음이 섞인 현재 입력 영상을 그대로 필터링하며, 영상의 공간영역 잡음 제거는 후처리 공간영역 필터에서 이루어진다.

이에 따라 시간적 연관성이 강한 동영상의 경우에도 영상에 내재한 세밀한 성분을 보존하면서 효과적으로 잡음을 제거할 수 있다. 시간적 연관성이 약한 영역에서는 뒤따르는 후처리 공간영역 필터에서 잡음이 제거된다.

후처리 공간영역 필터의 필터링 강도는 시간영역 필터의 필터링 강도에 따라 조절되기 때문에 과도한 필터링으로 인한 번짐 현상 혹은 미약한 필터링으로 인해 잡음이 남게 되는 현상을 줄일 수 있다.

전처리 공간영역 필터링과 관련한 자기 유사성 정보와 가중치 정보 등을 각 구성요소가 공통으로 이용하면, 잡음 제거가 필요한 각종 영상 처리 시스템에 효율적으로 적용될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

설명의 편의를 위하여, 잡음이 섞인 상태로 현재 입력되는 영상 프레임을 '현재 입력 영상 프레임 I(t)'라 하고, 이전에 이미 잡음 제거 처리가 완료된 영상 프레임을 '이전 영상 프레임 F_F(t-T)'라 하기로 한다.

본 발명은 프로그레시브(Progressive) 영상과 인터레이스(Interlaced) 영상에 모두 사용될 수 있는 것으로서, '프레임'이란 '필드'의 의미도 내포하고 있는 것으로 이해되어야 한다.

인터레이스 영상의 경우에는 홀수와 짝수 필드에 각각 적용하거나, 홀수와 짝수 필드를 하나의 프레임으로 병합한 후 적용할 수 있다.

도 2를 참조하여, 본 발명에 따른 움직임 적응적 잡음 제거 방법에 관한 실시예를 구체적으로 설명하기로 한다.

먼저 전처리 공간영역 필터링 단계(S21)에서 현재 입력 영상 프레임 I(t)에 대하여 움직임 검출을 위한 공간영역 필터링을 수행한다.

단계 S21에서 공간영역 필터링을 수행하는 방법은 다양하게 구성할 수 있는 것으로서, 그 하나의 예는 현재 입력 영상 프레임 I(t)의 각 화소에 대한 가중치 마스크를 이용하여 공간영역 필터링을 수행하는 것이다.

각 화소에 대한 가중치 마스크는 현재 처리 대상인 화소와 인접한 (2T+1)·(2T+1) 크기의 윈도우를 (2F+1)·(2F+1) 크기의 윈도우로 탐색하여 구할 수 있으며, 가중치 마스크는 (2T+1)·(2T+1)의 크기를 갖는다. 여기서, T와 F는 1 이상의 정수이고, T > F이다.

전처리 공간영역 필터링 단계(S21)에서 산출되는 가중치 마스크를 '전처리용 가중치 마스크'라 하기로 한다.

가중치 마스크를 이용하여 공간영역 필터링을 수행하는 하나의 방법은 Non-Local Mean Filter(NL 필터)를 이용하는 것이며, 다음의 수학식 1과 수학식 2에 나타내었다.

상기 수학식 2에서 σ_n은 잡음의 표준편차, g(n₁,n₂)는 현재 입력 영상 프레임 I(t)의 (n₁,n₂)번째 화소, m_f(n₁,n₂)는 공간영역 필터링된 출력 화소를 의미한다.

이때, w(k₁,k₂;n₁,n₂)가 (n₁,n₂)번째 화소에 대한 전처리용 가중치 마스크의 요소가 된다. k₁과 k₂의 범위는 -T로부터 T까지 이다.

도 3을 참조하여 T=2, F=1인 경우에 전처리용 가중치 마스크를 산출하는 예를 살펴보자면, 중심 화소로부터 상, 하, 좌, 우로 2 화소의 거리를 갖는 원도우(31)를 3·3 크기의 윈도우(32)로 탐색한다.

중심 화소는 탐색 윈도우(31)의 각 화소에 위치하게 되므로, 5·5 크기의 전처리용 가중치 마스크가 산출된다.

도 3에는 가중치를 정수로 표현하기 위해 가중치의 최대값을 31로 정하고 선형적으로 표현한 예를 도시하였다.

이러한 과정은 각 화소에 대한 자기 유사성을 탐색하는 과정으로 이해될 수 있으며, 전처리용 가중치 마스크는 전처리 공간영역 필터링에 사용될 뿐 아니라 화소의 영역특성을 분석하거나 이후 후처리 공간영역 필터링 단계에서 사용될 가중치를 결정하는데 영향을 미치게 된다.

상기 수학식 1은 중심 화소와 인접 화소 사이의 거리에 기반한 가중치 w_s를 추가하여 다음의 수학식 3와 같이 표현할 수도 있다.

상기 수학식 2는 간결한 연산을 위해 변경될 수 있으며, 수학식 2가 관여하는 모든 과정에서 변경된 수학식이 사용될 수 있다.

예를 들자면, 상기 수학식 2에 포함되어 있는 연산들 중 다음의 수학식 4의 연산은 수학식 5의 연산으로 대치될 수 있고, 수학식 6의 연산은 수학식 7의 연산으로 대치될 수 있다.

또한, a(i,j)는 룩 업 테이블(Look-Up-Table)을 이용하여 구할 수 있다.

움직임 검출 단계(S22)에서는 전처리 공간영역 필터링 단계(S21)에서 공간영역 필터링된 영상 프레임과 이전 영상 프레임 F_F(t-T) 사이의 움직임 정도를 검출하여 시간영역 필터링 가중치를 결정한다.

움직임 검출 단계(S22)는 현재 처리 대상인 화소의 영역특성에 따라 시간영역 필터링 가중치를 결정하도록 구성될 수 있다.

즉, 움직임 검출 단계(S22)는 처리 대상 화소가 속한 영역이 평탄한 영역인지, 복잡한 영역인지, 에지(Edge)에 위치한 영역인지 등에 따라 움직임 검출의 정도를 달리할 수 있으며, 이를 통해 영역특성이 시간영역 필터링 가중치의 결정에 영향을 미치도록 구성할 수 있다.

영역특성은 자기 유사성 마스크를 이용하여 판단될 수 있는데, 자기 유사성 마스크로는 상기 수학식 2의 w(k₁,k₂;n₁,n₂) 또는 수학식 3의 'w(k₁,k₂;n₁,n₂)·w_s(k₁,k₂)'를 이용할 수 있다. 즉, w_s(k₁,k₂)를 고려하지 않는다면, 자기 유사성 마스크와 전처리용 가중치 마스크는 동일하며, 전처리용 가중치 마스크와 자기 유사성 마스크는 모두 (2T+1)·(2T+1)의 크기를 갖는다.

도 4는 자기 유사성 마스크의 몇 가지 예를 나타낸 것으로서, 자기 유사성 탐색 결과를 활용한 영역특성을 보여준다.

평탄한 영역에서는 전반적으로 유사도가 높은 값들이 나타나고, 경계에서는 경계방향을 따라 큰 유사도를 보여준다. 복잡한 영역에서는 유사도가 매우 낮거나 일정한 패턴이 없이 나타난다. 이러한 특성을 활용하여 각 화소가 속한 영역특성을 판단할 수 있다.

영역특성을 판단하는 구체적인 일 예는 상기 수학식 1과 수학식 3의 W(n₁,n₂)를 이용하여 해당 화소의 영역특성을 판단하도록 구성하는 것이다. 즉, W(n₁,n₂)이 특정 값 이상이면 평탄한 영역으로 판단하고, 특정 값 미만이면 복잡한 영역으로 판단할 수 있다.

영역특성을 판단하는 또 다른 예는 중심 화소를 기준으로 자기 유사성 마스크의 각 요소에 대한 방향성 합의 최대값과 최소값 비율을 이용하여 판단하도록 구성하는 것이다.

한편, 움직임 검출 단계(S22)는 다음의 수학식 8에 따라 시간영역 필터링 가중치를 결정하도록 구성될 수 있다.

여기서 α는 시간영역 필터링 가중치이고, α₁,α₂, P₁, P₂는 사용자에 의해 정의되거나 잡음의 표준편차를 고려해 정의될 수 있다. F_s(x;t)는 전처리 공간영역 필터링된 영상 프레임, F_F(x;t-T)는 이전 영상 프레임, w'(r ₁ ,r ₂ )는 중심 화소와의 거리에 따른 가중치로써 거리가 멀어질수록 작은 값을 가진다.

화소 단위로 정밀하게 움직임의 정도를 판별하기 위해 입력 잡음의 크기에 따라 적합한 가중치를 선택하도록 한다. {N₁,N₂}는 중심 화소에 인접한 화소들의 위치를 나타내는 집합이다.

도 5는 시간영역 필터링 가중치 α 곡선의 예로서, 구간적으로 선형화된 곡선을 사용하거나 이와 유사한 비선형 곡선을 사용할 수도 있다.

일반적으로 α₂=1이며, α₁은 잡음의 표준편차에 반비례하도록 실험적으로 정해지고, P₁과 P₂는 실험적으로 정의된 상수값 또는 잡음의 표준편차에 비례하는 값을 가진다.

예로서 다음과 같은 값들이 사용될 수 있으며, 잡음의 표준편차에 의존하는 값을 사용함으로써 다양한 잡음환경에 적응적으로 동작하도록 구성할 수 있다.

α₂= 1

α₁[σ_n] = {16,11,9,8,7,6,6,5,5,4,4} / 16

P₁ = 2·σ_n

P₂ = 20·σ_n

시간영역 필터링 단계(S23)에서는 현재 입력 영상 프레임 I(t)에 대해 이전 영상 프레임 F_F(t-T)와 시간영역 필터링 가중치를 이용하여 다음의 수학식 9과 같이 시간영역 필터링을 수행한다.

F_T(x;t) = α·I(x;t) + (1-α)·F_F(x;t-T)

여기서, F_T(x;t)는 시간영역 필터링된 출력, I(x;t)는 현재 입력 영상 프레임, F_F(x;t-T)는 상기 이전 영상 프레임이다.

α는 시간영역 필터링 가중치로서 움직임 검출 단계(S22)에서 결정된다.

움직임이 작을수록 α는 점차 0에 가까운 작은 값을 갖게 되어 강한 시간방향 필터링이 수행되며, 움직임이 많을수록 α는 1(=α₂)에 근접하게 되므로 현재 입력 영상이 시간방향 필터링 출력에 더 많은 영향을 미친다.

후처리 공간영역 필터링 단계(S24)는 시간영역 필터링 단계(S23)에서 시간영역 필터링된 영상에 대해 다시 공간영역 필터링을 수행하여 잡음 제거 처리가 완료된 영상 프레임을 출력한다.

단계 S24에서의 후처리 공간영역 필터링은 시간영역 필터링 가중치를 이용하여 공간영역 필터링의 강도를 조절하도록 구성될 수 있다.

후처리 공간영역 필터링은 전처리 공간영역 필터링과 같이 상기 수학식 1 내지 수학식 3에 기재된 방법에 따라 이루어질 수 있다.

후처리 공간영역 필터링의 강도를 조절하는 방법은 조정된 잡음(시간영역 필터링된 결과 영상에 남아있는 잡음)의 분산을 활용하여 가중치 마스크를 다시 산출하고 공간영역 필터링을 재수행하는 방안과, 전처리용 가중치 마스크를 재조정하여 후처리 공간영역 필터링을 위한 가중치 마스크(후처리용 가중치 마스크)를 구하는 방안을 생각할 수 있다.

후자는 전자에 비해 간결한 연산을 수행할 수 있는 장점이 있으나, 전처리용 가중치 마스크로부터 후처리용 가중치 마스크를 얻는 방안이 필요하다.

이를 위한 하나의 실시예는 다음의 수학식 10에 따라 후처리용 가중치 마스크를 산출하도록 구성하는 것이다.

여기서, w-post는 후처리용 가중치 마스크, α는 시간영역 필터링 가중치, w는 전처리용 가중치 마스크이다.

H(α)는 시간영역 필터링된 영상 프레임과 현재 입력 영상 프레임에 포함된 잡음의 분산에 대한 함수이다.

H(α)가 0으로 근접하면 남아있는 잡음이 거의 없다는 의미이므로 w-post_i,j는 0으로 근접하고(단, (i,j)가 (0,0)이 아닌 경우), H(α)가 1로 근접하면 대부분의 잡음이 남아있다는 의미이므로 w-post_i,j 는 w_i,j로 근접한다.

이제 H(α)에 대하여 살펴보기로 한다.

후처리 공간영역 필터링 단계(S24)는 시간영역 필터링의 강도를 참고하여 공간영역 필터링의 강도를 적응적으로 조절한다.

I(x;T)에 포함된 잡음의 분산을 σ_n ²이라 하고, 시간영역 필터링을 거친 영상 F_T(x;t)에 남아있는 잡음의 분산을 σ'_n ²(x)라고 할 때, 시간영역 필터링에 사용된 가중치 α(x)를 바탕으로 σ'_n ²(x)를 가상적으로 모델링한 예를 수학식 11에 나타내었다.

여기서, α(x)는 각 화소에 대한 시간영역 필터링 가중치로서 각 화소마다 구해지는 것이다.

이때, α(x)와 H(α(x))는 비례관계를 가진다. α(x)가 0에 가까울수록 강한 시간방향 필터링이 수행된 것이므로 남아있는 잡음은 작게 된다. 따라서, 후처리 공간영역 필터링은 보다 약한 필터링 강도로 조정된다.

H(α(x))는 α(x)에 따른 σ'_n ²(x)와 σ_n ²의 비를 결정하는 의미를 가지며, 다음의 수학식 12는 H(α(x))의 예를 보여준다.

H(α(x))=α(x)^P,

0 ≤ H(α(x)) ≤ 1

여기서, α(x)는 각 화소에 대한 시간영역 필터링 가중치이고, P는 실험적으로 결정되는 상수이다.

도 6에 P 값에 따른 α와 H(α(x)) 곡선의 예를 보였다.

도 7을 참조하여, 본 발명에 따른 움직임 적응적 잡음 제거 장치(70)의 실시예를 구체적으로 설명하기로 한다.

자기 유사성 탐색부(71)는 현재 입력 영상 프레임 I(t)의 국부 특성을 분석하여 각 화소에 대한 자기 유사성 마스크(S)와 가중치 마스크(W1: 전처리용 가중치 마스크)를 산출한다.

자기 유사성 탐색부(71)는 현재 입력 영상 프레임 I(t)의 국부 특성을 분석하기 위하여, 도 3을 통해 설명한 바와 같이 중심 화소로부터 상, 하, 좌, 우로 T 만큼의 거리를 갖는 탐색 원도우(31)를 (2F+1)·(2F+1) 크기의 윈도우(32)로 탐색한다. T와 F는 1 이상의 정수이고, T > F이다.

탐색 원도우(31)의 크기는 (2T+1)·(2T+1)이고, 중심 화소는 탐색 윈도우(31)의 각 화소에 위치하게 되므로, (2T+1)·(2T+1) 크기의 자기 유사성 마스크(S)가 산출된다.

산출된 자기 유사성 마스크(S)는 전처리용 가중치 마스크(W1)로 사용될 수 있으며, 자기 유사성 마스크(S)는 영역 분류부(73)에서 각 화소의 영역특성을 분류하기 위해 사용되고, 전처리용 가중치 마스크(W1)는 전처리 공간영역 필터(72)에서의 공간영역 필터링에 사용된다.

또한, 전처리용 가중치 마스크(W1)는 다음에 설명하는 바와 같이 후처리 공간영역 필터링에 영향을 미칠 수 있다.

자기 유사성 마스크(S)와 전처리용 가중치 마스크(W1)는 상기 수학식 2와 같이 구해질 수 있다.

상기 수학식 2의 w(k₁,k₂;n₁,n₂)가 (n₁,n₂)번째 화소에 대한 자기 유사성 마스크(S)와 전처리용 가중치 마스크(W1)의 (k₁,k₂)번째 요소가 된다.

위에서 설명한 바와 같이 상기 수학식 2의 각 연산은 보다 간결한 연산을 위해 변경될 수 있다. 예로서, 상기 수학식 4의 연산은 수학식 5의 연산으로 대치될 수 있고, 상기 수학식 6의 연산은 수학식 7의 연산으로 대치될 수 있다.

그리고, 전처리 공간영역 필터(72)는 상기 수학식 1과 같이 공간영역 필터링을 수행할 수 있다.

한편, 자기 유사성 마스크(S)는 중심 화소와 인접 화소 사이의 거리에 기반한 가중치 w_s를 추가하여 구할 수 있다. 이 경우 (n₁,n₂)번째 화소에 대한 자기 유사성 마스크(S)의 (k₁,k₂)번째 요소는 다음의 수학식 13과 같이 구해질 수 있다.

이러한 실시예에서 전처리 공간영역 필터(72)는 상기 수학식 3과 같이 공간영역 필터링을 수행할 수 있다.

영역 분류부(73)는 자기 유사성 마스크(S)를 이용하여 각 화소의 영역특성을 분류하는 역할을 수행한다.

평탄한 영역에서는 전반적으로 유사도가 높은 값들이 나타나고, 경계에서는 경계방향을 따라 큰 유사도를 보여준다. 복잡한 영역에서는 유사도가 매우 낮거나 일정한 패턴이 없이 나타난다. 이러한 특성을 활용하여 각 화소가 속한 영역특성을 분류할 수 있다.

영역 분류부(73)가 영역특성을 분류하는 구체적인 예를 살펴보기로 한다.

먼저, 상기 수학식 1과 수학식 3의 W(n₁,n₂)를 이용하여 해당 화소의 영역을 분류하도록 구성할 수 있다.

즉, W(n₁,n₂)이 특정 값 이상이면 평탄한 영역으로 구분하고, 특정 값 미만이면 복잡한 영역으로 구분할 수 있다.

또 다른 예로서, 중심 화소를 기준으로 자기 유사성 마스크(S)의 각 요소에 대한 방향성 합의 최대값과 최소값 비율을 이용하여 구분할 수 있다.

메모리(74)는 이전 영상 프레임 F_F(t-T)를 저장한다.

움직임 검출부(75)는 전처리 공간영역 필터(72)에서 처리된 영상 프레임 F_S(t)와 메모리(74)에 저장되어 있는 이전 영상 프레임 F_F(t-T) 사이의 움직임 정도를 검출하여 시간영역 필터링 가중치 α를 결정한다. 이때, 영역 분류부(73)에서 분류한 영역특성을 반영한다.

즉, 움직임 검출부(75)는 처리 대상 화소가 속한 영역이 평탄한 영역인지, 복잡한 영역인지, 에지(Edge)에 위치한 영역인지 등에 따라 움직임 검출의 정도를 달리하여 영역특성이 시간영역 필터링 가중치의 결정에 영향을 미치도록 한다.

움직임 검출부(75)가 시간영역 필터링 가중치를 결정하는 일 예는 상기 수학식 8에 따라 시간영역 필터링 가중치를 구하는 것이다.

움직임 검출부(75)가 움직임 정도를 검출하거나, 시간영역 필터(76)가 시간영역 필터링을 수행할 때 움직임 보상(Motion Compensation)이 사용될 수도 있다.

시간영역 필터(76)는 현재 입력 영상 프레임 I(t)에 대해 메모리(74)에 저장되어 있는 이전 영상 프레임 F_F(t-T)와 움직임 검출부(75)가 결정한 시간영역 필터링 가중치 α를 이용하여 시간영역 필터링을 수행한다.

시간영역 필터(76)에서의 시간영역 필터링은 상기 수학식 9에 따라 이루어지도록 구성될 수 있다.

즉, 움직임이 작을수록 α는 점차 0에 가까운 작은 값을 갖게 되어 강한 시간방향 필터링이 수행되며, 움직임이 많을수록 α는 1에 근접하게 되므로 현재 입력 영상이 시간방향 필터링 출력에 더 많은 영향을 미친다.

후처리 공간영역 필터링 처리부(77)는 시간영역 필터(76)에 의해 처리된 영상에 대해 공간영역 필터링을 수행하여 공간 잡음을 제거한다.

후처리 공간영역 필터링 처리부(77)는 상기 수학식 1이나 수학식 3에 따라 공간영역 필터링을 수행할 수 있다.

후처리 공간영역 필터링의 강도를 조절하는 방법은 조정된 잡음(시간영역 필터링된 결과 영상에 남아 있는 잡음)의 분산을 활용하여 가중치 마스크를 다시 산출하고 공간영역 필터링을 재수행하는 방안과, 전처리용 가중치 마스크(W1)를 재조정하여 후처리 공간영역 필터링을 위한 가중치 마스크(후처리용 가중치 마스크)를 구하는 방안을 생각할 수 있다.

후자는 전자에 비해 간결한 연산을 수행할 수 있는 장점이 있으나, 전처리용 가중치 마스크(W1)로부터 후처리용 가중치 마스크를 얻는 방안이 필요하다.

후처리 공간영역 필터링 처리부(77)는 가중치 조절부(77-1)와 후처리 공간영역 필터(77-2)를 포함하여 구성될 수 있다.

가중치 조절부(77-1)는 자기 유사성 탐색부(71)가 산출한 전처리용 가중치 마스크(W1)를 시간영역 필터링 가중치 α를 이용하여 후처리 공간영역 필터링에 사용될 가중치 마스크로 조절하는 역할을 수행한다.

이를 위하여 가중치 조절부(77-1)는 상기 수학식 10에 따라 후처리용 가중치 마스크(w-post)를 산출하도록 구성될 수 있다.

상기 수학식 10의 H(α)는 상기 수학식 11을 통해 설명한 바와 같이 시간영역 필터(76)에서 출력하는 영상에 남아있는 잡음의 분산을 추정하는 함수이며, 상기 수학식 11의 H(α(x))는 수학식 12와 같이 결정될 수 있다.

이와 관련한 내용은 해당 수학식을 통해 위에서 이미 설명하였으므로 중복 설명은 생략하기로 한다.

후처리 공간영역 필터(77-2)는 가중치 조절부(77-1)에서 조절된 후처리용 가중치 마스크(w-post)를 이용하여 상기 수학식 1이나 수학식 3에 따라 공간영역 필터링을 수행한다.

이와 같이 시간영역 필터링의 강도가 후처리 공간영역 필터링의 강도에 영향을 미치므로 최적의 잡음 제거가 가능해진다.

한편, 본 발명을 상기 수학식 1 내지 수학식 3에 표현된 NL 필터(Non-Local Mean Filter)의 관점에서 살펴보자면, NL 필터는 가중치 마스크를 구하는 부분과 구해진 가중치 마스크를 이용하여 필터링된 결과를 얻는 부분으로 나누어 생각할 수 있다.

즉, 필터링 과정을 화소 단위의 자기 유사성 탐색 과정과 공간영역 필터링 과정으로 구분하여 이해할 수 있으며, NL 필터 자체에 내재된 자기 유사성 탐색 기능을 최대한 활용할 수 있다는 것을 의미한다.

도 8을 참조하자면, 자기 유사성 탐색부(71)가 현재 입력 영상 프레임 I(t)의 각 화소에 대해 자기 유사성(Self-similarity)을 탐색하여 가중치 마스크(전처리용 가중치 마스크)를 산출한다(81,82).

이 전처리용 가중치 마스크는 전처리용 공간영역 필터(72)에서의 공간영역 필터링에 사용된다(83). 또한, 전처리용 가중치 마스크는 자기 유사성 마스크(S)로서 영역 분류부(73)에서 각 화소의 영역특성을 분석하는데 사용되어 시간영역 필터링 가중치의 결정에 영향을 미친다.

뿐만 아니라 전처리용 가중치 마스크는 가중치 조절부(77-1)에서 조절되어 후처리 공간영역 필터(77-2)의 처리 과정에도 영향을 미친다.

특히, 가중치 조절부(77-1)에서 후처리용 가중치 마스크를 산출할 때 시간영역 필터링 가중치가 관계한다. 이에 따라 시간영역 필터링과 공간영역 필터링의 강도가 서로 관계를 갖게 되어 화소의 영역특성과 잡음에 적응하는 효율적인 잡음 제거가 가능해진다.

상술한 실시예는 본 발명의 이해를 돕기 위한 것이며, 본 발명은 상술한 실시예에 한정되지 않고 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당업자에 의해 다양하게 변형하여 실시할 수 있는 것임은 물론이다.

도 1은 종래의 잡음 제거 기술에 관한 개요,

도 2는 본 발명에 따른 움직임 적응적 잡음 제거 방법의 실시예,

도 3은 자기 유사성 탐색 과정의 설명을 위한 예,

도 4는 자기 유사성 마스크의 유형에 관한 예,

도 5는 시간영역 필터링을 위한 가중치 곡선의 예,

도 6은 잡음 분산을 업데이트하는 곡선의 예,

도 7은 본 발명에 따른 움직임 적응적 잡음 제거 장치의 실시예,

도 8은 자기 유사성 탐색 결과의 공통 사용을 설명하기 위한 예이다.

* 도면의 주요부분에 대한 부호의 설명

70: 움직임 적응적 잡음 제거 장치 71: 자기 유사성 탐색부

72: 전처리 공간영역 필터 73: 영역 분류부

74: 메모리 75: 움직임 검출부

76: 시간영역 필터

77: 후처리 공간영역 필터링 처리부

77-1: 가중치 조절부 77-2: 후처리 공간영역 필터

Claims

입력되는 잡음이 섞인 현재 영상 프레임의 각 화소에 대하여 인접한 (2T+1)·(2T+1) 크기의 윈도우를 (2F+1)·(2F+1) 크기의 윈도우(T > F)로 탐색하여 가중치 마스크(전처리용 가중치 마스크)를 결정하고, 이를 이용하여 움직임 검출을 위한 제1공간영역 필터링을 수행하는 단계;

제1공간영역 필터링된 영상 프레임과 이전에 잡음 제거 처리가 완료된 영상 프레임(이전 영상 프레임) 사이의 움직임 정도를 검출하여 시간영역 필터링 가중치를 결정하는 단계;

상기 현재 영상 프레임에 대해 상기 이전 영상 프레임과 상기 시간영역 필터링 가중치를 이용하여 시간영역 필터링을 수행하는 단계; 및

시간영역 필터링된 영상 프레임에 대해 제2공간영역 필터링을 수행하여 잡음 제거가 완료된 영상 프레임을 출력하는 단계를 포함하는 움직임 적응적 잡음 제거 방법.
삭제
제1항에 있어서,

상기 현재 영상 프레임의 (n₁,n₂)번째 화소를 g(n₁,n₂), 이 화소에 대한 전처리용 가중치 마스크의 (k₁,k₂)번째 요소를 w(k₁,k₂;n₁,n₂), 표준편차를 σ_n이라 할 때, w(k₁,k₂;n₁,n₂)는 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 방법.
제3항에 있어서, 상기 각 연산 중 제곱 연산은 절대값 연산으로 대치되는 움직임 적응적 잡음 제거 방법.
제3항에 있어서, 상기 a(i,j)는 룩 업 테이블을 이용하여 결정되는 움직임 적응적 잡음 제거 방법.
제3항 내지 제5항 중 어느 하나의 항에 있어서, m_f(n₁,n₂)를 제1공간영역 필터링된 화소라 할 때, 상기 제1공간영역 필터링은 다음의 수학식에 따라 이루어지도록 구성되는 적응적 잡음 제거 방법.
제3항 내지 제5항 중 어느 하나의 항에 있어서, m_f(n₁,n₂)를 제1공간영역 필터링된 화소라 할 때, 상기 제1공간영역 필터링은 인접 화소와의 거리에 기반한 가중치 w_s를 반영하여 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 방법.
제1항에 있어서, 상기 시간영역 필터링 가중치 α는 다음 수학식에 의해 결정되는 움직임 적응적 잡음 제거 방법.

[ α₁,α₂, P₁, P_2:: 기 설정된 값, F_s(x;t): 전처리 공간영역 필터링 단계에서 공간영역 필터링된 화소, F_F(x;t-T): 이전 영상 프레임의 화소, w'(r₁,r₂): 중심 화소와의 거리에 따른 가중치, {N₁,N₂}: 중심 화소에 인접한 화소들의 위치를 나타내는 집합 ]
제1항에 있어서, 상기 시간영역 필터링 가중치를 결정하는 단계는,

상기 현재 영상 프레임의 각 화소에 대한 영역특성에 따라 상기 시간영역 필터링 가중치를 결정하는 움직임 적응적 잡음 제거 방법.
제3항 내지 제5항 중 어느 하나의 항에 있어서, 상기 시간영역 필터링 가중치를 결정하는 단계는, 상기 현재 영상 프레임의 각 화소에 대한 영역특성에 따라 상기 시간영역 필터링 가중치를 결정하고,

상기 영역특성은 상기 전처리용 가중치 마스크를 이용하여 판단하는 움직임 적응적 잡음 제거 방법.
제10항에 있어서, 상기 영역특성은, 상기 전처리용 가중치 마스크의 각 요소에 대한 방향성 합의 최대값과 최소값 비율을 이용하여 판단하는 움직임 적응적 잡음 제거 방법.
제6항에 있어서, 상기 시간영역 필터링 가중치를 결정하는 단계는,

상기 현재 영상 프레임의 각 화소에 대한 영역특성에 따라 상기 시간영역 필터링 가중치를 결정하고,

상기 영역특성은 상기 W(n₁,n₂)를 이용하여 판단하는 움직임 적응적 잡음 제거 방법.
제7항에 있어서, 상기 시간영역 필터링 가중치를 결정하는 단계는,

상기 현재 영상 프레임의 각 화소에 대한 영역특성에 따라 상기 시간영역 필터링 가중치를 결정하고,

상기 영역특성은 상기 W(n₁,n₂)를 이용하여 판단하는 움직임 적응적 잡음 제거 방법.
제1항에 있어서, 상기 시간영역 필터링은 다음의 수학식에 따라 수행되는 움직임 적응적 잡음 제거 방법.

F_T(x;t) = α·I(x;t) + (1-α)·F_F(x;t-T)

[ F_T(x;t): 시간영역 필터링 단계에서 시간영역 필터링된 화소, α: 시간영역 필터링 가중치, I(x;t): 잡음이 섞인 현재 입력 영상 프레임의 화소, F_F(x;t-T)는 이전 영상 프레임의 화소 ]
제1항에 있어서, 상기 잡음 제거가 완료된 영상 프레임을 출력하는 단계는,

상기 시간영역 필터링 가중치를 이용하여 제2공간영역 필터링의 강도를 조절하는 움직임 적응적 잡음 제거 방법.
제1항에 있어서, 상기 잡음 제거가 완료된 영상 프레임을 출력하는 단계는, 상기 전처리용 가중치 마스크를 상기 시간영역 필터링 가중치를 이용하여 갱신하고, 갱신된 가중치 마스크(후처리용 가중치 마스크)를 이용하여 제2공간영역 필터링을 수행하는 움직임 적응적 잡음 제거 방법.
제16항에 있어서, 상기 후처리용 가중치 마스크는, 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 방법.

[ w-post: 후처리용 가중치 마스크, w: 전처리용 가중치 마스크, α: 시간영역 필터링 가중치, H(α): 시간영역 필터링된 영상 프레임과 상기 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산에 대한 함수 ]
제17항에 있어서, 상기 H(α)는, 다음의 수학식에 따라 시간영역 필터링된 영상 프레임에 남아있는 잡음의 분산을 추정하기 위한 함수인 움직임 적응적 잡음 제거 방법.

[
는 시간영역 필터링된 영상 프레임에 남아있는 잡음의 분산,
: 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산 ]
제18항에 있어서, 상기 H(α(x))는, 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 방법.

H(α(x))=α(x)^P, 0 ≤ H(α(x)) ≤ 1

[ α(x): 각 화소에 대한 시간영역 필터링 가중치, P: 실험적으로 결정되는 상수 ]
잡음이 섞인 현재 영상 프레임의 각 화소에 대하여 인접한 (2T+1)·(2T+1) 크기의 윈도우를 (2F+1)·(2F+1) 크기의 윈도우(T > F)로 탐색하여, 각 화소에 대한 자기 유사성 마스크와 전처리용 가중치 마스크를 결정하는 자기 유사성 탐색부;

상기 자기 유사성 마스크를 이용하여 각 화소의 영역특성을 분류하는 영역 분류부;

상기 현재 영상 프레임에 대해 상기 전처리용 가중치 마스크를 이용하여 공간영역 필터링을 수행하는 전처리 공간영역 필터;

이전에 잡음 제거 처리가 완료된 영상 프레임(이전 영상 프레임)을 저장하는 메모리;

상기 전처리 공간영역 필터가 공간영역 필터링한 영상 프레임과 상기 이전 영상 프레임 사이의 움직임 정도를 검출하고, 상기 영역 분류부에서 분류한 영역특성에 따라 시간영역 필터링 가중치를 결정하는 움직임 검출부;

상기 현재 영상 프레임에 대하여 상기 메모리에 저장된 이전 영상 프레임과 상기 시간영역 필터링 가중치를 이용하여 시간영역 필터링을 수행하는 시간영역 필터; 및

상기 시간영역 필터에서 시간영역 필터링된 영상 프레임에 대해 공간영역 필터링을 수행하여 잡음 제거가 완료된 영상 프레임을 출력하는 후처리 공간영역 필터링 처리부를 포함하는 움직임 적응적 잡음 제거 장치.
삭제
제20항에 있어서,

상기 현재 영상 프레임의 (n₁,n₂)번째 화소를 g(n₁,n₂), 이 화소에 대한 전처리용 가중치 마스크의 (k₁,k₂)번째 요소를 w(k₁,k₂;n₁,n₂), 표준편차를 σ_n이라 할 때, w(k₁,k₂;n₁,n₂)는 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 장치.
제22항에 있어서, 상기 각 연산 중 제곱 연산은 절대값 연산으로 대치되는 움직임 적응적 잡음 제거 장치.
제22항에 있어서, 상기 a(i,j)는 룩 업 테이블을 이용하여 결정되는 움직임 적응적 잡음 제거 장치.
제22항 내지 제24항 중 어느 하나의 항에 있어서, m_f(n₁,n₂)를 상기 전처리 공간영역 필터의 출력 화소라 할 때, 상기 전처리 공간영역 필터는 다음의 수학식에 따라 공간영역 필터링을 수행하는 움직임 적응적 잡음 제거 장치.
제22항 내지 제24항 중 어느 하나의 항에 있어서, 상기 자기 유사성 마스크는, 상기 전처리용 가중치 마스크와 동일한 움직임 적응적 잡음 제거 장치.
제22항 내지 제24항 중 어느 하나의 항에 있어서, 상기 자기 유사성 마스크는, 상기 전처리용 가중치 마스크에 인접 화소와의 거리에 기반한 가중치 w_s를 반영하여 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 장치.

[ S: 자기 유사성 마스크 ]
제27항에 있어서, m_f(n₁,n₂)가 상기 전처리 공간영역 필터의 출력 화소라 할 때, 상기 전처리 공간영역 필터는 다음의 수학식에 따라 공간영역 필터링을 수행하는 움직임 적응적 잡음 제거 장치.
제20항에 있어서, 상기 움직임 검출부는, 다음 수학식에 따라 상기 시간영역 필터링 가중치 α를 결정하는 움직임 적응적 잡음 제거 장치.

[ α₁,α₂, P₁, P_2:: 기 설정된 값, F_s(x;t): 전처리 공간영역 필터링 단계에서 공간영역 필터링된 화소, F_F(x;t-T): 이전 영상 프레임의 화소, w'(r₁,r₂): 중심 화소와의 거리에 따른 가중치, {N₁,N₂}: 중심 화소에 인접한 화소들의 위치를 나타내는 집합 ]
제20항에 있어서, 상기 시간영역 필터는, 다음의 수학식에 따라 시간영역 필터링을 수행하는 움직임 적응적 잡음 제거 장치.

F_T(x;t) = α·I(x;t) + (1-α)·F_F(x;t-T)

[ F_T(x;t): 시간영역 필터의 출력 화소, α: 시간영역 필터링 가중치, I(x;t): 잡음이 섞인 현재 입력 영상 프레임의 화소, F_F(x;t-T)는 이전 영상 프레임의 화소 ]
제20항에 있어서, 상기 후처리 공간영역 필터는, 상기 시간영역 필터링 가중치를 이용하여 공간영역 필터링의 강도를 조절하는 움직임 적응적 잡음 제거 장치.
제20항에 있어서, 상기 후처리 공간영역 필터링 처리부는,

상기 시간영역 필터링 가중치를 이용하여 상기 전처리용 가중치 마스크를 조절하는 가중치 조절부; 및

조절된 가중치 마스크(후처리용 가중치 마스크)를 이용하여 공간영역 필터링을 수행하는 후처리 공간영역 필터를 포함하는 움직임 적응적 잡음 제거 장치.
제32항에 있어서, 상기 가중치 조절부는, 다음의 수학식에 따라 상기 후처리용 가중치 마스크를 결정하는 움직임 적응적 잡음 제거 장치.

[ w-post: 후처리용 가중치 마스크, w: 전처리용 가중치 마스크, α: 시간영역 필터링 가중치, H(α): 시간영역 필터링된 영상 프레임과 상기 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산에 대한 함수 ]
제33항에 있어서, 상기 H(α)는, 다음의 수학식에 따라 시간영역 필터의 출력 영상 프레임에 남아있는 잡음의 분산을 추정하는 함수인 움직임 적응적 잡음 제거 장치.

[
: 시간영역 필터링된 영상 프레임에 남아있는 잡음의 분산,
: 잡음이 섞인 현재 입력 영상 프레임에 포함된 잡음의 분산 ]
제34항에 있어서, 상기 H(α(x))는, 다음의 수학식에 따라 결정되는 움직임 적응적 잡음 제거 장치.

H(α(x))=α(x)^P

0 ≤ H(α(x)) ≤ 1

[ α(x): 각 화소에 대한 시간영역 필터링 가중치, P: 실험적으로 결정되는 상수 ]