KR100564592B1

KR100564592B1 - 동영상 데이터 잡음제거방법

Info

Publication number: KR100564592B1
Application number: KR20030090032A
Authority: KR
Inventors: 강문기; 박성철
Original assignee: 삼성전자주식회사; 학교법인연세대학교
Priority date: 2003-12-11
Filing date: 2003-12-11
Publication date: 2006-03-28
Also published as: CN100539692C; JP4887544B2; US20050128355A1; JP2005176388A; US7369181B2; TW200529101A; TWI275042B; CN1665298A; KR20050057829A

Abstract

시간영역 필터링에서 사용되는 프레임 개수를 줄임과 동시에 움직임감지를 용이하게 하는 동영상데이터 잡음제거방법을 개시한다. 상기 동영상 디지털데이터 잡음제거방법은, 공간영역 필터링 방법, 시간영역 필터링 방법 및 상기 공간영역 필터링 방법 및 시간영역 필터링 방법을 순차적으로 수행하는 방법을 포함하며, 상기 공간영역 필터링 방법은, YCbCr 영역에서의 공간영역 필터링, 공간영역에서의 영상의 윤곽선 보존, 공간영역 필터링에서 윤곽선을 구분하기 위한 잡음에 적응하는 가중치를 도입하며, 상기 시간영역 필터링방법은 전역움직임이 보상된 움직임/장면전환 감지기반 시간영역 필터링, 시간영역 필터링에서 움직임의 밝기/색상 차를 동시에 고려한 움직임감지 및 시간 영역 필터링에서 움직임감지를 위한 잡음에 적응하는 가중치를 도입하고, 상기 공간영역 필터링 방법 및 시간영역 필터링 방법의 순차적 수행방법은 상기 공간영역 필터링방법을 먼저 실행하고 그 실행결과를 이용하여 상기 시간영역 필터링방법을 수행한다.

Description

동영상 데이터 잡음제거방법{Methods for noise removal of moving picture digital data}

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 본 발명의 일 실시 예에 따른, 동영상 디지털데이터 잡음제거방법을 나타내는 신호흐름도(flowchart)이다.

도 2는 가중치W(k,l,n) 의 특성(C=1)을 나타내는 그래프이다.

도 3은 가중치W(k,l,n) 의 특성(C

1)을 나타내는 그래프이다.

도 4는 본 발명의 제1 실시 예에 따른 동영상디지털 데이터 잡음제거방법에 포함된 각각의 단계를 나타내는 다이어그램이다.

도 5는 본 발명의 제2 실시 예에 따른 동영상디지털 데이터 잡음제거방법에 포함된 각각의 단계를 나타내는 다이어그램이다.

본 발명은 동영상에 관한 것으로서, 특히 동영상 데이터 잡음제거방법에 관한 것이다.

동영상 디지털 데이터는 그 양이 방대하기 때문에, 이들의 효율적인 전송 및 저장을 위하여 반드시 데이터 압축과정을 거친다. 비디오 신호의 재생화질 개선 및 데이터 압축률 향상에 대한 기술은 관련 상품의 경쟁력 향상을 위한 필수 요소가 된다. 최근에 HDTV(High Definition TV) 및 DVD(Digital Versatile Disc)와 같은 비교적 고화질이 요구되는 디지털 멀티미디어 상품에 MPEG-2(Moving Picture Experts Group) 압축 알고리듬이 표준으로 채택된 것도 이러한 이유를 반영한 것이다.

한편 동영상을 취급하는 영상입력시스템, 전송채널 및 송수신단에 내재된 기술적 한계로 인하여, 영상을 획득하고 송수신하는 과정에서 잡음이 필연적으로 발생하게 된다. 동영상 디지털 데이터인 영상 시퀀스에 포함된 잡음은, 재생화질을 저하시킬 뿐만 아니라 신호의 고주파 성분으로 인식되어 압축률을 저하시키는 원인이 된다. 다시 말하면, 잡음도 데이터로 인식되기 때문에 정해진 비트 레이트(bit rate)를 맞추기 위하여 원래 신호를 더 많이 압축시켜야 하므로 블로킹 아타팩트(blocking artifact)와 같은 코딩 아티팩트(coding artifact)가 생기게 된다.

이러한 단점을 극복하기 위하여, 효율적인 잡음 제거 알고리듬을 이용하여 잡음을 미리 제거한 후에 MPEG-2를 적용하여 데이터를 압축한다면, 영상 시퀀스의 압축률을 크게 향상시킬 수 있으며 궁극적으로는 화질의 향상을 가져올 수 있게 된다. 종래에 사용중인 일반적인 잡음제거 알고리듬은 크게 공간영역 필터링, 시간영역 필터링 및 시공간영역 필터링으로 구분될 수 있다.

일반적인 공간 영역에서의 잡음제거 알고리듬(Spatial Filtering, 공간영역 필터링)은 정적 영상 모델(stationary model)을 기초로 하기 때문에, 잡음이 제거된 후 재생된 영상이 윤곽선을 보존하지 못하는 단점이 있다. 이를 극복하기 위하여 윤곽선 적응 필터를 추가로 사용한다 하더라도, 윤곽선을 구분하기 위한 임계값을 잡음의 정도에 상관없이 상수로 고정한 경우나 컬러얼룩이 생긴 경우에는 그다지 유효한 방법이 되지 못한다. 여기서 컬러얼룩이라 함은, CCD 센서상 Color Filter Array(CFA)를 구성하는 각 채널이 조도에 따라 나타내는 서로 다른 특성을, 조도와 관계없이 동일하게 처리해서 나타난 현상을 말한다.

또한, 공간 영역에서의 필터링은 정지 영상 한 장을 처리할 때는 효율적이지만, 영상 시퀀스를 필터링 할 때는 각 프레임마다 잡음이 제거된 정도가 다르게되므로, 이러한 차이가 데이터 재생 시 깜박임 현상(flickering)으로 나타난다. 그러므로 기존의 공간영역 필터링의 성능을 개선하기 위해서는 잡음에너지(정확하게는 잡음에너지분산)에 따라 윤곽선을 결정하기 위한 임계값을 적응적으로 바꿀 수 있어야 하며, 컬러얼룩 및 깜박임 현상을 제거하기 위해서는 공간영역 필터링만으로는 부족하고 시간영역 필터링을 효율적으로 첨가시켜야 한다.

한편 시간 영역에서의 잡음제거 알고리듬(Temporal Filtering, 시간영역 필터링)의 경우, 움직임에 의한 영상의 왜곡을 방지하기 위하여 움직임 보상(motion compensation)의 개념을 사용한다. 그러나 움직임 보상을 고려하기 위해서는 물체의 움직임을 각 프레임마다 추정하고 그 움직임 궤적을 따라 필터링 하여야 하며, 움직임 추정을 하기 위하여 상당한 계산을 추가적으로 하여야 한다.

최근에 움직임 보상에 의한 오차 및 계산 량의 부담을 덜기 위하여 움직임 감지(motion detection) 알고리즘에 기초한 새로운 시간영역 잡음제거 알고리듬이 사용되고 있다. 움직임감지 알고리즘에 기초한 새로운 시간영역 잡음제거 알고리듬의 효율성은, 움직임감지 알고리듬의 정확성(robustness)에 크게 의존한다. 일반적인 움직임감지 알고리듬은 컬러영상의 움직임을 밝기 차로만 구분하기 때문에 색상차이로 인한 움직임은 구분하지 못한다. 따라서 물체와 배경의 밝기 차가 크기 않은 경우에는 물체의 움직임은 밝기차이 보다는 색상차이로 구분해야 하기 때문에 문제가 발생하게 된다.

이를 극복하기 위한 방법으로 컬러영상의 벡터특성을 고려하여 RGB 벡터간의 크기(밝기) 및 각도(색상)의 차이를 동시에 반영하여 움직임을 감지하는 방법이 있다. 이 방법은 시스템의 입력신호가 RGB 신호이거나 알고리듬이 소프트웨어에 의하여 처리될 때에는 연산 량 및 메모리의 용량에 관계없이 사용될 수 있으나, 알고리듬을 하드웨어로 구현하고자 할 때에는 제약이 생기게 된다. 왜냐하면, 대부분의 입력신호는 YCbCr 과 같은 변환된 형태의 신호이므로, RGB 벡터연산을 하기 위해서는 YCbCr 형태의 입력신호를 RGB영역으로 변환하여야 하며, RGB 벡터의 각도(색상)의 차이를 계산하기 위해서는 코사인(cosine) 혹은 사인(sine) 함수의 역함수 계산을 위한 비 선형적 연산이 필요하기 때문에 이를 하드웨어로 구현하려면 하드웨어의 규모가 너무 커지게 된다.

RGB 벡터의 각도(색상) 차이를 이용한 움직임 감지는, 감지된 신호를 구별하는데 기준이 되는 임계 값을 정하는데 있어서도 어려움이 있다. 임계 값의 결정은 필터링의 성능에 크게 영향을 끼치는데 임계 값이 너무 크면 움직임 잔상과 같은 가공물(artifact)이 생길 수 있고, 너무 작으면 잡음이 제거되지 않기 때문이다. 예를 들면, RGB 벡터간의 각도(색상)를 이용한 움직임 감지에서는 cosine 함수의 입력 값이 0(zero)에 가까울 때는 출력 값 사이의 차이가 적기 때문에 임계 값이 소수점 아래로 정밀하게 정해져야만 움직임을 효율적으로 감지할 수 있다. 이러한 임계 값 결정의 어려움을 극복하고 가공물 없이 잡음을 효율적으로 제거하기 위해서는, 상대적으로 많은 프레임을 처리할 것이 필요하게 되고 이를 하드웨어로 구현하기 위해서는 상당한 용량의 메모리가 확보되어야 하며 이는 하드웨어의 규모가 커지게 되는 것을 의미한다.

이러한 문제 외에 일반적인 움직임 감지 기반 시간영역 필터링에서 추가적으로 고려되어야 할 점은 장면 전환 감지(scene detection)와 시퀀스에 속한 잡음의 에너지에 따라 움직임감지 임계 값이 적응적으로 변화되어야 한다는 점이다. 즉, 자주 일어나는 장면전환데이터를 포함하는 일반적인 시퀀스를 처리할 때 움직임감지에만 의존한다면, 장면이 전환된 프레임들에 속한 화소(pixel) 사이의 밝기 혹은 색상이 비슷할 경우, 이들 전환된 장면들이 한꺼번에 필터링 되므로, 필터링 된 프레임에 서로 다른 장면이 섞일 수 있다. 또한 가공물에 강인하면서도 효율적으로 잡음을 제거하기 위해서는 잡음의 에너지가 작을 때는 작은 임계 값이, 클 경우에는 큰 임계 값이 움직임 감지 알고리듬에 적응적으로 사용되어야만 한다.

그러므로 기존의 움직임 기반 시간영역 필터링의 성능을 개선하기 위해서는 장면 전환감지 알고리듬을 추가해야 하며, YCbCr 영역에서 밝기/색상 움직임 임계 값을 연산 량의 부담 없이 잡음의 에너지에 적응적으로 결정하여 필터링에 필요한 프레임 개수를 줄일 수 있어야 한다.

상기 두 가지를 조합하여 사용하는 종래의 시공간영역에서의 잡음제거 알고리듬(Spatio-temporal Filtering)은, 대부분 공간필터링(Spatial Filtering)을 시간 영역으로 확장한 것으로서 잡음을 보다 효율적으로 제거할 수 있지만, 위에서 언급한 시간영역 혹은 공간영역 필터링의 한계를 그대로 간직하고 있다.

본 발명이 이루고자하는 기술적 과제는, 시간영역 필터링에서 사용되는 프레임 개수를 줄임과 동시에 움직임감지를 용이하게 하는 동영상데이터 잡음제거방법을 제공하는데 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 제1면(aspect)에 따른 동영상데이터 잡음제거방법은, 동영상의 색상성분에 대해서는 SMO(Sample Mean Operator)에 기반을 둔 공간영역 필터링을 수행하는 단계, 동영상의 밝기성분에 대해서는 MMSE(Minimum Mean Square Error) 필터에 기반을 둔 공간영역 필터링을 수행하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 제2면에 따른 동영상데이터 잡음제거방법은, 공간영역 필터링을 거친 프레임들(예를 들면, 1개의 밝기성분 및 2개의 색상성분), 전역움직임 추정벡터 및 동영상 내의 잡음의 양에 따라 설계자가 임의로 정할 수 있는 임계 값에 따라 결정되는 소정의 기준 값을 이용하여, 시간영 역에서의 잡음의 상대적 크기(예를 들면, 에너지)를 추정하고, 추정된 잡음의 상대적 크기 및 상기 공간영역 필터링을 거친 프레임들을 이용하여 추정된 상대적 잡음의 상대적 크기에 따라 움직임감지에 사용되는 밝기성분에 대한 가중치 및 색상성분에 대한 가중치를 적응적으로 변환시키며, 장면전환 감지결과, 상기 변환된 밝기성분 및 색상성분에 대한 가중치 및 상기 공간영역 필터링을 거친 프레임들을 이용하여 전역(global)움직임이 보상된 시간영역 필터링을 수행한다.

상기 기술적 과제를 달성하기 위한 본 발명의 제3면에 따른 동영상데이터 잡음제거방법은, 동영상디지털 데이터의 색상성분을 SMO에 기반을 둔 공간영역 필터링을 수행한 공간영역 필터링에 의하여 얻은 색상성분에 대한 2개의 데이터 및 동영상디지털 데이터의 밝기성분에 대하여 MMSE에 기반을 둔 공간영역 필터링을 수행하여 얻은 1개의 밝기성분 데이터에 대하여 상대적 크기에 적응된 가중치를 적용하여 전역움직임이 보상된 시간영역 필터링을 수행한다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

제안된 알고리듬은 크게 공간영역 필터와 시간영역 필터로 구분되며, 공간영역 필터를 먼저 취한 후 그 결과에 시간영역 필터를 적용하는 것이 바람직하다.

도 1은 본 발명에 따른, 동영상 디지털데이터 잡음제거방법을 나타내는 신호흐름도(flowchart)이다.

도 1을 참조하면, 본 발명에 따른 동영상 디지털데이터 잡음제거방법은, 제1실시 예로서의 공간영역 필터링 단계(110) 및 제2실시 예로서의 시간영역 필터링 단계(150)를 구비한다. 제3실시 예는 상기 2개의 단계(110 및 150)를 연속적으로 이용하는 것이다.

상기 기술적 과제를 달성하기 위한 제1실시 예에 따른 동영상 디지털데이터 잡음제거방법(110)은, YCbCr 포맷(format)의 입력신호에 대하여 밝기성분(Y)에는 에지 보존을 위한 LMMSE(Linear Minimum Mean Square Error)기반의 필터를, 색상성분(CbCr)에는 영상의 안정감을 높이기 위하여 저역 통과 필터(low pass filter)를 취한다.

색상성분의 대표 값을 구한다(111)는 것은, 색상성분의 평균값 또는 중앙값을 구하는 것을 의미하는데, 색상성분에 저역 통과 필터를 적용한다는 말은 특정 마스크 내에서 평균을 구한다는 것과 같다.

밝기성분에 대하여 LMMSE 기반의 필터를 적용(112)하기 위해서는 모두 5단계를 거쳐야 한다.

첫째, 소정의 잡음 적응적인 에지 임계 값을 이용하여 각 화소의 밝기성분에 대한 에지(edge)에 적응적인(adaptive) 대표 값을 구한다(113). 여기서 대표 값은 각 화소의 평균 값 또는 중앙값을 의미하는데 에지에 적응적인 대표 값은 로컬 마스크 내에서 에지의 한쪽 면에 위치한 화소들을 이용하여 구한다.

상기 소정의 잡음 적응적인 에지 임계 값은, 종래의 경우와 같이 일정한 값으로 고정되는 것이 아니라 잡음의 양에 따라 적응적으로 변화하는 값인 것이 본 발명에 포함된 여러 가지 특징 중의 하나이다.

둘째, 상기 잡음 적응적인 임계 값을 이용한 소정의 에지 적응적인 가중치 및 상기 에지 적응적인 대표 값을 이용하여 각 화소의 산포도 값을 추정한다(114). 상기 산포도 값은 분산 또는 표준편차를 의미하는데, 화소의 분산(signal activity)이란 영상의 변화도 또는 영상의 에지 정도를 의미한다.

셋째, 입력영상과 상기 영상의 대표 값과의 차 영상을 구한다(115). 구하여진 차 영상에는 입력영상의 잡음 성분과 에지 성분이 모두 포함되어 있다.

넷째, 상기 영상의 산포도 값과 잡음산포도 값을 비교하여 가중치를 구한다. (116)

다섯째, 상기 차 영상에서 영상의 에지 성분에는 큰 가중치를 부여하고 잡음 성분에는 작은 가중치를 부여하고, 상기 에지 적응적인 대표 값에 상기 가중치가 적용된 차 영상을 더한다(117). 잡음산포도 값이란 잡음 분산과 잡음 표준편자를 의미하며, 잡음분산은 잡음이 심한 정도를 나타낸다.

상기 다섯 단계(113 내지 117)를 모두 거치면, 영상의 평탄한 영역에서는 상기 차 영상에 적은 가중치가 부여되므로 필터의 결과가 상기 에지 적응적인 대표 값과 같고, 영상의 에지 부분에서는 상기 차 영상에 큰 가중치가 부여되므로 필터의 결과가 상기 에지 적응적인 대표 값에 영상의 에지를 더해준 결과가 된다.

상기 기술적 과제를 달성하기 위한 제2실시 예에 따른 동영상 디지털데이터 잡음제거방법은(150), 총 4개의 단계(151 내지 154)로 구성된다.

첫째, 프레임 간에 장면전환이 있었는가를 감지한다(151).

둘째, 프레임간의 전역움직임을 추정하고, 각 화소에 대하여 전역 움직임 궤적을 따라 시간영역에서의 잡음의 상대적 크기를 추정한다(152).

셋째, 각 화소에 대하여 전역움직임 궤적을 따라 움직임을 감지한다. 영상의 밝기성분(Y)과 색상성분(CbCr)을 동시에 이용하며, 잡음정도에 적응적인 움직임 임계 값을 사용한다. 최종적으로 영상의 밝기성분의 움직임 감지를 나타내는 가중치 및 영상의 색상성분의 움직임 감지를 나타내는 가중치를 구한다(153).

넷째, 장면전환이 일어나지 않은 범위 내에서 필터링하기 위한 가중치, 상기 잡음의 상대적 크기, 상기 영상의 밝기성분의 움직임 감지를 위한 가중치, 상기 영상의 색상성분의 움직임 감지를 위한 가중치 및 정규화를 위한 상수 전부 또는 일부를 이용하여 전역움직임이 보상된 장면전환/움직임 감지 기반 필터링을 수행(154)한다.

상기 기술적 과제를 달성하기 위한 제3실시 예에 따른 동영상 디지털데이터 잡음제거방법은, 상기 공간영역 필터링(110)을 수행하고 상기 공간영역 필터링을 수행한 결과로 생성된 프레임(예를 들면, 3개의 프레임)에 대하여 전역움직임이 보상된 장면전환 및 움직임 감지 기반 시간영역 필터링(150)을 수행하는 것이다. 제3실시 예에서는 공간영역 필터링을 먼저 적용함으로써 잡음이 어느 정도 제거되었으므로, 시간영역 필터에 필요한 움직임 감지가 용이하기 때문에 잡음의 제거를 위하여 제3실시 예를 사용하는 것이 바람직하다.

본 발명의 제1 실시 예에 따른 동영상 디지털 데이터 잡음제거방법은, 동영상의 밝기성분의 에지(edge)를 보존함으로써 영상의 선명도를 높이고, 영상의 윤곽선을 보존하면서 잡음을 제거하며, 색상성분을 평활(smoothing)화 시킴으로써 영상의 안정감을 높인다.

영상의 밝기성분(Y) 및 색상성분(Cb 및 Cr)에 대한 공간영역 필터링 된 값을 각각

,

및

이라 하면, 각각 수학식 1 내지 수학식 3과 같이 표현될 수 있다.

여기에서, N은 로컬 마스크(local mask)의 크기이고, i 및 j는 화소(pixel)의 2차원 좌표를 나타내며, n은 프레임을 의미하고,

는 입력영상으로서 열화된 영상의 Y성분,

는

의 평균,

는

의 분산,

는 잡음의 분산,

는 열화된 영상의 {Cb}성분,

은 열화된 영상의 {Cr}성분을 각각 나타낸다.

수학식1의 밝기성분(Y)에 대한 공간영역 필터링을 살펴보면, 열화된 영상의 평탄한 부분에서는

이 될 것이므로, 필터의 출력이 열화된 영상의 평균치(대표 값)(

)가 되고, 열화된 영상의 고주파성분에 대해서는

이 될 것이므로, 열화된 영상의 평균치(대표 값)에 일정한 가중치 성분(

)을 더해주어 영상의 고주파 성분을 보존하게 한다.

상기 수학식1이 영상의 미세한 성분에도 효력을 발휘하게 하도록 하기 위하여 동영상의 비-정적(non-stationary) 특성을 반영한다. 이를 위해, 열화된 영상의 평균 및 분산은, (2N+1)x(2N+1) 로컬 마스크(local mask) 내에서 영상의 윤곽선을 가로지르지 않는 범위 내에서 다음의 수학식 4 및 수학식 5와 같이 계산된다. (이때 수학식 1의 잡음 분산에너지는 추정되었거나 알고 있다고 가정한다.)

여기에서, W(k,l,n)은 필터링 될 중심화소와 주변화소가 에지(edge)를 기준으로 서로 같은 영역에 있는 지를 판단하는 에지 적응적인 가중치이며, 중심화소와 주변화소와의 밝기 차이에 반비례하는 특성을 가져야 한다. 즉, W(k,l,n)은 주변화소가 에지(edge)와 같은 면에 있으면 큰 값(

)을 가지고, 다른 면에 있으면 작은 값(

)을 가져야 한다.

상기 에지 적응적인 가중치W(k,l,n)는 수학식 6과 같이 표현된다.

밝기 차이를 나타내는

는,

이고

는 일차함수, 지수함수 또는 로그함수 등의 단조증가함수, C는 1보다 크거나 같은 상수이며, 잡음 적응적인 에지 임계 값

는 일차함수, 지수함수 또는 로그함수 등의 단조증가함수로서 다음과 같이 정의될 수 있다.

사전지식에 의하여, 상기 잡음 적응적인 에지 임계 값(

)이 가져야 할 하한 값(잡음이 적은 경우 가져야할 바람직한 값)과 상한 값(잡음이 많은 경우 가져야할 바람직한 값)을 미리 정의 할 수 있으므로, 상기 잡음 적응적인 에지 임계 값(

)은 상기 상한 값과 하한 값 사이에서 잡음 분산의 크기에 비례하도록 정의된다.

도 2는 에지 적응적인 가중치W(k,l,n)의 특성(C=1)을 나타내는 그래프이다.

도 3은 에지 적응적인 가중치W(k,l,n)의 특성(C

1)을 나타내는 그래프이다.

도 2 및 도 3을 참조하면, C가 1인 경우 가중치(W(k,l,n))는 단순히 "1" 또는 "0"의 형태를 나타내며, C가 1이 아닌 경우로서 C가 1보다 큰 경우 가중치함수는 주변화소와의 차이를 좀 더 세분하여 선형적으로 고려할 수 있음을 알 수 있다. 또한 수학식 6의 특성을 나타낸 도 3의 구간

및

사이의 선형함수는 경우에 따라 다른 형태의 단조감소함수가 사용될 수 있다.

및

는 잡음 적응적인 에지 임계 값을 나타낸다.

수학식 4 내지 6 및 도 2 내지 도 3을 참조하면, 중심화소와 어떤 이웃화소와의 차이(

)가 잡음 적응적인 임계 값(

)보다 크거나 같을 경우, 해당 화소는 평균 및 분산 계산 시 제외됨(W(k,l,n)=0)을 알 수 있다. 이러한 가중치 W(k,l,n)을 도입하여 국부적 평균/분산(local mean/variance)들을 추정하게 되면 필터링 시 다음과 같은 적응적 특성을 나타내게 된다.

국부평균 추정 시 평균을 구하는 중심화소와 상관관계가 적은(즉, 중심화소와 이웃화소와의 차이(

)가 잡음 적응적인 에지 임계 값(

)보다 큰 경우) 윤곽선을 기준으로 반대편 화소들은 사용하지 않고, 상관관계가 큰 주위 화소(윤곽선을 기준으로 같은 편에 위치한 화소)들만 사용하게 되므로 결과적으로 윤곽선에서 흐림 현상(blurring effect)을 방지하게 된다. 마찬가지로, 국부분산추정 시 상대적으로

값이 매우 큰 윤곽선에 위치한 잡음성분들을 계산에서 제외하므로, 재생된 영상에서 윤곽선에 위치한 잡음성분들이 크게 눈에 띄지 않게 된다.

수학식 6에서 유의해야 할 점은, 윤곽선이 상수 임계 값에 의해 결정되는 것이 아니라, 잡음 분산의 함수에 의해 추정된다는 점이다. 본 발명에 따른 잡음 적응적인 에지 임계 값(

)을 임의의 상수로 고정하는 종래의 방법으로 윤곽선을 판별한다면, 임계 값이 너무 작게 설정되었을 때에는 잡음이 많은 경우 이를 효율적으로 제거하지 못할 수가 있고, 반대로 임계 값이 너무 크게 설정되었을 때에는 영상의 미세 성분이 잘 보존되지 않는 한계가 있다. 그러나 본 발명에 따른 디지털데이터 잡음제거방법에서는, 에지 임계 값(

)이 잡음의 분산으로부터 잡음의 유효범위를 판별해서 적응적으로 결정되기 때문에 다양한 환경에서 좀 더 충실한(robust) 결과를 얻을 수 있다.

일반적으로 실제 영상에 대한 잡음 분산 추정 알고리듬은 오차를 가지므로, 추정된 잡음 분산 값이나 표준편차 값을 그대로 임계 값으로 사용할 경우 임계 값이 바람직하지 않게 설정되는 경우가 발생한다. 그러나 잡음 분산 추정 알고리듬이 오차를 가지더라도 잡음의 상대적인 크기에 대해서는 정확하게 판별할 수 있으므로, 본 발명에서와 같이 잡음 분산의 상대적인 크기에 따라 상한 값 및 하한 값이 정해진 함수에 새로 매핑(mapping)시키면 임계 값이 불안정하게 설정되는 것을 방지할 수 있다.

즉, 본 발명에서는 잡음 적응적인 에지 임계 값을 특정 구간 내에서 잡음 분산의 함수로 정의하므로, 잡음의 분산 값 또는 표준편차 값 자체를 직접 이용하여 임계 값을 정하는 종래의 경우보다 잡음분산 추정 알고리듬의 에러에 더 효과적(robust)이다.

도 4는 본 발명의 제1 실시 예에 따른 동영상디지털 데이터 잡음제거방법의 각각의 단계를 나타내는 다이어그램이다.

상술한 본 발명의 제1 실시 예에 따른 동영상디지털 데이터 잡음제거방법을 구성하는 각각의 단계는 도 4을 통하여 보다 정확하게 알 수 있다.

도 4를 참고하면, 본 발명의 제1 실시 예에 따른 동영상디지털 데이터 잡음제거방법은, 열화된 영상의 Y성분(

)에 대하여 잡음분산(

)을 구하는 단계(410), 열화된 영상의 Y성분(

)에 대하여 임의의 상수(C)를 도입하여 필터링 될 중심화소와 주변화소가 서로 같은 영역에 있는 지를 판단하는 가중치(W(k,l,n))를 얻는 단계(420), 상기 가중치(W(k,l,n)) 및

을 이용하여

을 구하는 단계(430), 상기 가중치(W(k,l,n)), 상기

및 상기

을 이용하여 분산(

)을 구하는 단계(440) 및 상기

,

및

을 이용하여 동영상의 밝기성분(Y)에 대한 공간영역 필터링 된 값(

)을 구하는 단계(450)를 구비한다.

본 발명의 제2 실시 예에 따른 디지털 데이터 잡음제거방법은, 전역움직임(global motion)이 보상된 YCbCr 영역에서의 움직임/장면전환 감지 기반 시간영역 필터링으로서, 공간영역 필터링을 취한 프레임들(예를 들면, 3개의 프레임)을 이용하여 다음과 같은 시간영역 필터링을 행하며, 수행 과정을 요약하면 다음과 같다.

첫째, 시간영역을 취하게 될 프레임들 내에 장면 전환이 있는지를 감지하여 반영한다. 둘째, 각 프레임 사이의 전역움직임을 추정한다. 셋째, 전역움직임 궤적을 따라 각 화소간의 움직임을 감지한다. 넷째, 장면전환이 생기지 않은 프레임들의 전역움직임 궤적을 따라 움직임감지 기반 시간영역 필터링을 수행한다.

여기에서는, 장면전환 감지 및 전역움직임 추정이 먼저 수행되었다고 가정하고, 본 발명에서 제안하는 디지털데이터 잡음제거방법의 핵심부분인 YCbCr 영역에서의 움직임감지 및 시간영역 필터링에 대해서 기술한다.

먼저 잡음에너지에 적응적인 YCbCr 영역에서의 움직임감지에 대해 설명한다. 기존의 움직임감지 알고리듬에서는 움직임으로 인한 화소간의 밝기/색상 차이를 결정하는 임계 값이 잡음의 양에 상관없이 고정되어 있었다. 즉, 임계 값이 고정되어있다면, 잡음의 양이 적을 때에는 임계 값이 필요 이상으로 큰 값을 가지는 경우가 발생하여 움직임 잔상과 같은 가공물을 생성시킬 수 있으며, 반대로 잡음의 양이 많은 때에는 임계 값이 잡음의 크기에 비해 상대적으로 작은 경우가 생겨 잡음제거가 효과적이지 못할 경우가 생기게 된다.

따라서 본 발명에 따른 디지털데이터 잡음제거방법에서는 시간영역에서의 잡음의 양을 추정하여 잡음의 에너지에 따라 움직임감지에 사용되는 밝기/색상 가중치를 적응적으로 변환시켜 사용함으로써 종래의 방법의 단점을 극복하고자 한다.

필터링 될 중심 프레임의 밝기성분(Y)을

이라 하고, 전역움직임 추정에 의해 추정된 이전 프레임 또는 이후 프레임과의 움직임벡터를

및

라 하 면, 시간영역에서의 잡음의 상대적 크기는 이전 프레임과 비교하여 계산될 수 있으며 이전 프레임과 비교하는 경우 수학식 7과 같이 계산될 수 있다.

여기에서,

는 임의의 단조증가함수이며,

는

의 값이 설계자가 임의로 설정할 수 있는 임계 값(nT)보다 작으면 1, 크면 0의 값을 가진다. 즉, 수학식 7은 영상 내의 움직임이 대부분 임계 값(nT)보다 크다는 가정 하에 임계 값(nT) 보다 작은 차이 값(차 영상에서 움직임을 제외한 화소)만 가지고 에너지를 구한 것으로서, 영상 내의 잡음의 양이 작은 경우 작은 값을 가지며, 잡음의 양이 큰 경우 임계 값(nT)보다 작은 잡음 화소의 크기가 상대적으로 크므로 잡음의 에너지(

)가 큰 값을 가지게 된다.

영상의 밝기 성분의 움직임 감지를 위한 가중치는, 중심 프레임의 화소와 필터링 될 다른 프레임의 화소 사이에서의 움직임이 밝기 영역에서 발생했는가를 판단하는 기준 값이 된다. 상기 영상의 밝기 성분의 움직임 감지를 위한 가중치는, 화소간의 밝기 차이에 반비례하며, 상기 화소 사이의 밝기 차이가 소정의 밝기 움직임 임계 값 보다 크면 0(zero)의 값을 가지고, 상기 밝기 움직임 임계 값은 밝기 영역의 움직임을 구분하기 위하여 가져야 할 바람직함 범위 내에서 잡음의 크기에 비례하는 함수에 의하여 결정된다.

영상의 색상성분의 움직임 감지를 위한 가중치는 중심프레임의 화소와 필터 링될 다른 프레임의 화소사이의 움직임이 색상영역에서 발생하였는가를 판단하는 기준 값이 된다. 상기 영상의 색상성분의 움직임 감지를 위한 가중치는, 화소 사이의 색상 차이가 소정의 색상움직임 임계 값보다 크면 0(zero)의 값을 가지며, 상기 색상움직임 임계 값은 색상 영역의 움직임을 구분하기 위하여 가져야 할 바람직한 범위 내에서 잡음의 크기에 비례하는 함수에 의하여 결정된다.

밝기 영역에서의 움직임감지 가중치(

)는 수학식 8과 같이 결정된다.

여기에서, 움직임으로 인한 밝기 차이를 나타내는

는,

,

는 일차함수, 지수함수 또는 로그함수 등의 단조증가함수,

는 1보다 큰 상수이며, 밝기임계 값

는 단조증가함수이다. 수학식 8에서 적응적인 밝기 영역에서의 움직임감지 가중치(

)의 값이 0이면 해당 화소의 밝기성분(Y)에서 움직임이 감지되었음을 뜻한다.

한편 색상영역에서의 움직임감지 가중치(

)는 수학식 9와 같다.

여기에서, 움직임으로 인한 색상 차이를 나타내는

는,

이고,

는 일차함수, 지수함수 또는 로그함수 등의 단조증가함수,

는 1보다 큰 상수이며, 색상임계 값(

)은 단조증가함수이다. 수학식 9에서 색상영역에서의 움직임감지 가중치(

)의 값이 0이면 해당 화소의 색상성분(Cb 및 Cr)에서 움직임이 감지되었음을 뜻한다.

수학식 8 및 9의 가중치 함수의 형태는 기본적으로 도 1에 도시된 파형과 같은 형태이고, 공간영역 필터링에서의 윤곽선 감지와 마찬가지로 움직임 감지 알고리듬 역시 잡음의 에너지에 적응적으로 변함을 알 수 있다. 또한 종래의 RGB 벡터 특성을 이용해서 색상성분의 차이를 감지할 때에는 코사인(cosine)함수의 입력인 벡터간의 내적 및 분수연산을 해야 되었으나, 제안하는 알고리듬에서는 색상성분의 차이가

의 형태로 간단히 나타남을 알 수 있다. 또한 수학식 9의

의 값은 색상의 차이에 따라 선형적으로 변하므로 색상감지 임계 값을 정하기가 훨씬 쉬워지게 된다.

전역움직임이 보상된 YCbCr 영역에서의 움직임/장면전환 감지 기반 시간영역 필터링에 대하여 설명한다. 종래의 시간영역 필터링에서는 대부분 영상의 밝기성분만을 필터링 한다. 이러한 경우, 잡음의 양이 작을 때에는 효과적이나, 잡음의 양이 많거나 색상영역에 컬러얼룩과 같은 잡음이 섞여 있을 때에는 잡음 제거의 성능이 현저하게 떨어지게 된다.

이러한 점을 극복하기 위하여, 본 발명에서는 전술한 장면전환 및 움직임감지를 기반으로 YCbCr 영역을 수학식 10 내지 12와 같이 동시에 필터링 한다.

여기에서

는 시간영역 필터링 된 결과이고, Z 는 정규화를 위한 상수로서,

는 밝기 성분에 대한 정규화상수이고,

및

은 색상 성분에 대한 정규화 상수이다. 또한

및

는 n 번째 프레임과 k번째 프레임 사이의 전역움직임 벡터를 나타낸다. 수학식 10에서

는 장면전환이 일어나지 않는 범위 내에서 필터링하기 위한 가중치(weight)이며,

와

는 수학식 8 및 수학식 9에서 정의된 움직임 감지 가중치이다.

상기 밝기성분의 움직임 감지를 위한 가중치(

)는 필터링 될 프레임의 특정화소와 이전 혹은 이후 프레임의 화소 사이에 밝기 성분의 움직임이 발생하였는가를 판단하는 가중치로서, 두 화소의 밝기 차이에 반비례하는 값을 가지며, 두 화소의 밝기 차이가 밝기임계 값보다 크면 0(zero)의 값을 가진다.

상기 밝기임계 값은 밝기 차에 의한 움직임을 구분하기 위한 임계 값이 가져야 할 바람직한 범위 내에서 시간영역의 잡음 크기에 비례하는 함수에 의하여 결정된다.

상기 색상성분의 움직임 감지를 위한 가중치(

)는 필터링 될 프레임의 특정화소와 이전 혹은 이후 프레임의 화소 사이에 색상성분의 움직임이 발생하였는가를 판단하는 가중치로서, 두 화소의 색상 차이에 반비례하는 값을 가지며, 두 화소의 색상 차이가 색상임계 값보다 크면 0(zero)의 값을 가진다.

상기 색상임계 값은 색상 차에 의한 움직임을 구분하기 위한 임계 값이 가져야할 바람직한 범위 내에서 시간영역의 잡음 크기에 비례하는 함수에 의하여 결정된다.

수학식 10 내지 수학식 12에서 유의할 점은 필터링 서포트(support) 내의 어떤 프레임에서 장면이 감지되었다면 그 이후의 프레임들은 필터링에서 제외되어야 한다는 점과, 어떤 프레임의 특정 화소에서 움직임이 검출되었다면 그 이후의 프레임들의 같은 위치의 화소 역시 필터링에서 제외되어야 한다는 점이다. 또한 경우에 따라 수학식 10 내지 수학식 12에서

와 전역움직임 벡터의 사용은 생략될 수 있으며,

및

둘 중에 하나도 생략된 상태로 사용 될 수 있다.

도 5는 본 발명의 제2 실시 예에 따른 동영상디지털 데이터 잡음제거방법의 각각의 단계를 나타내는 다이어그램이다.

상술한 본 발명의 제2 실시 예에 따른 동영상디지털 데이터 잡음제거방법을 구성하는 각각의 단계는 도 5를 통하여 보다 정확하게 알 수 있다.

도 5를 참고하면, 본 발명의 제2 실시 예에 따른 동영상디지털 데이터 잡음제거방법은, 중심화소의 밝기성분(Y)을 공간영역 필터링 하여 구한

, 전역(global) 움직임 추정벡터(

) 및 동영상 내의 잡음의 양에 따라 설계자가 임의로 정할 수 있는 임계 값(nT, 미도시)에 따라 결정되는 소정의 기준 값(

)을 이용하여 시간영역에서의 잡음의 상대적 에너지(

)를 추정하는 단계(510),

,

및 소정의 상수 값(

)을 이용하여 밝기성분의 가중치(

)를 적응적으로 변환시키는 단계(520), 중심화소의 색상성분(Cb 및 Cr)을 공간영역 필터링 하여 구한

,

및 소정의 상수 값(

)을 이용하여 색상성분의 가중치(

)를 적응적으로 변환시키는 단계(530) 및

,

및 장면전환이 일어나지 않는 범위에 내에서 필터링 하기 위한 가중치인

를 이용하여 전역움직임이 보상된 데이터(

,

및

)를 구하는 시간영역 필터링 하는 단계(540)를 구비한다.

상술한 내용을 요약하면, 본 발명에 따른 동영상 디지털데이터 잡음제거방법은, 첫째, YCbCr 영역에서의 시공간 영역필터링, 공간영역에서의 영상의 윤곽선 보존, 공간 영역 필터링에서 윤곽선을 구분하기 위한 잡음에 적응하는 가중치를 도입하는 공간영역 필터링방법을 제안한다. 둘째, 전역움직임이 보상된 움직임/장면전환 감지기반 시간영역 필터링, 시간영역 필터링에서 움직임의 밝기/색상 차를 동시에 고려한 움직임감지 및 시간 영역 필터링에서 움직임감지를 위한 잡음에 적응하는 가중치를 도입하는 시간영역 필터링 방법을 제안한다. 셋째, 상기 첫째와 둘째에서 제안하는 공간영역 필터링을 먼저 수행하고 이어서 상기 공간영역 필터링을 수행한 결과신호를 이용하여 시간영역 필터링 하는 것이다.

실제 본 발명이 제안하는 상기 공간영역 필터링 또는 상기 시간영역 필터링을 독립적으로 사용하여도 잡음제거에 효과가 있으나, 먼저 공간영역 필터링을 수행한 후 결과 데이터에 시간영역 필터링을 적용하면 뛰어난 잡음제거 효과를 얻을 수 있다. 본 발명의 제3 실시 예에 따른 동영상디지털 데이터 잡음제거방법이 바로 공간영역 필터링 및 시간영역 필터링을 동시에 수행한 경우를 반영한 것이다.

이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 이라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해 져야 할 것이다.

상술한 바와 같이 본 발명에 따른 동영상 디지털데이터 잡음제거방법은, 시간영역 필터링에서 사용되는 프레임 개수를 줄임과 동시에 움직임 감지를 용이하게 할 수 있으므로, CCD/CMOS 등 각종 영상센서에 직접 적용되어 고해상도의 영상을 획득하기가 용이하게 된다. 특히, 화질의 개선 및 데이터 압축률 향상을 위한 압축알고리듬에서의 전(before) 처리 및 저장된 영상의 화질개선을 위한 후(after) 처리에 사용될 수 있다.

Claims

공간영역 필터링을 통하여 동영상 디지털 데이터에 포함된 잡음을 제거하는 동영상 디지털데이터 잡음제거 방법에 있어서,

각 화소의 색상성분에 대하여 공간영역 필터링을 하여 특정 로컬 마스크 내에서 대표 값을 구하는 단계; 및

각 화소의 밝기성분에 대한 공간영역 필터링을 하여 에지를 보존하는 단계를 구비하고,

상기 에지를 보존하는 단계는,

소정의 잡음 적응적인 에지 임계 값을 이용하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제1항에 있어서, 상기 에지를 보존하는 단계는,

상기 잡음 적응적인 에지 임계 값을 이용하여 각 화소의 에지 적응적인 대표 값을 구하는 단계;

상기 잡음 적응적인 에지 임계 값을 이용하여 생성된 소정의 잡음 적응적인 가중치 및 상기 에지 적응적인 대표 값을 이용하여 각 영상의 산포도 값을 추정하는 단계;

입력영상(열화된 영상의 밝기성분)과 상기 에지 적응적인 대표 값과의 차 영상을 구하는 단계;

상기 영상의 산포도 값과 잡음성분에 대한 산포도 값을 비교하여 가중치를 구하는 단계; 및

상기 차 영상에서 영상의 에지 성분에는 큰 가중치를 부여하고 잡음 성분에는 작은 가중치를 부여하며, 상기 에지 적응적인 대표 값에 상기 가중치가 부여된 차 영상을 더하는 단계를 구비하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항에 있어서, 상기 에지 적응적인 대표 값은,

각 화소의 평균 값 또는 중간 값이고,

상기 산포도 값은,

각 화소에 대한 분산 또는 표준편차인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제1항에 있어서, 상기 각 화소의 색상성분에 대하여 특정 로컬 마스크 내에서 대표 값을 구하는 단계는,

색상성분(Cb 및Cr)에 대한 특정 로컬 마스크 내에서의 대표 값을 각각
및
라 하면,

를 만족하며,

N은 로컬 마스크(local mask)의 크기이고, i 및 j는 화소(pixel)의 2차원 좌표를 나타내며, n은 프레임을 의미하고,
는 열화된 영상의 {Cb}성분,
은 열화된 영상의 {Cr}성분을 각각 나타내는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항에 있어서, 상기 각 화소의 에지 적응적인 대표 값은,

을 만족하며, N은 로컬 마스크(local mask)의 크기, i 및 j는 화소(pixel)의 2차원 좌표, n은 프레임,
는 열화된 영상의 밝기성분을 각각 나타내며,

상기 에지 적응적인 가중치(
)는, 필터링 될 중심 화소와 주변화소가 에지를 기준으로 서로 같은 영역에 있는지를 판단하는 기준이 되는 가중치로서 중심화소와 주변화소의 밝기 차이에 반비례하며, 상기 중심화소와 주변화소의 밝기 차이가 상기 잡음 적응적인 에지 임계 값 보다 크면 0(zero)의 값을 가지고, 상기 잡음 적응적인 에지 임계 값은 에지를 구분하기 위하여 가져야 할 바람직한 범위 내에서 잡음의 크기에 비례하는 함수에 의하여 결정되는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제5항에 있어서, 상기 에지 적응적인 가중치는,

을 만족하며,
는 열화된 영상의 밝기성분인
의 잡음의 분산,
는 밝기차이를 나타내며
을 만족하고, C는 1보다 크거나 같은 상수이며,
는 일차함수, 지수함수 및 로그함수 등의 단조증가함수이고, 상기 에지 적응적인 임계 값
는 일차함수, 지수함수 및 로그함수 등의 단조증가함수인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항 또는 제6항에 있어서, 상기 추정된 영상의 산포도 값은,

을 만족하며, N은 로컬 마스크(local mask)의 크기, i 및 j는 화소(pixel)의 2차원 좌표, n은 프레임,
는 열화된 영상의 밝기성분인 상기
에 대하여 에지 적응적인 가중치가 적용된 분산,
는 상기 에지 적응적인 가중치,
는 상기 에지 적응적인 대표 값인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항에 있어서, 상기 차 영상은,

을 만족하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항에 있어서, 상기 가중치는,

을 만족하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제2항에 있어서, 상기 가중치를 상기 차 영상에 부여하는 단계는,

을 만족하고,

상기 에지 적응적인 대표 값에 상기 가중치가 부여된 차 영상을 더하는 단계는,

을 만족하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
영상의 밝기성분(Y), 색상성분(Cb 및 Cr)에 대하여 각각 공간영역 필터링 된 값들(
,
및
)을 시간영역 필터링 하는 동영상데이터 잡음제거방법에 있어서,

프레임 간에 장면전환이 있는 지를 감지하는 단계;

프레임간의 전역움직임을 추정하고, 각 화소에 대하여 전역 움직임 궤적을 따라 시간영역에서의 잡음의 상대적 크기를 추정하는 단계;

영상의 밝기성분의 움직임 감지를 위한 가중치 및 영상의 색상성분의 움직임 감지를 위한 가중치를 구하는 단계; 및

장면전환이 일어나지 않은 범위 내에서 필터링하기 위한 가중치, 상기 잡음의 상대적 크기, 상기 영상의 밝기성분의 움직임 감지를 위한 가중치, 상기 영상의 색상성분의 움직임 감지를 위한 가중치 및 정규화를 위한 상수 전부 또는 일부를 이용하여 전역움직임이 보상된 장면전환/움직임 감지 기반 필터링 단계를 구비하며,

상기 영상의 밝기 성분의 움직임 감지를 위한 가중치는,

중심 프레임의 화소와 필터링 될 다른 프레임의 화소 사이에서의 움직임이 밝기 영역에서 발생했는가를 판단하는 값으로서, 화소간의 밝기 차이에 반비례하 며, 상기 화소 사이의 밝기 차이가 소정의 밝기 움직임 임계 값 보다 크면 0(zero)의 값을 가지고, 상기 밝기 움직임 임계 값은 밝기 영역의 움직임을 구분하기 위하여 가져야 할 바람직함 범위 내에서 잡음의 크기에 비례하는 함수에 의하여 결정되며,

상기 영상의 색상성분의 움직임 감지를 위한 가중치는,

중심프레임의 화소와 필터링 될 다른 프레임의 화소사이의 움직임이 색상영역에서 발생하였는가를 판단하는 값으로서, 화소 사이의 색상 차이가 소정의 색상움직임 임계 값보다 크면 0(zero)의 값을 가지며, 상기 색상움직임 임계값은 색상 영역의 움직임을 구분하기 위하여 가져야 할 바람직한 범위 내에서 잡음의 크기에 비례하는 함수에 의하여 결정되는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제11항에 있어서, 상기 잡음의 상대적 크기(
)는,

을 만족하고,

i 및 j는 2차원 좌표,

n은 프레임,

및
는 움직임 벡터성분,

는 임의의 단조증가함수,

는
의 값이 임계 값(nT)보다 작으면 1, 크면 0의 값을 가지며,

상기 임계 값(nT)은, 최적의 잡음의 상대적 크기를 구하기 위하여 설계자가 임의로 정할 수 있는 값인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제11항에 있어서, 상기 영상의 밝기성분의 움직임 감지를 위한 가중치(
)는,

을 만족하며,

상기 영상의 색상성분의 움직임 감지를 위한 가중치(
)는,

을 만족하고,

,

,

및
는 각각 1보다 큰 상수,
는 임의의 단조증가함수,

상기 밝기임계 값
및 상기 색상임계 값
는 각각 단조증가함수인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제11항에 있어서, 상기 전역움직임이 보상된 장면전환/움직임 감지 기반 필터링 단계는,

을 만족하며,

는 시간영역 필터링 된 결과이고,
는 장면전환이 일어나지 않는 범위 내에서 필터링하기 위한 가중치(weight)이며,
및
는 n 번째 프레임과 k 번째 프레임 사이의 전역 움직임 벡터를 각각 나타내고, Z는 정규화를 위한 상수로서,
는 밝기 성분에 대한 정규화상수이고
및
은 색상성분에 대한 정규화 상수인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
동영상 디지털 데이터에 포함된 잡음을 제거하는 동영상 디지털데이터 잡음제거 방법에 있어서,

각 화소의 밝기성분 및 색상성분에 대하여 공간영역 필터링을 하는 단계; 및

상기 공간영역 필터링을 수행한 결과 데이터에 대하여 움직임 감지를 기반으로 한 시간영역 필터링을 하는 단계를 구비하며,

상기 공간영역 필터링을 하는 단계는,

각 화소의 색상성분에 대하여 공간영역 필터링을 하여 특정 로컬 마스크 내에서 대표 값을 구하는 단계 및 각 화소의 밝기성분에 대한 공간영역 필터링을 하여 에지를 보존하는 단계를 구비하고,

상기 시간영역 필터링 단계는,

프레임에 장면전환이 있는가를 감지하는 단계, 프레임간의 전역움직임을 추정하고, 각 화소에 대하여 전역 움직임 궤적을 따라 움직임을 감지하여 시간영역에서의 잡음의 상대적 크기를 추정하는 단계, 영상의 밝기성분의 움직임 감지를 위한 가중치 및 영상의 색상성분의 움직임 감지를 위한 가중치를 구하는 단계 및 장면전환이 일어나지 않은 범위 내에서 필터링하기 위한 가중치, 상기 잡음의 상대적 크기, 상기 영상의 밝기성분의 움직임 감지를 위한 가중치, 상기 영상의 색상성분의 움직임 감지를 위한 가중치 및 정규화를 위한 상수 전부 또는 일부를 이용하여 전역움직임이 보상된 장면전환/움직임 감지 기반 필터링 단계를 구비하는 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.
제15항에 있어서, 상기 에지를 보존하는 단계는,

소정의 잡음 적응적인 에지 임계 값을 이용하여 각 화소의 에지 적응적인 대표 값을 구하는 단계;

상기 잡음 적응적인 에지 임계 값을 이용하여 생성시킨 소정의 잡음 적응적인 가중치 및 상기 에지 적응적인 대표 값을 이용하여 각 영상의 산포도 값을 추정하는 단계;

입력영상과 상기 에지 적응적인 대표 값과의 차 영상을 구하는 단계;

상기 영상의 산포도 값과 잡음성분에 대한 산포도 값을 비교하여 가중치를 구하여 상기 차 영상에 적용하는 단계; 및

상기 에지 적응적인 대표 값에 상기 가중치가 적용된 차 영상을 더하는 단계를 구비하며,

상기 대표 값은,

평균 값 또는 중간 값이고,

상기 산포도 값은,

분산 또는 표준편차인 것을 특징으로 하는 동영상 디지털데이터 잡음제거방법.