KR101375661B1

KR101375661B1 - 움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법

Info

Publication number: KR101375661B1
Application number: KR1020080016356A
Authority: KR
Inventors: 닝 쑤; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2007-02-23
Filing date: 2008-02-22
Publication date: 2014-03-18
Also published as: KR20080078607A; US20080204600A1; US8059207B2

Abstract

본 발명에 따른 다수개의 비디오 프레임들로부터의 노이즈를 필터링하는 시스템은 현재의 필터링 된 프레임으로 이뤄지는 필터링 된 픽셀들을 형성하기 위하여, 현재 프레임 및 곧바로 선행되는 필터링 된 프레임에 근거하여 움직임 감지 및 움직임 보상 메트릭들을 이용하도록 하는 적응적인 시간적 노이즈 감소 블록을 구비한다. 본 발명에 따른 노이즈를 필터링하는 시스템은 비디오 시퀀스 내의 추가적인 가우시안 노이즈의 효과를 감소시킬 수 있다.

노이즈, 노이즈 필터링, 노이즈 제거

Description

움직임 감지 및 움직임 보상을 수반하는 적응적 시간 방법을 이용하는 영상 노이즈 감소 시스템 및 방법{System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation}

본 발명은 영상 및 이미지 처리에 관한 것이다. 특히, 본 발명은 적정한 때의 움직임 감지 및 움직임 보상을 사용한 적응적 가중치 평균한 픽셀에 의한 영상 시퀀스에서의 가우시안 추가적인 노이즈의 감소, 및 가중치를 결정하기 위한 로컬 노이즈 특성 평가에 관한 것이다.

지난 10년 간, 디지털 영상의 응용들은 극적으로 증가하고 있다. 이러한 응용들은 시네마 그래픽 파일 보관, 의학적 이미지화, 영상 저장 및 DVD에서의 플레이 백(playback)을 위한 디지털 영상 사용에 이른다. 나아가, 디지털 영상은 또한 케이블, 공중, 인터넷을 통한 더욱 효과적인 텔레비전 방송을 위한 기초를 형성한다.

최근의 디지털 영상의 응용은 특별히 중요하다. 디지털 영상에 기반을 둔 압축 알고리즘들은 아날로그 기술에 의한 것 보다 높은 압축률을 달성할 수 있고, 이로 인해 영상 전송을 위해 요구되는 대역폭을 감소시킨다. 이전의 케이블 채널의 대역폭은 단일 아날로그 영상 채널의 전송을 지원하는 데, 이 때, 디지털 압축 케이블 동작은 해상도/대역폭 트레이드 오프 커브(trade off curve) 상의 다양한 포인트들에서 동작할 수 있다.

또한, 평균 화질의 12개의 영상 채널 또는 고화질의 7 내지 8개의 채널이 영상의 하나의 아날로그 채널에 대한 대역폭으로 전송된다. 영상 압축은 또한 고선명 텔레비전(HDTV: high definition television)의 제작을 가능하게 만들었다. 영상 압축 없이는, 전송을 위해 요구되는 대역폭은 현재의 대역폭 할당에 의하여는 지원될 수 없다. 디지털 영상은 인터넷의 패킷화 된 기술들을 이용한 영상의 전송을 기반으로 한다. 이는 패킷의 도달 시간의 변동을 제거하기 위한 버퍼의 사용, 및 인터넷이 다른 사용자들에 의해 공유되는 경우의 채널 용량의 영상 신호에 의한 사용량을 더욱 더 감소시키는, 더욱 강력한 압축 알고리즘의 응용을 가능하게 한다.

디지털 영상의 보편적 사용은 노이즈 필터링 알고리즘들에 대한 증가되는 관심 및 수요의 소산이다. 노이즈 감소는, 영상에 존재하는 노이즈는 영상의 화질을 감소시킬 뿐 아니라 수반하는 신호 처리 작업 또한 어렵게 하므로, 전체적인 시스템 동작 성능을 저하시킬 수 있다. 노이즈는 압축 및 복원하는 디지털 영상에 대해 특히 유해하다. 이러한 노이즈의 영상은 압축 알고리즘들에 내재해 있다. 압축 알고리즘은 사람의 눈에 의해 지각되는 이미지들의 시퀀스를, 압축되지 않는 데이터로부터 생성되는 이미지와 거의 동일하게 되도록 재연하기 위해 설계된다. 노이즈가 제거되지 않기 때문에, 알고리즘들은 노이즈를 신호로써 다루게 되고, 노이즈의 요소들을 표현하는 데이터를 생성하도록 노력한다. 설상가상으로, 대부분의 경우, 영상 압축 수단의 출력은 데이터 율이 데이터가 전송되는 채널의 용량 률에 대응되도록 제한한다. 노이즈가 영상 압축기에 의해 출력되는 비트들에 포착되는 경우, 소스의 비트들만으로 실제 신호를 표현해야 한다. 그러므로, 노이즈의 감소(가능하면, 영상을 오염시키는 노이즈의 제거)는 영상 압축에 있어서, 중요한 요소이다.

노이즈는 원하는 신호를 간섭하는, 원치 않는 신호를 총괄하는 개념이다. 노이즈는 특히 일반적으로 진폭 변조된 잔류측대파 텔레비전 신호를 수신하기 위한 한계 신호 조건들을 갖는 영역에 위치하는 텔레비전 수신기들에 존재한다. 이 노이즈는 일반적으로 부가 노이즈, 화이트 노이즈, 및 가우스 노이즈로 분류된다. 아날로그 영상이 위상으로 전송되는 경우, 영상 신호는 캐리어에 주파수 변조된다. 신호 공간에서 노이즈로 표현되는 백터가 일반적으로 변조된 신호를 나타내는 백터보다 많이 작은 경우와 같이 지상 수신기가 문턱값(threshold)을 넘어 동작하는 경우, 지상 수신기의 출력 신호는 부가 노이즈 및 가우스 노이즈를 동반한다. 시스템이 문턱값에 근접하는 경우, 노이즈의 특성은 예를 들면, 주파수 영역 밖에서 잡히는 자동차 라디오의 FM 방송에서 들리는 딸깍하는 소리와 같이 불연속적이고(impulsive), 진상(leading)의 특성을 갖는다. 위성에 의한 영상 신호의 전송에 있어서, 임펄스(impulse)는 화면에 짧은 흰색 또는 어두운 줄무늬들로 나타난다. 위성 또는 지역 텔레비전 수신기는 또한 자동차로부터 기인하는 노이즈와 같이 인간에 의한 노이즈에 영향을 받을 수 도 있다.

영상(video)에 노이즈 감소(noise reduction)를 적용하는 것은 바람직한 영상 신호를 식별하는 절차이다. 그리고, 노이즈에 대하여 상기 식별된 바람직한 영 상 신호를 식별하기 위한 정보를 이용하는 절차이다. 최고의 동작 수행은 디지털 기술의 사용을 통하여만 가능한 프로세싱 옵션의 광범위한 범위의 하나를 이용하는 것에 의하여 달성될 수 있다. 입력 영상은 수평적 및 수직적 좌표와 프레임 넘버의 식별자인 시간상의 좌표의 의하여 번호 매겨지는 무수한 픽셀 값들로써 표본화된다. 필터링 동작(filtering operation)은 출력 픽셀을 형성하기 위하여 입력 표본들에 대하여 수행되어지는 연속적 수학적 동작으로써 설계된다.

노이즈 감소 필터링을 위한 본원에서의 접근은 세가지 유형으로 분류된다. 즉, 공간적 노이즈 감소 필터(spatial noise reduction filter), 시간적 노이즈 감소 필터(temporal noise reduction filter), 및 3D 노이즈 감소 필터로 분류된다.

공간적 노이즈 제거 필터는 공간적 노이즈 제거 필터는 시간적 방향내의 정보를 무시하고 오직 공간적 도메인 내의 입력 이미지만을 필터링한다. 시간적 노이즈 제거 필터링은 시간적 방향에서의 픽셀들만을 필터링 하도록 동작하며, 적응적 방법의 동작(motion adaptive method)과 보상된 방법의 동작(motion compensated method)으로 더 분할될 수 있다. 적응적 방법의 동작은 프레임 간의 너비 및 높이(width and height)상의 동일 위치에 있는 픽셀을 필터링한다. 그리고, 필터 요소가 픽셀 위치에서 프래임들 간의 관련된 동작의 정도에 근거하는 것이 감지된다. 보상된 방법의 동작은 그들의 동작 측정 결과에 근거한 동작 궤도에 따라서 픽셀을 필터링한다. 삼차원 노이즈 제거 필터는 시간적 필터와 공간적 필터 각각의 장점을 얻기 위하여, 시간적 필터와 공간적 필터를 결합한다.

노이즈 감소는 처음부터 대부분이 독립적인 신호의 평균 공동 요소(averaging together element)를 포함한다. 주어진 픽셀이 노이즈가 없는(noise-free) 0.5의 값을 갖는다고 가정하자. 그것의 밝기(brightness)는 화이트와 블랙의 피크치 사이의 중간값이 된다. 픽셀은 노이즈 n₁에 의하여 오염되어진다. 따라서 실제적으로 측정되는 제1 픽셀의 픽셀 값 P₁은, P₁ = 0.5 + n₁ 이 된다. 추가적으로 아는 바와 같이, 제2 픽셀은 P₂ = 0.5 + n₂ 를 가지며, 또 다른 위치에서 발견될 것이다. 여기서, n₁과 n₂는 모두 노이즈 값이며, 상관되어지지 않고(uncorrelated), 서로 같은 분산(variance)을 갖는다. 0.5 P₁ + 0.5 P₂ 의 가중된 평균값(weighted average)은 0.5 + 1/2(n₁ + n₂)이 된다. 1/2(n₁ + n₂)의 파워는 n₁또는 n₂의 파워의 1/2가 된다. 그러므로, 두 픽셀 값을 평균한 값이 예측되는 픽셀 값의 SNR을 2 펙터(factor of 2)만큼씩 향상시킨다. 그러나, 만약 P₂가 P₂ = 0.3 + n₂ 이면, 제2 픽셀(P₂)의 밝기는 검정에 가까워지는 것을 뜻하고, 그러면 0.5 P₁+0.5 P₂ = 0.4 + 1/2(n₁ + n₂) 가 된다. 두 번째 경우에서의 평균을 하기 전에, P₁과 P₂를 동일하게 가중시키는 것의 전체적인 효과는 가중된 평균이 나타나게 되어있는 픽셀의 밝기에 대하여, 에러를 측정 장치로 전달하는 것이다.

상기의 예는 본 발명의 기본 원리를 설명한다. 특정 픽셀과 관련된 노이즈 레벨을 감소시키기 위하여, 노이즈 없는 밝기를 갖는 제2 픽셀 값을 갖는 가중치 평균은 본건의 하나와 가깝다. 노이즈가 없는 신뢰구간의 품질에 있어서 신용 레벨 이 하이 레벨이면, 가중치는 근접하게 동일한 값을 갖는 2개 픽셀 값으로 지정된다. 만약 신용 레벨이 낮은 레벨이면, 제2 픽셀 레벨은 제1픽셀 값이 가중됨과 함께 제2 픽셀의 가중치를 0에 가깝게 만듦으로써 효과적으로 덜 고려하게 된다.

시간적 노이즈 감소 필터링의 일 장점은 제2 픽셀이 현재의 프레임에서의 주어진 픽셀에서와 유사한 노이즈 없는 밝기 레벨을 갖는 이전 프레임 내에서 발결 될 수 있는 가능성이 더 크다는 것이다. 왜냐하면, 종종 영상 내에서 프레임에서 프레임으로 작은 변화가 발생하기 때문이다. 또 다른 장점은 일정 프로세서에 따라서 발생하는 상기 픽셀 탄도들(trajectories)이 일차원을 가지며, 하나의 프레임 내에서의 픽셀로부터 다음의 다른 픽셀로 확장된다는 것이다. (탄도는 scene의 변화가 생기면 불연속적이게 된다.)

그러므로, 시간적 노이즈 감소에서의 프로세싱은 현재 프레임 내의 픽셀에서의 가중치 평균을 이용하기 위하여, 픽셀 값들의 시간상의 뒤쪽만을 바라본다. 공통적으로 평균 되어져야 하는 픽셀들 및 평균에 있어서 각각에 놓여질 가중치들을 적응적으로 감지하기 위하여, 시간적 필터링의 단순한 구조를 이용하기 위해서, 처리되지 않았거나 필터링되지 않은 자체적인 입력 데이터로부터 얻어지는 이용 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 영상 시퀀스에 있어서, 시간적 필터링을 이용하여 추가적인 가우시안 노이즈의 효과를 감소시킬 수 있는 영상 노이즈 감소 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 영상 시퀀스에 있어서, 시간적 필터링을 이용하여 추가적인 가우시안 노이즈의 효과를 감소시킬 수 있는 영상 노이즈 감소 방법을 제공하는데 있다.

본 발명의 일 실시예에 따른 다수개의 연속하는 비디오 프레임들에서의 노이즈를 시간적으로 필터링하는 방법은 위치 (x,y) 에서의 강도

를 갖는 현재 프레임으로부터 제1 픽셀을 선택하는 단계, 현재 프레임에 곧바로 선행되는 필터링 된 프레임 내의 (x,y)에서의 제2 픽셀을 선택하는 단계, 제1 픽셀을 포함하는 이웃영역과 시간상의 제1 프레임에 곧바로 선행되는 필터링 된 프레임 내에 있어서 유사하게 형성된 이웃 영역 사이의 가까운 매치를 제공하는 움직임 벡터

를 결정하는 단계, 움직임 벡터의 진폭 및 방향에 의하여, 상기 제2 픽셀로부터의 오프셋이 되는 위치에서의 제3 픽셀의 강도를 결정하는 단계, 및 제1 픽셀, 상기 제2 픽셀, 및 상기 제3 픽셀 각각의 세 개의 강도 값들의 합의 평균된 가중치가 되는 위치 (x,y)에서의 시간적 필터의 출력을 계산하는 단계를 구비한다.

필터링 된 제2 픽셀은

로 표시되는 강도를 가지며, 현재 프레임에 곧바로 선행되는 필터링 된 프레임 내에 있어서 위치는

이 되며, 상기 강도는

로 표시되는 것을 특징으로 한다.

바람직하게, 노이즈를 필터링하는 방법은 제1 픽셀의 이웃영역과 제2 픽셀의 구별적으로 배열된 이웃영역 사이의 상대적 움직임을 나타내는 메트릭 md가 결정되는 단계를 더 구비한다.

바람직하게, 제1 픽셀의 이웃과 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임 내에 있어서 유사하게 배열된 움직임 보상된 이웃영역 사이의 일치 정도를 나타내는 메트릭 mc를 결정하는 단계를 더 구비한다.

바람직하게, 수량

의 두 요소

과

를 준비하는 단계를 더 구비하며,

은 현재 프레임 내의 선택된 상기 제1 픽셀의 국부 이웃영역 내에서의 강도의 피크(peak)와 벨리(valley)들을 계수하는 것에 의하여 발견되며, 그 결과를 소프트 스위칭하며,

는 상기 픽셀의 강도의 국부 표준 편차를 계산하는 것에 의하여 발견되며, 그 결과를 소프트 스위칭한다. 그리고,

은 상기

과

의 곱과 같은 값을 갖는 것을 특징으로 한다.

본 발명에 따른 실시예에 따른 다수개의 비디오 프레임들로부터의 노이즈를 필터링하는 시스템은 현재의 필터링 된 프레임으로 이뤄지는 필터링 된 픽셀들을 형성하기 위하여, 상기 현재 프레임 및 곧바로 선행되는 필터링 된 프레임에 근거하여 움직임 감지 및 움직임 보상 메트릭들을 이용하도록 하는 적응적인 시간적 노 이즈 감소 블록을 구비한다.

바람직하게, 노이즈 감소 시스템은 현재 프레임으로부터 선택된 상기 제1 픽셀의 비디오를 제공하도록 하는 버퍼, 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임으로부터 적어도 하나 이상의 픽셀의 비디오 강도를 제공하도록 하는 제1 프레임 버퍼, 및 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임에 있어서 계산된 가중치를 저장하고, 상기 저장된 가중치를 상기 현재 프레임의 필터링에 제공하는 제2 프레임 버퍼를 더 구비한다.

바람직하게, 적응적인 시간적 노이즈 감소 블록은 현재 프레임 내의 상기 제1 픽셀을 포함하는 영역과 상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임 내의 개별적으로 설정된 영역 사이의 상대 움직임을 감지하도록 동작하고, 상기 움직임을 가리키는 메트릭인 md를 발생시키는 움직임 감지 블록, 현재 프레임 내의 상기 제1 픽셀을 포함하는 영역과 곧바로 선행되는 상기 필터링 된 프레임 내의 유사하게 설정된 영역 사이의 상대 자리(relative displacement)를 가리키는 움직임 벡터 mv를 찾도록 동작하는 움직임 추정 블록, 현재 프레임 내의 상기 제1 픽셀을 포함하는 영역과 상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임 내의 유사하게 설정된 움직임 보상된 영역 사이의 일치 정도를 가리키는 메트릭인 mc를 계산하도록 동작하는 움직임 보상 블록, 및 입력으로써 상기 md, mv, 및 mc를 전송받는 노이즈 적응적 필터링 블록을 구비한다.

본 발명의 일 실시예에 따른 시간적인 노이즈를 필터링하는 방법은 비디오 시퀀스 내의 추가적인 가우시안 노이즈의 효과를 감소시킬 수 있다.

본 발명의 다른 실시예에 따른 시간적인 노이즈를 필터링하는 시스템은 비디오 시퀀스 내의 추가적인 가우시안 노이즈의 효과를 감소시킬 수 있다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명이 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

최근의 텔레비전 수신기는 인가된 표준 범위들의 계수에서 동작한다. 예를 들어, 30frames/sec.에서 영상의 NTST 전송 525 라인들로부터 점진적으로 스캔되고 60frames/sec.의 속력으로 전송하는 1080 라인들에 근거한 HDTV까지의 기준 범위들에서 동작한다. 수신기(receiver)는 그러나 기준들의 다양성에서 동작하지 못한다. 그보다, 가장 큰 라인 개수와 최고의 프레임 레이트를 갖는 기준에서 동작한다. 적은 프레임들과 라인들을 갖는 영상이 조금 덜 기준을 따른다고 할 때, 수신기는 디스플레이에 의하여 요구되는 기준을 나타내는 포멧을 가지는 비디오를 만들기 위하여, 전송된 프레임들과 라인들 사이의 인터폴레이팅(interpolating)에 의하여 반응한다. 새로운 라인(line)들을 만들기 전에, 인터폴레이션(interpolation)에 의한 영역들(fields) 또는 프레임들은 새롭게 생성된 영상 정보들에 영향을 주는 것으로 부터 영상화면을 보호하기 위하여, 노이즈(noise)이 감소되는 것이 바람직하다. 본 발명에 따른 장치 및 방법에서의 주요 적용이 이하에서 설명된다.

본 발명은 입력에서의 그들의 값과 관련된 출력 픽셀들의 신호대 잡음비(SNR)를 향상시키기 위해서, 영상 신호(video signal)로부터 노이즈를 필터링 한 입력 영상으로부터의 데이터를 모은다.

이러한 데이터는, 처리되어야 할 현재 프레임에서의 각각의 픽셀이 되며, 이하를 포함한다.

(1) 고려되어야 할 현재 픽셀(current pixel)과 고려되지 않는 것으로써 동일한 수직적 및 수평적 위치를 갖는 이전에 필터링 된 프레임 내의 픽셀 사이의 어떠한 동작의 견적(estimate of any motion). 이러한 견적(estimate)의 신뢰도를 나타내는 메트릭(metric)은 'md'이다;

(2) 현재 픽셀을 포함하는 블록과 이전에 필터링 된 프레임 내의 블록 사이의 최고 동작 벡터

의 견적. 현재 픽셀과 움직임 벡터를 이용하면서, 제2 픽셀은 움직임 보상 후에 현재 픽셀의 위치를 갖는 필터링 된 이전 프레임 내에서 발견된다. 메트릭은 움직임 보상 견적(motion compensation estimate)의 신뢰도를 나타내는 메트릭은 'mc'이다;

(3) 현재 픽셀 값의 노이즈 오염 값(noise corrupting) 내의 파워의 견적을 포함한다.

그러므로, 세 개의 분량들은 현재 픽셀과 연관된 강도와 같은 값들의 신호대 노이즈비를 개선하는데 이용될 수 있는 것으로, 생산된다:

(1) 현재 픽셀 자체의 강도

는, 위치(x,y) 및 시간 t에서 측정된 강도를 나타낸다;

(2) 필터링 된 프레임인

내의 (x,y)에서의 픽셀의 강도는, 아래에 기입한 것은 즉각해서 현재의 프레임을 처리한 프레임으로부터 얻어졌다는 것과 '^' 이 필터링 된 강도를 나타낸다.

(3) 이전에 필터링 된 프레임 내에서의

에서의 픽셀의 강도, 및 그에 따라서 강도

를 갖는다.

단지 노이즈 감소에 이용되었던 강도의 지난 값들이 이전 필터링 된 프레임으로부터 얻어지기 때문에, 노이즈 제거 프로세스는 회귀적(recursive)이다. 즉,

에 의하여 응답하는 새로운 데이터는 단지 필터링 된 데이터의 프레임 업데이트에 이용된다. 여기서, 필터링 된 데이터는 노이즈가 제거된 데이터이다.

배경기술 부분에서 설명한 바와 같이, 노이즈 감소(noise reduction)를 위한 첨단 기술은 가중치 평균에 관한 것이다. 변수 Z1, Z2, ``` Zn 들에서의 가중치 평균(weight averaging)은 다음의 수학식 1a과 같이 나타내진다.

만약, 변수들 {Zi}가 모두 똑 같은 노이즈 없는(noise-free) 밝기(brightness)를 갖는 노이즈 있는(noisy) 강도(intensity) 들 일 때, 평균 가중 치은 변하지 않는 평균된 가중치 합의 노이즈 없는 밝기를 남겨놓을 것이다.

본 발명에 따른 일 실시예에 있어서, 평균 가중치(weight averaging)는 시간상의 두 개의 픽셀을 프로세싱하는 것과 또 다른 대응되는 가평균 가중치 동작부(operation)에 입력으로써의 중간 결과들을 이용하는 것에 의하여 얻을 수 있다. 두 개의 평균된 가중치의 합들인 평균 가중치는, 그 차제가 평균된 가중치인 합(sum)의 결과를 초래하기 때문에, 직렬 연결된 평균 가중치 동작부들은 일반성(generality)의 손실 없이 동작을 수행할 수 있다. 가중들은 메트릭들인 md 와 mc, 그리고 노이즈 레벨과 연관된 측정된 확률인

로부터 추출된다. 평균 가중치 동작부(operation)들의 시퀀스는 이하와 같다.

i) md로부터 얻어지는 가중치를 이용하여,

과

를 결합하여

를 얻는다.

ii) mc로부터 얻어지는 가중치를 이용하여,

와

를 결합하여

를 얻는다.

iii) mc, md 및

를 이용하여,

를 얻기 위하여

및

을 결합한다.

iv) 측정된 세 개의 변수들 mc, md 및

를 이용하여,

를 얻기 위하여

와

를 결합한다.

v) 노이즈 레벨에 의존하여,

또는

의 제한된 진폭(amplitude) 버전(version) 중 하나를 선택한다.

전체 결과가 실행되도록 (v) 단계를 요구하는 노이즈 레벨의 가능성(possibility)을 제외하는 것은

의 필터링 된 값이

,

, 및

의 가중된 평균이 되는 것이다.

적용되는 노이즈 감소 필터는 도 1a에서 도시되어 있다. 아날로그 비디오 신호는 비디오 수신기(video receiver)의 안테나(1) 또는 선택적으로 케이블 네트워크(1)로부터의 구성에 의하여 수신된다. 수신기(receiver)(8)는 동작부들의 연결들로 구성된다. 일반적으로, 노이즈 성능을 개선하기 위하여 수신기의 입력 쪽에 있는 증폭부(amplification)(2)가 구비된다. 계속하여, 튜너(tuner)(3)와 감지부 및 이득 요소(detector& gain element)(4)가 구비된다. 기저대역(baseband) 영상은 이 지점들에서 가능하다. 노이즈 감소 필터(5)는 가능한 한, 비디오 신호 자체적인 특성들을 이용하여 추가적인 노이즈(additive noise)를 제거하기 위하여 구비된다.

표준 변환(standard conversion)은 '6' 블록 내의 필터링 된 신호를 이용함으로써 이뤄진다. '6'블록에서의 단계는 이전에서 언급된 바와 같이, 비디오 라인들 및/또는 프레임들 사이를 인터폴레이팅하는 것으로 구성된다.

시간적 노이즈 감소는 일반적으로 계속되는 프레임들의 숫자들과 대응되는 픽셀 값을 요구한다. 각각의 계속적인 프레임은 하드웨어 실행부 내의 프레임 버퍼에 버퍼링되어 저장되어 있다. 하드웨어의 비용을 낮추기 위하여, 종종 두 개의 프레임 버퍼만이 실행에 사용되다. 하나는 이전의 필터링 된 프레임인

의 필터링 결과를 일시 저장하고, 다른 하나는 대응되는 가중치 프레임인

을 저장한다. 여기서, t-1은 I 가 즉각적으로 현재의 것 하나에 우선하는 필터링 된 프레임의 강도라는 것을 가리킨다. 그리고 여기서, (x,y)에서의

은

의 (x,y)좌표 픽셀의 시간적 필터링(temporal filtering)에 이용되는 가중치이다.

가중치

는

가 평가되어질 때 계산되고, 그 차제는

를 계산하기 위하여 필요하다. 발생된 시간 t 에서의 새로운 필터링 된 픽셀 이후에 사용되는 중간 데이터(intermediate data)는 시간적 노이즈 감소(temporal noise reduction) 블록(12) 내에 구비된 재사용 가능한 저장부(미도시)에 저장되어 유지된다. 여기서, 시간적 노이즈 감소 블록(12)는 두개의 프레임 버퍼의 내용(content)들을 관리한다.

로 표시되는 가우시안 추가적 노이즈(gaussian additive noise)의 노이즈 분산(noise variance)은 논문 등에 수록되어 설명된 노이즈 제거 방법을 통하여 얻어지는 것으로 가정한다.

하드웨어의 실제화에 적당한 비디오 노이즈 감소 시스템의 구조는 도 1b에 도시되어 있다. 간결함을 위해서, t의 값은 정수가 되며, 위치적 좌표 (x,y)가 사용된다. 필터링되지 않은 프레임인

는, 측정된 노이즈 분산

및 두 개의 프레임 버퍼(14, 16)로부터의 프레임의 두 개 데이터들과 함께, 적응적인 시간적 노이즈 제거(adaptive temporal noise reduction)블록(12)으로 입력된다. 하나 프레임는 t-1 시간에서 이전 프레임으로부터 필터의 출력

을 가지고 있는다. 가중치

와 대응되는 프레임인 다른 프레임은 시간적 노이즈 감소의 마지막 반복(iteration) 내에서 평가된다. 초기에는, 초기 가중치 프레임

는 0으로 설정된다. 입력 버퍼(미도시)는 픽셀 강도들이 더 이상 필요하지 않을 때까지, 현재 프레임의 픽셀 강도들을 가지고 있는다.

도 1b의 적응적인 시간적 노이즈 감소 시스템은 도 2의 부차적 시스템을 포함한다. 각각의 구성들은 움직임 감지 블록(motion detection block)(22), 움직임 측정 블록(motion estimation block)(24), 움직임 보상 블록(motion compensation block)(26), 및 노이즈 적응적 필터링 블록(noise adaptive filtering block)(28)로 분리되어 있다. 움직임 감지 블록 및 움직임 보상 블록은 모두 필터링되지 않은 현재의 프레임

및 필터링되고 버퍼링 된 프레임

를 받는다. 움직임 감지 블록(22)는 필터링 된 이전 프레임

과 현재 프레임

사이의 움직임 진폭(magnitude)을 결정한다. 관련된 메트릭(metric)은 움직임이 없는 것으로 가정한다.

도 3에 도시된 바와 같이, 상기 두 개의 프레임들 사이의 차이 절대 값(absolute value of the difference)은 얻어지며, 그리고 나서 H x W 크기의 평균 필터는 움직임 감지 메트릭 md를 산출하기 위하여 적용된다. 여기서, md는 이하의 수학식 1b에 의하여 결정된다.

여기서, H 와 W는 높이 및 폭으로써 미리 정해진 값이 된다.

md의 품질은 현재 프레임에서의 픽셀 강도 및 노이즈 감소된 이전 프레임에서와 같은 위치의 픽셀간의 차이의 합산된 절대 값이다. 여기서 이전 프레임이란 상기 픽셀의 정방형 이웃을 넘어 평균된 값이다.

움직임 측정은 현재 프레임

의 각각의 장방형 블록(rectangular block)의 움직임 벡터

를 얻는 데에 적용된다. 전체적인 이미지는 서로 다른 겹쳐지지 않는(non-overlapping) 장방형 블록들에 나뉘어지고, 각각의 블록들 내의 모든 픽셀은 단일 움직임 벡터(single motion vector)를 공유한다. 각각의 블록에 있어서, 움직임 벡터는 다음에 의하여 계산된다.

움직임 벡터는 움직임 보상 블록으로 피드백되어 입력된다. 움직임 감지(motion detection)와 같이, 움직임 보상 값 mc는 두 개의 블록들 사이의 유사성 정도가 움직임 벡터 mv에 의하여 야기되는지를 가리킨다. mc의 품질은 이하의 수학식 3에 따라 결정된다.

측정된 노이즈 분산

, 현재 프레임

, 이전에 필터링 된 프레임

, 및 버퍼링 된 가중치 프레임

과 함께, 움직임 감지와 움직임 보상 값은 그리고 나서 적응적 필터링 블록(adaptive filtering block)(28)으로 피드백되어 입력된다.

도 2의 움직임 감지부(22)는 움직임 측정부(24) 및 움직임 보상 부(26)에서와 같이, 입력으로써 현재 프레임

와 프레임

를 입력 받는다. 노이즈 적응적 필터(28)은 md, mv, mc,

,

및

에 근거하여

및 가중치

를 출력한다.

도 3은 움직임 감지부(22)의 구체적인 구성을 나타내는 도면이다. 도 3의 움직임 감지부(22)는 합산부(34), 절대 값 동작부(34), 및 적분 노드(differencing node)와 함께 수학식 (1)에 의하여 도식으로 나타내져 있다.

움직임 감지 및 움직임 보상 값이 계산된 후에, 노이즈 적응적 필터링은 출력 프레임 및 가중치 프레임을 얻는 데에 적용된다. 노이즈 적응적 필터링 블록(28)의 자세한 설명은 도 4b에 도시되어 있다.

도 4a에서의 데이터의 흐름(4)은 현재 픽셀의 노이즈 레벨이 영상에 영향을 미칠지 여부의 식별자인 확률

의 계산을 보여준다. 상기확률 값의 범위는 0부터 1값이 된다. 그리고, 확률

는 두 개의 확률

와

의 곱(product)이 된다. 확률

은 이웃영역(neighborhood)이 앰플리튜드에 있어서 분명한 분산을 갖는지 여부를 가리킨다. 반면에 확률

는 국부적 영상의 분산과 관련된다.

확률

을 계산하기 위하여, 픽셀의 중심 된 국부적 영역 내의 peak들과 valley들이 41 블록 내에서 산출된다. 만약 그것들의 강도 값이 둘러싸고 있는 모 든 픽셀들의 것보다 작으면, 그것은 valley 로써 산출된다. 노이즈 측정부(41)에서의 hill 들과 valley 들의 계산(computation)은, 영상 영역이 분명한 추가적인 노이즈에 의하여 영향받을 때, 노이즈 파워와 관련된 강도에 있어서의 분명한 앰플리튜드 분산을 만들어내는 노이즈의 고 주파수 성분의 관찰에 근거한다. 그러나, 이러한 분산의 일 부분은 비디오 강도에 있어서 국부적 평균 분산 때문에 발생한다. 이러한 양은 비디오 강도의 표준 편차(standard deviation)

를 측정하는 것에 의하여 분별적으로 예측된다.

도 4a에 있어서, 이러한 양은

로 변환될 수 있다. 확률적인 것은 비디오의 표준 편차가 예측된 노이즈 분산보다 작거나 같은 것으로 측정된다. 실험적으로 추출된 값과 확률들

와

값 사이의 관계는 시뮬레이션을 통하여 발견된다. Peak 들과 valley 들의 계수는 n 값을 얻기 위하여 계수된다. 그리고, 그것은 확률

을 얻기 위하여 소프트 스위칭된다. 소프트 스위칭(soft switching) 블록은 동일한 함수적 형태를 가진다. 소프트 스위칭은 네 개의 변수들 v1, v2, Th1, Th2 에 의하여 정의된다.

출력은 도 5에 도시된 모델에 의하여 계산된다. 본 발명에 따른 일 실시예에 있어서, 5 x 5 이웃영역은 peak와 valley 들을 카운팅하기 위하여 이용된다.

을 카운트하는 Peak/valley과 관련된 소프트 스위칭 동작부(42)의 동작을 정의하는 파라미터들은 v1=0.0, v2=1.0, Th1=3, Th2=12 이다.

확률

를 계산하기 위하여, 강도의 국부 표준 편차

는 블록 43에서 첫번 째로 평가되고, 확률 값

를 위해 블록 44 내에서 소프트 스위칭된다.

본 발명의 다른 실시예에 있어서, v1=1.0, v2+0.0, Th1=

, Th2=

이 이용된다. 여기서, a,및 b는 조절될 수 있다. 노이즈 확률

는 이하의 수학식 4에 의하여 계산된다.

도 4b는 노이즈 적응적 필터링의 동작을 설명한다.

현재의 강도

, 이전에 필터링 된 강도

, 및 버퍼링된 가중치

와 함께, 움직임 감지 식별자 md는 움직임 적응된 필터링 된 값(motion adaptive filtered value)

, 움직임 값지 가중치

, 및 비율

를 얻기 위하여, 움직임 적응적 필터(45)에 피드백 입력된다. 유사하게, 움직임 벡터 식별자 mv, 현재 강도

, 이전에 필터링 된 강도

, 및 버퍼링된 가중치

와 함께, 움직임 보상 식별자 mc는 움직임 적응적 필터링 된

, 움직임 감지 가중치

, 및 비율 프레임

를 얻기 위하여, 움직임 적응적 필터(46)에 피드백 입력한다. 이들의 양들 각각은 픽셀들이 정의되는 위치 좌표 (x,y)에서의 값을 갖는다. 적응적 결합기(adaptive combiner)(47)는 새로운 필터 값

및 가중치

와 연관된 값을 산출한다. 적응적 제한기(adaptive limiter)(48)는

가 문턱값을 넘어설 때 일정 한계 범위 내의 값을 갖도록

의 변화를 제한한다.

움직임 적응적 필터링 블록은 도 6에 자세하게 도시되어 있다. Md 가 작은 값을 가질 때, (x,y)에서의 현재 프레임 값과 같은 위치에서의 필터링 된 프레임 값 사이에 큰 값의 유사성(similarity)을 갖는다. 이러한 유사성의 측정도인

를 계산하는데 있어서 이러한 유사성이 이용된다. 움직임 감지 값 md 는 비율 값

및 가중치 값

를 각각 얻기 위하여, 도 6의 62 및 64 블록 내에서 제일 먼저 소프트 스위칭된다. 비율

를 얻기 위하여, 본 발명에 따른 일 실시예에서는, 스위치 파라미터들은 v1 = 1.0, v2 = 0.0, 그리고 노이즈 분산

와 관련된 두 개의 문턱값들은 Th1 = 1.5

, Th2 = 3.0

로 설정된다.

가중치 값

를 얻기 위하여, 이전의 가중치 프레임

는 v1 및 v2 가 모두 0 값을 같을 때 이용된다. 두 개의 문턱값들은

를 계산하는 것에서 이용되었던 값과 같은 값으로 설정된다. 계산된 가중치

는 현재 강도

및 이전에 필터링 된 강도

로부터 새로운 강도 값

를 얻기 위하여, 가중치 평균 부(weight averaging unit)(66)내에서 이용된다. 이러한 가중치 평균 블록은 하나의 가중치 및 두 개의 입력들을 갖고, 가중치를 평균하는 일을 수행한다. 상기 동작은 이하에서 정의된다. 입력은 I,

, 및 가중치

를 갖고, 출력은

로 이하와 같이 주어진다.

움직임 보상된 필터링은 도 7에서 도시되어 있는 것과 같은 움직임 적응적 필터링과 매우 유사하다.

및

를 형성하기 위하여 mc 상에서 동작하는 소프트 스위칭 동작 블록들(62, 64),

, 및

를 형성하는데 이용하는 것들로부터 변화되지 않는다. 필터들의 두 가지 형태 간의 차이는 단지 움직임 벡터 mv 가 76 블록 내의 가중치 평균에서의 입력 내에 포함된다는 것이다. 픽셀 I(x,y) 및 움직임 벡터

에 대하여, 출력

는 이하와 같이 계산된다.

- 적응적 결합(adaptive combining)

움직임 적응적 값(motion adaptive value)

, 움직임 보상된 값

, 및 그들에 각각 대응되는 비율 및 가중치는 노이즈의 예측된 확률을 이용하여 적응적으로 결합된다. 도 1d의 131 블록의 구체적인 다이어그램이 도 8a 에 도시된다. 가중치 평균 파라미터

는

에 의하여 계산된다. 여기서,

,

, 및

는 각각 810, 815, 및 820 블록 각각 내에서

, md 및 mc 로부터 소프트 스위칭 된다. 본 발명의 일 실시예에서는, 이하와 같이 설정된다.

v1=0.0, v2=1.0, Th1=0.75, Th2=1.0 은

을 찾기 위하여 생성된다.

v1=1.0, v2=0.0, Th1=0.0, Th2+0.5 는

를 찾기 위하여 생성된다. 그리고,

v1=1.0, v2=0.0, Th1=t1

md, Th2=t2

md 는

에 대하여, t1 및 t2가 조절된다.

가중치 평균 파라미터

와 함께,

도 8b, 및 도 8c 내의 블록 825, 830, 835에서 도시된 바와 같이, 상기의 수학식 7, 8, 9에서와 같은 값을 갖는다. 나아가, 출력

는 결과

의 가중된 평균 및 현재 프레임

로써 840 블록에서 발견된다.

계산된 가중치 프레임

는 최종 가중치 프레임

를 얻기 위하여, 미리 정해진 최대 값

에 의하여 845 블록 내에서 제한된다. 본 발명의 일 실시예에서 는 최대 가중치 값

를 8로 설정한다.

본 발명에서의 마지막 단계는 움직임 적응적 필터링 및 움직임 보상된 필터링에 근거하는 가중치 평균 프레임

를 계산하는 것에서의 노이즈 적응적 제한(noise adaptive limitation)을 포함한다.

자세한 동작은 도 9에서 도시된다.

노이즈 확률

는 제한 값 L을 얻기 위하여, 블록 93 내에서 소프트 스위칭 된다. 여기서, 제한된 값 L은 본래의 프레임

주변의 범위를 정의한다. 마지막 출력

은 그리고 나서 이하의 수학식으로써 제한부(97)에서 계산된다.

여기서,

본 발명에 따른 일 실시예에서는, 소프트 스위칭

에서의 파라미터들은 v1=1.0, v2=8.0, Th1=0.25, Th2=0.75로 설정된다.

도 1c는 시스템 160으로서의 데이터 플로우 형태 내에서의 시간적 노이즈 감소 필터의 동작을 요약한다. 비디오의 새로운 프레임은 개별적으로 구별되는 형태를 갖는 픽셀들로 되는 현재에 고려되는 픽셀을 포함하는 픽셀들의 블록과 마지막으로 필터링 된 프레임 내의 블록 사이의 유사성을 측정하는 메트릭(metric) md 를 형성하기 위하여 노이즈 원(noisy source) 및 처리된 픽셀(processed pixel)로부터 선택되어진다. 현재 프레임으로부터의 블록과 마지막 필터링 된 프레임 내의 보상된 유사한 메트릭 사이의 차이를 측정하는 mc 메트릭은 추정부(estimator)(105) 내에서 발견된다. 추정부(105)는 103의 추정부와 그들의 하드웨어를 공유한다. 새로운 데이터는 peaks/valleys의 계수부(107) 내에서 수집된다. 그리고, 국부 표준 편차

의 추정부(109) 내에서 수집된다.

이러한 데이터는 md를

를 변환하는 소프트 스위치(111), md를

로 변환하는 소프트 스위치(113), 및 md를

로 변환하는 소프트 스위치(115) 내에서 소프트 스위칭 된다. 유사한 절차에 있어서, 소프트 스위치(117)은 mc는

로, 소프트 스위치(119)는 mc를

로, 소프트 스위치(121)은 mc를

로 각각 변환한다. Peaks/valleys 카운터(107)는 123 블록 내에서 P1으로 소프트 스위칭 된다. 국부 표준 편차

는 125 내에서 P2으로 소프트 스위칭 된다.

도 1c는 시스템 160으로서의 데이터 플로우 형태 내에서의 시간적 노이즈 감소 필터의 동작을 요약한다. 비디오의 새로운 프레임은 개별적으로 구별되는 형태를 갖는 픽셀들로 되는 현재에 고려되는 픽셀을 포함하는 픽셀들의 블록과 마지막으로 필터링 된 프레임 내의 블록 사이의 유사성을 측정하는 메트릭(metric) md 를 형성하기 위하여 노이즈 원(noisy source) 및 처리된 픽셀(processed pixel)로부터 선택되어진다. 현재 프레임으로부터의 블록과 마지막 필터링 된 프레임 내의 보상된 유사한 메트릭 사이의 차이를 측정하는 mc 메트릭은 추정부(estimator)(105) 내 에서 발견된다. 추정부(105)는 103의 추정부와 그들의 하드웨어를 공유한다. 새로운 데이터는 peaks/valleys의 계수부(107) 내에서 수집된다. 그리고, 국부 표준 편차

의 추정부(109) 내에서 수집된다.

이러한 데이터는 md를

를 변환하는 소프트 스위치(111), md를

로 변환하는 소프트 스위치(113), 및 md를

로, 소프트 스위치(119)는 mc를

로, 소프트 스위치(121)은 mc를

는 125 내에서 P2으로 소프트 스위칭 된다.

두 개의 확률적 유사 횟수(probability-like number)들은

를 계산하기 위하여 멀티플라이어(127) 내에서 서로 곱해진다.

의 양은 그러고 나서,

의 값을 결정하기 위하여 129 블록 내에서 소프트 스위칭 된다. 그리고,

의 양은 제한부(151)에 이용되는 제한 값 L을 평가하기 위하여 133 블록 내에서 소프트 스위칭 되다.

의 서로 다른 두 요소들은 111 및 121 블록들 각각 으로부터 수집된다.

의 값은 131 단계에서 평가되다. 이 횟수 및 그것의 메이트(1-

)는 147 및 141 블록 내의 가중치들로써 이용되다. 픽셀 값들의 가중된 평균들의 시리즈는 145, 143, 147, 및 149 내에서 계산된다. 본원의 아이디어는 필터의 출력을 형성하는 데 있어서 유사하게 동일하도록 매우 높게 연관된 것으로 나타나는 시-분산된(time-displaced) 픽셀들의 가중치가 된다. 연관도(correlation)가 낮은 것으 로 나타날 때, 필터의 출력은 현재의 프레임으로부터 상기 해당 픽셀을 부여 받아야만 한다. 143 블록에 있어서, 움직임 보상된 값

은

에 의하여 사용되어지고 지정되어진다.

블록 18과 같이 도 1b에서 본 발명의 가능한 실시예가 묘사된다. 프레임 버퍼의 형태를 갖는 메모리는 14 및 16 블록 내에서 공급된다. 필터는 현재 프레임에서의 저장공간을 필요로 한다. 즉,

(미도시)를 저장하기 위한 입력 버퍼,

를 저장하기 위한 프레임 버퍼의 저장공간, 및 현재의 프래임에 후속되는 필터링 된 프레임을 계산하기 위하여 필요한 가중치인

를 저장하기 위한 저장공간을 필요로 한다. 필터를 작동하는 하나의 방법은 완성된 현재 프레임을 인가받는 것 하에서 (x,y) 값 각각에서의 mc 및 md 를 계산하고 저장하고는 것이다. 그리고 나서,

의 후에, 시간 t 및 위치 (x,y) 에서의 필터의 출력이 계산되어 지고, 그것은 x,y에서의 현재 프레임의 강도

를 대신하여 이용된다. 이와 같이,

는

를 대신하여 이용될 수 있다.

본원의 도면에서는 계속적인 과정으로 동작되는 경우를 도시하였으나, 이러한 동작들은 병렬적으로 또는 동시적으로 이뤄질 수 있다. 도한, 추가적으로 동작의 단계는 재정렬될 수 있다. 프로세스는 그들의 모든 동작이 완성되면 종료된다.

또한, 상술한 장치의 동작이 영향을 받지 않는 범위 내에서, 하나 또는 그 이상의 구성 요소들이 결합될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

본 발명에 따른 방법 및 장치는 하드웨어, 프로세서에 의하여 실행되는 소프트웨어 모듈, 또는 그들의 결합 장치에 이용될 수 있다. 본 발명에 따른 방법 또는 장치를 이용하는 소프트웨어 모듈은 RAM 메모리, 플레쉬 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 소거가능 디스크, CD-ROM, 또는 그 외의 어떠한 저장 매체의 형태 장치에 탑재되어 이용될 수 있다.

추가로, 상술된 본 발명에 따른 장치 및 방법 발명은 다양한 목적의 프로세서, 디지털 신호 처리장치(DSP), ASIC, FPGA(field programmable gate array), 또는 프로그램이 가능한 회로 장치 등에 연결되어 이용될 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1a는 노이즈 감소 필터가 적용되는 텔레비전 수신기의 블록 다이어그램을 나타내는 도면이다.

도 1b는 두 개의 프레임 버퍼와 현재 비디오 프레임의 조이즈 감소된 버전을 발생시키기 위한 회로구성을 갖는 노이즈 감소 필터의 구성 및 비디오에서의 노이즈를 제거하는 시간적 필터의 하드웨어 실현장치의 일 실시예를 나타내는 도면이다.

도 1c는 적응적인 시간적 감소 필터의 계산 구조의 블록 다이어그램의 상부를 상세히 나타내는 도면이다.

도 1d는 적응적인 시간적 감소 필터의 계산 구조의 블록 다이어그램의 하부를 상세히 나타내는 도면이다.

도 2는 시스템의 입 출력 변수들을 설명하는 데이터 다이어그램 및 움직임 감지, 움직임 예측, 움직임 보상, 및 노이즈 감소 필터 내의 노이즈 적응적 필터일 블록의 응용 및 도 1b의 적응적인 시간적 노이즈 감소 블록의 하드웨어 구조를 나타내는 도면이다.

도 3은 도 2의 움직임 감지 블록의 데이터 흐름 다이어그램을 나타내는 도면이다.

도 4a는 노이즈 적응적 필터링에서 필요로 하는 노이즈 확률의 계산을 설명하는 플로우 차트이다.

도 4b는 도 4a의 노이즈 계산 블록의 결화를 전송받는 노이즈 적응적 필터링 블록을 설명하는 블록 다이어그램이다.

도 5는 함수적 의존관계를 표현하기 위하여 본 시스템에서 이용하는 소프트 스위칭의 정의 커브를 나타내는 도면이다.

도 6은 도 4b의 움직임 적응적 필터일 블록의 확장된 측면을 나타내는 도면이다.

도 7은 움직임 보상 메트릭 및 움직임 벡터의 소프트 스위칭에 근거하는 도 4b의 움직임 보상된 필터링 블록의 블록 다이어그램을 나타내는 도면이다.

도 8a는

의 계산, 노이즈 확률로부터 계산되는 평균에 이용되는 중요한 가중치, 움직임 감지 값, 및 움직임 보상 값을 설명하기 위한 데이터 흐름의 다이어그램을 나타내는 도면이다.

도 8b는 움직임 감지 및 움직임 보상의 결과로부터 결합된 프레임을 얻기 위한 가중치 평균에 있어서

의 이용을 설명하는 도면이다.

도 8c는 현재 프레임을 넘어서는 프레임으로부터 노이즈를 필터링하는데 이용되는 가중치의 발생을 설명하는 도면이다.

도 9는 노이즈있는 필터링되지 않는 값으로부터의 필터링된 이미지 강도의 진폭을 제한하는데 이용되는 노이즈 확률로부터 추출된 제한 값을 가지는 적응적 제한(adaptive limiting)을 나타내는 도면이다.

**도면의 주요부분에 대한 부호의 설명**

1: 안테나 or 아날로그 케이블 소스(antenna or analog cable source)

2: 광대역 증폭기(broadband amplifier)

3: 튜너(tuner)

4: 감지부 및 이득부(detector & gaim)

5: 노이즈 감소 필터(noise reduction filter)

6: 표준 변환부(standards conversion)

7: 디스플레이 시스템(display system)

12: 적응적인 시간적 노이즈 감소 필터(adaptive temporal noise reduction)

14: 프레임 버퍼(frame buffer)

16: 프레임 버퍼(frame buffer)

101: (x,y) 픽셀 에서의 필터링 시작(start of filtering pixel at (x,y))

103: md 결정(determine md)

105: mv, mc 결정(determine mv, mc)

107: peaks/valleys 계수(count peaks/valleys)

109: 국부

의 측정(measure local

)

111, 113, 115, 117, 119, 121, 123, 125 : 소프트 스위치(soft-switch)

127: 곱셈기(multiply)

141: 가중된 평균(weighted average)

129: 소프트 스위치(soft-switch)

131:

계산(compute

)

133: 소프트 스위치(soft-switch)

143, 145, 147, 149, 155: 가중된 평균(weighted average)

151: 제한부(limiter)

153: 가중치 제한부(weight limiter)

22: 움직임 감지(motion detection)

24: 움직임 예측(motion estimation)

32: 절대값 부(Abs)

34: 평균 필터 (H x W) (averaging filter (H x W))

36: 합산기

41: 국부 이웃영역의 peaks/valleys 를 카운팅(counting peaks and valleys in local neighborhood)

42: 소프트 스위칭(soft switching)

43: 국부 분산(local variance)

44: 소프트 스위칭(soft switching)

45: 움직임 적응적 필터(motion adaptive filter)

46: 움직임 보상된 필터(motion compensated filter)

47: 적응적 결합(adaptive combining)

48: 적응적 제한(adaptive limiting)

62, 64: 소프트 스위칭(soft switching)

66: 가중된 평균(weighted averaging)

72, 76: 소프트 스위칭(soft switching)

78: 가중된 평균(weighted averaging)

810, 815, 820: 소프트 스위칭(soft switching)

825, 830, 840: 가중된 평균(weighted averaging)

835: 가중된 평균(weighted averaging)

845: 제한부(limiting)

93: 소프트 스위칭(soft switching)

97: 제한부(limiting)

Claims

다수개의 연속하는 비디오 프레임들에서의 노이즈를 시간적으로 필터링하는 방법에 있어서,

위치 (x,y) 에서의 강도
를 갖는 현재 프레임으로부터 제1 픽셀을 선택하는 단계;

상기 현재 프레임에 곧바로 선행되는 필터링 된 프레임 내의 (x,y)에서의 제2 픽셀을 선택하는 단계;

상기 제1 픽셀을 포함하는 이웃영역과 시간상의 상기 제1 프레임에 곧바로 선행되는 필터링 된 프레임 내에 있어서 유사하게 형성된 이웃 영역 사이의 근사한 매치를 제공하는 움직임 벡터
를 결정하는 단계;

상기 움직임 벡터의 크기 및 방향만큼, 상기 제2 픽셀로부터 떨어진 위치에서의 제3 픽셀의 강도를 결정하는 단계; 및

상기 제1 픽셀, 상기 제2 픽셀, 및 상기 제3 픽셀 각각의 세 개의 강도 값들의 합의 평균된 가중치가 되는 위치 (x,y)에서의 시간적 필터의 출력을 계산하는 단계를 구비하며,

상기 필터링 된 제2 픽셀은
로 표시되는 강도를 가지며,

상기 현재 프레임에 곧바로 선행되는 필터링 된 프레임 내에 있어서 상기 위치는
이 되며, 상기 강도는
로 표시되는 것을 특징 으로 하는 시간적으로 노이즈를 필터링하는 방법.
제1항에 있어서,

상기 제1 픽셀의 이웃영역과 상기 제2 픽셀의 동일하게 설정된 이웃영역 사이의 상대적 움직임을 나타내는 메트릭 md가 결정되는 단계를 더 구비하는 것 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제1항에 있어서, 상기 제1 픽셀의 이웃과 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임 내에 있어서 동일하게 배열된 움직임 보상된 이웃영역 사이의 일치 정도를 나타내는 메트릭 mc를 결정하는 단계를 더 구비하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제1항에 있어서, 수량
의 두 요소
과
를 준비하는 단계를 더 구비하며,

상기
은 상기 현재 프레임 내의 선택된 상기 제1 픽셀의 국부 이웃영역 내에서의 강도의 피크(peak)와 벨리(valley)들을 계수하는 것에 의하여 구해지며, 그 결과를 소프트 스위칭하며,

상기
는 상기 픽셀의 강도의 국부 표준 편차를 계산하는 것에 의하여 구해지며, 그 결과를 소프트 스위칭하며,

상기
은 상기
과
의 곱과 같은 값을 갖는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제1항에 있어서, 상기
,
, 및
에 적용되는 상기 가중치들은 상기 제1 픽셀의 이웃영역과 상기 제2 픽셀의 동일하게 설정된 이웃영역 사이의 상대적 움직임을 나타내는 메트릭 md, 상기 제1 픽셀의 이웃과 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임 내에 있어서 동일하게 배열된 움직임 보상된 이웃영역 사이의 일치 정도를 나타내는 메트릭 mc, 및 수량
에 근거하는 값임을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제1항에 있어서, 상기 필터링 방법은

상기 노이즈와 관련된 확률에 근거하여 한계 L 값을 평가하는 단계;

이 상기 L 보다 크기 않으면, 필터의 출력이 상기
이 되도록 선택하는 단계; 및

+L, 또는
-L 값 중 상기
에 가까운 값에 의존하여 어느 하나를 필터의 출력으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제1항에 있어서, 평균된 합의 가중치를 계산하는 것은

(x,y)를 얻기 위하여, 상기 제1 픽셀의 이웃영역과 상기 제2 픽셀의 동일하게 설정된 이웃영역 사이의 상대적 움직임을 나타내는 메트릭 md로부터 추출된 가중치들을 이용하여 상기
와
를 결합하는 단계;

(x,y)를 얻기 위하여, 상기 제1 픽셀의 이웃과 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임 내에 있어서 동일하게 배열된 움직임 보상된 이웃영역 사이의 일치 정도를 나타내는 메트릭 mc로부터 추출된 가중치들을 이용하여
와
를 결합하는 단계;

(x, y)를 얻기 위하여, 상기 mc, md, 및 수량
로부터 추출된 가중치를 이용하여
(x,y)와
(x,y)를 결합하는 단계;

를 얻기 위하여, 상기 측정된 값들인 mc, md, 및
로부터 추출된 가중치를 이용하여
와
(x, y)를 결합하는 단계; 및

상기
로부터 추출된 한계값에 의존하여
의 제한된 버전의 앰플리튜드 또는
를 선택하는 단계를 더 구비하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제7항에 있어서,

상기 현재 프레임으로부터의 상기 제1 픽셀과 상기 필터링 된 제2 프레임으로부터의 상기 제2 픽셀의 가중된 평균을 형성하기 위하여 이용되는 상기 가중치는 상기 md를
을 형성하기 위한 소프트 스위쳐에 통과시키는 것에 의하여 구해지는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제8항에 있어서,

상기 현재 프레임으로부터의 상기 제1 픽셀과 상기 필터링 된 제2 프레임으 로부터의 상기 제3 픽셀의 가중된 평균을 형성하기 위하여 이용되는 상기 가중치는 상기 mc를
를 형성하기 위한 소프트 스위쳐에 통과시키는 것에 의하여 구해지는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제9항에 있어서, 상기 픽셀 강도
(x,y)와
(x,y)를 평균하는 것은 이하의 가중치
의 세 가지 구성요소를 구하는 단계를 포함하며,

상기
의 세 가지 구성요소는

상기 을 소프트 스위쳐에 통과시키는 것에 의하여 구해지는 가중치
;

상기 md를 소프트 스위쳐에 입력하는 것에 의하여 구해지는 가중치
;

상기 mc를 소프트 스위쳐에 통과시키는 것에 의하여 구해지는 가중치
; 및

상기
는
의 수학식에 의하여 정의되는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제10항에 있어서,

상기
(x,y)와
(x,y)를 평균하기 위하여 이용되는 가중치는
인 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제11항에 있어서,

상기 필터링 방법은

비율
및 가중치
를 구하는 단계를 더 포함하며,

상기
는

md를 소프트 스위칭 하는 것에 의하여 구해지며,

상기
는

md를 소프트 스위칭 하는 것에 의하여 구해지며,

를 형성하는 소프트 스위칭은 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임을 형성하는데 있어서 결정된 가중치에 근거하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제12항에 있어서,

상기 필터링 방법은

비율
및 가중치
를 구하는 단계를 더 포함하며,

상기
는

상기 mc를 소프트 스위칭하는 것에 의하여 구해지며,

상기
는

상기 mc를 소프트 스위칭하는 것에 의하여 구해지며,

상기
를 형성하는 소프트 스위칭은 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임을 형성하는 데 있어서 구해지는 가중치에 근거하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제13항에 있어서, 상기 필터링 방법은

가중치로써 상기
를 이용하여
및
를 평균한 가중치에 의하여 구해지는 가중치
를 구하는 단계를 더 포함하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제14항에 있어서,
및
의 가중된 평균으로써 계산되는 가중치 양
는

좌표 x,y, 및 t와 결합된 최종 가중치
를 형성하기 위하여, 최대 값으로 제한되는 가중치로써 상기
를 이용하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제15항에 있어서, 상기
는

(x,y,t+1)에서의 픽셀을 필터링하는 이용되는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
제16항에 있어서, 상기 필터의 출력
의 예비적 버전은

가중치
및 (1-
)에 근거한
와
의 가중된 평균으로써 형성되는 것 을 특징으로 하는 시간적인 노이즈를 필터링하는 방법.
다수개의 비디오 프레임들로부터의 노이즈를 필터링하는 시스템에 있어서,

현재 필터링 된 프레임의 필터링 된 픽셀들을 형성하기 위하여, 상기 현재 프레임 및 상기 현재 프레임에 곧바로 선행하는 필터링 된 프레임에 근거하여 움직임 감지 및 움직임 보상 메트릭들을 이용하도록 구성된 적응적인 시간적 노이즈 감소 블록을 포함하며,

상기 적응적인 시간적 노이즈 감소 블록은

상기 현재 프레임 내의 상기 픽셀을 포함하는 영역과 상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임 내의 동일한 방식으로 설정된 영역 사이의 상대 움직임을 감지하도록 동작하고, 상기 움직임을 가리키는 메트릭인 md를 발생시키는 움직임 감지 블록;

상기 현재 프레임 내의 상기 픽셀을 포함하는 영역과 곧바로 선행되는 상기 필터링 된 프레임 내의 유사하게 설정된 영역 사이의 상대적 자리(relative displacement)를 가리키는 움직임 벡터 mv를 찾도록 동작하는 움직임 추정 블록;

상기 현재 프레임 내의 상기 픽셀을 포함하는 영역과 상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임 내의 유사하게 설정된 움직임 보상된 영역 사이의 일치 정도를 가리키는 메트릭인 mc를 계산하도록 동작하는 움직임 보상 블록; 및

입력으로써 상기 md, mv, 및 mc를 전송받는 노이즈 적응적 필터링 블록을 구비하며,

상기 노이즈 적응적 필터링 블록은 세가지 버퍼들로부터의 입력 값인 상기 선택된 픽셀의 이웃영역 내에서의 상기 노이즈의 분산의 측정 량을 인가 받고, 상기 제2 프레임 버퍼 내에 저장된 상기 가중치 값을 계산하도록 동작하고, 그리고 상기 현재 필터링 된 프레임을 구성하는 필터링 된 픽셀들을 형성하기 위하여 상기 계산된 값들을 독출하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 시스템.
제18항에 있어서, 상기 시스템은

상기 현재 프레임으로부터 선택된 상기 픽셀의 비디오 강도를 제공하도록 하는 버퍼;

상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임으로부터 적어도 하나 이상의 픽셀의 비디오 강도를 제공하도록 하는 제1 프레임 버퍼; 및

상기 현재 프레임에 곧바로 선행되는 상기 필터링 된 프레임에 있어서 계산된 가중치를 저장하고, 상기 저장된 가중치를 상기 현재 프레임의 필터링에 제공하는 제2 프레임 버퍼를 더 구비하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 시스템.
삭제
제19항에 있어서, 상기 노이즈 적응적 필터링 블록에 의하여 처리되는 입력들은

상기 버퍼로부터의 상기 픽셀의 강도 값;

상기 제1 버퍼로부터의 두 개의 픽셀 강도들;

상기 제2 버퍼로부터의 상기 가중치 값; 및

상기 픽셀의 이웃영역 내의 노이즈 분산 값을 더 포함하는 것을 특징으로 하는 시간적인 노이즈를 필터링하는 시스템.