KR100739753B1 - 양방향 시간적 잡음 제거 방법 및 장치 - Google Patents

양방향 시간적 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR100739753B1
KR100739753B1 KR1020050106014A KR20050106014A KR100739753B1 KR 100739753 B1 KR100739753 B1 KR 100739753B1 KR 1020050106014 A KR1020050106014 A KR 1020050106014A KR 20050106014 A KR20050106014 A KR 20050106014A KR 100739753 B1 KR100739753 B1 KR 100739753B1
Authority
KR
South Korea
Prior art keywords
frames
noise
temporal
motion
frame
Prior art date
Application number
KR1020050106014A
Other languages
English (en)
Other versions
KR20060110728A (ko
Inventor
지 쥬
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060110728A publication Critical patent/KR20060110728A/ko
Application granted granted Critical
Publication of KR100739753B1 publication Critical patent/KR100739753B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

비디오 신호 처리 시스템에 있어서 양방향 시간적 잡음 제거 방법이 제공된다. 프레임들의 비디오 시퀀스를 포함하는 비디오 신호가 수신된다. 후방 시간적 잡음 제거는 후방 잡음이 제거된 프레임들을 얻기 위하여 프레임들의 시퀀스에 대해 수행된다. 그 다음에, 전방 시간적 잡음 제거는 상기 프레임들의 비디오 시퀀스에 있는 잡음을 제거하기 위하여 상기 후방 잡음이 제거된 프레임들에 대해 수행된다.

Description

양방향 시간적 잡음 제거 방법 및 장치{Method and apparatus of bidirectional temporal noise reduction}
도 1은 후방(backward) 잡음 제거에 있어서 테일링 효과(tailing effect)들의 도식적인 설명 예를 보여준다.
도 2는 본 발명에 따른 양방향 시간적 잡음 제거 시스템의 일 실시예에 대한 블록도를 보여준다.
도 3a는 본 발명에 따른 후방(backward) 시간적 잡음 제거기의 일 실시예의 블록도를 보여준다.
도 3b은 본 발명에 따른 전방(forward) 시간적 잡음 제거기의 일 실시예의 블록도를 보여준다.
도 4a내지 4f는 본 발명에 따른 움직임 결정 신호 계산을 위한 잡음-적응적인 임계값(threshold) 함수의 예들을 보여준다.
도 5는 본 발명에 따른 움직임 검출 계산기의 일 실시예의 블록도를 보여준다.
도 6은 본 발명에 따른 움직임 정보의 예들을 보여준다.
본 발명은 일반적으로 비디오 처리에 관한 것이며, 특히 비디오 시퀀스들에서 잡음 제거에 관한 것이다.
TV 세트(set)들과 같은 많은 비디오 화면 표시 장치 시스템들에 있어서, 잡음 제거에 의한 비디오 개선은 화면 표시를 위한 잡음이 없는 비디오 시퀀스들을 얻기 위하여 수행된다. 다양한 잡음 제거 방법들이 개발되어 왔지만, 이러한 방법들이 비디오 프레임들에 원하지 않은 아티팩트(artifact)들을 끌어들이기 때문에 극소수만이 실 생산품들에서 이용된다. 대부분의 종래의 잡음 제거 방법들은 공간적 (2D) 잡음 제거, 시간적 잡음 제거, 및 3D 잡음 제거 즉, 2D와 시간적 잡음 제거의 조합인 세 부류들로 분류될 수 있다.
공간적 잡음 제거는 작은 국부적 윈도우(window)를 가진 필터를 현재 비디오 프레임의 모든 픽셀들에 적용한다. 이러한 필터는 일반적으로 커널(kernel)에 기초하는 컨벌류션 필터(convolution filter)로 여겨진다. 이러한 필터의 예들은 평균 필터(mean filter), 가우시안 필터(Gaussian filter), 미디언 필터(median filter) 및 시그마 필터(sigma filter)이다. 평균 필터는 작은 국부적 윈도우의 평균이 필터된 결과로서 계산되는, 이미지들을 매끈하게 하고 잡음을 제거하는 가장 단순하고, 직관적인 방법이다. 일반적으로 구현을 단순화하는 3x3 정방 커널(square kernel)이 사용된다. 그러나, 평균 필터는 이미지들의 심각한 블러링(blurring)을 야기시킨다.
시간적 잡음 제거는 우선 현재 비디오 프레임과 그와 이웃하는 프레임들 사 이에서의 움직임 정보를 조사한다. 이는 픽셀들을 움직임 영역과 비-움직임 영역으로 분류한다. 비-움직임 영역에서는, 시간 축을 따라 현재 프레임과 그와 이웃하는 프레임들에 있는 픽셀들에 대해 필터가 적용된다. 움직임 영역에서는, 시간적 필터는 움직임 블러링을 피하기 위하여 스위치가 꺼진다. 일반적으로, 시간적 잡음 제거는 공간적 잡음 제거보다 세부(detail)들을 유지하고 에지(edge)들을 보존하는데에 더 낫다. 그러나, 기존의 방법들은 테일링 효과(tailing effect)들을 끌어들인다.
본 발명이 이루고자 하는 기술적 과제는 비디오 시퀀스들에서 잡음 제거하는 양방향 시간적 잡음 제거 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 달성하기 위해, 본 발명에 따른 비디오 신호 처리 시스템에서 양방향 시간적 잡음 제거 방법은 프레임들의 비디오 시퀀스를 포함하는 비디오 신호를 입력하는 단계; 후방(backward) 잡음이 제거된 프레임들을 얻기 위하여 프레임들의 시퀀스에서 후방 시간적 잡음 제거를 수행하는 단계; 및 상기 후방 잡음이 제거된 프레임들에서 전방(forward) 시간적 잡음 제거를 수행하여 상기 프레임들의 비디오 시퀀스에서 잡음을 제거하는 단계를 포함한다.
상기 후방 시간적 잡음 제거를 수행하는 단계는 후방 잡음이 제거된 프레임들을 얻기 위하여 현재 입력되는 프레임과 이전의 프레임들에 시간적 필터링(filtering)을 적용하는 단계; 및 상기 후방 잡음이 제거된 프레임들을 메모리에 저장하는 단계를 포함한다. 더욱이, 상기 전방 시간적 잡음 제거를 수행하는 단계는 메모리로부터 상기 후방 잡음이 제거된 프레임들을 검색하고 상기 검색된 후방 잡음이 제거된 프레임들에서 전방 시간적 잡음 제거를 수행하여 상기 프레임들의 비디오 시퀀스에서 잡음을 제거하는 단계를 포함한다. 상기 전방 시간적 잡음 제거를 수행하는 단계는 양방향 잡음이 제거된 프레임들을 얻기 위하여 현재의 후방 잡음이 제거된 프레임과 장래의 후방 잡음이 제거된 프레임들에 시간적 필터링을 적용하는 단계; 및 상기 양방향 잡음이 제거된 프레임들을 출력하는 단계를 더 포함할 수 있다.
또한, 상기 전방 시간적 잡음 제거를 수행하는 단계는 상기 후방 잡음이 제거된 프레임들을 수신하는 단계; 각 후방 잡음이 제거된 프레임들에서 움직임 결정 신호들을 점 단위로 계산하는 단계; 및 상기 움직임 결정 신호들에 기초하는 그 프레임과 대응하는 프레임들에 움직임-적응적인 시간적 필터링을 수행하는 단계를 더 포함할 수 있다. 상기 각 후방 잡음이 제거된 프레임에 대해 점 단위의 움직임 결정 신호들을 계산하는 단계는 후방 잡음이 제거된 프레임들의 시퀀스에서 이전 프레임과 다음 프레임 사이에서 점 단위의 시간적 국부적 차 신호들을 계산사는 단계; 각 점 단위의 움직임 결정 신호가 잡음-적응적이 되도록 대응하는 시간적 국부적 차 신호들과 비디오 시퀀스에 있는 잡음에 기초하여 점 단위의 움직임 결정 신호들을 계산하는 단계를 포함한다.
상기 움직임-적응적인 시간적 필터링을 수행하는 단계는 상기 후방 잡음이 제거된 프레임들에 있는 프레임들에 대한 가중 인자(weighting factor)들을 대응하 는 움직임 결정 신호들의 함수로서 생성하는 단계; 및 상기 가중 인자들의 함수로서 상기 후방 잡음이 제거된 프레임들의 시간적 필터링을 수행하는 단계를 포함한다.
다른 양상들에서, 본 발명은 본 발명의 상기 방법들을 구현하는 시스템(장치)를 제공한다.
본 발명의 다른 실시예들, 특징들 및 이점들은 첨부된 도면들과 함께 아래의 상세한 설명으로부터 곧 알 수 있을 것이다.
일 실시예에서, 본 발명은 여기서 설명된 양방향 시간적 잡음 제거 방법 및 시스템을 제공한다. 시간적 잡음 제거 문제와 본 발명의 방법을 체계적으로 설명하기 위하여,
Figure 112005063961015-pat00001
는 시간 순간 t에서 입력되는 비디오 프레임을 나타내고
Figure 112005063961015-pat00002
는 i는 세로좌표 및 j는 가로좌표인 직교 좌표 (i,j)에서 대응하는 픽셀 값을 나타낸다고 하자. 입력 비디오 시퀀스는 독립적이고, 동일하게 분포된 추가적 및 정적인 평균 0이고 분산이
Figure 112005063961015-pat00003
인 가우시안(Gaussian) 잡음에 의해 훼손된다고 가정한다. 이와 같이, 모든 픽셀
Figure 112005063961015-pat00004
는
Figure 112005063961015-pat00005
로서 나타낼 수 있으며,
Figure 112005063961015-pat00006
는 잡음 훼손이 없는 진정한 픽셀 값을 나타내며
Figure 112005063961015-pat00007
는 가우시안 분포 잡음 성분을 나타낸다.
따라서, 잡음 제거 문제는 비디오 시퀀스로부터 훼손 잡음을 제거하는 처리라고 말할 수 있다. 즉, 모든 픽셀
Figure 112005063961015-pat00008
에 대해, 잡음 제거 문제는 잡음 성분
Figure 112005063961015-pat00009
를 제거하고 진정한 픽셀 값
Figure 112005063961015-pat00010
을 추정하는 것이다. 추정된 픽셀 값을
Figure 112005063961015-pat00011
으로 그리고 잡음이 제거된 프레임을
Figure 112005063961015-pat00012
로 나타낸다고 할 때, 시간적 잡음 제거는 우선 프레임에서 움직임 및 비-움직임 영역들을 결정하기 위하여 이웃하는 프레임들 사이에서 움직임 검출을 수행에 관련한다. 그 다음에, 비-움직임 영역에 있는 픽셀들은 상기 잡음을 제거하기 위하여 시간축을 따라 필터된다.
명확하게 하기 위하여, 아래 상세한 설명에서, 처리될 예시 프레임은 현재 프레임으로 나타내어진다. 만약 움직임 검출이 현재 프레임과 이전 프레임들 사이에서 수행된다면, 이는 후방(backward) 움직임 검출로서 서술되고 대응하는 잡음 제거는 후방 시간적 잡음 제거로 서술되어진다. 만약 움직임 검출이 현재 프레임과 다음에 입력되는 프레임들 사이에서 수행된다면, 이는 전방(forward) 움직임 검출로서 서술되고 대응하는 잡음 제거는 전방 시간적 잡음 제거로서 서술된다. 전방 시간적 잡음 제거는 프레임 지연을 요구한다.
도 1에서의 예는 몇 개의 연속적인 프레임들에서 움직이는 물체를 보여준다. 프레임
Figure 112005063961015-pat00013
는 처리될 현재 프레임이라고 가정한다. 영역 A는 테일링 효과(tailing effect)들이 전방 시간적 잡음 제거에 의해 제거될 수 있는 전방 움직임 검출에서의 비-움직임 영역으로 검출된다. 본 발명에 따라, 후방 및 전방 시간 잡음 제거를 포함하는 시간적 잡음 제거 방법은 양방향 시간적 잡음 제거라고 불려지며, 도 2내지 도 6을 참조하여 아래에서 더욱 상세하게 예로서 설명된다.
도 2는 본 발명에 따른 양방향 시간적 잡음 제거 시스템(100)의 일 실시예의 기능적 블록도를 보여준다. 시스템(100)은 후방 시간적 잡음 제거기(102), 메모리 배열(104) 및 전방 시간적 잡음 제거기(106)을 포함한다. 후방 시간적 잡음 제거기(102)는 필터된 프레임
Figure 112005063961015-pat00014
(즉, 후방 잡음이 제거된 프레임)을 얻기 위하여 현재 입력되는 프레임
Figure 112005063961015-pat00015
에 후방 시간적 잡음 제거를 적용한다.
Figure 112005063961015-pat00016
와 같은 이전의 필터된 프레임(들)은 후방향으로
Figure 112005063961015-pat00017
의 시간적 필터링을 가능케 하기 위하여 또한 후방 시간적 잡음 제거기(102)로 입력된다. 이들 프레임들은 후방 시간적 잡음 제거기(102)의 설계에 기초하여 선택된다. 현재 필터된 프레임
Figure 112005063961015-pat00018
은 다른 이전의 필터된 프레임들과 함께 프레임 메모리 배열(104)(메모리 1 ... 메모리 N)에 저장된다. 일반성의 잃지 않으면서 프레임 메모리 배열에서 가장 멀리 떨어진 프레임은
Figure 112005063961015-pat00019
이라고 가정한다.
전방 시간적 잡음 제거기(106)은
Figure 112005063961015-pat00020
로 나타내어지는 출력 비디오 프레임(즉, 양방향 잡음이 제거된 프레임)을 얻기 위하여 프레임
Figure 112005063961015-pat00021
에 전방 시간적 잡음 제거를 적용한다.
Figure 112005063961015-pat00022
,
Figure 112005063961015-pat00023
등과 같은 순간 시간 t-N에 대한 장래의 후방 잡음이 제거된 프레임들은 전방향으로
Figure 112005063961015-pat00024
의 시간적 필터링을 가능케 하기 위하여 또한 전방 시간적 잡음 제거기(106)으로 입력된다. 이들 프레임들은 전방 시간적 잡음 제거기(106)의 설계에 기초하여 선택된다. 입력과 출력 시간 순간을 비교하면, 시스템(100)에는 N-프레임 지연이 있다.
예제 시스템(100)에서, 후방 또는 전방 시간적 잡음 제거의 유형은 자유롭게 선택될 수 있다. 본 발명은 다양한 유형의 후방 또는 전방 시간적 잡음 제거를 이용할 수 있는 양방향 시간적 잡음 제거 방법 및 시스템을 제공한다.
후방 시간적 잡음 제거는 두 개의 비디오 프레임들에 적용되며, 하나의 비디오 프레임은 현재의 입력 잡음이 있는 프레임이고 다른 비디오 프레임은 메모리에 저장된 이전의 필터된 프레임이다. 일단 현재 프레임이 필터되면, 필터된 프레임은 다음에 들어오는 프레임을 필터링하기 위해 메모리에 저장된다. 움직임-적응 시간적 필터링 방법이 잡음제거에 적용된다. 현재 프레임과 메모리에 있는 이전의 (필터된) 프레임 사이에서 픽셀 단위의 움직임 정보가 조사된다. 그 다음에 현재 프레임에 있는 픽셀들은 이전의 (필터된) 프레임에 대해 상대적인 움직임 영역과 비-움직임 영역으로 분류된다. 비-움직임 영역에서는, 현재 프레임에 있는 픽셀들이 시간축을 따라 필터된다. 움직임 영역에서는, 시간적 필터링은 움직임이 흐려지는 것을 피하기 위하여 스위치가 꺼진다.
도 3a는 본 발명에 따른 후방(backward) 시간적 잡음 제거기의 일 실시예의 블록도를 보여준다.
후방 시간적 잡음 제거기(102)는 움직임 검출기(110) 및 움직임 적응 시간적 필터(120)를 포함한다.
후방 시간적 잡음 제거기(102)는
Figure 112005063961015-pat00025
로 표시되는 현재의 잡음이 있는 프레임 및
Figure 112005063961015-pat00026
로 표시되는 메모리에서 읽혀지는 이전의 필터된 프레임상에서 동작한다. 일단 현재 프레임이 필터되면,
Figure 112005063961015-pat00027
로 표시된 필터된 프레임는 다음에 들어오는 프레임을 필터링하기 위해 메모리(104)에 저장된다. 필터된 프레임
Figure 112005063961015-pat00028
는 또한 비디오 처리의 다음 단계로 전송된다. 아래에 설명된 것과 같이, 후방 움직임-적응 시간적 잡음 제거 장치(102)에 있어서, 움직임 영역에 있는 픽셀들은 시간축을 따라 필터되는 반면, 비-움직임 영역에 있는 픽셀들은 움직임이 흐려지는 것을 피하기 위하여 필터되지 않는다.
움직임 검출기(110)은 이전의 필터된 프레임에 대해 상대적인 현재 프레임에서의 움직임 및 비-움직임 영역들을 결정하기 위하여 현재 프레임
Figure 112005063961015-pat00029
와 이전의 필터된 프레임
Figure 112005063961015-pat00030
의 내용 사이에서의 움직임을 검출한다. 특히, 움직임 검출기(110)은 두 개의 프레임들
Figure 112005063961015-pat00031
및
Figure 112005063961015-pat00032
사이에서의 픽셀 단위의 움직임 정보를 조사한다. 움직임 정보 m은 픽셀이 움직임 영역 또는 비-움직임 영역에 있는지를 나타낸다. 움직임-적응 시간적 필터(120)에 있어서, 비-움직임 영역에 있는 픽셀들은 시간 영역에서 본질적으로 최적으로 필터된다. 그러나, 움직임 영역에 있는 픽셀들에 대하여는, 움직임이 흐려지는 것을 피하기 위하여 본래의 픽셀값이 유지된다.
전방 잡음 제거의 예는 아래에서 설명된다. 도 3b은 N개의 메모리부들(200)(메모리 1 ... 메모리 N)의 배열, N개의 움직임 검출기들(202)의 배열 및 움직임-적응 시간적 필터(204)를 포함하는 도 2의 전방 잡음 제거기(106)의 일 실시예의 블록도를 보여준다. 메모리부들(200)은 프레임들
Figure 112005063961015-pat00033
을 저장한다. 픽셀
Figure 112005063961015-pat00034
을 필터하기 위하여, 대응하는 움직임 검출기(202)는 프레임들
Figure 112005063961015-pat00035
와
Figure 112005063961015-pat00036
사이에서 움직임 결정 신호
Figure 112005063961015-pat00037
을 추정한다. 움직임 결정 신호는 움직임이 존재(
Figure 112005063961015-pat00038
) 또는 움직임이 부존재(
Figure 112005063961015-pat00039
)와 같이 대응하는 픽셀들의 움직임 레벨(level)을 나타낸다. 비-움직임 영역에서, 시간적 필터링은 잡음을 제거하기 위하여 움직임-적응 시간적 필터에 의해 수행된다.
움직임 검출기(202)의 예시 구현에서는, 우선 프레임들
Figure 112005063961015-pat00040
와
Figure 112005063961015-pat00041
사이에서
Figure 112005063961015-pat00042
로서 절대 차 및
Figure 112005063961015-pat00043
로서 저역-통과 필터링 절대 차를 계산함으로써 점 단위의 시간적 국부적 차 신호들이 계산되며,
Figure 112005063961015-pat00044
는 입력 비디오 신호에 대한 저역 통과 필터 처리를 나타낸다. 저역 통과 필터
Figure 112005063961015-pat00045
의 커널(kernel),
Figure 112005063961015-pat00046
은 일반적으로
Figure 112005063961015-pat00047
로 표현될 수 있다. 여기서,
Figure 112005063961015-pat00048
은 미리 결정된 정규화된 계수들(즉,
Figure 112005063961015-pat00049
)의 집합을 나타낸다.
그 다음에, 각 점 단위의 움직임 결정 신호는
Figure 112005063961015-pat00050
로서 계산되며, 여기서
Figure 112005063961015-pat00051
는 잡음-적응 임계값(threshold) 함수를 나타낸다. 구현은 시간적 국부적 차가 더 커질수록 움직임 결정 신호의 값이 더 커진다라는 가정에 기초하고 있다. 그래서,
Figure 112005063961015-pat00052
는 단조 증가 함수이다. 도 4a 내지 도 4f는 6개의
Figure 112005063961015-pat00053
의 예들을 보여주며, 여기서
Figure 112005063961015-pat00054
,
Figure 112005063961015-pat00055
및
Figure 112005063961015-pat00056
는 상수 값들이다. 이들 예들에서, 임계값들
Figure 112005063961015-pat00057
,
Figure 112005063961015-pat00058
및
Figure 112005063961015-pat00059
는 비디오 시퀀스의 잡음 표준 편차에 따라 자동적으로 조정된다는 것을 주의해야 한다(
Figure 112005063961015-pat00060
는 잡음 표준 편차이다). 따라서 잡음에 대해 강건한 성능을 얻을 수 있다.
도 5는 움직임 결정 신호
Figure 112005063961015-pat00061
를 계산하는 움직임 검출기(202)(도 3b)의 구현의 블록도를 보여준다. 도 5에서, 프레임들
Figure 112005063961015-pat00062
과
Figure 112005063961015-pat00063
사이에서의 프레임 차의 절대값은 프레임 차 신호로서
Figure 112005063961015-pat00064
을 생성하는 ABS부(300)에 의해 결정된다. 프레임 차 신호는 그 다음에
Figure 112005063961015-pat00065
커널(일반적으로
Figure 112005063961015-pat00066
)을 이용하여
Figure 112005063961015-pat00067
를 생성하기 위하여 공간적 LPF(302)에 의해 저역 통과 필터된다. 그 다음에, 점 단위의 움직임 결정 신호는 함수
Figure 112005063961015-pat00068
를 구현하는 임계값 함수 처리기(304)에서
Figure 112005063961015-pat00069
로서 계산된다.
본 발명의 다른 양상에 따라, 움직임-적응 시간적 필터(204)(도 3b)에서 픽셀
Figure 112005063961015-pat00070
을 시간적으로 필터하기 위하여, 픽셀
Figure 112005063961015-pat00071
에 대한 가중 인자
Figure 112005063961015-pat00072
는 움직임 레벨이 더 커질수록 가중치는 더 작아진다는 가정에 기초하여 계산된다. 그래서, 이 예에서, 가중치
Figure 112005063961015-pat00073
는
Figure 112005063961015-pat00074
의 단조 감소 함수이다. 단순한 구현은
Figure 112005063961015-pat00075
일 수 있다. 다른 구현들도 또한 가능하다. 따라서, 움직임-적응 시간적 필터(204)에서 픽셀
Figure 112005063961015-pat00076
의 시간적 필터링은 예들 들면,
Figure 112005063961015-pat00077
을 계산함으로써 구현될 수 있다. 여기서,
Figure 112005063961015-pat00078
는 필터(204)로부터 시간적으로 필터된 출력 프레임을 나타낸다.
위 전방 시간적 잡음 제거 방법의 성능을 더 개선하기 위하여, 아래의 변경들을 할 수 있다. 만약 픽셀들
Figure 112005063961015-pat00079
과
Figure 112005063961015-pat00080
사이에서 움직임이 있을 때
Figure 112005063961015-pat00081
Figure 112005063961015-pat00082
로 나타내어지는 얻어진 움직임 결정 신호가 매우 크다면, 다른 장래의 픽셀들
Figure 112005063961015-pat00083
Figure 112005063961015-pat00084
는 또한 움직임이 있는 것으로서 검출되어야 한다. 그래서, 만약
Figure 112005063961015-pat00085
이 임계값보다 더 크다면,
Figure 112005063961015-pat00086
Figure 112005063961015-pat00087
는 대응하는 움직임 결정 신호들을 계산할 것 없이 0으로 설정된다.
다음의 단계들은 계산 복잡도를 더 줄일수 있다. 후방 시간적 잡음 제거에서, 움직임 검출은 프레임들
Figure 112005063961015-pat00088
와
Figure 112005063961015-pat00089
사이에서 수행된다. 시간축을 따라 움직임이 없는 픽셀들의 수는
Figure 112005063961015-pat00090
로서 누적된다. 값
Figure 112005063961015-pat00091
는
Figure 112005063961015-pat00092
로서 갱신될 수 있다. 여기서
Figure 112005063961015-pat00093
는 얻어진 움 직임 결정 신호이며,
Figure 112005063961015-pat00094
는 만약 움직임이 있는지(
Figure 112005063961015-pat00095
) 또는 움직임이 없는지(
Figure 112005063961015-pat00096
)를 결정하기 위한 임계값이며, M은
Figure 112005063961015-pat00097
을 만족하는 상수 정수이다. 임계값
Figure 112005063961015-pat00098
는 상수 값 또는 잡음-적응적인 값이 될 수 있다는 것을 주의해야 한다.
도 6은 N=4일 때 값
Figure 112005063961015-pat00099
에 의해 나타내어지는 움직임 정보의 예들을 보여준다. 만약
Figure 112005063961015-pat00100
라면, 픽셀들
Figure 112005063961015-pat00101
Figure 112005063961015-pat00102
사이에서 움직임이 없으며, 그 결과 전방 시간적 잡음 제거는
Figure 112005063961015-pat00103
로서 단순히 적용될 수 있다는 것을 유도할 수 있다.
이 방법을 이용하면, 전방 시간적 잡음 제거에서 아무런 움직임 검출도 요구되지 않는다.
전방 시간적 잡음 제거의 위 예시 구현의 다른 선택적인 구현에서는, 프레임
Figure 112005063961015-pat00104
을 시간적 필터링을 하는데에 본래의 프레임
Figure 112005063961015-pat00105
가 프레임
Figure 112005063961015-pat00106
대신에 이용될 수 있다. 그래서, 대응하는 양방향 시간적 잡음 제거의 단계들은 아래와 같이 수정되어야 한다.
(1) 본래의 입력되는 프레임
Figure 112005063961015-pat00107
를 수신하는 단계;
(2) 전방 시간적 잡음 제거를 이용하여 프레임
Figure 112005063961015-pat00108
를 필터링하고 상기 필터된 프레임을 다음의 비디오 처리부로 출력하는 단계;
(3) 프레임 메모리 배열로부터 상기 프레임
Figure 112005063961015-pat00109
를 버리는 단계; 및
(4) 후방 시간적 잡음 제거를 이용하여 상기 프레임
Figure 112005063961015-pat00110
를 필터링하고 상기 필터된 프레임을 메모리에 저장하는 단계(이렇게 함으로써, 하나의 프레임 메모리를 절약할 수 있다)
본 발명은 프로그레시브(progressive) 및 인터레이스트(interlaced) 비디오들 모두에 적용될 수 있다는 것을 주의해야 한다. 인터레이스트 비디오에서 짝수 및 홀수 영상면(field)들은 두 개의 독립된 프로그레시브 비디오 시퀀스들로서 처리될 수 있거나 또는 영상면들이 처리되기 전에 하나의 프레임으로 병합될 수 있다.
본 발명은 다른 버전들도 가능하지만 특정 바람직한 버전들에 관하여 상당히 상세히 기술되었다. 그래서, 첨부된 청구항들의 사상 및 범위는 여기에 포함된 바람직한 버전들의 상세한 설명에 한정되어서는 안 된다.
본 발명에 따른 양방향 시간적 잡음 제거 방법 및 장치에 의하면 프레임들의 비디오 시퀀스에서 움직임이 없는 영역에서 전방(forward) 및 후방(backward)향으로 모두 시간적으로 필터링함으로써 잡음을 제거할 수 있으며, 기존의 방법보다 더 나은 세부(detail)들을 유지하고 에지(edge)들을 보존할 수 있을 뿐만 아니라 테일링 효과(tailing effect)들을 방지할 수 있는 효과가 있다.

Claims (31)

  1. 비디오 신호 처리 시스템에서의 양방향 시간적 잡음 제거 방법에 있어서,
    프레임들의 비디오 시퀀스를 포함하는 비디오 신호를 입력하는 단계;
    후방(backward) 잡음이 제거된 프레임들을 얻기 위하여 상기 프레임들의 시퀀스에 대해 후방 시간적 잡음 제거를 수행하는 단계; 및
    상기 후방 잡음이 제거된 프레임들에 대해 전방(forward) 시간적 잡음 제거를 수행하는 단계를 포함하여 상기 프레임들의 비디오 시퀀스에 있는 잡음을 제거하도록 하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  2. 제 1항에 있어서, 상기 후방 시간적 잡음 제거를 수행하는 단계는,
    후방 잡음이 제거된 프레임을 얻기 위하여 현재 입력되는 프레임에 시간적 필터링을 적용하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  3. 제 2항에 있어서, 상기 후방 시간적 잡음 제거를 수행하는 단계는,
    후방 잡음이 제거된 프레임들을 얻기 위하여 현재 입력되는 프레임과 이전의 프레임들에 시간적 필터링을 적용하는 단계; 및
    상기 후방 잡음이 제거된 프레임들을 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  4. 제 1항에 있어서, 상기 전방 시간적 잡음을 제거하는 단계는,
    상기 프레임들의 비디오 시퀀스에 있는 잡음을 제거하도록 상기 후방 잡음이 제거된 프레임들을 메모리로부터 검색하고 상기 검색된 후방 잡음이 제거된 프레임들에 대해 전방 시간적 잡음 제거를 수행하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  5. 제 1항에 있어서, 상기 전방 시간적 잡음 제거를 수행하는 단계는,
    양방향 잡음이 제거된 프레임들을 얻기 위하여 현재의 후방 잡음이 제거된 프레임과 상기 현재의 후방 잡음이 제거된 프레임들에 상대적으로 장래의 프레임들에 시간적 필터링을 적용하는 단계; 및
    상기 양방향 잡음이 제거된 프레임들을 출력하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  6. 제 1항에 있어서, 상기 전방 시간적 잡음 제거를 수행하는 단계는,
    상기 후방 잡음이 제거된 프레임들을 수신하는 단계;
    각각의 후방 잡음이 제거된 프레임에 대해 점 단위의 움직임 결정 신호들을 계산하는 단계; 및
    상기 움직임 결정 신호들 및 대응하는 프레임들에 기초하여 움직임-적응적인 시간적 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡 음 제거 방법.
  7. 제 6항에 있어서, 상기 각각의 후방 잡음이 제거된 프레임에 대해 점 단위의 움직임 결정 신호들을 계산하는 단계는,
    후방 잡음이 제거된 프레임들의 시퀀스에서 이전의 프레임과 다음의 프레임 사이에서 점 단위의 시간적 국부적 차 신호들을 계산하는 단계; 및
    대응하는 시간적 국부적 차 신호들 및 상기 비디오 시퀀스에 있는 잡음에 기초하여, 각각의 움직임 결정 신호가 잡음-적응적인 단위의 움직임 결정 신호들을 계산하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  8. 제 6항에 있어서, 상기 움직임-적응적인 시간적 필터링을 수행하는 단계는,
    상기 후방 잡음이 제거된 프레임들에 있는 프레임들에 대해 대응하는 움직임 결정 신호들의 함수로서 가중 인자(weighting factor)들을 생성하는 단계; 및
    상기 가중 인자들의 함수로서 상기 후방 잡음이 제거된 프레임들의 시간적 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  9. 제 8항에 있어서,
    상기 가중 인자들은 상기 움직임 결정 신호들의 단조 감소 함수(monotonically decreasing function)들인 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  10. 제 8항에 있어서, 상기 가중 인자들의 함수로서 상기 후방 잡음이 제거된 프레임들의 시간적 필터링을 수행하는 단계는,
    Figure 112005063961015-pat00111
    를 계산하는 단계를 포함하며, N은 후방 잡음이 제거된 프레임들의 수이며, i와 j는 카르테시안 매트릭스(cartesian matrix)에서 각각의 비디오 신호 값의 공간적 위치이며, t는 순간 시간이며,
    Figure 112005063961015-pat00112
    는 시간 t-N에서 후방 잡음이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀이며,
    Figure 112005063961015-pat00113
    는 시간 t-k에서 후방 잡음이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀이며,
    Figure 112005063961015-pat00114
    는 픽셀
    Figure 112005063961015-pat00115
    에 대한 가중 인자이며,
    Figure 112005063961015-pat00116
    은 시간 t-N에서 양방향 잡음이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀인 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  11. 제 10항에 있어서,
    만약 움직임 결정 신호의 값
    Figure 112005063961015-pat00117
    이
    Figure 112005063961015-pat00118
    과
    Figure 112005063961015-pat00119
    사이의 픽셀들에 대한 임계 값(threshold)보다 더 크다면, 그때 픽셀들
    Figure 112005063961015-pat00120
    Figure 112005063961015-pat00121
    이 대응하는 움직임 결정 신호들을 계산함이 없이 움직임이 있는 것으로 나타내는 단계를 더 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  12. 제 10항에 있어서,
    움직임 검출이 프레임들
    Figure 112005063961015-pat00122
    와
    Figure 112005063961015-pat00123
    사이에서 수행되는 후방 시간적 잡음 제거에서,
    Figure 112005063961015-pat00124
    로서 시간축을 따라 움직임이 없는 픽셀들의 수를 누적하는 단계를 더 포함하며,
    Figure 112005063961015-pat00125
    는 얻어진 움직임 결정 신호이며,
    Figure 112005063961015-pat00126
    는 움직임이 있는지(
    Figure 112005063961015-pat00127
    ) 또는 움직임이 없는지(
    Figure 112005063961015-pat00128
    )를 결정하는 임계값이며, M은
    Figure 112005063961015-pat00129
    을 만족하는 상수 정수인 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  13. 제 12항에 있어서,
    상기 임계값
    Figure 112005063961015-pat00130
    는 상수인 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  14. 제 12항에 있어서,
    상기 임계값
    Figure 112005063961015-pat00131
    는 잡음-적응적인 값인 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  15. 제 12항에 있어서,
    만약
    Figure 112005063961015-pat00132
    이라면, 전방 시간적 잡음 제거는
    Figure 112005063961015-pat00133
    로서 적용될 수 있도록 픽셀들
    Figure 112005063961015-pat00134
    Figure 112005063961015-pat00135
    사이에서 아무런 움직임이 없으며, 전방 시간적 잡음 제거에서 아무런 움직임 검출이 요구되지 않는 것을 특징으로 하는 양방향 시간적 잡음 제거 방법.
  16. 비디오 신호 처리 시스템에서의 양방향 시간적 잡음 제거 장치 있어서,
    프레임들의 비디오 시퀀스를 포함하는 비디오 신호를 수신하는 입력부;
    후방 잡음이 제거된 프레임들을 얻기 위하여 상기 프레임들의 시퀀스에 대해 후방 시간적 잡음 제거를 수행하는 후방 시간적 잡음 제거기; 및
    상기 프레임들의 비디오 시퀀스에 있는 잡음을 제거하도록 상기 후방 잡음이 제거된 프레임들에 대해 전방 시간적 잡음 제거를 수행하는 전방 시간적 잡음 제거기를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  17. 제 16항에 있어서, 상기 후방 시간적 잡음 제거기는,
    후장 잡음이 제거된 프레임을 얻기 위하여 현재 입력되는 프레임에 시간적으로 필터링하는 시간적 필터를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  18. 제 16항에 있어서, 상기 후방 시간적 잡음 제거기는,
    후방 잡음이 제거된 프레임들을 얻기 위하여 현재 입력되는 프레임과 이전의 프레임들에 시간적으로 필터링하는 시간적 필터; 및
    상기 후방 잡음이 제거된 프레임들을 메모리에 저장하는 메모리를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  19. 제 18항에 있어서, 상기 전방 시간적 잡음 제거기는,
    상기 프레임들의 비디오 시퀀스에 있는 잡음을 제거하도록 상기 후방 잡음이 제거된 프레임들을 메모리로부터 검색하고 상기 검색된 후방 잡음이 제거된 프레임들에 대해 전방 시간적 잡음 제거를 수행하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  20. 제 16항에 있어서, 상기 전방 시간적 잡음 제거기는,
    양방향 잡음이 제거된 프레임들을 얻기 위하여 현재의 후방 잡음이 제거된 프레임과 장래의 후방 잡음이 제거된 프레임들에 시간적으로 필터링하는 시간적 필터; 및
    상기 양방향 잡음이 제거된 프레임들을 출력하는 출력부를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  21. 제 16항에 있어서, 상기 전방 시간적 잡음 제거기는,
    각 후방 잡음이 제거된 프레임에 대해 점 단위의 움직임 결정 신호들을 계산하는 움직임 결정 신호 계산부; 및
    상기 움직임 결정 신호들과 대응하는 프레임들에 기초하여 움직임-적응적인 시간적 필터링을 수행하는 움직임-적응적인 시간적 필터링부를 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  22. 제 21항에 있어서, 상기 움직임 결정 신호 계산부는,
    후방 잡음이 제거된 프레임들의 시퀀스에서 이전의 프레임과 다음의 프레임 사이에서 점 단위의 시간적 국부적 차 신호들을 계산하는 수단; 및
    각 움직임 결정 신호가 잡음-적응적인 되도록 상기 대응하는 시간적 국부적 차 신호들과 비디오 시퀀스에 있는 잡음에 기초하여 점 단위의 움직임 결정 신호들을 계산하는 수단을 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  23. 제 21항에 있어서, 상기 움직임-적응적인 시간적 필터링부는,
    상기 후방 잡음이 제거된 프레임들에 있는 프레임들에 대해 대응하는 움직임 결정 신호들의 함수로서 가중 인자들을 생성하는 수단; 및
    상기 가중 인자들의 함수로서 상기 후방 잡음이 제거된 프레임들의 시간적 필터링을 수행하는 시간적 필터링 수단을 포함하는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  24. 제 23항에 있어서,
    상기 가중 인자들은 상기 움직임 결정 신호들의 단조 감소 함수인 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  25. 제 23항에 있어서, 상기 시간적 필터링부는,
    Figure 112005063961015-pat00136
    를 계산함으로써 상기 가중 인자들의 함수로서 상기 후방 잡음이 제거된 프레임들의 시간적 필터링을 수행하며, N은 후방 잡음이 제거된 프레임들의 수이며, i와 j는 카르테시안 매트릭스(cartesian matrix)에서 각각의 비디오 신호 값의 공간적 위치이며, t는 순간 시간이며,
    Figure 112005063961015-pat00137
    는 시간 t-N에서 후방 잡음이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀이며,
    Figure 112005063961015-pat00138
    는 시간 t-k에서 후방 잡음 이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀이며,
    Figure 112005063961015-pat00139
    는 픽셀
    Figure 112005063961015-pat00140
    에 대한 가중 인자이며,
    Figure 112005063961015-pat00141
    은 시간 t-N에서 양방향 잡음이 제거된 프레임에 있는 카르테시안 위치 i, j에 있는 픽셀인 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  26. 제 25항에 있어서,
    만약 움직임 결정 신호의 값
    Figure 112005063961015-pat00142
    이
    Figure 112005063961015-pat00143
    과
    Figure 112005063961015-pat00144
    사이의 픽셀들에 대한 임계값(threshold)보다 더 크다면, 그때 픽셀들
    Figure 112005063961015-pat00145
    Figure 112005063961015-pat00146
    이 대응하는 움직임 결정 신호들을 계산함이 없이 움직임이 있는 것으로 나타내는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  27. 제 26항에 있어서,
    움직임 검출이 프레임들
    Figure 112005063961015-pat00147
    와
    Figure 112005063961015-pat00148
    사이에서 수행되는 후방 시간적 잡음 제거기에서,
    Figure 112005063961015-pat00149
    로서 시간축을 따라 움직임이 없는 픽셀들의 수를 누적되며,
    Figure 112005063961015-pat00150
    는 얻어진 움직임 결정 신호이며,
    Figure 112005063961015-pat00151
    는 움직임이 있는지(
    Figure 112005063961015-pat00152
    ) 또는 움직임이 없는지(
    Figure 112005063961015-pat00153
    )를 결정하는 임계값이며, M은
    Figure 112005063961015-pat00154
    을 만족하는 상수 정수인 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  28. 제 27항에 있어서,
    상기 임계값
    Figure 112005063961015-pat00155
    는 상수인 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  29. 제 27항에 있어서,
    상기 임계값
    Figure 112005063961015-pat00156
    는 잡음-적응적인 값인 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  30. 제 27항에 있어서,
    만약
    Figure 112005063961015-pat00157
    이라면, 전방 시간적 잡음 제거는
    Figure 112005063961015-pat00158
    로서 적용될 수 있도록 픽셀들
    Figure 112005063961015-pat00159
    Figure 112005063961015-pat00160
    사이에서 아무런 움직임이 없으며, 전방 시간적 잡음 제거에서 아무런 움직임 검출이 요구되지 않는 것을 특징으로 하는 양방향 시간적 잡음 제거 장치.
  31. 비디오 신호 처리 시스템에서의 비디오 프레임들의 시퀀스에 대한 양방향 시 간적 잡음 제거 방법에 있어서,
    시간 t에서 본래의 비디오 프레임
    Figure 112005063961015-pat00161
    를 포함하는 비디오 신호를 수신하는 단계;
    메모리에 프레임들
    Figure 112005063961015-pat00162
    ...
    Figure 112005063961015-pat00163
    각각에 대해 후방 시간적 잡음 제거 필터링을 수행함으로써 얻어진 후방 잡음이 제거된 프레임들
    Figure 112005063961015-pat00164
    ...
    Figure 112005063961015-pat00165
    의 시퀀스를 유지하는 단계;
    출력 프레임
    Figure 112005063961015-pat00166
    을 생성하기 위하여 전방 시간적 잡음 제거를 이용하여 상기 후방 잡음이 제거된 프레임
    Figure 112005063961015-pat00167
    을 필터링하고 상기 프레임
    Figure 112005063961015-pat00168
    을 메모리로부터 버리는 단계; 및
    프레임들의 비디오 시퀀스에서 잡음을 제거하도록 후방 잡음이 제거된 프레임
    Figure 112005063961015-pat00169
    를 얻기 위하여 프레임
    Figure 112005063961015-pat00170
    에 대해 후방 시간적 잡음 제거를 수행하며 상기 프레임
    Figure 112005063961015-pat00171
    을 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 비디오 프레임들의 시퀀스에 대한 양방향 시간적 잡음 제거 방법.
KR1020050106014A 2005-04-19 2005-11-07 양방향 시간적 잡음 제거 방법 및 장치 KR100739753B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/110,336 US7554611B2 (en) 2005-04-19 2005-04-19 Method and apparatus of bidirectional temporal noise reduction
US11/110,336 2005-04-19

Publications (2)

Publication Number Publication Date
KR20060110728A KR20060110728A (ko) 2006-10-25
KR100739753B1 true KR100739753B1 (ko) 2007-07-13

Family

ID=37622072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050106014A KR100739753B1 (ko) 2005-04-19 2005-11-07 양방향 시간적 잡음 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US7554611B2 (ko)
KR (1) KR100739753B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125522B2 (en) * 2006-03-24 2012-02-28 Siemens Industry, Inc. Spurious motion filter
US8731062B2 (en) 2008-02-05 2014-05-20 Ntt Docomo, Inc. Noise and/or flicker reduction in video sequences using spatial and temporal processing
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US8497914B2 (en) * 2009-08-10 2013-07-30 Wisconsin Alumni Research Foundation Vision system and method for motion adaptive integration of image frames
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
WO2017084011A1 (zh) * 2015-11-16 2017-05-26 华为技术有限公司 一种视频平滑方法及装置
DE112017001477T5 (de) * 2016-03-23 2018-12-06 Koninklijke Philips N.V. Verbesserte bildqualität durch zweistufige temporale rauschunterdrückung
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100213024B1 (ko) 1995-01-28 1999-08-02 윤종용 보간을 이용한 디지탈 잡음저감장치
JP2002033942A (ja) 2000-07-17 2002-01-31 Sanyo Electric Co Ltd 画像信号の雑音抑制方法及びこの雑音抑制方法を用いた画像信号処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US20030161407A1 (en) * 2002-02-22 2003-08-28 International Business Machines Corporation Programmable and adaptive temporal filter for video encoding
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100213024B1 (ko) 1995-01-28 1999-08-02 윤종용 보간을 이용한 디지탈 잡음저감장치
JP2002033942A (ja) 2000-07-17 2002-01-31 Sanyo Electric Co Ltd 画像信号の雑音抑制方法及びこの雑音抑制方法を用いた画像信号処理装置

Also Published As

Publication number Publication date
US7554611B2 (en) 2009-06-30
US20060232710A1 (en) 2006-10-19
KR20060110728A (ko) 2006-10-25

Similar Documents

Publication Publication Date Title
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
KR100727998B1 (ko) 움직임 보상형 시간적 잡음 제거 방법 및 시스템
US7570309B2 (en) Methods for adaptive noise reduction based on global motion estimation
KR20060076176A (ko) 비디오 시퀀스에서 시간적 잡음 제거 방법 및 시스템
Kokaram et al. Interpolation of missing data in image sequences
US9002129B2 (en) Method and device for reducing temporal noise for image
CN107437238B (zh) 一种图像分块自适应递归降噪方法及装置
KR101805623B1 (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
Reeja et al. Real time video denoising
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
WO2001043069A2 (en) Method and apparatus for past and future motion classification
EP2052350B1 (en) Method and system for reducing mosquito noise in a digital image
US8090210B2 (en) Recursive 3D super precision method for smoothly changing area
Gullu et al. Blotch detection and removal for archive film restoration
Lagendijk et al. Video enhancement and restoration
KR100772380B1 (ko) 확장된 잡음 적응 움직임 검출 방법 및 장치
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
KR100456102B1 (ko) 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법
Tenze et al. Design and real-time implementation of a low-cost noise reduction system for video applications
Chishima et al. A method of scratch removal from old movie film using variant window by Hough transform
KR100754219B1 (ko) 비디오 시퀀스로부터의 잡음 분산(표준 편차)을 추정하기위한 확장된 방법및 시스템
Tan et al. Multihypothesis recursive video denoising based on separation of motion state
JP6128878B2 (ja) 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム
Yoo et al. Spatial-temporal noise reduction filter for image devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee