KR100677148B1 - 적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법 - Google Patents

적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법 Download PDF

Info

Publication number
KR100677148B1
KR100677148B1 KR1020040088872A KR20040088872A KR100677148B1 KR 100677148 B1 KR100677148 B1 KR 100677148B1 KR 1020040088872 A KR1020040088872 A KR 1020040088872A KR 20040088872 A KR20040088872 A KR 20040088872A KR 100677148 B1 KR100677148 B1 KR 100677148B1
Authority
KR
South Korea
Prior art keywords
motion signal
values
calculating
time
motion
Prior art date
Application number
KR1020040088872A
Other languages
English (en)
Other versions
KR20060021255A (ko
Inventor
김영택
린펭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060021255A publication Critical patent/KR20060021255A/ko
Application granted granted Critical
Publication of KR100677148B1 publication Critical patent/KR100677148B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/91—Flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

일련의 비디오 프레임들에서 비디오 노이즈 감소를 위한 비디오 노이즈 감소 장치 및 그 방법이 제공된다. 비디오 노이즈 감소 장치에서, 시간 필터는 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산한다. 움직임 검출부는 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 움직임 신호값들을 계산한다. 최종적으로, 제어부는 움직임 신호값들을 바탕으로 시간 평균값들 중의 하나를 출력으로 선택한다. 본 발명에 따르면 노이즈 테일이 본질적으로 제거된다.

Description

적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치 및 그 방법{Apparatus and method for video noise reduction using adaptive bidirectional filtering}
도1은 본 발명의 일 실시예에 따른 비디오 노이즈 감소 장치에서 양방향 시간 필터링을 설명하는 도면이다.
도2는 도1의 양방향 시간 필터링을 적용한 비디오 노이즈 감소 장치의 블록도이다.
도3은 도2의 비디오 노이즈 감소 장치에서 움직임 검출부의 블록도이다.
도4는 도3의 움직임 검출부에 의해 생성되는 움직임 신호의 그래프 곡선이다.
본 발명은 비디오 프로세싱에 관한 것으로서, 보다 상세하게는 비디오 신호에서 노이즈 감소에 관한 것이다.
일반적으로, 움직임 적응성 노이즈 감소(motion adaptive noise reduction)는 광범위하게 사용되고 효과적인 비디오 노이즈 감소 방법이다. 그러한 종래 방법 에서는, 프레임에서 모든 픽셀에 대해 현 프레임과 그 이웃하는 프레임들 사이의 움직임을 검출하기 위해 움직임 검출부(motion detector)가 사용되어 움직임 신호를 생성한다.
움직임 신호(motion signal)는 현 비디오 프레임 내에서 움직임 영역과 비-움직임 영역을 나타내고, 노이즈 감소를 위한 시간 필터링(temporal filtering)을 제어하기 위하여 사용된다.
비-움직임 영역에 대해서는, 현 프레임과 그 이웃하는 프레임들의 해당 픽셀들 평균을 취하는 시간 필터(temporal filter)가 사용되어 비디오 노이즈를 감소시킨다. 움직임 영역에 대해서는 시간 필터가 스위치 오프되어 움직임의 블러링(blurring)을 피한다.
종래 움직임 적응성 노이즈 감소 방법의 단점은 테일링 효과(tailing effect)로 알려진 것이고, 이것은 움직이는 물체를 따라 노이즈 꼬리로 나타난다. 테일링은 움직임 신호가 움직임을 나타낼 때 시간 필터를 스위치 오프하는 것에 의하여 초래된다.
테일링 효과를 처리하기 위하여 노이즈 감소 시스템에서 사용되는 종래 방법은 공간 필터(spatial filter)를 움직임 영역 필터에 적용하는 것이다. 움직임 신호가 움직임을 나타낼 때, 단지 시간 필터를 스위치 오프하는 대신에, 노이즈 감소 장치는 공간 필터로 스위칭한다.
그러나, 시간 필터와 공간 필터의 다른 특성 때문에, 필터링된 일련의 비디오가 프레임 단위로 보여질 때, 시간 필터링된 영역과 공간 필터링된 영역이 서로 다르게 보인다는 문제점이 있다.
나아가, 필터링된 일련의 비디오가 재생될 때, 주어진 픽셀에서 공간 필터의 잔여 노이즈가 프레임마다 변화하기 때문에 공간 필터링된 영역에서 깜빡임이 나타난다는 문제점이 있다.
그와 같이, 단순히 시간 필터에서 공간 필터로 스위칭하는 것은 테일링 문제점을 해결할 수 없고, 오히려 테일링 문제점이 다르게 보이고 덜 두드러질 뿐이다.
본 발명이 이루고자 하는 기술적 과제는 일련의 비디오 프레임들에서 비디오 노이즈를 감소하는 장치에 있어서, 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산하는 시간 필터부를 이용함으로써 비디오 프레임들에 대하여 양방향 시간 필터링을 행하는 비디오 노이즈 감소 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 기술적 과제는 일련의 비디오 프레임들에 대한 비디오 노이즈를 감소하는 방법에 있어서, 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산함으로써 비디오 프레임들에 대하여 양방향 시간 필터링을 행하는 비디오 노이즈 감소 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본발명의 일실시예에 따른 비디오 노이즈 감소 장치는, 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산하는 시간 필터부, 상기 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 움직임 신호값들을 계산하는 움직임 검출부 및 상 기 움직임 신호값들을 바탕으로 상기 시간 평균값들 중에서 하나를 출력으로 선택하는 제어부를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본발명의 일실시예에 따른 비디오 노이즈 감소 방법은, 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산하는 과정, 상기 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 움직임 신호값들을 계산하는 과정, 상기 움직임 신호값들을 바탕으로 상기 시간 평균값들 중에서 하나를 선택하는 과정 및 상기 선택된 시간 평균값을 출력하는 과정을 포함한다.
본 발명에 따른 일 실시예는 비디오 노이즈 감소를 위한 적응성 양방향 필터를 제공하고, 비디오 노이즈 감소를 위한 적응성 양방향 필터는 양방향 시간 필터, 움직임 검출부 및 필터 제어부를 포함한다.
양방향 시간 필터는 세개의 시간 평균값들을 생성한다. 세개의 시간 평균값들은 전체 평균, 순방향(forward) 평균 및 역방향(backward) 평균이다.
전체 평균은 시간 간격 내에서 센터 프레임과 그 앞쪽(과거) 및 뒤쪽(미래)에 이웃하는 프레임들의 시간 평균이다. 순방향 평균은 상기 시간 간격 내에서 센터 프레임과 그 앞쪽(과거)에 이웃하는 프레임들의 시간 평균이다. 역방향 평균은 상기 시간 간격 내에서 센터 프레임과 그 뒤쪽(미래)에 이웃하는 프레임들의 시간 평균이다.
움직임 검출부는 상기 시간 간격 내에서 센터 프레임과 그 이웃하는 프레임들 사이의 움직임을 검출한다. 움직임 검출부는 세개의 움직임 신호들을 생성한다. 세개의 움직임 신호들은 전체 움직임 신호, 순방향 움직임 신호 및 역방향 움직임 신호이다.
전체 움직임 신호는 상기 시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타낸다. 순방향 움직임 신호는 상기 시간 간격 내에서 센터 프레임과 그 앞쪽에 이웃하는 프레임들 사이의 움직임을 나타낸다. 역방향 움직임 신호는 상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타낸다.
움직임 검출부는 개별적인 노이즈 추정부를 이용하여 계산될 수 있는, 전역 노이즈 통계(global noise statistics)를 사용할 수 있다.
필터 제어부는 움직임 검출부에 의해 생성된 세개의 움직임 신호들을 바탕으로 하여 최종 출력으로 사용될 어느 시간 평균을 결정한다.
일반적으로, 만일 전체 움직임 신호가 작으면, 전체 평균이 최종 출력으로 선택된다. 그렇지 않으면, 필터 제어부는 순방향 움직임 신호를 더 체크한다. 만일 순방향 움직임 신호가 작으면, 순방향 평균이 최종 출력으로 선택된다. 그렇지 않으면, 필터 제어부는 역방향 움직임 신호를 더 체크한다. 만일 역방향 움직임 신호가 작으면, 역방향 평균이 최종 출력으로 선택된다. 그렇지 않으면, 필터 제어부는 시간 필터를 스위치 오프하고, 센터 프레임의 픽셀값이 최종 출력으로 바이패스된다.
물체가 일련의 비디오에서 어떤 방향을 따라 움직이고 있을 때, 순방향 움직임 신호는 현 프레임에서 움직이는 물체 후방의 움직임 경계에서 움직임을 나타낸 다. 이 경우, 움직이는 물체의 후방에 노이즈 테일을 남기는 순방향 평균은 사용될 수 없다. 그러나, 이 상황에서, 다음(미래) 프레임들에서는 같은 경계 영역에서 움직임이 없다. 따라서, 역방향 움직임 신호는 움직임을 나타내지 않고, 역방향 평균이 적용되었을 때, 노이즈 테일은 본 발명의 일 실시예에 따라 본질적으로 제거된다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 비디오 노이즈 감소 장치에서 양방향 시간 필터링을 설명하는 도면이다. 도1을 참조하면, 도1은 다섯개의 비디오 프레임들(F 0, F 1, F 2, F 3, F 4)을 이용하는 양방향 시간 필터링 프로세스이다. 시간 필터링을 위해 N개의 프레임들(F 0, F 1, F 2, ..., F N -1)을 사용하는 적응성 양방향 필터링 방법은 세개의 움직임 신호들에 근거한다. 세개의 움직임 신호들은 전체 움직임 신호, 순방향 움직임 신호 및 역방향 움직임 신호이다.
전체 움직임 신호는 모든 N개 프레임들 사이의 움직임을 나타낸다. 순방향 움직임 신호는 센터 프레임과 그 앞쪽(과거)에 이웃하는 프레임들 사이의 움직임을 나타낸다. 그리고, 역방향 움직임 신호는 센터 프레임과 그 뒤쪽(미래)에 이웃하는 프레임들 사이의 움직임을 나타낸다.
세개의 시간 평균값들이 더 계산된다. 세개의 시간 평균값들은 전체 평균, 순방향 평균 및 역방향 평균이다.
전체 평균은 모든 N개 프레임들의 시간 평균이다. 순방향 평균은 센터 프레임과 그 앞쪽에 이웃하는 프레임들의 시간 평균이다. 역방향 평균은 센터 프레임과 그 뒤쪽에 이웃하는 프레임들의 시간 평균이다.
도1은 예를 들어 N=5프레임들(F 0, F 1, F 2 , F 3, F 4)에 대한 양방향 시간 필터링 방법의 일 실시예를 보여주고, 여기서 F 2는 센터 프레임, AVG 0는 전체 평균, AVG f 는 순방향 평균 그리고 AVG b 는 역방향 평균이다.
일 실시예에서, 만일 전체 움직임 신호가 작으면, 전체 평균이 최종 출력으로 선택되고, 그렇지 않으면, 순방향 움직임 신호가 체크된다. 만일 순방향 움직임 신호가 작으면, 순방향 평균이 최종 출력으로 선택되고, 그렇지 않으면, 역방향 움직임 신호가 체크된다. 만일 역방향 움직임 신호가 작으면, 역방향 평균이 최종 출력으로 선택되고, 그렇지 않으면, 시간 평균이 스위치 오프되고, 센터 프레임의 픽셀값이 최종 출력으로 바이패스된다.
도2는 도1의 양방향 시간 필터링을 적용한 노이즈 감소 장치(100)의 블록도이다. 도2를 참조하면, 본 발명의 일 실시예에 따른 비디오 노이즈 감소 장치(100)는 양방향 시간 필터(110), 움직임 검출부(120) 및 필터 제어부(130)를 포함한다.
양방향 시간 필터(110)는 세개의 시간 평균값들을 생성한다. 세개의 시간 평균값들은 전체 평균 AVG 0, 순방향 평균 AVG f , 역방향 평균 AVG b 이다.
전체 평균 AVG 0는 소정의 시간 간격 N 내에서 센터 프레임과 그 앞쪽(과거) 및 뒤쪽(미래)에 이웃하는 프레임들의 시간 평균이다. 순방향 평균 AVG f 는 상기 시간 간격 내에서 센터 프레임과 그 앞쪽(과거)에 이웃하는 프레임들의 시간 평균이다. 역방향 평균 AVG b 는 상기 시간 간격 내에서 센터 프레임과 그 뒤쪽(미래)에 이웃하는 프레임들의 시간 평균이다.
움직임 검출부(120)는 상기 시간 간격 내에서 센터 프레임과 그 이웃하는 프레임들 사이의 움직임을 검출한다. 움직임 검출부(120)는 세개의 움직임 신호들을 생성한다. 세개의 움직임 신호들은 전체 움직임 신호 MOT 0, 순방향 움직임 신호 MOT f 및 역방향 움직임 신호 MOT b 이다.
전체 움직임 신호 MOT 0는 상기 시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 모든 프레임들 사이의 움직임을 나타낸다. 순방향 움직임 신호 MOT f 는 상기 시간 간격 내에서 센터 프레임과 그 앞쪽에 이웃하는 프레임들 사이의 움직임을 나타낸다. 역방향 움직임 신호 MOT b 는 상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타낸다(움직임 검출부(120)는 전역 노이즈 통계 σ를 사용할 수 있고, 전역 노이즈 통계 σ는 개별적인 노이즈 추정부(140)를 이용하여 계산될 수 있다).
필터 제어부(130)는 여기에 기술된 것처럼, 움직임 검출부(120)에 의해 생성된 세개의 움직임 신호들 MOT 0, MOT f , MOT b 를 바탕으로 하여 시간 평균 AVG 0, AVG f , AVG b 중에서 최종 출력으로 사용될 어느 것을 결정한다.
N=5인 실시예에서, 양방향 시간 필터(110)는 프레임 메모리부(150, 160, 170, 180)(예를 들면, FM0, FM1, FM2 및 FM3)(도2)에 저장된 프레임들 F 0, F 1 , F 2, F 3와 입력되는 프레임 F 4를 이용하여 아래의 수학식(1) 내지 (3)에 따라 각 픽셀 (i,j)에 대하여 전체 평균 AVG 0, 순방향 평균 AVG f 및 역방향 평균 AVG b 를 계산한다.
Figure 112004050905962-pat00001
Figure 112004050905962-pat00002
Figure 112004050905962-pat00003
여기서 i,j는 각각 행과 열의 표시이다. 상기 실시예는 프레임들의 총 개수인 N=5에 대한 것이고, 3은 앞쪽(뒤쪽) 프레임들의 개수이다.
양방향 시간 필터(110)의 출력값들 AVG 0, AVG f 및 AVG b 는 필터 제어부(130)에 제공된다.
움직임 검출부(120)는 세 타입의 움직임을 검출한다. 세 타입의 움직임은 전체 움직임(예를 들면, 모든 프레임들 F 0, F 1, F 2 , F 3, F 4 사이의 움직임), 순방향 움 직임(예를 들면, 프레임 F 0, F 1, F 2 사이의 움직임) 및 역방향 움직임(예를 들면, 프레임들 F 2, F 3, F 4 사이의 움직임)이다.
도3은 도2의 비디오 노이즈 감소 장치(100)에서 움직임 검출부(120)의 블록도이다. 도3을 참조하면, 움직임 검출부(120)는 차이값부(200), 최대값부(210) 및 움직임 신호 생성부(220)를 포함한다.
차이값부(200)는 아래의 수학식 (4) 내지 (7)에 따라 연속적인 프레임들 각 쌍의 WxH(예를 들면, 3x3) 윈도우에 관한 절대치 차이값들 D 01, D 12 , D 23 및 D 34를 결정한다.
Figure 112004050905962-pat00004
Figure 112004050905962-pat00005
Figure 112004050905962-pat00006
Figure 112004050905962-pat00007
그후에, 최대값부(210)는 아래의 수학식 (8) 내지 (10)에 따라 네개의 차이값들 D 01, D 12, D 23, D 34로부터 세개의 최대값들 M 0, M f 및 M b 를 결정한다.
Figure 112004050905962-pat00008
Figure 112004050905962-pat00009
Figure 112004050905962-pat00010
수학식 (8) 내지 (10)에서, M 0값은 계산된 모든 절대치 최대값들(D 01 , D 12, D 23, D 34)중에서의 최대값이다. M f 값은 계산된 절대치 최대값들의 첫번째 절반(D 01, D 12) 중에서의 최대값이다. M b 값은 계산된 절대치 최대값들의 두번째 절반(D 23, D 34) 중에서의 최대값이다.
최대값부(210)의 출력들 M 0, M f , M b 는 움직임 신호 생성부(220)에 제공되어 M 0, M f , M b 값들로부터 전체 움직임 신호 MOT 0, 순방향 움직임 신호 MOT f 및 역방향 움직임 신호 MOT b 가 각각 생성된다.
움직임 신호 생성부(220)에는 또한 전역 노이즈 표준 편차 σ가 제공된다. 여기서 전역 노이즈 표준 편차 σ는, 여기에 참조로 통합된 것으로 보고 2003년 10 월 30일 출원되었으며 출원 계속중인 특허 출원 일련번호:10/697,362: "전역 및 국부 통계에 의해 컨트롤되는 노이즈 감소 시스템(Global and Local Statistics Controlled Reduction System)"에 기재된 것과 같은, 개별적인 노이즈 추정부를 이용하여 계산될 수 있다.
전역 노이즈 표준 편차 σ와 M 0, M f , M b 값들을 이용하여 움직임 신호 생성부(220)는 아래의 수학식 (11) 내지 (13)에 따라 움직임 신호들 MOT 0, MOT f 및 MOT b 를 계산한다.
Figure 112004050905962-pat00011
Figure 112004050905962-pat00012
Figure 112004050905962-pat00013
수학식 (11) 내지 (13)에서, 함수 min(a,b)는 a와 b의 두 값들 중에서 더 작은 것을 취하고, 함수 max(a,b)는 a와 b의 두 값들 중에서 더 큰 값을 취한다. 함수 T 1(σ) 및 T 2(σ)는 각각 전역 노이즈 표준 편차 σ에 좌우되는 하한 및 상한 임계값들이다. 예를 들면, T 1(σ) 및 T 2(σ)는 적당하게 선택된 상수들 c 1 및 c 2를 이용하여, T 1(σ)=c 1ㆍσ 및 T 2(σ)=c 2ㆍ σ와 같이 선택될 수 있다. 바람직하게는, 상수 들 c 1 및 c 2는 T 1(σ) 및 T 2(σ)가 각각 비-움직임 및 움직임에 대한 임계값들을 나타내도록 선택된다.
도4는 도3의 움직임 검출부에 의해 생성되는 움직임 신호의 그래프 곡선(300)이다. 도4를 참조하면, 도4는 생성된 움직임 신호들 MOT 0, MOT f 및 MOT b 의 일반적인 형태를 나타내는 예시 곡선(300)을 보여준다.
모든 움직임 신호들 MOT 0, MOT f 및 MOT b 의 값들은 예를 들어 0과 1사이로 한정되고, 여기서 값 0은 움직임이 없음을 나타내고 값 1은 현저한 움직임을 나타낸다. 움직임 신호의 값이 증가함에 따라 움직임 레벨은 증가한다.
다시 도2를 참조하면, 움직임 검출부(120)의 출력 움직임 신호들 MOT 0, MOT f , MOT b 는 양방향 시간 필터(110)의 출력들 AVG 0, AVG f , AVG b 와 함께 필터 제어부(130)에 제공되고, 여기서 필터 제어부(130)는 움직임 신호값들 MOT 0, MOT f , MOT b 를 바탕으로 최종 출력으로서 해당 시간 평균값들 AVG 0, AVG f , AVG b 중의 하나를 선택한다.
만일 전체 움직임 신호 MOT 0가 작으면(예를 들면, σ보다 작으면), 필터 제어부(130)는 최종 출력으로 전체 평균 AVG 0를 선택하고, 그렇지 않으면, 필터 제어부(130)는 순방향 움직임 신호 MOT f 를 더 체크한다.
만일 순방향 움직임 신호 MOT f 가 작으면(예를 들면, σ보다 작으면), 필터 제어부(130)는 최종 출력으로 순방향 평균 AVG f 를 선택하고, 그렇지 않으면, 필터 제어부는 역방향 움직임 신호 MOT b 를 더 체크한다.
만일 역방향 움직임 신호 MOT b 가 작으면(예를 들면, σ보다 작으면), 필터 제어부(130)는 최종 출력으로 역방향 평균 AVG b 를 선택하고, 그렇지 않으면 필터 제어부(130)는 시간 필터(110)를 스위치 오프하고, 센터 프레임(예를 들면, F2)의 픽셀값이 최종 출력으로 바이패스된다.
출력값을 선택하는 것에 있어서, 필터 제어부(130)에서의 소프트 스위칭 실시가 아래의 수학식 (14) 내지 (16)에 따라 실시될 수 있다.
Figure 112004050905962-pat00014
Figure 112004050905962-pat00015
Figure 112004050905962-pat00016
수학식 (14) 내지 (16)에서, F C 는 센터 프레임(예를 들면, 다섯-프레임 실시예에서 F2)을 나타내고, F OUT 은 최종 출력이다.
다음 프레임의 프로세스를 계속하기 위하여, 프레임 메모리부 FM0, FM1, FM2 및 FM3(도2)는 다음과 같이 업데이트된다. 즉, FM1에 저장된 프레임은 FM0로 복사 되고, FM2에 저장된 프레임은 FM1로 복사되고, FM3에 저장된 프레임은 FM2로 복사되고, 그리고 들어오는 입력 프레임은 FM3로 복사된다. 그후에 상기 프로세스는 그 프레임들이 프로세스될 때까지 반복된다.
물체가 일련의 비디오에서 어떤 방향을 따라 움직이고 있을 때, 순방향 움직임 신호는 현 프레임에서 움직이는 물체 후방의 움직임 경계에서 움직임을 나타낸다. 이 경우, 움직이는 물체의 후방에 노이즈 테일을 남기는 순방향 평균은 사용될 수 없다. 그러나, 이 상황에서, 다음(미래) 프레임들에서는 같은 경계 영역에서 움직임이 없다. 따라서, 역방향 움직임 신호는 움직임을 나타내지 않고, 역방향 평균이 적용되었을 때, 노이즈 테일은 본 발명의 일 실시예에 따라 본질적으로 제거된다.
본 발명은 많은 다른 형태로 구현될 수 있는데, 첨부된 도면에 도시되어 설명된 특정의 실시 예들은 단지 본 발명의 예로서 이해되어 지고, 본 발명의 넓은 관점을 설명된 실시예들로 제한하고자 하는 것이 아니다. 본 발명에 따른 전술된 검출 시스템은 다양한 방법으로 구현할 수 있으며, 예로서 프로세서에 의한 실행을 위한 프로그램 명령, 논리 회로, ASIC, 펌웨어 등과 같은 이 기술 분야에서 널리 알려진 수단들에 의하여 구현될 수 있다. 그러므로, 본 발명은 설명되어진 실시 예에 의하여 한정되어 지는 것은 아니다. 따라서, 본 발명은 여기에 설명된 실시예들로 제한되지 않는다.
본 발명은 그것에 대하여 확실하고 바람직한 버젼에 대한 참고자료와 함께 상당히 자세히 설명되었다. 그러나, 다른 버젼들도 가능하다. 따라서, 첨부된 청구 항들의 사상과 범위는 여기에 포함된 바람직한 버전들의 기술에 한정되어서는 안된다.
상술한 바와 같이 본 발명에 따르면, 양방향 필터링을 이용함으로써 테일링(tailing) 문제점을 해결할 수 있다. 즉, 물체가 일련의 비디오에서 어떤 방향을 따라 움직이고 있을 때 역방향 평균을 적용함으로써 노이즈 테일을 본질적으로 제거할 수 있다.

Claims (15)

  1. 일련의 비디오 프레임들에 대한 비디오 노이즈 감소 방법에 있어서,
    (a)비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 시간 평균값들을 계산하는 과정;
    (b)상기 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 움직임 신호값들을 계산하는 과정;
    (c)상기 움직임 신호값들을 바탕으로 상기 시간 평균값들 중에서 하나를 선택하는 과정;및
    (d)상기 선택된 시간 평균값을 출력하는 과정을 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  2. 제1항에 있어서, 상기 (a)과정의 복수의 시간 평균값들을 계산하는 과정은
    시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 프레임들의 시간 평균을 이용하여 전체 평균값을 계산하는 과정;
    상기 시간 간격 내에서 센터 프레임과 그 전방에 이웃하는 프레임들의 시간 평균을 이용하여 순방향 평균값을 계산하는 과정;및
    상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들의 시간 평균을 이용하여 역방향 평균값을 계산하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  3. 제2항에 있어서, 상기 (b)과정의 복수의 움직임 신호값들을 계산하는 과정은
    시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 전체 움직임 신호값을 계산하는 과정;
    상기 시간 간격 내에서 센터 프레임과 그 앞쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 순방향 움직임 신호값을 계산하는 과정;및
    상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 역방향 움직임 신호값을 계산하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  4. 제3항에 있어서, 상기 전체 움직임 신호값을 계산하는 과정은
    상기 시간 간격 내에서 연속적인 프레임들 각 쌍의 WxH 윈도우에 관한 절대치 차이값들을 계산하는 과정;
    상기 계산된 절대치 차이값들 중에서 최대값들을 선택하는 과정;및
    비선형 함수를 이용하여 상기 선택된 최대값들로부터 상기 전체 움직임 신호값을 생성하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  5. 제3항에 있어서, 상기 순방향 움직임 신호를 계산하는 과정은:
    상기 시간 간격 내에서 연속적인 프레임들 각 쌍의 WxH 윈도우에 관한 절대치 차이값들을 계산하는 과정;
    상기 계산된 복수의 절대치 차이값들 중에서 최대값들을 선택하는 과정;및
    비선형 함수를 이용하여 상기 선택된 최대값들로부터 상기 순방향 움직임 신호값을 생성하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  6. 제5항에 있어서, 상기 최대값들을 선택하는 과정은
    상기 계산된 절대치 차이값들의 첫번째 절반 중에서 최대값들을 선택하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  7. 제3항에 있어서, 상기 역방향 움직임 신호값을 계산하는 과정은
    상기 시간 간격 내에서 연속적인 프레임들 각 쌍의 WxH 윈도우에 관한 절대치 차이값들을 계산하는 과정;
    상기 계산된 복수의 절대치 차이값들 중에서 최대값들을 선택하는 과정;및
    비선형 함수를 이용하여 상기 선택된 최대값들로부터 상기 역방향 움직임 신 호값을 생성하는 과정을 더 포함하는 것을 특징으로 하는 비디오 노이즈 감소 방법.
  8. 제7항에 있어서, 상기 최대값들을 선택하는 과정은
    상기 계산된 절대치 차이값들의 두번째 절반 중에서 최대값들을 선택하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  9. 제4항, 제5항 또는 제7항 중의 어느 한 항에 있어서, 상기 비선형 함수는
    Figure 112004050905962-pat00017
    의 형식을 갖고, 여기서 상기 MAX는 해당하는 선택된 최대값들을 나타내고, 상기 T 1(σ) 및 T 2(σ)는 각각 전역 노이즈 표준 편차 σ에 좌우되는 하한 및 상한 임계값들을 나타냄을 특징으로 하는 비디오 노이즈 감소 방법.
  10. 제3항에 있어서, 상기 움직임 신호값들을 바탕으로 상기 시간 평균값들 중에서 하나를 선택하는 과정은
    만일 전체 움직임 신호값이 제1 범위 이내이면, 출력으로 상기 전체 평균값을 선택하는 과정;
    그렇지 않고, 만일 순방향 움직임 신호값이 제2 범위 이내이면, 출력으로 상기 순방향 평균값을 선택하는 과정;
    그렇지 않고, 만일 역방향 움직임 신호값이 제3 범위 이내이면, 출력으로 상기 역방향 평균값을 선택하는 과정:및
    그렇지 않으면, 출력으로 상기 센터 프레임의 현재 픽셀값을 선택하는 과정을 더 포함함을 특징으로 하는 비디오 노이즈 감소 방법.
  11. 제10항에 있어서, 상기 시간 평균값들 중에서 하나를 출력 F OUT 으로 선택하는 과정은 다음의 수학식들
    Figure 112004050905962-pat00018
    에 따르고, 여기서 AVG 0는 전체 평균값이고, AVG f 는 순방향 평균값이고, AVG b 는 역방향 평균값이고, MOT 0는 전체 움직임 신호값이고, MOT f 는 순방향 움직임 신호값이고, MOT b 는 역방향 움직임 신호값이고, i, j는 이차원 프레임에서 픽셀 위치를 가리키는 값들이고, 그리고 F C 는 센터 프레임임을 특징으로 하는 비디오 노이즈 감소 방법.
  12. 일련의 비디오 프레임들에서 비디오 노이즈를 감소하는 장치에 있어서,
    비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 시간 평균 값들을 계산하는 시간 필터부;
    상기 비디오 프레임들에 대하여 서로 다른 시간 방향들 쪽으로 복수의 움직임 신호값들을 계산하는 움직임 검출부;및
    상기 움직임 신호값들을 바탕으로 상기 시간 평균값들 중에서 하나를 출력으로 선택하는 제어부를 포함하는 것을 특징으로 하는 비디오 노이즈 감소 장치.
  13. 제12항에 있어서, 상기 시간 필터는
    시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 프레임들의 시간 평균을 이용하여 전체 평균값을 계산하고;
    상기 시간 간격 내에서 센터 프레임과 그 앞쪽에 이웃하는 프레임들의 시간 평균을 이용하여 순방향 평균값을 계산하고;그리고
    상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들의 시간 평균을 이용하여 역방향 평균값을 계산하는 것에 의하여 상기 복수의 시간 평균값들을 계산하는 것을 특징으로 하는 비디오 노이즈 감소 장치.
  14. 제13항에 있어서, 상기 움직임 검출부는
    시간 간격 내에서 센터 프레임과 그 앞쪽 및 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 전체 움직임 신호값을 계산하고;
    상기 시간 간격 내에서 센터 프레임과 그 앞쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 순방향 움직임 신호값을 계산하고;그리고
    상기 시간 간격 내에서 센터 프레임과 그 뒤쪽에 이웃하는 프레임들 사이의 움직임을 나타내는 역방향 움직임 신호값을 계산하는 것에 의하여 상기 복수의 움직임 신호값들을 계산하는 것을 특징으로 하는 비디오 노이즈 감소 장치.
  15. 제14항에 있어서, 상기 제어부는
    만일 전체 움직임 신호값이 제1 범위 이내이면, 출력으로 상기 전체 평균값을 선택하고;
    그렇지 않고, 만일 순방향 움직임 신호값이 제2 범위 이내이면, 출력으로 상기 순방향 평균값을 선택하고;
    그렇지 않고, 만일 역방향 움직임 신호값이 제3 범위 이내이면, 출력으로 상기 역방향 평균값을 선택하고;
    그렇지 않으면, 출력으로 상기 센터 프레임의 현재 픽셀값을 선택하는 것에 의하여 상기 시간 평균값들 중에서 하나를 선택하는 것을 특징으로 하는 비디오 노이즈 감소 장치.
KR1020040088872A 2004-09-02 2004-11-03 적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법 KR100677148B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/934,025 US7330218B2 (en) 2004-09-02 2004-09-02 Adaptive bidirectional filtering for video noise reduction
US10/934,025 2004-09-02

Publications (2)

Publication Number Publication Date
KR20060021255A KR20060021255A (ko) 2006-03-07
KR100677148B1 true KR100677148B1 (ko) 2007-02-02

Family

ID=35942525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040088872A KR100677148B1 (ko) 2004-09-02 2004-11-03 적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법

Country Status (2)

Country Link
US (1) US7330218B2 (ko)
KR (1) KR100677148B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060182184A1 (en) * 2005-02-11 2006-08-17 Florent Maheo Device and method for pre-processing before encoding of a video sequence
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
TWI316213B (en) * 2006-06-14 2009-10-21 Realtek Semiconductor Corp Noise reduction apparatus for image signal and method thereof
US8059207B2 (en) * 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
US8385425B2 (en) * 2007-10-25 2013-02-26 Microsoft Corporation Temporal video filtering for real time communication systems
US8149336B2 (en) * 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
US8237868B2 (en) * 2009-03-30 2012-08-07 Sharp Laboratories Of America, Inc. Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
WO2011004427A1 (ja) * 2009-07-07 2011-01-13 株式会社 東芝 画像処理装置
US8497914B2 (en) * 2009-08-10 2013-07-30 Wisconsin Alumni Research Foundation Vision system and method for motion adaptive integration of image frames
DE112017001477T5 (de) * 2016-03-23 2018-12-06 Koninklijke Philips N.V. Verbesserte bildqualität durch zweistufige temporale rauschunterdrückung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
KR20030040684A (ko) * 2001-11-15 2003-05-23 삼성전자주식회사 3차원 노이즈 감쇠 장치 및 방법
KR20030059336A (ko) * 2000-12-15 2003-07-07 로베르트 보쉬 게엠베하 내연 기관 및 2 개의 전기 기계에 의해 구동되는 차량의작동 방법
KR20040024888A (ko) * 2002-09-17 2004-03-24 (주)펜타마이크로 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600731A (en) * 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
US5689305A (en) * 1994-05-24 1997-11-18 Kabushiki Kaisha Toshiba System for deinterlacing digitally compressed video and method
EP0878776B1 (en) * 1997-05-12 2003-08-27 STMicroelectronics S.r.l. Adaptive intrafield reducing of gaussian noise by fuzzy logic processing
CA2344615A1 (en) * 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
US7173971B2 (en) * 2002-11-20 2007-02-06 Ub Video Inc. Trailing artifact avoidance system and method
WO2005002234A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. Video coding in an overcomplete wavelet domain
US7317842B2 (en) * 2003-10-30 2008-01-08 Samsung Electronics Co., Ltd. Global and local statistics controlled noise reduction system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
KR20030059336A (ko) * 2000-12-15 2003-07-07 로베르트 보쉬 게엠베하 내연 기관 및 2 개의 전기 기계에 의해 구동되는 차량의작동 방법
KR20030040684A (ko) * 2001-11-15 2003-05-23 삼성전자주식회사 3차원 노이즈 감쇠 장치 및 방법
KR20040024888A (ko) * 2002-09-17 2004-03-24 (주)펜타마이크로 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법

Also Published As

Publication number Publication date
US7330218B2 (en) 2008-02-12
US20060044475A1 (en) 2006-03-02
KR20060021255A (ko) 2006-03-07

Similar Documents

Publication Publication Date Title
KR100601707B1 (ko) 비디오 신호에 대한 움직임 적응성 노이즈 감소 장치 및그 방법
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US20200099944A1 (en) Real-time adaptive video denoiser with moving object detection
KR102182695B1 (ko) 영상 잡음 제거 장치 및 방법
KR100677148B1 (ko) 적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법
US20060139494A1 (en) Method of temporal noise reduction in video sequences
KR101306242B1 (ko) 영상의 시간적 잡음 제거 방법 및 장치
CA2147636A1 (en) Three-dimensional median and recursive filtering apparatus and method for video image enhancement
WO2001035636A1 (en) Spatio-temporal video noise reduction system
WO2004002135A1 (ja) 動き検出装置及びそれを用いたノイズリダクション装置
KR20060095960A (ko) 블록 노이즈 저감 장치 및 화상 표시 장치
EP2107523B1 (en) Method for detecting scene change in a video picture sequence
CN101141655A (zh) 影像信号像素点色彩值调整方法
US8090210B2 (en) Recursive 3D super precision method for smoothly changing area
JP3326827B2 (ja) ノイズ除去回路
US20060182184A1 (en) Device and method for pre-processing before encoding of a video sequence
KR20090048596A (ko) 디지털 이미지의 모스키토 노이즈를 감소시키기 위한 방법 및 시스템
JP3230950B2 (ja) 放置物体検出装置
KR100772380B1 (ko) 확장된 잡음 적응 움직임 검출 방법 및 장치
JPH0846925A (ja) 画像信号の動き検出回路
KR20110006869A (ko) 디지털 영상 처리기에서 노이즈 제거 장치
CN108174056A (zh) 一种时空域联合的微光视频降噪方法
JP4438161B2 (ja) 画像処理装置及び画像処理方法
KR101079299B1 (ko) 시간적 및 공간적 영상 잡음 제거 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee