KR20040054676A - 노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소시스템 및 이러한 디바이스를 포함하는 코딩 시스템 - Google Patents

노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소시스템 및 이러한 디바이스를 포함하는 코딩 시스템 Download PDF

Info

Publication number
KR20040054676A
KR20040054676A KR10-2004-7002526A KR20047002526A KR20040054676A KR 20040054676 A KR20040054676 A KR 20040054676A KR 20047002526 A KR20047002526 A KR 20047002526A KR 20040054676 A KR20040054676 A KR 20040054676A
Authority
KR
South Korea
Prior art keywords
dfd
noise level
local
motion
global
Prior art date
Application number
KR10-2004-7002526A
Other languages
English (en)
Inventor
올리비에 르뫼르
쟝-이브 바보노
죠르쥬 쥬로
Original Assignee
넥스트림 프랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스트림 프랑스 filed Critical 넥스트림 프랑스
Publication of KR20040054676A publication Critical patent/KR20040054676A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 코딩에 앞서 비디오 화상의 노이즈 레벨을 추정하기 위한 디바이스 및 프로세스에 관한 것이다.
상기 디바이스는 특히, 적어도 하나의 입력 화상을 저장하는 수단과, 현재 입력 화상과 상기 저장 수단에 미리 저장된 적어도 하나의 입력 화상에 기초하여 움직임-보상 화상 변동을 나타내는 블록방식의, 제1 량을 생성하도록 설계된 블록방식 움직임 추정 모듈과, 움직임-보상 화상 변동을 나타내는 적어도 어떤 상기 양의 함수로서 각 화상에 대한 글로벌 노이즈 레벨을 추정하는 수단을 포함하고,
상기 디바이스는 움직임-보상 화상 변동 및 글로벌 노이즈 레벨을 나타내는 제2 량의 함수로서 화상의 각 블록에 대한 로컬 노이즈 레벨을 추정하는 수단을 포함한다.

Description

노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소 시스템 및 이러한 디바이스를 포함하는 코딩 시스템{DEVICE AND PROCESS FOR ESTIMATING NOISE LEVEL, NOISE REDUCTION SYSTEM AND CODING SYSTEM COMPRISING SUCH A DEVICE}
본 발명은 디지털 비디오 신호에 적용되는 노이즈 레벨 추정 기술에 관한 것이다. 노이즈 레벨 추정을 위한 이러한 기술들은 노이즈 감소 기술에 사용된다. 노이즈 감소 기술은 일반적으로 매트릭스 형태로된 샘플들을 취하는 디지털 비디오 화상에 적용되고, 각 샘플은 휘도 신호와, 크로미넌스 신호(chrominance signal)로 된 색 신호로 구성된다.
오늘날 비디오 화상 시퀀스는 아직도 아날로그 형태로 널리 획득되고 있어, 일단 획득된 화상은 아날로그 형태로 포워드되고 저장될 수 있으며, 그 콘텐츠 내에 다소의 노이즈가 존재한다. 일단 디지탈화되면, 이 화상들은 종종 저장/편집 오퍼레이션을 거치고 그 결과 디지털 특성의 노이즈를 이끌어낸다. 결국, 보통은 화상 시퀀스가 연속하여 변형됨으로써 상당히 랜덤한 특성의 시공에 관한(spatio-temporal) 노이즈를 갖게 된다.
고성능의 기능을 달성하기 위해, 노이즈 감소 방법은 비디오 시퀀스 화상의 온도 상관 관계를 매우 강하게 고려하는 반복적 필터링을 요구한다. 결과적으로, 움직임 및 변위의 개념은 효율적인 노이즈 감소의 미세 조정에 있어 중요하다.
'변위(displacement)'라는 것은 한 장면에서 오브젝트의 위치 변경을 의미하는 것으로 이해되며, 이러한 위치 변화는 이 오브젝트에 국한되고 특정된다. '움직임(motion)'이라는 것은 비디오 시퀀스에서의 오브젝트들의 전체 변위 세트를 의미하는 것으로 이해된다.
움직임은 통상 화상-대- 화상 차이에 의해 간단히 또는 움직임 추정기를 사용함으로써 검출된다.
움직임 추정기가 사용되면, 변위는 별개의 순간들에서의 화상 차 계산 뿐아니라 프레임 내에서 공간적으로 움직이는 것으로 고려된다. 이러한 변위는 픽셀(픽셀 방식 움직임 추정) 또는 블록(블록방식 움직임 추정)에 적용된 움직임 벡터 필드로 표시된다. 따라서, DFD(Displacement Frame Difference, 변위 프레임 차)라고 하는 움직임 보상 화상 차가 픽셀 방식 또는 블록 방식으로 구해진다.
공지된 시스템들에서, 노이즈 레벨의 추정은 화상 프레임 레벨에서 행해진다. 이러한 추정은 프레임에 걸쳐 노이즈를 균일하게 하여 결과적으로 필터링되며, 흐릿하게 보이거나 예를들어, 잔디 등의 어떤 텍스쳐를 스무딩하게 보이게 하는 등 어떤 노이즈-프리 존에서의 해상도의 손실과 같은 소정의 결함을 발생시킬 수 있다. 이러한 시스템이 Thomson Multimedia Company에 의해 2000년 7월 24일 출원된 프랑스국 특허 출원009684호에 개시되어 있다.
본 발명은 노이즈의 로컬 추정에 기초하여 노이즈 레벨을 추정함으로써 그 랜덤한 특성을 설명하는 디바이스에 관한 것이다. 이것은 위에서 논의된 단점을 상당히 감소시켜 화상 품질을 증가시키는 데 기여한다.
본 발명은 또한, 노이즈 감소 시스템 및 이러한 디바이스를 포함하는 코딩 시스템 뿐아니라 대응하는 움직임-보상 반복 필터링 프로세스에 관한 것이다.
이러한 목적으로, 본 발명은 코딩에 앞서 비디오 화상의 노이즈 레벨을 추정하기 위한 디바이스에 관한 것으로,
적어도 하나의 입력 화상의 저장 수단과,
현재 입력 화상 및 상기 저장 수단에 미리 저장된 적어도 하나의 입력 화상에 기초하여, 움직임-보상 화상 변동을 나타내는 블록방식의, 양(quantities)을 생성하도록 구성된 블록방식 움직임 추정 모듈과,
움직임 보상 화상 변동을 나타내는 적어도 상기 양의 함수로서 각 화상에 대한 글로벌 노이즈 레벨을 추정하는 수단을 포함하고,
본 발명에 따르면, 상기 디바이스는 움직임-보상 화상 변동 및 글로벌 노이즈 레벨을 나타내는 양의 함수로서 화상의 각 블록에 대한 로컬 노이즈 레벨을 추정하는 수단을 포함한다.
'움직임-보상 화상 변동을 나타내는 양' 이라는 표현은 움직임 추정을 고려함으로써 (바람직하게는 블록방식) 화상 시퀀스에서 일시적 변화를 측정하는 평균량으로 이해된다. 이 양은 DFD로 이루어진다.
DFD는 비디오 시퀀스에 포함된 노이즈량을 충분히 잘 나타낸다. DFD는 움직임 보상이 이상적이라면(즉, 움직임 및 변형의 특성에 관계없이 보상이 완벽하다면) 정확한 식으로 주어진다.
상당히 랜덤한 노이즈 특성을 고려함으로써, 로컬 노이즈 레벨의 추정은 가공물 필터링을 감소시킬 수 있게 한다; 프레임에 걸쳐 노이즈 레벨이 균일하다는 것은 노이즈 블록과 노이즈-프리 블록에 대해 필터링이 동일하다는 뜻이다.
따라서, 로컬 레벨에서 노이즈 레벨의 추정은 흐릿하게 보여지거나 예를들어, 잔디 등의 어떤 텍스쳐를 스무딩하게 하는 특히 화상의 노이즈-프리 존에서의 해상도에 상당히 손실을 주는 현상을 감소시킨다.
로컬 노이즈 레벨을 프레임의 글로벌 노이즈 레벨의 함수로서 추정함으로써, 현재 블록의 노이즈 레벨을 프레임의 글로벌 노이즈 레벨과 관련하여 위치시킴으로써 글로벌 노이즈 레벨의 추정을 개선시키게 된다.
바람직하게는, 상기 글로벌 노이즈 레벨을 판정하기 위한 움직임-보상 화상 변동을 나타내는 상기 양이 최소량이고 블록방식 움직임 추정 모듈에 의해 평균량이 계산된다.
바람직하게는, 상기 로컬 노이즈 레벨을 판정하기 위한 움직임-보상 화상 변동을 나타내는 상기 양은 로컬량(local quantity)이고, 평균량은 블록방식 움직임 추정 모듈에 의해 계산된다.
바람직한 실시예에 따르면, 로컬 노이즈 레벨의 추정 평균은 평균 DFD 및 로컬 DFD 간의 차의 함수로서 및 상기 차 대 평균 DFD의 비의 함수로서 판정되도록 설계된다.
바람직하게는, 로컬 노이즈 레벨은 상기 차의 값과 적어도 하나의 사전설정된 임계치 간의 비교 함수로서 차동 조정된다.
이로써 사전설정된 트레시홀드의 함수로서 노이즈 레벨을 조정할 수 있게 하고 로컬 노이즈 레벨이 미리 정해진 값들의 범위로부터 벗어나지 못하도록 함으로써 로컬 노이즈 레벨의 변동을 제한한다.
본 발명은 또한 발명에 따른 노이즈 레벨을 추정하기 위한 디바이스를 포함하는 노이즈 감소 디바이스에 관한 것이다.
본 발명은 또한 발명에 따른 노이즈 레벨을 추정하기 위한 디바이스를 포함하는 코딩 시스템과 관련된다.
또한, 본 발명은 코딩에 앞서 비디오 화상의 노이즈 레벨을 추정하는 프로세스에 관한 것으로,
적어도 하나의 현재 입력 화상이 저장되는 스텝과,
현재 입력 화상과, 상기 저장 수단에 미리 저장된 적어도 하나의 입력 화상에 기초하여, 움직임-보상 화상 변동을 나타내는 블록방식의, 제1 량을 생성하도록 블록방식 움직임 추정이 행해지는 스텝과,
움직임-보상 화상 변동을 나타내는 적어도 어떤 상기 양의 함수로서 각 화상에 대한 글로벌 노이즈 레벨이 판정되는 스텝을 포함한다.
본 발명에 따르면, 움직임-보상 화상 변동과 글로벌 노이즈 레벨을 나타내는 양의 함수로서 화상의 각 블록에 대한 로컬 노이즈 레벨이 판정된다.
본 발명은 첨부된 도면을 참조하여, 제한적이지 않고 유리한 예시적인 실시예들 및 실시 모드에 의해 좀 더 잘 설명될 것이다.
본 발명은 노이즈 레벨 추정을 위한 디바이스 및 프로세스 뿐아니라, 노이즈 감소 시스템 및 이러한 디바이스를 포함하는 코딩 시스템에 관한 것이다.
도 1은 본 발명에 따른 노이즈 레벨 추정 모듈을 포함하는 노이즈 레벨 추정 디바이스를 도시하는 도면.
도 2는 블록에 대한 로컬 노이즈 레벨을 추정하기 위한 모듈의 기능성을 나타내는 흐름도.
도 3은 글로벌 노이즈 레벨을 변형하여 사전설정된 트레시홀드의 함수로서 로컬 노이즈 레벨을 구하기 위한 도면.
다음의 표기를 채용한다.
-x, y 및 t는 각각 가로, 세로 및 시간을 나타낸다.
-u(x,y;t)는 현재 입력 신호를 나타낸다.
-u(x,y;t-T)는 지연 T(T는 예를들어, 1 비디오 프레임의 지연을 나타냄)에 의해 지연된 입력 신호를 표시한다.
-d(dx, dy)는 변위 벡터, dx는 가로축을 따른 변위 오프셋(시프트)를 나타내고, dy는 세로축을 따른 변위 오프셋을 나타낸다.
-v(x,y;t)는 필터 출력을 나타낸다.
-σglobal은 전체 화상에 대해 추정된 노이즈 레벨을 표시한다.
-σlocal은 화상 블록에 대해 추정된 노이즈 레벨을 표시한다.
-DFD(x,y;t): DFD(x,y;t)=u(x,y;t)-u(x+dx, y+dy; t-T)이 픽셀 또는 픽셀블록에 적용된다.
필터링 디바이스는 입력 화상(신호 u(x,y;t))를 저장하는 메모리(1)와, 현재 입력 화상(신호 u(x,y;t))과 메모리(1)에 미리 저장된 입력 화상(신호u(x,y;t-T))에 기초하여, 움직임 벡터 d(dx, dy) 및 DFD를 블록 방식으로 생성하도록 설계된 블록방식 움직임 추정기(2)를 포함한다.
상기 디바이스는 또한 평균 DFD(DFDmean) 및 최소 DFD(DFDmin)의 함수로서 화상에 글로벌한 노이즈 레벨을 추정하는 모듈(3)로 구비된다.
또한, 시각 t에 대한 로컬 DFD를 저장하기 위한 메모리(5)를 포함한다. 평균 DFD는 프레임의 모든 로컬 DFD를 통과(traverse)한 후 계산된다.
또한, 로컬 DFD(DFD(x,y;t) 및 평균 DFD(DFDmean)의 화상에 대한 글로벌 노이즈 레벨을 추정하기 위한 모듈(3)에 의해 계산된 노이즈 레벨 σglobal의 함수로서 블록에 대한 로컬 노이즈 레벨을 추정하기 위한 모듈(4)을 포함한다. 이 모듈의 기능들을 도 2에서 상세히 설명한다.
평균 DFD(DFDmean) 및 최소 DFD(DFDmin)는 로컬 DFD(DFD(x,y;t)를 계산하기 앞서 미리 계산된다.
상기 디바이스는 변위 벡터d(dx, dy) 및 로컬 노이즈 레벨 σlocal(x,y;t)의 함수로서, 움직임-적응 및/또는 보상된 노이즈 레벨을 감소시키기 위한 모듈(6)을 포함한다.
모듈(6)은 현재 필터링된 화상 v(x,y;t)를 출력한다.
모듈(6)은 노이즈 감소에 적용된 필터링 모듈이거나 좀 더 일반적으로는 화상 처리 모듈일 수 있다.
블록방식 움직임 추정 모듈(2)에 의해 출력된 최소 DFD(DFDmin)는 여러가지 방법으로 계산될 수 있다.
제1 실시예에 따르면, 프레임의 최소 DFD를 표시할 수 있다. 이러한 해법은 소형의 최소 DFD를 갖도록 하기 위해서는 DFD들 중 하나만 작게 되면 충분하기 때문에 간단하고 경제적이지만 부정확하다. 따라서, 아래의 수학식으로 주어진다.
-resX(또는 resY) 수평(또는 수직) 해상도,
-blockX(또는 blockY) 수평 블록의 크기 통상 16 픽셀 크기(또는 수직 블록의 크기 통상 8 픽셀 크기).
제2 실시예에 따르면, DFDmin은 프레임의 최소 DFD의 비율을 나타낸다. 본 실시예에서, DFDmin은 프레임의 최소 DFD의 비율을 나타낸다. 본 실시예에서, DFDmin은 한 세트의 값들에 기초하여 계산됨에 따라서 이전 실시예에서와 같이 하나의 값을 나타내지는 않는다. 이러한 해법은 좀 더 정확하지만 프레임의 모든 DFD가 랭크될 필요가 있기 때문에 좀 더 복잡하다.
평균 DFD(DFDmean)은 프레임의 모든 DFD의 평균을 표시한다. 평균 DFD는 프레임 내의 DFD 수에 대한 로컬 DFD의 합계이다. 따라서 아래의 수학식으로 나타낸다.
예를들어, 해상도 720*288 및 블록 16*8을 갖는 프레임에 대해서 (720/16)*(288/8)DFD 즉, 1620 DFD를 갖는다. 이러한 경우, 평균은 1620 DFD에 대해 계산되고 평균 DFD로 지정된다.
이러한 모듈은 프로세스된 DFD(x,y;t) 블록의 로컬 DFD, 평균 DFD(DFDmean), 글로벌 노이즈 레벨σglobal을 입력으로서 수신한다.
이러한 모듈은 현재 블록의 평균 DFD(DFDmean) 및 로컬 DFD(DFD(x,y;t))의 함수로서 노이즈 레벨의 로컬 적응을 행한다. 이러한 적응은 한편으로는, 평균 DFD와 로컬 DFD 간의 차(ERROR_DFD)에 의해 제어되고 다른 한편으로는, 상기 차 대 평균 DFD의 비(Ratio_DFD)에 의해 제어된다.
평균 DFD와 로컬 DFD 간의 차는 적응의 변동 방향을 판정하고, 특히, 에러가 '정(positive)'이면(로컬 DFD가 평균 DFD보다 작다는 것을 의미함), 노이즈 레벨은 감소되어야 한다. 반대로, 에러가 '부(negative)'이면, 노이즈 레벨이 증가한다.
평균 DFD와 로컬 DFD 간의 차 대 평균 DFD의 비는 발생된 에러를 평균 DFD에 대한 정규화된 형태로 표시한다.
화상에 대해 가시적인 가공물을 생성하는 이진 보정을 행하지 않도록 하기 위한 한가지 해법으로, 트레시홀드의 함수로서 보정을 행하는 것이다. 이에 따라, 에러 ERROR_DFD의 변동 범위는 수개의 존들로 분할된다.
이하에서 설명하는 예는 도 3에서 표시한 바와 같이, ERROR_DFD의 범위를 4개 존으로 분할하는 두개의 트레시홀드를 정의한다.
- 에러가 0과 트레시홀드 1(S1) 사이에 있다면, 로컬 DFD는 평균 DFD보다 작다. 따라서, 도 2의 스텝 E9 동안에 표시된 바와 같이 노이즈 레벨은 감소된다; 에러가 0에 가깝게 되면 그 감소 정도는 작고 에러가 트레시홀드 1에 가까우면 이 간격 동안 최대로 감소한다.
- 에러가 0과 트레시홀드 2(S2) 사이에 있다면, 로컬 DFD는 평균 DFD보다 크다. 따라서, 도 2의 스텝 E4 동안에 표시된 바와 같이 노이즈 레벨은 증가된다; 에러가 0에 가까우면 증가 정도는 작고 에러가 트레시홀드 2에 가까우면 이 간격 동안 최대로 증가한다.
- 에러가 트레시홀드 1(S1)보다 크면, 도 2의 스텝 E10 동안에 표시된 바와 같이 노이즈 레벨 감소는 파라미터 함수의 최대값으로 제한된다.
-에러가 트레시홀드(S2)보다 작다면, 로컬 DFD는 평균 DFD보다 더 커지고, 따라서 로컬 노이즈 레벨은 증가된다. 노이즈 레벨의 로컬 적응을 실행하기 위해, 두가지 경우들이 고려된다:
-움직임이 상당히 큰 경우, 움직임 추정기의 보상이 불량한 것으로 생각된다. 따라서, 로컬 DFD는 노이즈와 사용가능 신호를 혼합한 것을 나타낸다. 로컬 노이즈 레벨의 증가는 도 2의 스텝 E6 동안 표시된 바와 같이 최대값으로 제한된다.
- 반대의 경우, 움직임이 미소한 경우에 대해 말하자면, 움직임 추정기는 아주 신뢰성있는 것으로 고려된다. 움직임 보상은 양호한 품질일 것으로 생각된다. 결과적으로, 로컬 DFD는 노이즈를 나타낸다. 따라서, 도 2의 스텝 E7 동안 표시된 바와 같이 로컬 노이즈 레벨에서의 증가가 제한되는 것은 아니다.
가중치 계수 β1및 β2는 로컬 조정의 효과를 좀 더 크게하거나 작게할 수 있다. 다양한 방법으로 이러한 가중치에 영향을 줄 수 있고 예시적인 실시예를 들어 설명하기로 한다.
이제, 도 2를 참조하여 블록에 대한 로컬 노이즈 레벨을 추정하기 위한 모듈(4)의 실시를 설명하기로 한다.
모듈(4)은 평균 DFD(DFDmean)과 로컬 DFD(DFD(x,y;t)를 입력으로서 수신하고 스텝 E1 동안 평균 DFD와 로컬 DFD 간의 차 ERROR_DFD를 계산한다.
스텝 E2 동안에, 이 차가 '정'인지 '부'인지 판정하기 위한 비교 테스트를 행한다.
그 차가 '부'이면, 스텝 E3로 가서 이 차를 트레시홀드 S2와 비교한다.
ERROR_DFD가 트레시홀드 S2보다 크거나 같다면, 스텝 E4로 진행한다. 스텝E4 동안에, 로컬 노이즈 레벨이 증가된다. 예를들면, 이러한 증가는 다음의 수학식을 사용하여 행해질 수 있다.
ERROR_DFD가 S2보다 작다면, 스텝 E5로 진행한다. 스텝 E5 동안에, 테스트를 행하고 변위 벡터 d(x,y)의 값과 움직임 트레시홀드 S3을 비교한다. d(x,y)가 S3보다 크다면, 스텝 E7으로 진행한다. 스텝 E7 과정에서, 로컬 노이즈 레벨이 증가되고 트레시홀드된다. 예를들어, 이것은 다음과 같은 방법으로 행해질 수 있다.
d(x,y)가 S3 이하라면, 로컬 노이즈 레벨이 증가되고 있는 스텝 E6로 진행한다. 예를들어, 이것은 다음과 같이 행해질 수 있다:
만약, 스텝 E2 과정에서, ERROR_DFD가 '부'라면, 이 차와 트레시홀드 S1을 비교하는 스텝 E8로 진행한다.
만약, ERROR_DFD가 트레시홀드 S1 이하라면, 스텝 E9로 진행한다. 스텝 E9 과정에서, 로컬 노이즈 레벨이 감소된다. 예를들어, 이러한 감소는 다음의 수학식을 사용하여 행해질 수 있다.
만약, ERROR_DFD가 트레시홀드 S1보다 크다면, 스텝 E10으로 진행한다. 스텝 E10의 과정에서 로컬 노이즈 레벨이 감소되고 예를들어 주어진 다음의 수학식에 따라 트레시홀딩이 행해진다.
다음, 스텝 E11로 진행하여, 로컬 노이즈 레벨의 값이 최소값 αmin과 최대값 αmax를 부과함으로써 평활화(smoothing)된다. 구해진 노이즈 레벨의 최종값은 그 값이 αmax보다 크다면 스텝 E4, E6, E7, E9 또는 E10 동안 구해진 값이거나 αmax이고, 또는 그 값이 αmin보다 작다면 스텝 E4, E6, E7, E9 또는 E10 동안 구해진 값이거나 αmin이다.
어떤 특정 실시예들에서, 예를들어 다음의 값들이 다양한 트레시홀드들에 대해 취해질 수 있다.
대칭을 나타내기 위해, S1= ｜S2｜ 및 β2= β1로 할 수 있다.

Claims (8)

  1. 코딩에 앞서 비디오 화상의 노이즈 레벨을 추정하기 위한 디바이스로서,
    적어도 하나의 입력 화상 u(x,y;t)의 저장 수단(1)과,
    현재 입력 화상 u(x,y;t)과 상기 저장 수단(1)에 미리 저장된 적어도 하나의 입력 화상 (u(x,y;t-T))에 기초하여, 움직임-보상 화상 변동(DFD)을 나타내는 블록방식의, 제1 량(quantity)을 생성하도록 설계된 블록방식 움직임 추정 모듈(2)과,
    움직임-보상 화상 변동(DFD)을 나타내는 적어도 소정의 상기 제1 량(DFD)의 함수로서 각 화상에 대한 글로벌 노이즈 레벨(σglobal)을 추정하는 수단(3)
    을 포함하고,
    상기 디바이스는 움직임-보상 화상 변동(DFD)과 글로벌 노이즈 레벨(σglobal)을 나타내는 제2 량의 함수로서 화상의 각 블록에 대한 로컬 노이즈 레벨(σlocal)을 추정하는 수단(4)을 포함하는 것을 특징으로 하는 노이즈 레벨 추정 디바이스.
  2. 제1항에 있어서,
    상기 글로벌 노이즈 레벨(σglobal)을 판정하기 위한 움직임-보상 화상 변동(DFD)을 나타내는 상기 소정의 제1 량은, 블록방식 움직임 추정 모듈(2)에 의해 계산되는 최소량(DFDmin) 및 평균량(DFDmean)인 것을 특징으로 하는 노이즈 레벨추정 디바이스.
  3. 제2항에 있어서, 상기 로컬 노이즈 레벨(σlocal)을 판정하기 위한 움직임-보상 화상 변동(DFD)을 나타내는 상기 제2 량은, 블록방식 움직임 추정 모듈(2)에 의해 계산되는 로컬량(DFD(x,y;t)) 및 평균량(DFDmean)인 것을 특징으로 하는 노이즈 레벨 추정 디바이스.
  4. 제1항 또는 제2항에 있어서, 로컬 노이즈 레벨(σlocal)의 추정 수단(4)은
    평균 DFD(DFDmean)과 로컬 DFD(DFD(x,y;t) 간의 차(ERROR_DFD)의 함수로서, 그리고, 상기 차 대 평균 DFD(DFDmean)의 비의 함수로서 로컬 노이즈 레벨을 판정하도록 설계되는 것을 특징으로 하는 노이즈 레벨 추정 디바이스.
  5. 제4항에 있어서, 상기 로컬 노이즈 레벨(σlocal)은 상기 차(ERROR_DFD)의 값들과 적어도 하나의 사전설정된 트레시홀드값(S1, S2, S3) 간의 비교의 함수로서 차동 조정되는 것을 특징으로 하는 노이즈 레벨 추정 디바이스.
  6. 제1항 내지 제5항 중 어느 한 항에 따른 노이즈 레벨을 추정하기 위한 디바이스를 포함하는 것을 특징으로 하는 노이즈 감소 시스템.
  7. 제1항 내지 제5항 중 어느 한 항에 따른 노이즈 레벨을 추정하기 위한 디바이스를 포함하는 것을 특징으로 하는 코딩 시스템.
  8. 코딩에 앞서 비디오 화상의 노이즈 레벨을 추정하기 위한 프로세스로서,
    적어도 하나의 현재 입력 화상(u(x,y;t))이 저장되는 스텝과,
    현재 입력 화상(u(x,y;t))과, 상기 저장 수단(1)에 미리 저장된 적어도 하나의 입력 화상(u(x,y;t-T))에 기초하여, 움직임-보상 화상 변동(DFD)을 나타내는 블록방식의, 제1 량을 생성하도록 블록방식 움직임 추정이 행해지는 스텝과,
    움직임-보상 화상 변동(DFD)을 나타내는 적어도 어떤 상기 양의 함수로서 각 화상(u(x,y;t))에 대한 글로벌 노이즈 레벨(σglobal)이 판정되는 스텝
    을 포함하고,
    로컬 노이즈 레벨(σlocal)은, 움직임-보상 화상 변동(DFD)과 글로벌 노이즈 레벨(σglobal)을 나타내는 제2 량의 함수로서 화상의 각 블록에 대해 판정되는 (스텝 E4, E6, E7, E9, E10, E11) 것을 특징으로 하는 프로세스.
KR10-2004-7002526A 2001-08-21 2002-08-06 노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소시스템 및 이러한 디바이스를 포함하는 코딩 시스템 KR20040054676A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0110977A FR2828977B1 (fr) 2001-08-21 2001-08-21 Dispositif et procede d'estimation du niveau de bruit, systeme de reduction de bruit et systeme de codage comprenant un tel dispositif
FR01/10977 2001-08-21
PCT/EP2002/008810 WO2003019947A1 (en) 2001-08-21 2002-08-06 Device and process for estimating noise level, noise reduction system and coding system comprising such a device

Publications (1)

Publication Number Publication Date
KR20040054676A true KR20040054676A (ko) 2004-06-25

Family

ID=8866642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7002526A KR20040054676A (ko) 2001-08-21 2002-08-06 노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소시스템 및 이러한 디바이스를 포함하는 코딩 시스템

Country Status (7)

Country Link
US (1) US7515638B2 (ko)
EP (1) EP1419658A1 (ko)
JP (1) JP2005518689A (ko)
KR (1) KR20040054676A (ko)
CN (1) CN1266943C (ko)
FR (1) FR2828977B1 (ko)
WO (1) WO2003019947A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050119422A (ko) * 2004-06-16 2005-12-21 삼성전자주식회사 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
JP4483516B2 (ja) * 2004-10-08 2010-06-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
TW200901751A (en) * 2007-06-20 2009-01-01 Sunplus Technology Co Ltd System and method for estimating noise in a video frame
US8938005B2 (en) * 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program
US20100026897A1 (en) * 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
CN101504769B (zh) * 2009-03-23 2014-07-16 上海视涛电子科技有限公司 一种基于编码器框架的自适应性的噪声强度估计的方法
US8279345B2 (en) * 2009-07-21 2012-10-02 Qualcomm Incorporated System and method for random noise estimation in a sequence of images
US9215355B2 (en) * 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
US10200698B2 (en) * 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
US10674045B2 (en) * 2017-05-31 2020-06-02 Google Llc Mutual noise estimation for videos
CN110095193B (zh) * 2019-05-14 2021-03-12 武汉高芯科技有限公司 一种红外热像仪噪声等效温差测试方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3613343A1 (de) * 1986-04-19 1987-10-22 Philips Patentverwaltung Hybrid-codierer
DE3788674D1 (de) * 1986-04-19 1994-02-17 Philips Patentverwaltung Hybrid-Codierer für Videosignale.
GB8829063D0 (en) * 1988-12-13 1989-01-25 British Telecomm Predictive coding and decoding
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
JP3178026B2 (ja) * 1991-08-23 2001-06-18 ソニー株式会社 ディジタル信号符号化装置及び復号化装置
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
TW297202B (ko) * 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
US5764307A (en) * 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
JPH09163373A (ja) * 1995-12-08 1997-06-20 Toshiba Corp 雑音低減装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US6668090B1 (en) * 2000-05-26 2003-12-23 Eastman Kodak Company Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image
US6847408B1 (en) * 2000-07-27 2005-01-25 Richard W. Webb Method and apparatus for reducing noise in an image sequence

Also Published As

Publication number Publication date
JP2005518689A (ja) 2005-06-23
WO2003019947A1 (en) 2003-03-06
FR2828977A1 (fr) 2003-02-28
FR2828977B1 (fr) 2003-12-05
CN1266943C (zh) 2006-07-26
EP1419658A1 (en) 2004-05-19
CN1545812A (zh) 2004-11-10
US7515638B2 (en) 2009-04-07
US20040179602A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
US5510834A (en) Method for adaptive estimation of unwanted global picture instabilities in picture sequences in digital video signals
US7649549B2 (en) Motion stabilization in video frames using motion vectors and reliability blocks
US7406208B2 (en) Edge enhancement process and system
US6307888B1 (en) Method for estimating the noise level in a video sequence
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
US7221776B2 (en) Video stabilizer
EP0512422B1 (en) Method for temporally adaptive filtering of noisy image sequences
US5959681A (en) Motion picture detecting method
EP2439927B1 (en) Image processing device, image processing method, program, recording medium, and integrated circuit
EP3580924B1 (en) Method and apparatus for processing an image property map
US6738099B2 (en) Robust camera motion estimation for video sequences
EP1912172A1 (en) Interpolation method for a motion compensated image and device for the implementation of said method
KR20040054676A (ko) 노이즈 레벨 추정 디바이스 및 프로세스, 노이즈 감소시스템 및 이러한 디바이스를 포함하는 코딩 시스템
US20110267488A1 (en) Image processing apparatus, image processing method, imaging apparatus, and program
US8482625B2 (en) Image noise estimation based on color correlation
US8514332B2 (en) Method and system for non-linear blending in motion-based video processing
US8350966B2 (en) Method and system for motion compensated noise level detection and measurement
Vlachos Simple method for estimation of global motion parameters using sparse translational motion vector fields
US7245782B2 (en) Spatial smoothing process and device for dark regions of an image
KR100772380B1 (ko) 확장된 잡음 적응 움직임 검출 방법 및 장치
Amanatiadis et al. An integrated architecture for adaptive image stabilization in zooming operation
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
KR101386891B1 (ko) 영상 보간 방법 및 장치
JP4753522B2 (ja) 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム
Aygun et al. Reducing blurring-effect in high resolution mosaic generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application