KR100960742B1 - 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서 - Google Patents

이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서 Download PDF

Info

Publication number
KR100960742B1
KR100960742B1 KR1020047002223A KR20047002223A KR100960742B1 KR 100960742 B1 KR100960742 B1 KR 100960742B1 KR 1020047002223 A KR1020047002223 A KR 1020047002223A KR 20047002223 A KR20047002223 A KR 20047002223A KR 100960742 B1 KR100960742 B1 KR 100960742B1
Authority
KR
South Korea
Prior art keywords
frame
pixel
value
filtering
current frame
Prior art date
Application number
KR1020047002223A
Other languages
English (en)
Other versions
KR20040030096A (ko
Inventor
시우-와이 우
징 양 첸
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20040030096A publication Critical patent/KR20040030096A/ko
Application granted granted Critical
Publication of KR100960742B1 publication Critical patent/KR100960742B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

장면 변경 프레임에서의 적응 공간적 필터링 및 이전에 생성된 움직임 벡터를 이용하여 움직임 보상된 시간적 필터링을 적용함으로써 비디오 시스템 내의 노이즈가 저감된다. 압축 및 전송 이전에 다양한 타입의 노이즈가 비디오 내에 도입될 수 있다. 인공물(artifact)이 기록 및 신호 조작, 지상 또는 궤도 통신 또는 디코딩 중에 발생한다. 화상 압축 이전에 도입된 노이즈는 성능을 방해하고, 나아가 시스템 성능을 나쁘게 한다. 필터링을 하는 동안 통상적으로 비디오 화상 내의 노이즈가 감소되지만, 포커스의 손실을 유도하는 에지 해상력(edge definition)도 또한 감소시킬 수 있다. 필터링은 또한, 계산상의 복잡성 증가가 필터링 방식으로부터 기인하기 때문에, 시스템 처리량에 부담을 줄 수 있다. 또한, 화소 그룹에 의해 규정되는 프레임 내의 물체의 움직임이 추가의 복잡성을 부가함으로써 노이즈 저감 프로세스를 복잡하게 만든다. FIR 공간적 필터링에 대하여 이루어진 향상에 더하여, 본 발명은 무한 임펄스 응답(IIR) 시간적 필터링을 이용하여 노이즈를 저감시킴으로써 이전의 필터링 기술을 개선하면서 에지 해상력을 유지한다. 또한, 이전에 계산된 움직임 벡터를 이용하거나 트랜스코딩에 의해 P-프레임 및 B-프레임 화상 사전 처리에 대한 계산적 복잡성을 감소킨다. 단일 단계의 P-프레임 시간 노이즈 필터링 및 이중 단계 B-프레임 시간 노이즈 필터링이 제공된다.
움직임된 보상 시간적 필터링 장치, B-프레임 엔코딩, 제1 패스 엔코더(100), 노이즈 감소 프리프로세서(102), 제2 패스 엔코더(104)

Description

이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서{NOISE-REDUCTION PRE-PROCESSOR FOR DIGITAL VIDEO USING PREVIOUSLY GENERATED MOTION VECTORS AND ADAPTIVE SPATIAL FILTERING}
본 발명은 장면(scene) 변경 프레임에 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용하여 움직임 보상된 시간적 필터링을 적용함으로써 비디오 시스템내의 노이즈를 감소시키기 위한 장치 및 방법에 관한 것이다.
디지털 텔레비젼은 TV 프로그램 유료 시청제(pay-per-view), 전자 프로그램 가이드, 주문형 비디오 시스템(video-on-demand), 날씨 및 주식 정보는 물론, 인터넷 접속과 같은 특징을 가진 고화질 비디오 엔터테인먼트를 시청자에게 제공한다. 정보 스트림내에 패키지화된 비디오 화상들은 위성, 케이블 또는 지상 전송 매체를 거쳐 광대역 통신 네트워크를 통해 사용자에게 전송된다. 대역폭 및 전력 제한으로 인해, 필름 및 비디오의 효과적인 전송은 압축 및 포맷 기술이 폭넓게 사용될 것을 요구한다. MPEG1 및 MPEG2와 같은 프로토콜은 공간 압축 알고리즘에 시간 성분을 부가함으로써 필름 및 비디오 정보 전송을 위한 대역폭 활용을 극대화한다.
필름 또는 비디오에 대한 일련의 화상들에서 각각의 개별 화상을 프레임이라 한다. 각 프레임은 화상을 규정하는 다수의 화소(픽셀)로 이루어져 있다. 각 프레임내에서, 중복(redundant) 화소들은 한 장면의 유사 부분들, 예를 들면, 푸른 하늘을 기술한다. 다양한 타입의 압축 알고리즘은 중복 공간 요소를 제거하는데 사용되며, 이로서 화상 전송에 필요한 대역폭을 감소시킨다. 필름 또는 비디오에 대한 프레임들의 시퀀스는 매우 유사하거나 동일한 화소들을 종종 포함한다. 대역폭 활용을 극대화하기 위해서, MPEG과 같은 압축 및 움직임 보상 프로토콜은 통상적으로 인접한 프레임들간의 이들 중복 화소들을 최소화하는데 사용된다. 인접한 프레임들내의 화상들의 움직임을 예측할 목적으로 엔코더에 의해 참조된 프레임들을 앵커 프레임(anchor frames)이라 칭한다. 이들 앵커 프레임들은 타입 I-프레임(Intra-frame) 또는 P-프레임(Predicted-frame)일 수 있다. 다른 프레임들에 대한 참조없이 매핑되는 화소들의 그룹(매크로블럭(macroblocks))은 I-프레임을 구성하는 반면, P-프레임들은 일련의 프레임들내에서 이전에 엔코딩된 프레임에 대한 참조를 포함한다. B-프레임(Bidirectional-frame)으로서 참조되는 3번째 타입의 프레임은 이전에 조우된 앵커 프레임으로부터 참조된 매크로블럭들과 현재 분석중에 있는 프레임에 후속하는 앵커 프레임으로부터의 매크로블럭들을 포함한다. B-프레임 및 P-프레임 엔코딩 양측 모두 기준 프레임내의 매크로블럭들과 관련된 움직임 벡터를 계산함으로써 화소들의 중복을 감소시키고, 그 결과 대역폭 요구량이 감소된다. 특정 프레임에 대한 엔코딩 타입의 선택은 해당 화상의 복잡성에 따라 좌우된다.
패닝(pan)하는 화상의 경우, 이동하는 물체를 기술하는 화소들은 단지 공간적으로 변위된다는 점에서 대략적으로 동일하다. 연속적인 프레임들에서 이들 화소들을 반복적으로 특정하는 것 대신에, 이전(또는 이후) 프레임에서, 이들의 그룹, 즉 매크로블럭들을 참조하는 것이 종종 이점이 된다. 움직임 벡터는 비디오 프로세서에 지시하여, 기준 프레임내의 매크로블럭을 얻게 한다. 이러한 목적으로 움직임 벡터를 이용하는 것을 움직임 보상이라 한다. 움직임 보상은 엔코딩된 비디오 화상에서의 노이즈의 영향을 감소시키는 것을 돕는데 활용될 수도 있다.
다양한 타입의 노이즈가 압축 및 전송 이전에 비디오에 유입될 수 있다. 촬상 및 기록 장치로부터, 지상 또는 궤도 전송 장비로부터, 통신 채널로부터, 및 엔코딩 및 디코딩 장비로부터의 인공물(artifact)이 널리 알려져 있다. 화상 압축 이전에 유입된 노이즈는 비디오 화질을 감소시키면서 데이터 대역폭을 독점함으로써 후속 압축 시스템의 성능을 방해하기 때문에 문제가 된다. 또한, DCT(Discrete Cosine Transform) 도메인의 양자화(quantizing)는 노이즈의 영향을 확대하여 신호 저하를 증가시키는 경향이 있다.
필터링이 비디오 화상내의 노이즈를 감소시키지만, 화상의 해상도(예를 들면, 선예도)를 감소시켜 불명확한 에지 천이로 이어질 수 있으며, 이로써 외관상의 포커스가 감소된다. 에지는 색차와 같은 화소 크기의 급작스런 변화 및/또는 화소들의 세트들 간의 휘도 크기 변화로서 정의된다. 이들 갑작스런 변화는 푸른 하늘과 검은색 빌딩간의 에지와 같이, 통상적으로 수직 또는 수평 방향으로 배향된다.
따라서, 동시성 디지털 화상 필터가 발견한 수많은 단점이 되는 영향을 감소시키는 향상된 노이즈 필터링 시스템에 대한 필요성이 있다. 본 발명은 필름 또는 비디오 프레임 엔코딩의 처리량을 개선시킴과 동시에 상술한 문제점들을 해결하기 위한 해결책을 제공한다.
<발명의 요약>
본 발명은 이전에 생성된 움직임 벡터를 이용하여 움직임 보상된 시간적 필터링 알고리즘과, 적응성 공간적 필터링을 장면 변경 프레임에 적용함으로써 비디오 시스템에서의 노이즈를 감소시키기 위한 장치 및 방법에 관한 것이다.
2-패스(two-pass) 비디오 압축 및 엔코딩 시스템에서, 미리 압축된 비디오 화상 데이터에 대한 움직임 보상된 시간 및 적응 공간적 필터링 서브 시스템이 기술된다. 적어도 3개의 연속적인 비디오 프레임을 저장하기 위한 프레임 버퍼를 제공하는 기억 소자를 이용함으로써, 노이즈 감소 방식은 입력 비디오 프레임에 대해 구현될 수 있다. 버퍼링된 프레임들은 현 프레임, 현재 엔코딩되고 있는 프레임을 선행하는 제1 앵커 프레임, 및 현재 프레임에 후속하는 제2 앵커 프레임을 포함한다. 이들 프레임 각각에 대한 화상들은 복수의 화소들로 표현되며, 각 화소는 신호 크기를 나타낸다. 현재 프레임에 대한 수많은 화상들은 GOP(Group Of Pictures)내의 제1(선행) 및 제2(후속) 프레임에 대해 반복된다. 만일 현 프레임이 장면 변경 프레임이 되는 것으로 결정되지 않았다면, 이 프레임은 P-프레임 또는 B-프레임 엔코딩을 이용하여 처리된다. P-프레임 엔코딩의 경우, 순방향 예측 단계가 수행되고, 이로써 현 프레임내에 있는 화소의 크기와 제1 프레임내에 있는 화소의 크기간의 차의 절대치가 결정된다. 이 값은 룩업 테이블 구현을 이용하여 IIR(Infinite Impulse Response) 필터에 대해, 비선형 필터 계수, β(순방향(forward))를 평가하는데 사용된다. 화상들내의 물체들의 패닝(panning)의 결과로서, 제1 프레임 화소 위치는 이전에 계산된 움직임 벡터에 의해 기술된 바와 같이 현 프레임 화소 위치로부터 오프셋된다. 이들 움직임 벡터를 이용하여, 이전 앵커 프레임 화소의 크기에 대한 비례값이 결정되고, 필터 계수 β(순방향)로 승산된다. 이 결과는 (1-β(순방향))로 승산된, 현 프레임내에서의 선택된 화소 크기의 비례값에 부가된다. 이전 앵커 프레임과 관련된 β(순방향), (1-β(순방향)) 및 움직임 벡터의 수치값과 함께 그들 각각의 크기 값의 산술적인 조작을 적용함으로써, 현 프레임 화소 크기가 계산된다.
B-프레임 엔코딩의 경우, 시간적 필터링 프로세스는 2개의 단계로 분리된다. 첫번째 단계인 순방향 예측은 상술한 P-프레임 엔코딩 방식과 동일하게 행동한다. 제1 단계의 순방향 예측 프로세스에 의해 필터링된, 현 프레임에 대한 화소 데이터는 이후 역방향 예측 프로세스가 다시 한번 프레임을 필터링하는 제2 단계로 전송된다. 현 프레임에 위치한 화소의 크기와 제2(후속) 프레임에 위치한 화소의 크기간의 절대치 차가 계산된다. 제2 프레임 화소 위치는 이전에 계산된 움직임 벡터에 의해 현 프레임 화소 위치로부터 오프셋된다. 비선형 IIR 필터 계수, β(역방향)는 계산된 절대치 차에 대응하는, 0과 1사이의 값을 이용하여 룩업 테이블로부터 결정된다. 제2 프레임내의 화소의 위치는 현 프레임의 위치에 의해 특정화되지만, 이전에 계산된 움직임 벡터에 의해 기술된 양만큼 오프셋된다. β(역방향)와 움직임 보상된 제2 프레임 화소값의 곱은 현 프레임 화소값내에서 나타내는 제2 앵커 프레임 화소값의 비율을 산출한다. (1-β(역방향))와 현 프레임 화소값의 곱은 최종적인 현 프레임 화소값에 기여해야 하는 현 앵커 프레임 화소값의 비율이 된다. 이들 2개의 부분적인 프레임 화소값의 합계는 현 프레임 화소값을 나타낸다.
이들 시간적으로 필터링된 화소 크기값의 결과는 파이프라인 구조의 다른 시스템 요소들 및 공간적 필터링에 의해 추가로 처리된다. 또한 통계적인 멀티플렉싱 레이트 제어를 제어하기 위한 일정한 정도의 예지 능력을 제공하도록 지연 요소가 도입될 수 있다. 본 명세서에서 기술되는 움직임 벡터는 제1 패스 엔코더에 의해 계산되거나 대안적으로 트랜스코딩을 이용하여 계산될 수 있다. 이는, 차후 필터링 단계동안 움직임 벡터의 재생성의 필요성을 효과적으로 제거한다.
장면 변경 프레임이 검출되면, 움직임 보상된 시간적 필터링된 출력 대신에 비선형 적응 공간적 필터로부터의 출력이 선택된다. 적응 공간적 필터링의 경우, 각 출력 프레임 화소값은 인접하는 화소들 크기 값의 합성인 가중된 평균값과 동일하다. 인접하는 화소의 가중치는 소정의 기준 테이블에 의해 결정되고, 대상 화소로부터 각 화소의 거리에 반비례한다. 각 비선형 필터는 입력 화소 크기와 인접하는 화소 크기의 가중된 합 간의 절대치 차에 적응되는 필터 계수와 관련된다.
도 1은 본 발명에 따른 시스템 처리 구조 블록도의 일예를 나타낸다.
도 2는 노이즈 감소 프로세서 및 제1 패스 엔코더와 관련된 프로세싱 파이프라인을 나타낸다.
도 3은 다중 필터 세기를 가리키는 필터 계수의 적응성을 나타낸다.
도 4는 B-프레임 화소에 대한 2 단계 적응 필터링 파이트라인을 나타낸다.
본 발명은 적응 공간적 필터링에 부가하여, 이전에 생성된 움직임 벡터를 이용하여 움직임 보상된 시간적 필터링을 적용함으로써 비디오 시스템내의 노이즈의 존재를 감소시키기 위한 장치 및 방법에 관한 것이다.
도 1은 본 발명에 따른 비디오 프레임 엔코딩 서브-시스템의 예시적인 처리 구조의 블럭도를 나타낸다. 서브-시스템은 대형 디지털 비디오 엔코딩 시스템의 일부분이다.
서브-시스템은 다음 구성 요소로 구성된다:
제1 패스 엔코더(100);
노이즈 감소 프리프로세서(102);
제2 패스 엔코더(104);
MCC(master compression controller)(106);
패킷 프로세서(108);
비디오 FIFO 큐 및 패킷 생성기(110).
시스템 개요
제1 패스 엔코더(100), 노이즈 감소 프리프로세서(102) 및 제2 패스 엔코더(104)는 협력하여 입력 비디오 프레임의 복잡성을 추정하도록 기능하고, 노이즈에 대해 입력 비디오를 필터링하며, 입력 비디오 화상들의 압축을 담당한다. 제2 패스 엔코더는 필요 파라미터를 준비하고, 이 정보를 레이트 제어 프로세서(미도시됨)에 제공하며, 레이트 제어 프로세서는 다시 대응하는 엔코딩 비트 레이트 할당을 제2 패스 엔코더에 제공한다. 사실상, 제1 및 제2 패스 엔코더의 캐스케이드는 입력 데이터의 단일 채널을 엔코딩하고 움직임 보상(P- 및 B-프레임의 경우), DCT(discrete cosine transform) 및 양자화를 포함하는 데이터 압축을 수행한다. 엔코더는 실제 엔코딩 비트 레이트에 관한 피드백 정보를 레이트 제어 프로세서에 제공할 수도 있다. MCC(master compression controller)(106)는 PCI(peripheral component interconnect) 버스를 통해 엔코더에 대한 데이터의 압축을 제어한다. 엔코딩된 데이터는 패킷 프로세서(108)와 협력하여 동작하는 패킷 생성기(110)에 제공되어 멀티플렉싱된 비디오 데이터의 비트스트림을 제공하게 된다. 비디오 FIFO(first-in, first-out) 버퍼(110)는 압축된 데이터를 일시적으로 저장하고 패킷 프로세서(108)는 예를 들면, MPEG-2 또는 다른 비디오 표준에 따라 적당한 헤더 정보를 갖는 압축된 데이터의 패킷들을 형성한다. 이후, 채널을 통해 출력 스트림의 전송을 위해 송신기에 데이터가 송신된다.
디코딩측에, 수신기, 버퍼 및 디멀티플렉서가 예를 들면, 텔레비젼 상에 표시하기 위한 디코딩된 비디오 신호를 출력하도록 제공된다.
노이즈 감소 프리프로세서(102)는 입력 비디오 프레임에 공간적 및 시간적 필터링을 적용하여 비디오 노이즈의 영향을 감소시킨다. 시간적 필터는 제1 패스 엔코더에 의해 제공된 움직임 벡터를 이용하여 시스템 리소스 사용량을 감소시키면서, 동시에 연속하는 비디오 프레임의 연속성내에서 움직이는 물체에 대해 노이즈 필터링을 정확하게 적용한다. 대안적으로, 필수적인 움직임 벡터를 취득하는데 트랜스코딩을 사용할 수 있다. 트랜스코딩은 이전에 계산된 움직임 벡터가 채널을 따라 전송된 비트-스트림내에서 시간적 필터에 전송될 수 있게 한다. 일반적인 노이즈-감소 사전처리 파이프라인에 대한 데이터 흐름도는 도 2에 나타나 있다. 도시한 바와 같이, 비디오 캡쳐, 노이즈 감소 사전처리 이전에 제1 패스 엔코더(100)에 의해 비디오 프레임들에 대해 수평 데시메이션(decimation) 및 디텔레신(detelecine)이 수행된다. 이들 프레임은 노이즈 감소 프리프로세서의 비디오 캡쳐 모듈(112)에 전송되고 종래의 지연 요소(114)에 의해 지연된다. 타입 엔코딩, 및 움직임 벡터 합성이 또한 제1 패스 엔코더에 의해 수행되어 원형 버퍼(116)에 전송되고나서 노이즈 감소 프리프로세서내의 시간적 및 공간적(118) 필터 모듈에 전송된다. 노이즈 감소 프리프로세서, 및 특히 시간적 필터는 이 정보를 이용하여 연속적으로 수신된 프레임에 대해 적응 IIR(infinite impulse response)을 수행한다. 이후, 필터링된 비디오 프레임은 일련의 지연 요소들(120)에 전송되고 최종적으로 비디오 출력 드라이버(122)에 전송되어 추가 처리를 위해 제2 패스 엔코더(104)에 전송된다.
노이즈 감소
노이즈 감소 프리프로세서는 적응 공간적 필터링 및 움직임 압축된 시간적 필터링을 수행하여 압축전에 비디오 소스 노이즈의 영향을 감소시킨다. 또한, 비디오를 지연하여 통계적인 멀티플렉싱 레이트 제어 및 특수 이벤트 처리를 위한 예지능력(look-ahead)을 제공한다.
적응 시간적 필터링
움직임 보상된 시간적 필터링은 IIR 필터이다. 제1 패스 엔코딩에 의해 생성된 움직임 벡터는 프레임내의 물체의 움직임을 추적하는데 이용된다.
P-프레임의 경우, 필터는 좌표(x, y)에서 모든 화소 pOut마다 다음 출력을 생성한다:
Figure 112004006146847-pct00001
여기서, pIn[x, y]은 현 P 프레임의 어드레스 [x, y]에서의 입력 화소이다.
prevPOut[x, y]는 이전 출력 P 프레임의 어드레스 [x, y]에서의 화소값이다.
[MVx, MVy]는 필드 움직임 벡터로서, 절단된 하프 펠값(half pel)이다. MVy는 움직임 벡터에서 필드 선택 비트에 따른 프레임 좌표로 스케일된다.
βfwd는 pIn[x, y]와 prevPOut[x, y]간의 절대치 차의 비선형 함수이며, 이는 룩업 테이블에 의해 구현된다. (즉, βfwd = 룩업 테이블(│pIn[x,y] - prevPOut[x - MVx, y - MVy]│).
시간적 필터 계수의 적응 특성의 예는 도 3에 나타나 있다. 다수의 룩업 테이블은 이 적응 특성을 설명하는데 사용된다. 에지측상의 화소들의 경우, 필터 계수 β는 제로쪽으로 향하며, 이는 어떠한 필터링도 가해지지 않았다는 것을 의미한다.
B 프레임의 경우, 움직임 보상된 시간적 필터는 도 4에 나타난 바와 같이, 2개의 단계로 수행된다. 외곽선 박스(126)에 나타낸, 제1 단계는 선행 P 프레임을 이용하여 시간적 필터를 구현하여 순방향 예측을 수행함으로써 순방향 움직임 벡터[MXxfwd, MVxfwd]를 이용하여 좌표[x, y]에서의 모든 화소 pOut1마다 중간 결과를 생성하게 된다.
bOut1[x,y]=(1-βfwd)*bIn[x,y]+βfwd*pOutfwd[x-MVxfwd, y-MVy fwd]
여기서, bIn[x,y]는 현재 B 프레임의 어드레스 [x,y]에서의 입력 화소이고;
pOutfwd[x-y]는 순방향 예측에 이용되는 P 프레임의 어드레스 [x,y]에서의 화소값이다. 프레임은 도 4에 도시된 다수의 프레임 지연(130)에 저장되며, 필요에 따라 움직임 보상기(128)에 공급된다.
[MVxfwd, MVyfwd]는 순방향 필드 움직임 벡터로서 상수값으로 반올림되며 순방향 움직임 벡터의 필드 선택 비트에 따라서 프레임 좌표로 스케일링된다.
pOutfwd[x-MVxfwd, y-MVyfwd]는 순방향 움직임 벡터와, 다수의 프레임 지연(130)에 의해 공급되는 화소 정보 pOutfwd[x,y]를 조합함으로써, 움직임 보상기(128)에서 행해진다.
βfwd는 bIn[x,y]와 pOutfwd[x-MVxfwd, y-MVyfwd] 간의 절대값차의 비선형 함수이다. 동작은 도 4에 도시된 절대차 계산기(132)에 의해 행해진다. 그 다음 룩업 테이블(134)로부터 필터 함수, βfwd에 대한 탐색이 이루어진다. 필터 함수의 결과예가 도 3에 도시된다.
즉, βfwd=Look-up-table(｜bIn[x,y]-[x-MVxfwd, y-MVyfwd]｜)
순방향 예측에 이용되는 P 프레임의 어드레스 [x,y]에서의 움직임 보상된 화소값과 필터 함수, βfwd와의 곱(product), pOutfwd[x-MVxfwd, y-MVyfwd]은 입력 화소, bIn[x,y]와 (1-βfwd)의 곱과 합산되어 화소값에 대한 중간값 bOut1[x,y]을 제공하고, 이는 다시 다른 평가를 위해 선택기(138)에 전달된다.
선택기(138)는 장면(scene) 변경 검출기(140)의 결과를 조사한다. 선택기(138)가 장면 변경 통지를 수신하면, 선택기는 적응 공간적 필터(152)의 지연단(130)으로 전달될 결과를 선택하여, 제2 패스 엔코더에 출력한다.
그룹 오브 픽처(GOP)의 장면 변경 이후에, 분석된 프레임이 첫번째의 P 프레임이 아닌 경우, 중간 결과 bOut1[x,y]가 지연단(130)으로 전달된 다음 시간적 필터(142)의 두번째 단으로 전달된다. 다음의 P 프레임 또한 선택기(138)에 의해 선택되어, 두번째 단 필터로 전달되고 역방향 움직임 벡터 [MVxbwd, MVybwd]를 이용하여 최종 필터링된 좌표 [x,y]의 출력 bOut이 생성된다.
bOut[x,y]= (1-βbwd)*bOut1[x,y]+βbwd*pOutbwd[x-MVxbwd,y-MVy bwd]
여기서, pOutbwd[x,y]는 역방향 예측에 이용되는 P 프레임의 어드레스 [x,y]에서의 화소값이다. 이 프레임은 다수의 프레임 지연(130)을 통해 두 번째 단 필터에 입력된다.
[MVxbwd,MVybwd]는 역방향 필드 움직임 벡터로서, 정수값으로 반올림한 다음 움직임 벡터의 필트 선택 비트에 따라 프레임 좌표로 스케일링된다.
pOutbwd[x-MVxbwd,y-MVybwd]는 역방향 움직임 벡터를 이용하여 움직임 보상기(144)에 의해 결정된다. 결과는 절대차 계산기(146)에 전달되어 βbwd가 결정된다.
βbwd는 bOut1[x,y]와 pOutbwd[x,y]와의 절대차의 비선형 함수로서 관련 움직임 벡터에 의해 오프셋되고 절대차 계산기(146)와 룩업 테이블(148)의 조합에 의해 구현된다. 비선형 함수의 특성 곡선이 도 3에 도시된다.
즉, βbwd=Look-up-table(｜bOut1[x,y]-Poutbwd[x-MVxbwd, y-MVybwd ]｜)
역방향 예측에 이용되는 P 프레임의 어드레스 [x,y]에서의 움직임 보상된 화소값과 필터 함수 βbwd와의 곱 Poutbwd[x-MVxbwd, y-MVybwd]은 중간 화소값, bOut1[x,y]와, 1과의 순방향 필터 계수의 차(1-βfwd)의 곱과 합산되어, 화소값에 대한 결과 출력 bOut[x,y]을 제공한다.
βfwd가 0이면, 결과를 생성하는데 역방향 움직임만이 이용될 것이다. 마찬가지로, βbwd가 0이면, 순방향 움직임만이 이용될 것이다. 또한, 서로 다른 룩업 테이블을 확립하여 사용자들이 필터의 강도를 선택할 수 있도록 해준다. β가 계수 적응 곡선을 빠르게 롤오프(roll off)할수록 필터가 더 약해진다. 필터 계수는 0 내지 1의 값을 취한다. 평균에 가까운 강도를 갖는 화소의 경우, 필터 계수 β가 1을 향하는 경향이 있고, 필터는 평균 필터가 되고, 이는 강한 필터링을 의미한다.
적응 공간적 필터링
적응 공간적 필터는 g[x,y]=(1-α)*f[x,y]+α*μ로서 정의된다.
여기서, f[x,y] 및 g[x,y]는 각각 위치 [x,y]에서의 입력 화소값 및 출력 화소값이다.
μ는 화소 f[x,y]를 둘러싸고 있는 5×5 이웃 화소의 국부적인 가중 평균값으로서, μ=(f[x,y]를 제외하고 f[x,y]를 둘러싸고 있는 5×5 이웃 화소의 모든 화소의 가중 합)/(52-1)으로 정의된다.
다음의 가중(weighting) 테이블을 이용하여 가중된 평균을 계산한다 :
0.0125 0.025 0.05 0.025 0.0125
0.025 0.05 0.1 0.05 0.025
0.025 0.05 0.1 0.05 0.025
0.025 0.05 0.1 0.05 0.025
0.0125 0.025 0.05 0.025 0.0125
가중 테이블은, 5×5 윈도우의 중심에 더 가까운 화소가 높은 가중을 갖도록 설계되어 있다. 이러한 가중은 화상의 텍스처를 보존하는데 도움이 된다. 필터 계수 α는 f[x,y]와 μ간의 절대값차에 적응된다. 룩업 테이블은 계수값을 선택하는데 이용된다. 룩업 테이블의 분류는, 사용자가 다양한 필터의 강도 레벨로부터 선택할 수 있도록 설정된다. 시간적 필터와 같이, α가 계수 적응 곡선을 더 빨리 롤오프할 수록 필터가 더 약해진다. 필터 계수는 0 내지 1의 값을 취한다. 평균에 가까운 강도를 갖는 화소의 경우, 필터 계수 α는 1로 향하는 경향이 있고, 필터는 평균 필터가 되며, 이는 강한 필터링을 의미한다. 에지부에 있는 화소의 경우, 필터 계수 α는 0으로 향하는 경향이 있고, 이는 필터링이 적용되지 않는 것을 의미한다.
따라서, 본 발명이 제1 패스 엔코더에 의해 이전에 생성된 움직임 벡터를 이용하여 움직임 보상된 시간적 필터링을 적용함으로써 비디오 시스템 내에서의 노이즈의 존재를 저감시키는 향상된 장치 및 방법을 제공한다는 것을 알 수 있다. 장면 변경 프레임에서는, 가중 테이블과 조합된 적응 공간적 필터링이, 서로에 대한 그리고 에지에 대한 화소 위치에 기초하여 필터링의 가변 정도를 제공한다. 이 동작은 화상 내의 텍스처를 보존한다. 개선된 시간적 필터링 응답 및 감소된 계산 복잡성의 결과로, 정확도 및 처리량이 향상된다.
본 발명을 양호한 실시예와 관련하여 설명하였지만, 특허 청구범위에 개시된 바와 같이, 본 발명의 범주로부터 벗어나지 않는 범위 내에서 다양한 수정 및 적응이 이루어질 수 있다는 것을 이해해야 한다.

Claims (12)

  1. 비디오 배포 시스템(video distribution system)에서의 노이즈를 저감하기 위한 방법에 있어서,
    화상 데이터를 압축하는 동안 이전에 생성된 움직임 벡터를 이용하여 압축된 화상 데이터에 움직임 보상된 시간적(motion compensated temporal) 필터링을 적용하는 단계를 포함하며,
    상기 필터링은 상기 압축된 화상 데이터에서의 노이즈를 저감시키고, 상기 필터링 단계 동안 상기 움직임 벡터의 재생성에 대한 필요성이 제거되도록 적응되고,
    상기 압축된 화상 데이터에 적응 공간적(adaptive spatial) 필터링이 적용되며,
    화소 크기(pixel amplitude)의 차에 기초하여, 0 내지 1의 값에 대응하는 필터 계수, β(역방향) 및 β(순방향)에 대한 값을 결정하기 위한 룩업 테이블이 제공되는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 방법.
  2. 현재의 프레임, 상기 현재의 프레임에 선행하는 제1 앵커 프레임, 및 상기 현재의 프레임에 후속하는 제2 앵커 프레임을 포함하는 적어도 3개의 연속 비디오 프레임을 포함하는 사전 압축된(pre-compressed) 비디오 화상 데이터 내의 노이즈의 존재를 저감하기 위한 움직임 보상된 시간적 필터링 방법으로서, 각각의 상기 프레임은 복수의 화소를 갖고, 각각의 상기 화소는 관련된 크기를 갖고 있으며, 상기 현재 프레임의 현재 화소는 중간물(intermediate)이고 상기 제1 앵커 프레임의 제1 화소 및 상기 제2 앵커 프레임의 제2 화소에 매칭되는, 움직임 보상된 시간적 필터링 방법에 있어서,
    P-프레임 및 B-프레임 엔코딩에 대한 순방향 예측 단계를 포함하고,
    상기 순방향 예측 단계는,
    상기 현재 프레임에 위치한 화소의 크기와 상기 제1 프레임에 위치한 화소의 크기 간의 절대값 차를 결정하는 단계 -상기 제1 프레임 화소 위치는 이전에 계산한 움직임 벡터에 의해 현재 프레임 화소 위치로부터 오프셋됨-;
    상기 절대값 차로부터 필터 계수, β(순방향)를 결정하는 단계;
    β(순방향), (1-β(순방향)), 및 이전 앵커 프레임에 관련된 움직임 벡터의 수치값과 함께 각각의 크기값의 산술적인 조작을 적용함으로써, 이전 앵커 프레임 화소와 상기 현재 프레임 화소에 대한 비례값을 계산하여, 계산된 현재 프레임 화소값에 할당하는 단계; 및
    각각의 상기 앵커 프레임 화소의 최종 비례값과 상기 현재 프레임 화소의 비례값을 합산하여 단일의 계산된 화소 크기값을 구하는 단계를 포함하고,
    추가의 B-프레임 엔코딩에 대한 역방향 예측 단계를 포함하고,
    상기 역방향 예측 단계는,
    상기 순방향 예측 단계로부터, 시간적으로 필터링된 현재 프레임 화소 크기값을 수신하는 단계;
    상기 현재 프레임에 위치한 화소의 크기와 상기 제2 프레임에 위치한 화소 크기 간의 절대값차를 결정하는 단계 -상기 제2 프레임 화소 위치는 이전에 계산된 움직임 벡터에 의해 상기 현재 프레임 화소 위치로부터 오프셋됨-;
    상기 절대값차에 대응하는 필터 계수, β(역방향)를 결정하는 단계;
    β(역방향), (1-β(역방향)), 및 대표 움직임 벡터에 의해 오프셋된 상기 제2 프레임 내에 위치한 상기 화소의 크기의 수치값과 함께 각각의 크기값의 산술적인 조작을 적용함으로써, 후속하는 앵커 프레임 화소값과 현재 프레임 화소값에 대한 비례값을 계산하여, 계산된 현재 프레임 화소값에 할당하는 단계; 및
    상기 각각의 앵커 프레임 화소의 비례값과 상기 현재 프레임 화소의 비례값을 합산하여 단일의 계산된 화소 크기값을 구하는 단계
    를 포함하는, 움직임 보상된 시간적 필터링 방법.
  3. 삭제
  4. 제1항에 있어서, 통계적인 멀티플렉서 레이트 제어 시스템을 위한 룩-어헤드 방식(look-ahead scheme)을 제공하기 위해, 움직임 보상된 시간적 필터링과 공간적 필터링 및 지연 요소가 조합된 파이프라인 구조를 더 포함하는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 방법.
  5. 제1항에 있어서, 상기 움직임 벡터를 계산하기 위해 트랜스코딩 또는 제1 패스-엔코딩 중 하나를 선택하는 단계를 더 포함하는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 현재 프레임이 장면 변경 프레임으로서 자격이 있는지의 여부를 판정하기 위한 장면 변경 검출 프로세스를 포함하는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 방법.
  10. 제9항에 있어서, 상기 프로세스는 상기 필터링 단계의 시간적 필터 출력 또는 상기 적응 공간적 필터 출력 중 하나를 선택하는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 방법.
  11. 비디오 배포 시스템에서의 노이즈를 저감하기 위한 장치에 있어서,
    화상 데이터를 압축하는 동안 이전에 생성된 움직임 벡터를 이용하여 압축된 화상 데이터를 필터링하도록 적응된 움직임 보상된 시간적 필터를 포함하며,
    상기 필터링은 상기 압축된 화상 데이터에서의 노이즈를 저감시키고, 상기 필터링 단계 동안 상기 움직임 벡터의 재생성에 대한 필요성이 제거되도록 적응되고,
    적응 공간적 필터링이 상기 압축된 화상 데이터에 적용되며,
    화소 크기(pixel amplitude)의 차에 기초하여, 0 내지 1의 값에 대응하는 필터 계수, β(역방향) 및 β(순방향)에 대한 값을 결정하기 위한 룩업 테이블이 제공되는, 비디오 배포 시스템에서의 노이즈를 저감하기 위한 장치.
  12. 현재의 프레임, 상기 현재의 프레임에 선행하는 제1 앵커 프레임, 및 상기 현재의 프레임에 후속하는 제2 앵커 프레임을 포함하는 적어도 3개의 연속 비디오 프레임을 포함하는 사전 압축된 비디오 화상 데이터 내에서의 노이즈의 존재를 저감하기 위한 움직임 보상된 시간적 필터링 장치로서, 각각의 상기 프레임은 복수의 화소를 갖고, 각각의 상기 화소는 관련된 크기를 갖고 있으며, 상기 현재 프레임의 현재 화소가 중간물이고 상기 제1 앵커 프레임의 제1 화소 및 상기 제2 앵커 프레임의 제2 화소에 매칭되는, 움직임 보상된 시간적 필터링 장치에 있어서,
    P-프레임 및 B-프레임 엔코딩에 대한 제1 단계를 포함하고,
    상기 제1 단계는,
    상기 현재 프레임에 위치한 화소의 크기와 상기 제1 프레임에 위치한 화소의 크기 간의 절대값 차를 결정하는 감산기 -상기 제1 프레임 화소 위치는 이전에 계산한 움직임 벡터에 의해 현재 프레임 화소 위치로부터 오프셋됨-;
    절대값 화소차와 표 형식으로 저장된 β(순방향)값들의 테이블을 비교하기 위한 비교기;
    β(순방향), (1-β(순방향)), 및 이전 앵커 프레임과 관련된 움직임 벡터의 수치값과 함께 각각의 크기값의 산술적인 조작을 적용함으로써, 상기 이전 앵커 프레임의 화소와 상기 현재 프레임 화소에 대한 비례값을 결정하여, 계산된 현재 프레임 화소 값에 할당하는 계산기;
    적용가능 앵커 프레임 화소의 결과적인 비례값과 상기 현재 프레임 화소의 비례값을 합산하여 단일의 계산된 화소 크기값을 구하는 계산기; 및
    엔코딩된 프레임들을 저장하고, 이에 의해 프레임들 간의 화소를 비교할 수 있도록 하는 저장 소자를 포함하며,
    추가의 B-프레임 엔코딩에 대한 제2 단계를 포함하고,
    상기 제2 단계는,
    상기 현재 화소의 크기와 상기 제2 화소의 크기 간의 절대값차를 결정하는 감산기 - 상기 제2 화소 위치는 이전에 계산된 움직임 벡터에 의해 기술된 오프셋 및 위치에 의해 특정됨 -;
    상기 절대값 차와 관련된 필터 계수값, β(역방향)의 테이블;
    β(역방향), 1-β(역방향) 및 상기 제2 앵커 프레임과 관련된 움직임 벡터의 수치값과 함께 각각의 크기 값의 산술적인 조작을 적용함으로써, 상기 제2 앵커 프레임 화소값에 대한 비례값을 결정하여, 계산된 현재 프레임 화소 값에 할당하는 계산기;
    적용 가능한 앵커 프레임 화소의 결과 비례값과 현재 프레임 화소의 비례값을 합하여 단일의 계산된 화소 크기값을 구하는 계산기; 및
    엔코딩된 프레임을 저장하여, 이 프레임들 간의 화소를 비교할 수 있도록 하는 저장 소자
    를 포함하는, 움직임 보상된 시간적 필터링 장치.
KR1020047002223A 2001-08-14 2002-08-07 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서 KR100960742B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/929,553 US7110455B2 (en) 2001-08-14 2001-08-14 Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US09/929,553 2001-08-14
PCT/US2002/024867 WO2003017676A2 (en) 2001-08-14 2002-08-07 Motion-adaptive noise reduction pre-processing for digital video signal

Publications (2)

Publication Number Publication Date
KR20040030096A KR20040030096A (ko) 2004-04-08
KR100960742B1 true KR100960742B1 (ko) 2010-06-01

Family

ID=25458046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047002223A KR100960742B1 (ko) 2001-08-14 2002-08-07 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서

Country Status (8)

Country Link
US (1) US7110455B2 (ko)
EP (2) EP1711019B1 (ko)
KR (1) KR100960742B1 (ko)
CN (1) CN1541482A (ko)
AU (1) AU2002356069A1 (ko)
CA (1) CA2456252C (ko)
MX (1) MXPA04001375A (ko)
WO (1) WO2003017676A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585016B1 (ko) 2010-12-21 2016-01-13 인텔 코포레이션 고효율 비디오 코딩을 위한 콘텐츠 적응적 장애 보상 필터링
US10003826B2 (en) 2015-10-29 2018-06-19 Samsung Sds Co., Ltd. Method of reducing noise of video signal

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2851111B1 (fr) * 2003-02-10 2005-07-22 Nextream France Dispositif de codage d'un flux de donnees video
US7215380B2 (en) 2003-04-15 2007-05-08 Silicon Integrated Systems Corp. Method for detecting video frame types with median filtering
CN100334874C (zh) * 2003-07-02 2007-08-29 矽统科技股份有限公司 具滤噪声步骤的图框种类侦测方法
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7606391B2 (en) * 2003-07-25 2009-10-20 Sony Corporation Video content scene change determination
US8243093B2 (en) * 2003-08-22 2012-08-14 Sharp Laboratories Of America, Inc. Systems and methods for dither structure creation and application for reducing the visibility of contouring artifacts in still and video images
US7359565B2 (en) * 2004-05-03 2008-04-15 International Business Machines Corporation Method of filtering pixels in a video encoding process
KR100624421B1 (ko) 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
KR20050119422A (ko) * 2004-06-16 2005-12-21 삼성전자주식회사 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
US20050286638A1 (en) * 2004-06-23 2005-12-29 Qpixel Technology International, Inc. Image flow knowledge assisted latency-free in-loop temporal filter
US20100272182A1 (en) * 2004-06-23 2010-10-28 Quanta International Limited Image flow knowledge assisted latency-free in-loop temporal filter
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR20060043051A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100677748B1 (ko) * 2004-12-23 2007-02-02 삼성전자주식회사 노이즈 감쇄장치 및 그 방법
US7535517B2 (en) * 2005-04-14 2009-05-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
US7554611B2 (en) * 2005-04-19 2009-06-30 Samsung Electronics Co., Ltd. Method and apparatus of bidirectional temporal noise reduction
US7787754B2 (en) 2005-05-17 2010-08-31 Université de Montréal Continuous extension of discrete transform for data processing
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US20090116762A1 (en) * 2005-06-07 2009-05-07 Shu Lin Content-based gaussian noise reduction for still image, video and film
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
KR100772405B1 (ko) * 2005-09-27 2007-11-01 삼성전자주식회사 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
KR100823569B1 (ko) * 2005-12-10 2008-04-21 한국전자통신연구원 주파수 대역의 부분적인 중첩에 따른 간섭 신호를 제거하는장치 및 그 방법
US7640000B2 (en) * 2005-12-10 2009-12-29 Electronics And Telecommunications Research Institute Apparatus and method for cancellation of partially overlapped crosstalk signals
US8514332B2 (en) * 2005-12-20 2013-08-20 Broadcom Corporation Method and system for non-linear blending in motion-based video processing
US7639309B2 (en) * 2005-12-20 2009-12-29 Broadcom Corporation Method and system for analog video noise reduction by blending FIR and IIR filtering
US8040437B2 (en) * 2005-12-20 2011-10-18 Broadcom Corporation Method and system for analog video noise detection
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
CN101711481B (zh) * 2006-10-18 2013-01-09 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
US20080101469A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data
RU2461977C2 (ru) 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
JP4850689B2 (ja) * 2006-12-22 2012-01-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体
US7952646B2 (en) 2006-12-27 2011-05-31 Intel Corporation Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
JP5050637B2 (ja) * 2007-05-11 2012-10-17 ソニー株式会社 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8837849B2 (en) 2007-06-26 2014-09-16 Google Inc. Method for noise-robust color changes in digital images
US20090010339A1 (en) * 2007-07-05 2009-01-08 Faraday Technology Corp. Image compensation circuit, method thereof, and lcd device using the same
US8145970B2 (en) * 2007-09-06 2012-03-27 Broadcom Corporation Data puncturing ensuring orthogonality within communication systems
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8792564B2 (en) * 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
KR101573400B1 (ko) 2009-02-18 2015-12-02 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
US8767127B2 (en) * 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
TWI398825B (zh) * 2009-10-07 2013-06-11 Altek Corp Method of suppressing noise by using multiple digital images
KR101379189B1 (ko) * 2009-10-19 2014-04-10 에스케이 텔레콤주식회사 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
SG10201408613UA (en) 2009-10-30 2015-02-27 Agency Science Tech & Res Methods, Devices, And Computer Readable Mediums For Processing A Digital Picture
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9036695B2 (en) 2010-11-02 2015-05-19 Sharp Laboratories Of America, Inc. Motion-compensated temporal filtering based on variable filter parameters
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
JP2013059016A (ja) * 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9667964B2 (en) 2011-09-29 2017-05-30 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
US8818125B2 (en) * 2011-10-07 2014-08-26 Texas Instruments Incorporated Scene adaptive filter design for improved stereo matching
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
TWI510076B (zh) * 2011-12-05 2015-11-21 Realtek Semiconductor Corp 影像處理方法及相關的影像處理裝置
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
US9131073B1 (en) * 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9326008B2 (en) 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9041834B2 (en) 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
CN102968763A (zh) * 2012-10-20 2013-03-13 江南大学 一种基于自适应神经模糊推理系统的图像滤波方法
US20150063469A1 (en) * 2013-08-30 2015-03-05 Arris Enterprises, Inc. Multipass encoder with heterogeneous codecs
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JP2015149554A (ja) * 2014-02-05 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置
US20150381979A1 (en) * 2014-06-25 2015-12-31 Arris Enterprises, Inc. Method for using a decoder or look-ahead encoder to control an adaptive pre-filter
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10021396B1 (en) 2014-12-30 2018-07-10 Ambarella, Inc. Motion detection based on observing several pictures
US10049436B1 (en) 2015-09-30 2018-08-14 Google Llc Adaptive denoising for real-time video on mobile devices
CN105898319A (zh) * 2015-12-22 2016-08-24 乐视云计算有限公司 视频转码方法和装置
US11017504B2 (en) * 2016-01-29 2021-05-25 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
US10911698B2 (en) * 2016-09-30 2021-02-02 Huddly As ISP bias-compensating noise reduction systems and methods
US10453187B2 (en) * 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
CN111009219B (zh) * 2018-10-08 2021-09-21 奇景光电股份有限公司 适用于显示器背光的区域调光系统
US11252440B2 (en) 2019-11-07 2022-02-15 Comcast Cable Communications, Llc Pixel filtering for content
CN110933334B (zh) * 2019-12-12 2021-08-03 腾讯科技（深圳）有限公司 视频降噪方法、装置、终端及存储介质
CN113055669B (zh) * 2021-01-15 2023-01-17 北京博雅慧视智能技术研究院有限公司 一种编码前的图像滤波方法及装置
CN113259662B (zh) * 2021-04-16 2022-07-05 西安邮电大学 基于三维小波视频编码的码率控制方法
CN113438488B (zh) * 2021-06-18 2023-01-31 北京锐马视讯科技有限公司 低码率视频优化编码方法和装置、设备及存储介质
CN113726311B (zh) * 2021-08-23 2022-05-06 北京智源人工智能研究院 脉冲信号滤波电路及电子设备
CN115604463A (zh) * 2022-09-07 2023-01-13 天津市国瑞数码安全系统股份有限公司（Cn） 一种自适应感知采样的视频压缩方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718205B2 (en) 1998-09-25 2004-04-06 Ep Medsystems, Inc. Triple array defibrillation catheter and method of using the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0250534B2 (en) * 1985-12-24 1994-09-28 British Broadcasting Corporation Bandwidth compression for television signals
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform
KR960012932B1 (ko) * 1993-09-17 1996-09-25 대우전자 주식회사 이차원 공간 필터링을 이용한 시간축 대역 제한 방법
JPH07177464A (ja) * 1993-12-16 1995-07-14 Pioneer Video Corp リアルタイム画像圧縮処理装置
EP0772365A3 (en) * 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
ES2180919T3 (es) * 1996-02-19 2003-02-16 Koninkl Philips Electronics Nv Metodo y disposicion para codificar una señal de video.
US6100931A (en) * 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
WO2001035636A1 (en) * 1999-11-11 2001-05-17 Stmicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
EP1100260A1 (en) * 1999-11-12 2001-05-16 STMicroelectronics S.r.l. Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718205B2 (en) 1998-09-25 2004-04-06 Ep Medsystems, Inc. Triple array defibrillation catheter and method of using the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585016B1 (ko) 2010-12-21 2016-01-13 인텔 코포레이션 고효율 비디오 코딩을 위한 콘텐츠 적응적 장애 보상 필터링
US9912947B2 (en) 2010-12-21 2018-03-06 Intel Corporation Content adaptive impairments compensation filtering for high efficiency video coding
US10595018B2 (en) 2010-12-21 2020-03-17 Intel Corproation Content adaptive impairment compensation filtering for high efficiency video coding
US10003826B2 (en) 2015-10-29 2018-06-19 Samsung Sds Co., Ltd. Method of reducing noise of video signal

Also Published As

Publication number Publication date
AU2002356069A1 (en) 2003-03-03
EP1438862B1 (en) 2019-03-27
MXPA04001375A (es) 2004-06-03
WO2003017676A3 (en) 2003-12-11
EP1711019A3 (en) 2011-11-30
US20030039310A1 (en) 2003-02-27
EP1711019A2 (en) 2006-10-11
CN1541482A (zh) 2004-10-27
EP1711019B1 (en) 2018-10-03
CA2456252A1 (en) 2003-02-27
EP1438862A2 (en) 2004-07-21
CA2456252C (en) 2012-11-27
WO2003017676A2 (en) 2003-02-27
US7110455B2 (en) 2006-09-19
KR20040030096A (ko) 2004-04-08

Similar Documents

Publication Publication Date Title
KR100960742B1 (ko) 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서
KR100425640B1 (ko) 비디오신호처리를위한노이즈추정및감소장치
JP3748717B2 (ja) 動画像符号化装置
US6804301B2 (en) First pass encoding of I and P-frame complexity for compressed digital video
US5453799A (en) Unified motion estimation architecture
US7170938B1 (en) Rate control method for video transcoding
US20070199011A1 (en) System and method for high quality AVC encoding
US6574276B2 (en) Video coding method and corresponding video coder
KR100242406B1 (ko) 디지탈 비디오 동화상의 움직임 보상 방법
EP0615386B1 (en) A motion vector processor for compressing video signal
JPH11177989A (ja) ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置
KR19980018698A (ko) 영상 데이터 압축 장치 및 그의 방법
US5844607A (en) Method and apparatus for scene change detection in digital video compression
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
US6480544B1 (en) Encoding apparatus and encoding method
KR100571685B1 (ko) 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
US20060146932A1 (en) Method and apparatus for providing motion estimation with weight prediction
US20060109906A1 (en) Methods and apparatus for dynamically adjusting f-codes for a digital picture header
JPH0775095A (ja) レート制御回路
JPH1056646A (ja) 映像信号復号化装置
KR19990086117A (ko) 필터를 이용한 움직임 보상 동영상 압축 방법
JPH11225342A (ja) データ符号化装置及びデータ符号化方法
JPH11317950A (ja) データ符号化装置、データ符号化方法及びデータ伝送方法
JP2001145108A (ja) 画像情報変換装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150511

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160511

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170515

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190517

Year of fee payment: 10