KR20050025928A - 비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체 - Google Patents

비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체 Download PDF

Info

Publication number
KR20050025928A
KR20050025928A KR1020040071449A KR20040071449A KR20050025928A KR 20050025928 A KR20050025928 A KR 20050025928A KR 1020040071449 A KR1020040071449 A KR 1020040071449A KR 20040071449 A KR20040071449 A KR 20040071449A KR 20050025928 A KR20050025928 A KR 20050025928A
Authority
KR
South Korea
Prior art keywords
control information
post
filtering
processing
video
Prior art date
Application number
KR1020040071449A
Other languages
English (en)
Other versions
KR100802203B1 (ko
Inventor
스리드하르 스리니바산
치-룽 린
포시앙 슈
토마스더블유. 홀콤
밍-치에흐 리
조르디 리바스-코르베라
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050025928A publication Critical patent/KR20050025928A/ko
Application granted granted Critical
Publication of KR100802203B1 publication Critical patent/KR100802203B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

비트스트림(bitstream) 제어 필터링(filtering)에 대한 기법 및 도구가 기술된다. 예를 들면, 비디오 인코더는 제어 정보를 인코딩된 비디오에 대한 비트스트림에 제공한다. 비디오 디코더는 그 인코딩된 비디오를 디코딩하고, 제어 정보에 따라서, 디링잉(de-ringing) 및/또는 디블럭킹(de-blocking) 필터로 디코딩된 비디오에 대해 후처리 필터링(post-processing filtering)을 수행한다. 통상적으로, 컨텐츠 저자는 인코더에 대한 제어 정보를 지정한다. 제어 정보는 그 자체가 후처리 필터 레벨, 필터 선택, 및/또는 몇몇의 다른 유형의 정보이다. 비트스트림에서, 제어 정보는 시퀀스(sequence), 신(scene), 프레임(frame), 프레임 내의 영역(region)에 대하여 또는 임의 다른 구문 레벨로 지정된다.

Description

비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능 매체{BITSTREAM CONTROLLED POST-PROCESSING FILTERING}
이 출원은 2003년 9월 7일에 출원되고, 발명의 명칭이 "비디오 인코딩 및 디코딩 도구 및 기법(VIDEO ENCODING AND DECODING TOOLS AND TECHNIQUES)"인, 미국 가특허 출원 번호 60/501,081의 권리를 청구하며, 그 개시물은 본 발명에 참조로서 포함된다.
비트스트림 제어 필터링에 대한 기법 및 도구가 기술된다. 예를 들면, 비디오 인코더는 후처리 필터링에 대한 제어 정보를 제공하고, 비디오 디코더는 디링잉 및/또는 디블럭킹 필터로 비트스트림 제어 후처리 필터링을 수행한다.
디지털 비디오는 방대한 양의 저장 및 전송 용량을 소비한다. 통상적인 미처리(raw) 디지털 비디오 시퀀스는 초당 15 또는 30 프레임을 포함한다. 각 프레임은 수만 또는 수십만개의 (펠(pel)이라고도 칭하는) 픽셀(pixel)을 포함한다. 각 픽셀은 화상에서의 작은 엘리먼트를 나타낸다. 미처리 형태로, 컴퓨터는 일반적으로 24비트의 픽셀을 나타낸다. 그러므로, 통상적인 미처리 디지털 비디오 시퀀스의 초당 비트수, 즉 비트율(bitrate)은 500만 비트/초 이상일 수 있다.
대부분의 컴퓨터 및 컴퓨터 네트워크는 미처리된 디지털 비디오를 처리하는 자원은 부족하다. 이러한 이유로, 엔지니어들은 (코딩 또는 인코딩이라고도 칭하는) 압축(compression)을 이용하여 디지털 비디오의 비트율을 줄인다. 압축은, 비디오의 질은 손상되지 않지만 비트율의 감소가 비디오의 복잡도에 의해 제한되는, 무손실(lossless)일 수 있다. 또는, 압축은, 비디오의 질은 손상되지만 비트율의 감소는 보다 급격한, 손실(lossy)일 수 있다. 압축 해제(decompression)는 압축에 반대이다.
일반적으로, 비디오 압축 기법은 프레임내 압축(intraframe compression) 및 프레임간 압축(interframe compression)을 포함한다. 프레임내 압축 기법은, 통상적으로 I-프레임 또는 키 프레임이라 칭하는 개별적인 프레임을 압축한다. 프레임간 압축 기법은, 통상적으로 예측 프레임, P-프레임, 또는 B-프레임이라 칭하는 선행 및/또는 후행 프레임을 참조하여 프레임들을 압축한다.
마이크로소프트사의 윈도우즈 미디어 비디오 버전(Windows Media Video Version) 8["WMV8"] 및 9["WMV9"]는 각각 비디오 인코더 및 비디오 디코더를 포함한다. 인코더는 프레임내 및 프레임간 압축을 사용하고, 디코더는 프레임내 및 프레임간의 압축 해제를 사용한다. 움직임 화상 전문가 그룹(Motion Picture Experts Group)["MPEG"] 1, 2, 및 4 표준 및 H.26x 표준을 포함하는, 비디오 압축 및 압축 해제에 대한 몇몇의 국제적인 표준 또한 존재한다. WMV8 및 WMV9와 같이, 이들 표준은 프레임내 및 프레임간 압축 및 압축 해제의 조합을 사용한다.
Ⅰ. 블럭 기반의 프레임내 압축 및 압축 해제
복수의 종래 기술의 인코더는 블럭 기반의 프레임내 압축을 사용한다. 예시를 위하여, 인코더는 비디오 프레임을 8x8 블럭의 픽셀들로 쪼개고 8x8 이산 코싸인 변환(Discrete Cosine Transform)["DCT"]을 개별적인 블럭에 적용시킨다고 가정한다. DCT는 소정의 8x8블럭의 픽셀(공간 정보)을 8x8 블럭의 DCT 계수(주파수 정보)로 변환한다. DCT 수행 자체는 무손실이거나 거의 무손실이다. 인코더는 DCT계수를 양자화하여, 양자화된 DCT 계수의 8x8 블럭을 산출한다. 양자화는 손실성이며, 계수에 대한 정보의 손실이 완전하지 않으면, 정밀도가 손실된다. 그 다음 인코더는 엔트로피 인코딩을 위해 양자화된 DCT 계수의 8x8 블럭을 생성하여, 무손실 압축의 형태인, 엔트로피 인코딩을 수행한다.
대응하는 디코더는 대응하는 디코딩 프로세스를 수행한다. 소정의 블럭에서, 디코더는 엔트로피 디코딩, 역 양자화, 역 DCT, 등을 수행하여, 재구성된 블럭이 생성된다. 양자화 때문에, 재구성된 블럭은 초기 블럭과 동일하지 않다. 사실상, 인지할 수 있는 오류가 재구성된 블럭 내에 또는 재구성된 블럭 간의 경계에 존재할 수 있다.
Ⅱ. 블럭 기반의 프레임간 압축 및 압축 해제
복수의 종래 기술의 인코더는 블럭 기반의 움직임 보상 예측 코딩(motion-compensated prediction coding)을 이용한 다음 나머지(residual)들에 대해 변환 코딩을 행한다 . 예시를 위하여, 인코더는 예측되는 프레임을 8x8 블럭의 픽셀로 쪼갠다고 가정한다. 4개의 8x8 휘도(luminance) 블럭 및 2개의 같은 위치의 8x8 색도(chrominance) 블럭의 그룹에 의해 매크로블럭이 형성된다. 움직임 추정은 참조 프레임, 예를 들면, 이전에 코딩된, 선행 프레임에 대한 마이크로 블럭의 움직임을 근사화 한다. 인코더는 매크로블럭에 대한 움직임 벡터를 계산한다. 움직임 보상에서, 움직임 벡터를 사용하여 참조 프레임으로부터의 정보를 이용하는 마이크로 블럭에 대한 예측 매크로블럭을 계산한다. 예측은 그다지 완벽하지 않아서, 인코더는 통상적으로 예측과 초기 매크로블럭 간의 픽셀 차(에러 또는 나머지 블럭이라고도 칭함)의 블럭을 인코딩한다. 인코더는 DCT를 에러 블럭에 적용시켜, 계수의 블럭을 산출한다. 인코더는 DCT 계수를 양자화 하고, 엔트로피 인코딩을 위해 양자화된 DCT의 계수 블럭을 생성하여, 엔트로피 인코딩을 수행한다.
대응하는 디코더가 대응하는 디코딩 프로세스를 수행한다. 디코더는 엔트로피 디코딩, 역 양자화, 역 DCT, 등을 수행하여, 재구성된 에러 블럭들이 산출된다. 개별적인 움직임 보상 경로에서, 디코더는 움직임 벡터 정보를 이용하여 참조 프레임에 관련된 예측을 계산한다. 디코더는 계산된 예측을 재구성된 에러 블럭과 결합시킨다. 마찬가지로, 재구성된 비디오는 대응하는 초기의 것과 동일하지 않으며, 인지할 수 있는 에러가 재구성된 블럭 또는 재구성된 블럭 간의 경계에 존재할 수 있다.
Ⅲ. 블럭킹 아티펙트 및 링잉 아티펙트(Blocking Artifacts and Ringing Artifacts)
손실 압축은 재구성 이후의 비디오에서 눈에 띄는 에러를 유발시킬 수 있다. 손실 압축이 보다 심해지고 초기 비디오의 질이 보다 높아질수록, 재구성된 비디오에서 인지할 수 있는 에러가 보다 빈번하게 발생할 수 있다. 2개의 일반적인 종류의 에러는 블럭킹 아티펙트 및 링잉 아티펙트이다.
블럭 기반의 압축 기법은 구현이 용이한 장점이 있지만, 아마도 오늘날 디지털 비디오에서 가장 빈번하고 성가신 유형의 왜곡인, 블럭킹 아티펙트를 일으킨다. 블럭킹 아티펙트는 재구성된 비디오에서 블럭의 가장자리 주변에서 볼 수 있는 불연속성이다. (예를 들면, 블럭-기반의 변환으로부터의 변환 계수의) 양자화 및 절단(truncation)은 특히, 압축률이 높을 때, 블럭킹 아티펙트를 초래한다. 예를 들어, 블럭이 독립적으로 양자화되었다면, 한 블럭은 인접 블럭보다 더 적게 또는 더 많이 양자화되었을 수 있다. 재구성시에 , 이는 두 블럭 간의 경계에서 블럭킹 아티펙트를 초래할 수 있다. 또는, 블럭의 전체 내용이 다르고 블럭 경계에 걸친 천이 상세를 재구성하기 위해 고주파 계수를 필요로 할 경우, 고주파 계수가 양자화될 때 블럭킹 아티펙트를 초래할 수 있다.
링잉 아티펙트는 고주파 변환 계수의 양자화 및 절단에 의해 일어날 수 있는데, 이 변환 계수는 블럭 기반 변환으로부터이거나 웨이브렛(wavelet) 기반 변환으로부터의 변환 계수이다. 이러한 변환은 둘 다 본질적으로 규칙적인 웨이브 형태의 합으로 픽셀 영역을 나타내는데, 여기서 웨이브 형태 계수에 양자화, 인코딩 등이 이루어진다. 몇몇의 경우에서, 고주파 웨이브 형태의 기여는 저주파 웨이브 형태에 의해 생긴 왜곡을 무효화시킨다. 고주파 계수가 심하게 양자화된다면, 저주파수에서는 웨이브같은 진동으로 왜곡이 보일 수 있다. 예를 들면, 화상 면적은 날카로운 경계 또는 윤곽을 포함하고, 고주파 계수가 심하게 양자화된다고 가정한다. 재구성된 이미지에서, 양자화는 그 날카로운 경계 또는 윤곽 주변에서 리플(ripple) 또는 진동을 일으킬 수 있다.
Ⅳ. 후처리 필터링
블럭킹 아티펙트 및 링잉 아티펙트는 디블럭킹 및 디링잉 기법을 이용하여 감소시킬 수 있다. 이들 기법은 통상적으로 비디오가 디코딩된 이후에 적용되기 때문에, 이들 기법을 일반적으로 후처리 기법이라 칭한다. 후처리 기법은 일반적으로 재구성된 비디오의 인식 품질을 향상시킨다.
WMV8 및 WMV9 디코더는 특수한 필터를 이용하여 후처리중에 블럭 및 링잉 아티펙트를 감소시킨다. 추가적인 정보는, 2001년 12월 17일에 출원된, 미국 가 특허 출원 번호 60/341,674의 부록 A 및 2003년 7월 18일에 출원된, 미국 가 특허 출원 번호 60/488,710의 부록 A에서 볼 수 있다. 유사하게는, 상술한 몇몇의 MPEG 및 H.26X 표준을 구현하는 소프트웨어는 디블럭킹 및/또는 디링잉 필터를 가진다. 예를 들면, (1)검증 모델에서 검사되고 MPEG-4 초안 N2202의 섹션 15.3인 부록 F에 기술되어 있는 MPEG-4 디블럭킹 및 디링잉 필터, (2)테스트 모델 니어-텀(Test Model Near-term)에서 테스트된 H.253+ 후처리 필터, 및 H.264 JM 후처리 필터에서 볼 수 있다. 또한, 여러 공보에서 후처리 필터링 기법(뿐만 아니라, 몇몇의 경우에서는, 대응하는 전처리 기법도)에 대해 다루고 있다. 예를 들면, (1) Kuo 등이 저술한, Circuits and Systems for Video Technology의 IEEE Trans.의 제5판, 4번인(1995년 8월) "Adaptive Postprocessor for Block Encoded Images", (2) O'Rourke 등이 저술한, Circuits and System for Video Technology의 IEEE Trans.의 제5판, 6번인 "Improved Image Decompression for Reduced Transform Coding Artifacts", 및 (3) Segall 등이 저술한 Signals and Systems의 Proc. 34th Asilomar Conf.(2000)의 "Pre- and Post-Processing Algorithms for Compressed Video Enhancement" 에서 볼 수 있다.
도 1은 종래 기술에 따른 후처리 필터링의 일반적인 도면이다. 비디오 인코더(110)는 소스 비디오(105)를 받아들이고, 그것을 인코딩하고, 비디오 비트스트림(115)을 산출한다. 비디오 비트스트림(115)은, 예를 들면, 네트워크를 통해 미디어를 스트리밍에 의해 전송함으로써, 채널(120)을 통하여 전달된다. 비디오 디코더(130)는 비디오 비트스트림(115)을 수신하고 디코딩하여, 디코딩된 비디오(135)를 산출한다. 디링잉 및/또는 디블럭킹 필터와 같은 후처리 필터(140)가 디코딩된 비디오(135)에서 사용되어, 디코딩되고, 후처리된 비디오(145)가 산출된다.
엄밀히 말하자면, 후처리 필터링 기법은 비디오 비트스트림(115)을 디코딩하는 데에 필요하지는 않는다. 코덱(Codec; enCOder/DECoder) 기술자는 코덱을 설계할 때 이러한 기법을 적용할지 여부를 결정할 수 있다. 이러한 결정은, 예를 들면, CPU 싸이클이 소프트웨어 디코더에 이용가능한지 여부, 또는 하드웨어 디코더의 추가적인 이용에 의존할 수 있다. 후처리 프로세싱 필터링 기법들은 통상적으로 비디오 질을 상당히 향상시키기 때문에, 그 기법들은 오늘날 대부분의 비디오 디코더에서 일반적으로 적용된다. 후처리 필터들은 가끔 비디오 코덱과는 독립적으로 설계되어서, 동일한 디블럭킹 및 디링잉 필터가 다른 코덱에 적용될 수 있다.
이전 시스템에서, 후처리 필터는 자동적으로 전체 비디오 시퀀스에 적용된다. 항상 후처리 필터링이 최소한 비디오 질은 향상시킨다고 가정하면, 후처리 필터링은 항상 계속되어야 한다. 시스템마다, 필터들은 디코더의 기능에 따라 다른 강도를 가질 수 있다. 게다가, 몇몇의 필터는 재구성된 비디오의 내용에 대한 디코더측 평가에 의존하여 필터링의 강도를 선택적으로 비활성화시키거나 변경시킬 수 있지만, 이러한 적응 프로세싱은 여전히 자동적으로 수행된다. 이들 어프로치에는 몇가지 문제점이 있다.
첫번째로, 후처리 필터링이 항상 비디오 질을 적어도 향상시킨다는 가정은 잘못되었다. 많은 손실 없이 압축되는 높은 질의 비디오에서, 후처리 프로세싱 디블럭킹 및 디링잉은 텍스쳐 세부사항 및 눈에 띄는 블러(blur) 비디오 이미지를 제거하여, 실제로는 질을 떨어뜨릴 수 있다. 이는 높은 비트율로 인코딩된 고 해상력(definition) 비디오에 가끔 일어난다.
두번째로, 비디오 비트스트림에 후처리 필터링을 가이드하는 정보가 존재하지 않는다. 비디오 비트스트림에 후처리 필터링을 제어하는 정보를 도입함으로써 저자가 그 필터링을 제어하고 적응시킬 수 없다.
Ⅴ. 인루프 필터링(In-Loop Filtering)
후처리 필터링 외에도, 몇몇의 종래 기술 시스템이 인루프 필터링을 사용한다. 인루프 필터링에는, 인코딩 및 디코딩 프로세스에서 움직임 보상 중에 재구성된 참조 프레임에 대한 필터링(예를 들면, 디블럭킹 필터링)이 포함된다(후처리는 디코딩 프로세스 이후에 적용된다). 참조 프레임에서의 아티펙트를 줄임으로써, 인코더 및 디코더는 참조 프레임으로부터의 움직임 보상 예측의 질을 질을 향상시킨다. 예를 들면, (1) 2001년 12월 17일에 출원된, 미국 가 특허 출원 번호 60/341,674의 섹션 4.4, (2) 2003년 7월 18일에 출원된, 미국 가 특허 출원 번호 60/488,710의 섹션 4.9, (3) (매크로블럭의 조건부 저통과 필터링을 기술하는) H.261 표준의 섹션 3.2.3, (4) H.263 표준의 섹션 3.4.8 및 부록 J, 및 (3) H.264 표준의 관련 섹션에서 볼 수 있다.
보다 상세히는, H.264 표준은 저자가 씬 단위(scene-by-scene)로 인 루프 필터링을 턴온 및 오프하도록 하고, 심지어는 필터링의 강도를 수정하도록 할 수 있다. 그러나, H.264 표준은 저자가 프레임 내의 영역들에 대하여 루프 필터링을 적응시킬 수 없다. 게다가, H.264 표준은 오직 한 종류의 인루프 필터를 사용한다.
디지털 비디오의 비디오 압축 및 압축 해제의 중요성을 감안하면, 비디오 압축 및 압축 해제가 풍부하게 개발되는 분야임은 놀라운 일이 아니다. 그러나, 이전의 비디오 압축 및 압축 해제 기법의 이점이 무엇이든 간에, 그것은 이하의 기법 및 도구의 이점을 가지지 않는다.
간단히 말하자면, 상세한 설명은 비트스트림 제어 필터링에 대한 다양한 기법 및 도구에 관한 것이다. 예를 들면, 비디오 인코더는 인코딩된 비디오를 위한 비트스트림에 제어 정보를 제공한다. 비디오 디코더는 인코딩된 비디오를 디코딩하고, 그 제어 정보에 따라서, 그 디코딩된 비디오에 후처리 필터링을 수행한다. 이러한 종류의 제어에 의해, 사람인 오퍼레이터는 비디오 질을 향상시키는 범위까지 후처리를 할 수 있으며 그렇지 않으면 후처리를 비활성화 시킬 수 있다. 한 시나리오에서, 오퍼레이터는 후처리 필터링을 제어하여 고 해상력, 고비트율 비디오를 재구성할 때 과도한 블러링을 방지한다.
다양한 기법 및 도구가 결합되거나 독립적으로 사용될 수 있다.
한 양상으로, 비디오 인코더 또는 다른 도구는 비디오 데이터를 수신하고 인코딩하고, 제어 정보뿐만 아니라 인코딩된 비디오 데이터를 출력한다. 제어 정보는 디코딩 이후에 비디오 데이터의 후처리 필터링을 제어하기 위한 것이다. 후처리 필터링은 디블럭킹, 디링잉 및/또는 다른 종류의 필터링을 포함한다. 통상적으로, 사람인 오퍼레이터는 후처리 필터 레벨(즉, 필터 강도) 또는 필터 유형 선택과 같은 제어 정보를 지정한다. 구현에 따라, 제어 정보는 시퀀스, 신(scene), 프레임, 프레임 내의 영역 및/또는 몇몇의 다른 레벨에 대하여 지정된다.
다른 양상으로, 비디오 디코더 또는 다른 도구는 인코딩된 비디오 데이터 및 제어 정보를 수신하고, 인코딩된 비디오 데이터를 디코딩하고, 그 디코딩된 비디오 데이터에 대해 수신된 제어 정보의 적어도 일부에 기반하여 후처리 필터링을 수행한다. 마찬가지로, 후처리 필터링은, 디블럭킹, 디링잉 및/또는 다른 종류의 필터링을 포함하고, 제어 정보는 구현에 따라, 시퀀스, 신(scene), 프레임, 프레임 내의 영역에 대해, 및/또는 임의 다른 레벨로 지정된다.
추가적인 특징 및 이점은 첨부된 도면의 참조와 함께 진행되는 다른 실시예의 이하의 상세한 설명에서 명백해질 것이다.
본 원은 재구성된 비디오를 디블럭킹 및 디링잉하기 위한 비트스트림 제어 후처리 필터링에 대한 기법 및 도구에 관한 것이다. 이 기법 및 도구는 사람 오퍼레이터에게, 후처리 필터링에 대한 제어를 제공하여, 오퍼레이터는 비디오 질을 향상시키는 범위에서는 후처리를 활성화하고 그렇지 않으면 후처리를 비활성화 할 수 있다. 예를 들면, 오퍼레이터는 후처리 필터링을 제어하여 고 해상력, 고 비트율 비디오를 재구성할 때 과도한 블러링을 방지한다.
무엇보다도, 본 명세서는 제어 정보를 지정하고, 제어 정보를 매개변수화 하고, 제어 정보를 신호화하고, 제어 정보에 따라 필터링하는 기법 및 도구에 관한 것이다. 다양한 기법 및 도구가 결합되거나 독립적으로 이용될 수 있다. 다른 실시예들이 하나 이상의 기술된 기법 및 도구를 구현한다.
상세한 설명 중 상당 부분이 직접적으로 후처리 중의 디블럭킹 및 디링잉 필터링에 관한 것이지만, 이 기법 및 도구는 또한 (예를 들면, 인코딩 및 디코딩 중의 인루프 필터링과 같은) 다른 단계에서 또는 다른 종류의 필터링에서 적용될 수 있다.
마찬가지로, 상세한 설명 중 상당 부분이 비디오 인코더 및 디코더에 관한 것이지만, 다른 유형의 비디오 프로세싱 도구 또는 다른 도구가 비트스트림 제어 필터링에 대한 하나 이상의 기법을 구현할 수 있다.
Ⅰ. 컴퓨팅 환경
도 2는 몇몇의 기술된 실시예가 구현될 수 있는 적절한 컴퓨팅 환경(200)의 일반적인 예를 도시한다. 이 기법 및 도구는 다양한 범용 또는 특수 목적 컴퓨팅 환경에서 구현될 수 있기 때문에, 컴퓨팅 환경(200)은 사용 범위 또는 기능에의 임의의 제한을 하도록 의도되지 않는다.
도 2를 참조하면, 컴퓨팅 환경(200)은 적어도 하나의 프로세싱 유닛(210) 및 메모리(220)를 포함한다. 도 2에서, 이러한 가장 기본적인 구성(230)이 점선 안에 포함된다. 프로세싱 유닛(210)은 컴퓨터 실행가능 명령어를 실행하고 실제 또는 가상 프로세서일 수 있다. 멀티프로세싱 시스템에서, 복수의 프로세싱 유닛이 컴퓨터 실행가능 명령어들을 실행하여 프로세싱 성능을 향상시킨다. 메모리(220)는 휘발성 메모리(예를 들면, 레지스터, 캐쉬, RAM), 비휘발성 메모리(예를 들면, ROM, EEPROM, 플래쉬 메모리, 등), 또는 몇몇의 이 둘의 조합일 수 있다. 메모리(220)는 인코더 및/또는 디코더에 대한 비트스트림 제어 필터링 기법을 구현하는 소프트웨어(280)를 저장한다.
컴퓨팅 환경은 추가적인 특징들을 구비할 수 있다. 예를 들면, 컴퓨팅 환경(220)은 기억장치(240), 하나 이상의 입력 장치(250), 하나 이상의 출력 장치(260), 및 하나 이상의 통신 접속(270)을 포함한다. 버스, 컨트롤러, 또는 네트워크와 같은 (도시되지 않은) 상호 접속 메카니즘은 컴퓨팅 환경(200)의 컴포넌트들을 상호 접속한다. 통상적으로, (도시되지 않은) 오퍼레이팅 시스템 소프트웨어는 컴퓨팅 환경(200)에서 실행되는 다른 소프트웨어를 위한 오퍼레이팅 환경을 제공하고, 컴퓨팅 환경(200)의 컴포넌트의 활동을 조정한다.
기억장치(240)는 분리형(removable) 또는 비분리형(non-removable)일 수 있으며, 자기 디스크, 자기 테이프 또는 카세트, CD-ROM, DVD, 또는 정보를 저장하는 데에 이용될 수 있고 컴퓨팅 환경(200) 내에 액세스 될 수 있는 임의의 기타 매체를 포함한다. 기억장치(240)는 엔코더 및/또는 디코더에 대한 비트스트림 제어 필터링 기법을 구현하는 소프트웨어(280)를 저장한다.
입력 장치(들)(250)는 키보드, 마우스, 펜, 또는 트랙볼과 같은 접촉 입력 장치, 음성 입력 장치, 스캐닝 장치, 또는 컴퓨팅 환경(200)에 입력을 제공하는 기타 장치일 수 있다. 오디오 비디오 인코딩에서, 입력 장치(들)(250)는 사운드 카드, 비디오 카드, TV 튜너 카드, 또는 아날로그나 디지털 형태로 오디오 또는 비디오 입력을 받아들이는 유사한 장치, 또는 오디오 또는 비디오 샘플들을 컴퓨팅 환경(200)으로 판독하는 CD-ROM 또는 CD-RW일 수 있다. 출력 장치(들)(260)는 디스플레이, 프린터, 스피커, CD-라이터, 또는 컴퓨팅 환경(200)으로부터 출력을 제공하는 다른 장치일 수 있다.
통신 접속(들)(270)은 다른 컴퓨팅 본체와 통신 매체를 통한 통신을 할 수 있게 한다. 통신 매체는 컴퓨터 실행가능 명령어, 오디오 또는 비디오 입력이나 출력, 또는 변조된 데이터 신호 내의 기타 데이터와 같은 정보를 전달한다. 변조된 데이터 신호는 신호 내에 정보를 인코딩하도록 설정되거나 변환된 특성을 하나 또는 그 이상을 갖는 신호이다. 예로서, 통신 매체는 전자, 광, RF, 적외선, 또는 다른 반송파로 구현된 유선 또는 무선 기법을 포함하지만, 이에 한정되지 않는다.
기법 및 도구는 컴퓨터 판독가능 매체와 일반적으로 관련하여 기술될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 환경에서 액세스 될 수 있는 임의의 이용가능한 매체이다. 예로서, 컴퓨팅 환경(200)에서는, 컴퓨터 판독가능 매체는 메모리(220), 기억장치(240), 통신 매체, 및 상기의 임의의 조합을 포함하지만, 이에 한정되지 않는다.
기법 및 도구는 실제 또는 가상의 대상 프로세서 상의 컴퓨팅 환경에서 실행되는, 프로그램 모듈에 포함된 것들과 같은, 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 실행하거나 추상 데이터 타입을 구현하는 루틴, 프로그램, 라이브러리, 오브젝트, 클래스, 컴포넌트, 데이터 구조, 등을 포함한다. 프로그램 모듈의 기능은 다양한 실시예에서 필요에 따라 프로그램 모듈 사이에서 결합되거나 분리될 수 있다. 프로그램 모듈의 컴퓨터 실행가능 명령어는 로컬 또는 분산 컴퓨팅 환경에서 실행될 수 있다.
Ⅱ. 일반적인 비디오 인코더 및 디코더
도 3은 일반적인 비디오 인코더(300)의 블럭도이며 도 4는 일반적인 비디오 디코더(400)의 블럭도이다.
도시된 인코더 및 디코더 내의 모듈 간의 관계는 인코더 및 디코더의 정보의 주 흐름을 나타낸다; 다른 관계들은 간결성을 위해 도시되지 않았다. 보다 상세히는, 도 3 및 도 4는 일반적으로 비디오 시퀀스, 프레임/필드, 매크로블럭, 블럭 등에서 이용되는 인코더 설정, 모드, 테이블 등을 나타내는 보조 정보(side information)를 도시하지 않는다. 이러한 보조 정보는 통상적으로 그 보조 정보의 엔트로피 인코딩 이후에, 출력 비트스트림에 포함되어 송신된다. 출력 비트스트림의 포맷은 윈도우 미디어 비디오 버전 9 포맷 또는 다른 포맷일 수 있다.
인코더(300) 및 디코더(400)는 블럭 기반이며 (때때로 하나의 16x16 매크로블럭으로 취급되는) 4 휘도(luminance) 8x8 휘도 블럭 및 2개의 8x8 색도 블럭을 포함하는 매크로블럭 각각을 가지는 4: 2: 0 매크로블럭 포맷을 이용한다. 인코더(300) 및 디코더(400)는 비디오 프레임 및/또는 비디오 필드인 비디오 화상에 대해 동작한다. 또는, 인코더(300) 및 디코더(400)는 객체 기반이며, 다른 매크로블럭 또는 블럭 포맷을 이용하고, 8x8 블럭 및 16x16 매크로블럭과는 다른 사이즈 또는 다른 구성의 픽셀 집합에 대해 오퍼레이션들을 수행한다.
구현 및 바람직한 압축의 유형에 따라서, 인코더 또는 디코더의 모듈이 추가되고, 생략되고, 복수의 모듈로 나뉘어지고, 다른 모듈과 결합되고/거나 유사한 모듈로 교체될 수 있다. 대안적인 실시예에서, 다른 모듈 및/또는 모듈의 다른 구성을 가지는 인코더 또는 디코더는 상술한 기법 중 하나 이상을 수행한다.
A. 비디오 인코더
도 3은 일반적인 비디오 인코더 시스템(300)의 블럭도이다. 인코더 시스템(300)은 현재 화상(305)을 포함하는 비디오 화상의 시퀀스를 수신하고, 압축된 비디오 정보(395)를 출력으로서 산출한다. 비디오 인코더의 상세한 실시예는 일반적으로 일반화된 인코더(300)의 변형물 또는 보충 버전을 사용한다.
인코더 시스템(300)은 예측 화상(predicted picture) 및 키 화상(key picture)을 압축한다. 도시를 목적으로, 도 3은 인코더 시스템(300)을 통하는 키 화상의 경로 및 전방 예측 화상의 경로를 도시한다. 인코더 시스템(300)의 복수의 컴포넌트들은 키 화상 및 예측 화상을 둘다 압축하는 데에 이용된다. 이들 컴포넌트에 의해 수행되는 정밀한 오퍼레이션은 압축된 정보의 유형에 따라서 다를 수 있다.
예측 화상(p-화상, 양방향 예측을 위한 b-화상, 또는 인터 코딩된 화상이라도고 칭함)은 하나 이상의 다른 화상으로부터의 예측(또는 차이)으로 표현된다. 예측 나머지는 예측된 것과 초기 화상 간의 차이이다. 대조적으로, 키 화상(i-화상, 인트라 코딩된 화상이라고도 칭함)은 다른 화상의 참조 없이 압축된다.
현재 화상(305)이 전방 예측 화상이라면, 움직임 추정기(310)는 화상 저장소(320)에 버퍼링된 재구성된 이전 화상인, 참조 화상(325)에 관련하여 매크로블럭 또는 현재 화상(305)의 다른 픽셀 집합들의 움직임을 추정한다. 대안적인 실시예에서, 참조 화상은 이후 화상이거나 현재 화상은 양방향으로 예측된다. 움직임 추정기(310)는 보조 정보로서 움직임 벡터와 같은 움직임 정보(315)를 출력한다. 움직임 보상기(330)는 움직임 정보(315)를 참조 화상(325)에 적용하여 움직임이 보상된 현재 화상 예측치(335)를 형성한다. 그러나, 이 예측치는 그다지 완벽하지 않고, 움직임이 보상된 현재 화상 예측치(335)와 초기 현재 화상(305) 간의 차이는 예측 나머지(345)이다. 대안으로, 움직임 추정기 및 움직임 보상기는 다른 유형의 움직임 추정/보상을 적용한다.
주파수 변환기(360)는 공간 도메인 비디오 정보를 주파수 도메인(즉, 스펙트럼) 데이터로 변환한다. 블럭 기반의 비디오 화상에서, 주파수 변환기(360)는 DCT 또는 DCT의 변형물을 픽셀 데이터 또는 예측 나머지 데이터의 블럭에 적용시켜, DCT 계수의 블럭을 산출한다. 대안으로, 주파수 변환기(360)는 푸리에(Fourier) 변환과 같은 다른 통상의 주파수 변환을 적용하거나 웨이브렛(wavelet) 또는 부대역(subband) 분석을 이용한다. 몇몇의 실시예에서, 주파수 변환기(360)는 8x8, 8x4, 4x8 또는 다른 크기 주파수 변환(예를 들면, DCT)을 예측 화상에 대한 예측 나머지에 적용한다.
그 다음 양자화기(370)는 스펙트럼 데이터 계수의 블럭을 양자화한다. 양자화기는 화상 단위 또는 다른 단위로 변하는 스텝 사이즈(step size)를 갖는 일정한, 스칼라 양자화를 스펙트럼 데이터에 적용시킨다. 대안으로, 양자화는 예를 들면, 일정치 않은 벡터 양자화, 또는 비적응성 양자화와 같은, 다른 유형 양자화를 스펙트럼 데이터 계수에 적용시키거나, 주파수 변환을 사용하지 않는 인코더 시스템에서 공간 도메인 데이터를 직접 양자화한다.
재구성된 현재 화상을 후속 움직임 추정/보상하는 데에 필요로 하는 때, 역 양자화기(376)는 양자화된 스펙트럼 데이터 계수에 대해 역 양자화를 수행한다. 그 다음 역 주파수 변환기(366)는 주파수 변환기(360)의 오퍼레이션을 역으로 수행하여, 재구성된 예측 나머지 또는 재구성된 키 화상 데이터를 산출한다. 현재 화상(305)이 키 화상이었다면, 재구성된 키 화상이 (도시되지 않은) 재구성된 현재 화상으로 간주된다. 현재 화상(305)이 예측 화상이었다면, 재구성된 예측 나머지는 움직임 보상된 현재 화상 예측치(335)에 추가되어 재구성된 현재 화상을 형성한다. 화상 저장소(320)는 다음 화상을 예측하는 데 이용되는 재구성된 현재 화상을 버퍼링한다. 몇몇의 실시예에서, 인코더(300)가 인루프 디블럭킹 필터를 재구성된 화상에 적용하여 화상의 블럭 경계에서 불연속성을 적응적으로 평탄하게 한다. 추가적인 세부 사항은, 2002년 12월 17일에 출원된 미국 특허 출원 번호 10/322,383, 및 2003년 7월 18일에 출원된 미국 특허 출원 번호 10/623,128에서 볼수 있고, 이들의 개시물은 본 명세서에서 참조로서 포함된다.
엔트로피 코더(380)는 특정 보조 정보 뿐만 아니라 양자화기(370)의 출력을 압축한다. 통상적인 엔트로피 코딩 기법은 산술 코딩, 미분 코딩, 허프만(Huffman) 코딩, 런 렝스(run length) 코딩, LZ 코딩, 사전 코딩, 및 상기의 조합을 포함한다. 엔트로피 코더(380)는 통상적으로 다른 종류의 정보에 대하여 다른 코딩 기법을 이용하고, 특정 코딩 기법 안의 복수의 코드 테이블들 중에서 선택할 수 있다.
엔트로피 코더(380)는 버퍼(390)에 압축된 비디오 정보(395)를 제공한다. 버퍼 레벨 지시자는 비트율 적응 모듈로 피드백된다. 압축된 비디오 정보(395)는 버퍼로부터 일정하게 또는 비교적 일정한 비트율로 비워지고 그 비트율로 후속 스트리밍을 위해 저장된다. 또는, 인코더 시스템(300)은 압축된 비디오 정보를 가변적인 비율로 스트리밍한다.
압축된 비디오 정보(395)를 버퍼(390)에 저장하기 전후에, 압축된 비디오 정보(395)는 네트워크 상에서의 전송을 위해 채널 코딩될 수 있다. 채널 코딩은 에러 검출 및 정정 데이터를 압축된 비디오 정보(395)에 적용시킬 수 있다.
게다가, 인코더(300)는 필터링 오퍼레이션을 위한 제어 정보를 받아들인다. 제어 정보는 컨텐츠 저자 또는 다른 사람 오퍼레이터로부터 생성될 수 있고, 인코더 설정을 통해 또는 애플리케이션에 의한 프로그램적 제어를 통해 인코더에 제공될 수 있다. 또는, 제어 정보는 인코더(300) 자체 내의 모듈과 같은 다른 소스로부터 생성될 수 있다. 제어 정보는 후술될 바와 같이, 후처리 디블럭킹 및/또는 디링잉 필터링과 같은 필터링 오퍼레이션을 제어한다. 인코더(300)는 압축된 비디오 정보(395)의 적절한 구문 레벨로 제어 정보를 출력한다.
B. 비디오 디코더
도 4는 일반적인 비디오 디코더 시스템(400)의 블럭도이다. 디코더 시스템(400)은 비디오 화상의 압축된 시퀀스에 대한 정보(495)를 수신하고 재구성된 화상(405)이 포함된 출력을 산출한다. 비디오 디코더의 특정 실시예는 통상적으로 일반적인 디코더(400)의 변형 또는 보충된 버전을 이용한다.
디코더 시스템(400)은 예측 화상 및 키 화상을 압축 해제한다. 도시를 목적으로, 도 4는 디코더 시스템(400)을 통하는 키 화상의 경로 및 전방 예측 화상의 경로를 도시한다. 디코더 시스템(400)의 다수의 컴포넌트는 키 화상 및 예측 화상을 둘 다 압축 해제하는 데에 이용된다. 이들 컴포넌트에 의해 수행되는 정밀한 오퍼레이션들은 압축되고 있는 정보의 유형에 따라 다를 수 있다.
버퍼(490)는 압축된 비디오 시퀀스에 대한 정보(495)를 수신하고 그 수신된 정보를 엔트로피 디코더(480)에 이용가능하도록 한다. 버퍼(490)는 통상적으로 시간에 따라 상당히 일정한 비율로 정보를 수신한다. 또는, 버퍼(490)는 가변적인 비율로 정보를 수신한다. 압축된 비디오 정보가 버퍼(490)에서 수신되기 전후에, 압축된 비디오 정보는 에러 검출 및 정정을 위해 채널 디코딩되고 프로세싱 될 수 있다.
엔트로피 디코더(480)는, 통상적으로 인코더에서 수행된 엔트로피 인코딩을 반대로 적용하여, 엔트로피 코딩된 보조 정보 뿐만 아니라 엔트로피 코딩되고 양자화된 데이터도 엔트로피 디코딩한다. 엔트로피 디코딩 기법은 산술 디코딩, 미분 디코딩, 허프만 디코딩, 런 렝스 디코딩, LZ 디코딩, 사전 디코딩 및 그 조합을 포함한다. 엔트로피 디코더(480)는 빈번하게는 다른 종류의 정보에는 다른 디코딩 기법을 사용하고, 특정 디코딩 기법 내의 복수의 코드 테이블들 중에서 선택할 수 있다.
재구성될 화상(405)이 전방 예측 화상이라면, 움직임 보상기(430)는 움직임 정보(415)를 참조 화상(425)에 적용하여 재구성되고 있는 화상(405)의 예측치(435)를 형성한다. 예를 들면, 움직임 보상기(430)는 매크로블럭 움직임 벡터를 이용하여 참조 화상(425)에서 매크로블럭을 찾는다. 화상 저장소(420)는 이전의 재구성된 화상을 참조 화상으로 이용하기 위해 저장한다. 또는, 움직임 보상기는 다른 유형의 움직임 보상을 적용한다. 움직임 보상기(430)에 의한 예측치는 그다지 완벽하지 않아서, 디코더(400)는 예측 나머지 또한 재구성한다.
역 양자화기(470)가 엔트로피 디코딩된 데이터를 반대로 양자화한다. 일반적으로, 역 양자화기(470)는 화상 단위 또는 다른 단위로 변하는 스텝 사이즈를 갖는 일정한, 스칼라 역 양자화를 엔트로피 디코딩된 데이터에 적용시킨다. 대안으로, 역 양자화(470)는 예를 들면, 일정하지 않은 벡터 역양자화, 또는 비적응성 역 양자화와 같은, 다른 유형의 역 양자화를, 데이터에 적용하거나, 역 주파수 변환을 사용하지 않는 디코더 시스템에서 공간 도메인 데이터를 직접 역 양자화한다.
역 주파수 변환기(460)는 양자화된, 주파수 도메인 데이터를 공간 도메인 비디오 정보로 변환한다. 블럭 기반의 비디오 화상에서, 역 주파수 변환기(460)는 역 DCT["IDCT"] 또는 IDCT의 변형물을 DCT 계수의 블럭에 적용하여, 키 화상 또는 예측 화상에 대해, 각각, 픽셀 데이터 또는 예측 나머지 데이터를 산출한다. 또는, 역 주파수 변환기(460)는 역 푸리에 변환과 같은 다른 통상의 역 주파수 변환을 적용하거나 웨이브렛 또는 부대역 합성을 이용한다. 몇몇의 실시예에서, 역 주파수 변환기(460)는 8x8, 8x4, 4x8 또는 다른 사이즈의 역 주파수 변환(예를 들면, IDCT)을 예측 화상에 대한 예측 나머지에 적용한다.
디코더(400)가 후속 움직임 보상을 위하여 재구성된 화상을 필요로 한다면, 화상 저장소(420)는 움직임 보상에 이용하기 위해 재구성된 화상을 버퍼링한다. 몇몇의 실시예에서, 예를 들면, 미국 특허 출원 번호 10/322,383 및 10/623,128에 기술된 바와 같이, 디코더(400)는 인루프 디블럭킹 필터를 재구성된 화상에 적용하여 화상의 블럭 경계에서 불연속성을 적응적으로 평탄하게 한다.
디코더(400)는 디블럭킹 및/또는 디링잉 필터링과 같은 후처리 필터링을 수행한다. 예를 들면, 디코더는 WMV8 시스템, WMV9 시스템 또는 상술한 다른 시스템에서와 같이 후처리 필터링을 수행한다.
디코더(400)는 (정보(495)의 일부로서) 필터링 오퍼레이션에 관한 제어 정보를 수신한다. 제어 정보는 후술될 바와 같이, 후처리 디블럭킹 및/또는 디링잉 필터링과 같은 오퍼레이션에 영향을 미친다. 디코더(400)는 적절한 구문 레벨로 제어 정보를 수신하고 적절한 필터링 모듈로 그 정보를 보낸다.
Ⅲ. 비트스트림 제어 후처리 필터링
몇몇의 실시예에서, 비디오 인코더는 컨텐츠 저자 또는 다른 사람 오퍼레이터가 특정 시퀀스, 신, 프레임, 또는 프레임 내의 영역에 대한 후처리 필터링 레벨을 제어하도록 한다. 오퍼레이터는 인코딩된 비트스트림에 제공되는 제어 정보를 지정한다. 디코더는 그 제어 정보에 따라 후처리 필터링을 수행한다. 이는 오퍼레이터에게 후처리가 사용될 때는 이 후처리는 비디오 질을 향상시키고, 후처리가 필요 없을 때는 이 후처리가 비활성화될 수 있는 것을 보장하게 한다. 예를 들면, 오퍼레이터는 후처리 필터링을 제어하여 고 해상력, 고 비트율 비디오를 재구성할 때 과도한 블러링을 방지한다.
도 5는 비트스트림 제어 후처리 필터링을 행하는 시스템(500)의 일반적인 도면이다. 도 5에 도시된 컴포넌트, 입력 및 출력의 상세한 사항은 구현에 따라 다르다.
비디오 인코더(510)는 소스 비디오(505)를 받아들이고, 그것을 인코딩 하며, 비디오 비트스트림(515)을 산출한다. 예를 들면, 비디오 인코더(510)는 도 3에 도시된 인코더(300)와 같은 인코더이다. 또는, 시스템(500)은 다른 비디오 인코더(510)를 포함한다.
소스 비디오(505)의 수신 외에도, 인코더(510)는 컨텐츠 저자 또는 다른 사람 오퍼레이터에 의한 입력으로부터 생성된 후처리 제어 정보(512)를 수신한다. 예를 들면, 저자는 후처리 제어 정보(512)를 인코더(510)에게 직접적으로 제공하거나 후처리 필터링에 대한 인코더 설정을 조정한다. 또는, 몇몇의 다른 애플리케이션이 저자로부터 입력을 수신하고, 그 다른 애플리케이션이 인코더(510)에게 후처리 제어 정보(512)를 보낸다. 또는, 후처리 제어 정보(512)를 지정하는 사람 오퍼레이터 대신에, 인코더(510)가 코덱 파라미터 또는 비디오 인코딩의 결과에 따라서 제어 정보(512)를 결정한다. 예를 들면, 인코더(510)는 적용될 압축률이 증가되면 필터 강도를 증가시킨다(예를 들면, 양자화 스텝 사이즈가 크면 필터 강도를 증가시키고, 양자화 스텝 사이즈가 작으면 필터 강도를 감소시키고, 인코딩된 비트/픽셀이 크면 필터 강도를 감소시키고 인코딩된 비트/픽셀이 작으면 필터 강도를 증가시킨다).
인코더(510)는 비디오 비트스트림(515)에 후처리 제어 정보(512)를 제공한다. 인코더(510) 후처리 제어 정보(512)를 (레벨 0에서는 00, 레벨 1에서는 01, 레벨 2에서는 10, 등과 같이) 고정 길이 코드로 포맷한다. 또는, 인코더(510)는 VLC/허프만 테이블을 이용하여 (레벨 0에서는 0, 레벨 1에서는 10, 레벨 2에서는 110, 등과 같이) 코드를 할당하거나 몇몇의 다른 유형의 엔트로피 코딩을 사용한다. 인코더(510)는 비트스트림(515)의 적절한 구문 레벨의 헤더에 제어 정보(512)를 제공한다. 예를 들면, 화상에 대한 제어 정보(512)는 그 화상에 대한 화상 헤더에 제공된다. MPEG-2 또는 MPEG-4 비트스트림에서, 헤더의 위치는 화상 헤더의 전용 데이터 섹션일 수 있다.
비디오 스트림(515)은 예를 들면, 네트워크를 통해 미디어를 스트리밍하는 것과 같은 전송에 의해 채널(520)을 통하여 전달된다. 비디오 디코더(530)는 비디오 스트림(515)을 수신한다. 디코더(530)는 인코딩된 비디오 데이터를 디코딩하여, 디코딩된 비디오(535)를 산출한다. 디코더(530)는 또한 (임의의 필요한 디코딩을 수행하는) 후처리 제어 정보(532)를 검색하고 그 제어 정보(532)를 후처리 필터(540)에 전달한다.
후처리 필터(540)는 그 제어 정보(532)를 이용하여 지시된 후처리 필터링을 디코딩된 비디오(535)에 적용시켜, 디코딩되고, 후처리된 비디오(545)를 산출한다. 후처리 필터(540)는, 예를 들면, 디링잉 및/또는 디블럭킹 필터이다.
도 6은 후처리 필터링을 위한 제어 정보가 내장된 비트스트림을 산출하는 기법(600)을 도시한다. 도 3에 도시된 인코더(300)와 같은 인코더가 이 기법(600)을 수행한다.
인코더는 인코딩될 비디오를 수신하고(610) 후처리 필터링을 위한 제어 정보 또한 수신한다(630). 인코더는 비디오를 인코딩하고(620) 인코딩된 비디오 및 제어 정보를 출력한다(640). 한 구현에서, 인코더는 비디오를 인코딩하고(620), 비디오를 디코딩하고, 결과를 제공한다. 그 다음 저자는 제어 정보에 대한 적절한 후처리 강도 등을 결정한다. 후처리 강도 및 다른 제어 정보에 대한 결정이 이루어지는 프로세스는, 인코더에서 (인코딩된 프레임 또는 비디오의 다른 부분의 디코딩에 이어지는) 실질적인 후처리를 포함하는데, 여기서 인코더는 프레임 또는 비디오의 다른 부분에 대한 결정이 이루어질 때까지 이 후처리를 반복하거나 그렇지 않으면 다른 후처리 강도를 평가 등을 한다.
도 6에 도시된 기법(600)은 인코딩 중에 반복되어, 예를 들면, 비트스트림에 신 단위 또는 프레임 단위로 제어 정보를 삽입 할 수 있다. 보다 일반적으로는, 구현에 따라서, 기법(600)의 단계들이 추가되고, 복수의 단계로 나뉘어지고, 다른 단계와 결합되고, 재배치되고/거나 비슷한 단계와 교체될 수 있다. 보다 상세히는, 제어 정보의 수신(630) 시점은 구현에 따라서 다를 수 있다.
도 7은 비트스트림 제어 후처리 필터링을 수행하는 기법(700)을 도시한다. 도 4에 도시된 디코더(400)와 같은 디코더가 이 기법(700)을 수행한다.
디코더는 인코딩된 비디오 및 후처리 필터링에 대한 제어 정보를 수신한다(710). 디코더는 비디오를 디코딩한다(720). 그 다음 디코더는 제어 정보에 따라서 후처리 필터링을 수행한다(730). 도 7에 도시된 기법(700)은 디코딩 중에 반복되어, 예를 들면, 신 단위 또는 프레임 단위로 제어 정보를 검색 및 적용할 수 있다. 보다 일반적으로는, 구현에 따라서, 기법(700)의 단계는 추가되고, 복수의 단계로 나뉘어지고, 다른 단게와 결합되고, 재배치되고/거나 비슷한 단계로 교체될 수 있다.
A. 후처리 제어 정보의 유형
후처리 제어 정보의 컨텐츠에 대한 몇몇의 다른 가능성이 존재한다. 제어 정보의 유형은 구현에 따라서 이용된다. 가장 간단한 유형은 후처리 필터링에 대한 ON/OFF 결정을 나타낸다.
제어 정보의 다른 유형은 디블럭킹, 디링잉, 및/또는 다른 필터링의 후처리 레벨(즉, 강도)을 지정한다. 비트스트림 제어 후처리는 제어 정보가 최대 허용된 후처리 레벨을 나타낼 때 특히 유용한다. 예를 들면, 보다 높은 레벨이 보다 강도 높은 필터링을 나타난다고 가정한다. 저자가 소정의 비디오 프레임에 대해 후처리 레벨을 3으로 지정하였다면, 디코더는 레벨 0, 1, 2, 또는 3의 후처리를 소정의 프레임에 적용할 수 있지만, 4 이상의 높은 레벨은 적용할 수 없다. 이러한 어프로치는 어느 정도의 융통성을 제공한다. 소프트웨어 디코더가 프레임에 레벨 3을 적용시키기 위한 이용가능한 CPU 싸이클을 충분히 구비하지 않은 경우, 그 디코더는 레벨 2 만을 적용시키는 등의 적용을 행할 수 있다. 이 때, 최대 허용된 레벨을 이용함으로써 비디오가 결코 후처리에 의하여 과도하게 블러링되지 않는다는 것을 보장하는 주요 목적을 수행한다. 현명한 저자는 디코딩된 비디오가 이미 높은 품질일 때 최대 허용 레벨을 0(즉, 후처리를 하지 않음) 또는 낮은 레벨로 설정하고, 디코딩된 비디오에 블럭킹 및 링잉 아티펙트가 더 많이 나타날 때는 더 높은 레벨을 설정한다.
대안으로, 최대 허용 레벨 대신, 제어 정보가 정확한 레벨을 나타낸다. 이러한 제어 정보는, 후처리 필터링의 필수 레벨을 지정하는데 이는 저자가 후처리를 정확하게 제어하고자 할 때 유용하다. 또한, 제어 정보는 최소 허용 레벨을 나타낸다. 이는 저자가, 예를 들면, 매우 낮은 비트율 비디오에 적어도 후처리 필터링의 최소 레벨이 적용되는 것을 보장하고자 할 때 유용하다.
제어 정보의 또 다른 유형이 한 특정 필터 또는 필터들에 대한 필터 레벨 정보를 대신하거나 그 정보에 추가하여, 필터 유형 선택을 나타낼 수도 있다. 예를 들면, 0 값은 후처리를 하지 않음을 지시하고, 1 값은 디블럭킹을 지시하고, 2 값은 디링잉을 지시하고, 3 값은 디블럭킹 및 디링잉을 모두 지시하는 등이다.
제어 정보는 대안적으로 다른 및/또는 추가적인 유형의 정보를 포함한다.
B. 제어 정보에 대한 구문 레벨
구현에 따라서, 시퀀스 내의 신 단위로, 프레임 단위로, 영역 단위로, 또는 몇몇의 다른 단위로 시퀀스에 대한 제어 정보가 지정된다. 이는 저자로 하여금 재구성된 비디오를 리뷰하고 제어가 활성화되는 구문 레벨(들)에 따라서, 소정의 시퀀스, 신, 프레임, 프레임 내의 영역, 등에 후처리를 적응시키도록 한다. 마찬가지로, 비트스트림은 시퀀스, 신, 프레임, 프레임 내의 영역, 등의 적절한 구문 레벨(들)의 제어 정보에 대한 구문 엘리먼트를 포함한다.
프레임 내의 영역에 대한 제어 정보를 지정하기 위하여, 저자는 예를 들면 직사각형 또는 타원과 같은 영역을 정의하고, 그 영역의 사이즈 및 위치에 대한 파라미터를 비트스트림에 제공한다. 직사각형이면, 영역은 고정 길이 또는 가변 길이 코드를 이용하여 코딩된, 사이드(a,b) 및 상위 왼쪽 코너 픽셀 위치(x,y)에 의해 정의된다. 영역의 후처리 강도 또한 비트스트림에 제공된다. 대안으로, 다른 구문이 후처리 필터링을 위한 프레임 내의 다른 영역에 대한 제어 정보를 지정하는 데에 이용된다.
Ⅳ. 확장
하나 이상의 실시예에서, 오퍼레이터는 신 단위로, 프레임 단위로, 영역 단위로, 또는 몇몇의 다른 단위로, 시퀀스에 대한 인루프 필터링에 관한 제어 정보를 지정한다. 제어 정보는 필터의 레벨(즉, 강도), (예를 들면, 복수의 이용가능한 필터 중에서 선택하는) 필터의 유형, 및/또는 다른 유형의 정보를 포함한다.
다양한 실시예의 참조로 본 발명의 원리를 기술하고 도시하였지만, 다양한 실시예는 이러한 원리에서 벗어나지 않는 구성 및 상세한 사항 내에서 수정될 수 있음이 인식될 것이다. 본 명세서에서 기술된 프로그램, 프로세스 또는 방법은 그렇지 않다고 지시되지 않는 한, 컴퓨팅 환경의 임의의 특정 유형에 국한되거나 제한되지 않는다고 이해되어야 한다. 다양한 유형의 범용 또는 특수한 컴퓨팅 환경이 본 명세서에서 기술된 설명과 함께 사용될 수 있거나 그 설명에 따라 오퍼레이션을 수행할 수 있다. 소프트웨어에 나타난 실시예의 엘리먼트는 하드웨어 등에 구현될 수 있다.
본 발명의 원리가 적용될 수 있는 복수의 가능한 실시예의 관점에서, 본 발명자는 특허 청구 범위 및 그 동등물의 범위 및 사상 범주내에서 이루어질 수 있는 모든 이러한 실시예를 본 발명으로 청구한다.
본 발명에 따른, 비디오 인코더는 인코딩된 비디오에 대한 비트스트림에 제어 정보를 제공한다. 또한 비디오 디코더는 인코딩된 비디오를 디코딩하고, 그 제어 정보에 따라서, 그 디코딩된 비디오에 후처리 필터링을 수행한다. 이러한 종류의 제어에 의해, 사람인 사용자는 비디오 질을 향상시키는 범위에서는 후처리를 할 수 있게 하고 그렇지 않으면 후처리를 비활성화 한다. 한 시나리오에서, 오퍼레이터(operator)는 후처리 필터링을 제어하여 고 해상력, 고비트율 비디오를 재구성할 때 과도한 블러링(blur)을 방지한다.
도 1은 종래 기술에 따른 후처리 필터링을 도시하는 도면.
도 2는 적절한 컴퓨팅 환경의 블럭도.
도 3은 일반적인 비디오 인코더 시스템의 블럭도.
도 4는 일반적인 비디오 디코더 시스템의 블럭도.
도 5는 비트스트림 제어 후처리 필터링을 도시하는 도면.
도 6은 후처리 필터링을 위한 제어 정보가 내장된 비트스트림을 산출하는 기법을 도시하는 흐름도.
도 7은 비트스트림 제어 후처리 필터링을 수행하는 기법을 도시하는 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
105: 소스 비디오
115: 비디오 비트스트림
130: 비디오 디코더
140: 후처리 필터
200; 컴퓨팅 환경
210: 프로세싱 유닛
220: 메모리
320: 화상 저장소
480: 엔트로피 디코더

Claims (44)

  1. 컴퓨터 시스템에서, 컴퓨터로 구현되는 방법에 있어서,
    비디오 데이터를 수신하는 단계,
    상기 비디오 데이터를 인코딩(encoding)하는 단계, 및
    상기 인코딩된 비디오 및 상기 비디오 데이터의 디코딩(decoding) 이후의 후처리 필터링(post-processing filtering)을 제어하기 위한 제어 정보를 출력하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    인간 오퍼레이터(human operator)가 상기 제어 정보를 지정하는 방법.
  3. 제2항에 있어서,
    상기 오퍼레이터는 비디오 인코더에 대해 직접 상기 제어 정보를 지정하는 방법.
  4. 제2항에 있어서,
    상기 오퍼레이터는 상기 제어 정보를 비디오 인코더에 제공하는 애플리케이션에 대해 상기 제어 정보를 지정하는 방법.
  5. 제1항에 있어서,
    비디오 인코더는 하나 이상의 기준에 따라 상기 제어 정보를 지정하고, 상기 하나 이상의 기준은 상기 비디오 데이터의 양자화 스텝 사이즈(quantization step size) 및/또는 품질을 포함하는 방법.
  6. 제1항에 있어서,
    상기 후처리 필터링은 디블럭킹 필터(de-blocking filter)를 적용하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 후처리 필터링은 디링잉 필터(de-ring filter)를 적용하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 레벨(level)을 포함하는 방법.
  9. 제1항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 최대 허용 레벨을 포함하는 방법.
  10. 제1항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 최소 허용 레벨을 포함하는 방법.
  11. 제1항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 필터 유형 선택을 포함하는 방법.
  12. 제1항에 있어서,
    상기 제어 정보를 엔트로피 인코딩(entropy encoding)하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 제어 정보는 시퀀스 단위(sequence-by-sequence basis)로 지정되는 방법.
  14. 제1항에 있어서,
    상기 제어 정보는 신 단위(scene-by-scene basis)로 지정되는 방법.
  15. 제1항에 있어서,
    상기 제어 정보는 프레임 단위(frame-by-frame basis)로 지정되는 방법.
  16. 제1항에 있어서,
    상기 제어 정보는 영역 단위(region-by-region basis)로 지정되는 방법.
  17. 컴퓨터 시스템에게 제1항 기재의 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체.
  18. 컴퓨터로 구현되는 방법에 있어서,
    비트스트림 내의 인코딩된 비디오 데이터 및 후처리 필터링을 제어하기 위한 비트스트림 내의 제어 정보를 수신하는 단계,
    상기 인코딩된 비디오 데이터를 디코딩하는 단계, 및
    상기 수신된 제어 정보의 적어도 일부에 기반하여 상기 디코딩된 비디오 데이터에 대해 상기 후처리 필터링을 수행하는 단계
    를 포함하는 방법.
  19. 제18항에 있어서,
    상기 후처리 필터링은 디블럭킹 필터를 적용하는 단계를 포함하는 방법.
  20. 제18항에 있어서,
    상기 후처리 필터링은 디링잉 필터를 적용하는 단계를 포함하는 방법.
  21. 제18항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 레벨을 포함하는 방법.
  22. 제18항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 최대 허용 레벨을 포함하는 방법.
  23. 제18항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 최소 허용 레벨을 포함하는 방법.
  24. 제18항에 있어서,
    상기 제어 정보는 상기 후처리 필터링에 대한 필터 유형 선택을 포함하는 방법.
  25. 제18항에 있어서,
    상기 제어 정보를 엔트로피 디코딩하는 단계를 더 포함하는 방법.
  26. 제18항에 있어서,
    상기 제어 정보는 시퀀스 단위로 지정되는 방법.
  27. 제18항에 있어서,
    상기 제어 정보는 신 단위로 지정되는 방법.
  28. 제18항에 있어서,
    상기 제어 정보는 프레임 단위로 지정되는 방법.
  29. 제18항에 있어서,
    상기 제어 정보는 영역 단위로 지정되는 방법.
  30. 컴퓨터 시스템에게 제18항 기재의 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체.
  31. 컴퓨터 시스템에게 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체에 있어서,
    상기 방법은
    비디오 데이터를 수신하는 단계,
    상기 비디오 데이터를 인코딩하는 단계, 및
    상기 인코딩된 비디오 및 디블럭킹 필터링을 제어하기 위한 제어 정보를 출력하는 단계 - 상기 제어 정보는 화상 내에서 영역 단위로 상기 디블럭킹 필터링에 대한 변경을 허용함 -
    를 포함하는 컴퓨터 판독가능 매체.
  32. 제31항에 있어서,
    상기 디블럭킹 필터링은 디코딩 중의 인루프 필터링(in-loop filtering)인 컴퓨터 판독가능 매체.
  33. 컴퓨터 시스템에게 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체에 있어서,
    상기 방법은
    인코딩된 비디오 데이터 및 디블럭킹 필터링을 제어하는 제어 정보를 수신하는 단계,
    상기 인코딩된 비디오 데이터를 디코딩하는 단계, 및
    상기 제어 정보의 적어도 일부에 기반하여 디블럭킹 필터링을 수행하는 단계 - 상기 제어 정보는 화상 내에서 영역 단위로 상기 디블럭킹 필터링에 대한 변경을 허용함 -
    를 포함하는 컴퓨터 판독가능 매체.
  34. 제33항에 있어서,
    상기 디블럭킹 필터링은 디코딩 중의 인루프 필터링인 컴퓨터 판독가능 매체.
  35. 컴퓨터 시스템에게 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체에 있어서,
    상기 방법은
    비디오 데이터를 수신하는 단계,
    상기 비디오 데이터를 인코딩하는 단계, 및
    상기 인코딩된 비디오 및 인루프 필터링을 제어하기 위한 제어 정보를 출력하는 단계 - 상기 제어 정보는 상기 인루프 필터링을 위해 복수의 이용가능한 필터 유형 중에서 선택하는 필터 유형 선택을 포함함 -
    를 포함하는 컴퓨터 판독가능 매체.
  36. 제35항에 있어서,
    상기 제어 정보는 화상 내에서 영역 단위로 상기 인루프 필터링에 대한 변경을 허용하는 컴퓨터 판독가능 매체.
  37. 컴퓨터 시스템에게 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 매체에 있어서,
    상기 방법은
    인코딩된 비디오 데이터 및 인루프 필터링을 제어하기 위한 제어 정보를 수신하는 단계,
    상기 인코딩된 비디오 데이터를 디코딩하는 단계, 및
    상기 제어 정보에 적어도 일부 기반하여 상기 인루프 필터링을 수행하는 단계 - 상기 제어 정보는 상기 인루프 필터링을 위한 복수의 이용가능한 필터 유형 중에서 선택하는 필터 유형 선택을 포함함 -
    를 포함하는 컴퓨터 판독가능 매체.
  38. 제37항에 있어서,
    상기 제어 정보는 화상 내에서 영역 단위로 상기 인루프 필터링에 대한 변경을 허용하는 컴퓨터 판독가능 매체.
  39. 제1항에 있어서,
    상기 후처리 필터링을 제어하는 단계는 상기 비디오 데이터의 적어도 몇몇에 대한 상기 후처리 필터링은 생략하는 단계를 포함하는 방법.
  40. 제1항에 있어서,
    상기 제어 정보는 비디오 디코더가 상기 후처리 필터링을 생략해야 하는 것을 기술하는 방법.
  41. 컴퓨터로 구현되는 방법에 있어서,
    비트스트림 내의 인코딩된 비디오 데이터 및 후처리 필터링을 제어하는 비트스트림 내의 제어 정보를 수신하는 단계,
    상기 제어 정보에 대한 하나 이상의 구문 엘리먼트를 식별하는 단계를 포함하여, 상기 제어 정보를 처리하는 단계, 및
    상기 인코딩된 비디오 데이터를 디코딩하는 단계
    를 포함하는 방법.
  42. 제41항에 있어서,
    상기 제어 정보에 적어도 일부 기반하여 상기 디코딩된 비디오 데이터에 대해 상기 후처리 필터링을 선택적으로 수행하는 단계를 더 포함하는 방법.
  43. 제42항에 있어서,
    상기 선택적으로 수행하는 단계는 상기 디코딩된 비디오 데이터의 적어도 몇몇에 대한 상기 후처리 필터링을 생략하는 단계를 포함하는 방법.
  44. 제41항에 있어서,
    상기 하나 이상의 구문 엘리먼트는 후처리 필터링 강도를 시그널링(signal)하는 방법.
KR1020040071449A 2003-09-07 2004-09-07 비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체 KR100802203B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US50108103P 2003-09-07 2003-09-07
US60/501,081 2003-09-07
US10/680,072 2003-10-06
US10/680,072 US8625680B2 (en) 2003-09-07 2003-10-06 Bitstream-controlled post-processing filtering

Publications (2)

Publication Number Publication Date
KR20050025928A true KR20050025928A (ko) 2005-03-14
KR100802203B1 KR100802203B1 (ko) 2008-02-11

Family

ID=34139062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040071449A KR100802203B1 (ko) 2003-09-07 2004-09-07 비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체

Country Status (6)

Country Link
US (1) US8625680B2 (ko)
EP (1) EP1513349B1 (ko)
JP (1) JP4633417B2 (ko)
KR (1) KR100802203B1 (ko)
CN (1) CN100576915C (ko)
ES (1) ES2623298T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452495B1 (ko) * 2008-05-09 2014-10-21 비반테 코포레이션 복원된 비디오 데이터를 위한 디링잉 필터

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
JP2008500752A (ja) * 2004-05-27 2008-01-10 ヴィヴィダス テクノロジーズ ピーティーワイ リミテッド ビデオデータの適応型復号
US20060015799A1 (en) * 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
US20060062311A1 (en) * 2004-09-20 2006-03-23 Sharp Laboratories Of America, Inc. Graceful degradation of loop filter for real-time video decoder
JP2008533885A (ja) * 2005-03-15 2008-08-21 ネロ アーゲー 画像データストリームを生成するための装置および方法ならびに画像データストリームを処理するための装置および方法
US8009740B2 (en) * 2005-04-08 2011-08-30 Broadcom Corporation Method and system for a parametrized multi-standard deblocking filter for video compression systems
KR100646233B1 (ko) * 2005-05-30 2006-11-23 연세대학교 산학협력단 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
US8081684B2 (en) * 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
US8532424B2 (en) * 2005-11-22 2013-09-10 Freescale Semiconductor, Inc. Method and system for filtering image data
JP4828950B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置
US8897371B2 (en) 2006-04-04 2014-11-25 Qualcomm Incorporated Video decoding in a receiver
KR101373934B1 (ko) 2006-07-10 2014-03-12 톰슨 라이센싱 멀티 패스 비디오 인코더에서 성능 향상을 위한 방법 및 장치
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP5023662B2 (ja) 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
RU2461977C2 (ru) 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
JP4847890B2 (ja) 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
JP2009060541A (ja) * 2007-09-03 2009-03-19 Sharp Corp データ送信装置、データ送信方法、視聴環境制御装置、及び視聴環境制御方法
JP5012647B2 (ja) 2008-04-30 2012-08-29 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
US8249144B2 (en) * 2008-07-08 2012-08-21 Imagine Communications Ltd. Distributed transcoding
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
CN105120285B (zh) * 2009-08-12 2019-02-01 汤姆森特许公司 用于改进的帧内色度编码和解码的方法及装置
CN104935935B (zh) * 2009-10-21 2018-04-03 Sk电信有限公司 视频编码方法、视频解码方法和视频解码装置
CN104967857B (zh) 2010-01-19 2019-08-23 三星电子株式会社 对图像进行编码/解码的方法和设备
CN105025299B (zh) * 2010-01-19 2019-04-16 三星电子株式会社 对图像进行编码/解码的方法和设备
US9155070B2 (en) * 2010-01-27 2015-10-06 Lg Electronics Inc. Method and apparatus for transmitting uplink data burst in wireless connection system
US20110299604A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US8849053B2 (en) 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
DK2675169T3 (da) 2011-02-09 2019-07-22 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billeddata med en tidsmæssig bevægelsesvektorprediktor og indretning til anvendelse deraf
US8964853B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US9538128B2 (en) * 2011-02-28 2017-01-03 Cisco Technology, Inc. System and method for managing video processing in a network environment
GB2551086B (en) 2011-10-17 2018-09-19 Kt Corp Method and apparatus for encoding/decoding image
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
CN103118250B (zh) * 2011-11-16 2017-09-26 中兴通讯股份有限公司 一种帧内划分标志的编解码方法及装置
CN102761738B (zh) * 2011-12-05 2017-11-24 同济大学 基于混合色度采样率的图像压缩方法和装置
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
KR102215433B1 (ko) 2012-07-02 2021-02-15 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
TWI558183B (zh) * 2012-07-09 2016-11-11 Ｖｉｄ衡器股份有限公司 功率知覺視訊解碼及串流
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
CN103841425B (zh) * 2012-10-08 2017-04-05 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
JP6318181B2 (ja) * 2013-03-13 2018-04-25 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． デプスルックアップテーブルを符号化する方法
GB2548578B (en) * 2016-03-21 2020-10-07 Advanced Risc Mach Ltd Video data processing system
US10341657B2 (en) * 2017-11-14 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) System and method for mitigating motion artifacts in a media streaming network
CN109936715B (zh) * 2017-12-19 2021-09-03 华为技术有限公司 一种mp4文件的处理方法及其相关设备
US10965866B2 (en) * 2018-03-20 2021-03-30 Panasonic Intellectual Property Management Co., Ltd. Image generation system, image display system, image generation method, and moving vehicle
EP3799692A4 (en) * 2018-06-13 2021-08-04 Huawei Technologies Co., Ltd. INTRA ENHANCEMENT AND / OR CONTOUR CORRECTION FILTER FOR VIDEO CODING ON THE BASIS OF A BIT TRAIN FLAG
CN112272951A (zh) * 2018-06-13 2021-01-26 华为技术有限公司 用于视频编码的帧内锐化滤波器和/或去振铃滤波器
CN111050175A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 视频编码的方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3133113B2 (ja) 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
JPH06249610A (ja) * 1993-02-24 1994-09-09 Hitachi Constr Mach Co Ltd 微動機構
US5684602A (en) * 1993-06-30 1997-11-04 Matsushita Graphic Communication Systems, Inc. Facsimile apparatus with coding/decoding interrupt
JPH07231449A (ja) 1994-02-21 1995-08-29 Sony Corp 画像信号符号化装置及び画像信号復号化装置
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
US5933535A (en) 1995-10-05 1999-08-03 Microsoft Corporation Object-based video compression process employing arbitrarily-shaped features
US5787203A (en) 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US5799113A (en) 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US6324301B1 (en) 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
FI106071B (fi) 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
EP0907255A1 (en) * 1997-03-28 1999-04-07 Sony Corporation Data coding method and device, data decoding method and device, and recording medium
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
US6959220B1 (en) 1997-11-07 2005-10-25 Microsoft Corporation Digital audio signal filtering mechanism and method
US6125147A (en) * 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6380985B1 (en) 1998-09-14 2002-04-30 Webtv Networks, Inc. Resizing and anti-flicker filtering in reduced-size video images
US6366617B1 (en) * 1998-10-09 2002-04-02 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing selected user data from an MPEG-2 bit stream
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6473409B1 (en) 1999-02-26 2002-10-29 Microsoft Corp. Adaptive filtering system and method for adaptively canceling echoes and reducing noise in digital signals
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7155414B2 (en) * 2000-04-05 2006-12-26 International Business Machines Corporation License compliance verification system
GB2365647A (en) 2000-08-04 2002-02-20 Snell & Wilcox Ltd Deriving parameters for post-processing from an encoded signal
JP2002232881A (ja) 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6941263B2 (en) 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
KR100743818B1 (ko) * 2001-09-12 2007-07-30 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20030235250A1 (en) 2002-06-24 2003-12-25 Ankur Varma Video deblocking
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7848229B2 (en) 2003-05-16 2010-12-07 Siemens Enterprise Communications, Inc. System and method for virtual channel selection in IP telephony systems
EP1845729A1 (en) 2006-04-12 2007-10-17 Matsushita Electric Industrial Co., Ltd. Transmission of post-filter hints

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452495B1 (ko) * 2008-05-09 2014-10-21 비반테 코포레이션 복원된 비디오 데이터를 위한 디링잉 필터

Also Published As

Publication number Publication date
CN1627824A (zh) 2005-06-15
EP1513349A2 (en) 2005-03-09
ES2623298T3 (es) 2017-07-10
EP1513349B1 (en) 2017-02-08
JP2005086830A (ja) 2005-03-31
EP1513349A3 (en) 2005-08-10
US8625680B2 (en) 2014-01-07
US20050053288A1 (en) 2005-03-10
JP4633417B2 (ja) 2011-02-16
CN100576915C (zh) 2009-12-30
KR100802203B1 (ko) 2008-02-11

Similar Documents

Publication Publication Date Title
KR100802203B1 (ko) 비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체
US11089311B2 (en) Parameterization for fading compensation
US7120197B2 (en) Motion compensation loop with filtering
EP2278814B1 (en) Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
US8442337B2 (en) Encoding adjustments for animation content
US7450641B2 (en) Adaptive filtering based upon boundary strength
US8279923B2 (en) Video coding method and video coding apparatus
KR100578432B1 (ko) 페이딩 보정을 위한 시그널링
KR100578433B1 (ko) 페이딩 추정/보정
US20050013494A1 (en) In-loop deblocking filter
US20050013500A1 (en) Intelligent differential quantization of video coding
US20020186890A1 (en) Dynamic filtering for lossy compression
WO2006134525A1 (en) Coding and decoding method and device for improving video error concealment
US7161984B2 (en) Video reproduction apparatus with fast post-processing and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 13