KR20050085385A - 비디오 코딩 방법 및 장치 - Google Patents

비디오 코딩 방법 및 장치 Download PDF

Info

Publication number
KR20050085385A
KR20050085385A KR1020057010206A KR20057010206A KR20050085385A KR 20050085385 A KR20050085385 A KR 20050085385A KR 1020057010206 A KR1020057010206 A KR 1020057010206A KR 20057010206 A KR20057010206 A KR 20057010206A KR 20050085385 A KR20050085385 A KR 20050085385A
Authority
KR
South Korea
Prior art keywords
temporal
spatio
gof
gofs
sub
Prior art date
Application number
KR1020057010206A
Other languages
English (en)
Inventor
에릭 바라우
아나우드 보우지
빈센트 보트레아우
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050085385A publication Critical patent/KR20050085385A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

일반적으로 본 발명은, 연속적인 N=2n 프레임들의 그룹들(GOFs)로 분할되었던 원래 비디오 시퀀스에 대응하는 비트스트림의 압축을 위한 3차원(3D) 비디오 코딩 방법 특히, (a) 저 주파수 및 고 주파수 시간적 서브밴드들로 현재 GOF의 시-공간적 다중 해상도 분해(spatio-temporal multiresolution decomposition)를 유도하고, 현재 GOF의 2n-1의 프레임들의 각각에서 수행되는 움직임 추정 하위-단계, 움직임 보상된 시간적 필터링(motion compensated temporal filtering) 하위-단계 및 상기 시간적 필터링 하위-단계로부터 발생하는 서브밴드들에서 수행되는 공간적 분석 하위-단계를 포함하는, 시-공간적 분석 단계 (b) 엔트로피 및 산술적 코딩 하위-단계들을 포함하는, 엔코딩 단계를 포함하는 방법에 관한 것이다.

Description

비디오 코딩 방법 및 장치{Video coding method and device}
본 발명은 비디오 압축 분야 특히, 크기가 N=2n(n은 정수)인, 연속적인 프레임들의 그룹들(groups of frames; GOFs)로 분할되었던 원래 비디오 시퀀스에 대응하는 비트스트림의 압축을 위한 3차원(3D) 비디오 코딩 방법에 관한 것으로서,상기 GOF들은 연속적인 프레임들의 커플들(couples of frames; COFs)로 자체적으로 하위분할되고, 상기 코딩 방법은, 상기 시퀀스의 연속적인 GOF 각각에 적용되는 단계들로서,
a) 최대 n인 주어진 수의 레벨들로 수행되고, 저 주파수 및 고 주파수 시간적 서브밴드들로 상기 현재 GOF의 시-공간적 다중 해상도 분해(spatio-temporal multiresolution decomposition)를 유도하며,
- 움직임 추정 하위-단계;
- 상기 움직임 추정에 기초하여, 상기 현재 GOF의 2n-1 COF들의 각각에서 수행되는, 움직임 보상된 시간적 필터링(motion compensated temporal filtering) 하위-단계; 및
- 상기 시간적 필터링 하위-단계로부터 발생하는 상기 서브밴드들에서 수행되는, 공간적 분석 하위-단계를 포함하는, 시-공간적 분석 단계; 및
b) 인코딩 단계로서,
- 상기 시-공간적 분석 단계로부터 발생하는 저 주파수 및 고 주파수 시간적 서브밴드들 및 상기 움직임 추정 단계에 의해 획득된 움직임 벡터들에서 수행되는, 엔트로피 코딩 하위-단계; 및
- 이와 같이 얻어진 상기 코딩된 시퀀스에 적용되고, 내장되고 코딩된 비트스트림을 전달하는, 산술적 코딩 하위-단계를 포함하는, 상기 엔코딩 단계를 포함한다.
제 1 표준 비디오 압축 기법들은 소위 혼성 해법(hybrid solution)들에 기초하였다. 혼성 비디오 엔코더는, 입력 비디오 시퀀스의 각 현재 프레임이, 주어진 참조 프레임으로부터 시간적으로 예측되고 상기 현재 프레임과 예측간 차에 의해 결과적으로 획득된 예측 에러는 공간적 중복들의 이득을 획득하기 위해 공간적으로 변환(변환은 예컨대, 양방향 DCT 변환이다)된다. 그때, 소위 3D(또는 2D+t) 서브밴드 분석인 더욱 최근의 접근은, 저 주파수들에서 에너지를 압축하기 위해 3 차원 구조 및 시-공간적 필터링으로서 프레임들의 그룹(GOF)들을 처리하는 것으로 구성된다.
3D 서브밴드 분해 기법과 같은 움직임 보상 단계의 도입은 전체 코딩 효율을 향상시키고 서브밴드 트리때문에 비디오 신호의 시-공간적 다중 분해 (계층) 표현을 유도하도록 한다. 예컨대, 움직임 보상을 갖는 3D 웨이브렛 분해에 관해 나타내는 도 1에서 도시된 것처럼, 개시된 케이스 8 프레임들(F1 내지 F8)을 포함한 입력 비디오 시퀀스의 각 GOF는 큰 움직임을 갖는 시퀀스들을 처리하기 위해 먼저 움직임 보상되고(MC) 이후, Haar 웨이브렛들을 사용하여 시간적으로 필터링(TF)된다(점선 화살표들은 고역 시간적 필터링에 대응하고 실선 화살표들은 저역 시간적 필터링에 대응한다). 분해의 3 단계들이 도시되고(L 및 H = 제 1 단계, LL 및 LH = 제 2 단계; LLL 및 LLH = 제 3 단계), 움직임 벡터 필드들(각각 MV4, MV3, MV2)의 그룹은 각 시간적 분해 레벨에서 발생된다. 그때, 각 레벨(상기의 예에서 H, LH 및 LLH)의 고주파수 시간적 서브밴드들 및 가장 낮은 레벨(LLL)의 저 주파수 시간 서브밴드(들)은 웨이브렛 필터를 통해 공간적으로 분석되고, 엔트로피 엔코더는 상기 시-공간적 분해로부터 발생하는 웨이브렛 계수들을 엔코딩하도록 한다. 모든 이러한 작동들은 입력 비디오 시퀀스의 연속적인 GOF들에 유사하게 적용된다.
이러한 서브밴드 분해로부터 발생하는 3D 웨이브렛 계수들을 엔코딩하는데 사용될 수 있는 다른 엔트로피 코딩 기술들 사이에서, 예컨대, 논문 "Low bit-rate scalable video coding with 3D set partitioning in hierarchical trees (3D-SPIHT)", K.Z.Xiong 및 W.A. Pearlman 저, IEEE Transactions on Circuits and Systems for Video Technology, vol. 10, no 8, December 2000, pp. 1374 - 1387)에서 기술된 소위 3D-SPIHT는 가장 효율적인 기술들 중 하나이다(그리고 또한, "A fully scalable 3D subband video codec", V.Bottreau, M.Benetiere, B.Pesquet-Popescu 및 B. Felts 저, Proceedings of IEEE Interantional Conference on Image Processing, ICIP 2001, vol.2, pp. 1017-1020, Thessaloniki, Greece, October 7 -10, 2001에서 기술된 범위성들을 지원하기 위한 확장이다).
이런 3D-SPIHT 알고리즘은, 서브밴드 분해로부터 발생하는 시-공간적(spatio-temporal) 방향 트리들에서 관측된 부-자(parent-offspring) 종속성들을 도시한 도 2에서 나타난다(도 2에서의 기호들은 TF = 시간적 프레임, TAS = 시간적 근사적 서브밴드들(LL), CFTS = 시-공간적 근사적 서브밴드들에서의 계수들 또는 루트 계수들(root coefficients), TDS.LRL = 분해의 최종 해상도 레벨에서 시간적 세부 서브밴드들(LH) 및 TDS.HR = 상위 해상도에서 시간적 세부 서브밴드들이다). 상기 알고리즘은, 자기-유사 고유성(self-similarity inherent)을 자연스런 이미지들에 이용함으로써 웨이브렛 분해의 연속적인 스케일들에 걸쳐 유요한 정보의 부재의 예측이라는 핵심 개념에 기초한다. 3D-SPIHT 알고리즘은 웨이브렛 계수들의 계층적 피라미드 내부의 공간 및 시간 관계들을 있는 그대로 규정하는 시-공간적 방향 트리인 트리 구조를 사용하고(트리들의 루트들은 가장 낮은 해상도에서 근사적 서브 밴드들 또는 루트 서브 밴드들의 픽셀들로 구성되고, 모드의 직계 자손들 또는 자들(direct descendants or offsprins)은 피라미드의 그 다음의 양호한 레벨에서의 동일한 부피 및 방향의 픽셀들에 대응하고), 중복들을 감소시키기 위해 웨이브렛 서브밴드들에서 제로 트리들을 찾는다. 최종적으로, 웨이브렛 계수들은 그 성질인, 가능 제로-트리의 루트(또는 유효하지 않은 세트), 유효하지 않은 픽셀 및 유효한 픽셀에 따라 엔코딩된다.
논문에서, 3D-SPIHT가 사용될 때, 시간적 분해는 단일 저-주파수 시간적 서브밴드로 유도하는 최종 (잠재적) 분해 단계 전에 중지될 수 있다(도 1에 개시된 완전한 분해의 경우와 비교하기 위해 도 3을 참조). 그 후, 웨이브렛 계수들간 제 1 시간적 종속성들은 2개의 근사적 서브밴드들(LL)간 적용된다. 이러한 계수들의 의미는, 동일 분해 레벨들에서 근사적 웨이브렛 계수들이기 때문에 일관성이 있지만, 상기 계수들은 시퀀스의 매우 다른 부분들로부터 정보를 포함하기 때문에 그다지 상호 관련되지 않는다. 실제로, LL0은 GOF의 4개의 제 1 입력 프레임들로부터 계산되고 LL1은 동일 GOF의 4개의 최종 프레임들로부터 계산된다.
도 1은 입력 비디오 시퀀스의 GOF에 적용된, 움직임 보상을 갖는 3D 웨이브렛 분해를 도시한 도면.
도 2는 상기 서브밴드 분해로부터 발생하는 시-공간적(spatio-temporal) 방향 트리들에서 관측된 부-자(parent-offspring) 종속성들을 도시한 도면.
도 3은 3D-SPIHT 알고리즘을 적용하는 이전 해법들에서 수행되어진 움직임 보상을 갖는 불완전한 시간적 다중 해상도 분석의 경우로서, 상기 분해는 단일 저-주파수 시간적 서브밴드를 유도하는 최종 분해 단계 전에 중단되는 것을 도시한 도면.
도 4는 본 발명의 원리에 따라 수행되는 시간적 분해를 도시한 도면.
도 5는 본 발명의 상기 원리에 따라 시간적 분해를 수행할 때 시-공간적 방향 트리들에서 관찰된 새로운 부-자 종속성들을 도시한 도면.
본 발명의 목적은 SPIHT 접근의 효율성(중간-서브밴드 상호관계를 이용하는 이익이 특히, 분해의 제 1 단계들에서 나타난다)에서 중요한 역할을 하지 않는 이러한 깊은 시간적 분해 레벨에서 종속성들이 제거되는 더욱 효율적인 코딩 방법을 제공하는 것이다.
이러한 목적을 위해, 본 발명은 본문의 도입부에서 규정된 것 같은 코딩 방법에 관한 것으로서 단일 저 주파수 서브밴드로 유도되었던 최종 시간적 분해 레벨이 생략되도록 상기 시간적 필터링 하위-단계가 (n-1) 분해 레벨들을 포함할 때, 상기 시-공간적 분석 및 엔코딩 단계들은,
(a) 각 현재 입력 GOF는, 원래 크기의 반이고 COF들의 수의 반을 갖는 2개의 새로운 GOF들로 분할되고, 상기 새로운 GOF들은 독립적이고 상기 원래 입력 GOF의 2n-1 최초 프레임들 및 2n-1 최후 프레임들을 각각 포함하며,
(b) 상기 2개의 새로운 GOF들의 각각에서, (n-1)레벨들을 갖는 완전한 시-공간적 다중 해상도 분해는, 상기 새로운 GOF들의 각각에 대해 하나의 최종 근사적 서브밴드(approximation subband)만을 획득하기 위해 최종 저 주파수 시간적 서브밴드로 다운되어 수행되고,
(c) 수정된 3D-SPIHT 스캐닝은 상기 2개의 새로운 GOF들에 연속적이고 독립적으로 적용되고, 시-공간적 방향 트리들은, 상기 원래의 GOF에서 종래에 수행되어진 시-공간적 분해에 관하여 원래 서브밴드들의 수의 반을 지금 포함하는 웨이브렛 계수들의 계층적 피라미드(hierarchial pyramid) 내부의 상기 시-공간적 관계들을 규정하기 위해 상기 SPIHT 스캐닝에 의해 사용되는, 규칙들에 따라 수행되도록 더욱 구체화된다.
또한, 본 발명은 상기 방법을 수행하도록 하는 비디오 코딩 장치에 관한 것이다.
이 목적을 위해, 본 발명은,
a) 최대 n인 주어진 수의 레벨들을 갖는 시퀀스의 연속적인 GOF 각각에 적용되고 저 주파수 및 고 주파수 시간적 서브밴드들로 현재 GOF의 시-공간적 다중 해상도 분해를 유도하며,
- 움직임 추정 하위-단계;
- 상기 움직임 추정에 기초하여, 상기 현재 GOF의 2n-1 COF들의 각각에서 수행되는, 움직임 보상된 시간적 필터링 하위-단계; 및
- 상기 시간적 필터링 하위-단계로부터 발생하는 상기 서브밴드들에서 수행되는, 공간적 분석 하위-단계를 수행하는, 시-공간적 분석 수단; 및
b) 인코딩 수단으로서,
- 상기 시-공간적 분석 단계로부터 발생하는 저 주파수 및 고 주파수 시간적 서브밴드들 및 상기 움직임 추정 하위-단계에 의해 획득된 움직임 벡터들에 적용되는, 엔트로피 코딩 수단; 및
- 이와 같이 얻어진 상기 코딩된 시퀀스에 적용되고, 내장되고 코딩된 비트스트림을 전달하는, 산술적 코딩 수단을 포함하는, 상기 엔코딩 수단을 포함하고,
또한 상기 비디오 코딩 장치는, 단일 저 주파수 서브밴드로 유도되었던 최종 시간적 분해 레벨이 생략되도록 상기 시간적 필터링 하위-단계가 (n-1) 분해 레벨들을 포함할 때, 상기 시-공간적 분석 및 엔코딩 수단은,
(a) 각 현재 입력 GOF는, 원래 크기의 반이고 COF들의 수의 반을 갖는 2개의 새로운 GOF들로 분할되고, 상기 새로운 GOF들은 독립적이고 상기 원래 입력 GOF의 2n-1 최초 프레임들 및 2n-1 최후 프레임들을 각각 포함하며,
(b) 상기 2개의 새로운 GOF들의 각각에서, (n-1) 레벨들을 갖는 완전한 시-공간적 다중 해상도 분해는, 상기 새로운 GOF들의 각각에 대해 하나의 최종 근사적 서브밴드만을 획득하기 위해 최종 저 주파수 시간적 서브밴드로 다운되어 수행되고,
(c) 수정된 3D-SPIHT 스캐닝은 상기 2개의 새로운 GOF들에 연속적이고 독립적으로 적용되고, 시-공간적 방향 트리들은, 상기 원래의 GOF에서 종래에 수행되어진 시-공간적 분해에 관하여 원래 서브밴드들의 수의 반을 지금 포함하는 웨이브렛 계수들의 계층적 피라미드 내부의 상기 시-공간적 관계들을 규정하기 위해 상기 SPIHT 스캐닝에 의해 사용되는, 규칙들에 따라 수행되는, 장치에 관한 것이다.
지금, 본 발명은 첨부된 도면들을 참조하여 예에 의해 기술될 것이다.
도 3의 완료되지 않은 시간적인 분해의 2개의 근사적 서브밴드들(approximation subband; LL0 및 LL1)간 종속성들을 제거하기 위해, 현재 입력 GOF를 원래 크기의 반인 2개의 분리된 새로운 GOF들로 분리하는 것이 제안된다. 시간적 분해는 각 분리된 GOF에 대해 수행되고, 상기 시간적 분해는 각 새로운 GOP에 대한 최종 근사적 서브밴드를 획득하기 위해 완료된다(즉, 마지막 시간적 서브밴드 아래로 수행된다).
이 새로운 시간적 분해는 도 4에서 개시되고, 여기서 수직 점선은 GOF에 대한 새로운 분리를 도시한다. (원래의 GOF에 대해, 원래 크기의 반인) 각 새로운 GOF는 독립적으로 고려될 수 있고, 소위 "GOF 0" 및 "GOF 1"인 이러한 2개의 GOF들의 각각에 관련한 정보는 독립적으로 전송된다. "GOF 0"의 모든 정보가 먼저(움직임 벡터들 및 서브밴드들) 전송되고, 서브밴드 전송에 대한 자연스런 순서는 LL0, LH0, H0, 마지막으로 H1이며, 그 후, "GOF 1"의 모든 정보들이 전송되고, 유사하게 서브밴드 전송에 대한 자연스런 순서는 LL1, LH1, H2, 마지막으로 H3이다.
이 새로운 시간적 분해로부터 시작하여, 도 2의 원래 SPIHT 스캐닝은, 다른 GOF들로부터의 서브밴드들 간 종속성들을 없애기 위해 수정된다. 상기 새로운 스캐닝은 (주어진 예들에서 4개의 프레임들 중) 2개의 새로운 GOF들 상에 연속적으로 적용되고, (TDS.HR은 도 2에서와 같은 의미를 갖고, LDLS.1은 GOF의 제 1 부분에 대한 마지막 분해 레벨 서브밴드들, 즉 LLO 및 LH0을 지정하고, LDLS.2는 GOF의 제 1 부분에 대한 마지막 분해 레벨 서브밴드들 즉, LL1 및 LH1을 지정하는) 도 5에서 도시된 부-자(parent-offspring) 종속성들의 다른 세트는 2개의 근사적 서브밴드들(LL0 및 LL1)간 종속성들 및 그에 따른 2개의 새로운 GOF들 간 종속성들을 제거하기 위해 사용된다.
따라서 제안된 기술적 해법은 주어진 분해 레벨들의 수에 대해 GOF 당 프레임들의 수를 양분한다. 상기의 해법은 원래의 해법과 비교될 때, 주요한 향상으로 고려될 수 있는데, 엔코딩 측 및 디코딩 측 모두에서 메모리 부문을 양분한다. 더욱이, 이러한 접근은 코딩 효율성에 어떤 불이익도 주지 않는데, 수정된 종속성들은 상호 관련되는 것으로 고려될 수 있는 시간적 근사적 서브밴드들에만 영향을 미치기 때문이다.
도 5에 개시된 새로운 SPIHT 스캐닝은 도 3의 원래의 GOP 크기와 성공적으로 관련된다: 상기의 경우에서, 서브밴드 전송은 가장 중요한 정보를 먼저 전송하기 위해 인터리빙될 수 있다(그때, 전송 순서는 원래의 순서: LL0, LL1, LH0, LH1, H0, H1, H2, H3가 될 수 있다). 그럼에도 불구하고, 근사적 서브밴드들간 종속성들이 제거되었지만, GOF 크기는 원래의 크기이고 메모리 요청들에 관련된 이익은 사라진다.

Claims (2)

  1. 크기가 N=2n(n은 정수)인, 연속적인 프레임들의 그룹들(groups of frames; GOFs)로 분할되었던 원래 비디오 시퀀스에 대응하는 비트스트림의 압축을 위한 3차원(3D) 비디오 코딩 방법에 있어서,
    상기 GOF들은 연속적인 프레임들의 커플들(couples of frames; COFs)로 자체적으로 하위분할되고, 상기 코딩 방법은, 상기 시퀀스의 연속적인 GOF 각각에 적용되는,
    a) 최대 n인 주어진 수의 레벨들로 수행되고, 저 주파수 및 고 주파수 시간적 서브밴드들로 상기 현재 GOF의 시-공간적 다중 해상도 분해(spatio-temporal multiresolution decomposition)를 유도하며,
    - 움직임 추정 하위-단계;
    - 상기 움직임 추정에 기초하여, 상기 현재 GOF의 2n-1COF들의 각각에서 수행되는, 움직임 보상된 시간적 필터링(motion compensated temporal filtering) 하위-단계; 및
    - 상기 시간적 필터링 하위-단계로부터 발생하는 상기 서브밴드들에서 수행되는, 공간적 분석 하위-단계를 포함하는, 시-공간적 분석 단계; 및
    b) 인코딩 단계로서,
    - 상기 시-공간적 분석 단계로부터 발생하는 저 주파수 및 고 주파수 시간적 서브밴드들 및 상기 움직임 추정 단계에 의해 획득된 움직임 벡터들에서 수행되는, 엔트로피 코딩 하위-단계; 및
    - 이와 같이 얻어진 상기 코딩된 시퀀스에 적용되고, 내장되고 코딩된 비트스트림을 전달하는, 산술적 코딩 하위-단계를 포함하는, 상기 엔코딩 단계를 포함하고,
    또한 상기 코딩 방법은, 단일 저 주파수 서브밴드로 유도되었던 최종 시간적 분해 레벨이 생략되도록 상기 시간적 필터링 하위-단계가 (n-1) 분해 레벨들을 포함할 때, 상기 시-공간적 분석 및 엔코딩 단계들은,
    (a) 각 현재 입력 GOF는, 원래 크기의 반이고 COF들의 수의 반을 갖는 2개의 새로운 GOF들로 분할되고, 상기 새로운 GOF들은 독립적이고 상기 원래 입력 GOF의 2n-1 최초 프레임들 및 2n-1 최후 프레임들을 각각 포함하며,
    (b) 상기 2개의 새로운 GOF들의 각각에서, (n-1)레벨들을 갖는 완전한 시-공간적 다중 해상도 분해는, 상기 새로운 GOF들의 각각에 대해 하나의 최종 근사적 서브밴드(approximation subband)만을 획득하기 위해 최종 저 주파수 시간적 서브밴드로 다운되어 수행되고,
    (c) 수정된 3D-SPIHT 스캐닝은 상기 2개의 새로운 GOF들에 연속적이고 독립적으로 적용되고, 시-공간적 방향 트리들은, 상기 원래의 GOF에서 종래에 수행되어진 시-공간적 분해에 관하여 원래 서브밴드들의 수의 반을 지금 포함하는 웨이브렛 계수들의 계층적 피라미드(hierarchial pyramid) 내부의 상기 시-공간적 관계들을 규정하기 위해 상기 SPIHT 스캐닝에 의해 사용되는, 규칙들에 따라 수행되는, 3차원(3D) 비디오 코딩 방법.
  2. 제 1 항에 따른 상기 3차원 비디오 코딩 방법을 구현하는 비디오 코딩 장치에 있어서,
    a) 최대 n인 주어진 수의 레벨들을 갖는 시퀀스의 연속적인 GOF 각각에 적용되고, 저 주파수 및 고 주파수 시간적 서브밴드들로 현재 GOF의 시-공간적 다중 해상도 분해를 유도하며,
    - 움직임 추정 하위-단계;
    - 상기 움직임 추정에 기초하여, 상기 현재 GOF의 2n-1 COF들의 각각에서 수행되는, 움직임 보상된 시간적 필터링 하위-단계; 및
    - 상기 시간적 필터링 하위-단계로부터 발생하는 상기 서브밴드들에서 수행되는, 공간적 분석 하위-단계를 수행하는, 시-공간적 분석 수단; 및
    b) 인코딩 수단으로서,
    - 상기 시-공간적 분석 단계로부터 발생하는 저 주파수 및 고 주파수 시간적 서브밴드들 및 상기 움직임 추정 하위-단계에 의해 획득된 움직임 벡터들에 적용되는, 엔트로피 코딩 수단; 및
    - 이와 같이 얻어진 상기 코딩된 시퀀스에 적용되고, 내장되고 코딩된 비트스트림을 전달하는, 산술적 코딩 수단을 포함하는, 상기 엔코딩 수단을 포함하고,
    또한 상기 비디오 코딩 장치는, 단일 저 주파수 서브밴드로 유도되었던 최종 시간적 분해 레벨이 생략되도록 상기 시간적 필터링 하위-단계가 (n-1) 분해 레벨들을 포함할 때, 상기 시-공간적 분석 및 엔코딩 수단은,
    (a) 각 현재 입력 GOF는, 원래 크기의 반이고 COF들의 수의 반을 갖는 2개의 새로운 GOF들로 분할되고, 상기 새로운 GOF들은 독립적이고 상기 원래 입력 GOF의 2n-1 최초 프레임들 및 2n-1 최후 프레임들을 각각 포함하며,
    (b) 상기 2개의 새로운 GOF들의 각각에서, (n-1) 레벨들을 갖는 완전한 시-공간적 다중 해상도 분해는, 상기 새로운 GOF들의 각각에 대해 하나의 최종 근사적 서브밴드만을 획득하기 위해 최종 저 주파수 시간적 서브밴드로 다운되어 수행되고,
    (c) 수정된 3D-SPIHT 스캐닝은 상기 2개의 새로운 GOF들에 연속적이고 독립적으로 적용되고, 시-공간적 방향 트리들은, 상기 원래의 GOF에서 종래에 수행되어진 시-공간적 분해에 관하여 원래 서브밴드들의 수의 반을 지금 포함하는 웨이브렛 계수들의 계층적 피라미드 내부의 상기 시-공간적 관계들을 규정하기 위해 상기 SPIHT 스캐닝에 의해 사용되는, 규칙들에 따라 수행되는, 비디오 코딩 장치.
KR1020057010206A 2002-12-04 2003-11-27 비디오 코딩 방법 및 장치 KR20050085385A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02292994.7 2002-12-04
EP02292994 2002-12-04

Publications (1)

Publication Number Publication Date
KR20050085385A true KR20050085385A (ko) 2005-08-29

Family

ID=32405794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057010206A KR20050085385A (ko) 2002-12-04 2003-11-27 비디오 코딩 방법 및 장치

Country Status (7)

Country Link
US (1) US20060114998A1 (ko)
EP (1) EP1570675A1 (ko)
JP (1) JP2006509410A (ko)
KR (1) KR20050085385A (ko)
CN (1) CN1720744A (ko)
AU (1) AU2003280197A1 (ko)
WO (1) WO2004052017A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301658B2 (en) 2006-11-03 2012-10-30 Google Inc. Site directed management of audio components of uploaded video files
JP5546246B2 (ja) * 2006-11-03 2014-07-09 グーグル インコーポレイテッド コンテンツ管理システム
US8924270B2 (en) * 2007-05-03 2014-12-30 Google Inc. Monetization of digital content contributions
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US9031129B2 (en) * 2007-06-15 2015-05-12 Microsoft Technology Licensing, Llc Joint spatio-temporal prediction for video coding
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
US8331444B2 (en) * 2007-06-26 2012-12-11 Qualcomm Incorporated Sub-band scanning techniques for entropy coding of sub-bands
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US20110213720A1 (en) * 2009-08-13 2011-09-01 Google Inc. Content Rights Management
US9106925B2 (en) * 2010-01-11 2015-08-11 Ubiquity Holdings, Inc. WEAV video compression system
KR102497153B1 (ko) * 2012-01-18 2023-02-07 브이-노바 인터내셔널 리미티드 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075232A (ko) * 1999-07-20 2001-08-09 요트.게.아. 롤페즈 비디오 시퀀스의 압축을 위한 인코딩 방법
CN1383684A (zh) * 2000-06-14 2002-12-04 皇家菲利浦电子有限公司 彩色视频编码与解码方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP1570675A1 (en) 2005-09-07
AU2003280197A1 (en) 2004-06-23
CN1720744A (zh) 2006-01-11
US20060114998A1 (en) 2006-06-01
JP2006509410A (ja) 2006-03-16
WO2004052017A1 (en) 2004-06-17
WO2004052017A8 (en) 2004-07-29

Similar Documents

Publication Publication Date Title
CN1722838B (zh) 使用基础层的可伸缩性视频编码方法和设备
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
JP2003504987A (ja) ビデオシーケンスを圧縮する符号化方法
US20030202599A1 (en) Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
JP2004502358A (ja) ビデオ系列の圧縮のための符号化方法
US6782051B2 (en) Video encoding method based on a wavelet decomposition
Andreopoulos et al. Complete-to-overcomplete discrete wavelet transforms for scalable video coding with MCTF
KR20040077777A (ko) 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들
KR20050085385A (ko) 비디오 코딩 방법 및 장치
JP2005538637A (ja) 映像符合化方法及び装置
Xiong et al. Barbell lifting wavelet transform for highly scalable video coding
Ye et al. Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering
Luo et al. Advanced lifting-based motion-threading (MTh) technique for 3D wavelet video coding
JP2005533432A (ja) ３ｄウェーブレットビデオコーディング方法、デコーディング方法及び対応する装置
US20060012680A1 (en) Drift-free video encoding and decoding method, and corresponding devices
KR20040106418A (ko) 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
KR20050029219A (ko) 비디오 코딩 방법 및 장치
EP1520428A1 (en) Subband video decoding method and device
KR100582024B1 (ko) 웨이블렛 변환 기반 동영상 부호화를 위한 3차원 블록분할방식
EP1554886A1 (en) Drift-free video encoding and decoding method, and corresponding devices
KR20070028720A (ko) 웨이블릿 패킷 변환 기반의 동영상 인코딩 시스템 및 방법
Weixiao et al. A new very low bit rate wavelet video coding combined with H. 263 and SLCCA

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid