KR20060121912A - 3ｄ 비디오 스케일러블 비디오 인코딩 방법 - Google Patents

3ｄ 비디오 스케일러블 비디오 인코딩 방법 Download PDF

Info

Publication number
KR20060121912A
KR20060121912A KR1020067006873A KR20067006873A KR20060121912A KR 20060121912 A KR20060121912 A KR 20060121912A KR 1020067006873 A KR1020067006873 A KR 1020067006873A KR 20067006873 A KR20067006873 A KR 20067006873A KR 20060121912 A KR20060121912 A KR 20060121912A
Authority
KR
South Korea
Prior art keywords
frames
spatial
low
filtering
subband
Prior art date
Application number
KR1020067006873A
Other languages
English (en)
Inventor
이호르 키렌코
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060121912A publication Critical patent/KR20060121912A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 프레임들의 시퀀스를 인코딩하는 방법에 관한 것이며, 상기 방법은, 프레임들의 시퀀스를 크기가 H*W인 N개 프레임들(F1-F8)의 그룹들로 분할하는 단계와, 크기가 H/2*W/2인 N개 로우-로우 공간 필터링된 프레임들(LLs)을 포함하는 제1 분해 레벨의 제1 공간 서브대역(S1)을 생성하도록 그룹의 프레임들을 1 레벨 공간 웨이브렛-기반 필터링(SF) 단계와, N/2개 필드들을 포함하는 모션 벡터 필드들 세트를 발생하도록 상기 로우-로우 공간 필터링된 프레임들(LLs)의 쌍들에 대해 모션 추정(ME1)하는 단계와, N개 시간 필터링된 프레임들을 포함하는 제1 분해 레벨의 제1 시간 서브대역(ST1)을 발생하도록 상기 모션 벡터 필드들 세트에 기초하여 상기 로우-로우 공간 필터링된 프레임들(LLs)을 모션-보상 시간 웨이브렛-기반 필터링(MCTF)하는 단계를 포함한다. 그 후, 상기 공간 필터링 단계, 상기 모션 추정 단계 및 상기 모션 보상 필터링 단계를 포함하는 시퀀스는, 시간 서브대역당 1개 로우-시간 주파수 프레임이 남겨질 때까지 시간 및 공간 도메인들 둘 모두에서 최저 주파수를 가지는 프레임들에 대하여 반복된다.
프레임들의 시퀀스, LL, ST, 모션 추정, MCTF

Description

3Ｄ 비디오 스케일러블 비디오 인코딩 방법{3Ｄ video scalable video encoding method}
본 발명은 프레임들의 시퀀스를 인코딩하는 방법 및 디바이스에 관한 것이다.
본 발명은 예를 들면, 점진적 스케일러블(scalable)(신호 대 잡음 비(SNR), 공간적 또는 시간적으로) 압축 비디오 신호들을 생성하는 비디오 압축 시스템들에 사용될 수 있다.
프레임들의 시퀀스를 3차원 비디오 스케일러블 비디오 인코딩하는 종래의 방법은 예를 들면 "스케일러블 비디오 인코딩의 리프팅 방법들", B. Pesquet-popescu, V. Bottreau, SCI2001, Oralndo, USA에 기술되어 있다. 상기 방법은 도 1에 예시되는 이하의 단계들을 포함한다.
제1 단계에서, 프레임들의 시퀀스는 그룹 GOF의 2N 프레임들 F1-F8로 분할되며, 상기 그룹은 우리 예에서는 8개 프레임을 가진다.
그런 다음, 상기 인코딩 방법은 프레임들의 그룹 내의 홀수(Fo) 및 짝수(Fe) 쌍들에 기초하여 모션 추정(ME)의 단계를 포함하며, 도 1의 예에서 4개 필드를 포 함하는 제1 분해 레벨의 모션 벡터 필드들의 세트(MV1)가 된다.
모션 추정 단계는, 모션 벡터 필드들 세트(MV1)와 리프팅 방법에 기초하여 모션 보상 시간 필터링(MCTF)의 단계, 예를 들면 하아르(Haar) 필터링 단계가 수반되며, 여기서 고주파수 웨이브렛 계수 Ht[n] 및 저주파수 계수 Lt[n]이 다음과 같다:
Ht[n]= Fe[n]-P(Fo[n]),
Lt[n]=Fo[n]+U(Ht[n])
여기서, P는 예측 함수이며, U는 업데이트 함수이고, n은 정수이다.
이러한 시간 필터링(MCTF) 단계는 필터링된 프레임들을 포함하는 제1 분해 레벨의 시간 서브대역 T1을 전달하며, 이는 본원의 예에서 4개의 저주파수 프레임들(Lt) 및 4개 고주파수 프레임들(Ht)이다.
모션 추정 및 필터링 단계들은 시간 서브대역(T1)의 저주파수 프레임(Lt)에서 반복되며, 즉:
- 모션 추정은 시간 서브대역(T1)내의 홀수(Lto) 및 짝수(Lte) 저주파수 프레임들 쌍에 대하여 행해지며, 그 결과 우리 예에서 2개 필드를 포함하는 제2 분해 레벨의 모션 벡터 필드 세트 MV2가 된다.
- 모션 보상 시간 필터링은 모션 벡터 필드 세트(MV2) 및 리프팅 수식들에 기초하며, 그 결과 필터링된 프레임들을 포함하는 제2 분해 레벨의 시간 서브대역 T2가 되며, 도 1의 예에서 2개 저주파수 프레임들(LLt) 및 2개 고주파수 프레임들 (LHt)이다.
모션 추정 및 모션 보상 시간 필터링은 시간 서브대역(T2)의 홀수(LLto) 및 짝수(LLte) 저주파수 프레임 쌍에 대하여 계속 반복되어, 1개 저주파수 프레임 ((LLLt)) 및 1개 고주파수 ((LLHt))를 포함하는 제3 및 최종 분해 레벨의 시간 서브대역(T3)가 된다.
4단 웨이브렛 공간 필터링은 시간 서브대역(T3)의 프레임들(LLLt및LLHt) 및 다른 시간 서브대역(T1, T2)의 고주파수 프레임, 즉 2LHt와 4Ht 필터링된 프레임들에 적용된다. 각각의 프레임은 수평 및 수직 방향으로 인자 2 에 의해 부표본화(sub-sampled)되는 필터링된 프레임들을 포함하는 4개 공간-시간 서브대역들을 생성한다.
다음 단계에서, 공간-시간 서브대역들의 프레임들의 계수들 공간 인코딩이 수행되며, 각각의 공간-시간 서브대역은 최종 분해 레벨의 공간-시간 서브대역의 저주파수 프레임에서 시작하여 개별적으로 인코딩된다. 모션 벡터 필드들도 또한 인코딩된다.
결국, 출력 비트스트림은 공간-시간 서브대역들의 인코딩된 계수들 및 인코딩된 모션 벡터 필드들에 기초하여 형성되며, 상기 모션 벡터 필드들의 비트들은 오버헤드로서 전송된다.
그러나, 이전 기술에 따른 인코딩 방법은 다수의 단점이 있다. 우선, 모션 추정 및 모션 보상 시간 필터링 단계들은 전체 크기 프레임들에 실행된다. 따라서, 이러한 단계들은 계산적으로 고가이며 인코딩동안에 지연을 야기한다. 그 밖에도, 최고 공간 리솔루션의 모션 벡터들은 각각의 시간 레벨에서 인코딩되며, 그 것은 꽤 높은 오버헤드를 초래한다. 또한, 최저 공간 리솔루션에서 인코딩되는 비트스트림의 디코딩동안에, 오리지널 리솔루션의 모션 벡터들이 사용되며, 정확하지 않은 모션 보상 시간 재구성을 야기한다. 또한, 인코딩 방법은 낮은 연산 스칼라빌리티를 가진다.
본 발명의 목적은 종래 기술 보다 계산상 덜 값비싼 인코딩 방법을 제공하는 것에 있다.
이러한 목적을 달성하기 위하여, 본 발명에 따른 상기 인코딩 방법은:
- 상기 프레임들의 시퀀스를 입력 프레임들의 그룹들로 분할하는 단계와;
- 상기 입력 프레임들에 비해 감소된 크기를 갖는 로우-로우 공간 필터링된 프레임들을 포함하는 제1 분해 레벨의 제1 공간 서브대역을 생성하도록 그룹의 프레임들을 1 레벨 공간 웨이브렛-기반 필터링하는 단계와,
- 모션 벡터 필드들의 세트를 발생하도록, 상기 로우-로우 공간 필터링된 프레임들의 쌍들에 대해 모션 추정을 하는 단계와,
- 시간 필터링된 프레임들을 포함하는 제1 분해 레벨의 제1 시간 서브대역을 발생하도록, 상기 모션 벡터 필드들 세트에 기초하여 상기 로우-로우 공간 필터링된 프레임들을 모션-보상 시간 웨이브렛-기반 필터링(MCTF)하는 단계와,
- 상기 3개 선행 단계들을 반복하는 단계를 포함하며, 상기 공간 필터링 단계는 로우 주파수 시간 필터링된 프레임들에 기초하여 제2 분해 레벨의 제1 공간 서브대역을 생성하게 되고, 상기 모션 추정 및 모션 보상 시간 필터링은 상기 제2 분해 레벨의 상기 제1 공간 서브대역의 프레임들에 적용되는 것을 특징으로 한다.
본 발명에 따른 인코딩 방법은 공간 및 시간 웨이브렛-기반 필터링 단계들을 결합하고 그것을 번갈아 사용하는 것에 있다. 본원의 후자에서 보여지듯이, 상기 결합은 모션 보상 시간 필터링 단계를 단순하게 한다. 결국, 인코딩 방법은 종래 기술보다 계산상 덜 값비싸다.
또한, 본 발명은 인코딩 방법과 같은 인코딩 디바이스 실행에 관한 것이다. 결론적으로, 상기 인코딩 방법을 실행하는 프로그램 명령들을 포함한 컴퓨터 프로그램 제품에 관한 것이다.
본 발명의 상기 및 다른 양상들은 이후에 기술되는 실시예로부터 자명해지고 그것을 참조하여 명료하게 된다.
본 발명은 첨부 도면을 참조하여 예로서 이제 보다 상세하게 기술된다.
도 1은 종래 기술에 따른 인코딩 방법을 도시한 블록도이다.
도 2A, 2B는 본 발명에 따른 인코딩 방법을 도시한 블록도를 나타내고 있다.
본 발명은 모션 보상을 이용한 3차원 즉 3D 웨이브렛 인코딩 방법에 관한 것이다. 이러한 인코딩 방법은 스케일러블 비디오 인코딩 어플리케이션들에 효과적인 기술임이 증명되어 왔다. 상기 3D 압축 또는 인코딩 방법은 공간 및 시간 도메인 모두에서 웨이브렛 변환을 사용한다. 3D 웨이브렛 인코딩의 종래 방법들은 웨이브렛-기반 공간 필터링 및 모션 보상 웨이브렛-기반 시간 필터링의 개별 실행을 가정한다.
본 발명은 공간 및 시간 웨이브렛-기반 필터링 단계들을 결합하고 반복적으로 번갈아 사용함으로써 종래의 3D 스케일러블 웨이브렛 비디오 인코딩 변경을 제안한다. 이러한 변경은 모션 보상 시간 필터링 단계를 단순하게 하여 시간과 공간 스케일러빌리티들(scalabilities)간의 밸런스를 보다 양호하게 한다.
도 2A, 2B는 본 발명에 따른 인코딩 방법을 도시하는 블록도이다.
본 발명은, 프레임들의 시퀀스를 N개 연속 프레임들 그룹으로 분할하는 제1 단계를 포함하며, N은 2의 제곱이며, 한 프레임은 크기가 HxW이다. 이하 기술에서 설명되는 예에서, 프레임들의 그룹은 8개 프레임들(F1-F8)을 포함한다.
본 발명은, 프레임들 그룹의 프레임들의 1 레벨 공간 필터링 단계(SF)를 포함한다. 상기 단계는 웨이브렛 변환에 기초하며, 제1 분해 레벨의 4개 공간 서브대역(S1-S4)를 생성하게 된다. 제1 공간 서브대역(S1)은 N=8 공간 필터링된 로우-로우 LLs 프레임들을 포함하며, 여기서 s는 공간 도메인에서 웨이브렛 변환의 결과를 나타낸다; 제2 공간 서브대역 S2는 8개 공간 필터링된 로우-하이 LHs 프레임들을 포함하고; 제3 공간 서브대역 S3은 8개 공간 필터링된 하이-로우 HLs 프레임들을 포함하며; 제4 공간 서브대역 S4는 8개 공간 필터링된 하이-하이 HHs 프레임들을 포함한다. 각각의 공간 필터링된 프레임은 크기가 H/2xW/2이다.
다음 단계에서, 모션 추정(ME1)은 제1 공간 서브대역(S1)의 연속 로우-로우 LLs 프레임들, 즉 홀수 로우-로우 프레임들(LLso) 및 짝수 로우-로우 프레임들 (LLse)의 결합에 수행되며, 본 예에서 N/2=4 필드들을 포함하는 모션 벡터 필드들 의 제1 세트(MV1)가 생성된다.
따라서 얻어진 모션 벡터 세트(MV1)에 기초하여, 모션-보상 시간 필터링 (MCTF)는 로우-로우 LLs 프레임들에 실행되며, N=8 프레임들을 포함하는 제1 분해 레벨의 제1 시간 서브대역(ST1)이 생성되고, 그것은 4개의 로우 시간 주파수 LLsLt 프레임과 4개 하이 시간 주파수 LLsHt 프레임들이며, 여기서 t는 시간 도메인에서 웨이브렛 변환의 결과를 나타낸다. 상기 시간 필터링 단계는 예측 함수 (P)와 업데이트 함수 (U)에 기초하여 고주파수 웨이브렛 계수들 및 저주파수 계수들을 전달하는 리프팅 방법을 사용한다. 예를 들면, 필터링 방법의 예측 및 업데이트 함수는 다음과 같은 (4,4) 데슬러리어스-듀뷰크(Deslauriers-Dubuc) 웨이브렛 변환에 기초한다:
LLsHt[n]=LLse[n]-(-LLso[n-1]+9LLso[n]+9LLso[n+1]-LLso[n+2])/16
LLsLt[n]=LLso[n]+(-LLsHt[n-2]+9LLsHt[n-1]+9LLsHt[n]-LLsHt[n+1])/16
선택적으로, 모션 보상 시간 필터링 MCTF 단계는 제2 S2 서브대역의 로우-하이 LHs 프레임들, 제3 S3 서브대역의 하이-로우 HLs 프레임들, 제4 서브대역 S4의 하이-하이 HHs 프레임들에 적용되며, 모션 벡터 필드의 제1 세트 MV1을 재사용한다. 그 결과, 제1 분해 레벨의 제3 및 제4 시간 서브대역들(S3, S4)이 생성되며, 4개 로우 시간 주파수 LHsLt 프레임들 및 4개 하이 시간 주파수 LHsHt 프레임들, 4개 HLsLt 프레임 및 4개 LHsHt 프레임들, 4개 HHsLt 프레임들 및 4 HHsHt 프레임들을 각각 포함한다. LHs, HLs, HHs 프레임들의 시간 관계 해제는 부가적으로 요구되는 처리 비용에서 보다 나은 에너지 압축을 제공한다.
공간 필터링 단계, 모션 추정 단계 및 모션 보상 필터링 단계를 포함하는 시퀀스는 최종 분해 레벨의 서브대역이 수신될 때까지, 즉 시간 서브대역 마다 오직 한 개의 로우 시간 주파수 프레임이 남겨질 때까지 반복된다. 대안적으로, 단계들의 상기 시퀀스는 일정 양의 계산 리소스들이 사용될 때까지 반복된다. 각각의 반복에서, 단계들의 시퀀스의 입력들은 시간 및 공간 도메인들에서 최저 주파수를 가지는 연속 프레임들의 결합들이다.
전술된 예에 관하여, 상기 단계들의 시퀀스 반복은 이하의 단계들을 포함한다.
우선은, 1-레벨 공간 필터링 단계(SF)는 제1 분해 레벨의 제1 시간 서브대역 (ST1)의 낮은 시간 주파수 LFT 프레임들 LLsLt에 적용되어, 제2 분해 레벨의 4개 공간 서브대역들(STS11-STS14)이 생성된다. 각각의 공간 서브대역은 크기가 (H/4)x(W/4)인, N/2=4 공간 필터링된 프레임들 LLsLtLLs 또는 LLsLtLHs 또는 LLsLtHLs 또는 LLsLtHHs를 포함한다.
그런 다음, 모션 추정 단계(ME2)는 제2 분해 레벨의 제1 공간 서브대역 STS11의 연속 필터링된 프레임들의 결합에 수행되고, 상기 필터링된 프레임들 LLsLtLLs은 시간 및 공간 도메인드 모두에서 최저 주파수를 가지며, N/4=2 필드들을 포함한 벡터 필드들 세트(MV2)가 생성된다.
모션 벡터 필드 세트(MV2)에 기초하여, 전술되는 모션-보상 시간 필터링 MCTF는 상기 LLsLtLLs 필터링된 프레임들에 적용되며, 그 결과 N/2=4 시간 필터링된 프레임들을 포함하는 제1 분해 레벨의 제1 시간 서브대역(STST11)인 2개의 LLsLtLLsLt와 2개의 LLsLtLLsHt 생성된다.
또한, 모션 보상 시간 필터링 MCTF 단계는 선택적으로 LLsLtLHs, LLsLtHLs 및 LLsLtHHs 필터링된 프레임들에 적용되며, 모션 벡터 필드 세트 MV2를 재사용한다. 이 결과 제2 분해 레벨의 제2 STST12, 제3 STST13, 제4 STST14 시간 서브대역이 생성된다. 상기 서브대역들은 2개 LLsLtHsLt, 2개 LLsLtLHsHt, 2개 LLsLtHLsLt, 2개 LLsLtHLsHt, 2개 LLsLtHLsHt, 2개 LLsLtHHsHt 프레임들을 포함한다.
1-레벨 공간 필터링 단계(SF)는 제2 분해 레벨의 제1 시간 서브대역(STST11)의 낮은 시간 주파수 프레임들(LLsLtLLsLt)에 적용되며, 제3 분해 레벨의 공간 서브대역들(STSTS111-STSTS114)이 생성된다. 각각의 공간 서브대역은 크기가 (H/8)x(W/8)인 LLsLtLLsLtLLs 또는 LLsLtLLsLtLHs 또는 LLsLtLLsLtHLs 또는 LLsLtLLsLtHHs를 포함한다.
모션 추정(ME3)는 제3 분해 레벨의 제1 공간 서브대역의 연속 프레임들( LLsLtLLsLtLLs)의 결합에 수행되며, 그 결과 모션 벡터 필드(MV3)가 생성된다.
모센 벡터 필드 MV3에 기초하여, 모션 보상 시간 필터링(MCTF)은 LLsLtLLsLtLLs에 적용되어, N/4=2 프레임들을 포함하는 제3 분해 레벨의 제1 시간 서브대역(STSTST111)인 LLsLtLLsLtLLsLt, LLsLtLLsLtLLsHt이 생성된다. 그것들의 프레임은 공간 및 시간 도메인의 저주파수 데이터를 포함하며, 따라서 최고 우선 순위로 인코딩되어야 한다. 즉, 그들은 최종 비트-스트림의 제1 패킷들이다.
또한, 모션 보상 시간 필터링 MCTF 단계는 LLsLtLLsLtLHs, LLsLtLLsLtHLs, LLsLtLLsLtHHs 프레임들에 선택적으로 적용되고, 모션 벡터 필드(MV3)를 재사용하 며, 제3 분해 레벨의 제2 STSTST112, 제3 STSTST113, 제4 STSTST114 시간 서브대역들이 생성된다. 상기 서브대역들은 LLsLtLLsLtLHsLt, LLsLtLLsLtLHsHt, LLsLtLLsLtHLsLt, LLsLtLLsLtHLsHt, LLsLtLLsLtHHsLt, LLsLtLLsLtHHsHt 프레임들을 각각 포함한다.
단계들의 시퀀스 반복에 상관없이, 공간 필터링은 제1 분해 레벨의 제2 시간 서브대역(ST1)의 고-시간-주파수 HTF 프레임들(LLsHt)에 적용된다. 오직 한 레벨의 공간 필터링만이 실행되는 저-시간 주파수 프레임들 LLsLt의 공간 필터링과는 반대로, LLsHt의 공간 필터링은 가장 조잡한 공간 분해 레벨까지, 즉 최소 공간 리솔루션까지의 피라미드 모양, 즉 다층 형태이다.
대안적으로, 공간 필터링은 사용되는 웨이브렛 필터들의 형태에 따라서 제1 분해 레벨의 제2 ST2, 제3 ST3, 제4 ST4 시간 서브대역들 각각의 저-시간-주파수 LTF 프레임들(LHsLt, HLsLt, HHsLt)에 적용된다. 그 결과, 공간 서브대역들 STS21-STS24, STS31-STS34, STS41-STS44 각각이 생성된다.
본 발명의 주요 실시예에 따르면, 제2 ST2, 제3 ST3, 제4 ST4 서브대역들에 따라 LLsHt 프레임들의 공간 필터링 이후에 수신되는 공간 서브대역들은, 그들이 시간 필터링되지 않았다고 하면 최종 비트스트림을 형성하도록 인코딩된다. 이러한 실시예에서, LLsHt 프레임들의 공간 분해 레벨의 수는 인코딩동안에 로우-로우 서브대역들에서 실행되는 공간 필터링의 총 수보다 1만큼 더 작다. 도 2A, 2B에서의 예에서, 공간 필터링은 3번 실행된다. 즉, 3개 레벨의 공간 리솔루션이 전체적으로 수신된다. 이 경우에, ST1 서브대역의 LLsHt 프레임은 2개 공간 분해 레벨들 로 공간 필터링되고, STST1 서브대역의 LLsLtLLsHt 프레임들은 한 분해 레벨로 공간 필터링된다. 보다 통상적인 방법에서, 현재 시간 분해 레벨에서 피라미트형 공간 필터링에 따른 공간 분해 레벨의 수는, 공간 분해 레벨의 총 수에서 현재 공간 분해 레벨의 수를 뺀것과 같다. LLsHt, LLsLtLLsHt 프레임들의 피라미드형 공간 분석은, 예를 들면 SPIHT 압축 원리에 기초한 공간 분해이고, 2001, 10월 7-10, 그리스, 테살로니키, IEEE 인터내쇼날 컨퍼런스 온 이미지 프로세싱의 회보, ICIP2001, vOL.2, pp.1017-102, 브이. 보트레아우, 엠. 베네티에르, 비. 프레스큐엣-팝스큐 및 비. 펠츠에 의한 "완전 스케일러블 3D 서브대역 비디오 코덱"에 기술되어 있다.
본 발명의 또다른 실시예에 따라, 모션 보상 시간 필터링 MCTF 단계는 델타 로우-패스 시간 필터링 서브-단계를 포함한다. 이것은, 2개의 연속 프레임 중 하나가 모션 추정이 결과 생성된 로우 시간 주파수 프레임에 카피된 직후에 시간 필터링(MCTF)에서 참가하며, 단지 하이-패스 시간 필터링이 실행됨을 의미한다. 이 경우에, 로우 시간 주파수 프레임은 시간 평균 정보를 포함하지 않지만, 시간 필터링(MCTF)에 참가하는 프레임만을 포함한다. 이 방법은 MPEG형 코더들에서 I, B 프레임들과 동일하다. 로우 시간 리솔루션에서 이러한 방법으로 인코딩된 스트림을 디코딩함으로써 스킵된 프레임들을 포함하는 시퀀스가 생성되지만, 시간 평균 프레임들은 전혀 생성되지 않는다. 다시 말하면, 종래 기술 방법과 같은 로우-페스 시간 필터링 대신에, 프레임들 중 하나는 단지 생성된 로우 시간 주파수 프레임으로 간주된다.
필터링 단계들이 수행되면, 본 발명에 따른 인코딩 방법은 미리 결정된 서브대역들의 필터링된 프레임들의 웨이브렛 계수들을 양자화하고 엔트로피 코딩하는 단계를 포함한다, 상기 프레임들은 다음과 같다:
-최종 시간 분해 레벨의 서브대역들의 프레임들(본 예에서 STSTST111-STSTST114 서브대역들),
-이전의 시간 분해 레벨들의 공간-시간 서브대역들의 하이-시간 주파수 HTF 프레임들(그 프레임들은 본 예에서 ST1의 LLsHt 프레임들과 STST1의 LLsLtLLsHt 프레임들의 공간 필터링으로부터 생성됨),
-이전의 시간 분해 레벨들의 시간 서브대역들의 프레임들(상기 프레임들은 본 예에서 STST12-STST14, ST2-ST4 서브대역들의 프레임들의 공간 필터링에서 생성됨).
이러한 코딩 단계는 예를 들면, 내장된 제로-트리 블록 코딩 EZBC에 기초한다.
또한, 본 발명에 다른 인코딩 방법은, 예를 들면 무손실 차동 펄스 코드 변조(differential pulse code modulation; DPCM) 및/또는 적응형 산술 코딩에 기초하는 모션 벡터 필드들을 인코딩하는 단계를 포함한다. 모션 벡터들은 다수의 분해 레벨에 따라 감소하는 리솔루션을 가진다. 따라서, 인코딩된 모션 벡터들의 오버헤드는 이전 기술 방법들보다 훨씬 작다.
최종적으로, 본 발명은 공간-시간 서브대역들의 인코딩되는 계수 및 인코딩된 모션 벡터 필드들에 기초하여 최종 비트스트림을 형성하는 단계를 포함하며, 상 기 모션 벡터 필드들의 비트들은 오버헤드로서 전송된다.
인코딩하는 동안에, 수신된 공간-시간 서브대역들은 상이한 우선 순위 레벨들을 가지는 최종 비트스트림에 임베딩된다. 최고 우선 순위 레벨에서 최저 우선순위 레벨까지의 이러한 비트 스트림의 예는 다음과 같다:
-STSTST111-114 서브대역들의 로우 시간 주파수 프레임들(LTF),
-STSTST111-114 서브대역들의 하이 시간 주파수 프레임들(HTF),
-STST12-14 서브대역들의 로우 시간 주파수 프레임들(LTF),
-STST11-14 서브대역들의 하이 시간 주파수 프레임들(HTF),
-ST2-4 서브대역들의 로우 시간 주파수 프레임들(LTF),
-ST1-4 서브대역들의 하이 시간 주파수 프레임들(HTF),
또다른 예에서, 시간 스칼라빌리티는 인코딩동안에 강조되어야 하며, 모든 공간 리솔루션들의 로우 시간 주파수 프레임들 LTF는 첫번째로 하이 시간 주파수 프레임들 HTF 를 수반한다.
공간 및 시간 분해 레벨들의 개수는 인코더 측에서 계산 리소스들(예를 들면, 프로세싱 파워, 메모리, 허용 지연)에 따라 상이하며, 동적으로 조정될 수 있다(즉, 분해는 프로세싱 리소스들이 도달되자 마자 정지된다). 종래 기술 방법과 반대로, 완전 시간 분해는 첫번째로 실행되어야 하고 수신된 시간 서브대역들의 공간 분해가 수반되며, 제안된 인코딩 방법은 제1 시간 분해 레벨이 얻어진 후에 임의 순간에 가상적으로 분해를 정지하고, 그에 따라 얻어진 시간 및 공간 필터링된 프레임들 모두를 전송한다. 따라서, 계산 스칼라빌리티가 제공된다.
본 발명에 따른 인코딩 방법은 하드웨어 또는 소프트웨어 또는 둘 모드의 아이템에 의하여 구현될 수 있다. 상기 하드웨어 또는 소프트웨어 아이템들은 예를 들면, 무선 전자 회로들 또는 적절하게 프로그래밍된 집적 회로 각각에 의하여 몇가지 방법들로 구현될 수 있다. 집적 회로는 인코더에 포함될 수 있다. 집적 회로는 인스트럭션들의 세트를 포함한다. 따라서, 예를 들면 인코더 메모리에 포함되는 상기 인스트럭션 세트는 인코더로 하여금 모션 추정 방법의 상이한 단계들을 실행하게끔 한다. 인스트럭션들 세트는 예를 들면, 디스크와 같은 데이터 캐리어를 판독함으로써 그포그래밍 메모리에 로딩될 수 있다. 서비스 공급업자는 또한 예를 들면 인터넷과 같은 통신 네트워크를 통해 인스트럭션 세트를 이용 가능하게 만들 수 있다.
이하 청구항에서의 임의 참보 부호는 청구항을 한정시키는 것으로 구성되지 않는다. 동사 "포함하다"의 사용 및 그것의 동사 활용들은 임의 청구항에서 정의되는 것이외에 임의 다른 단계들 또는 소자들의 존재를 포함하지 않음이 명백하다. 소자 또는 단계의 단수 표현은 이러한 소자들 또는 단계들이 다수 존재함을 배제하지 않는다.

Claims (9)

  1. 프레임들의 시퀀스를 인코딩하는 방법에 있어서,
    - 상기 프레임들의 시퀀스를 입력 프레임들(F1-F8)의 그룹들로 분할하는 단계와;
    - 상기 입력 프레임들에 비해 감소된 크기를 갖는 로우-로우 공간 필터링된 프레임들(low-low spatially filtered frames; LLs)을 포함하는 제1 분해 레벨의 제1 공간 서브대역(S1)을 생성하도록 한 그룹의 프레임들을 1 레벨 공간 웨이브렛-기반 필터링(SF)하는 단계와,
    - 모션 벡터 필드들의 세트를 발생하도록, 상기 로우-로우 공간 필터링된 프레임들(LLs)의 쌍들에 대해 모션 추정(ME1)을 하는 단계와,
    - 시간 필터링된 프레임들(LLsLtLLsHt)을 포함하는 제1 분해 레벨의 제1 시간 서브대역(ST1)을 발생하도록, 상기 모션 벡터 필드들 세트에 기초하여 상기 로우-로우 공간 필터링된 프레임들(LLs)을 모션-보상 시간 웨이브렛-기반 필터링(MCTF)하는 단계와,
    - 상기 3개의 선행 단계들을 반복하는 단계를 포함하며, 상기 공간 필터링 단계는 로우 주파수 시간 필터링된 프레임들(LLsLt)에 기초하여 제2 분해 레벨(STS11)의 제1 공간 서브대역을 생성하도록 적응되고, 상기 모션 추정 및 모션 보상 시간 필터링은 상기 제2 분해 레벨의 상기 제1 공간 서브대역의 프레임들에 적용되는, 프레임들의 시퀀스 인코딩 방법.
  2. 제1항에 있어서, 상기 공간 필터링 단계, 상기 모션 추정 단계 및 상기 모션 보상 시간 필터링 단계를 포함하는 시퀀스는, 미리 결정된 분해 레벨의 시간 서브대역만이 1개의 로우 시간 주파수 프레임을 포함할 때까지 반복되며, 상기 단계들의 시퀀스에 대한 입력들은 각 반복에서 시간 및 공간 도메인들 모두에서 최저 주파수를 가지는 시간 필터링된 프레임들(LLsLtLLsLt)인, 프레임들의 시퀀스 인코딩 방법.
  3. 제1항에 있어서, 상기 공간 필터링 단계, 상기 모션 추정 단계 및 상기 모션 보상 시간 필터링 단계를 포함하는 시퀀스는, 일정 양의 계산 리소스들이 사용될 때까지 반복되며, 상기 단계들의 시퀀스에 대한 입력들은 각 반복에서 시간 및 공간 도메인들 모두에서 최저 주파수를 가지는 프레임들인, 프레임들의 시퀀스 인코딩 방법.
  4. 제1항에 있어서, 상기 1 레벨 공간 필터링 단계(SF)는 현재 분해 레벨의 적어도 하나의 다른 공간 서브대역(S2-S4,STS12-STS14)을 전송하게 되어 있고, 상기 방법은 상기 적어도 하나의 다른 공간 서브대역의 프레임들을 모션-보상 시간 필터링하고, 상기 현재 분해 레벨에 대응하는 상기 제1 공간 서브대역의 모션 벡터 필드들의 세트를 재사용하는 단계를 더 포함하여, 상기 현재 분해 레벨의 적어도 하나의 다른 시간 서브대역(ST2-ST4, STST12-STST44)이 발생되는 단계를 더 포함하 는, 프레임들의 시퀀스 인코딩 방법.
  5. 제4항에 있어서, 상기 현재 분해 레벨의 적어도 하나의 다른 시간 서브대역(STS12-STS14, STSTS112-STSTS114)의 공간 필터링된 프레임의 피라미드형(pyramidal) 공간 필터링 단계를 더 포함하는, 프레임들의 시퀀스 인코딩 방법.
  6. 제1항에 있어서, 현재 분해 레벨의 상기 제1 시간 서브대역(ST1, STST11)의 공간 로우-주파수 시간 하이-주파수 프레임들(LLsHt, LLsLtLLsHt)의 피라미드형 공간 필터링 단계를 더 포함하는, 프레임들의 시퀀스 인코딩 방법.
  7. 제5항 또는 제6항에 있어서, 현재 분해 레벨에서의 상기 피라미드형 공간 필터링 단계에서의 상기 공간 분해 레벨들의 수는 공간 분해 레벨들의 총 수에서 상기 현재 분해 레벨을 뺀 것과 동일한, 프레임들의 시퀀스 인코딩 방법.
  8. 프레임들의 시퀀스를 인코딩하는 디바이스에 있어서,
    - 상기 프레임들의 시퀀스를 입력 프레임들(F1-F8)의 그룹들로 분할하는 수단과,
    - 상기 입력 프레임들에 비해 감소된 크기를 갖는 로우-로우 공간 필터링된 프레임들(low-low spatially filtered frames; LLs)을 포함하는 제1 분해 레벨의 제1 공간 서브대역(S1)을 생성하도록 그룹의 프레임들을 1 레벨 공간 웨이브렛-기 반 필터링(SF)하는 수단과,
    - 모션 벡터 필드들의 세트를 발생하도록, 상기 로우-로우 공간 필터링된 프레임들(LLs)의 쌍들에 대해 모션 추정(ME1)을 하는 수단과,
    - 시간 필터링된 프레임들(LLsLtLLsHt)을 포함하는 제1 분해 레벨의 제1 시간 서브대역(ST1)을 발생하도록, 상기 모션 벡터 필드들 세트에 기초하여 상기 로우-로우 공간 필터링된 프레임들(LLs)을 모션-보상 시간 웨이브렛-기반 필터링(MCTF)하는 수단을 포함하며,
    - 상기 3개의 선행 수단들은 상기 공간 필터링 수단이 로우 주파수 시간 필터링된 프레임들(LLsLt)에 기초하여 제2 분해 레벨(STS11)의 제1 공간 서브대역을 생성하게 되어 있고, 상기 모션 추정 및 모션 보상 시간 필터링 수단들은 상기 제2 분해 레벨의 상기 제1 공간 서브대역의 프레임들을 수신하도록 구성된, 프레임들의 시퀀스 인코딩 디바이스.
  9. 프로그램이 프로세서에 의해 실행될 때, 청구항 제1항의 인코딩 방법을 구현하는 컴퓨터 프로그램 명령들을 포함하는 컴퓨터 프로그램 제품.
KR1020067006873A 2003-10-10 2004-10-01 3ｄ 비디오 스케일러블 비디오 인코딩 방법 KR20060121912A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03292521 2003-10-10
EP03292521.6 2003-10-10

Publications (1)

Publication Number Publication Date
KR20060121912A true KR20060121912A (ko) 2006-11-29

Family

ID=34429541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067006873A KR20060121912A (ko) 2003-10-10 2004-10-01 3ｄ 비디오 스케일러블 비디오 인코딩 방법

Country Status (6)

Country Link
US (1) US20070053435A1 (ko)
EP (1) EP1673941A1 (ko)
JP (1) JP2007509516A (ko)
KR (1) KR20060121912A (ko)
CN (1) CN1868214A (ko)
WO (1) WO2005036885A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656884A (zh) * 2009-12-16 2012-09-05 国际商业机器公司 使用像素流执行视频编码
US9654308B2 (en) * 2014-11-19 2017-05-16 Intel Corporation Systems and methods for carrier frequency offset estimation for long training fields
US20180352240A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Generalized Temporal Sub-Layering Frame Work
US11582467B2 (en) * 2018-07-16 2023-02-14 The Regents Of The University Of California Sampled image compression methods and image processing pipeline
CN113259662B (zh) * 2021-04-16 2022-07-05 西安邮电大学 基于三维小波视频编码的码率控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) * 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US6795504B1 (en) * 2000-06-21 2004-09-21 Microsoft Corporation Memory efficient 3-D wavelet transform for video coding without boundary effects
CN1251509C (zh) * 2001-04-10 2006-04-12 皇家菲利浦电子有限公司 帧序列的编码方法
EP1294196A3 (en) * 2001-09-04 2004-10-27 Interuniversitair Microelektronica Centrum Vzw Method and apparatus for subband encoding and decoding
US20050018771A1 (en) * 2002-01-22 2005-01-27 Arnaud Bourge Drift-free video encoding and decoding method and corresponding devices
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
US7292635B2 (en) * 2003-07-18 2007-11-06 Samsung Electronics Co., Ltd. Interframe wavelet video coding method
KR20050022160A (ko) * 2003-08-26 2005-03-07 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
US20070031052A1 (en) * 2003-09-29 2007-02-08 Koninklijke Philips Electronics N.V. Morphological significance map coding using joint spatio-temporal prediction for 3-d overcomplete wavelet video coding framework
US7526025B2 (en) * 2003-10-24 2009-04-28 Sony Corporation Lifting-based implementations of orthonormal spatio-temporal transformations

Also Published As

Publication number Publication date
EP1673941A1 (en) 2006-06-28
JP2007509516A (ja) 2007-04-12
CN1868214A (zh) 2006-11-22
WO2005036885A1 (en) 2005-04-21
US20070053435A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
Chen et al. Bidirectional MC-EZBC with lifting implementation
CN1764280B (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
ATE506812T1 (de) Skalierbare kodierung und dekodierung verschachtelter digitaler videodaten
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
KR20040068963A (ko) 비디오 인코딩 및 디코딩 방법 및 장치
JP2007150432A (ja) 動画像符号化／復号化方法および装置
JP2005524352A (ja) 複数基準フレームに基づいた動き補償時間的フィルタ化を用いたスケーラブルなウェーブレット・ベースの符号化
KR20050052532A (ko) 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩
JP2005516494A (ja) ドリフトフリー映像符合化及び復号化方法並びに対応する装置
WO2005051000A1 (en) Interframe wavelet coding apparatus and method capable of adjusting computational complexity
Xiong et al. Barbell lifting wavelet transform for highly scalable video coding
Ye et al. Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering
Xiong et al. Barbell-lifting based 3-D wavelet coding scheme
WO2003061294A3 (en) Video encoding method
KR20060121912A (ko) 3ｄ 비디오 스케일러블 비디오 인코딩 방법
JP2006509410A (ja) ビデオ符号化方法及び装置
US9628819B2 (en) Method for coding a video image taking into account the part relating to a component of a movement vector
GB2363274A (en) Spatial scalable moving picture encoding method
Mayer et al. Bit plane quantization for scalable video coding
Marzougui et al. Preliminary study of block matching algorithms for wavelet-based t+ 2D video coding
Liu et al. Video coding with adaptive motion-compensated orthogonal transforms
Mrak et al. Scalable generation and coding of motion vectors for highly scalable video coding
WO2005081531A1 (en) Three-dimensional video scalable video encoding method
Cai et al. An efficient approach of fast motion estimation and compensation in wavelet domain video compression
Nakachi et al. Multiresolution lossless video coding using inter/intra frame adaptive prediction

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid