KR20050052532A - 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩 - Google Patents

적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩 Download PDF

Info

Publication number
KR20050052532A
KR20050052532A KR1020057006325A KR20057006325A KR20050052532A KR 20050052532 A KR20050052532 A KR 20050052532A KR 1020057006325 A KR1020057006325 A KR 1020057006325A KR 20057006325 A KR20057006325 A KR 20057006325A KR 20050052532 A KR20050052532 A KR 20050052532A
Authority
KR
South Korea
Prior art keywords
motion compensation
signal
subband
compensation time
video
Prior art date
Application number
KR1020057006325A
Other languages
English (en)
Inventor
종 철 예
미핼라 반 데어 샤르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050052532A publication Critical patent/KR20050052532A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

본 발명은, 비디오 신호가 상이한 주파수 서브 대역의 적어도 2개의 신호로 공간적으로 분해되고, 개별적인 움직임 보상 시간 필터링 구성이 신호 컨텐츠에 따라 각 서브 대역 신호에 적응적으로 적용되고, 텍스처 코딩이 신호 컨텐트에 따라 각 움직임 보상 시간 필터링된 서브 대역 신호에 적응적으로 적용되는 비디오를 코딩하기 위한 방법 및 디바이스이다.

Description

적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기 조정가능 3-Ｄ 오버컴플릿 웨이브릿 비디오 코딩{FULLY SCALABLE 3-D OVERCOMPLETE WAVELET VIDEO CODING USING ADAPTIVE MOTION COMPENSATED TEMPORAL FILTERING}
본 출원은 본 명세서에 참고용으로 병합되어 있고, 2002년 10월 16일에 출원된 미국 가특허 출원 번호 60/418,961호의 35 USC 119(e) 하의 이익을 청구한다.
본 발명은 비디오 압축에 관한 것으로, 더 구체적으로 적응형 움직임 보상 시간 필터링을 이용하는 오버컴플릿 웨이브릿(overcomplete wavelet) 비디오 코딩에 관한 것이다.
현재 비디오 코딩 알고리즘은 주로 움직임 보상 예측 코딩을 통한 하이브리드-코딩 구성에 기초한다. 그러한 하이브리드 구성에서, 시간 여분(temporal redundancy)은 움직임 보상을 이용하여 감소되고, 공간 해상도는 움직임 보상의 잔여물을 변환 코딩(transform coding)함으로써 감소된다. 그러나, 이러한 하이브리드-코딩 구성은 진정한 크기 조정가능(scalable) 비트스트림을 제공하는 것에 대해, 즉 동일한 압축 비트스트림으로부터 상이한 품질, 해상도, 및 프레임 비율 층으로 압축 해제할 수 있는 능력에 대해 에러 전달 및 융통성 부족이 일어나기 쉽다.
이와 대조적으로, 3D 서브-밴드/웨이브릿 코딩은 매우 융통성있는 크기 조정가능 비트스트림 및 더 높은 에러 탄력성(error resilience)을 제공할 수 있다. 웨이블릿-기반의 크기 조정가능 비디오 코딩 구성은 허용된 상이한 크기 조정가능 유형에 대해 큰 융통성을 허용한다. 따라서, 상기 구성은 특히 이종(heterogeneous) 무선 및 유선 네트워크를 통한 상이한 성능을 갖는 다양한 디바이스로의 비디오 송신에 유용하다.
현재, 2가지 웨이브릿-기반의 비디오 코딩 구성, 즉 오버컴플릿 웨이브릿 및 프레임간(interframe) 웨이브릿이 존재한다. 오버컴플릿 웨이브릿(OW) 비디오 코딩에서, 먼저 각 프레임에 대한 공간 웨이브릿 변환이 수행되고, 그런 후에 웨이브릿 계수 값을 예측함으로써 수행하거나, 또는 엔트로피 코딩에서 시간 배경(temporal context)을 한정함으로써 프레임간 여분의 이용을 수행한다. 프레임간 웨이브릿 비디오 코딩에서, 웨이브릿 필터링은 시간축을 따라 수행되고, 그런 후에 2D 공간 웨이브릿 변환이 수행된다.
현재 프레임간 웨이브릿 비디오 코딩 구성은 움직임 보상 시간 필터링(MCTF: Motion Compensated Temporal Filtering)을 이용하여, 시간 여분을 감소시킨다. MCTF는 공간 압축 해제가 수행되기 전에 움직임의 시간 방향으로 수행된다. 그러한 비디오 코딩 구성은 공간 영역 MCTF(SDMCTF)로서 본 명세서에 언급된다. 그러나, 움직임 추정 알고리즘에 의해 제공된 매치의 품질은 SDMCTF 비디오 코딩 구성을 고유하게 한정시킨다. 예를 들어, 몇몇 프레임간 웨이브릿-코딩 시퀀스는 약간 흐려지는(blurred) 것으로 나타나는데, 그 이유는 불충분한 움직임 추정이 시간 고주파수 서브-대역으로의 프레임 세부사항(detail)의 이동을 야기하고, 그로부터, 공간 고주파수 서브-대역으로 이동시킨다. 이러한 결점(artifact)은 양자화되지 않은 공간적인 크기 조정가능 시퀀스에 대한 가시적 성능을 저하시킨다. 추가 테스트는, 시간 분해 레벨의 수의 감소가 그 결점을 감소시킬 수 있다는 것을 나타내었다.
본 OW 비디오 코딩 구성에서, 웨이브릿 필터링은 각 비디오 프레임을 다수의 서브-대역으로 공간적으로 분해하는데 사용되고, 각 서브-대역에 대한 시간적 상관은 움직임 추정을 이용하여 제거된다.
웨이브릿 영역에서의 움직임 보상에 의해 웨이브릿 계수를 예측하려는 시도가 많이 이루어졌다. 그러나, 웨이브릿 영역에서의 움직임 보상은 분석을 위해 선택된 신호 및 이산 그리드의 정렬에 크게 좌우된다. 본래 이미지의 웨이브릿 계수와 한-픽셀만큼 시프트된 이미지 사이에는 매우 큰 차이가 존재한다. 이러한 시프트-변형 특성은 이미지 에지 주위에서 종종 발생하므로, 웨이브릿 계수의 움직임 보상은 어려워질 수 있다.
기존의 OW 비디오 코딩 구성은 예측시에도 홀수-위상의 웨이브릿 계수를 이용함으로써 웨이브릿 영역에서의 움직임 추정의 비효율을 극복한다. 홀수 위상 계수를 얻는 편리한 방법은 대역 시프트를 수행하는 것이다. 디코딩된 이전의 프레임이 디코더에서도 이용가능하기 때문에, 오버컴플릿 확장으로부터의 예측은 어떠한 추가 비용도 요구하지 않는다. 더욱이, 웨이브릿 영역에서 최적의 위상 및 움직임 벡터 모두를 검색하는 계산 복잡성은 부화소(fractional pel) 정밀도를 갖는 공간 영역에서의 종래의 움직임 추정의 계산 복잡성과 유사하다.
그러나, 움직임 추정/보상으로 인해, 종래의 OW 구조는 드리프트(drift)를 겪는데, 이로 인해 SNR 크기 조정성(scalability)에서 성능 손실이 발생한다. 더욱이, 시간 크기 조정성의 한정된 범위만이 B 프레임을 이용하여 달성될 수 있다.
따라서, 개선된 SNR 및 시간 크기 조정성을 갖는 웨이브릿-기반의 비디오-코딩 구성이 필요하다.
도 1은, 본 발명의 IBMCTF 방법을 수행하는데 사용될 수 있는, 본 발명의 예시적인 실시예에 따른 3-D 오버컴플릿 웨이브릿 비디오 인코더의 블록도.
도 2는 본 발명에 사용된 적응성 더 높은 차수의 보간 필터의 블록도.
도 3은 본 발명에 따라 웨이브릿 계수의 오버컴플릿 확장으로부터 움직임 추정에 대한 연장된 기준 프레임의 생성을 도시한 도면.
도 4a는 흐려진 이미지를 생성하는 종래의 MCTF에 대한 분해 구성을 도시한 도면.
도 4b는 본 발명에 사용된 분해 구성을 도시한 도면.
도 5는 본 발명의 예시적인 실시예에 따른 3-D 오버컴플릿 웨이브릿 비디오 디코더의 블록도.
도 6은 2 레벨 분해를 위한 LBS 알고리즘을 이용하는 오버컴플릿 웨이브릿 확장을 도시한 도면.
도 7은 LBS 방법을 이용하여 얻어진 2-레벨 오버컴플릿 웨이브릿 변환의 비디오를 도시한 도면.
도 8은 1 레벨 분해의 1-D 경우에 대한 본 발명의 인터리빙 구성을 도시한 도면.
도 9는 본 발명의 인터리빙 방법을 수행한 후에 도 7의 비디오의 제 1 프레임에 대한 오버컴플릿 웨이브릿 계수를 도시한 도면.
도 10은 LBS 알고리즘에 의한 웨이브릿 블록도.
도 11은 시간적으로 높은 서브-대역 프레임에 대한 웨이브릿 영역에서의 MAD를 도시한 도면.
도 12 내지 도 17은, 본 발명의 IBMCTF 비디오 코딩 구성, 및 정수 및 1/8-화소 정밀한 움직임 추정을 위한 수 개의 테스트 시퀀스에 대한 SDMCTF의 속도 왜곡 수행을 도시한 도면.
도 18은 본 발명의 원리를 구현하는데 사용될 수 있는 시스템의 예시적인 실시예를 도시한 도면.
본 발명은 비디오 코딩 방법 및 디바이스에 관한 것이다.
본 발명의 제 1 양상에 따라, 비디오 신호는 상이한 주파수 서브-대역의 적어도 2개의 신호로 공간적으로 압축 해제된다. 개별화된 움직임 보상 시간 필터링 구성은 각 서브-대역 신호에 적용된다. 그 다음에 텍스처 코딩은 각 움직임 보상 시간 필터링 서브 대역 신호에 적용된다.
본 발명의 제 2 양상에 따라, 적어도 2개의 인코딩된 움직임 보상 시간 필터링된, 비디오 신호의 상이한 주파수 서브-대역 신호를 포함하는 신호가 디코딩된다. 역 움직임 보상 시간 필터링은 디코딩된 적어도 2개의 서브-대역 신호 각각에 독립적으로 적용된다. 적어도 2개의 서브-대역 신호는 공간적으로 재합성되고, 비디오 신호는 적어도 2개의 공간 재합성된 서브-대역 신호 중 적어도 하나로부터 재구성된다.
본 발명은, 새로운 대역내 움직임 보상 시간 필터링(IBMCTF) 방법을 이용하는 완전히 크기 조정가능한 3-차원(3-D) 오버컴플릿 웨이브릿 비디오 코딩 구성이다. 본 발명의 IBMCTF 방법은 이전의 IBMCTF 코딩 방법의 결함을 해결하고, 공간 영역 움직임 보상 시간 필터링을 이용하는 종래의 프레임간 웨이브릿 코딩 방법과 유사하거나 더 우수한 코딩 효율을 나타낸다.
도 1은 본 발명의 예시적인 실시예에 따른 3-D 오버컴플릿 웨이브릿 비디오 인코더의 블록도이며, 이것은 본 발명의 IBMCTF 방법을 수행하는데 사용될 수 있다. 비디오 인코더(100)는, 종래의 3-D 오버컴플릿 웨이브릿 필터링 방법을 이용하여 입력 비디오의 각 비디오 프레임을 다수의 서브 대역(1, 2, ... 및 N)의 임의의 원하는 수로 공간적으로 분해하는 3-D 웨이브릿 변환 유닛(110)을 포함한다.
비디오 인코더(100)는 웨이브릿 변환 유닛(110)에 의해 생성된 각 서브 대역에 대한 분할 유닛(120a, 120b, 120c)을 더 포함한다. 각 분할 유닛(120a, 120b, 120c)은 하나의 그룹으로서 인코딩하기 위해 연관된 서브 대역의 웨이브릿 계수를 프레임 그룹(GOF)으로 분리한다.
비디오 인코더(100)는, 움직임 추정기(131a, 131b, 131c) 및 시간 필터(132a, 132b, 132c)를 포함하는 각 서브-대역을 위한 움직임 보상 시간 필터링(MCTF) 유닛(130a, 130b, 130c)을 또한 포함한다. 각 MCTF(130a, 130b, 130c)는 움직임 보상 시간 필터링(MCTF) 방법을 이용하여 각 서브-대역의 GOF로부터 시간 상관 또는 시간 여분을 개별적으로 제거한다. 본 발명에 따라, 각 서브-대역에 대한 이산 MCTF 유닛의 사용은, 움직임 보상 시간 필터링 방법이 다른 서브-대역과 독립적으로 각 서브-대역에 맞추어지도록 한다. 더욱이, 특정 서브-대역에 대해 선택된 시간 필터링 방법은 상이한 기준에 기초할 수 있다.
인코더는, 각 서브-대역에 대한 MCTF 유닛(130a, 130b, 130c)에 의해 생성된 잔여 신호 및 움직임 정보(움직임 벡터)로 하여금 임의의 최적화된 텍스처 코딩 방법을 이용하여 독립적으로 텍스처 코딩되도록 하는 각 서브-대역에 대한 텍스처 인코더(140a, 140b, 140c)를 더 포함한다. 그 다음에, 텍스처 코딩된 잔여 신호 및 움직임 정보는 멀티플렉서(150)에 의해 단일 비트스트림에 조합된다. 텍스처 코딩의 다른 실시예는 전체 크기의 잔여 프레임의 범용 변환인데, 이것은 각 서브-대역에 대한 MCTF 유닛(130a, 130b, 130c)에 의해 생성된 모든 잔여 신호 및 움직임 정보가 전체 크기의 잔여 프레임을 생성하도록 조합된 후에 적용된다.
알려진 TBMCTF 방법에서의 임계-샘플링된(critical-sampled) 웨이브릿 분해가 단지 주기적으로 시프트-불변된다는 것을 당업자는 인식할 것이다. 그러므로, 웨이브릿 영역에서 움직임 추정 및 보상을 수행하는 것은 비효율적이고, 코딩의 불리함(coding penalty)을 초래할 수 있다. 이러한 문제를 다루기 위해, 각 움직임 보상 필터링 유닛(130a, 130b, 130c)은 도 2에 도시된 바와 같이 적응성 더 높은 차수의 보간 필터(200)를 이용하여, 움직임 추정기(131a, 131b, 131c)의 성능을 극대화시킨다. 본 발명의 보간 필터(200)는 저역 시프팅을 수행하는 저역 시프팅(LBS) 유닛(210)과, 오버컴플릿 웨이브릿 계수 인터리빙을 수행하는 인터리빙 유닛(220)과, 보간 유닛(230)을 포함한다. LBS 방법은 본래 웨이브릿 계수의 오버컴플릿 표현(representation)을 효과적으로 생성하는 하나 이상의 알려진 LBS 알고리즘을 이용하여 LBS 유닛(210)에서 구현되며, 상기 본래 웨이브릿 계수는 이제 시프트 불변이다. LBS는 하나 이상의 유사한 LBS 알고리즘을 이용하여 인코더 및 디코더에서 본래 웨이브릿 계수의 오버컴플릿 확장을 유리하게 생성하므로, 종래의 프레임간 웨이브릿 코딩 구성에 비해 어떠한 추가적인 정보도 인코딩되고 송신될 필요가 없다.
인터리빙 유닛(220)에 의해 수행된 인터리빙 방법은 연장된 기준 프레임을 생성하기 위해 오버컴플릿 웨이브릿 계수에 의해 제공된 상이한 위상 정보를 조합한다. 따라서, 이전의 IBMCTF 기반의 비디오 코딩 방법에서와 같이 위상 정보를 개별적으로 인코딩할 필요가 없다. 본 발명의 인터리빙 방법으로 인해, 위상 정보는 더 높은 정밀도의 움직임 벡터의 부분으로서 고유하게 코딩된다.
연장된 기준 프레임으로부터, 보간 유닛(230)은 움직임 추정을 위한 움직임 추정기(131a, 131b, 131c)에 의해 사용된, 1/2, 1/4, 1/8, 1/16 화소와 같은 부화소를 생성한다. 보간은 종래의 1차원 보간 필터로 구현될 수 있다. 움직임 추정 및 MCTF의 성능을 극대화시키기 위해, 상이한 탭(tap)을 갖는 독립적으로 최적화된 보간 필터가 각 서브 대역에 사용될 수 있다. 도 3은 본 발명에 따라 웨이브릿 계수의 오버컴플릿 확장으로부터 움직임 추정을 위한 연장된 기준 프레임의 생성을 도시한다. 예를 들어 HH 서브-대역 오버컴플릿 확장(300)에서의 움직임 추정을 위한 더 높은 차수의 보간을 달성하기 위해, 웨이브릿 계수의 3개의 다른 위상은 (1,0),(0,1) 및 (1,1)의 양으로 더 낮은 서브 대역을 시프트함으로써 본래 웨이브릿 계수(310)로부터 생성된다. 그런 후에, 웨이브릿 계수(310, 320, 330, 340)의 4개의 위상은 연장된 기준 프레임(350)을 생성하도록 인터리빙된다.
본 발명의 IBMCTF 기반의 3-D 오버컴플릿 웨이브릿 비디오 코딩 방법은 알려진 공간 영역 움직임 보상 시간 필터링(SDMCTF) 기반의 비디오 코딩 방법에 비해 개선된 공간 크기 조정성 성능을 제공한다. 이는, 시간 필터링이 서브 대역(해상도)마다 수행되고, 이에 따라 더 미세한 해상도 서브-대역으로부터의 정보 손실이 시간 방향으로의 어떠한 드리프트도 발생하지 않기 때문이다.
전술한 바와 같이, 각 서브-대역에 대한 이산 MCTF 유닛(130a, 130b, 130c)의 이용으로 인해, 상이한 시간 필터링 기술은 다양한 해상도에 사용될 수 있게 된다. 예를 들어, 일실시예에서, 양방향 시간 필터링 기술은 저 해상도 서브-대역에 사용될 수 있는 반면, 순방향 시간 필터링 기술은 더 높은 해상도 서브-대역에 사용될 수 있다. 시간 필터링 기술은 왜곡 또는 복잡성 측정을 최소화하는 것에 기초하여 선택될 수 있다(예를 들어, 저 해상도 서브-대역은 적은 픽셀을 갖고, 이에 따라 양방향 및 다중 기준 시간 필터링이 사용되는 한편, 많은 수의 픽셀을 갖는 고 해상도 서브-대역에 대해서, 단지 순방향 추정만이 수행된다). 시간 필터링 옵션에 대한 그러한 융통성 선택은, 본 발명이 MCTF에 의해 수행된 엄격한 1D+2D 분해 구성으로부터, 더 높은 공간 주파수 서브-대역이 더 긴 기간의 시간 필터링으로부터 생략되는, 시간 레벨 전체에 걸친 공간 크기의 감소를 갖는 더 일반적인 3-D 분해 구성으로 나아가게 한다.
각 서브-대역에 대한 이산 분할 유닛(120a, 120b, 120c)의 이용은 GOF가 서브-대역마다 적응적으로 결정되도록 한다. 예를 들어, LL-서브-대역은 매우 큰 GOF를 가질 수 있지만, H-서브-대역은 한정된 GOF를 사용할 수 있다. GOF 크기는 시퀀스 특성, 복잡성 또는 탄력성 요구조건에 기초하여 변할 수 있다. 전술한 바와 같이, 도 4a에 도시된 바와 같이 종래의 MCTF에 대한 분해 구성은 흐려진 이미지를 생성한다. 그러나, 상이한 시간 분해 레벨 및 GOF 크기의 이용으로 인해, 본 발명의 3-D 웨이브릿 크기 조정가능 비디오 코딩 구성은 그러한 결함을 해결할 수 있다. 도 4b에 도시된 바와 같이, LL LH(HL) 및 HH에 대한 GOF 크기는 각각 8, 4, 및 2 프레임일 수 있으며, 이것은 각각 3, 2, 1의 최대 분해 레벨을 허용한다. 이러한 방법으로, 더 높은 공간 주파수 서브-대역은 더 긴-기간의 시간 필터링으로부터 생략된다.
다양한 서브-대역에 대한 시간 분해 레벨의 수는 컨텐트에 기초하거나 특정 왜곡 메트릭(metric)을 감소시키기 위해, 또는 간단히 각 해상도에서 원하는 시간 크기 조정성에 기초하여 결정될 수 있다. 예를 들어, 30, 15 및 7.5Hz 프레임-속도가 CIF(352×288) 크기의 해상도에서 요구되고, 30 및 15 프레임-속도만이 SD(704×576) 크기의 해상도에서 요구되는 경우, LL 공간 서브-대역에 대해, 시간 분해의 3개의 레벨이 사용되는 반면, 시간 분해의 2 레벨만이 LH, HL, 및 HH 서브-대역에 적용될 수 있다.
또한 전술한 바와 같이, 각 서브-대역에 대한 이산 텍스처 코딩 유닛(140a, 140b, 140c)의 이용은 다양한 공간 서브-대역의 적응성 텍스처 코딩을 허용한다. 예를 들어, 웨이브릿 또는 DCT-기반의 텍스처 코딩 구성이 사용될 수 있다. DCT-기반의 텍스처 코딩이 사용되면, 인트라-코딩(intra-coded) 블록은, 커버하거나 커버하지 않는 상황을 효과적으로 다루기 위해 GOF 내의 어디서나 유리하게 삽입될 수 있다. 또한, MPEG-4/H.26L로부터의 "적응성 인트라-리프레시" 개념은 개선된 탄력성을 제공하도록 쉽게 사용될 수 있고, 상이한 리프레시 속도는 다양한 서브-대역이 상이한 탄력성을 얻도록 하는데 사용될 수 있다. 이것은, 더 낮은 해상도의 서브-대역이 더 높은 해상도의 서브-대역을 감추기 위해 사용될 수 있어서, 이에 따라 그 탄력성은 더 중요해지기 때문에 특히 유리하다.
본 발명의 다른 양상은 디코더의 복잡성 크기 조정성에 관한 것이다. 상이한 계산 능력 및 디스플레이를 갖는 많은 디코더가 존재한다면, 동일한 크기 조정가능 비트스트림은 SNR/공간/시간 크기 조정성을 통해 모든 이러한 디코더를 지원하는데 사용될 수 있다. 예를 들어, 본 발명의 인코더에 의해 생성된 크기 조정가능 비트스트림은 하나의 디코더에 의해 디코딩될 수 있는데, 상기 디코더는, 낮은 해상도 공간 및 시간 분해 레벨만을 디코딩할 수 있으며, 단지 작은 계산 부담만을 갖는다. 유사하게, 본 발명의 인코더에 의해 생성된 크기 조정가능 비트스트림은 전체 공간 및 시간 해상도를 달성하기 위해 전체 비트 스트림을 디코딩할 수 있는 복잡한 디코딩 능력을 갖는 디코더로 디코딩될 수 있다.
도 5는 본 발명의 예시적인 실시예에 따라 3-D 오버컴플릿 웨이브릿 비디오 디코더의 블록도이다. 이 디코더는 본 발명의 인코더에 의해 생성된 비트스트림을 디코딩하는데 사용될 수 있다. 비디오 디코더(400)는 움직임 정보로부터 인코딩된 웨이브릿 계수를 분리시키기 위해 비트스트림을 처리하는 디멀티플렉서(410)를 포함할 수 있다.
제 1 텍스처 디코더(420)는 인코딩 측상에서 수행된 텍스처 코딩 기술을 역에 따라서 웨이브릿 계수를 개별적인 서브-대역(1, 2, ..., N)으로 디코딩한다. 제 1 텍스처 디코더(420)에 의해 생성된 서브-대역의 웨이브릿 계수는 상기 서브-대역의 각 GOF에 대응한다. 움직임 벡터 디코더(430)는 인코딩 측상에서 수행된 텍스처 코딩 기술의 역에 따라서 각 서브-대역에 대한 움직임 정보를 디코딩한다. 디코딩된 움직임 벡터 및 잔여 텍스처 정보를 이용하여, 역 MCTF는 각 서브-대역에 대한 MCTF 유닛(440a, 440b, 440c)에 의해 독립적으로 적용되고, 역 웨이브릿 변환 유닛(450)은 낮은, 중간, 및 높은 레벨의 이미지를 재구성하기 위해 각 서브-대역을 공간적으로 재합성한다. 낮은-대역-시프팅 블록은 재합성된 서브-대역 이미지를 판독하여 전체 크기의 이미지를 어셈블링하고, 그 다음에 낮은 대역 시프팅 웨이블릿 분해는 역 MCTF 유닛(440a, 440b, 440c)에 연장된 기준 프레임을 제공하도록 적용된다. 디스플레이 해상도에 따라, 비디오 재구성 유닛(미도시)은 저 해상도 비디오를 생성하기 위해 서브-대역 중 하나를 이용하거나, 중간 해상도 비디오를 생성하기 위해 2개의 서브-대역을 이용하거나, 고 해상도, 전체 품질의 비디오를 생성하기 위해 모든 서브-대역을 이용할 수 있다.
본 발명의 비디오 구성에 이용된 여러 방법은 이제 아래에 더 구체적으로 설명될 것이다.
오버컴플릿 웨이브릿 영역에서의 움직임 추정 및 보상
1. 저대역 시프팅 방법(LBS)
웨이브릿 변환에서 수행된 10진(decimation) 방법은 더 이상 시프트-불변하지 않는 웨이브릿 계수를 생성한다. 따라서, 공간 영역에서의 이동(translation) 움직임은 웨이브릿 계수로부터 적절히 추정될 수 없고, 이것은 다시 코딩 효율에서 상당한 손실을 초래한다. 본 발명에 이용된 LBS 알고리즘은 웨이브릿 변환의 시프트-가변 특성을 해결하는 방법을 제공한다. 제 1 레벨에서, 본래 신호 및 시프트된 신호는 낮은-서브-대역 및 높은-서브-대역의 신호로 분해된다. 후속하여, 낮은-서브-대역 신호는 제 1 레벨에서와 동일한 방식으로 추가로 분해된다.
도 6은 2개의 레벨 분해를 위한 LBS 알고리즘을 이용하는 오버컴플릿 웨이브릿 확장을 도시한다. 1차원(1-D) 공식은 다중 레벨을 갖는 웨이브릿 분해, 및 2차원(2-D) 이미지 신호로 쉽게 확장될 수 있다. 쌍(m,n)은, 상기 서브-대역 내의 웨이브릿 계수가 각각 x-방향에서 m-픽셀을 시프트하고 y-방향에서 n-픽셀을 시프트함으로써 생성된다는 것을 나타낸다. LBS 알고리즘은 입력 서브-대역의 모든 가능한 시프트에 대한 전체 웨이브릿 계수 세트를 생성한다. 따라서, 그 표현은 공간 영역에서 임의의 시프트를 정확히 나타낸다. 추가로 설명되는 바와 같이, 특정 공간 위치에서의 동일한 분해 레벨에 대응하는 상이하게 시프트된 웨이브릿 계수는 "교차-위상(cross-phase)" 웨이브릿 계수로 언급된다.
도 7은 LBS 방법을 이용하여 얻어진 2-레벨 오버컴플릿 웨이브릿 변환의 비디오이다. n-레벨의 분해에 대해, 오버컴플릿 웨이브릿 표현이 본래 이미지보다 3n+1 더 큰 저장 공간을 요구한다는 것을 주지하자.
2. 웨이브릿 계수의 인터리빙
본 발명의 새로운 인터리빙 구성은 도 6 및 도 7에 도시된 것과 다른 오버컴플릿 웨이브릿 계수를 저장한다. 1 레벨의 분해의 1-D 경우에 대해 본 발명의 인터리빙 구성을 도시한 도 8에 도시된 바와 같이, 시프트-인터리빙에 대한 계수는, 오버컴플릿 영역에서의 새로운 좌표가 본래 공간 영역에서의 연관된 시프트에 대응하도록 수행된다.
인터리빙 구성은 각 분해 레벨에서 순환적으로 사용될 수 있고, 2-D 신호에 대해 직접적으로 확장될 수 있다. 도 9는 본 발명의 인터리빙 방법을 수행한 후에 도 7의 비디오의 제 1 프레임의 오버컴플릿 웨이브릿 계수를 도시한다. 도 9에서 알 수 있듯이, 인터리빙된 낮은 서브-대역 신호는 오버컴플릿 웨이브릿 저역 필터를 이용하는 본래 프레임의 저역 필터링 버전이다. 본 발명의 인터리빙 방법은, 본 발명의 IBMCTF 방법으로 하여금 서브-픽셀 정밀도 움직임 추정 및 보상을 제공하도록 한다. 이전에 제안된 IBMCF 구성은 최적의 서브-픽셀 정밀도 움직임 추정 및 보상을 제공할 수 없는데, 그 이유는 이웃한 웨이브릿 계수 사이의 교차-위상 종속성을 고려하지 않기 때문이다. 더욱이, 인터리빙 방법은, 본 발명의 IBMCTF 방법으로 하여금 계층적인 가변 크기 블록 매칭, 후방 움직임 보상, 및 인트라 블록으로의 적응성 삽입을 이용하도록 한다.
웨이브릿 블록의 생성
종래 기술에 잘 알려진 바와 같이, 웨이브릿 분해에서, 가장 높은 주파수 서브-대역에서의 계수를 제외하고 주어진 스케일에서의 모든 계수는 더 미세한 스케일에서 동일한 방위의 계수 세트에 관련될 수 있다. 많은 웨이브릿 코더에서, 이러한 관계는, 웨이브릿 트리라 불리는 데이터 구조로서 계수를 표현함으로써 이용된다. LBS 알고리즘에서, 가장 낮은 서브-대역에 뿌리를 둔(rooted) 각 웨이브릿 트리의 계수는 도 18에 도시된 바와 같이 웨이브릿 블록을 형성하도록 재배치된다. 웨이브릿 블록의 목적은, 웨이브릿 계수 사이의 직접적인 연관, 및 이미지에서 공간적으로 무엇을 나타내는 지를 제공하는 것이다. 모든 스케일 및 방위에서의 관련 계수는 각 블록에 포함된다.
움직임 추정 구조
공간 영역에서, 블록-기반의 움직임 추정은 일반적으로 이미지를 작은 블록으로 분리하고, 그 다음에 현재 프레임의 각 블록에 대한 평균 절대 차이(MAD: Mean Absolute Different)를 최소화시키는 기준 프레임의 블록을 찾는다. LBS 알고리즘의 움직임 추정은 현재 웨이브릿 블록과 기준 웨이브릿 블록 사이의 최소 MAD를 생성하는 움직임 벡터(dx,dy)를 찾는다. 일례로, 입력 이미지가 제 3 레벨까지 분해되고(즉, 입력 이미지가 총 10 서브-대역으로 분해될 수 있고), 변위 벡터가 (dx,dy)이면, 도 10에서의 k번째 웨이브릿 블록의 MAD는 다음과 같이 계산된다:
여기서 xi,k=x0,k/2i 및 yi,k=y0,k/2i; 및 (x0,k, y0,k)는 도 10에 도시된 바와 같이 공간 영역에서 k번째 웨이브릿 블록의 초기 위치를 나타내고, 는 x보다 크지 않은 가장 큰 정수를 나타낸다. 여기서, 예를 들어, 기준 프레임의 i번째 레벨 HL 서브-대역은 로 표시되며, 여기서 (m,n)은 공간 영역에서 x 방향 및 y 방향으로의 시프트의 수를 나타내고, (x,y)는 서브-대역 신호의 위치이다. 움직임 추정에 대한 최적화 기준은 이제 이러한 MAD를 최소화하는 최적의 (dx,dy)를 찾아내는 것이다. 본래 LBS 알고리즘에서, (dx,dy)의 비-정수 값에 대해, 상기 수학식을 이용하여 MAD를 계산할 수 없다는 것을 주지하자. 더 구체적으로, 종래의 IBMCTF 비디오 코딩 구성에서의 MAD는 동일한 위상 웨이블릿 계수에만 기초하고, 결과적인 서브-픽셀 정밀도 움직임 추정 및 보상은 최적화되지 않는다.
그러나, 본 발명의 IBMCTF 방법에서, 인터리빙 방법은, MAD 계산이 심지어 서브 픽셀 정밀도에 대해 SDMCTF 비디오 코딩 구성과 유사하게 수행되도록 한다. 더 구체적으로, 본 발명의 IBMCTF 방법을 위한 변위 벡터(dx,dy)에 대한 MAD는 다음과 같이 계산된다:
여기서, 예를 들어, LBS_HL(l) ref(x,y)는 본 발명의 인터리빙 방법을 이용하여 기준 프레임의 확장된 HL 서브-대역을 나타낸다. 심지어 (dx,dy)가 비-정수 값인 경우, SDMCTF에 사용된 동일한 보간 기술이 비-정수 변위에 대한 MAD를 생성하기 위해 각 확장된 서브-대역에 쉽게 사용될 수 있다는 것을 주지하자. 그러므로, 본 발명의 IBMCTF 비디오 코딩 구성은 기존의 IBMCTF 코딩 구성에 비해 더 효과적으로 최적의 서브-픽셀 움직임 추정을 제공한다. 또한, 웨이브릿 블록 구조를 갖는 본 발명의 IBMCTF 비디오 코딩 구성에서는 어떠한 움직임 벡터 오버헤드도 초래하지 않는데, 그 이유는 코딩될 움직임 벡터의 수가 SDMCTF의 수와 동일하기 때문이다. 움직임 추정이 잔여 코딩과 밀접하게 정렬되기 때문에, 더 복잡한 움직임 추정 기준(잔여 신호의 엔트로피와 같은)은 코딩 성능을 개선시키는데 사용될 수 있다.
시뮬레이션 결과
오버컴플릿 웨이브릿 영역에서 본 발명에 따른 움직임 추정 및 움직임 보상이 웨이브릿 영역에서 더 낮은 잔여 에너지를 산출한다는 것을 증명하기 위해, 1 레벨 시간 분해를 이용하고, IBMCTF 및 SDMCTF 모두에 대한 MAD를 계산한다. 프레임간 웨이브릿 코딩에서, MAD가 공간-영역에서 계산되지만, 실제로 최소화될 필요가 있는 것은 웨이브릿 영역에서의 잔여 에너지이다. 도 11은 시간적으로 높은 서브-대역 프레임에 대한 웨이브릿 영역에서의 MAD를 예시하는 표를 도시한다. MAD 값은 시간적으로 높은 서브-대역의 처음 50 프레임에 걸쳐 배치된다. SDMCTF 경우에 대해, 웨이브릿 영역에서 대응하는 MAD 값은 잔여 신호의 웨이브릿 변환 이후에 계산된다. IBMCTF에 대한 MAD가 SDMCTF에 대한 것보다 항상 더 작은데, 이것은 SDMCTF에 걸쳐 본 발명의 IBMCTF 비디오 코딩 구성의 가능한 코딩 이득을 나타낸다는 것을 주의하자.
도 12 내지 도 17은, 본 발명의 IBMCTF 비디오 코딩 구성, 및 정수에 대한 수 개의 테스트 시퀀스 및 1/8-화소 정밀 움직임 추정에 대한 SDMCTF의 속도 왜곡 성능을 도시한다. MCTF에 대한 대역내 구조는 도비치(Daubechies) 9/7 필터에 의해 수행된 2 레벨 공간 분해로 계산되고, 분해의 4 레벨은 시간 방향에 사용된다. 텍스처 코딩은, S.T. Hsiang 등의, Invertible Three-Dimensional Analysis/Synthesis System For Video coding With Half-Pixel Accurate Motion Compensation(VCIP 1999, SPIE Vol.3653, pp.537-546)의 문헌에 기재된 EZBC 알고리즘으로 수행된다. SDMCTF와 유사하게, 1/8 화소를 이용한 서브-픽셀 움직임 추정은 IBMCTF의 코딩 성능을 크게 개선시킨다. IBMCTF 및 SDMCTF의 전체 코딩 성능은 상당하다. 그러나, "코스트가드(coastguard)", "사일런트(Silent)" 및 "스테판(Stefan)"과 같은 몇몇 시퀀스는 0.5dB까지의 성능 이득을 나타내는 반면, "모바일" 시퀀스에 대해서는 0.3dB 성능 저하가 관찰될 수 있다. 외관상, 본 발명의 IBMCTF 알고리즘은 움직임 추정의 차단 결함이 없는데, 그 이유는 움직임 추정 및 필터링이 각 서브-대역에서 이루어지고 움직임의 경계가 웨이브릿 재합성 필터를 이용하여 필터링되기 때문이다.
도 18은 본 발명의 원리를 구현하는데 사용될 수 있는 시스템(500)의 예시적인 실시예이다. 시스템(500)은 텔레비전, 셋톱 박스, 데스크탑, 랩탑 또는 팜탑 컴퓨터, 개인용 디지털 단말기(PDA), 비디오 카세트 리코더(VCR)와 같은 비디오/이미지 저장 디바이스, 디지털 비디오 리코더(DVR), TiVO 디바이스 등 뿐 아니라 이들 및 다른 디바이스의 부분 또는 조합을 나타낼 수 있다. 시스템(500)은 하나 이상의 비디오/이미지 소스(501), 하나 이상의 입/출력 디바이스(502), 프로세서(503) 및 메모리(504)를 포함한다. 비디오/이미지 소스(들)(501)는 예를 들어, 텔레비전 수신기, VCR 또는 다른 비디오/이미지 저장 디바이스를 나타낼 수 있다. 소스(들)(501)는, 대안적으로 예를 들어 인터넷과 같은 범용 컴퓨터 통신 네트워크, 광역 네트워크, 도시권 네트워크(metropolitan area network), 근거리 네트워크, 지상파 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화 네트워크, 뿐 아니라 이들 및 다른 유형의 네트워크의 부분 또는 조합을 통해 서버 또는 서버들로부터 비디오를 수신하는 하나 이상의 네트워크 연결부를 나타낼 수 있다.
입/출력 디바이스(502), 프로세서(503) 및 메모리(504)는 통신 매체(505)를 통해 통신할 수 있다. 통신 매체(505)는 예를 들어 버스, 통신 네트워크, 회로의 하나 이상의 내부 연결부, 회로 카드 또는 다른 디바이스 뿐 아니라 이들 및 다른 통신 매체의 부분 및 조합을 나타낼 수 있다. 소스(들)(501)로부터의 입력 비디오 데이터는 디스플레이 디바이스(506)에 공급된 출력 비디오/이미지를 생성하기 위해 메모리(504)에 저장된 하나 이상의 소프트웨어 프로그램에 따라 처리되고, 프로세서(503)에 의해 수행된다.
바람직한 실시예에서, 본 발명의 코딩 및 디코딩 원리는 시스템에 의해 수행된 컴퓨터 판독가능 코드에 의해 구현될 수 있다. 코드는 메모리(504)에 저장될 수 있거나, CD-ROM 또는 플로피 디스크 등과 같은 메모리 매체로부터 판독/다운로딩될 수 있다. 다른 실시예에서, 하드웨어 회로는 본 발명을 구현하기 위한 소프트웨어 명령 대신에, 또는 이와 조합하여 사용될 수 있다. 예를 들어, 도 1, 도 2 및 도 5에 도시된 기능 요소는 또한 별개의 하드웨어 요소로서 구현될 수 있다.
본 발명이 특정 실시예에 관해 위에서 설명되었지만, 본 발명이 본 명세서에 개시된 실시예에 한정하거나 제한하는 것으로 의도되지 않음이 이해될 것이다. 예를 들어, 웨이브릿 또는 매칭-목적을 포함하지만 여기에 한정되지 않은 DCT 이외의 다른 변환이 사용될 수 있다. 이들 및 모든 다른 그러한 변형 및 변화는 첨부된 청구항의 범위 내에서 고려될 것이다.
상술한 바와 같이, 본 발명은 비디오 압축에 관한 것으로, 더 구체적으로 적응형 움직임 보상 시간 필터링을 이용하는 오버컴플릿 웨이브릿(overcomplete wavelet) 비디오 코딩 등에 이용된다.

Claims (26)

  1. 비디오 인코딩 방법으로서,
    비디오 신호를 제공하는 단계와,
    상기 비디오 신호를 상이한 주파수 서브-대역의 적어도 2개의 신호로 공간적으로 분해하는 단계(110)와,
    개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 서브-대역에 적용하는 단계와,
    움직임 보상되고 시간적으로 필터링된 서브 대역 신호 각각을 텍스처 코딩(140a, 140b, 140c)하는 단계를
    포함하는, 비디오 인코딩 방법.
  2. 제 1항에 있어서, 상기 공간적인 분해 단계(110)는 웨이브릿(wavelet) 필터링에 의해 수행되는, 비디오 인코딩 방법.
  3. 제 1항에 있어서, 상기 비디오 신호는 복수의 프레임을 한정하고, 상기 공간적인 분해 단계(110)는 각 비디오 신호 프레임을 상이한 주파수 서브 대역의 적어도 2개의 신호로 공간적으로 분해하는 단계를 포함하는, 비디오 인코딩 방법.
  4. 제 1항에 있어서, 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 적용하는 단계는, 상기 서브 대역 신호 각각을 특정 컨텐트를 갖는 시간 프레임 그룹을 나타내는 신호로 분리하는 단계를 더 포함하는, 비디오 인코딩 방법.
  5. 제 4항에 있어서, 각 서브-대역 신호에 적용된 상기 개별화 움직임 보상 시간 필터링 구성(130a, 130b, 130c)은 프레임 그룹의 콘텐트에 따라 개별화되는, 비디오 인코딩 방법.
  6. 제 1항에 있어서, 상기 움직임 보상 시간 필터링 구성을 적용하는 단계는, 각 서브 대역 신호를 상기 프레임 그룹(120a, 120b, 120c)을 나타내는 신호로 분리하는 단계를 더 포함하고, 상기 프레임 그룹 중 적어도 하나에서의 프레임의 수는 적응적으로 결정되는, 비디오 인코딩 방법.
  7. 제 1항에 있어서, 각 서브 대역 신호에 적용된 상기 개별화 움직임 보상 시간 필터링 구성(130a, 130b, 130c)은 서브 대역 신호의 공간 해상도에 따라 개별화되는, 비디오 인코딩 방법.
  8. 제 1항에 있어서, 개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 서브 대역 신호에 적용하는 상기 단계는 신호 컨텐츠에 종속적인 가변 정밀도 움직임 추정을 이용함으로써 수행되는, 비디오 인코딩 방법.
  9. 제 1항에 있어서, 각 서브 대역 신호에 적용된 상기 개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)은 서브 대역 신호의 시간 상관에 따라 개별화되는, 비디오 인코딩 방법.
  10. 제 1항에 있어서, 개별화된 움직임 보상 시간 필터링 구성(130a,130b,130c)을 각 서브 대역 신호에 적용하는 단계는 움직임 추정 성능을 극대화시키기 위해 개별화된 보간 필터(200)를 이용함으로써 수행되는, 비디오 인코딩 방법.
  11. 제 1항에 있어서, 각 서브 대역 신호에 적용된 개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)은 서브 대역 신호의 특성에 따라 개별화되는, 비디오 인코딩 방법.
  12. 제 1항에 있어서, 개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 대역폭 신호에 적용하는 상기 단계는 다방향 시간 필터 및 단방향 시간 필터로 구성된 그룹으로부터 선택된 시간 필터를 이용함으로써 수행되는, 비디오 인코딩 방법.
  13. 제 1항에 있어서, 개별화된 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 서브 대역 신호에 적용하는 상기 단계는,
    웨이브릿 계수의 3개의 추가 위상을 생성하기 위해 공간적인 분해 단계에서 생성된 웨이브릿 계수의 위상으로부터 나오는 서브 대역 신호를 적어도 3번 시프트하는 단계(210)와,
    연장된 기준 프레임을 생성하기 위해 웨이브릿 계수의 4 위상을 인터리빙하는 단계(220)와,
    연장된 기준 프레임을 이용하여 움직임을 추정하는 단계(131a, 131b, 131c)를
    포함하는, 비디오 인코딩 방법.
  14. 제 13항에 있어서, 상기 공간적인 분해 단계(110)는 복수의 분해 레벨을 제공하도록 수행되고, 각 분해 레벨은 상이한 주파수 서브 대역을 포함하고, 상기 시프팅 단계(210), 인터리빙 단계(220) 및 추정 단계(131a, 131b, 131c)를 수행함으로써, 상기 개별적인 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 적용하는 단계는 각 분해 레벨에 대해 반복적으로 적용되는, 비디오 인코딩 방법.
  15. 제 1항에 있어서, 개별적인 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 서브 대역 신호에 적용하는 상기 단계는,
    웨이브릿 계수의 3개의 추가 위상을 생성하기 위해 상기 공간적인 분해 단계에서 생성된 웨이브릿 계수의 위상으로부터 나오는 서브 대역 신호를 적어도 3번 시프팅하는 단계(210)와,
    연장된 기준 프레임을 생성하기 위해 웨이브릿 계수의 4 위상을 조합하는 단계(220)와,
    상기 연장된 프레임으로부터 부화소(fractional pel)(230)를 생성하는 단계와,
    상기 부화소에 따라 움직임을 추정하는 단계(131a, 131b, 131c)를
    포함하는, 비디오 인코딩 방법.
  16. 제 14항에 있어서, 상기 공간적인 분해 단계(110)는 복수의 분해 레벨을 제공하도록 수행되고, 각 분해 레벨은 상이한 주파수 서브 대역을 포함하고, 상기 시프팅 단계(210), 조합 단계(220), 생성 단계(230) 및 추정 단계(131a, 131b, 131c)를 수행함으로써, 상기 개별적인 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 적용하는 단계는 각 분해 레벨에 대해 반복적으로 적용되는, 비디오 인코딩 방법.
  17. 비디오 인코딩을 위한 메모리 매체로서,
    비디오 신호를 상이한 주파수 서브 대역의 적어도 2 신호로 공간적으로 분해(110)하기 위한 코드와,
    개별적인 움직임 보상 시간 필터링 구성(130a, 130b, 130c)을 각 서브 대역 신호에 적용하기 위한 코드와,
    각 움직임 보상 시간 필터링된 서브 대역 신호를 텍스처 코딩(140a, 140b, 140c)하기 위한 코드를
    포함하는, 메모리 매체.
  18. 비디오 인코딩용 디바이스로서,
    비디오 신호를 상이한 주파수 서브 대역의 적어도 2개 신호로 공간적으로 분해하기 위한 웨이브릿 변환 유닛(110)과,
    상기 적어도 2개 서브 대역 신호 각각을 위한 움직임 보상 시간 필터링 유닛(130a, 130b, 130c)으로서, 각 움직임 보상 시간 필터링 유닛은 개별적인 움직임 보상 시간 필터링 구성을 이와 연관된 서브 대역 신호에 적용하는, 움직임 보상 시간 필터링 유닛(130a, 130b, 130c)과,
    적어도 2개 서브 대역 신호 각각을 위한 텍스처 코딩 유닛(140a, 140b, 140c)으로서, 각 텍스처 코딩 유닛은 이와 연관된 움직임 보상 시간 필터링 서브 대역 신호를 텍스처 코딩하는, 텍스처 코딩 유닛(140a, 140b, 140c)을
    포함하는, 비디오 인코딩용 디바이스.
  19. 제 18항에 있어서, 서브 대역 신호 각각을 위한 분할 유닛(120a, 120b, 120c)을 더 포함하며, 각 분할 유닛은 이와 연관된 서브 대역 신호를 특정 컨텐트를 갖는 시간 프레임 그룹을 나타내는 신호로 분리(breaking)하는, 비디오 인코딩용 디바이스.
  20. 제 18항에 있어서, 각 움직임 보상 시간 필터링 유닛(130a, 130b, 130c)은,
    웨이브릿 계수의 3개의 추가 위상을 생성하기 위해, 웨이브릿 계수의 위상으로부터 나오는 이와 연관된 서브 대역 신호를 적어도 3번 시프팅하기 위한 저역 시프팅 유닛(210)과,
    연장된 기준 프레임을 생성하기 위해 웨이브릿 계수의 4개 위상을 인터리빙하기 위한 인터리빙 유닛(220)을
    포함하는, 비디오 인코딩용 디바이스.
  21. 제 20항에 있어서, 각 움직임 보상 시간 필터링 유닛(130a, 130b, 130c)은 연장된 프레임으로부터 부화소를 생성하기 위한 보간 유닛(230)을 더 포함하는, 비디오 인코딩용 디바이스.
  22. 제 21항에 있어서, 각 움직임 보상 시간 필터링 유닛(130a, 130b, 130c)은 상기 부화소에 따라 움직임을 추정하기 위한 움직임 추정 유닛(131a, 131b, 131c)을 더 포함하는, 비디오 인코딩용 디바이스.
  23. 비디오 디코딩 방법으로서,
    비디오 신호의 적어도 2개의 인코딩된 움직임 보상 시간적으로 필터링된 상이한 주파수 서브 대역 신호를 포함하는 신호를 디코딩하는 단계(420)와,
    역 움직임 보상 시간 필터링(440a, 440b, 440c)을 상기 디코딩된 적어도 2개의 서브 대역 신호 각각에 독립적으로 적용하는 단계와,
    상기 적어도 2개의 서브 대역 신호를 공간적으로 재합성(recomposing)하는 단계(450)와,
    적어도 2개의 공간적으로 재합성된 서브 대역 신호 중 적어도 하나로부터 비디오 신호를 재구성하는 단계를
    포함하는, 비디오 디코딩 방법.
  24. 제23항에 있어서, 상기 비디오 신호는 상기 모든 적어도 2개의 공간적으로 재합성된 서브 대역 신호 모두로부터 재구성되는, 비디오 디코딩 방법.
  25. 비디오 디코딩용 메모리 매체로서,
    비디오 신호의 적어도 2개의 인코딩된 움직임 보상 시간적으로 필터링된 상이한 주파수 서브 대역 신호를 포함하는 신호를 디코딩(420)하기 위한 코드와,
    역 움직임 보상 시간적 필터링(440a, 440b, 440c)을 상기 디코딩된 적어도 2개의 서브 대역 신호 각각에 독립적으로 적용하기 위한 코드와,
    상기 적어도 2개의 서브 대역 신호를 공간적으로 재합성(450)하기 위한 코드와,
    상기 적어도 2개의 공간적으로 재합성된 서브 대역 신호 중 적어도 하나로부터 상기 비디오 신호를 재구성하기 위한 코드를
    포함하는, 메모리 매체.
  26. 비디오 디코딩용 디바이스로서,
    비디오 신호의 적어도 2개의 인코딩된 움직임 보상 시간 필터링된 상이한 주파수 서브 대역 신호를 포함하는 신호를 디코딩하기 위한 텍스처 디코딩 유닛(420)과,
    적어도 2개의 서브 대역 신호 각각에 대한 역 움직임 보상 시간 필터링 유닛(440a, 440b, 440c)으로서, 각 역 움직임 보상 시간 필터링 유닛은 역 움직임 보상 시간 필터링을 이와 연관되고 디코딩된 적어도 2개의 서브 대역 신호에 독립적으로 적용하는, 역 움직임 보상 시간 필터링 유닛(440a, 440b, 440c)과,
    상기 적어도 2개의 서브 대역 신호를 공간적으로 재합성하기 위한 역 웨이브릿 변환 유닛(450)과,
    상기 적어도 2개의 공간적으로 재합성된 서브 대역 신호 중 적어도 하나로부터 상기 비디오 신호를 재구성하기 위한 비디오 재구성 유닛을
    포함하는, 비디오 디코딩용 디바이스.
KR1020057006325A 2002-10-16 2003-10-08 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩 KR20050052532A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US41896102P 2002-10-16 2002-10-16
US60/418,961 2002-10-16
US48379603P 2003-06-30 2003-06-30
US60/483,796 2003-06-30

Publications (1)

Publication Number Publication Date
KR20050052532A true KR20050052532A (ko) 2005-06-02

Family

ID=32110202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057006325A KR20050052532A (ko) 2002-10-16 2003-10-08 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩

Country Status (6)

Country Link
US (1) US20060008000A1 (ko)
EP (1) EP1554887A1 (ko)
JP (1) JP2006503518A (ko)
KR (1) KR20050052532A (ko)
AU (1) AU2003264804A1 (ko)
WO (1) WO2004036919A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711857B1 (ko) * 2005-03-08 2007-04-30 노바텍 마이크로일렉트로닉스 코포레이션 영상 신호의 잡음 감소 장치 및 방법
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
US8755440B2 (en) 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060024449A (ko) * 2003-06-30 2006-03-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이브릿 도메인에서 비디오 코딩
US20060153466A1 (en) * 2003-06-30 2006-07-13 Ye Jong C System and method for video processing using overcomplete wavelet coding and circular prediction mapping
CN1856990A (zh) * 2003-09-23 2006-11-01 皇家飞利浦电子股份有限公司 使用频带内运动补偿时间滤波的视频去噪声算法
KR100643269B1 (ko) * 2004-01-13 2006-11-10 삼성전자주식회사 Ｒｏｉ를 지원하는 영상 코딩 방법 및 장치
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding
EP1766999B1 (fr) * 2004-07-13 2019-11-20 Orange Procede et dispositif de codage d'une sequence d'images video
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US20070009050A1 (en) * 2005-04-11 2007-01-11 Nokia Corporation Method and apparatus for update step in video coding based on motion compensated temporal filtering
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US20070053441A1 (en) * 2005-06-29 2007-03-08 Xianglin Wang Method and apparatus for update step in video coding using motion compensated temporal filtering
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8244071B2 (en) 2006-11-27 2012-08-14 Microsoft Corporation Non-dyadic spatial scalable wavelet transform
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
WO2008081813A1 (ja) 2006-12-28 2008-07-10 Nippon Telegraph And Telephone Corporation 映像処理方法および装置、映像処理プログラム並びにプログラムを記録した記憶媒体
JP5345138B2 (ja) * 2007-06-08 2013-11-20 トムソン ライセンシング 多格子スパース性ベースのフィルタリングのための方法及び装置
EP2099176A1 (en) * 2007-12-18 2009-09-09 Nokia Corporation Method and device for adapting a buffer of a terminal and communication system comprising such device
US8619861B2 (en) * 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2319248A1 (en) * 2008-08-26 2011-05-11 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, encoder for encoding a 3-d video signal, encoded 3d video signal, method and system for decoding a 3d video signal, decoder for decoding a 3d video signal
FR2954035B1 (fr) * 2009-12-11 2012-01-20 Thales Sa Procede d'estimation de la qualite video a une resolution quelconque
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5560003A (en) * 1992-12-21 1996-09-24 Iowa State University Research Foundation, Inc. System and hardware module for incremental real time garbage collection and memory management
US6065020A (en) * 1998-05-27 2000-05-16 Microsoft Corporation Dynamic adjustment of garbage collection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711857B1 (ko) * 2005-03-08 2007-04-30 노바텍 마이크로일렉트로닉스 코포레이션 영상 신호의 잡음 감소 장치 및 방법
US8755440B2 (en) 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP1554887A1 (en) 2005-07-20
US20060008000A1 (en) 2006-01-12
JP2006503518A (ja) 2006-01-26
WO2004036919A1 (en) 2004-04-29
AU2003264804A1 (en) 2004-05-04

Similar Documents

Publication Publication Date Title
KR20050052532A (ko) 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩
JP4989048B2 (ja) ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
JP4896458B2 (ja) ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
JP4587321B2 (ja) インタレースデジタルビデオデータのスケーラブル符号化および復号化
US7027512B2 (en) Spatio-temporal hybrid scalable video coding apparatus using subband decomposition and method
US20060088096A1 (en) Video coding method and apparatus
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
JP2004502358A (ja) ビデオ系列の圧縮のための符号化方法
US20060146937A1 (en) Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
KR20040106417A (ko) 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩
US20060159173A1 (en) Video coding in an overcomplete wavelet domain
Ye et al. Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering
KR20050049517A (ko) 웨이블릿 기반의 부호화에서 운동 보상된 시간적 필터링을위한 필터링된 영역과 비필터링된 영역 모두를 갖는엘－프레임
Atta et al. Spatio-temporal scalability-based motion-compensated 3-d subband/dct video coding
CN1706197A (zh) 使用自适应运动补偿时间滤波的完全可分级3－d过完整小波视频编码
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
WO2006080665A1 (en) Video coding method and apparatus

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid