KR100308627B1 - 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더 - Google Patents

중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더 Download PDF

Info

Publication number
KR100308627B1
KR100308627B1 KR1019980703032A KR19980703032A KR100308627B1 KR 100308627 B1 KR100308627 B1 KR 100308627B1 KR 1019980703032 A KR1019980703032 A KR 1019980703032A KR 19980703032 A KR19980703032 A KR 19980703032A KR 100308627 B1 KR100308627 B1 KR 100308627B1
Authority
KR
South Korea
Prior art keywords
frame
wavelet
coefficients
wavelet transform
overlapping
Prior art date
Application number
KR1019980703032A
Other languages
English (en)
Other versions
KR19990067092A (ko
Inventor
스티븐 앤쏘니 마투씨
아이래 소다가르
야-킨 장
Original Assignee
마찌다 가쯔히꼬
샤프 가부시키가이샤
윌리암 제이. 뷰케
사노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마찌다 가쯔히꼬, 샤프 가부시키가이샤, 윌리암 제이. 뷰케, 사노프 코포레이션 filed Critical 마찌다 가쯔히꼬
Publication of KR19990067092A publication Critical patent/KR19990067092A/ko
Application granted granted Critical
Publication of KR100308627B1 publication Critical patent/KR100308627B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

본 발명은 제로트리 웨이브릿 코딩과 함께 중첩 이동 보상을 사용하여 비디오 프레임 시퀀스(입력 화상)를 엔코딩하기 위한 장치 및 방법을 제공한다. 본 발명의 방법에서는 각 입력 화상을 복수의 중첩 블럭으로 분할시킨 후 분할된 입력 화상에 대해 웨이브릿 변환을 행한다

Description

중첩 블럭 이동 보상 및 제로트리 웨이브릿 코딩을 이용한 저 비트 레이트 비디오 엔코더{LOW BIT RATE ENCODER USING OVERLAPPING BLOCK MOTION COMPENSATION AND ZEROTREE WAVELET CODING}
Moving Pictures Experts Group(MPEG)에 의해 반포된 표준(standards)과 같이 표준화된 블럭-기반(block-based) 비디오 신호 엔코딩 기술에서는 블럭 이동 추정 보상을 이용하여 비디오 신호 내의 연속하는 화상 프레임에서 프레임간(inter-frame) 리던던시(redundancy)를 제거한다. 상기 표준에서는 연속하는 프레임으로부터의 비중첩하는 구형의 화상 픽셀 블럭을 사용하여 프레임간 이동을 나타내는 한 셋트의 이동 벡터를 발생하는 것에 대해 상술되어 있다. 이러한 표준을 구현하는 시스템에서는 이동 벡터와, 이동 벡터 보상으로 표현되지 않는 연속하는 프레임간의 임의 잔류 차에 대한 코딩을 필요로 한다.
블럭 기준 이동 보상 시스템에서의 모든 오퍼레이션은 블럭 단위로 달성된다. 이들 오퍼레이션은 각 블럭에 대해 독립적으로 행해지므로, 인접한 이동 벡터들이 항상 동일한 것은 아니다. 따라서, 이러한 시스템은 잔차(residuals)에서 (블럭킹 형태의) 불연속성이 발생된다. 이러한 불연속성은 코딩하기가 곤란하고 상당수의 코딩 비트를 사용할 수 있다.
블럭킹 현상(blocking effect)을 해결하기 위해 사용되는 표준 블럭 이동 보상 시스템에 대한 한 개선 방안으로서는 서로에 대해 약간 중첩하는 즉, 임의 두 인접한 블럭이 하나 또는 두개의 픽셀만큼 중첩되는 구형의 픽셀 블럭을 포함하는 방안이 있다. 이러한 블럭 중첩은 잔차에서의 불연속성을 감소시켜 블럭킹 현상을 개선시킨다.
최근에는 스틸(사진) 화상의 코딩시에 사용되는 코딩 기술이 개발되어 있다. 이 기술은 프레임내(intra frame) 정보 리던던시를 제거하여 화상의 단일 프레임을 효과적으로 코딩하는 데 유용하다. 이 기술에 대해서는 본원에서 참고 문헌으로서 인용한 1995년 5월 2일자로 허여된 미국 특허 제 5,412,741호에서 개시되어 있으며, 이 미국 특허에서는 임베드된(embeded) 제로트리 웨이브릿(EWZ)을 도출함에 있어서 이산 웨이브릿 변환(DWT)을 이용하여 계층적인 화상 표시를 형성하는 것에 대해 기재되어 있다. 이 계층적인 표시는 엔트로피 코딩을 사용하여 효율적으로 코딩된다.
이제까지는 프레임간 및 프레임내 리던던시 모두를 압축하여 화상의 시퀀스를 효율적으로 코딩할 수 있을 정도로 제로트리 웨이브릿 코딩 기술과 중첩 블럭 이동 보상 기술은 결합되지 않았다.
그러므로, 본 기술 분야에서는 중첩 블럭 이동 보상과 제로트리 웨이브릿 코딩 모두를 사용하는 저 비트 레이트의 비디오 엔코더가 필요로 된다.
〈발명의 요약〉
본 발명은 제로트리 웨이브릿 코딩과 함께 중첩 블럭 이동 보상을 사용하여 비디오 프레임 시퀀스(입력 화상)를 엔코딩하기 위한 장치 및 그 방법이다. 본 발명의 방법은 각각의 입력 화상을 복수의 중첩 블럭으로 분할(partition)하여 분할된 입력 화상에 대해 웨이브릿 변환(wavelet transform)을 행한다.
이 출원은 1995년 10월 25일자로 출원된 미국 가출원 명세서 제 60/007,013호의 이익을 청구한다.
본 발명은 비디오 신호 엔코딩 시스템에 관한 것으로, 보다 상세하게는 중첩하는 블럭 이동 추정 보상(block motion estimation compensation) 및 제로트리 웨이브릿 코딩(zerotree wavelet coding)을 이용하여 비디오 신호를 엔코딩하기 위한 장치 및 그 방법에 관한 것이다.
본 발명의 교시는 첨부된 도면과 함께 이하에서 상세히 기술된 설명을 참조함으로써 쉽사리 이해할 수 있을 것이다.
도 1은 본 발명의 엔코더에 대한 블럭도.
도 2는 BMC 기술에서의 이동 벡터의 활용을 도시하는 도면.
도 3은 OBMC 기술에서의 이동 벡터의 활용을 도시하는 도면.
도 4는 본 발명에서 사용된 중첩 블럭 이동 보상기에 대한 상세화된 블럭도.
도 5는 4변형의 OBMC 블럭을 도시하는 도면.
도 6은 다각형 블럭으로 분할되어진 입력 화상을 도시하는 도면.
도 7은 도 6의 다각형 블럭을 사용하는 OBMC 기술에서의 이동 벡터의 활용을 도시하는 도면.
도 8은 본 발명의 DWT를 구현하기 위한 4단 트리 구조를 도시하는 도면.
도 9는 본 발명의 역 DWT를 구현하기 위한 4단 트리 구조를 도시하는 도면.
도 10은 도 8에서 도시된 DWT의 한 필터에 대한 블럭도.
도 11은 도 9에서 도시된 역 DWT의 한 필터에 대한 블럭도.
도 12는 제로(zero) 주변에서 데드 존(dead zone)을 갖는 중간-입상 균일한 양자화기(mid-riser quantizier)를 도시하는 도면.
도 13은 전(full) 웨이브릿 패킷 변환 시의 시간-주파수 타일링(tiling)을 도시하는 도면.
도 14는 웨이브릿 변환 시의 시간-주파수 타일링을 도시하는 도면.
도 15는 웨이브릿 패킷 변환 시의 시간-주파수 타일링을 도시하는 도면.
도 16은 적응 웨이브릿 패킷 변환 시의 시간-주파수 타일링을 도시하는 도면.
본 발명의 이해를 돕기 위해, 도면에서 동일 부분에 대한 부호는 동일한 번호를 사용하였다.
도 1은 본 발명의 교시를 포함하는 엔코더(100)를 도시한다. 이 엔코더는 중첩 블럭 이동 보상기(OBMC, 104), 감산기(102), 웨이브릿 발생기/코더(106), 비트 레이트 제어기(110), 역 웨이브릿 발생기(112), 합산기(114), 프레임 버퍼(116), 출력 버퍼(118) 및 엔트로피 코더(120)를 포함한다.
일반적으로, 입력은 비디오 화상(비디오 시퀀스에서 프레임을 규정하는 픽셀의 2차원 어레이)이다. 저 비트 레이트 채널을 통해 화상을 정확하게 전송하기 위해서는 비디오 프레임 시퀀스에서 공간 및 시간 리던던시를 실제로 감소시켜야 한다. 이것은 일반적으로 연속하는 프레임 간의 차만을 코딩하여 전송함으로써 달성된다. 엔코더는 3가지 기능을 갖는 데: 첫째, 프레임 간에서 발생하는 이동을 나타내는 복수의 이동 벡터를 생성하고, 둘째, 이전의 프레임 및 이동 벡터에 대해 재구성된 변형을 사용하여 현재 프레임을 예측하고(predict), 셋째, 예측된 프레임을 현재의 프레임에서 감산하여 이동 벡터와 함께 코딩되어 수신기로 전송되는 잔차 프레임을 생성한다. 수신기 내에서, 디코더는 코딩된 잔차 및 이동 벡터를 사용하여 각 비디오 프레임을 재구성한다.
상세히 기술하자면, 현재의 입력 화상은 비트 레이트 제어기(110), 감산기(102) 및 OBMC(104)에 전송된다. OBMC는 화상을 복수의 중첩 매크로블럭으로, 바람직하기로는, 후술하는 바와 같이 다각형의 픽셀 블럭으로 분할시킨다. 현재 화상에서의 매크로블럭은 이전에 전송되어진 입력 화상과 비교된다. 전형적으로, 이전에 전송되어진 입력 화상은 비디오 시퀀스에서 이전의 프레임이지만, 비디오 시퀀스의 일부 다른 부분으로부터의 프레임일 수 있다. OBMC는 이전 프레임과 현재 프레임 간에서 발생된 이동을 나타내는 이동 벡터를 생성한다. 이동 벡터는 후프만(Huffman) 코더 등의 엔트로피 코더(120)에 의해 코딩되어 버퍼(118)로 전송되어 최종적으로는 수신기로 전송되어진다. 다음에 이들 이동 벡터가 이전에 처리된 화상에 대해 적용되어 예측 화상이 생성된다. OBMC가 비록 단일 모듈로서 도시되었지만, 당업자라면 OBMC에 의해 행해지는 기능들은 독립된 모듈, 예를 들어, 이동 추정 모듈 및 이동 보상 모듈을 사용하여 구현될 수 있다는 것을 인식할 수 있을 것이다.
보다 상세히 기술하자면, 비디오 시퀀스의 시간 리던던시를 감소시키기 위해 이동 보상 알고리즘을 사용한다. 종래의 이동 보상 방식(scheme)에서는, 입력 신호는 비중첩된 블럭으로 분할된다. 합 절대차(sum absolute difference) 등의 블럭 매칭 기준을 사용하여, 이전 프레임으로부터의 한 블럭을 현재 프레임의 각 블럭에 대한 최적의 예측으로서 선택한다. 또한 예측 오퍼레이션을 나타내기 위한 이동 벡터도 구해진다. 도 2에서는 종래의 블럭 매칭 이동 보상(BMC;Block Matching motion Compensation)을 도시한다. 도 2에서, 프레임 n의 블럭(i, j)에 대한 최적 매칭은 프레임 n-1의 블럭(p, q)인 것으로 발견된다.
이들 블럭 간의 거리는 벡터 v(k, l)로 도시된다. 그러므로, 주어진 이전의 프레임에 의해, 입력 신호의 현재 프레임을 이동 벡터계 및 이동 보상된 잔차(MCR; Motion Compensated Residual) 프레임으로 표시할 수 있다. MCR 프레임은 현재 프레임과 예측 프레임의 차를 구함으로써 얻어진다. 즉
압축 효율을 위해, 현재 입력 프레임 전체 대신에 이동 벡터계 및 MCR 프레임을 압축시킬 수 있다. 블럭 매칭 이동 보상에서의 모든 오퍼레이션은 블럭 단위로 달성된다. 이들 오퍼레이션은 각 블럭에 독립적으로 적용되므로, 인접한 이동 벡터가 항상 동일한 것은 아니다. 따라서, BMC 타입의 시스템은 MCR 프레임에서 (블럭킹 엣지의 형태의)불연속성을 발생시킨다. 이러한 불연속성은 코딩하기가 곤란하고 상당한 수의 코딩 비트를 사용할 수 있다.
종래의 블럭-기반 코딩 방식에서는, DCT 등의 블럭-기반 변환을 MCR 프레임에 대해 행한다. 일반적으로, 이동 보상시에 사용된 동일한 블럭 분할 크기 및 형상이 변환 계산시에도 사용된다. 그러므로, MCR 프레임의 불연속성은 코딩 효율을 감소시키지 않는다. 그러나, 이들 블럭킹 엣지는 디코딩된 시퀀스에서 블럭킹 현상을 증가시킨다. MCR 프레임에 대해 DCT 대신에 웨이브릿 변환 등의 전역(global) 변환을 행하면, BMC에 의해 발생된 블럭킹 엣지가 변환된다. 변환된 구역(domain)에서, 이들 엣지는 고주파수에서 큰 진폭 계수로 표시되므로, 코딩 효율이 감소된다. 변환된 불연속성은 또한 디코딩된 시퀀스에서 블럭킹 현상을 발생시킨다. 그러므로, 웨이브릿 변환을 사용할 때 코딩의 품질을 개선시키기 위해서는 블럭킹 엣지를 효율적으로 감소시킬 필요가 있다.
불연속성을 감소시키기 위한 우수한 한 가지 해결 방안은 이동 보상 처리 시에 블럭을 중첩시키는 것인 데, 즉 중첩된 블럭 이동 보상(OBMC)법(approcch)이다. 도 3은 이동 벡터에 의해 변환된 이동 보상된 블럭을 도시하고, 여기서, 블럭들은 서로 중첩된다. 상세히 기술하자면, 보상된 각 블럭은 인접한 8개 블럭과 중첩한다. 또한 중첩된 영역의 이동 보상을 위한 윈도우 함수(window function)가 사용된다. 도 3에서, 프레임 n의 블럭 B(i, j)은 아래의 수학식 3으로 구해지고,
여기서, W(k, l)는 윈도우 함수를 나타내는 매트릭스이고, ×는 요소 곱-합 연산을 나타낸다. 도 4는 복수의 예측기(400)와 복수의 윈도우(402)를 포함하는 OBMC(104)의 상세화된 블럭도이다. 각 예측기(400)는 윈도우(402)와 직렬로 접속되고 모든 예측기/윈도우 결합은 합산기(114)에 병렬로 접속된다. 윈도우(402) 각각의 출력은 합산기(404)에 접속된다. 동작 중, 예측기(400)에 의해 생성된 이전에 재구성된 프레임으로부터의 복수의 블럭이 윈도우되고 함께 가산되어 이동 보상된 프레임에 대한 블럭이 얻어진다. 인접한 두 이동 벡터들이 동일하지 않더라도, 해당하는 이동 보상된 블럭 간의 불연속성은 인접한 블럭 간의 중첩으로 인해 제거된다. 이동 보상된 블럭들을 중첩시킴으로써 일부 블럭에 임의 불필요한 왜곡이 도입될 수 있더라도, 웨이브릿 변환을 사용할 때 프레임간 코딩의 효율이 상당히 개선되는 것으로 나타나 있다. 최적의 윈도우 형상은 입력 신호의 공간적 상관 함수이다. 또한 사다리꼴 또는 증가형-코사인 형상 윈도우(raised-cosine shape window))는 호출자의 머리와 어깨를 묘사하는 시퀀스 등의 비디오-폰 응용시에 통상적으로 나타나는 시퀀스에 대한 근접한 최적인(near-optimal) 것으로 나타났다.
본 발명에서는 도 5에서 도시된 바와 같은 4변형 중첩을 이용하는 중첩 블럭 이동 보상법을 사용한다. 이러한 방법에서, 각 블럭은 4개의 쿼터(quarter)로 분할되고, 이들 각각은 인접한 블럭의 다른 3개의 쿼터와 중첩한다. 또한 블럭을 중첩시키기 위해 사이즈가 16×16이고 i가 0, 1,...15인 윈도우의 경우 아래식의 증가형 코사인 윈도우 함수가 선택된다.
웨이브릿 코더의 품질 성능은 BMC보다 OBMC를 사용할 때 상당히 개선되는 것이 관찰되었다. 일례로서, 25Kbits/sec의 레이트로 "모-녀(mother-daughter)" 시퀀스의 200개 프레임에 대한 코딩 시에, 평균 신호 대 잡음비(SNR)는 BMC 대신 OBMC를 사용함으로써 0.5dB만큼 개선되었다.
BMC에서, 각 블럭은 다른 블럭과는 독립적으로 예측된다는 것에 주목해야 한다. OBMC 방식에서 각 블럭의 예측 품질은 인접한 이동 벡터에 의해 영향을 받는다. 종래 기술에서의 대부분의 중첩 방식에서는, 이들 벡터는 여전히 독립적으로 추정된다. OBMC 방식을 개선하기 위한 다른 한 단계는 인접한 블럭의 예측에서 각 이동 벡터의 영향을 고려하는 것이다. 한 방법은 이동 벡터의 추정에 반복 알고리즘(iterative algorithm)을 사용하는 것이다. 반복법은 이동 추정을 2 또는 3회 반복함으로써 예측 에러를 15%까지 감소시킬 수 있는 것으로 나타났다.
바람직하기로는, OBMC에 의해 규정된 블럭은 다각형 예를 들어 육각형이다.육각형은 사각형 블럭보다 인간의 시각 특성을 보다 세밀하게 나타낸다. 이와 같이, 육각형 블럭을 사용함으로써 시각 블럭킹 현상을 감소시킬 수 있다. 또한, 육각형 블럭은 인간의 시각 특성에 대한 표현을 보다 양호하게 형성한다. 도 6은 복수의 비중첩 육각형 블럭(602)으로 분할된 예시적인 입력 프레임(600)을 도시한다.
도 7은 프레임 i 내의 블럭(702)을 프레임 i-1 내의 블럭(702)에 관련시키는 예시적인 이동 벡터(700)를 도시하고 프레임 i 내의 블럭(706)을 프레임 i-1 내의 블럭(706)에 관련시키는 예시적인 이동 벡터(704)를 도시한다. 각 이동 벡터에 의해 블럭들이 서로 확실하게 된다.
일단 이동 벡터가 이용가능하면, 이들 벡터를 사용하여 (도 1의 경로(134)상에서)예측된 프레임을 생성한다. 예측된 프레임을 차례로 사용하여 MCR 프레임을 생성한다. 감산기(102)는 현재 입력 프레임으로부터 예측 프레임을 한 픽셀씩 감산한다. 그 결과가 이동 보상된 잔차의 프레임(MCR 프레임)이다.
웨이브릿 발생기/코더(106)는 종래의 이산 웨이브릿 변환 알고리즘과 제로트리 코딩 및 양자화 기술을 사용하여 잔차를 처리한다. 이 웨이브릿 발생기/코더는 이산 웨이브릿 변환(DWT) 블럭(122), 양자화기(Q)(124), 제로트리 코더(126) 및 엔트로피 코더(128)를 포함한다. 웨이브릿 발생기/코더에 대한 상세한 설명은 본원에서 참조 문헌으로서 인용한 1995년 5월 2일자로 출원된 미국 특허 제5,412,741호에서 개시되어 있다. 다른 제로트리 엔코더에 대해서는 본원에서 참조 문헌으로서 인용하였으며 1995년 10월 25일자로 출원된 가출원 명세서 제 60/007,012호, Attorney Docket Number 11908( 년 월 일자로 출원된 미국 특허원 제 호로 전환, Attorney Docket Number 11908)에 개시되어 있다.
역 웨이브릿 발생기(112)는 또한 역 양자화기(Q-1, 130) 및 역 DWT(DWT-1) 블럭(132)을 포함한다. 이와 같이, 역 웨이브릿 발생기는 웨이브릿 발생기/코더로의 입력을 형성하는 MCR 프레임을 재구성하려고 시도한다. 이와 같이 재구성된 잔차의 프레임은, 합산기(114)에서, 예측된 화상과 결합되어 현재 입력 화상에 대한 추정을 제공한다. 이 화상은 프레임 버퍼(116)에 기억되어 다음 입력 프레임에 대해 새로이 예측된 프레임을 생성할 때 OBMC에 의해 이전 화상으로서 사용될 수 있다.
도 8 내지 도 11은 이산 웨이브릿 변환(DWT)의 다단 필터 구조를 도시한다. DWT(122)는 통상 다수의 필터(800, 802, 804, 및 806)를 포함하는 옥타브-대역 트리 구조(octave-band tree structure)를 사용하여 구현된다. 트리 구조의 각 단(필터 단)은 2-대역 분해(decomposition)이고 이 2-대역 시스템의 저 주파수 대역만이 더 분해된다. 예를 들어, 도 10은 도 8의 DWT의 한 단(800)(1차원으로)의 상세화된 블럭도이다. 단(800)은 저 대역 필터(1002) 및 고 대역 필터(1004)를 포함한다. 각 필터에는 필터된 화상을 서브샘플시키는 다운샘플러(1006 및 1008)가 후속된다.
도 9 및 도 11은 대응하는 2-대역 합성부(900, 902, 904 및 906)를 사용하여 동일한 구조로 구현된다. 각 단은 저 대역 필터(1002) 및 고 대역 필터(1004)가 후속되는 두 업샘플러(1106 및 1108)를 포함한다. 필터로부터의 출력 신호는 합산기(1116)에서 가산된다. 기본적인 2-대역 시스템이 완전한 재구성을 제공하면,DWT는 역으로 될 수 있다. 바람직한 DWT는 필요한 특성을 갖는 2-대역 필터 뱅크를 설계함으로써 얻어질 수 있다.
1차원의 경우와 동일하게, 다차원의 이산 웨이브릿 변환은 통상적으로 필터 뱅크의 계층적인 트리 구조의 형태로 구현된다. 트리 구조의 각 단은 다차원의 필터 뱅크이다. 다차원에 대한 필터 뱅크의 일반화(generalization)는 분리될 수 있는 경우 간단하다. 분리될 수 있는 필터 뱅크는 분리될 수 있는 필터와 분리될 수 있는 다운-업샘플링 기능을 사용하는 것들이다. 분리될 수 있는 필터 뱅크의 구현은 분해가 각 차원에서 독립적으로 행해진다는 사실로 인해 매우 효율적이다. 비록 분리될 수 있는 필터 뱅크가 주어진 화상에 대한 변환의 코딩 이득을 극대화시킬 필요는 없지만, 웨이브릿 구조에서의 그들의 퍼포먼스는 자연 화상에 대해 매우 근접한 최적이다. 그러므로, 본 발명의 바람직한 실시예는 2차원 웨이브릿 변환의 구현 시에 분리될 수 있는 필터 뱅크를 사용한다. 서브대역 분해를 화상 내의 픽셀의 행(row)에 적용시킨 후 열(column)에 적용시킨다. 그러므로, 간단한 반복 루틴을 사용하여, 입력 화상을 각 반복 시마다 4개의 서브화상으로 분해시킬 수 있다. 본 발명의 바람직한 실시예에서는 분리될 수 있는 필터를 사용하지만, 다른 실시예에서는 비분리 가능한 필터 또는 분리가능한 필터와 비분리 가능한 필터의 결합을 사용한다.
DWT에서 필터의 선택은 중요한 한 파라미터이다. 화상 압축을 용이하게 하기 위해서는, 선형 필터의 필요성은 기지의 사실인데, 이것은 선형 페이즈없이는 엣지 주변에서의 페이즈 왜곡이 매우 심하게 가시화될 수 있기 때문이다. 그러므로, 본 발명은 선형 페이즈 필터만을 사용한다. 필터 뱅크에 있어서, 다른 문제는 직교성(orthogonality)이다. 압축 시스템에서 서브대역 신호의 비상관성이 바람직한 특성이므로, 본 발명은 직교 또는 근사(near)-직교 필터 뱅크를 사용한다. 필터 뱅크의 다른 중요한 특징으로서는 완전한 재구성 특성이 있다. 따라서, 본 발명은 근사한 완전 재구성 필터 뱅크를 사용하는 데, 이것은 저 비트 레이트에서는 재구성 에러는 양자화 에러에 비해 무시할 수 있기 때문이다. 필터의 사이즈에 대해서 기술하면, 장(long) 필터는 통상적으로 코딩 노이즈를 스프레딩하는 경향이 있다. 그러므로, 저 비트 레이트 코딩 시스템에서 장 필터를 사용하면 급격한 엣지 주변에서 링잉 현상이 발생하게 된다. 따라서, 본 발명을 매우 낮은 비트 레이트를 사용하는 응용에 사용할 경우, 본 발명은 일반적으로 단(short) 필터를 사용하지만, 매우 양호한 정지 대역 제파(stop band rejection)를 갖지 않을 수 있다. 그러므로, 본 발명에서 사용된 필터는 12-탭(tap) 또는 그 이하의 길이를 갖는다.
상이한 웨이브릿 서브대역에 대해 상이한 종류의 필터를 사용하는 실용성을 증명하기 위해, 본 발명은 상이한 두 셋트의 웨이브릿, 즉 두개의 QMF9 필터와 두개의 Harr 필터(도 8 내지 도 11 참조)로 모-녀 시퀀스를 코딩하도록 사용하였다. Harr 웨이브릿은 QMF9 웨이브릿에 비해 시간 해상도가 우수하기 때문에 MCR 프레임에 대해 양호하게 수행할 수 있는 것으로 예기되었다. 디코딩된 프레임간의 전체 품질은 Harr 웨이브릿을 사용할 때보다 실제로 양호한 것으로 판명되었다. 루미넌스 SNR은 모-녀 시퀀스의 경우 약 0.7dB 개선되었다. Harr 필터의 사용으로 엣지 주변에서의 링잉 아티팩트(artifacts)를 감소시킬 수 있으므로 디코딩된 시퀀스의주관적인 품질은 상당히 개선되지만, 이러한 변환은 QMF9보다는 농담은 고르지 않다(blocky).
본 발명에서는, 이동 보상된 잔차(MCR) 프레임에 대해 웨이브릿 변환을 행한다. 다음에, 각 MCR 프레임의 웨이브릿 트리 표시 내의 계수에 웨이브릿 트리 코딩을 행한다.
도 1을 다시 참조해 보면, 이산 웨이브릿 변환(122)에는 웨이브릿 변환 계수를 양자화시키는 양자화기(124)가 후속된다. 이 양자화기에는 양자화된 계수를 손실없이 코딩하는 제로트리 코더(126)와 엔트로피 코더(128)가 후속된다. 이산 웨이브릿 변환은 어떠한 압축도 발생시키지 않지만 차후 압축에 대한 데이타를 준비하는 무손실이고 역행 프로세스(lossless and reversible process)이다. 그러므로, 양자화기에서는 상당한 압축 및 손실이 발생한다. 양자화기에 후속하는 제로트리 및 엔트로피 코더는 양자화된 계수를 가능한 저 비트로 엔코딩하는 데 사용되는 무손실 압축단을 형성한다.
본 발명의 제1 실시예에서는 임베디드 제로트리 웨이브릿(Embeded Zerotree Wavelet, EZW) 엔코딩 프로세스를 사용하여 웨이브릿 변환, 양자화, 및 제로트리/엔트로피 코딩의 결합 오퍼레이션을 수행한다. EZW 엔코더에 대한 상세한 설명은 본원에서 참조 문헌으로서 인용한 1995년 5월 2일자로 허여된 미국 특허 제 5,412,741호에서 찾아 볼 수 있다. 본 발명의 제2(다른) 실시예는 본원에서 참조 문헌으로서 인용한, 1995년 10월 25일자로 출원된 발명의 명칭이 "APPARATUS AND METHOD FOR ENCODING ZEROTREES GENERATED BY A WAVELET-BASED CODING TECHNIQUE"인 미국 가출원 명세서 제 60/007,012호, Attorney Docket Number 11908(미국 특허원 제 호, Attorney Docket Number DSRC 11908)에서 개시된 제로트리 엔코더와는 다른 형태를 사용한다. 웨이브릿 트리 엔코더의 각 형태에 대해서는 후술하기로 한다.
웨이브릿 변환을 계산한 후, EZW 프로세스는 계수를 동시에 양자화하고, 계수의 제로트리를 구축하고, 산술 코더를 사용하여 제로트리 및 계수값을 엔트로피 엔코딩으로써 속행된다. 이것은 양자화가 보다 정교한 경우에는 반복적으로 달성되므로 코딩의 품질은 각 반복 후에 개선된다. 반복은 특정 프레임에 대한 비트 할당이 고갈될 때 까지 속행된다. 비트 할당은 본 발명의 엔코더의 비트 레이트 제어기(110)에 의해 설정된다.
EZW에 의해 구현되는 양자화는 동종의 양자화기로서 특징될 수 있고, 이들 각각은 제로 주변에서 데드 존을 갖는 중간-입상의 균일한 양자화기이다. 이러한 양자화기의 일례를 도 12에서 도시한다. EZW 프로세스의 각 반복 후에, 모든 계수는 이들 양자화기 중 하나를 사용함으로써 효과적으로 양자화될 것이다. 다음 반복을 통해 알고리즘이 진행되므로, 각 계수에 대한 효과적인 양자화는 반복 종료 시에 모든 계수의 양자화가 새로운 양자화기의 것으로 될 때까지 동종의 양자화기에서 다음으로 정교한 양자화기의 것으로 된다. 비트 할당이 반복 완료 시에 완전히 사용되면, 모든 계수는 동일 양자화기에 따라 양자화될 것이다. 그러나, 비트 할당은 계수의 스캔 시에 알고리즘이 중단되는 것에 따라, 반복 완료 전에 고갈될 가능성이 많은 데, 이 경우는 각 계수에 대한 최종 효과적인 양자화는 두 양자화기중 하나에 따를 것이다.
EZW 프로세스의 각 반복은 임계치로 특정되고, 효과적으로 구현된 양자화기는 해당 임계치의 함수이다. 반복이 진행되면, 임계치는 감소하고 양자화는 보다 정교해진다. 모든 임계치는 2제곱이다. 초기 임계치 Td는 적어도 하나의 계수 크기가 Td와 2*Td 사이에 있도록 2의 해당 제곱으로 설정된다. 크기 c를 갖는 각 계수가 이러한 반복으로 처리되면, 그 양자화 크기 cq는 아래의 수학식 6과 같이 된다.
여기서 int[]는 "정수를 취함"이라는 것을 의미한다.
이 반복 후, 새로운 임계치 Ts가 사용되고, 여기서 Ts는 Td/2이다. 계수가 다시 스캔되고 아래의 수학식 7에 따라 양자화된다.
이 양자화기와 제 1 양자화기 간의 차만이 제로 주변의 데드 존이 제1 양자화기에서는 임계치까지 제2 양자화기에서는 임계치의 2배까지 확장된다는 것에 주목해야 한다.
이 반복 후, 임계치 Td를 다시 사용하고, 여기서 Td는 Td=Ts로 설정된다.계수는 다시 스캔되고 수학식 6에 따라 양자화된다. 이 반복 후, Ts가 설정되고 수학식 7을 적용한다. 이러한 양자화기의 변경은 프레임에 대한 비트 할당이 고갈될 때 까지 계속된다.
양자화된 계수를 엔코딩하기 위해, EZW는 산술 코더가 후속되는 계수 정렬을 위한 제로트리라 칭하는 구조를 사용하여 실제 엔코딩을 행한다. 제로트리 및 산술 코더는 함께 작용하여 양자화된 계수를 그들의 엔트로피로 무손실 압축시킨다. 제로트리는 EZW의 각 반복에 의해 재성장되어 웨이브릿 계수의 양자화의 현 상태를 반영한다. 각 웨이브릿 계수마다 트리에는 노드가 존재한다. 미국 특허 제5,412,741호에서는, 4개 심볼 즉 POSITIVE SIGNIFICANT, NEGATIVE SIGNIFICANT, ZEROTREE ROOT, 또는 ISOLATED ZERO 중 하나는 해당 노드에서의 계수를 기술한다. 제로트리 코딩은 ZEROTREE ROOT 심볼이 트리를 잘라내는 데 사용되기 때문에 즉 ZEROTREE ROOT로부터 연장하는 브랜치는 코딩되지 않기 때문에 압축을 생성한다. 이러한 잘라냄에 의해 본 발명은 코딩해야 할 계수의 수를 제한시킬 수 있으므로 여러 비트가 절약된다.
이와는 다르게, 미국 가출원 특허 명세서 제60/007,012호(Attorney Docket Number 11908)( 년 월 일자로 출원된 미국 특허원 제 호, Attorney Docket Number DSRC 11908)에서는, 제로트리 엔코더는 제로트리를 트래버스하는 깊은 제1 패턴을 사용하는 데, 즉 모(母)에서 자(子)로 또한 손자(孫子) 등으로의 각 브랜치는 다음 브랜치가 트래버스하기 전에 완전히 트래버스된다. 깊은 제1 트리 트래버스 패턴은 EZW법에서 사용된 것과 같은 반복 프로세스를 사용하지 않고 트리의 계수를 양자화하고 양자화된 계수에 심볼을 할당하는 데 사용된다. 양자화는 연속적인 웨이브릿 계수값으로부터 이산값을 산출하는 임의 양자화 방법으로 달성될 수 있다. 이러한 양자화 프로세스는 도 12의 중간-입상 양자화기를 포함한다. 또한, 이 제로트리 엔코더는 3개 심볼 즉, ZEROTREE ROOT, VALUED ZEROTREE ROOT, 및 VALUE 중 하나를 각 노드에 할당한다. EZW법에서와 같이, 제로트리 코딩은 ZEROTREE ROOT 심볼이 트리를 잘라내는 데 사용되기 때문에 즉 ZEROTREE ROOT로부터 연장하는 브랜치는 코딩되지 않기 때문에 압축을 생성한다. 이러한 잘라냄에 의해 본 발명은 코딩해야 할 계수의 수를 제한시킬 수 있으므로 여러 비트가 절약된다.
제로트리 코더가 후속되는 산술(엔트로피) 코더(126)는 양자화된 계수의 비트 및 잔여 심볼을 실제로 엔코딩하는 데 사용된다 산술 코더는 그들의 엔트로피에서 심볼 스트림을 엔코딩할 수 있는 엔트로피 코더이다. 산술 코더는 Huffman 코더와 유사하지만, 산술 코더가 부분 비트를 심볼에 할당할 수 있고 Huffman 코더보다 변화하는 심볼 통계에 신속하게 적응할 수 있기 때문에 Huffman 코더보다 성능이 우수할 수 있다.
사용된 특정 산술 코더는 Witten, Neal, 및 Cleary씨에 의해 개발된 코더의 직접 구현이다. 이 코더에 대한 상세한 설명은 Witten씨 등의 "Arithmetic Coding For Data Compression",communication of the ACM Vol. 30. No. 6, pp. 520-540, June, 1987에서 찾아 볼 수 있다. 이 코더는 심볼의 확률 모델에 따라 비트를 심볼에 할당함으로써 동작한다. 심볼이 엔코딩 프로세스에서 직면할 때 확률을 계산하는 것을 의미하는 적응 모델이 사용된다. 이와 같이 하여, 디코더는 엔코더와 동일한 모델을 구축하고 확률을 추적할 수 있으므로 데이타는 가능한 적은 비트로 엔코딩되고 디코딩될 수 있다. 적응 모델을 사용함으로써, 산술 코더는 엔코딩이 진행될 때 신호의 변화하는 통계에 적응한다.
비트 레이트 제어기(110)는 입력 화상, 버퍼(118)의 상태, 엔트로피 코더(120)의 상태, 및 양자화기(124)의 최적 양자화기 스케일을 결정하기 위한 잔차를 모니터한다. 양자화기 스케일에 대한 제어는 주어진 화상 프레임을 코딩하는 데 사용되는 최종 비트수를 제어한다.
비트 할당에는 비디오 시퀀스를 압축시킬 때 이용가능한 비트레이트를 소비하는 방법에 대한 판정이 포함된다. 비트 할당은 비디오 압축 시에 두 가지 이유를 위해 달성된다. 첫째, 압축 동안 생성된 비트수를 조정하기 위해 사용된다. 이 경우, 비트 할당은 때때로 비트 레이트 제어로 참조된다. 비트 레이트 제어는 희망하는 비트 레이트를 유지하고, 엔코더 내의 임의 버퍼에서 적당한 채워짐(fullness)을 유지하기 위해 중요하다. 둘째, 비트 할당은 압축된 비디오의 품질을 조정하기 위해 가능한 최적의 압축 해제 비디오를 달성하는 데 사용된다. 여기서, "최적"이란 사용될 목적에 가장 적합한 압축 해제된 비디오를 말한다. 종종, 압축 해제된 비디오는 특정한 타스크를 마음에 두지 않고 사람들이 볼 수 있도록 사용된다. 이 경우, "최적"이란 관찰하는 사람에게 가장 최적으로 보임"을 의미하는 것이다. 그러나, 다른 경우에는, 비디오의 한 공간-시간부가 다른 부보다 더 중요할 수 있다. 예를 들어, 비디오-폰 응용의 경우, 통상적으로 얼굴이 중요하고 배경은 덜 중요하다. 이 경우, "최적"이란 배경의 품질은 덜 고려하면서, 가장 양호하게 보이는 얼굴을 생성하는 압축 해제된 비디오를 의미하는 것이다. 목적으로 하는 응용에서의 "최적"에 대한 정의는 비트 할당 방식과 통합되어야 한다.
비트 할당을 실행할 수 있는 여러 레벨이 존재한다. 최고 레벨에서의 비디오의 비트 할당은 공간 품질과 시간 품질 간의 절충(trade-off) 관계로 처리된다. 이러한 절충은 프레임/초(f/s)의 수를 가변시켜 행해진다. 이러한 유형의 비트 할당이 프레임 레이트 제어이다. 일례로서, 주어진 비트 레이트 X 비트/초(b/s)에 대해서 말하자면,사람들은 Y f/s를 사용하도록 선택한다. 이것에 의해 압축된 각 프레임을 표현하도록 할당된 X/Y=Z 비트/프레임(b/f)의 평균이 생성될 수 있다. 이 대신에, 동일 비트 레이트 X b/s에 대해서 말하자면, 사람들은 Y/2 f/s를 사용하도록 선택한다. 이것에 의해 압축된 각 프레임에 대해 할당된 2*Z b/f의 평균이 생성될 수 있다. 제1의 경우는, 비트 레이트의 상당 부분이 비디오 시퀀스에서 시간 정보를 표현하는데 소비된다(고 f/s, 저 b/f). 제2 경우에는, 비트 레이트의 상당 부분이 비디오 시퀀스에서 공간 정보를 표현하는데 소비된다(저 f/s, 고 b/f). 압축 해제된 비디오 품질로 측정되는 f/s와 b/f 간에서의 양호한 밸런스를 달성하는 것이 프레임 레이트 제어의 목표이다. 임의 특정 시간 모멘트에서 f/s와 b/f 간에서의 양호한 밸런스는 해당 시간 모멘트에서의 비디오의 공간 및 시간 복잡도(complexity)에 크게 의존한다. 비교적 적은 진폭 이동을 갖는 비디오의 경우, 이동을 평탄하게 하기 위해서는 낮은 f/s가 필요로 된다. 반면에, 비교적 큰 진폭 이동을 갖는 비디오의 경우에는 이동을 원할히 표현하기 위해 비교적 높은f/s가 필요로 된다.
다음 레벨에서의 비트 할당은 프레임 중에서 이용가능한 비트의 분할을 처리하여 이들 프레임 간에서의 공간-시간 품질을 등화시킨다(equalize). 이것이 "프레임간" 비트 할당이다. 공간-시간 복잡도는 프레임마다 광범위하게 변활 수 있기 때문에, 프레임간에서 균일한 품질을 달성하기 위해서는 상이한 프레임은 이용가능한 비트의 다른 부를 필요로 할 수 있다. 특정 프레임에 대한 비트 할당은 해당 프레임의 공간-시간 복잡도에 크게 의존할 것이다. 프레임간 비트 할당은 프레임 레이트를 연속적으로 변화시킴으로써 달성될 수 있다. 그러나, 고정된 프레임 레이트의 경우에도, 비디오 시퀀스에서 상이한 프레임에 대한 상이한 비트 할당이 바람직할 수 있다.
최하위 레벨에서의 비트 할당은 프레임 내에서 이용 가능한 비트 할당에 대한 판정을 포함하여 프레임 공간 전체에서 품질을 등화시킨다. 이것이 "프레임내" 비트 할당이다. 프레임의 공간 복잡도는 공간 위치에 따라 광범위하게 변화할 수 있으므로, 프레임 전체에서 균등한 품질을 달성하기 위해서는 프레임의 다른 부는 이용가능한 비트의 다른 부를 필요로 할 수 있다. 프레임간 비트 할당에서와 같이, 프레임내 비트 할당의 경우, 프레임에서 특정 공간 위치에 대한 최적의 비트 할당은 그 위치에서의 프레임의 공간 복잡도에 크게 의존한다.
본 발명에서 사용될 수 있는 하나의 비트 할당법은 기본적인 제1-패스(pass) 기술이다. 공간 품질을 제어하기 위해, 본 발명은 가변하는 공간 진폭 양자화를 사용한다. 이 기본적인 방법에서, 비트 레이트 및 프레임 레이트는 엔코더가 실행일 때 지정되고 이들은 시퀀스의 엔코딩 전체를 통해 고정된다. 비트 레이트 및 프레임 레이트를 고정시킴으로써, 본 발명에서는 프레임당 비트수도 일정하다. 각 프레임마다, 엔코더는 프레임에 대해 할당된 비트수(모든 프레임 마다 동일수의 비트)를 정확하게 발생시키는 해당 프레임에 대한 양자화기 스케일을 선택한다. 이와 같이 하여, 양자화기 스케일은 단지 프레임 마다 변화된다.
압축 해제된 비디오에서 공간 및 시간 품질의 균형을 이루기 위해, 본 발명에서는 프레임 레이트 제어법을 사용하여 상술된 비트 레이트 제어법을 보강할 수 있다. 프레임 레이트 제어법을 용이하게 하기 위해, 공간 및 시간 복잡도에 대한 측정이 필요로 된다. 시간 복잡도 측정은 한 프레임(프레임 셋트)에 대한 이동 벡터의 진폭을 고려하고 이동 벡터계의 고차수 통계를 고려한다. 시간 복잡도 측정은 또한 한 프레임(프레임 셋트)에 대한 이동 보상된 예측 에러에 관련된 통계를 포함한다. 공간 복잡도 측정은 소스 비디오 프레임으로부터의 통계와, 이동 보상된 예측 에러 프레임으로부터의 통계를 사용한다. 이들 통계는 프레임에서 공간-시간적으로 국부화된 여러 영역에 대해 또는 전체 프레임에 대해 분리되어 계산된다. 또한 프레임간 비트 할당을 결정하기 위해 유사한 공간 및 시간 복잡도 측정이 사용된다.
한 프레임 내에서의 품질을 등화시키기 위해, 본 발명에서는 공간 품질을 조정하기 위해 공간 진폭 양자화를 사용하는 프레임내 비트 할당법을 사용한다. 프레임내 비트 할당의 경우, 프레임의 공간 분할이 행해진다. 이 분할은 다른 두 종류의 정보를 고려한다. 첫째, 비디오 데이타는 응용에 대한 상대적인 중요성에 기초하여 분류된다. 이전의 예를 재사용함으로써, 비디오-폰에서의 얼굴은 배경에서 분할될 수 있고, (프레임에 할당된 비트의 상당 부분을 사용하여) 보다 충실하게 압축된다. 이러한 분할은 또한 인간의 가시계 특성을 고려하여 압축 아티팩트가 화상 영역에서 마스크되어지는 정도에 따라 화상 영역을 분류한다. 이러한 분할 정보는 또한 프레임간 비트 할당을 결정하는 데도 사용된다.
비록 본 발명이 상술한 바와 같이 종래의 웨이브릿 변환을 사용하여 동작하지만, 본 발명의 범주 내에서 다른 보다 색다른 웨이브릿 변환 및 코딩 프로세스를 사용할 수 있다. 예를 들어, 종래의 웨이브릿 변환 대신에 웨이브릿 패킷을 사용할 수 있다. 웨이브릿 패킷은 저 대역이 아닌 다른 대역을 다시 분해할 수 있다는 점에서 종래의 웨이브릿과는 다르다, 전형적으로 옥타브-기반 필터 뱅크로서 구현되는 종래의 웨이브릿 변환에서는, 신호는 두 대역(고 및 저)으로 분할된 후 저 대역은 다시 고 및 저 대역 등으로 분할된다. 이러한 형태의 필터 구조가 도 8에 도시되어 있다. 웨이브릿 패킷 구현에 있어서는, 저 대역 출력 대신 고 대역 출력을 저 대역 및 고 대역으로 분할시킬 수 있다. 또한, 저 및 고 대역 출력은 각각 저 및 고 대역으로 분할된다. 이러한 형태의 필터 구조에서는 각 단에서 대역의 여러 분할 조합이 생겨난다.
이러한 융통성은 광범위한 분해 가능성을 제공하고, 이들 각각은 상이한 시간-주파수 타일링 및 상이한 시간-주파수 국부화를 갖는다. 균일한 필터 뱅크와 등가인, 트리 구조의 각 단에서 두 대역을 분해하는 것은 한 사소한 경우이다. 상이한 분할을 사용함으로써, 변환은 여러 시간-주파수 평면의 타일링을 달성할 수있다. 도 13 내지 도 16에서는 복합 시간-주파수 타일링의 4개 예를 도시하고 있다. 도 13은 전(full) 웨이브릿 패킷 변환에서의 시간-주파수 타일링을 도시하고, 도 14는 웨이브릿 변환에서의 시간-주파수 타일링을 도시하고, 도 15는 웨이브릿 패킷 변환에서의 시간-주파수 타일링을 도시하고, 도 16은 적응 웨이브릿 패킷 변환에서의 시간-주파수 타일링을 도시한다.
임베드 제로트리 코딩법에서는, 각 자(子)는 단지 하나의 모(母)만을 가질 수 있다. 이것은, 웨이브릿 패킷에서는 하나의 자(子)는 다수의 모(母)를 가질 수 있기 때문에 제로트리 코딩 방식을 일반적인 웨이브릿 패킷 분해에 직접 적용시킬 수 없다는 것을 의미한다. 본 발명의 일 실시예에서, 본 발명은 각각의 자(子)가 단지 하나의 모(母)만을 갖는 제한적인 웨이브릿 패킷 분해를 사용한다. 이 실시예에서는, 종래의 웨이브릿 변환과는 달리 모(母)는 신호의 고 주파수 계수를 포함할 수 있다. 주어진 각 MCR 프레임에 대해 상이한 적응법을 사용하면, 해당 프레임의 최적(제한된) 웨이브릿 패킷을 구해 임베드 제로트리 코딩을 웨이브릿 패킷 계수에 적용시킬 수 있다. "최적" 변환은 적은 소(coarse) 대역에서 가장 중요한 샘플들이 수집되는 것이다. 본 발명은 MCR의 웨이브릿 패킷 분해에 대해 상이한 두 기준 중 하나를 사용할 수 있다. 제1 기준은 서브대역의 에너지이다. 본 발명의 이 실시예에서, 트리 구조의 각 단에서, 다른 서브대역보다 많은 에너지를 포함하는 서브대역은 다시 분해된다. 실험 결과에 따르면, 이러한 적응 분해에 의해 코딩 품질이 개선되는 것으로 나타나 있다. 제2 기준은 프리-임계치 에너지이다. 이러한 방법에서, 각 서브대역은 우선 일정한 임계치로 클립된 후 서브대역의 에너지를 서로 비교한다. 실험 결과에 따르면 초기 웨이브릿 변환에 비해 코딩 품질이 개선된 것으로 나타나 있다.
본 발명의 교시를 포함한 여러 실시예를 도시 및 기술하였지만, 본 기술 분야의 당업자라면 이들 교시를 포함하는 여러 다른 변형 실시예를 실시할 수 있다.

Claims (10)

  1. 복수의 중첩 블럭으로 분할되어지는 입력 화상을 엔코딩하기 위한 장치에 있어서,
    상기 복수의 중첩 블럭에 대한 복수의 이동 벡터를 계산하고 상기 복수의 이동 벡터를 사용하여 예측된 화상을 생성하기 위한 중첩 블럭 이동 보상기와,
    상기 중첩 블럭 이동 보상기에 결합되어 상기 입력 화상과 상기 예측된 화상 간의 차 신호에 대해 복수의 계수를 발생시키는 웨이브릿 변환(wavelet transform)을 행하기 위한 웨이브릿 변환 모듈과,
    상기 웨이브릿 변환 모듈에 결합되어 상기 복수의 계수를 양자화시키기 위한 양자화기와,
    상기 양자화기에 결합되어 상기 양자화된 복수의 계수를 코딩하기 위한 코더
    를 포함하는 것을 특징으로 하는 입력 화상 엔코딩 장치.
  2. 제1항에 있어서, 상기 중첩 블럭 이동 보상기는
    복수의 비중첩 블럭을 예측하기 위한 복수의 예측기와,
    각각이 상기 복수의 예측기 중 하나에 직렬 결합되고, 상기 복수의 비중첩 블럭을 윈도우시키기 위한 복수의 윈도우와,
    상기 복수의 윈도우에 결합되어 상기 복수의 윈도우된 비중첩 블럭을 가산시켜 중첩 블럭을 발생시키기 위한 합산기
    를 포함하는 것을 특징으로 하는 입력 화상 엔코딩 장치.
  3. 제1항에 있어서, 상기 웨이브릿 변환 모듈은 복수의 웨이브릿 서브대역을 갖는 트리 구조로 구성되는 복수의 분리 가능한 필터를 포함하는 것을 특징으로 하는 입력 화상 엔코딩 장치.
  4. 제1항에 있어서, 상기 양자화기에 결합되어 상기 복수의 계수 각각에 대한 양자화기 스케일을 선택하기 위한 레이트 제어기를 더 포함하는 것을 특징으로 하는 입력 화상 엔코딩 장치.
  5. 제1항에 있어서, 상기 양자화기에 결합되어 상기 양자화된 복수의 계수를 선택적으로 제거시키기 위한 제로트리 코더를 더 포함하는 것을 특징으로 하는 입력 화상 엔코딩 장치.
  6. 복수의 중첩 블럭으로 분할되어지는 입력 화상을 엔코딩하기 위한 방법에 있어서,
    상기 복수의 중첩 블럭에 대한 복수의 이동 벡터를 계산하는 단계와,
    상기 복수의 이동 벡터를 사용하여 예측된 화상을 생성하는 단계와,
    상기 입력 화상과 상기 예측된 화상 간의 차 신호에 대해 복수의 계수를 발생시키는 웨이브릿 변환을 적용시키는 단계와,
    상기 복수의 계수를 양자화시키는 단계와,
    상기 양자화된 복수의 계수를 엔코딩하는 단계
    를 포함하는 것을 특징으로 하는 입력 화상 엔코딩 방법.
  7. 제6항에 있어서, 상기 복수의 중첩 블럭은 다각형 블럭인 것을 특징으로 하는 입력 화상 엔코딩 방법.
  8. 제6항에 있어서, 상기 복수의 중첩 블럭 각각은 윈도우 함수(window function)를 적용시킴으로써 발생되는 것을 특징으로 하는 입력 화상 엔코딩 방법.
  9. 제6항에 있어서, 상기 웨이브릿 변환 적용 단계는 상기 웨이브릿 변환으로부터 생성되는 상이한 웨이브릿 서브대역에 대해 상이한 형태의 필터링을 선택적으로 적용시키는 것을 특징으로 하는 입력 화상 엔코딩 방법.
  10. 제6항에 있어서, 상기 웨이브릿 변환 적용 단계는 웨이브릿 패킷 변환을 적용시키는 것을 특징으로 하는 입력 화상 엔코딩 방법.
KR1019980703032A 1995-10-25 1996-10-23 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더 KR100308627B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US701395P 1995-10-25 1995-10-25
US60/007,013 1995-10-25
US6/007,013 1995-10-25
PCT/US1996/017045 WO1997016028A1 (en) 1995-10-25 1996-10-23 Overlapping block zerotree wavelet image coder

Publications (2)

Publication Number Publication Date
KR19990067092A KR19990067092A (ko) 1999-08-16
KR100308627B1 true KR100308627B1 (ko) 2001-11-02

Family

ID=21723727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980703032A KR100308627B1 (ko) 1995-10-25 1996-10-23 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더

Country Status (6)

Country Link
US (1) US5764805A (ko)
EP (1) EP0857392B1 (ko)
JP (1) JP2000506686A (ko)
KR (1) KR100308627B1 (ko)
DE (1) DE69633129T2 (ko)
WO (1) WO1997016028A1 (ko)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1271957B1 (en) 1994-12-20 2006-05-24 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5982434A (en) * 1996-03-22 1999-11-09 Sony Corporation Image signal coding method and device thereof, image signal decoding method and device thereof, and recording medium
EP0817499A3 (en) * 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
JP3674158B2 (ja) * 1996-07-01 2005-07-20 ソニー株式会社 画像符号化方法及び画像復号装置
US6473533B1 (en) * 1996-10-25 2002-10-29 Fuji Xerox Co., Ltd. Image encoding apparatus and image decoding apparatus
JP2002091691A (ja) 2000-09-20 2002-03-29 Nagano Fujitsu Component Kk ポインティングデバイス
WO1998037701A1 (en) * 1997-02-12 1998-08-27 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6157746A (en) * 1997-02-12 2000-12-05 Sarnoff Corporation Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method
US7010173B2 (en) * 2000-01-13 2006-03-07 At&T Corp. Video coder employing pixel transposition
US6052490A (en) * 1997-02-14 2000-04-18 At&T Corp. Video coder employing pixel transposition
US7003168B1 (en) 1997-03-11 2006-02-21 Vianet Technologies, Inc. Image compression and decompression based on an integer wavelet transform using a lifting scheme and a correction method
US5923785A (en) * 1997-03-31 1999-07-13 Interated Systems, Inc. System and method for compressing data
US6539122B1 (en) * 1997-04-04 2003-03-25 General Dynamics Decision Systems, Inc. Adaptive wavelet coding of hyperspectral imagery
MY129665A (en) 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
JP2000512827A (ja) * 1997-04-25 2000-09-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 像間動き評価方法
US6580834B2 (en) * 1997-05-30 2003-06-17 Competitive Technologies Of Pa, Inc. Method and apparatus for encoding and decoding signals
US6023296A (en) 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6057889A (en) * 1997-09-26 2000-05-02 Sarnoff Corporation Format-responsive video processing system
EP0905978A3 (en) * 1997-09-29 2000-04-12 Canon Kabushiki Kaisha An encoding method and apparatus
US6091773A (en) * 1997-11-12 2000-07-18 Sydorenko; Mark R. Data compression method and apparatus
US6128413A (en) * 1997-12-04 2000-10-03 Agfa Corporation Method and apparatus for data compression
US6393060B1 (en) * 1997-12-31 2002-05-21 Lg Electronics Inc. Video coding and decoding method and its apparatus
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6728413B2 (en) * 1998-01-19 2004-04-27 Canon Kabushiki Kaisha Lattice vector quantization in image compression and decompression
US6058214A (en) 1998-01-20 2000-05-02 At&T Corp. Compression of partially masked still images
US20020044692A1 (en) * 2000-10-25 2002-04-18 Goertzen Kenbe D. Apparatus and method for optimized compression of interlaced motion images
EP1057142A1 (en) * 1998-02-23 2000-12-06 Applied Science Fiction, Inc. Image processing method using a block overlap transformation procedure
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6215907B1 (en) * 1998-06-26 2001-04-10 Fisher-Rosemont Systems, Inc. Recursive on-line wavelet data compression technique for use in data storage and communications
AU749350B2 (en) * 1998-07-02 2002-06-27 Motorola Australia Pty Ltd A method and apparatus for encoding and decoding compressed images
US6094631A (en) * 1998-07-09 2000-07-25 Winbond Electronics Corp. Method of signal compression
US6233358B1 (en) * 1998-07-13 2001-05-15 Intel Corporation Image compression using directional predictive coding of the wavelet coefficients
US5995210A (en) * 1998-08-06 1999-11-30 Intel Corporation Integrated architecture for computing a forward and inverse discrete wavelet transforms
US6178269B1 (en) 1998-08-06 2001-01-23 Intel Corporation Architecture for computing a two-dimensional discrete wavelet transform
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6438136B1 (en) 1998-10-09 2002-08-20 Microsoft Corporation Method for scheduling time slots in a communications network channel to support on-going video transmissions
US6385454B1 (en) 1998-10-09 2002-05-07 Microsoft Corporation Apparatus and method for management of resources in cellular networks
US6445701B1 (en) * 1998-10-09 2002-09-03 Microsoft Corporation Channel access scheme for use in network communications
US6754266B2 (en) * 1998-10-09 2004-06-22 Microsoft Corporation Method and apparatus for use in transmitting video information over a communication network
US6507587B1 (en) 1998-10-09 2003-01-14 Microsoft Corporation Method of specifying the amount of bandwidth to reserve for use in network communications
US6519004B1 (en) 1998-10-09 2003-02-11 Microsoft Corporation Method for transmitting video information over a communication channel
US6289297B1 (en) 1998-10-09 2001-09-11 Microsoft Corporation Method for reconstructing a video frame received from a video source over a communication channel
US6618363B1 (en) 1998-10-09 2003-09-09 Microsoft Corporation Method for adapting video packet generation and transmission rates to available resources in a communications network
US6487319B1 (en) * 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US20030142875A1 (en) * 1999-02-04 2003-07-31 Goertzen Kenbe D. Quality priority
US20030185455A1 (en) * 1999-02-04 2003-10-02 Goertzen Kenbe D. Digital image processor
US6437358B1 (en) 1999-02-04 2002-08-20 Applied Science Fiction, Inc. Apparatus and methods for capturing defect data
US7181073B1 (en) * 1999-03-08 2007-02-20 Texas Instruments Incorporated Image coding using embedded zerotree patterns and bitplanes
US6339658B1 (en) * 1999-03-09 2002-01-15 Rockwell Science Center, Llc Error resilient still image packetization method and packet structure
KR20000059799A (ko) * 1999-03-09 2000-10-05 구자홍 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
FR2792433A1 (fr) * 1999-04-15 2000-10-20 Canon Kk Dispositif et procede de transformation de signal numerique
FR2792432B1 (fr) 1999-04-15 2001-07-13 Canon Kk Dispositif et procede de transformation de signal numerique
US6351491B1 (en) 1999-06-23 2002-02-26 Sarnoff Corporation Apparatus and method for optimizing the rate control for multiscale entropy encoding
US6628716B1 (en) * 1999-06-29 2003-09-30 Intel Corporation Hardware efficient wavelet-based video compression scheme
JP2001109738A (ja) * 1999-10-13 2001-04-20 Toyota Motor Corp ピーク時刻検出装置およびピーク時刻検出方法
US6625217B1 (en) * 1999-10-15 2003-09-23 Lucent Technologies Inc. Constrained wavelet packet for tree-structured video coders
US6771829B1 (en) * 1999-10-23 2004-08-03 Fastvdo Llc Method for local zerotree image coding
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
KR20010081142A (ko) * 2000-01-04 2001-08-29 구자홍 화상통신기기의 화상압축 부호화 방법 및 장치
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
US6961472B1 (en) * 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US6813387B1 (en) * 2000-02-29 2004-11-02 Ricoh Co., Ltd. Tile boundary artifact removal for arbitrary wavelet filters
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법
FR2817697B1 (fr) * 2000-12-05 2003-02-14 Canon Kk Procede et dispositif de traitement d'un ensemble de donnees representatives de grandeurs physiques
FR2817698B1 (fr) * 2000-12-05 2003-03-07 Canon Kk Procede et dispositif de traitement d'un ensemble de donnees representatives de grandeurs physiques
JP2002325170A (ja) * 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
EP1405252A4 (en) * 2001-05-22 2006-09-13 Soliton Holding Corp METHOD FOR DIGITAL QUANTIZATION
GB2378072B (en) * 2001-07-24 2003-10-15 Motorola Inc Image and video coding arrangement and method
US6917717B2 (en) * 2002-03-26 2005-07-12 Microsoft Corporation System and method for image compression using wavelet coding of masked images
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
US7239754B2 (en) * 2002-07-16 2007-07-03 Hiroshi Akimoto Method, apparatus and system for compressing still images in multipurpose compression systems
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
CN1860794A (zh) * 2003-09-29 2006-11-08 皇家飞利浦电子股份有限公司 使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7653255B2 (en) 2004-06-02 2010-01-26 Adobe Systems Incorporated Image region of interest encoding
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US8144997B1 (en) * 2006-12-21 2012-03-27 Marvell International Ltd. Method for enhanced image decoding
US9521431B2 (en) * 2007-01-03 2016-12-13 Numeri Ltd. Method and a system for wavelet based processing
TW200833115A (en) * 2007-01-30 2008-08-01 Beyond Innovation Tech Co Ltd Apparatus and method for compressing data
WO2008140656A2 (en) * 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
KR20100015456A (ko) * 2007-04-09 2010-02-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
KR101527150B1 (ko) * 2008-07-24 2015-06-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 화소 기반 적응중첩 블록 움직임 보상 장치 및 방법
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8457194B2 (en) * 2008-09-29 2013-06-04 Microsoft Corporation Processing real-time video
US8913668B2 (en) * 2008-09-29 2014-12-16 Microsoft Corporation Perceptual mechanism for the selection of residues in video coders
KR101553850B1 (ko) * 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
CN101594533B (zh) * 2009-06-30 2010-12-29 华中科技大学 一种适用于无人机序列图像的压缩方法
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN101867765A (zh) * 2010-04-30 2010-10-20 杭州华三通信技术有限公司 一种数据的传输方法和系统
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
CN108401157B (zh) * 2012-10-01 2022-06-24 Ge视频压缩有限责任公司 可伸缩视频解码器、编码器及可伸缩视频解码、编码方法
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2833236B2 (ja) * 1991-01-31 1998-12-09 日本電気株式会社 画像の予測符号化方式
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
US5253058A (en) * 1992-04-01 1993-10-12 Bell Communications Research, Inc. Efficient coding scheme for multilevel video transmission
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5495292A (en) * 1993-09-03 1996-02-27 Gte Laboratories Incorporated Inter-frame wavelet transform coder for color video compression
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5646618A (en) * 1995-11-13 1997-07-08 Intel Corporation Decoding one or more variable-length encoded signals using a single table lookup

Also Published As

Publication number Publication date
EP0857392A1 (en) 1998-08-12
US5764805A (en) 1998-06-09
KR19990067092A (ko) 1999-08-16
DE69633129T2 (de) 2005-08-04
EP0857392B1 (en) 2004-08-11
WO1997016028A1 (en) 1997-05-01
JP2000506686A (ja) 2000-05-30
DE69633129D1 (de) 2004-09-16
EP0857392A4 (en) 1998-12-30

Similar Documents

Publication Publication Date Title
KR100308627B1 (ko) 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
Andreopoulos et al. In-band motion compensated temporal filtering
Marpe et al. Very low bit-rate video coding using wavelet-based techniques
US6393060B1 (en) Video coding and decoding method and its apparatus
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
WO2000072602A1 (en) Multi-dimensional data compression
Xing et al. Arbitrarily shaped video-object coding by wavelet
Hoag et al. Low-bit-rate coding of underwater video using wavelet-based compression algorithms
Skowronski Pel recursive motion estimation and compensation in subbands
KR101246115B1 (ko) 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치
Singh et al. JPEG2000: A review and its performance comparison with JPEG
Zhang et al. Motion-compensated wavelet transform coding for color video compression
KR101421231B1 (ko) 웨이블릿 변환을 이용한 영상 압축 장치
Panchanathan et al. Fast multiresolution motion estimation scheme for a wavelet transform video coder
Lee et al. Subband video coding with scene-adaptive hierarchical motion estimation
Hsu et al. Wavelet and lapped orthogonal transforms with overlapped motion-compensation for multiresolution coding of HDTV
Khalil et al. Lowering frame-buffering requirements of 3-D wavelet transform coding of interactive video
Zhang et al. Wavelet-based video compression
KR20000041990A (ko) 웨이브릿 변환을 이용한 초저속 동영상 부호화 방법
Rouchouze et al. Interlaced image sequence coding for digital TV using adaptive quantization
Hsu et al. Scalable HDTV coding with motion-compensated subband and transform coding
KR20070028720A (ko) 웨이블릿 패킷 변환 기반의 동영상 인코딩 시스템 및 방법
Indoh et al. The video coder with filterbank and subband motion estimation and compensation
Wien et al. Adaptive scalable video coding using wavelet packets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120808

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20130812

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140808

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150810

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20160811

Year of fee payment: 16

EXPY Expiration of term