KR20040106418A - 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링 - Google Patents

웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링 Download PDF

Info

Publication number
KR20040106418A
KR20040106418A KR10-2004-7017434A KR20047017434A KR20040106418A KR 20040106418 A KR20040106418 A KR 20040106418A KR 20047017434 A KR20047017434 A KR 20047017434A KR 20040106418 A KR20040106418 A KR 20040106418A
Authority
KR
South Korea
Prior art keywords
frames
frame
regions
multiple reference
reference frames
Prior art date
Application number
KR10-2004-7017434A
Other languages
English (en)
Inventor
투라가디팩
반데르스카르미하엘라
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/218,221 external-priority patent/US20030202599A1/en
Priority claimed from US10/218,214 external-priority patent/US7023923B2/en
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040106418A publication Critical patent/KR20040106418A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding

Abstract

본 발명은 한 그룹의 비디오 프레임들을 부호하하는 방법 및 장치를 나타낸다. 본 발명에 따라, 그룹의 적어도 하나의 프레임내의 영역들은 다중 기준 프레임들의 영역들에 매칭된다. 적어도 하나의 프레임내의 영역들과 다중 기준 프레임들내의 영역들의 픽셀 값들간의 차가 계산된다. 차는 웨이브렛 계수들로 전환된다. 본 발명은 위에서 기술된 부호화의 역을 실행함으로써 한 그룹의 프레임들을 복호화하는 방법 및 장치를 또한 나타낸다.

Description

웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한 움직임 보상 시간 필터링{Motion compensated temporal filtering based on multiple reference frames for wavelet coding}
복수의 현재 비디오 부호화 알고리즘은 혼성 기법으로 여겨지는 움직임 보상 예견 부호화에 기초한다. 그와 같은 혼성 기법에서, 공간 덧붙임이 움직임 보상의 잔여 부호화 변환에 의해 감소되는 동안, 시간 덧붙임(temporal redundancy)은 움직임 보상을 사용하여 감소된다. 보통 사용된 변환들은 이산 코사인 변환(discrete cosine transform; DCT) 또는 하위-밴드/웨이브렛 분해들을 포함한다. 하지만, 그와 같은 기법은 진정 측정가능 비트 스트림들을 제공함으로써 유연성이 결핍된다.
부호화 기반 3D 서브-밴드/웨이브렛(이하 "3D 웨이브렛")으로 공지된 기법의 다른 형태는 이종 네트워크들상에 비디오 전송의 현 시나리오에서 특히 보편성을 얻는다. 이러한 기법들은 매우 유연한 측정가능 비트 스트림들 및 높은 오류 탄력성(error resilience)이 제공된다. 3D 웨이브렛 부호화에서, 전체 프레임은 부호화기반 DCT에서 블록단위 대신에 동시에 변환된다.
3D 웨이브렛 기법들의 일 구성요소는 움직인 보상 시간 필터링(MCTF)이고, MCTF는 시간 덧붙임을 감소시키기 위해 실행된다. MCTF의 일 실시예는 문서 "Motion-Compensated 3-D Subband Coding of Video", IEEE Transactions On Image Processing, Volume 8, No. 2, February 1999, Seung-Jong Choi and John Woods(이하에서 "Woods"로 언급)에서 기술된다.
Woods에 관하여, 프레임들은 시간 분해가 실행되기 전, 움직임 방향으로 시간으로 필터링된다. 시간 필터링동안, 일정 픽셀들은 장면에서 움직임의 특성 또는 객체들의 커버링/언커버링에 기인하여 참조되거나 참조되지 않은 다중 기간들이다. 그와 같은 픽셀들은 접속되지 않은 픽셀들로 공지되고 특정 처리를 요구하며, 특정 처리는 감소된 부호화 효율성을 이끈다. 접속된 픽셀들 및 접속되지 않은 픽셀들은 도 1에서 도시되는데, Woods로부터 개발되었다.
본 발명은 일반적으로 비디오 압축에 관한 것으로 특히, 움직임 보상 시간 필터링에 대한 다중 기준 프레임들을 사용하는 부호화 기반 웨이브렛에 관한 것이다.
도 1은 공지된 움직임 보상 시간 필터링 기술들의 양태들을 도시한 도면.
도 2는 본 발명에 따른 인코더의 일 실시예의 블록도.
도 3은 2D 웨이브렛 변환의 일 실시예를 도시한 블록도.
도 4는 본 발명에 따른 움직임의 일 실시예를 도시한 도면.
도 5는 본 발명에 따른 시간 필터링의 한 예를 도시한 도면.
도 6은 본 발명에 따른 시간 필터링의 다른 예를 도시한 도면.
도 7은 본 발명에 따른 디코더의 일 예를 도시한 도면.
도 8은 본 발명에 따른 시스템의 일 예를 도시한 도면.
본 발명은 한 그룹의 비디오 프레임들을 부호화하는 방법 및 장치를 나타낸다. 본 발명에 따라 그룹의 적어도 하나의 프레임들내의 영역들은 복수 기준 프레임들내의 영역들에 매칭된다. 적어도 하나의 프레임내의 영역들과 다중 기준 프레임들내의 영역들의 픽셀 값들간의 차는 계산된다. 차는 웨이브렛 계수들로 변환된다.
본 발명은 또한 한 그룹의 부호화 비디오 프레임들을 포함하는 비트-스트림을 부호화하는 방법 및 장치를 나타낸다. 본 발명에 따라, 비트-스트림은 웨이브렛계수들을 만들기 위해 복호화된 엔트로피이다. 웨이브렛 계수들은 부분적 복호화 프레임들을 만들기 위해 변환된다. 적어도 하나의 부분적 복호화 프레임은 다중 기준 프레임들을 사용하는 역 시간 필터링된다.
일 예에서, 역 시간 필터링은 적어도 하나의 부분적 복호화 프레임의 영역들에 이전에 매칭된 다중 기준 프레임들로부터의 검색되는 영역들 및 적어도 하나의 부분적 복호화 프레임내의 영역들의 픽셀 값들에 부가되는 다중 기준 프레임들내의 영역들의 픽셀 값들을 포함한다.
이전에 기술되었던 것처럼, 3D 웨이브렛 방식들(wavelet schemes)의 일 구성요소는 움직임 보상 시간 필터링(motion compensated temporal filtering; MCTF)으로, 시간 덧붙임(temporal redundancy)을 감소시키도록 실행된다. MCTF동안, 접속되지 않은 픽셀들은 특별한 관리를 요청하는 것을 초래하는데, 부호화 효율성을 감소시키다. 본 발명은 매칭의 질을 상당히 향상시키고 접속되지 않은 픽셀들의 수들을 또한 감소시키기 위해 움직임 추정과 시간 필터링동안 다중 참조 프래임들을 사용하는 새로운 MCTF 방식쪽으로 지시된다. 따라서, 이 새로운 기법은 최적 매칭들 향상시키고 또한 접속된 픽셀들의 수를 감소시킴으로써 향상된 부호화 효율성을 제공한다.
본 발명에 따른 인코더의 일 실시예는 도 2에서 도시된다. 도시되는 것처럼, 인코더는 입력 비디오를 한 그룹의 그림들(a group of pictures; GOP)로 분할하는 분할 유닛(2)을 포함하고, 유닛으로 부호화된다. 본 발명에 따라서, 분할 유닛(2)은 GOP들은 프레임들의 미리 결정된 수를 포함하거나 또는 밴드대역, 부호화 효율성, 및 비디오 콘텐트와 같은 파라미터들에 기초한 동작동안 동적으로 결정되도록 동작한다. 예를 들어, 비디오가 빠른 장면 변화들 및 많은 움직임으로 구성된다면, 더 짧은 GOP를 가지는 것은 더욱 효율적이고, 비디오가 대부분 정지 객체들로 더 긴 GOP를 갖는 것이 더 효율적이다.
도시되는 것처럼, MCTF 유닛(4)은 움직임 추정 유닛(6) 및 시간 필터링 유닛(8)으로 구성된 것이 포함된다. 동작 동안, 움직임 추정 유닛(6)은 각 GOP에서 프레임들상에서 움직임 추정을 실행한다. 이전에 기술된 것처럼, 각 GOP에 실행된 움직임 추정은 다중 참조 프레임들에 근거할 것이다. 따라서, GOP의 프레임들에서 픽셀들의 또는 영역들의 그룹들은 동일 GOP의 다른 프레임들에 유사한 픽셀들의 또는 영역들의 그룹들에 매칭될 것이다. 따라서, GOP에서 다른 프레임들은 제안된 프레임에 대한 참조 프레임들이다.
한 예에서, 움직임 추정 유닛(6)은 후 예측을 실행할 것이다. 따라서, GOP의 하나 이상의 프레임들에서의 픽셀들 또는 영역들의 그룹들은 동일 GOP의 이전 프레임들에서 픽셀들 또는 영역들의 동일 그룹들에 매칭될 것이다. 이런 예에서, GOP에서 이전 프레임들은 처리된 각 프레임에 대한 참조 프레임들이다. 각 GOP는 유닛으로서 처리되기 때문에, 어떤 이전 프레임들도 이용 가능하지 않기에 제 1 프레임은 처리될 수 없다. 하지만, 대안으로, 제 1 프레임은 다른 예들로 선 예측될 수 있다.
다른 예에서, 움직임 추정 유닛(6)은 선 예측을 실행할 것이다. 따라서, GOP의 하나 이상의 프레임들에서 픽셀들 또는 영역들의 그룹들은 동일 GOP의 앞선 프레임들에서 픽셀들 또는 영역들의 유사한 그룹들에 매칭될 것이다. 이 예에서, GOP에서 처리 프레임들은 처리된 각 프레임에 대한 참조 프레임들이다. 각 GOP는 유닛으로 처리되기 때문에, 최종 프레임은 이용 가능한 이전 프레임들도 없기에 처리되지 않을 것이다. 하지만, 대안으로, 최종 프레임은 다른 예에서 예측된 후진일 수 있다.
다른 예예서, 움직임 추정 유닛(6)은 양방향 예측을 실행할 것이다. 따라서, GOP의 하나 이상의 프레임들에서의 픽셀들 또는 영역들의 그룹들은 동일 GOP의 이전 및 진행 프레임들에서 픽셀들 또는 영역들의 유사한 그룹들에 매칭될 수 있다. 이런 예에서, GOP에서 이전 및 진행 프레임들은 처리된 각 프레임에 대한 기준 프레임들이다. 각 GOP가 유닛으로 처리되기 때문에, GOP의 제 1 및 제 2 프레임은 양방향으로 처리되지 않을 것이다. 따라서, 이 예에서, 제 1 및 최종 프레임은 움직임 추정 유닛(6)에 의해 처리되지 않을 수 있고, 다른 것은 예측된 순방향 또는 역방향 중 하나가 될 것이다.
상기에서 기술된 매칭의 결과로서, 움직임 추정 유닛(6)은 움직임 벡터 MV 및 처리되는 현 프레임에서 매칭된 각 영역에 대한 프레임 번호를 제공할 것이다. 어떤 경우들에서, 처리되는 현재 프레임에서 각 영역에 관련된 프레임 번호 및 단지 하나의 움직임 벡터 MV존재할 것이다. 하지만, 양방향 벡터가 사용된다면, 각 영역에 관련된 프레임 번호들 및 2개의 움직임 벡터들 MV가 존재할 것이다. 각 움직임 벡터 및 프레임 번호는 처리된 각 프레임에서 영역에 매칭된 유사한 영역을 포함하는 GOP에서 위치 및 다른 프레임을 나타낼 것이다.
동작 동안, 시간 필터링 유닛(8)은 움직임 추정 유닛(6)에 의해 제공된 프레임 번호들 및 움직임 벡터들 MV에 따른 각 GOP의 프레임들간의 시간인 중복들을 제공할 것이다. 도 1에서 보여지는 것처럼, 우즈의 MCTF는 2개의 프레임들을 가지고 이러한 프레임들을 저 서브-밴드 및 고 서브-밴드를 포함하는 2개의 서브-밴드들에 전송한다. 고 사이드밴드(sideband)가 2개의 프레임들에서 대응하는 픽셀들간의 (측정된) 차이에 대응하는 동안, 저 서브-밴드는 2개의 프레임들에서 대응하는 픽셀들의 (측정된) 평균에 대응한다.
반대로, 본 발명의 시간 필터링 유닛(8)은 각 프레임에 대응하는 하나의 서브-밴드 또는 프레임을 단지 생산한다. 도 2에 관해서 이전에 기술된 것처럼, GOP의 제 1 프레임 또는 마지막 프레임은 역방향, 순방향 또는 양방향 프레임이 사용되는지를 의존하는 움직임 추정 유닛에 의해 처리되지 않을 수 있다. 따라서, 시간 필터링 유닛(8)은 GOP의 제 1 또는 마지막 유닛상에 어떤 필터링도 실행하지 않을 것인데, 이것은 A-프레임으로 정의될 것이다. 게다가, GOP의 프레임들의 나머지는 각 프레임의 영역들과 GOP의 다른 프레임들에서 발견된 유사 영역들간에 단지 차이를 가짐으로써 시간으로 필터링되는데, H-프레임으로 정의될 것이다.
특히, 시간 필터링 유닛(8)은 각 H-프레임에의 영역들에 매칭되었던 유사 영역들을 먼지 검색함으로써 H-프레임을 필터링할 것이다. 이것은 움직임 추정 유닛(6)에 의해 제공된 프레임 기준 수들 및 움직임 벡터들에 따라 실행될 것이다. 이전에 기술되었던 것처럼, 각 H-프레임에서의 영역들은 동일 GOP에서의 다른 프레임에서의 유사한 영역들에 매칭된다. 유사한 영역들은 검색한 후, 시간 필터링 영역 유닛(8)은 그 때 유사 영역들의 픽셀 값들 및 매칭된 영역들에서 픽셀 값들을 계산할 것이다. 또한, 시간 필터링 유닛(8)은 바람직하게 어떤 스케일링 요인에 의해 이런 차이를 나눌 것이다.
본 발명에 따라, 최적 매칭들의 품질이 상당히 개선되고 접속되지 않은 픽셀들의 수는 또한 감소되기에 위에서-기술된 MCTF 기법은 향상된 부호화 효율성을 제공한다. 특히, 시뮬레이션들은 접속되지 않은 픽셀들의 수가 각 프레임에 대해 34%에서 25%로 감소되는 것을 보여준다. 하지만, 본 발명의 MCFT 기법은 여전히 일정한 접속되지 않은 픽셀들을 만든다. 따라서, 시간 필터링(8)은 우즈에서 기술된 것처럼, 이러한 접속되지 않은 픽셀들을 처리할 것이다.
보여진 것처럼, 공간 분해 유닛(spatial decomposition unit; 10)은 MCTF 유닛(4)에 의해 제공된 프레임들에서의 공간 덧붙임들을 감소시키기 위해 포함한다. 동작 동안, MCTF 유닛으로부터 수신된 프레임들은 2D 웨이브렛 변환에 따라 웨이브렛 계수들로 변환된다. 많은 다른 형태의 필터들 및 웨이브렛 변환의 실행들이 있다.
적합한 2D 웨이브렛 변환의 일 실시예는 도 3에서 도시된다. 도시되는 것처럼, 프레임은 웨이브렛 필터들을 저 주파수 및 고 주파수 서브-밴드들로 사용하여 분해된다. 이것은 2-D 변환이기에 3개의 고주파 서브-밴드들(수평, 수직, 사선)이 있다. 저 주파수 서브-밴드는 LL 서브-밴드로 라벨 붙여진다(수평 및 수직 주파수들에서 둘 다 저 주파수). 이런 고 주파수 서브-밴드들은 수평 고 주파수, 수직 고 주파수, 수평 및 수직 고 주파수 양쪽 모두 대응하여 LH, HL, 및 HH로 라벨 붙여진다. 이런 저 주파수 서브-밴드는 또한 순환적으로 분해될 수 있다. 도 3에서, WT는 웨이브렛 변환을 나타낸다. Stephane Mallat저 Academic Press 1977, "A Wavelet Tour of Signal Processing"으로 명칭된 기술된 다른 잘 알려진 웨이브렛 변환 기법들이 있다.
도 2 뒤에서 언급하고 있는 것처럼, 인코더는 또한 중요도 정보에 따라 공간 분해 유닛(10)의 출력을 인코드하기 위해 중요도 부호화 유닛(12)를 포함할 수 있다. 이 예에서, 중요도는 웨이브렛 계수의 크기를 의미할 수 있고, 더 큰 계수들은 더 작은 계수들보다 더 중요할 수 있다. 이런 예에서, 중요도 부호화 유닛(10)은 공간 분해 유닛(10)으로부터 수신된 웨이브렛 계수들 크기에 따른 레코더 웨이브렛 계수들을 자세히 볼 것이다. 따라서, 가장 큰 크기는 웨이브렛 계수들은 먼저 보내질 것이다. 중요도 부호화의 한 실시예는 계층 트리들에서 세트 분할(Set Partitioning In ; SPIHT). 이것은 "A New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchial Trees," by A. Said and W. Pearl, IEEE Transaction on Circuit and Systems for Video Technology, vol. 6, June 1996.에서 기술될 것이다.
도 2에서 도시될 수 있는 것처럼, 점선들은 일정 동작들간에 의존성을 나타내도록 포함된다. 어떤 예에서, 움직임 추정 유닛(6) 중요도 부호화 유닛(12)의 성질에 의존한다. 예에서, 움직임 추정에 의해 만들어진 움직임 벡터들은 웨이브렛 계수들 중 어느 것이 더 중요한지 결정하는데 사용된다. 다른 예에서, 공간 분해(8)는 중요도 부호화(12)의 형태에 또한 의존할 수 있다. 예에서 웨이브렛 분해의 레벨들의 수는 가중된 계수들의 수와 관련된다.
또 보여지는 것처럼, 엔트로피 부호화 유닛(14)은 출력 비트-스트림을 만들도록 포함된다. 동작 동안, 엔트로피 부호화 기술은 웨이브렛 계수들을 출력 비트-스트림으로 부호화하도록 적용된다. 엔트로피 부호화 기술은 움직임 추정 유닛(6)에 의해 제공된 프레임 번호들 및 움직임 벡터들에 또한 적용된다. 이 정보는 복호화를 인에이블하기 위해 출력 비트-스트림에 포함된다. 적합한 엔트로피 부호화 기술의 예들은 가변 길이 부호화 및 수식 부호화를 포함한다.
본 발명에 따른 움직임 추정 유닛의 일 예는 도 4에서 도시된다. 이전에 기술된 것처럼, 본 발명에 따른 움직임 추정은 기준 프레임들을 사용할 것이다. 도 4에서 보여질 수 있는 것처럼, 후 예측(backward prediction)은 이 예에서 사용된다.처리되는 현 프레임으로부터 다른 블록들은 이전 프레임들에서 유사한 블록들에 매칭된다. 이런 예에서, 기준 프레임들의 수가 부호화 과정동안 고정되거나 적응하여 선택될 수 있다. 이 예에서 블록 근거 움직임 추정 기술들은 사용되는 것이 주목되어야 한다. 또한 방법들은 계층적이고 가변 블록 크기들을 허용한다.
본 발명에 따른 시간 필터링의 하나의 예는 도 5에서 도시된다. 보여질 수 있는 것처럼, 오래된 방법은 왼쪽 편이고, 본 발명에 따른 새로운 방법은 오른쪽 편이다. 예전 방식에서, 현재 프레임으로 및 단일 기준 프레임으로부터 픽셀들은 대응하는 H 및 L 프레임을 만들기 위해 함께 필터링된다. 반대로, 새로운 시간인 필터링 방식에서, 현재 프레임 또는 다중 기준 프레임들로부터 픽셀들은 함께 필터링된다. 이 예에서, 후 예측은 사용되어 결과 기준 프레임들은 이전 프레임들이다.
더욱이, 다중 기준 프레임들로부터 픽셀들의 그룹들 및 영역들이 새로운 필터링 방식으로 사용되었기에, 대응하는 L 프레임을 만드는 것은 필요치 한다. 대신에, H-프레임은 A-프레임으로 불리는 제 1 프레임을 제외한 GOP에서 프레임들의 각각에 대응하여 만들어진다. H-프레임들은 이전 프레임들에서의 매칭를 따라 현재 프레임으로부터 각 픽셀을 필터링함으로써 만들어진다.
도 5의 오른쪽 편으로부터 다시 보여지는 것처럼, 프레임(2)으로부터의 픽셀들은 프레임(1)에서의 픽셀들에 매칭되고, 프레임(3)으로부터의 픽셀들은 프레임들(1 및 2)에서의 픽셀들에 매칭되고, 프레임(4)으로부터의 픽셀들은 프레임들(1, 2, 3)에서의 픽셀들은 매칭된다. 대응하는 매칭들에 따라 프레임(2)으로부터 픽셀들은 대응하는 H 프레임을 만들기위해 시간으로 필터링된다. 유사하게, 대응하는 매칭들에 따라 프레임(3, 4)로부터의 픽셀들은 대응하는 H 프레임들을 만들도록 시간으로 필터링된다. 도 1의 오른쪽 편으로부터 다시 보여지는 것처럼, 프레임(1)로부터 픽셀들은 필터링되지 않고, 변하지 않은 상태에서 패스된다. 이전에 기술된 것처럼, 프레임의 이런 형태는 A-프레임으로 정의된다.
본 발명에 따른 시간인 필터링의 다른 예는 도 6에서 도시된다. 이 예에서, 양방향 예측이 사용된다. 이전에 기술되는 것처럼 양-방향 예측에서, 처리되는 각 프레임에서 영역들은 이전 및 진행 프레임들에서의 영역들에 매칭될 수 있다. 그 때 이런 영역들은 이전 및 진행 프레임들에서 매칭들에 따라 시간으로 매칭될 수 있다. 양방향 필터링은 장면 변화들에 따른 프레임들 또는 폐쇄들로 인도하는 장면에서 움직이는 많은 객체들을 구비한 프레임들에 대한 실행을 상당히 향상시키기 때문에 요구된다. 부호화 효율성에서의 이득들에 비교하여 상당하지 않지만, 움직임 벡터들의 제 2 세트를 부호화하는 것에 연관된 오버헤드이다.
도 6에서 도시되는 것처럼, 프레임들의 모든 것들이 양방향은 아니다. 예를 들어, 프레임(1)은 기준 프레임으로 사용되도록 그룹내의 이전 프레임들이 없기에 필터링되지 않는다. 따라서, 프레임(1)은 변하지 않고 패스되고 A-프레임으로 정의된다. 더욱이 프레임(3)은 h-프레임을 생산하도록 처리된다. 하지만, 기준 프레임들로 사용되도록 그룹내의 이용 가능한 진행 프레임들이 존재하지 않기에, 양방향 프레임들은 사용될 수 없다. 대신에, 프레임(3)은 이전 프레임들을 사용하여 시간으로 필터링된다. 이것은 후 예측이 시간 필터링을 실행하기 위하여 이전 프레임들에 매칭들을 발견하도록 사용된다. 시간인 필터링의 다른 예에서, GOP에서의 제 1프레임은 단일-방향 H-프레임이 될 것이고, 최종 프레임은 A-프레임이 될 것이다. 이 예에서, 전 예측은 시간 필터링을 실행하기 위해 진행 프레임들에서 매칭들을 발견하도록 사용될 것이다.
도시되는 것처럼, 프레임(2)은 양방향으로 필터링되는 H프레임이다. 하지만, 프레임(2)에서 영역들의 모든 것이 양방향으로 필터링되지 않는다. 예를 들어, 영역은 단지 이전 프레임에서 영역으로 매칭될 것이다. 그와 같은 영역은 후 예측을 사용하여 이전 프레임들에서 매칭들에 근거하여 필터링될 것이다. 유사하게, 진행 프레임에서 영역에 매칭되었던 영역은 전 예측을 사용함에 따라 필터링될 것이다.
영역이 이전 및 진행 프레임들에서의 영역들에 매칭되는 경우에서, 양방향 필터링은 실행될 것이다. 따라서, 이전 및 진행 프레임들에서의 영역들의 대응하는 픽셀들은 평균된다. 평균은 그 때 필터링되는 프레임에서 대응하는 픽셀들로부터 감산되는데, 이 예에서는 프레임(2)이다. 이전에 기술된 것처럼, 이 차는 일정 스케일링 요인에 의해 바람직하게 분할될 수 있다. 복호화를 단순하게 하기 위해, 기준 프레임들로서 양방향 H-프레임들을 사용하는 것은 바람직하지 않다. 이것은 양방향 프레임으로 복호화되기에, 이전 및 진행 프레임은 먼저 복호화되어야한다. 따라서, 다른 예들에서, 다중 양방향 프레임들은 GOP에 포함되고, 단일-방향 H 프레임들의 수를 포함하는 것이 필요하다.
본 발명에 따른 디코더의 일 실시예는 도 7에서 도시된다. 도 2에서 관련되어 이전에 기술된 것처럼, 입력 비디오는 GOP들로 분할되고, 각 GOP는 유닛으로 부호화된다. 따라서, 입력 비트-스트림은 유닛으로 복호화될 하나 이상의 GOP들을 포함할 수 있다. 비트-스트림은 이전에 시간으로 필터링되어 보상되었던 GOP에서의 각 프레임에 대응하는 프레임 번호들 및 복수의 움직임 벡터들을 또한 포함할 수 있다. 움직임 벡터들 및 프레임 벡터들은 시간으로 필터링되었던 프레임들의 각각에서 영역들에 이전에 매칭된 동일 GOP들에서 다른 프레임들에서 영역들을 나타낼 것이다.
도시되는 것처럼, 디코더는 들어오는 비트-스트림을 복호화하는 엔트로피 복호화 유닛(16)을 포함한다. 동작동안, 입력 비트-스트림은 부호화 면에서 실행되는 엔트로피 부호화 기술의 역에 따라 복호화될 것이다. 이 엔트로피 복호화은 각 GOP에 대응하는 웨이브렛 계수들을 실행할 것이다. 더욱이, 엔트로피 복호화은 이후에 사용될 복수의 움직임 벡터들 및 프레임 번호들을 만들 것이다.
중요도 복호화 유닛(18)은 중요도 정보에 따라 엔트로피 복호화 유닛(16)으로부터 웨이브렛 계수들을 복호화하기위해 포함된다. 따라서, 동작 동안, 웨이브 계수들은 인코더 측에서 사용된 기술의 역을 사용하여 정확한 공간 순서에 따라 순서로 될 것이다. 더 도시되는 것처럼, 공간 분해 유닛(20)은 또한 중요도 복호화 유닛(18)으로부터 부분적으로 복호화 프레임들로 변환되는 것이 포함된다. 동작 동안, 각 GOP에 대응하는 웨이브렛 계수들은 인코더 측에서 실행되는 2D 웨이브렛 변환의 역에 따라 변환될 것이다. 이것은 본 발명에 따라 시간으로 필터링되어 움직임 보상된 복호화 프레임들을 부분적으로 만들 것이다.
이전에 기술된 것처럼, 본 발명에 따라 시간 필터링되어 보상된 움직임은 복수의 H-프레임들 및 A-프레임에 의해 나타나는 각 GOP에서 발생하고, H-프레임은GOP에서의 각 프레임과 동일 GOP에서 다른 프레임들간의 차이고, A-프레임은 인코더 측에서의 시간 필터링 및 움직임 추정에 의해 처리되지 않는 제 1 및 최종 프레임 중 하나이다. A-프레임은 실행되는 예측의 형태에 의존하여 GOP에서의 제 1 및 최종 프레임 중 하나를 나타낼 수 있다.
역 시간 필터링 유닛(22)은 인코더 측에서 실행된 시간 필터링의 역을 실행함으로써 공간 분해 유닛(20)으로부터 각 GOP에 포함된 H-프레임들을 개조하도록 포함된다. 먼저, 인코더 측에서의 H-프레임들이 일정 스케일링 요인들에 의해 분할된다면, 공간 개조 유닛(20)으로부터의 프레임들은 동일 요인에 의해 곱해질 것이다. 또한, 시간 필터링 유닛(22)은 그 때 엔트로피 복호화 유닛(16)에 의해 제공된 프레임 번호들 및 움직임 벡터들 MV에 기초한 각 GOP에 포함된 H-프레임들을 재건할 것이다.
H-프레임들을 재건하기 위해 A-프레임은 각 GOP내에 위치되도록 먼저 결정된다. 부호화측에서 후 움직임 추정이 사용된다면, A-프레임은 이 예에서 GOP에서 제 1 프레임이 될 것이다. 따라서, 역 시간 필터링 유닛(22)은 GOP에서 제 2 프레임을 재건하기 시작할 것이다. 특히 제 2 프레임은 특정 프레임에 제공된 프레임 번호들 및 움직임 벡터들에 따라 픽셀 값들을 검색함으로써 재건될 것이다. 이 경우에서, 움직임 벡터들은 A-프레임인 제 1 프레임내의 영역들을 가리킬 것이다. 역 시간 필터링 유닛(22)은 그 때 검색된 픽셀 값들을 제 2 프레임내의 대응하는 영역들에 부가할 것이고 실제 픽셀 값들을 그 차로 전환한다. 다음 프레임은 GOP내의 모든 프레임들이 계속 재건될 때까지 기준들로서 제 1 및 제 2 프레임을 사용하여 유사하게 재건된다.
인코더 측상에서 전 움직임 추정(forward motion estimation)이 사용된다면, A-프레임은 이 예에서 최종 프레임이 될 것이다. 따라서, 역 필터링 유닛(22)은 GOP내의 제 2 프레임에서 최종 프레임까지 재건하기 시작할 것이다. 제 2 프레임에서 최종 프레임까지 특정 프레임에 대해 제공된 프레임 번호들 및 움직임 벡터들에 따라 픽셀 값들을 검색함으로써 재건될 것이다. 이 경우에서, 움직임 벡터들은 최종 프레임인, A-프레임내의 영역들을 가리킬 것이다. 역 시간 필터링(22)은 그 때 검색된 픽셀 값들을 제 2 프레임에서 최종 프레임내의 대응하는 영역들에 부가하여, 차이를 실제 픽셀 값으로 전환한다. 다음 프레임은 그 때 최종 및 기준들로서 제 2 프레임에서 최종 프레임까지 재건되고 계속해서 GOP내의 모든 프레임들은 재건될 것이다.
인코더 측상에서 양 방향 움직임 추정이 사용된다면, A-프레임은 구현되는 예에 의존하여 GOP에서 제 1 및 최종 프레임 중 하나가 될 것이다. 따라서, 역 필터링 유닛(22)은 제 2 프레임 또는 GOP내의 제 2 프레임에서 최종 프레임 중 하나를 재건하기 시작할 것이다. 유사하게, 이 프레임은 움직임 벡터들 및 특정 프레임으로 제공된 프레임 번호들에 따른 픽셀 값들을 검색함으로써 재건될 것이다.
이전에 기술된 것으로, 양-방향 H-프레임들은 이전 프레임들, 진행 프레임들 또는 양쪽으로부터의 매칭들에 근거하여 필터링되는 영역들을 포함한다. 이전 또는 진행 프레임들로부터 매칭들에 대하여, 픽셀 값들은 처리되는 현재 프레임에서 대응하는 영역들에 부가되고 검색될 것이다. 양쪽 매칭들에 대하여, 이전 및 진행 프레임로부터 값들은 검색될 것이고 그 때 평균된다. 이 평균은 처리되는 현재 프레임에서의 대응하는 영역에 부가될 것이다.
GOP가 부가적인 양방향 H-프레임들을 포함한다면, 위에서 기술된 것처럼 이러한 프레임들은 또한 재건될 것이다. 이전에 양방향 시간 필터링에 관하여 기술된 것으로, 단일-방향 H-프레임들은 양방향 H-프레임들에 따라 또한 포함될 것이다. 양방향 프레임들을 재건하기 위해, 역 시간 필터링은 후 또는 전 예측이 인코더 측에 실행되는지 결정하도록 이전 또는 진행 프레임중 하나에서 실행될 것이다.
실행될 수 있는 본 발명에 따라 움직임 보상 시간 필터링에 대한 다중 기준 프레임들을 사용하는 부호화 기반 웨이브렛에서의 시스템의 일 예는 도 8에서 도시된다. 예에 의해, 시스템은 이런 및 다른 장치들의 부분들 및 조합들과 함께, 비디오 카세트 레코더(VCR), 디지털 비디오 레코더(DVR), TiVO 장치등과 같은 텔레비전, 셋-톱 박스, 데스크톱, 랩톱 또는 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 비디오/이미지 기억 장치를 나타낸다. 시스템은 하나 이상의 비디오 소스들(26), 하나 이상의 입력/출력 장치들(34), 프로세서(28), 메모리(30), 및 디스플레이 장치(36)를 포함한다.
비디오/이미지 소스(들)(26)은 예컨대, 텔레비전, VCR 또는 다른 비디오/이미지 기억 장치들을 나타낸다. 소스(들)(26)은 여러 네트워크의 부분들 또는 조합들과 함께 예컨대, 인터넷과 같은 세계적 컴퓨터 통신 네트워크, 광역 네트워크, 대도시 네트워크, 지역 네트워크, 지상 방송 시스템, 케이블 네트워크, 위성 네트워크, 유선 네트워크, 또는 전화 네트워크에 대한 서버 또는 서버들로부터 비디오를수신하는 하나 이상의 네트워크 접속들을 대안으로 나타낼 수 있다.
입력/출력 장치들(34), 프로세서(28) 및 메모리(30)는 통신 매체(32)로 통신한다. 통신 매체(32)는 여러 통신 매체의 부분들 및 조합들과 함께 회로, 회로 카드 또는 다른 장치의 하나 이상의 접속들, 통신 네트워크, 버스를 나타낸다. 소스(들)(26)로부터 입력 비디오 데이터는 메모리(30)에 저장된 하나 이상의 소프트웨어 프로그램과 관련되어 처리되고, 디스플레이 장치(36)에 공급된 출력 비디오/이미지들을 발생시키도록 프로세서(28)에 의해 실행될 것이다.
특히, 메모리(30)에 저장된 소프트웨어 프로그램들은 도 2 및 7에 관련하여 이전에 기술된, 움직임 보상 시간 필터링에 대한 다중 기준 프레임들을 사용하여 부호화 기반 웨이브렛을 포함한다. 이 실시예에서, 움직임 보상 시간 필터링에 대한 다중 기준 프레임들을 사용하는 부호화 기반 웨이브렛은 시스템에 의해 실행되는 컴퓨터 판독가능 코드에 의해 구현될 것이다. 코드는 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로드되거나 메모리(30)에 저장될 수 있다. 다른 실시예들에서, 하드웨어 회로는 본 발명을 구현하도록 소프트웨어 지시들을 조합하거나 대체하여 사용될 것이다.
본 발명이 특정 예들의 표현으로 상기에서 기술되는 동안, 본 발명은 여기에서 개시된 예들에 제한되거나 한정되도록 의도되지 않는다. 따라서, 본 발명은 첨부된 청구범위들의 정신 및 범위 내에서 포함된 여러 구조들 및 변형들을 다루도록 의도된다.

Claims (29)

  1. 한 그룹의 비디오 프레임들을 부호화하는 방법에 있어서,
    상기 그룹의 적어도 하나의 프레임내의 영역들을 다중 기준 프레임들내의 영역들에 매칭시키는 단계;
    상기 적어도 하나의 프레임내의 상기 영역들과 상기 다중 기준 프레임들내의 영역들의 픽셀 값들간의 차를 계산하는 단계;
    상기 차를 웨이브렛 계수들(wavelet coefficients)로 변환하는 단계를 포함하는, 비디오 프레임들 부호화 방법.
  2. 제 1 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 이전 프레임들인, 비디오 프레임들 부호화 방법.
  3. 제 1 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 진행 프레임들인, 비디오 프레임들 부호화 방법.
  4. 제 1 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 이전 및 진행 프레임들인, 비디오프레임들 부호화 방법.
  5. 제 1 항에 있어서,
    상기 적어도 프레임내의 상기 영역들과 상기 다중 프레임들내의 상기 영역들의 픽셀들 간의 차를 스케일링 인자(scailng factor)로 나누는 단계를 더 포함하는, 비디오 프레임들 부호화 방법.
  6. 제 1 항에 있어서,
    중요도 정보(significance information)에 따라 상기 웨이브렛 계수들을 부호화하는 단계를 더 포함하는, 비디오 프레임들 부호화 방법.
  7. 제 1 항에 있어서,
    상기 웨이브렛 계수들을 엔트로피 부호화하는 단계를 더 포함하는, 비디오 프레임들 부호화 방법.
  8. 한 그룹의 비디오 프레임들을 부호화하는 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    상기 그룹의 적어도 하나의 프레임내의 영역들을 다중 기준 프레임들내의 영역들에 매칭시키는 코드;
    상기 적어도 하나의 프레임 내의 상기 영역들과 상기 다중 기준 프레임들내의 상기 영역들의 픽셀 값들간의 차를 계산하는 코드;
    상기 차를 웨이브렛 계수들로 변환하는 코드를 포함하는, 메모리 매체.
  9. 비디오 시퀀스를 부호화하는 장치에 있어서,
    상기 비디오 시퀀스를 프레임들의 그룹들로 분할하는 분할 유닛;
    다중 기준 프레임들을 사용하여 각 그룹의 적어도 하나의 프레임을 움직임 보상 시간 필터링하는 유닛; 및
    각 그룹을 웨이브렛 계수들로 변환하는 공간 분해 유닛을 포함하는, 비디오 시퀀스 부호화 장치.
  10. 제 9 항에 있어서,
    상기 움직임 보상 시간 필터링 유닛은,
    상기 적어도 하나의 프레임내의 영역들을 상기 다중 기준 프레임들내의 영역들에 매칭시키는 움직임 추정 유닛;
    상기 적어도 프레임내의 영역들과 상기 다중 기준 프레임들내의 상기 영역들의 픽셀 값들간의 차를 계산하는 시간 필터링 유닛을 포함하는, 비디오 시퀀스 부호화 장치.
  11. 제 9 항에 있어서,
    상기 다중 기준 프레임들은 상기 동일 그룹내의 이전 프레임들인, 비디오 시퀀스 부호화 장치.
  12. 제 9 항에 있어서,
    상기 다중 기준 프레임들은 상기 동일 그룹내의 진행 프레임들인, 비디오 시퀀스 부호화 장치.
  13. 제 9 항에 있어서,
    상기 다중 기준 프레임들은 상기 동일 그룹내의 이전 및 진행 프레임들인, 비디오 시퀀스 부호화 장치.
  14. 제 10 항에 있어서,
    상기 시간 필터링 유닛은 상기 적어도 하나의 프레임내의 상기 영역들과 상기 다중 프레임들내의 상기 영역들내의 픽셀들간의 차를 스케일링 인자로 나누는, 비디오 시퀀스 부호화 장치.
  15. 제 9 항에 있어서,
    중요도 정보에 따른 상기 웨이브렛 계수들을 부호화하는 유닛을 더 포함하는, 비디오 시퀀스 부호화 장치.
  16. 제 9 항에 있어서,
    상기 웨이브렛 계수들을 비트-스트림으로 부호화하는 엔트로피 부호화 유닛을 더 포함하는, 비디오 시퀀스 부호화 장치.
  17. 한 그룹의 부호화 비디오 프레임들을 포함하는 비트-스트림을 복호화하는 방법에 있어서,
    웨이브렛 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 복호화하는 단계;
    상기 웨이브렛 계수들을 부분적 복호화 프레임들로 변환하는 단계; 및
    다중 기준 프레임들을 사용하여 적어도 하나의 부분적 복호화 프레임을 역 시간 필터링하는 단계를 포함하는, 비트-스트림 복호화 방법.
  18. 제 17 항에 있어서,
    상기 역 시간 필터링하는 단계는,
    상기 적어도 하나의 부분적 복호화 프레임내의 영역들에 이전에 매칭된 상기 다중 기준 프레임들로부터의 영역들을 검색하는 단계; 및
    상기 다중 기준 프레임들내의 영역들의 픽셀 값들을 상기 적어도 하나의 부분적 복호화 프레임내의 영역들의 픽셀 값들에 부가하는 단계를 포함하는, 비트-스트림 복호화 방법.
  19. 제 18 항에 있어서,
    상기 다중 기준 프레임들로부터 영역들을 검색하는 단계는 상기 비트-스트림에 포함된 움직임 벡터들 및 프레임 번호들에 따라 형성되는, 비트-스트림 복호화 방법.
  20. 제 17 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 이전 프레임들인, 비트-스트림 복호화 방법.
  21. 제 17 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 진행 프레임들인, 비트-스트림 복호화 방법.
  22. 제 17 항에 있어서,
    상기 다중 기준 프레임들은 상기 그룹내의 이전 및 진행 프레임들인, 비트-스트림 복호화 방법.
  23. 제 17 항에 있어서,
    상기 적어도 하나의 복호화 프레임을 스케일링 인자와 곱하는 단계를 더 포함하는, 비트-스트림 복호화 방법.
  24. 제 17 항에 있어서,
    중요도 정보에 따라 상기 웨이브렛 계수들을 복호화하는 단계를 더 포함하는, 비트-스트림 복호화 방법.
  25. 한 그룹의 복호화 비디오 프레임들을 포함하는 비트-스트림을 복호화하는 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    웨이브렛 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 복호화하는 코드;
    상기 웨이브렛 계수들을 부분적 복호화 프레임들로 변환하는 코드;
    다중 기준 프레임들을 사용하여 적어도 하나의 부분적 복호화 프레임을 역 시간 필터링하는 코드를 포함하는, 매모리 매체.
  26. 한 그룹의 비디오 프레임들을 포함하는 비트-스트림을 복호화하는 장치에 있어서,
    상기 비트-스트림을 웨이브렛 계수들로 복호화하는 엔트로피 복호화 유닛;
    상기 웨이브렛 계수들을 부분적 복호화 프레임들로 변환하는 공간 조립(recomposition) 유닛; 및
    적어도 하나의 부분적 복호화 프레임내의 영역들에 이전에 매칭된 다중 기준프레임들로부터의 영역들을 검색하고 다중 기준 프레임들내의 영역들 픽셀 값들을 상기 적어도 하나의 부분적 복호화 프레임내의 영역들의 픽셀 값들에 부가하는 역 시간 필터링 유닛을 포함하는, 비트-스트림 복호화 장치.
  27. 제 26 항에 있어서,
    다중 기준 프레임들로부터의 영역을 검색하는 단계는 상기 비트-스트림에 포함된 프레임 번호들 및 움직임 벡터들에 따라 실행되는, 비트-스트림 복호화 장치.
  28. 제 26 항에 있어서,
    상기 역 시간 필터링 유닛은 상기 적어도 하나의 복호화 프레임을 스케일링 인자와 곱하는, 비트-스트림 복호화 장치.
  29. 제 26 항에 있어서,
    중요도 정보에 따라 상기 웨이브렛 계수들을 복호화하는 중요도 복호화 유닛을 더 포함하는, 비트-스트림 복호화 장치.
KR10-2004-7017434A 2002-04-29 2003-04-23 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링 KR20040106418A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US37638102P 2002-04-29 2002-04-29
US60/376,381 2002-04-29
US10/218,214 2002-08-13
US10/218,221 2002-08-13
US10/218,221 US20030202599A1 (en) 2002-04-29 2002-08-13 Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US10/218,214 US7023923B2 (en) 2002-04-29 2002-08-13 Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
PCT/IB2003/001721 WO2003094526A2 (en) 2002-04-29 2003-04-23 Motion compensated temporal filtering based on multiple reference frames for wavelet coding

Publications (1)

Publication Number Publication Date
KR20040106418A true KR20040106418A (ko) 2004-12-17

Family

ID=31192007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7017434A KR20040106418A (ko) 2002-04-29 2003-04-23 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링

Country Status (6)

Country Link
EP (1) EP1504608A2 (ko)
JP (1) JP2005524354A (ko)
KR (1) KR20040106418A (ko)
CN (1) CN1650633A (ko)
AU (1) AU2003219461A1 (ko)
WO (1) WO2003094526A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
US7885327B2 (en) 2005-02-14 2011-02-08 Samsung Electronics Co., Ltd. Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
US8755440B2 (en) 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025904A1 (en) * 2004-08-31 2006-03-09 Thomson Licensing Fast motion estimation for multiple reference pictures
KR100738076B1 (ko) 2004-09-16 2007-07-12 삼성전자주식회사 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2006118384A1 (en) * 2005-05-02 2006-11-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding multi-layer video using weighted prediction
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885327B2 (en) 2005-02-14 2011-02-08 Samsung Electronics Co., Ltd. Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
US8340181B2 (en) 2005-02-14 2012-12-25 Samsung Electronics Co., Ltd. Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
US8755440B2 (en) 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding

Also Published As

Publication number Publication date
WO2003094526A2 (en) 2003-11-13
AU2003219461A8 (en) 2003-11-17
AU2003219461A1 (en) 2003-11-17
WO2003094526A3 (en) 2004-02-05
CN1650633A (zh) 2005-08-03
JP2005524354A (ja) 2005-08-11
EP1504608A2 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US20030202599A1 (en) Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20050157794A1 (en) Scalable video encoding method and apparatus supporting closed-loop optimization
JP2006521039A (ja) オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
KR20040077777A (ko) 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들
US20050265612A1 (en) 3D wavelet video coding and decoding method and corresponding device
KR20040106418A (ko) 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
US20040008785A1 (en) L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding
US20050232353A1 (en) Subband video decoding mehtod and device
WO2007027012A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
WO2006080665A1 (en) Video coding method and apparatus

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid