KR20040106417A - 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩 - Google Patents

다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩 Download PDF

Info

Publication number
KR20040106417A
KR20040106417A KR10-2004-7017433A KR20047017433A KR20040106417A KR 20040106417 A KR20040106417 A KR 20040106417A KR 20047017433 A KR20047017433 A KR 20047017433A KR 20040106417 A KR20040106417 A KR 20040106417A
Authority
KR
South Korea
Prior art keywords
frames
regions
frame
multiple reference
partially decoded
Prior art date
Application number
KR10-2004-7017433A
Other languages
English (en)
Inventor
디팍투라가
반데르스카르미하엘라
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040106417A publication Critical patent/KR20040106417A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상 프레임들의 그룹을 부호화하기 위한 방법 및 장치로 인도된다. 본 발명에 따라, 상기 그룹으로부터 다수의 프레임들이 선택된다. 다수의 프레임들의 각각의 영역들은 다중 참조 프레임들내의 영역들에 매칭된다. 다수의 프레임들의 각각의 영역들과 다중 참조 프레임들내의 영역들의 픽셀 값들간의 차가 계산된다. 상기 차이는 웨이블릿 계수들로 변환된다. 본 발명은 상기 기술된 부호화를 역으로 수행함으로써 프레임들의 그룹을 복호화하기 위한 방법 및 장치로 또한 인도된다.

Description

다중 참조 프레임들에 기초하여 움직임 보상 시간 필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩{Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames}
다수의 현재 영상 코딩 알고리듬들은 주요한 하이브리드 스킴들인 움직임 보상 예측 코딩에 기초한다. 이러한 하이브리드 스킴들(schemes)에서, 공간 덧붙임(spatial redundancy)은 움직임 보상의 나머지를 변환 코딩함으로써 감소되고, 시간 덧붙임(temporal redundancy)은 움직임 보상을 사용하여 감소된다. 통상적으로 사용되는 변환들은 이산 코사인 변환(DCT) 또는 서브밴드/웨이블릿 분해들을 포함한다. 그러나, 이러한 스킴들은 트루 스케일링 가능(true scalable) 비트 스트림들을 제공한다는 점에서 유연성이 부족하다.
3D 서브밴드/웨이블릿(이후 "3D 웨이블릿")으로 알려진 다른 형태의 스킴 기반 코딩은 이종 네트워크들(heterogeneous networks)을 통한 영상 전송의 현재 계획에서 특히 선호되어 왔다. 매우 유연한 스케일링 가능 비트 스트림들 및 더 높은 오류 장애 허용성(error resilience)이 제공되면서 이들 스킴들은 그러한 애플리케이션에서 선호된다. 3D 웨이블릿 코딩에서, 전체 프레임은 DCT 기반 코딩에서와 같이 일 블록씩 변환되지 않고 일시에 변환된다.
3D 웨이블릿 스킴들 중 하나의 구성요소는 시간 덧붙임을 감소시키기 위해 수행되는 움직임 보상 시간 필터링(MCTF)이다. MCTF의 일 예는 이후 "Woods"라 호칭될, Seung-Jong Choi 및 John Woods에 의한, IEEE Transactions On Image Processing, 1999년 2월, 볼륨 8, 제2호의 명칭이 "Motion-Compensated 3-D Subband Coding of Video"인 논문에 기술되어 있다.
Woods에서, 프레임들은 공간 분해가 수행되기 전에 움직임의 방향에서 시간적으로 필터링된다. 시간 필터링 동안, 일부 픽셀들은 장면에서의 움직임의 성질 및 오브젝트들의 커버링/언커버링으로 인해 참조되거나 또는 참조되지 않은 다중 시간들이다. 이러한 픽셀들은 미연결된 픽셀들(unconnected pixels)로 알려져 있고, 감소된 부호화 효율로 이끄는 특수 처리(special handling)를 요구한다. 미연결된 및 연결된 픽셀들의 예는 도 1에 도시되고, 이들은 Woods로부터 취한 것이다.
본 발명은 일반적으로 영상 압축에 관한 것이고, 특히, 움직임 보상 시간 필터링을 위한 다중 참조 프레임들을 이용하는 웨이블릿 기반 코딩에 관한 것이다.
도 1은 알려진 움직임 보상 시간 필터링 기술의 양상들을 예시하는 도면.
도 2는 본 발명에 따른 엔코더의 일 실시예의 블록도.
도 3은 2D 웨이블릿 변환의 일 실시예를 예시하는 블록도.
도 4는 본 발명에 따른 시간 필터링의 일 실시예를 예시하는 도면.
도 5는 본 발명에 따른 시간 필터링의 다른 실시예를 예시하는 도면.
도 6은 본 발명에 따른 시간 필터링의 또 다른 실시예를 예시하는 도면.
도 7은 본 발명에 따른 디코더의 일 실시예를 예시하는 도면.
도 8은 본 발명에 따른 시스템의 일 실시예를 예시하는 도면.
본 발명은 영상 프레임들의 그룹을 부호화하기 위한 방법 및 장치로 인도된다. 본 발명에 따라, 그룹으로부터 다수의 프레임들이 선택된다. 다수의 프레임들의 각각의 영역들은 다중 참조 프레임들내의 영역들에 매칭된다(match). 다수의 프레임들의 각각의 영역들과 다중 참조 프레임들내의 영역들간의 픽셀 값들의 차는 계산된다. 차이는 웨이블릿 계수들로 변환된다.
본 발명에 따른 부호화의 다른 예에서, 적어도 하나의 프레임들의 영역들은다른 프레임의 영역들에 또한 매칭된다. 적어도 하나의 프레임 및 다른 프레임은 다수의 프레임들에 포함되지 않는다. 적어도 하나의 프레임의 영역들과 다른 프레임의 영역들의 픽셀 값들간의 차는 계산된다. 게다가, 차이는 웨이블릿 계수들로 또한 변환된다.
본 발명은 부호화된 영상 프레임들의 그룹을 포함하는 비트-스트림을 복호화하기 위한 방법 및 장치로 또한 인도된다. 본 발명에 따라, 비트-스트림은 웨이블릿 계수들을 생성하기 위해 엔트로피(entropy) 복호화된다. 웨이블릿 계수들은 부분적으로 복호화된 프레임들을 생성하기 위해 변환된다. 다수의 부분적으로 복호화된 프레임들은 다중 참조 프레임들을 사용하여 역 시간 필터링(inverse temporally filtering)된다.
예컨대, 역 시간 필터링은 부분적으로 복호화된 다수의 프레임들의 각각의 영역들에 이전에 매칭된 다중 참조 프레임들로부터의 검색된 영역들을 포함한다. 게다가, 다중 프레임들내의 영역들의 픽셀 값들은 다수의 부분적으로 복호화된 프레임들의 각각의 영역들의 픽셀 값들에 부가된다.
본 발명에 따른 복호화의 또 다른 예에서, 적어도 하나의 부분적으로 복호화된 프레임은 다른 부분적으로 복호화된 프레임에 기초하여 또한 역 시간 필터링된다. 역 시간 필터링은 검색된 적어도 하나의 부분적으로 복호화된 프레임내의 영역들에 이전에 매칭된 다른 부분적으로 복호화된 프레임으로부터의 영역들을 포함한다. 게다가, 다른 부분적으로 복호화된 프레임내의 영역들의 픽셀 값들은 적어도 하나의 부분적으로 복호화된 프레임내의 영역들의 픽셀 값들에 부가된다. 적어도 하나의 부분적으로 복호화된 프레임 및 다른 부분적으로 복호화된 프레임은 다수의 프레임들에 포함되지 않는다. 동일한 참조 번호들은 전체에서의 대응하는 부분들을 표현하는 도면들을 이제 참조한다.
이전에 기술된 바와 같이, 3D 웨이블릿 스킴들의 일 구성요소는 시간 덧붙임을 감소시키기 위해 수행되는 움직임 보상 시간 필터링(MCTF)이다. MCTF 동안, 미연결된 픽셀들은 감소된 코딩 효율로 이끄는 특수 처리를 요구한다. 본 발명은 매칭의 질을 크게 향상시키고 미연결된 픽셀들의 수를 또한 감소시키기 위해 움직임 추정(estimation) 및 시간 필터링 동안 다중 참조 프레임들을 사용하는 새로운 MCTF 스킴으로 인도된다. 따라서, 이 새로운 스킴은 최적의 매칭들을 향상시키고 미연결된 픽셀들의 수를 또한 감소시킴으로써, 향상된 코딩 효율을 제공하도록 이끈다. 게다가, 새로운 MCTF 스킴은 특정 그룹내의 프레임들에 선택적으로 적용될 수 있다. 이는 영상이 상이한 프레임 레이트들에서 복호화되는 것을 가능하게 할 시간 스케일러빌리티(scalability)를 새로운 스킴이 제공할 수 있도록 할 것이다.
본 발명에 따른 엔코더의 일 실시예는 도 2에 도시된다. 보이는 바와 같이, 엔코더는 유닛으로서 부호화되는, 화상들의 그룹(group of pictures; GOP)으로 입력 영상을 나누기 위한 분할 유닛(partitioning unit)(2)을 포함한다. 본 발명에 따라, 분할 유닛(2)은 GOP가 프레임들의 미리 결정된 수를 포함하도록 또는 대역폭, 코딩 효율, 및 영상 컨텐트와 같은 파라메터들에 기초하는 오퍼레이션 동안 GOP가 동적으로 결정되도록 동작한다. 예컨대, 영상이 신속한 장면 변화들 및 고속 움직임으로 이루어진다면, 더 짧은 GOP를 갖는 것이 더 효율적이고, 반면에 영상이 정지 오브젝트들로 대부분 이루어진다면, 더 긴 GOP를 갖는 것이 더 효율적이다.
보이는 바와 같이, MCTF 유닛(4)은 움직임 추정 유닛(6) 및 시간 필터링 유닛(8)으로 이루어진다. 오퍼레이션 동안, 움직임 추정 유닛(6)은 각각의 GOP내의 다수의 프레임들에 관한 움직임 추정을 수행한다. 움직임 추정 유닛(6)에 의해 처리된 프레임들은 H-프레임들로서 규정될 것이다. 게다가, 움직임 추정 유닛(6)에 의해 처리되지 않은, 각각의 GOP내의 다수의 다른 프레임들이 존재할 수 있고, 이들은 A-프레임들로서 규정된다. 각각의 GOP내의 다수의 A-프레임들은 다수의 인자들로 인해 변할 수 있다. 먼저, 각각의 GOP내의 제1 또는 마지막 프레임 중 하나는 순방향, 역방향 또는 양방향 예측 중 어떤 것이 사용되는가에 의존하여 A-프레임일 수 있다. 게다가, 각각의 GOP내의 다수의 프레임들은 시간 스케일러빌리티를 제공하도록 A-프레임으로서 선택될 수 있다. 이 선택은 모든 제2 프레임, 제3 프레임, 제4 프레임, 등등과 같은 어떤 임의의 간격에서 이루어질 수 있다.
본 발명에 따라, A-프레임들의 사용은 본 발명에 따라 부호화된 영상이 시간적으로 스케일링 가능하도록 한다. A-프레임들이 독립적으로 부호화되므로, 영상은 더 낮은 프레임 레이트에서 좋은 질로 복호화될 수 있다. 게다가, 움직임 추정 유닛(6)에 의해 처리되기 위해 어떤 프레임들이 선택되지 않았는가에 기초하여, A-프레임들은 어떤 임의의 간격에서 GOP내로 주입될 수 있고, 이는 영상이 1/2, 1/3, 1/4, 등등과 같은 어떤 임의의 프레임 레이트에서 복호화되도록 할 것이다. 반대로, Woods에서 기술된 MCTF 스킴은 시간 필터링이 쌍들(pairs)에서 수행되므로, 2개의 다중들에서만 스케일링 가능하다. 게다가, A-프레임들의 사용은 이들 프레임들이 다른 프레임들에 관련하지 않고 부호화되므로, 예측 드리프트(prediction drift)를 제한한다.
상술된 바와 같이, 움직임 추정 유닛(6)은 각각의 GOP내의 다수의 프레임들에 관한 움직임 추정을 수행한다. 그러나, 본 발명에 따라, 이들 프레임들에서 수행된 움직임 추정은 다중 참조 프레임들에 기초할 것이다. 따라서, 처리된 각각의 프레임내의 픽셀들 또는 영역들의 그룹들은 동일한 GOP내의 다른 프레임들내의 픽셀들의 유사한 그룹들에 매칭될 것이다. GOP내의 사용된 다른 프레임들은 처리되지 않은 것들(A-frames) 또는 처리된 것들(H-frames)일 수 있다. 따라서, GOP내의 다른 프레임들은 처리된 각각의 프레임에 대한 참조 프레임들이다.
일 실시예에서, 움직임 추정 유닛(6)은 역방향 예측을 수행할 것이다. 따라서 GOP내의 하나 이상의 프레임들내의 픽셀들 또는 영역들의 그룹들은 동일한 GOP의 이전 프레임들내의 픽셀들 또는 영역들의 유사한 그룹들에 매칭된다. 이 실시예에서, GOP내의 이전 프레임들은 처리된 각각의 프레임에 대한 참조 프레임들이다. 역방향 예측이 본 실시예에서 사용되므로, GOP내의 제1 프레임은 이용 가능한 이전 프레임들이 없으므로 A-프레임일 수 있다. 그러나, 대안적으로, 다른 실시예에서, 제1 프레임은 순방향 예측될 수 있다.
다른 실시예에서, 움직임 추정 유닛(6)은 순방향 예측을 수행할 것이다. 따라서, GOP의 하나 이상의 프레임들내의 픽셀들 또는 영역들의 그룹들은 동일한 GOP의 진행 프레임들내의 픽셀들 또는 영역들의 유사한 그룹들에 매칭된다. 이 실시예에서, GOP내의 진행 프레임들은 처리된 각각의 프레임들에 대한 참조 프레임들이다. 순방향 예측이 이 실시예에서 사용되므로, GOP내의 마지막 프레임은 이용 가능한 진행 프레임들이 없으므로 A-프레임일 수 있다. 그러나, 대안적으로, 다른 실시예에서, 마지막 프레임은 역방향 예측될 수 있다.
다른 실시예에서, 움직임 추정 유닛(6)은 양방향 예측을 수행할 것이다. 따라서, GOP의 하나 이상의 프레임들내의 픽셀들 또는 영역들의 그룹들은 동일한 GOP의 이전 및 진행 프레임들 둘 다내의 픽셀들 또는 영역들의 유사한 그룹들에 매칭된다. 이 실시예에서, GOP내의 이전 및 진행 프레임들은 처리된 각각의 프레임들에 대한 참조 프레임들이다. 양방향 예측이 이 실시예에서 사용되므로, GOP내의 제1 또는 마지막 프레임은 이용 가능한 이전 또는 진행 프레임들이 없으므로 A-프레임일 수 있다. 그러나, 대안적으로, 다른 실시예에서, 제1 프레임은 순방향 예측될 수 있고, 또는 마지막 프레임은 역방향 예측될 수 있다.
상술된 매칭의 결과로서, 움직임 추정 유닛(6)은 처리되는 현재 프레임내에서 매칭된 각각의 영역에 대한 프레임 번호 및 움직임 벡터 MV가 제공될 것이다. 일부 경우들에서, 처리되는 현재 프레임내의 각각의 영역에 연관된 하나의 움직임 벡터 MV 및 프레임 번호만이 존재할 것이다. 각각의 움직임 벡터 및 프레임 번호는 처리된 각각의 프레임내의 영역에 매칭된 유사한 영역을 포함하는 GOP내의 다른 프레임 및 위치를 표시할 것이다.
오퍼레이션 동안, 시간 필터링 유닛(8)은 움직임 추정 유닛(6)에 의해 제공된 움직임 벡터들 MV 및 프레임 번호들에 따른 각각의 GOP의 프레임들간의 시간 덧붙임들을 제거한다(remove). 도 1로부터 보이는 바와 같이, Woods의 MCTF는 2개의 프레임들을 획득하고, 저역 서브-밴드 및 고역 서브-밴드를 포함하는 2개의 서브-밴드들로 변환시킨다. 저역 서브-밴드는 2개의 프레임들내의 대응하는 픽셀들의 (스케일링된)평균에 대응하고, 반면에, 고역 측파대는 2개의 프레임들내의 대응하는 픽셀들간의 (스케일링된)차에 대응한다.
도 2를 다시 참조하여, 본 발명의 시간 필터링 유닛(8)은 각각의 프레임에 대응하는 하나의 서브-밴드 또는 프레임만을 생성한다. 이전에 기술된 바와 같이, 각각의 GOP내의 다수의 프레임들(A-프레임들)은 처리되지 않는다. 따라서, 시간 필터링 유닛(8)은 이러한 프레임들에서 필터링을 수행하지 않을 것이고, 변화없이 이들 프레임들을 통과시킬 것이다. 게다가, GOP의 프레임들의 나머지(H-프레임들)는 각각의 프레임의 영역들과 GOP의 다른 프레임들내에서 발견된 유사한 영역들간의 차를 획득함으로써, 시간적으로 필터링될 것이다.
특히, 시간 필터링 유닛(8)은 각각의 H-프레임내의 영역들에 매칭되었던 유사한 영역들을 먼저 검색함으로써, H-프레임을 필터링할 것이다. 이는 움직임 추정 유닛(6)에 의해 제공된 움직임 벡터들 및 프레임 참조 번호들에 따라 이루어질 것이다. 이전에 기술된 바와 같이, 각각의 H-프레임내의 영역들은 동일한 GOP내의 다른 프레임들내의 유사한 영역들에 매칭된다. 유사한 영역들을 검색한 후, 시간 필터링 유닛(8)은 유사한 영역들내의 픽셀 값들과 매칭된 영역들내의 픽셀 값들간의 차를 계산할 것이다. 게다가, 시간 필터링 유닛(8)은 바람직하게 일부 스케일링 인자로 이 차이를 나눌 수 있다.
본 발명에 따라, 상술된 MCTF 스킴은 최적의 매칭들의 질이 크게 향상되고 미연결된 픽셀들의 수가 또한 감소되므로, 향상된 코딩 효율을 이끈다. 특히, 시뮬레이션들은 각각의 프레임들에 대한 미연결된 픽셀들의 수가 34 퍼센트로부터 22 퍼센트로 감소됨을 도시하였다. 그러나, 본 발명의 MCTF 스킴은 여전히 일부 미연결된 픽셀들을 생성한다. 따라서, 시간 필터링 유닛(8)이 Woods에서 기술된 바와 같이 이들 미연결된 픽셀들을 다룰 것이다.
보이는 바와 같이, 공간 분해 유닛(10)이 MCTF 유닛(4)에 의해 제공된 프레임들내의 공간 덧붙임들을 감소시키도록 포함된다. 오퍼레이션 동안, MCTF 유닛(4)으로부터 수신된 프레임들은 2D 웨이블릿 변환에 따른 웨이블릿 계수들로 변환된다. 이들은 웨이블릿 변환의 필터들 및 구현들의 다수의 상이한 유형들이다.
적절한 2D 웨이블릿 변환의 일 실시예가 도 3에 도시된다. 보이는 바와 같이, 프레임은 웨이블릿 필터들을 사용하여, 저주파수 및 고주파수 서브-밴드들로 분해된다. 2-D 변환이므로, 3개의 고주파수 서브-밴드들(수평, 수직 및 대각선)이 존재한다. 저주파수 서브-밴드는 LL 서브-밴드(수평 및 수직 주파수들 둘 다에서 저역)라고 한다. 이들 고주파수 서브-밴드들은 LH, HL 및 HH라고 하고, 이들은 수평 고주파수, 수직 고주파수 및 수평 및 수직 둘 다에서 고주파수에 대응한다. 저주파수 서브-밴드들은 반복적으로(recursively) 더 분해된다. 도 3에서, WT는 웨이블릿 변환을 표시한다. Academic Press에서 1997년 출판된 Stephane Mallat의 명칭이 "A Wavelet Tour of Signal Processing"인 책에 다른 공지의 웨이블릿 변환 스킴들이 기술되어 있다.
다시 도 2를 참조하여, 엔코더는 중요도(significance) 정보에 따른 공간 분해 유닛(10)의 출력을 부호화하기 위해 중요도 부호화 유닛(12)을 또한 포함할 수 있다. 이 실시예에서, 중요도는 더 큰 계수들이 더 작은 계수들보다 더 중요한 웨이블릿 계수의 절댓값(magnitude)을 의미할 수 있다. 이 실시예에서, 중요도 부호화 유닛(10)은 공간 분해 유닛(10)으로부터 수신된 웨이블릿 계수들을 볼 것이고, 그 다음에 절댓값에 따라 웨이블릿 계수들을 재배치(reorder)할 것이다. 따라서, 가장 큰 절댓값을 갖는 웨이블릿 계수들이 먼저 보내질 것이다. 중요도 부호화의 일 실시예는 계층형 트리들내의 세트 분할(Set Partitioning in Hierarchical Trees; SPIHT)이다. 이는 IEEE Transactions on Circuits and Systems for Video Technology, 1996년 6월, 볼륨 6의 Said 및 W. Pearlman에 의한 명칭이 "A NewFast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees"인 논문에 기술되어 있다.
도 2에 보이는 바와 같이, 점선들은 일부 오퍼레이션들간의 종속성을 표시하기 위해 포함된다. 일 예로, 움직임 추정(6)은 중요도 부호화(12)의 성질에 종속된다. 예컨대, 움직임 추정에 의해 생성된 움직임 벡터들은 어떤 웨이블릿 계수들이 더 중요한지 결정하기 위해 사용될 수 있다. 또 다른 예에서, 공간 분해(8)는 중요도 부호화(12)의 유형에 또한 종속될 수 있다. 예컨대, 웨이블릿 분해의 레벨들의 수는 중요도 계수들의 수에 관련될 수 있다.
또한 보이는 바와 같이, 엔트로피 부호화 유닛(14)은 출력 비트-스트림을 생성하기 위해 포함된다. 오퍼레이션 동안, 웨이블릿 계수들을 출력 비트-스트림으로 부호화하기 위해 엔트로피 코딩 기술이 적용된다. 엔트로피 부호화 기술은 움직임 추정 유닛(6)에 의해 제공된 움직임 벡터들 및 프레임 번호들에 또한 적용된다. 이 정보는 복호화를 가능하게 하도록 출력 비트-스트림에 포함된다. 적절한 엔트로피 부호화 기술의 실시예들은 가변 길이 엔코딩(variable length encoding) 및 연산 부호화(arithmetic encoding)를 포함한다.
본 발명에 따른 시간 필터링의 일 실시예가 도 4에 도시된다. 이 실시예에서, 역방향 예측이 사용된다. 따라서, H-프레임들은 현재 프레임으로부터의 각각의 픽셀을 이전 프레임들내의 그것의 매칭과 함께 필터링함으로써 생성된다. 보이는 바와 같이, 역방향 예측을 함께할 GOP내의 이전 프레임들이 존재하지 않으므로, 프레임(1)은 A-프레임이다. 따라서, 프레임(1)은 필터링되지 않고, 변화없이 유지된다. 그러나, 프레임(2)는 프레임(1)내의 그것의 매칭들과 함께 필터링된다. 게다가, 프레임(3)은 프레임들(1 및 2)내의 그것의 매칭들과 함께 필터링된다.
보이는 바와 같이, 도 4는 A-프레임이고, 따라서 시간적으로 필터링되지 않는다. 이전에 기술된 바와 같이, GOP내의 다수의 프레임들은 시간 스케일러빌리티를 제공하기 위해 A-프레임들로서 선택된다. 이 실시예에서, 모든 제3 프레임은 A-프레임으로서 선택되었다. 이는 영상이 1/3 프레임 레이트에서 좋은 질로 복호화되는 것을 허용할 것이다. 예컨대, 도 4의 프레임(3)이 삭제되었다면, 나머지 프레임들을 복호화하기 위해 이용 가능한 2개의 독립적으로 코딩된 프레임들이 여전히 존재한다.
A-프레임들은 임의의 위치들에 주입될 수 있고, 그로 인해, 영상 시퀀스가 임의로 더 낮은 프레임 레이트에서 복호화될 수 있도록 한다. 예컨대, 도 4에서, 프레임(2)이 A-프레임으로서 또한 선택되었었다면, 지금 모든 2개의 프레임들이 A-프레임일 것이다. 이는 영상 시퀀스가 전체 프레임 레이트의 절반에서 복호화되도록 허용할 수 있고, 따라서, 영상 시퀀스가 이전 "2의 멱(power of two)" 시간 스케일러빌리티 보다 더 유연한 임의의 중간 프레임 레이트들에서 복호화될 수 있도록 한다.
본 발명에 따른 시간 필터링의 다른 실시예가 도 5에 도시된다. 이 실시예에서, 피라미드형 분해가 코딩 효율을 향상시키기 위해 사용된다. 보이는 바와 같이, 이 실시예의 피라미드형 분해는 2개의 레벨들에서 구현될 수 있다. 제1 레벨에서, 프레임들은 도 4의 실시예와 유사하게 시간적으로 필터링되지만, 예외로, 이실시예에서는 모든 제2 프레임들이 A-프레임이다. 따라서, 도 5에서, 프레임(3)은 시간적으로 필터링되지 않을 것이고, 프레임(4)이 프레임들(1, 2 및 3)내의 그것의 매칭들과 함께 시간적으로 필터링될 것이다. 제2 레벨에서, 제1 레벨로부터의 A-프레임들은 이 실시예에서 역방향 예측이 사용되므로, 프레임(3)에 대응하는 다른 H-프레임을 생성하기 위해 시간적으로 필터링된다. 순방향 예측이 사용된다면, 부가 H-프레임은 프레임(1)에 대응할 수 있다.
상기 스킴을 구현하기 위해, 도 2의 움직임 추정 유닛(6)이 제1 레벨의 프레임들에 대한 매칭들을 찾을 수 있다. 그 다음에, 움직임 추정 유닛(6)은 제2 레벨의 A-프레임들에 대한 매칭들을 찾을 수 있다. 그 다음에, 움직임 추정 유닛(6)이 각각의 프레임들에 대한 움직임 벡터들 MV 및 프레임 번호들을 제공할 수 있으므로, 각각의 GOP의 프레임들은 이들 움직임 벡터들 MV 및 프레임 번호들에 따라, 제1 레벨에서 시작하여 더 높은 레벨로, 일 레벨씩, 규칙적인 시간 순서로 시간적으로 필터링될 수 있다.
다른 실시예들에서, 피라미드형 분해 스킴은 많은 수의 프레임들이 GOP내에 포함될 때, 2개의 레벨들 이상의 레벨들을 포함할 수 있다. 이들 레벨들 각각에서, 다수의 프레임들은 필터링되지 않도록 A-프레임으로서 다시 선택된다. 게다가, 나머지 프레임들은 H 프레임들을 생성하기 위해 필터링된다. 예컨대, 제2 레벨로부터의 A-프레임들은 제3 레벨에서 다시 그룹화 및 필터링될 수 있고, 이후 레벨들에서도 마찬가지이다. 이러한 피라미드형 분해에서, 레벨들의 수는 GOP내의 프레임들의 수 및 시간 스케일러빌리티 요구들에 의존한다.
본 발명에 따른 시간 필터링의 다른 실시예가 도 6에 도시된다. 이 실시예에서, 양방향 예측이 이용되었다. 양방향 필터링은 장면 변화를 지나는 프레임들 또는 장면에서 많은 오브젝트들이 움직여서 폐쇄(occlusions)를 이끄는 프레임들에 대한 성능을 크게 향상시키므로 선호된다. 움직임 벡터들의 제2 세트를 코딩하는 것에 연관된 오버헤드가 존재하지만, 중요하지 않다. 따라서, 이 실시예에서, H-프레임들은 현재 프레임으로부터의 각각의 픽셀을 이전 및 진행 프레임들 둘 다내의 픽셀의 매칭과 함께 필터링함으로써 생성된다.
도 6으로부터 보이는 바와 같이, 양방향 예측을 수행하기 위해 GOP내에서 이용 가능한 이전 프레임들이 없으므로 프레임(1)은 A-프레임이다. 따라서, 프레임(1)은 필터링되지 않고, 변화없이 유지된다. 그러나, 프레임(2)은 프레임들(1 및 4)로부터의 그것의 매칭들과 함께 시간적으로 필터링된다. 게다가, 프레임(3)은 프레임들(1, 2 및 4)로부터의 그것의 매칭들과 함께 시간적으로 필터링된다. 그러나, 양방향 H-프레임들내의 모든 영역들이 양방향으로 필터링되지 않는다는 것을 주지해야 한다. 예컨대, 영역은 이전 프레임내의 영역에만 매칭될 수 있다. 따라서, 이러한 영역은 역방향 예측을 사용하여 이전 프레임들에서의 매칭들에 기초하여 필터링될 수 있다. 유사하게, 진행 프레임내의 영역에만 매칭되었던 프레임은 상응하게 순방향 예측을 사용하여 필터링될 수 있다.
영역이 이전 및 진행 프레임 둘 다의 영역들과 매칭되는 경우에서, 양방향 필터링은 그 특정 영역에서 수행된다. 따라서, 이전 및 진행 프레임들내의 영역들의 대응하는 픽셀들은 평균화된다. 그 다음에, 평균은 이 실시예에서 프레임들(2및 3)인 필터링되는 프레임들내의 대응하는 픽셀들로부터 빼진다(subtract). 이전에 기술된 바와 같이, 이 차이는 스케일링 인자로 바람직하게 나누어질 수 있다.
도 6으로부터 또한 보이는 바와 같이, 프레임(4)은 A-프레임이고, 따라서 시간적으로 필터링되지 않는다. 따라서, 이 실시예에서, 모든 제3 프레임이 또한 A-프레임으로서 선택되었다. 양방향 스킴은 도 5에 관해서 기술된 바와 같은 피라미드형 분해 스킴으로 또한 구현될 수 있다는 것을 주지해야 한다.
본 발명에 따른 디코더의 일 실시예가 도 7에 도시된다. 도 2에 관해서 이전에 기술된 바와 같이, 입력 영상은 GOP들로 나뉘어 지고, 각각의 GOP는 유닛으로서 부호화된다. 따라서, 입력 비트-스트림은 유닛으로서 또한 복호화될 하나 이상의 GOP들을 포함할 수 있다. 비트-스트림은 이전에 움직임 보상 시간 필터링되었던 GOP내의 각각의 프레임에 대응하는 다수의 움직임 벡터들 MV 및 프레임 번호들을 또한 포함할 것이다. 움직임 벡터들 및 프레임 번호들은 시간적으로 필터링된 프레임들의 각각내 영역들에 이전에 매칭되었던 동일한 GOP들내의 다른 프레임들내의 영역들을 표시할 것이다.
보이는 바와 같이, 디코더는 인입 비트-스트림을 복호화하기 위한 엔트로피 복호화 유닛(16)을 포함한다. 오퍼레이션 동안, 입력 비트-스트림은 부호화측에서 수행된 엔트로피 코딩 기술의 역으로 복호화될 것이다. 이 엔트로피 복호화는 각각의 GOP에 대응하는 웨이블릿 계수들을 생성할 것이다. 게다가, 엔트로피 복호화는 이후 이용될 다수의 움직임 벡터들 및 프레임 번호들을 생성한다. 중요도 복호화 유닛(18)은 중요도 정보에 따라 엔트로피 복호화 유닛(16)으로부터의 웨이블릿계수들을 복호화하기 위해 포함된다. 따라서, 오퍼레이션 동안, 웨이블릿 계수들은 엔코더측에서 사용된 기술의 역으로써, 올바른 공간 순서(correct spatial order)에 따라 배치될 것이다.
또한 보이는 바와 같이, 공간 재합성 유닛(spatial recomposition unit)(20)은 중요도 복호화 유닛(18)으로부터의 웨이블릿 계수들을 부분적으로 복호화된 프레임들로 변환시키기 위해 포함된다. 오퍼레이션 동안, 각각의 GOP에 대응하는 웨이블릿 계수들은 엔코더측에서 수행된 2D 웨이블릿 변환의 역으로 변환될 것이다. 이는 본 발명에 따라 움직임 보상 시간 필터링된 부분적으로 복호화된 프레임들을 생성할 것이다. 이전에 기술된 바와 같이, 본 발명에 따른 움직임 보상 시간 필터링은 다수의 H-프레임들 및 A-프레임들에 의해 표현되는 각각의 GOP를 초래하였다. H-프레임은 GOP내의 각각의 프레임과 동일한 GOP내의 다른 프레임들간의 차이고, A-프레임은 엔코더측에서 움직임 추정 및 시간 필터링에 의해 처리되지 않은 프레임이다.
역 시간 필터링 유닛(22)는 엔코더측에서 수행된 시간 필터링을 역으로 수행함으로써, 각각의 GOP내에 포함된 H-프레임들을 복원하기 위해 포함된다. 먼저, 엔코더측의 H-프레임들이 일부 스케일링 인자에 의해 나누어졌다면, 공간 재합성 유닛(20)으로부터의 프레임들은 동일한 인자에 의해 곱해질 것이다(multiple). 게다가, 시간 필터링 유닛(22)은 그 다음에, 엔트로피 복호화 유닛(16)에 의해 제공된 움직임 벡터들 MV 및 프레임 번호들에 기초하여 각각의 GOP내에 포함된 H-프레임들을 복원할 것이다. 피라미드형 분해 스킴이 사용되었다면, 시간 역 필터링은최고 레벨에서 시작하여 제1 레벨로 내려가며 일 레벨씩 수행되는 것이 바람직하다. 예컨대, 도 5의 실시예에서, 제2 레벨로부터의 프레임들은 먼저 시간적으로 필터링되고 다음에 제1 레벨의 프레임들이 뒤따른다.
다시 도 7을 참조하여, H-프레임들을 복원하기 위해, 엔코더측에서 어떤 종류의 움직임 보상이 수행되었는지 먼저 결정되어야 할 것이다. 부호화측에서 역방향 움직임 추정이 사용되었다면, GOP내의 제1 프레임은 이 실시예에서 A-프레임일 수 있다. 따라서, 역 시간 필터링 유닛(22)은 GOP내의 제2 프레임을 복원하기 시작할 것이다. 특히, 제2 프레임은 특정 프레임에 대해 제공된 움직임 벡터들 및 프레임 번호들에 따른 픽셀 값들을 검색함으로써 복원될 것이다. 이 경우에서, 움직임 벡터들은 제1 프레임내의 영역들을 향할 것이다. 역 시간 필터링 유닛(22)은 제2 프레임내의 대응하는 영역들에 검색된 픽셀 값들을 부가할 것이고, 따라서, 차이를 실제 픽셀 값들로 변환시킬 것이다. GOP내의 나머지 H-프레임들은 유사하게 복원될 것이다.
엔코더측에서 순방향 움직임 추정이 사용되었다면, GOP내의 마지막 프레임은 이 실시예에서 A-프레임일 수 있다. 따라서, 역 필터링 유닛(22)은 GOP내의 제2에서 마지막 프레임까지 복원하기 시작할 것이다. 제2에서 마지막 프레임까지는 그 특정 프레임에 대해 제공된 움직임 벡터들 및 프레임 번호들에 따른 픽셀 값들을 검색함으로써 복원될 것이다. 이 경우에서, 움직임 벡터들은 마지막 프레임내의 영역들을 향할 것이다. 역 시간 필터링 유닛(22)은 그 다음에 제2에서 마지막 프레임까지내의 대응하는 영역들에 검색된 픽셀 값들을 부가할 것이고, 따라서, 실제픽셀 값으로 차이를 변환시킨다. GOP내의 나머지 H-프레임들은 유사하게 복원될 것이다.
엔코더측에서 양방향 움직임 추정이 사용되었다면, A-프레임은 어떤 실시예가 구현되었었는지에 의존하여 GOP내의 제1 또는 마지막 프레임 중 하나일 수 있다. 따라서, 역 필터링 유닛(22)은 GOP내의 제2 또는 제2에서 마지막 프레임 중 하나를 복원하기 시작할 것이다. 유사하게, 이 프레임은 그 특정 프레임에 대해 제공된 움직임 벡터들 및 프레임 번호들에 따른 픽셀 값들을 검색함으로써 복원될 것이다.
이전에 기술된 바와 같이, 양방향 H-프레임들은 이전 프레임들, 진행 프레임들 또는 둘 다로부터의 매칭들에 기초하여 필터링된 영역들을 포함할 수 있다. 이전 또는 진행 프레임들만으로부터의 매칭들에 대해, 픽셀 값들은 검색될 것이고, 처리되는 현재 프레임내의 대응하는 영역에 부가될 것이다. 둘 다로부터의 매칭들에 대해, 이전 및 진행 프레임 둘 다로부터의 값들은 검색될 것이고, 그 다음에 평균화될 것이다. 그 다음에, 이 평균은 처리되는 현재 프레임내의 대응하는 영역에 부가될 것이다. GOP내의 나머지 H-프레임들은 유사하게 복원될 것이다.
본 발명에 따른 움직임 보상 시간 필터링을 위한 다중 참조 프레임들을 이용하는 스케일링 가능 웨이블릿 기반 코딩이 구현될 수 있는 시스템의 일 실시예가 도 8에 도시된다. 예로서, 시스템은 텔레비전, 셋톱 박스, 데스크탑, 랩톱 또는 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더, 티보(TiVO) 장치 같은 영상/이미지 저장 장치, 등등, 뿐만 아니라 이들 및 다른 장치들의 부분들 또는 조합들을 의미할 수 있다. 시스템은 하나 이상의 영상 소스들(26), 하나 이상의 입력/출력 장치들(34), 프로세서(28), 메모리(30) 및 디스플레이 장치(36)를 포함한다.
영상/이미지 소스(들)(26)는 예컨대, 텔레비전 수신기, VCR 또는 다른 영상/이미지 저장 장치를 의미할 수 있다. 소스(들)(26)는 서버 또는 인터넷, 원거리 통신망, 구내 정보 통신망, 지상 방송 시스템, 케이블 통신망, 위성 통신망, 무선 통신망, 또는 전화망, 뿐만 아니라 이들 및 다른 유형들의 통신망들의 부분들 또는 조합들을 통한 서버들로부터 영상을 수신하기 위한 하나 이상의 통신망 연결들을 대안적으로 의미할 수 있다.
입력/출력 장치들(34), 프로세서(28) 및 메모리(30)은 통신 매체(32)를 통해 통신한다. 통신 매체(32)는 예컨대, 버스, 통신망, 회로의 하나 이상의 내부 연결들, 회로 카드 또는 다른 장치, 뿐만 아니라 이들 및 다른 통신 미디어의 부분들 및 조합들을 의미할 수 있다. 소스(들)(26)로부터의 입력 영상 데이터는 디스플레이 장치(36)에 공급되는 출력 영상/이미지들을 생성하기 위해, 메모리(30)에 저장되고 프로세서(28)에 의해 실행되는 하나 이상의 소프트웨어 프로그램들에 따라 처리된다.
특히, 메모리(30)에 저장된 소프트웨어 프로그램들은 도들(2 및 7)에 관해서 이전에 기술된 바와 같은, 움직임 보상 시간 필터링을 위한 다중 참조 프레임들을 이용하는 스케일링 가능 웨이블릿 기반 코딩을 포함한다. 이 실시예에서, 움직임 보상 시간 필터링을 위한 다중 참조 프레임들을 이용하는 웨이블릿 기반 코딩은 시스템에 의해 실행되는 컴퓨터 판독가능 코드에 의해 구현된다. 코드는 메모리(30)에 저장될 수 있고 또는 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로드될 수 있다. 다른 실시예들에서, 본 발명을 구현하기 위해, 하드웨어 회로가 소프트웨어 명령어들 대신, 또는 소프트웨어 명령어들과의 조합으로 사용될 수 있다.
본 발명이 특정 실시예들에 의하여 상술되면서, 본 발명은 여기서 개시된 실시예들에 한정 또는 제한되도록 의도되지 않았음을 이해해야 한다. 따라서, 본 발명은 첨부된 청구의 범위의 사상 및 범위내에 포함된 다양한 구성들 및 변형들을 커버하도록 의도된다.

Claims (33)

  1. 영상 프레임들의 그룹을 부호화하기 위한 방법에 있어서,
    상기 그룹으로부터 다수의 프레임들을 선택하는 단계;
    상기 다수의 프레임들의 각각의 영역들을 다중 참조 프레임들내의 영역들에 매칭시키는(match) 단계;
    상기 다수의 프레임들의 각각의 상기 영역들과 상기 다중 참조 프레임들내의 상기 영역들의 픽셀 값들간의 차를 계산하는 단계; 및
    상기 차이를 웨이블릿 계수들(wavelet coefficients)로 변환시키는 단계를 포함하는, 영상 프레임들의 그룹 부호화 방법.
  2. 제 1 항에 있어서, 상기 다중 참조 프레임들은 상기 그룹내의 이전 프레임들인, 영상 프레임들의 그룹 부호화 방법.
  3. 제 1 항에 있어서,
    상기 다중 참조 프레임들은 상기 그룹내의 진행 프레임들인, 영상 프레임들의 그룹 부호화 방법.
  4. 제 1 항에 있어서,
    상기 다중 참조 프레임들은 상기 그룹내의 이전 및 진행 프레임들인, 영상프레임들의 그룹 부호화 방법.
  5. 제 1 항에 있어서,
    상기 다수의 프레임들의 각각의 상기 영역들과 상기 다중 프레임들내의 상기 영역들내의 픽셀들간의 상기 차를 스케일링 인자(scaling factor)로 나누는 단계를 더 포함하는, 영상 프레임들의 그룹 부호화 방법.
  6. 제 1 항에 있어서,
    상기 웨이블릿 계수들을 중요도 정보(significance information)에 따라 부호화하는 단계를 더 포함하는, 영상 프레임들의 그룹 부호화 방법.
  7. 제 1 항에 있어서,
    상기 웨이블릿 계수들을 엔트로피(entropy) 부호화하는 단계를 더 포함하는, 영상 프레임들의 그룹 부호화 방법.
  8. 제 1 항에 있어서,
    적어도 하나의 프레임내의 영역들을 다른 프레임내의 영역들에 매칭시키는 단계로서, 상기 적어도 하나의 프레임 및 상기 다른 프레임은 상기 다수의 프레임들에 포함되지 않는, 상기 매칭 단계;
    상기 적어도 하나의 프레임내의 상기 영역들과 상기 다른 프레임내의 상기영역들의 픽셀 값들간의 차를 계산하는 단계; 및
    상기 차이를 웨이블릿 계수들로 변환시키는 단계를 더 포함하는, 영상 프레임들의 그룹 부호화 방법.
  9. 영상 프레임들의 그룹을 부호화하기 위한 코드를 포함하는 메모리 매체에 있어서,
    상기 그룹으로부터 다수의 프레임들을 선택하기 위한 코드;
    상기 다수의 프레임들의 각각의 영역들을 다중 참조 프레임들내의 영역들에 매칭시키기 위한 코드;
    상기 다수의 프레임들의 각각의 상기 영역들과 상기 다중 참조 프레임들내의 상기 영역들의 픽셀 값들간의 차를 계산하기 위한 코드; 및
    상기 차이를 웨이블릿 계수들로 변환시키기 위한 코드를 포함하는, 메모리 매체.
  10. 영상 시퀀스를 부호화하기 위한 장치에 있어서,
    상기 영상 시퀀스를 프레임들의 그룹들로 분할하기 위한 분할 유닛;
    각각의 그룹내의 다수의 프레임들을 선택하고 다중 참조 프레임들을 사용하여 상기 다수의 프레임들의 각각을 움직임 보상 시간 필터링하기 위한 움직임 보상 시간 필터링 유닛; 및
    각각의 그룹을 웨이블릿 계수들로 변환시키기 위한 공간 분해 유닛을 포함하는 영상 시퀀스 부호화 장치.
  11. 제 10 항에 있어서,
    상기 움직임 보상 시간 필터링 유닛은 상기 다수의 프레임들의 각각의 영역들을 상기 다중 참조 프레임들내의 영역들에 매칭시키고, 상기 다수의 프레임들의 각각의 상기 영역들과 상기 다중 참조 프레임들내의 상기 영역들의 픽셀 값들간의 차를 계산하는, 영상 시퀀스 부호화 장치.
  12. 제 10 항에 있어서,
    상기 다중 참조 프레임들은 상기 동일한 그룹내의 이전 프레임들인, 영상 시퀀스 부호화 장치.
  13. 제 10 항에 있어서,
    상기 다중 참조 프레임들은 상기 동일한 그룹내의 진행 프레임들인, 영상 시퀀스 부호화 장치.
  14. 제 10 항에 있어서,
    상기 다중 참조 프레임들은 상기 동일한 그룹내의 이전 및 진행 프레임들인, 영상 시퀀스 부호화 장치.
  15. 제 10 항에 있어서,
    상기 시간 필터링 유닛은 상기 적어도 하나의 프레임내의 상기 영역들과 상기 다중 참조 프레임들내의 상기 영역들내의 픽셀 값들간의 차를 스케일링 인자로 나누는, 영상 시퀀스 부호화 장치.
  16. 제 10 항에 있어서,
    상기 웨이블릿 계수들을 중요도 정보에 따라 부호화하기 위한 유닛을 더 포함하는, 영상 시퀀스 부호화 장치.
  17. 제 10 항에 있어서,
    상기 웨이블릿 계수들을 비트-스트림으로 부호화하기 위한 엔트로피 부호화 유닛을 더 포함하는, 영상 시퀀스 부호화 장치.
  18. 제 10 항에 있어서,
    상기 움직임 보상 시간 필터링 유닛은 적어도 하나의 프레임내의 영역들을 각각의 그룹내의 다른 프레임에 또한 매칭시키고, 상기 적어도 하나의 프레임내의 상기 영역들과 상기 다른 프레임내의 상기 영역들의 픽셀 값들간의 차를 계산하고, 상기 적어도 하나의 프레임 및 상기 다른 프레임은 상기 다수의 프레임들에 포함되지 않는, 영상 시퀀스 부호화 장치.
  19. 부호화된 영상 프레임들의 그룹을 포함하는 비트-스트림을 복호화하는 방법에 있어서,
    웨이블릿 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 복호화하는 단계;
    상기 웨이블릿 계수들을 부분적으로 복호화된 프레임들로 변환시키는 단계; 및
    다중 참조 프레임들을 사용하여 다수의 부분적으로 복호화된 프레임들을 역 시간 필터링하는 단계를 포함하는 비트-스트림 복호화 방법.
  20. 제 19 항에 있어서,
    상기 역 시간 필터링 단계는:
    상기 다수의 부분적으로 복호화된 프레임들의 각각의 영역들에 이전에 매칭된 상기 다중 참조 프레임들로부터의 영역들을 검색하는 단계; 및
    상기 다중 참조 프레임들내의 상기 영역들의 픽셀 값들을 상기 다수의 부분적으로 복호화된 프레임들의 각각의 상기 영역들의 픽셀 값들에 부가하는 단계를 포함하는, 비트-스트림 복호화 방법.
  21. 제 19 항에 있어서,
    다중 참조 프레임들로부터의 영역들을 검색하는 상기 단계는 상기 비트-스트림내에 포함된 움직임 벡터들 및 프레임 번호들에 따라 수행되는, 비트-스트림 복호화 방법.
  22. 제 19 항에 있어서,
    상기 다중 참조 프레임들은 상기 그룹내의 이전 프레임들인, 비트-스트림 복호화 방법.
  23. 제 19 항에 있어서,
    상기 다중 참조 프레임들은 상기 그룹내의 진행 프레임들인, 비트-스트림 복호화 방법.
  24. 제 19 항에 있어서,
    상기 다중 참조 프레임들은 상기 그룹내의 이전 및 진행 프레임들인, 비트-스트림 복호화 방법.
  25. 제 19 항에 있어서,
    상기 부분적으로 복호화된 프레임들을 스케일링 인자와 곱하는 단계를 더 포함하는, 비트-스트림 복호화 방법.
  26. 제 19 항에 있어서,
    상기 웨이블릿 계수들을 중요도 정보에 따라 복호화하는 단계를 더 포함하는, 비트-스트림 복호화 방법.
  27. 제 19 항에 있어서,
    다른 부분적으로 복호화된 프레임에 기초하여 적어도 하나의 부분적으로 복호화된 프레임을 역 시간 필터링하는 단계를 더 포함하고, 상기 적어도 하나의 부분적으로 복호화된 프레임 및 상기 다른 부분적으로 복호화된 프레임은 상기 다수의 프레임들에 포함되지 않는, 비트-스트림 복호화 방법.
  28. 부호화된 영상 프레임들의 그룹을 포함하는 비트-스트림을 복호화하기 위한 코드를 포함하는 메모리 매체에 있어서,
    웨이블릿 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 복호화하기 위한 코드;
    상기 웨이블릿 계수들을 부분적으로 복호화된 프레임들로 변환시키기 위한 코드; 및
    다중 참조 프레임들을 사용하여 다수의 부분적으로 복호화된 프레임들을 역 시간 필터링하기 위한 코드를 포함하는 메모리 매체.
  29. 부호화된 영상 프레임들의 그룹을 포함하는 비트-스트림을 복호화하기 위한 장치에 있어서,
    상기 비트-스트림을 웨이블릿 계수들로 복호화하기 위한 엔트로피 복호화 유닛;
    상기 웨이블릿 계수들을 부분적으로 복호화된 프레임들로 변환시키기 위한 공간 재합성 유닛; 및
    다수의 부분적으로 복호화된 프레임들내의 영역들에 이전에 매칭된 다중 참조 프레임들로부터의 영역들을 검색하고, 상기 다중 참조 프레임들내의 상기 영역들의 픽셀 값들을 부분적으로 복호화된 상기 다수의 프레임들내의 상기 영역들에 부가하는 역 시간 필터링 유닛을 포함하는 비트-스트림 복호화 장치.
  30. 제 28 항에 있어서,
    다중 참조 프레임들로부터의 영역들을 검색하는 것은 상기 비트-스트림내에 포함된 움직임 벡터들 및 프레임 번호들에 따라 수행되는, 메모리 매체.
  31. 제 28 항에 있어서,
    상기 역 시간 필터링 유닛은 상기 다수의 부분적으로 복호화된 프레임들을 스케일링 인자와 곱하는, 메모리 매체.
  32. 제 28 항에 있어서,
    상기 웨이블릿 계수들을 중요도 정보에 따라 복호화하기 위한 중요도 복호화 유닛을 더 포함하는, 메모리 매체.
  33. 제 28 항에 있어서,
    상기 역 시간 필터링 유닛은 적어도 하나의 부분적으로 복호화된 프레임내의 영역들에 이전에 매칭된 다른 부분적으로 복호화된 프레임으로부터의 영역들을 또한 검색하고, 상기 다른 부분적으로 복호화된 프레임내의 상기 영역들의 픽셀 값들을 상기 적어도 하나의 부분적으로 복호화된 프레임내의 상기 영역들의 픽셀 값들에 부가하고, 상기 적어도 하나의 부분적으로 복호화된 프레임 및 상기 다른 부분적으로 복호화된 프레임은 상기 다수의 프레임들에 포함되지 않는, 메모리 매체.
KR10-2004-7017433A 2002-04-29 2003-04-15 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩 KR20040106417A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US37638102P 2002-04-29 2002-04-29
US60/376,381 2002-04-29
US10/218,221 US20030202599A1 (en) 2002-04-29 2002-08-13 Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US10/218,221 2002-08-13
PCT/IB2003/001506 WO2003094524A2 (en) 2002-04-29 2003-04-15 Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames

Publications (1)

Publication Number Publication Date
KR20040106417A true KR20040106417A (ko) 2004-12-17

Family

ID=29254156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7017433A KR20040106417A (ko) 2002-04-29 2003-04-15 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩

Country Status (7)

Country Link
US (1) US20030202599A1 (ko)
EP (1) EP1504607A2 (ko)
JP (1) JP2005524352A (ko)
KR (1) KR20040106417A (ko)
CN (1) CN1650634A (ko)
AU (1) AU2003216659A1 (ko)
WO (1) WO2003094524A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695138B1 (ko) * 2005-01-21 2007-03-14 삼성전자주식회사 영상 압축 장치 및 그 방법
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
KR100755689B1 (ko) * 2005-02-14 2007-09-05 삼성전자주식회사 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
WO2011053022A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321625B2 (en) 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
FR2855356A1 (fr) * 2003-05-23 2004-11-26 Thomson Licensing Sa Procede de codage et/ou de decodage de groupe d'images
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
CN1813479A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 过完备小波域中的视频编码
JP2007509516A (ja) * 2003-10-10 2007-04-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３ｄビデオ・スケーラブル・ビデオ符号化方法
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
MXPA06006117A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100586882B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
WO2006031093A1 (en) * 2004-09-16 2006-03-23 Samsung Electronics Co., Ltd. Wavelet transform apparatus and method, scalable video coding apparatus and method employing the same, and scalable video decoding apparatus and method thereof
KR101102393B1 (ko) 2004-12-06 2012-01-05 엘지전자 주식회사 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
RU2007128067A (ru) * 2004-12-22 2009-01-27 Конинклейке Филипс Электроникс Н.В. (Nl) Масштабируемое кодирование
US8483277B2 (en) 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
US8279918B2 (en) 2005-07-15 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using residual signal clipping
US8755440B2 (en) * 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding
JP6030072B2 (ja) * 2011-01-28 2016-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 動くオブジェクトの動きベクトルに基づく比較
CN110276812B (zh) * 2018-03-13 2023-03-14 奇景光电股份有限公司 有机发光二极管显示面板的补偿数据的压缩方法
CN113923453B (zh) * 2021-11-18 2024-01-23 北京达佳互联信息技术有限公司 视频的时域滤波方法及装置、电子设备、存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5764805A (en) * 1995-10-25 1998-06-09 David Sarnoff Research Center, Inc. Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding
ES2182972T3 (es) * 1996-04-19 2003-03-16 Nokia Corp Codificador y descodificador de video utilizando procedimientos de segmentacion y fusion de movimiento.
KR100204478B1 (ko) * 1996-05-09 1999-06-15 배순훈 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
KR20020026177A (ko) * 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US6959120B1 (en) * 2000-10-27 2005-10-25 Microsoft Corporation Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695138B1 (ko) * 2005-01-21 2007-03-14 삼성전자주식회사 영상 압축 장치 및 그 방법
KR100755689B1 (ko) * 2005-02-14 2007-09-05 삼성전자주식회사 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
US7885327B2 (en) 2005-02-14 2011-02-08 Samsung Electronics Co., Ltd. Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
US8340181B2 (en) 2005-02-14 2012-12-25 Samsung Electronics Co., Ltd. Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
WO2011053022A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
WO2011053022A3 (en) * 2009-10-28 2011-08-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
US9055300B2 (en) 2009-10-28 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames

Also Published As

Publication number Publication date
CN1650634A (zh) 2005-08-03
AU2003216659A8 (en) 2003-11-17
WO2003094524A2 (en) 2003-11-13
AU2003216659A1 (en) 2003-11-17
US20030202599A1 (en) 2003-10-30
EP1504607A2 (en) 2005-02-09
JP2005524352A (ja) 2005-08-11
WO2003094524A3 (en) 2004-02-05

Similar Documents

Publication Publication Date Title
KR20040106417A (ko) 다중 참조 프레임들에 기초하여 움직임 보상 시간필터링을 사용하는 스케일링 가능 웨이블릿 기반 코딩
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7023923B2 (en) Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US20060088222A1 (en) Video coding method and apparatus
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
KR20070000022A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20050018771A1 (en) Drift-free video encoding and decoding method and corresponding devices
JP2006521039A (ja) オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
EP1878252A1 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
KR20040106418A (ko) 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
US20040008785A1 (en) L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding
JP2006502677A (ja) 無制約及びリフティング型動き補償時間フィルタ処理のための効率的動きベクトル予測
KR100664930B1 (ko) 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치
EP1905238A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
EP1554886A1 (en) Drift-free video encoding and decoding method, and corresponding devices
WO2006080665A1 (en) Video coding method and apparatus
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006043750A1 (en) Video coding method and apparatus
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid