KR20020030101A - 비디오 시퀀스의 압축을 위한 인코딩 방법 - Google Patents

비디오 시퀀스의 압축을 위한 인코딩 방법 Download PDF

Info

Publication number
KR20020030101A
KR20020030101A KR1020027002633A KR20027002633A KR20020030101A KR 20020030101 A KR20020030101 A KR 20020030101A KR 1020027002633 A KR1020027002633 A KR 1020027002633A KR 20027002633 A KR20027002633 A KR 20027002633A KR 20020030101 A KR20020030101 A KR 20020030101A
Authority
KR
South Korea
Prior art keywords
spatial
encoding
level
pixels
bit stream
Prior art date
Application number
KR1020027002633A
Other languages
English (en)
Inventor
펠츠보리스
페스퀘-포페스쿠비트라이스
보트루빈센트
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020030101A publication Critical patent/KR20020030101A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 시퀀스의 압축을 위한 인코딩 방법에 관한 것이다. 상기 방법은, 3차원 웨이브렛 변환을 사용하여, 인코딩되는 서브 대역들이 3D 웨이브렛 변환의 초기 서브 대역 구조를 보존하는 순서로 스캐닝되는 계층적인 서브 대역 코딩 처리에 기초한다. 본 발명에 따라, 시간(또는, 공간) 스케일 능력은 각각의 시간 해상도 레벨에서(또는, 최고 공간 해상도 레벨에서) 모션 추정을 수행함으로써 얻어지고, 이어서 어떤 주어진 시간(또는, 공간) 해상도 레벨을 복구하는데 필요한 추정된 모션 벡터들의 부분만이 이 주어진 시간(또는, 공간) 레벨에서 웨이브렛 계수들을 인코딩하는 비트들과 함께 비트 스트림에 인코딩되어 놓여지며, 상기 비트 스트림에서의 삽입은 동일한 시간(또는, 공간) 레벨에서 텍스처 계수들을 인코딩하기 전에 이루어진다. 그런 해는, 낮은 비트율이 목표가 되고, 수신기가 단지 감소된 프레임 비율 또는 공간 해상도를 원할 때 결점이 될 수 있는, 비트 스트림에서의 모든 모션 벡터 필드들을 인코딩 및 송신하는 것을 피한다.

Description

비디오 시퀀스의 압축을 위한 인코딩 방법{Encoding method for the compression of a video sequence}
이종의 네트워크들 위의 비디오 스트리밍은 높은 스케일 능력 특성(scalability capability)을 요구한다. 그것은, 비트 스트림의 부분들이 시퀀스의 완전한 디코딩 없이 디코딩될 수 있고, 더 낮은 공간 또는 시간 해상도들(공간/시간 스케일 능력)에서 또는 더 낮은 품질(PSNR 스케일 능력)로 초기 비디오 정보를 복구하도록 조합될 수 있음을 의미한다. 스케일 능력의 모든 트리 타입들을 달성하는 편리한 방식은 모션 보상된 비디오 시퀀스의 3차원(3D) 웨이브렛 분해이다.
2000년 5월 3일, 출원된 이전의 유럽 특허 출원 제 00401216.7(PHFR000044) 호에, 이러한 특성을 갖는 텍스처 코딩의 단순한 방법이 개시되어 있다. 그 방법에서, 다른 공개된 문헌들(예컨대, 「"An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees(SPIHT)", by B.Kim and W.A. Pearlman, Proceedings DCC'97, Data Compression Conference, Snowbird, UT, USA, 25-27 March 1997, pp.251-260」과 같은)에서 뿐만 아니라, 모든 모션 벡터 필드들은 비트 스트림에서 인코딩 및 송신되고, 이는 낮은 비트율이 목표가 되고 수신기가 단지 감소된 프레임 비율 또는 공간 해상도를 원할 때, 주요 결점이 될 수 있다.
본 발명은, 프레임들의 그룹들로 분할되고, 변환의 분해 레벨들에 대응하는 연속적인 해상도 레벨들이 주어진 수를 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 비디오 시퀀스의 압축을 위한 인코딩 방법에 관한 것으로, 상기 방법은, 계층적인 피라미드, 루트들이 3D 웨이브렛 변환으로부터 초래하는 근사 서브 대역의 픽셀들로 형성되고, 이들 픽셀들의 각각의 자손(offspring)이 상기 계층적인 피라미드 내부의 공간-시간 관계를 규정하는 이들 루트 픽셀들에 의해 규정된 이미지 볼륨에 대응하는 더 높은 서브 대역들의 픽셀들로 형성되는 공간 시간 지향 트리(spatio-temporal orientation tree)를 구성하는 계수들을 변환하도록 프레임들의 각각의 그룹의 화상 엘리먼트들(픽셀들)의 본래 세트로부터 유도하는 계층적인 서브 대역 인코딩 처리에 기초하며, 인코딩되는 서브 대역들은 상기 트리에 형성된 부모-자손 의존들을 존중하고 3D 웨이브렛 변환의 초기 서브 대역 구조를 보존 하는 순서로 차례로 스캐닝된다.
도 1은 하르 다중 해상도 분석(Haar multiresolution analysis)을 사용하는 모션 보상을 갖는 비디오 정보의 시간 서브 대역 분해(subband decomposition)를 도시하는 도면.
도 2는 3차원 웨이브렛 분해로부터 초래하는 공간-시간적인 서브 대역들을 도시하는 도면.
도 3은 시간 스케일 능력(scalability)에 대한 비트 스트림에서의 모션 벡터 삽입을 도시하는 도면.
도 4는 공간-시간적인 트리의 시간적으로 구동된 스캐닝으로 얻어진 비트 스트림의 구조를 도시하는 도면.
도 5는 모션 벡터의 2진 표현 및 최저 해상도에서 최고까지의 그 점진적인 전송을 도시하는 도면.
도 6은 제안된 스케일 가능한 접근에서의 모션 벡터 코딩을 위한 비트 스트림 구성을 도시하는 도면.
그러므로, 본 발명의 목적은 높은 스케일 능력이 얻어져야 하는 상황에 더 잘 적응되는 인코딩 방법을 제안하는 것이다.
이러한 목적을 위해, 본 발명은 상세한 설명의 서론 부분에 규정된 것과 같은 인코딩 방법에 관한 것으로, 특히, 시간 스케일 능력의 관점에서, 모션 추정(motion estimation)은 각각의 시간 해상도 레벨에서 수행되고, 그 시작은 비트 스트림 내로 삽입된 플래그들에 의해 지시되며, 어떤 주어진 시간 해상돌 레벨을 복구하는데 필요한 추정된 모션 벡터들만이 이 주어진 시간 레벨에서 웨이브렛 계수들을 인코딩하는 비트와 함께 비트 스트림에 인코딩되어 놓여지며, 상기 모션 벡터들은 동일한 시간 레벨에서 텍스처 계수들을 인코딩하기 전에 상기 비트 스트림 내로 삽입되는 것을 특징으로 한다.
다른 실시예에 있어서, 본 발명은 또한, 상기 서두 부분에 규정된 것과 같은 인코딩 방법에 관한 것으로, 공간 스케일 능력의 관점에서, 모션 추정은 최고 공간 해상도 레벨에서 수행되고, 그에 따라 얻어진 벡터들은 더 낮은 공간 해상도들에 대한 모션 벡터들을 얻기 위해 2로 분할되며, 어떤 공간 해상도 레벨을 복구하는데 필요한 추정된 모션 벡터들만이 이 주어진 공간 레벨에서 웨이브렛 계수들을 인코딩하는 비트들과 함께 비트 스트림에 인코딩되어 놓여지고, 상기 모션 벡터들은 동일한 공간 레벨에서 텍스처 계수들을 인코딩하기 전에 상기 비트 스트림 내로 삽입되며, 상기 인코딩 동작은 최저 공간 해상도에서 모션 벡터들 상에 수행되고, 이어서, 각각의 공간 해상도 레벨에서의 개량 비트들(refinement bits)만이 하나의 해상도 레벨로부터 다른 것까지 한 비트 플레인씩 비트 스트림에 놓여지는 것을 특징으로 한다.
따라서, 제안된 기술적인 해는, 모든 가능한 프레임 비율들 및 모든 공간 해상도 레벨들에 대응하는 모든 모션 벡터들을 송신하는 대신에, 원하는 프레임 비율 또는 공간 해상도에 대응하는 모션 벡터들만을 인코딩하는 것을 허용한다.
본 발명은 이제, 첨부한 도면들을 참조하여 예에 의해 기술될 것이다.
비디오 시퀀스의 시간 서브 대역 분해가 도 1에 도시된다. 모션 보상을 갖는 예시된 3D 웨이브렛 분해는 한 그룹의 프레임들(GOF), 참조된 F1 내지 F8에 응용된다. 이 3D 서브 대역 분해 설계에 있어서, 입력 비디오의 각각의 GOF는 제 1 모션 보상(도 1에서의 MC)되고(이 단계는 큰 모션을 갖는 시퀀스들을 처리하는 것을 허가한다), 이어서 하르 웨이브렛들을 사용하여 시간적으로 필터링되며(점선 화살표들은 고역 시간 필터링(high-pass temporal filtering)에 대응하는 반면, 다른 것들은 저역 시간 필터링에 대응한다), 이들 2개 동작들 후에, 각각의 시간 서브 대역은 도 2에 도시된 바와 같이 본래 GOF의 3D 웨이브렛 표현을 유도하는 공간-시간의 서브 대역으로 공간적으로 분해된다. 도 1에서, 분해의 3개의 스테이지들은 도시된다(L 및 H = 제 1 스테이지; LL 및 LH - 제 2 스테이지; LLL 및 LLH = 제 3 스테이지). 8개의 프레임들의 도시된 그룹의 각각의 시간 분해 레벨에서, 모션 벡터 필드들의 한 그룹은 발생된다(제 1 레벨에서 MV4, 제 2 레벨에서 MV3, 제 3 레벨에서 MV2). 하르 다중 해상도 분석이 시간 분해를 위해 사용될 때, 하나의 모션 벡터 필드가 각각의 시간 분해 레벨의 프레임들의 고려된 그룹에서 개개의 2개 프레임들 사이에 발생되기 때문에, 모션 벡터 필드들의 수는 시간 서브 대역에서의 프레임들의 수의 절반, 즉, 모션 벡터 필드들의 제 1 레벨에서 4, 그 제 2 레벨에서 2, 및 그 제 3 레벨에서 1과 같다. 디코더 측에서, 주어진 시간 레벨을 복구하기 위해, 단지 그 레벨 및 더 낮은 시간 해상도들(감소된 프레임 비율)에서 모션 벡터 필드들이 필요하다.
(A) 시간 스케일 능력
이 관찰(observation)은, 본 발명에 따라, 예컨대 도 3에 기술된 바와 같이, 점진적인 디코딩을 허가하는 방식으로 비트 스트림을 조직화하도록 유도한다. 3개의 시간 분해 레벨들(TDL; 도 1에 도시된 바와 같이)은 초기 프레임 비율로부터 얻어질 수 있는 가능한 프레임 비율들을 나타내는 4개의 시간 해상도 레벨들(1 내지 4)을 산출한다. 최저 해상도 시간 레벨에 대응하는 계수들은 이 레벨에서 모션 벡터들을 송신하지 않고 먼저 인코딩되며, 모든 다른 복구 프레임 비율들에 대해, 모션 벡터 필드들 및 대응하는 고주파수 시간 서브 대역의 프레임들은 인코딩된다. 지금부터 비트 스트림 조직의 기술은 이제 단지 시간 레벨들만을 고려한다. 그러나, 완전한 스케일 능력을 위해, 각각의 시간 레벨 내부에 공간적인 스케일 능력을 고려해야 한다. 웨이브렛 계수들에 대한 해는 이미 인용된 유럽 특허 출원에 기술되어 있으며, 그것은 도 4에 상기되었다. 각각의 시간 스케일 내부에, 모든 공간 해상도는 연속적으로 스캐닝되며(SDL = spatial decomposition levels), 그러므로, 모든 공간 주파수들은 이용 가능하다(프레임 비율들 t = 1 내지 4; 디스플레이 사이즈들 S = 1 내지 4). 상부 플래그들은 2개의 비트 플레인들을 분리하고, 더 낮은 것들은 2개의 시간 분해 레벨들을 분리한다.
(B) 공간 스케일 능력
감소된 공간 해상도 비디오를 복구할 수 있기 위해, 비트 스트림의 시작에서 전체 해상도의 모션 벡터 필드들을 전송하는 것은 바람직하지 않다. 실제로, 모션 벡터들에 의해 기술된 모션을 현재 공간 레벨의 사이즈에 적응시키는 것이 필요하다. 이상적으로, 최저 공간 해상도에 대응하는 낮은 해상도 모션을 먼저 갖고, 이어서 공간 해상도에서의 증가에 따라 모션 벡터들의 해상도를 점진적으로 증가할 수 있는 것은 바람직하다. 단지 모션 벡터 필드 해상도로부터 다른 것까지의 차이는 인코딩 및 송신된다.
모션 추정(motion estimation)이 전체 해상도 프레임들 상의 정수 픽셀 정밀도로 전체 조사 블록 매칭 또는 어떤 다른 유도된 해와 같은 블록 기반 방법에 의해 수행된다고 가정한다(이 가설은 일반적인 문제를 감소시키지 않는다: 시작에서 모든 모션 벡터들을 2로 나눔으로써, 모션 벡터들에 대한 반-픽셀로 작업하기를 원한다면, 그들이 미세한 변위들(fractional displacements)을 표현할지라도, 정수 벡터들의 이전의 경우로 리턴한다). 따라서, 모션 벡터들은 정수들에 의해 표현된다. 전체 해상도 모션 벡터 필드가 주어지면, 공간 스케일 능력의 위 요구를 만족시키기 위해, 모션 벡터 해상도는 2에 의한 단일 분할 동작(simple divide-by-2 operation)에 의해 감소된다. 실제로, 근사 서브 대역의 공간 해상도가 인자 2에 의해 감소되는 것과 같이, 모션이 전체 해상도 서브 대역에서와 같은 반면, 변위들은 인자 2에 의해 감소될 것이다. 이 분할은 단일 시프트에 의한 정수들에 대해 구현된다.
모션 추정에서의 블록들의 사이즈는 주의 깊게 선택되어야 한다. 실제로, 블록의 본래 사이즈가 전체 해상도에서 8x8이면, 그것은 절반 해상도에서 4x4, 이어서 4/1에서 2x2, 등이 될 것이다. 그러므로, 문제는 블록들의 본래 사이즈가 너무 작으면 나타날 것이다. 사이즈는 작은 공간 해상도들에 대해 널(null)이 될 수 있다. 따라서, 그것은 본래 사이즈가 분해/복구 레벨들의 수와 호환할 수 있는지 검사되어야 한다.
이제, S 공간 분해 레벨들을 가지며, 최저에서 최고까지 모든 가능한 해상도들에 대응하는 모션 벡터들을 원한다고 가정한다. 이어서, 초기 모션 벡터들 중 하나가 2S로 나누어지거나, S 위치들의 시프트가 수행된다. 결과는 사이즈가 2S로 나누어지는 최저 해상도로부터 블록들에 대응하는 모션 벡터들을 나타낸다. 본래 모션 벡터의 2S에 의한 분할은 다음 공간 해상도를 제공한다. 그러나, 이 값은 이미 이전의 동작으로부터 이용 가능하다. 실제로, 그것은 S-1 위치들의 시프트에 대응한다. 제 1 동작으로부터의 차이는 2S-1의 무게를 갖는 모션 벡터의 2진 표현에서의 비트이다. 이 때, 그것은, S = 4에 대해 도 5에 도시되는 더 높은 해상도에서 모션 벡터를 복구하도록 이전에 송신된 벡터에 이 비트(개량 비트(refinement bit))를 부가하기에 충분하다. 모션 벡터들의 이러한 점진적인 송신은, 동일한 공간 레벨에서 텍스처에 대응하는 비트들 바로 전에, 하나의 공간 해상도로부터 다른 것까지 모션 벡터 필드들의 개량 비트들을 비트 스트림에 포함하는 것을 허용한다. 제안된 방법은 도 6에 계속된다.
최저 해상도에서의 모션 벡터들은 통상의 VLC 테이블들(예를 들어, MPEG-4에 사용된 그것들)을 사용하여 엔트로피 코딩에 의해 수반되는 DPCM 기술로 인코딩된다. 다른 해상도 레벨들에 대해, 모션 벡터 필드의 개량 비트들로 구성된 완전한 비트 플레인은, 예컨대, 문맥상의 연산 인코딩(contextual arithmetic encoding)에 의해 모션 벡터의 수평 또는 수직 구성 요소에 의존하는 문맥으로 인코딩되어야 한다.
모션 벡터들을 나타내는 비트 스트림의 부분은 텍스처와 관련한 어떤 정보에 선행한다. "고전적인" 비 스케일 가능한 접근에 대한 차이는 시간 및 공간 레벨들의 계층이 모션 벡터 코딩으로 바꾸어진다는 것이다. 이전 기술에 대해 현저하게 개선되는 것은 모션 정보가 점진적으로 디코딩될 수 있다는 것이다. 주어진 공간해상도에 대해, 디코더는 그 레벨에서 유용하지 않은 비트 스트림의 부분들을 디코딩하지 않아도 된다.

Claims (2)

  1. 프레임들의 그룹들로 분할되고, 변환의 분해 레벨들에 대응하는 연속적인 해상도 레벨들의 주어진 수를 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 비디오 시퀀스의 압축을 위한 인코딩 방법으로서,
    상기 방법은 계층적인 피라미드, 루트들이 3D 웨이브렛 변환으로부터 초래하는 근사 서브 대역의 픽셀들로 형성되고 이들 픽셀들의 각각의 자손(offspring)이 상기 계층적인 피라미드 내부의 공간-시간 관계를 규정하는 이들 루트 픽셀들에 의해 규정된 이미지 볼륨에 대응하는 더 높은 서브 대역들의 픽셀들로 형성되는 공간 시간 지향 트리(spatio-temporal orientation tree)를 구성하는 계수들을 변환하도록 프레임들의 각각의 그룹의 화상 엘리먼트들(픽셀들)의 본래 세트로부터 유도하는 계층적인 서브 대역 인코딩 처리에 기초하고, 인코딩되는 서브 대역들은 상기 트리에 형성된 부모-자손 의존들(parent-offspring dependencies)을 존중하고 3D 웨이브렛 변환의 초기 서브 대역 구조를 보존하는 순서로 차례로 스캐닝되는, 상기 인코딩 방법에 있어서,
    시간 스케일 능력(temporal scalability)의 관점에서, 모션 추정(motion estimation)은 각각의 시간 해상도 레벨에서 수행되고, 그 시작은 비트 스트림 내로 삽입된 플래그들에 의해 지시되고, 어떤 주어진 시간 해상도 레벨을 복구하는데 필요한 추정된 모션 벡터들만이 이 주어진 시간 레벨에서 웨이브렛 계수들을 인코딩하는 비트와 함께 비트 스트림에 인코딩되어 놓여지며, 상기 모션 벡터들은 동일한 시간 레벨에서 텍스처 계수들을 인코딩하기 전에 상기 비트 스트림 내로 삽입되는 것을 또한 특징으로 하는, 인코딩 방법.
  2. 프레임들의 그룹들로 분할되고, 변환의 분해 레벨들에 대응하는 연속적인 해상도 레벨들의 주어진 수를 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 비디오 시퀀스의 압축을 위한 인코딩 방법으로서,
    상기 방법은 계층적인 피라미드, 루트들이 3D 웨이브렛 변환으로부터 초래하는 근사 서브 대역의 픽셀들로 형성되고 이들 픽셀들의 각각의 자손이 상기 계층적인 피라미드 내부의 공간-시간 관계를 규정하는 이들 루트 픽셀들에 의해 규정된 이미지 볼륨에 대응하는 더 높은 서브 대역들의 픽셀들로 형성되는 공간 시간 지향 트리를 구성하는 계수들을 변환하도록 프레임들의 각각의 그룹의 화상 엘리먼트들(픽셀들)의 본래 세트로부터 유도하는 계층적인 서브 대역 인코딩 처리에 기초하고, 인코딩되는 서브 대역들은 상기 트리에 형성된 부모-자손 의존들을 존중하고 3D 웨이브렛 변환의 초기 서브 대역 구조를 보존하는 순서로 차례로 스캐닝되는, 상기 인코딩 방법에 있어서,
    공간 스케일 능력의 관점에서, 모션 추정은 최고 공간 해상도 레벨에서 수행되고, 그에 따라 얻어진 벡터들은 더 낮은 공간 해상도들에 대한 모션 벡터들을 얻기 위해 2로 분할되며, 어떤 공간 해상도 레벨을 복구하는데 필요한 추정된 모션 벡터들만이 이 주어진 공간 레벨에서 웨이브렛 계수들을 인코딩하는 비트들과 함께 비트 스트림에 인코딩되어 놓여지고, 상기 모션 벡터들은 동일한 공간 레벨에서 텍스처 계수들을 인코딩하기 전에 상기 비트 스트림 내로 삽입되며, 상기 인코딩 동작은 최저 공간 해상도에서 모션 벡터들 상에 수행되고, 이어서 각각의 공간 해상도 레벨에서의 개량 비트들만이 하나의 해상도 레벨로부터 다른 것까지 한 비트 플레인씩 비트 스트림에 놓여지는 것을 또한 특징으로 하는, 인코딩 방법.
KR1020027002633A 2000-06-30 2001-06-22 비디오 시퀀스의 압축을 위한 인코딩 방법 KR20020030101A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP00401892.5 2000-06-30
EP00401892 2000-06-30
PCT/EP2001/007096 WO2002001881A2 (en) 2000-06-30 2001-06-22 Encoding method for the compression of a video sequence

Publications (1)

Publication Number Publication Date
KR20020030101A true KR20020030101A (ko) 2002-04-22

Family

ID=8173750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027002633A KR20020030101A (ko) 2000-06-30 2001-06-22 비디오 시퀀스의 압축을 위한 인코딩 방법

Country Status (6)

Country Link
US (1) US6907075B2 (ko)
EP (1) EP1300023A2 (ko)
JP (1) JP2004502358A (ko)
KR (1) KR20020030101A (ko)
CN (1) CN1244232C (ko)
WO (1) WO2002001881A2 (ko)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
AUPR222500A0 (en) 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
KR100366382B1 (ko) * 2001-02-12 2002-12-31 (주) 멀티비아 동영상 부호화 장치 및 방법
AU2002366825A1 (en) * 2001-12-20 2003-07-09 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
AUPS291002A0 (en) * 2002-06-12 2002-07-04 Unisearch Limited Method and apparatus for scalable compression of video
KR20050065582A (ko) * 2002-10-07 2005-06-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 자유롭고 리프팅 기반의 움직임 보상된 시간적 필터링을위한 효과적인 움직임 벡터 예측
US7558441B2 (en) 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
JP2006510252A (ja) * 2002-12-11 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 映像符号化方法及び対応するコンピュータプログラム
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
EP1597919A1 (en) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
KR20060038408A (ko) * 2003-06-30 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법
KR100612849B1 (ko) 2003-07-18 2006-08-14 삼성전자주식회사 영상 부호화 및 복호화 장치 및 방법
EP1515561B1 (en) 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
WO2005055608A1 (en) * 2003-12-01 2005-06-16 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
AU2007221795B2 (en) * 2003-12-01 2009-12-03 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
US20050201462A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and device for motion estimation in scalable video editing
KR100897640B1 (ko) * 2004-06-11 2009-05-14 닛본 덴끼 가부시끼가이샤 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
EP1768417A4 (en) * 2004-06-11 2011-04-06 Nec Corp ANIMATED IMAGE ENCODER AND MOVIE IMAGE DECODER AND METHOD AND PROGRAM THEREOF
WO2006001777A1 (en) * 2004-06-23 2006-01-05 Agency For Science, Technology And Research Scalable video coding with grid motion estimation and compensation
DE102004031407A1 (de) * 2004-06-29 2006-01-26 Siemens Ag Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
CN101032171B (zh) * 2004-07-13 2010-09-01 法国电讯公司 把视频图像序列编码为不同空间分辨率的分波段系数的方法和装置
FR2873246B1 (fr) * 2004-07-13 2007-03-09 Thomson Licensing Sa Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
JP2008507170A (ja) * 2004-07-13 2008-03-06 フランス テレコム エス アー ビデオ画像配列の符号化方法および装置
DE102004041664A1 (de) * 2004-08-27 2006-03-09 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
CN1296861C (zh) * 2004-09-10 2007-01-24 倪蔚民 基于图像纹理特征随机度信息的模式识别方法
US7643032B2 (en) * 2004-11-02 2010-01-05 Microsoft Corporation Texture-based packing, such as for packing 8-bit pixels into two bits
CN1319383C (zh) * 2005-04-07 2007-05-30 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN1319382C (zh) * 2005-04-07 2007-05-30 西安交通大学 可伸缩视频编解码器体系结构设计方法
KR101292676B1 (ko) 2005-04-14 2013-08-02 톰슨 라이센싱 공간적 스케일링 가능한 비디오 인코딩 및 디코딩을 위한슬라이스 적응형 움직임 벡터 코딩을 위한 방법 및 장치
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
WO2007036759A1 (en) * 2005-09-29 2007-04-05 Telecom Italia S.P.A. Method for scalable video coding
CN100387063C (zh) * 2005-12-01 2008-05-07 西安交通大学 可伸缩视频编码中的三维码率控制方法
FR2894421B1 (fr) * 2005-12-07 2008-01-18 Canon Kk Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
FR2896371B1 (fr) * 2006-01-19 2008-11-07 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques au format extensible
JP4232113B2 (ja) * 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
US7714838B2 (en) * 2006-04-27 2010-05-11 Research In Motion Limited Handheld electronic device having hidden sound openings offset from an audio source
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
EP2080383A4 (en) * 2006-10-20 2009-12-09 Nokia Corp GENERIC INDICATION OF ADJUSTMENT GUIDE FOR SCALABLE MULTIMEDIA
US7707224B2 (en) 2006-11-03 2010-04-27 Google Inc. Blocking of unlicensed audio content in video files on a video hosting website
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) * 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8155207B2 (en) * 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
JP5337147B2 (ja) * 2007-05-03 2013-11-06 グーグル インコーポレイテッド デジタルコンテンツ投稿の換金化
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
US8331444B2 (en) * 2007-06-26 2012-12-11 Qualcomm Incorporated Sub-band scanning techniques for entropy coding of sub-bands
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
EA201000382A1 (ru) 2007-09-28 2011-08-30 Всеволод Юрьевич Мокрушин Способ кодирования цифровых сигналов (варианты), способ декодирования цифровых сигналов (варианты), устройство для их реализации (варианты) и система для передачи изображений по каналам связи с ограниченной пропускной способностью (варианты)
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8619861B2 (en) * 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2009122463A1 (ja) * 2008-03-31 2009-10-08 富士通株式会社 画像データ圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
CN101552924B (zh) * 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
JP2008228327A (ja) * 2008-04-08 2008-09-25 Canon Inc 復号方法及び装置
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) * 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) * 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
ES2546091T3 (es) 2008-11-12 2015-09-18 Cisco Technology, Inc. Procesamiento de un programa de vídeo que tiene representaciones procesadas plurales de una señal de vídeo única para reconstrucción y emisión
WO2010096767A1 (en) * 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP4801186B2 (ja) 2009-04-23 2011-10-26 株式会社エヌ・ティ・ティ・ドコモ 画像処理装置、画像処理方法および画像処理プログラム
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US20110213720A1 (en) * 2009-08-13 2011-09-01 Google Inc. Content Rights Management
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
CN101888553B (zh) * 2010-06-30 2012-01-11 香港应用科技研究院有限公司 用于可伸缩视频编码的方法和装置
CN102447896B (zh) * 2010-09-30 2013-10-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN102446339B (zh) * 2010-10-14 2014-09-10 株式会社摩如富 图像处理装置和图像处理方法
CN102595113B (zh) * 2011-01-13 2014-06-04 华为技术有限公司 一种变换系数块的扫描方法、装置和系统
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US8976859B2 (en) * 2012-12-07 2015-03-10 Xerox Corporation Processing a video for spatial and temporal magnification with minimized image degradation
JP2014187580A (ja) * 2013-03-25 2014-10-02 Kddi Corp 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
EP4213096A1 (en) 2018-01-18 2023-07-19 BlackBerry Limited Methods and devices for entropy coding point clouds
CN113647112A (zh) * 2019-03-11 2021-11-12 交互数字Vc控股公司 用于视频编码和解码的熵编解码
US10742992B1 (en) 2019-03-26 2020-08-11 Electronic Arts Inc. Video compression for video games
WO2021077178A1 (en) * 2019-10-25 2021-04-29 Kakadu R & D Pty Ltd Method and apparatus for complexity control in high throughput jpeg 2000 (htj2k) encoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3534465B2 (ja) * 1994-12-28 2004-06-07 パイオニア株式会社 サブバンド符号化方法
US6370197B1 (en) * 1999-07-23 2002-04-09 Memorylink Corporation Video compression scheme using wavelets

Also Published As

Publication number Publication date
CN1411665A (zh) 2003-04-16
JP2004502358A (ja) 2004-01-22
US6907075B2 (en) 2005-06-14
EP1300023A2 (en) 2003-04-09
CN1244232C (zh) 2006-03-01
US20020150164A1 (en) 2002-10-17
WO2002001881A2 (en) 2002-01-03
WO2002001881A3 (en) 2002-08-01

Similar Documents

Publication Publication Date Title
KR20020030101A (ko) 비디오 시퀀스의 압축을 위한 인코딩 방법
US7680190B2 (en) Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
EP1825690B1 (en) Method and system for decomposing multiview videos
US20060088096A1 (en) Video coding method and apparatus
US20070147492A1 (en) Scalable encoding and decoding of interlaced digital video data
KR20050052532A (ko) 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩
EP1338148A1 (en) Video coding method using a block matching process
KR20020064803A (ko) 비디오 코딩 방법
MX2013003871A (es) Metodo y aparato para escalabilidad espacial para hevc.
KR20050028019A (ko) 하나 및 다수의 기준 프레임을 기반으로 한 움직임 보상필터링을 사용한 웨이블릿 기반 코딩
Hsiang et al. Invertible three-dimensional analysis/synthesis system for video coding with half-pixel-accurate motion compensation
US20060012680A1 (en) Drift-free video encoding and decoding method, and corresponding devices
Lopez et al. Fully scalable video coding with packed stream
Zhang et al. High performance full scalable video compression with embedded multiresolution MC-3DSPIHT
KR100577364B1 (ko) 적응형 프레임간 비디오 코딩방법, 상기 방법을 위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치
EP0848557A2 (en) Subband image encoding method
Padmanabhan et al. An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK
Thapa Video Compression Techniques: A Survey.
Akbari et al. Disparity compensated view filtering wavelet based multiview image code using lagrangian optimization
Sumitra A New, Fast and Efficient Wavelet Based Image Compression Technique Using JPEG2000 with EBCOT versus SPIHT
WAH Enhancements to SPIHT-based and CSPIHT-based coders
Nakachi et al. A study on multiresolution lossless video coding using inter/intra frame adaptive prediction
Furht Hong Man 2, Alen Docef 3 and Faouzi Kossentini 4
EP1554886A1 (en) Drift-free video encoding and decoding method, and corresponding devices
Wanis et al. Analysis of Optimized Design Tradeoffs in Application of Wavelet Algorithms to Video Compression

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee