KR20070039552A - 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩 - Google Patents

그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩 Download PDF

Info

Publication number
KR20070039552A
KR20070039552A KR1020077001574A KR20077001574A KR20070039552A KR 20070039552 A KR20070039552 A KR 20070039552A KR 1020077001574 A KR1020077001574 A KR 1020077001574A KR 20077001574 A KR20077001574 A KR 20077001574A KR 20070039552 A KR20070039552 A KR 20070039552A
Authority
KR
South Korea
Prior art keywords
scalable
motion
bit rate
compensation
grid
Prior art date
Application number
KR1020077001574A
Other languages
English (en)
Inventor
정구오 리
시아오강 양
갱 팡 림
시아오 린
수산토 라하르드자
팽 판
Original Assignee
에이전시 포 사이언스, 테크놀로지 앤드 리서치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이전시 포 사이언스, 테크놀로지 앤드 리서치 filed Critical 에이전시 포 사이언스, 테크놀로지 앤드 리서치
Publication of KR20070039552A publication Critical patent/KR20070039552A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

그리드 움직임 추정 및 보상 모듈(110), 움직임 보상 시간 필터링 모듈(105), 스캘러블 코딩 모듈(115), 이산 변환 모듈(120) 및 패킷화 모듈(135)을 포함하는 스캘러블 코더가 개시된다. 그리드 움직임 추정 및 보상 모듈(110)은 소스 비디오 데이터로부터 스캘러블 움직임 벡터, 공급된 해상도 및 비트율 파라미터들을 출력한다. 움직임 보상 시간 필터링 모듈(105)은 소스 비디오 데이터 및 스캘러블 움직임 벡터로부터 현재 및 이전의 이미지 프레임들 사이의 차에 해당하는 레지듀 이미지를 생성한다. 스캘러블 코딩 모듈(115)은 스캘러블 움직임 벡터를 수신하여 엔코딩하도록 결합된다. 이산 변환 모듈(120)은 공급된 비디오를 수신하고 계수 시퀀스로 영역 변환하도록 구성된다. 패킷화 모듈은 스캘러블 코딩 모듈(115) 및 이산 변환 모듈(120)과 결합되고 엔코딩된 스캘러블 움직임 벡터 및 계수 시퀀스를 패킷으로 결합하도록 동작가능하다.

Description

그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩{Scalable video coding with grid motion estimation and compensation}
본 출원은 그 개시 내용이 본 출원에서 전체적으로 참조되는 2004년 6월 23일 출원된 미국 예비 출원 60/582,444호의 권리를 주장한다.
본 발명은 비디오 코딩에 관한 것으로, 특히 움직임 추정 및 보성이 원하는 비트율 범위(bit rate range), 프레임율 및 해상도의 함수로 최적화될 수 있는 스캘러블 비디오 코딩(scalable video coding)에 관한 것이다.
3차원 서브밴드(sub-band) 웨이블릿(wavelet) 코딩은 효율적인 스캘러블 비디오 코딩(SVC)으로서, 그 개발은 J.Ohm에 의해 "Three Dimensional Sub-band Coding with Motion Compensation", IEEE Trans. on Image processing, Vol.3, No.9, pp 559-571, Sept 1994에 기재된 바와 같다. 그러한 방식에서, 4가지 리던던시(redundancy) 타입이 제거된다: 시간적, 공간적, 지각적(perceptual) 및 통계적.
시간적 리던던시는 오픈 룩(open look) 기반의 움직임 보상을 수행하여 제거되며, 그에 의한 움직임 보상을 위한 기준 프레임(reference frame)은 MPEG 1/2/4 압축 표준 및 H.263/4에서와 같은 기존의 표준에서 재구성된 프레임들이 아닌 원래의(original) 프레임들이다.
오픈 룩 기반의 움직임 보상 기술은, 여기에서는, "움직임 보상 시간 필터링(motion compensation temporal filtering)"으로 또는 J.Ohm에 의해 상술한 자료에 기재된 MCTF로 언급된다. MCTF에 대한 추가 개발은 S. Choi와 J. Woods의 "Motion Compensated 3-D Sub-band Coding of Video, " IEEE Trans. on Image Processing. Vol. 8, No.2, pp. 155-167, Feb. 1999.에 기재되어 있다. 이 자료에서, MCTF는 움직임 추정의 방향을 움직임 보상의 방향과 동일하게 함으로써 개선되었다. 이 기술에서, 몇몇 라운드의 MCTF는 원하는 시간 스캘러빌러티(scalability)를 제공하고 불필요한 시간 리던던시를 제거하도록 수행된다. 각 MCTF 라운드 동안에, 비트율과 움직임 정보 및 레지듀얼(residual) 데이터 간 트레이드 오프(trade-off)에 해당하는 라그랑지 승수(Lagrangian multiplier)(λ)를 사용하는 비율 왜곡 최적화(rate distortion optimization)를 이용하여 높고 낮은 서브밴드 계수들이 각 움직임 보상된 쌍에 대해 생성된다. 송신된 움직임 정보의 양 및 레지듀얼 데이터 간 트레이드 오프는 스캘러블 비디오 시스템에서 중요한 특징이다. 큰 값의 λ는 저 비트율 및 적은 양의 송신된 움직임 정보에 대항하고, 작은 값은 λ는 고 비트율 및 큰 양의 송신된 움직임 정보에 해당한다. 일반적으로, SVC 시스템의 죄적 포인트는 제1레지듀얼 이미지가 각 움직임 보상 쌍에 대해 생성되는 포인트이고, 보통 오직 하나의 그러한 포인트가 존재한다.
모든 필요한 MCTF 동작들이 수행되면, 보통 공간 변환이 각 서브 밴드에 대해 수행되어 공간 리던던시를 제거한다. 가장 일반적으로, 그러한 동작에 사용되는 공간 변환은 이산 코사인 변환(Discrete Cosine Trnasformation, DCT) 또는 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT)이다.
인지 리던던시는 보통 주파수 영역(domain)의 레지듀얼 데이터를 양자화함으로써, 보통 양자화 행렬의 사용을 통해 제거된다. 양자화 행렬은 인간 시각 시스템(Human Visual System, HVS)의 중요한 특징, 즉, 인간의 눈은 저주파 성분에 더 민감하고 고주파 성분에는 덜 민감한 특징에 따라 설계된다. 따라서, 저주파에서 작은 엘레멘트가 레지듀얼 데이터로 선택되는 반면 고주파 데이터에 대해서는 큰 엘레멘트가 선택된다. 양자화 과정은 보통 손실이 있고(lossy), SNR 스캘러빌러티는 다른 전송 비트율에서 적절한 양자화 스텝을 선택함으로써 이루어진다.
시간, 공간 및 인지 리던던시가 제거되면, 통계적인 리던던시를 제거하는데 사용되는 엔트로피 코딩(entropy coding)을 위해 레지듀얼 데이터 및 움직임 정보가 생성된다. 이 과정에서, 짧은 심볼들이 더 자주 발생하는 값들을 표현하도록 사용되고, 긴 심볼들은 덜 자주 발생하는 값들에 대해 사용된다. 가변장 코딩(variable length codeing) 및 산술 코딩(arithmetic coding)은 이 과정에서 사용되는 예시적인 코딩 타입이다.
종래의 스캘러블 비디오 코딩 시스템은 최대 비트율에서 최적의 시스템 성능을 얻기 위해서 보통 작은 라그랑지 승수 λ를 사용한다. 그러나 절단된(truncated) 비트들은 충분한 레지듀 데이터가 없이 너무 많은 움직임 정보를 갖고 있으므로, 그러한 시스템에서는 낮은 비트율 스트림에서 비주얼 품질이 상대적으로 좋지 않다. 낮은 비트율에서 코딩 효율을 개선하기 위한 시도가 H. Hang, S. Tsai 그리고 T.Chiang에 의해 "Motion Information Scalability for MC-EZBC: Response to Call for Evidence of Scalable Video Coding", ISO/IEC JTC1/Sc29/WE11, MPEG200/m9756, July, 2003 Tronheim 에서 설명되었다. 거기에서, 시간 분해(temporal decomposition)에서 움직임 정보는 기본 및 고위 계층(base and enhancement layers)을 나누어진다. 기본 계층은 64x64에서 16x16까지의 움직임 정보 형태로 구성되는 반면 고위 계층은 8x8에서 4x4까지의 움직임 정보로 구성되며, 기본 계층으로부의 움직임 정보만이 저 비트율로 디코더로 전송된다. 그러나 레지듀 데이터를 고 비트율에서 얻어지고, 따라서 움직임 부정합(mismatch)이 일어난다. 면적이 상대적으로 스무드(smooth)하다면, 얻어진 움직임 정보의 차는 그다지 중요하지 않다. 그러나 면적이 상당히 질감이 있다면(textured) 움직임 정보의 차는 상당히 왜곡된다. 그 결과로 제안된 방식으로는 저 비트율 전송에서 코딩 효율이 낮을 수 있다.
더 불리한 것은, 다른 공급업자들은 다른 고객 구성과 그에 따라 다른 비트 율, 프레임율(frame rate) 및 해상도 조건을 갖는다는 것을 고려하지 않았다는 점에서 제안된 기술이 구현 또는 상업적 관점에서는 최적이 아니라는 것이다. 표 1은 이러한 예를 설명한다.
Figure 112007006505456-PCT00001
도시된 고객 구성을 갖는 A 및 B회사를 가정하자. 명백히, A회사에 대한 최적 동작 조건은 ACIF, 7.5f/s 및 64Kb/s이고, 반면 B회사에 대한 최적 동작 조건은 4CIF, 60f/s, 2Mb/s의 비트율이다. 그러한 예에서, 최대 비트율에서 최적을 성능을 갖도록 설계된 종래의 비디오 코딩 시스템은 A회사에는 최적이 아니다. 왜냐하면, 그 고객의 대부분이 낮은 비트율 서비스를 사용하기 때문이다. 따라서 필요한 것은 임의의 비트율, 프레임율 및 해상도에서 최적의 성능을 제공할 수 있는 개선된 비디오 코딩 시스템이다.
본 발명은 그리드(grid) 움직임 추정 및 보상 모듈, 움직임 보상 시간 필터링 모듈, 스캘러블 코딩 모듈, 이산 변환 모듈 및 패킷화(packetization) 모듈을 포함하는 스캘러블 비디오 코더를 제공한다. 그리드 움직임 추정 및 보상 모듈은 소스 비디오 데이터를 수신하는 제1입력부, 원하는 비트율과 해상도 파리미터들을 수신하는 제2입력부 및 출력부를 포함하고 상기 소스 비디오 데이터로부터 계산된 스캘러블 움직임 벡터, 공급된 해상도 및 비트율 파라미터들을 출력하도록 동작한다. 움직임 보상 시간 필터링 모듈은 상기 소스 비디오 데이터를 수신하는 제1입력부, 상기 스캘러블 움직임 벡터를 수신하는 제2입력부 및 출력부를 포함하고, 현재 및 이전 프레임 이미지들 사이의 차에 해당하는 레지듀 이미지를 생성하도록 동작한다. 스캘러블 코딩 모듈은 상기 스캘러블 움직임 벡터를 수신하고 엔코딩하도록 결합된다. 이산 변환 모듈은 공급된 비디오 데이터를 수신하여 계수 시퀀스로 영역 변환(domain transform)한다. 패킷화 모듈은 상기 스캘러블 코딩 모듈 및 이산 변환 모듈과 결합하여 상기 엔코딩된 스캘러블 움직임 벡터 및 계수 시퀀스를 패킷으로 결합하도록 동작한다.
본 발명의 이러한 그리고 다른 특징들은 첨부된 도면 및 다음의 상세한 설명에 비춰볼 때 더 잘 이해될 수 있다.
도 1은 본 발명의 일실시예에 다른 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코더를 도시한 것이다.
도 2는 본 발명의 일실시예에 다른 그리드 움직임 추정 및 보상 과정의 기능적인 표현을 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 낮은 및 높은 비트율 데이터 사이의 코딩 리던던시를 제거하는 과정을 도시한 것이다.
도 4는 본 발명의 일실시예에 따라 비제한적인(unconstrained) 움직임 보상 시간 필터링 과정(또는 폐루프(closed loop) 기반 움직임 보상 방식)과 결합된 움직임 보상 시간 필터링 과정을 도시한 것이다.
도 1은 본 발명에 따른 그리드 움직임 추정 및 보상(그리드 ME/MC)을 사용하는 스캘러블 비디오 엔코더(100)를 도시한 것이다. 엔코더(100)는 움직임 보상 시간 필터링(MCTF) 모듈(105). 그리드 ME/MC 모듈(110), 스캘러블 움직임 벡터 코딩 모듈(115), 이산 변환 모듈(DTM)(120), 프레임 계층 쉬프트(shift) 모듈, 임베디드 영 블록(emdedded zero block) 코딩(EZBC) 모듈(130) 및 패킷화 모듈(135)을 포함한다.
동작하는 동안, 비디오 정보(102)는 MCTF 모듈(105)로 공급된다. MCTF 모듈(105)는 비디오 정보를 그리드 ME/MC 모듈(110)로 전달한다. 비디오 정보(102)의 수신 및 최적의 해상도 레벨, 프레임율 및 비트율을 포함하는 추가로 공급된 사용자 파라미터들에 응답하여, 그리드 ME/MC 모듈은 스캘러블 움직임 벡터(113)를 계산하여 MCTF 모듈 및 코딩 모듈(115)로 공급한다.
스캘러블 움직임 벡터를 수신하면, MCTF 모듈(105)은 현재 및 이전 프레임 이미지들 사이의 차에 해당하는 레지듀 이미지를 생성한다. 레지듀 이미지는 MCTF 모듈(105)로부터 Y평면의 높고 낮은 서브 밴드 데이터를 포함하는 휘도(luminance) 정보 및 U 및 V 평면 데이터를 포함하는 색도(chrominance) 정보로 출력된다. 공급된 Y, U 및 V 데이터는 이산 변환 모듈(120)을 사용하여 변환되어 해당 계수들을 출력한다. 본 발명의 특별한 실시예에서, 이산 변환 모듈(120)은 2차원 이산 웨이블릿 변환을 채용한다. 다른 실시예에서, 2차원 이산 코사인 변환이 채용된다. 계수들은 차례로 프레임 계층 쉬프트 모듈(125)로 공급된다. EXBC 모듈은 레지듀 데이터를 비트 평면(bit plane) 방법으로 코딩하고 미세 입자(fine granularity) 스켈레빌리티(saclability)가 이루어진다. 코딩 모듈(115)는 코딩된 레지듀 데이터로 패킷화하기 위해 스켈레블 움직임 벡터를 코딩한다. 패킷화 모듈(130)은 인터넷과 같은 통신 매체를 통해 목적지 수신기로 전송하기 위해 코딩된 스켈러블 움직임 벡터와 모듈(130)로부터의 레지듀 데이터를 결합한다.
상술한 아키텍쳐(architecture)는 단지 예시일 뿐이고, 본 발명이 속하는 기술분야의 당업자는 그로부터 다양한 변형이 가능하다는 것을 알게 될 것이다. 본 발명의 예시적인 실시예에서, 상술한 아키텍쳐는 기존의 미세 입자 스켈러빌리티(FGS) 코딩의 코딩 효율을 개선하는데 사용될 수 있다. 본 발명의 바람직한 실시예에서, 스켈러블 움직임 벡터 코딩 모듈(115), DWT 모듈(120), 프레임 계층 쉬프트 모듈(125), EZBC 모듈(130) 및 패킷화 모듈(135)에 의해 수행되는 과정은 종래의 과정을 사용하여 수행된다. MCTF 모듈에 의해 수행되는 과정은 일반적으로 종래 기술에 설명된 바와 같고 여기에서는 좀 더 상세하게 설명된다. 그리드 ME/MC 모 듈(110)은 본 발명의 주제들중 하나이며 아래에서 더 설명된다.
도 2는 본 발명의 일실시예에 따른 그리드 ME/MC 과정의 기능적인 표현을 도시한 것이다. 그리드는 제1축(x)을 따라 비트율 범위로, 제2축(y)을 따라 해상도 레벨로 정의된다. 원하는 비트율 범위 및 해상도 레벨에 해당하는 최적 포인트(210)가 선택된다. 최적 포인트 주변에 위치하는 서브 최적 포인트들(215, 220)이 선택되고, 각 서브 최적 포인트는 원하는 그러나 덜 중요한 비트율 범위 및/또는 해상도 레벨에 해당한다. 코딩 효율은 최적 포인트(210) 주변에서 최적화되고, 포인트의 상대적인 중요성을 기반으로 하여 2차로 서브 최적 포인트들(215, 220)까지 확장된다.
도 2는 특별한 그리드 ME/MC 과정을 나타내는 ① ~ ⑤를 더 도시한다. 최적 포인트(210)로부터 시작하여 기본적인 ME/MC 과정이 수행되고, 그 결과로 움직임 벡터 및 그에 해당하는 레지듀 이미지가 생성된다. 동일한 높거나 낮은 해상도 레벨에서 낮은 비트율(④)로 이동하면, 그리드 ME/MC 과정은 비트율 데이터의 절단(truncation)을 포함한다. 최적 포인트(210)를 동일한 비트율에서 낮은 해상도(③)로 이동이면, 그리드 ME/MC 과정은 해상도 데이터의 절단을 포함한다. 동일한 비트율에서 높은 해상도(⑤)로 이동하면, 해상도는 재귀적인(recursive) ME/MC 과정에 의해 정밀해진다(refined). 동일한, 높은 또는 낮은 비트율에서 높은 데이터율(②)로 이동하면, 비트율은 재귀적인 ME/MC 과정에 의해 정밀해진다.
이러한 각 과정이 이하에서 더 설명된다.
본 발명에 따르면, 둘 이상의 파라미터들이 l번째 시간 레벨에서 다른 비트율 범위에 해당하는 움직임 추정을 위해 미리 정의된다. 파라미터들은
Figure 112007006505456-PCT00002
,
Figure 112007006505456-PCT00003
및
Figure 112007006505456-PCT00004
각각에 대해 다음 식을 만족하도록 정의된다.
Figure 112007006505456-PCT00005
Figure 112007006505456-PCT00006
는 가장 낮은 비트율에 해당하고,
Figure 112007006505456-PCT00007
는 선택된 최적 비트율 범위에 해당하며,
Figure 112007006505456-PCT00008
는 가장 높은 비트율에 해당한다.
본 발명의 특별한 실시예에서, 그리드 ME/MC는 두 파라미터
Figure 112007006505456-PCT00009
및
Figure 112007006505456-PCT00010
를 이용하여 수행된다. 그러한 실시예에서, 두 그룹의 움직임 정보 및 두 레지듀 이미지가 각 해상도에서 각 움직임 추정 페어(pair)에 대해 생성된다. 이들은 각 범위에서 코딩될 움직임 정보 및 레지듀 데이터를 생성하는데 사용된다.
종래 시스템에서, ME/MC는 가장 높은 비트율 및 가장 높은 해상도에서 최적화된다. 그러한 시스템에서는 단지 하나의 레지듀 이미지 및 해당 움직임 벡터가 각 움직임 페어(이전의 두 비디오 프레임)에 대해 생성된다.
본 발명에서, 그리드 ME/MC는 5가지 방법중 하나로 수행된다:(i) 기본 레지 듀 이미지 및 해당 움직임 벡터가 각 움직임 보상된 페어에 대해 생성되는 기본 ME/MC를 이용하여; (ii) 해상도가 정밀해진 레지듀 이미지 및 해당 움직임 벡터가 각 움직임 보상된 페어에 대해 생성되는 해상도가 정밀해진 ME/MC를 사용하여; (iii) 신호대 잡음비(SNR)이 정밀해진 레지듀 이미지 및 해당 움직임 벡터가 낮은 해상도에서 각 움직임 보상된 페어에 대해 생성되는 SNR이 정밀해진 ME/MC를 사용하여; (iv) 대부분의 중요한 해상도에서 SNR이 정밀해진 레지듀 이미지 및 해당 벡터가 각 움직임 보상된 페어에 대해 생성되는 가장 중요한 해상도에서 SNR이 정밀해진 ME/MC를 사용하여; 및 (v) SNR 및 해상도가 정밀해진 레지듀 정보 및 해당 움직임 벡터가 각 움직임 보상 페어에 대해 생성되는 SNR 및 해상도가 정밀해진 ME/MC를 사용하여.
각 시간 레벨에서 기본 움직임 추정
예시적인 실시예에서, 시간 레벨의 전체 수는 L이고, 가장 중요한 포인트는 l0번째 시간 레벨에서 선택된다. 최적의 라그랑지 승수
Figure 112007006505456-PCT00011
는 다음 식과 같이 정의된다.
Figure 112007006505456-PCT00012
시간 레벨 l(l=1,2,3,…, L)에서 해상도 φ(l)이 사용자 구성에 따라 사용자 에 의해 가중 중요한 해상도로 선택된다. 움직임 보상은 l번째 시간 레벨에서 파라미터
Figure 112007006505456-PCT00013
를 갖는 해상도 φ(l)로부터 시작하고, l번째 시간 레벨에서 기본 움직임 보상으로 명명된다.
최적 포인트의 성능을 제공하기 위해, 다음 두 경우에 따라 레지듀 이미지가 생성된다:
경우 1: l<l0.
Figure 112007006505456-PCT00014
만을 사용하여 레지듀 이미지가 생성된다.
경우 2: l≥l0. 움직임 추정 및 보상이
Figure 112007006505456-PCT00015
및
Figure 112007006505456-PCT00016
를 사용하여 수행된다.
따라서 시간 레벨 l(l≥l0)에서 각 해상도에서 각 움직임 보상 페어에 대해 생성되는 두 레지듀 이미지가 있다. 이들은 각 범위에서 코딩될 움직임 정보 및 레지듀 이미지를 생성하는데 사용된다.
최적의 비트율 범위를 통해 코딩 효율을 제공하기 위해, 최적의 범위보다 낮은 비트율 범위에서 움직임 정보는 기본 움직임 추정에 의해 얻어진 움직임 정보로부터 절단된다. 유사하게, φ(l)보다 낮은 해상도 및 그보다 낮은 해상도에서
Figure 112007006505456-PCT00017
에 해당하는 비트율 범위에 대한 움직임 정보는 기본 움직임 정보로부터 그 축적이 작아지고 절단된다.
움직임 정보 및 레지듀 데이터의 SNR 스켈러빌리티
그리드 ME/MC는 파라미터
Figure 112007006505456-PCT00018
에 해당하는 비트율 범위로부터 시작한다. 본 발명의 특별한 실시예에서 움직임 정보 및 텍스쳐의 SNR 스캘러빌리티는 다음을 사용하여 얻어진다: (i) 그리드 ME/MC를 위한 적응적인 정확도; (ii) 재귀적인 움직임 보상에 의한 정밀화(refinement); (iii) 동일한 해상도에서 다른 비트율 범위 사이에서 공유되는 정보; (iv) 저 비트율 범위에서 움직임 정보의 절단; 및 (v) 낮고 높은 비트율 범위에서 리던던시 제거. 이들 각 과정이 설명된다.
그리드 움직임 추정 및 보상을 위한 적응적인 정확도
그리드 움직임 추정 및 보상을 수행하기 전 초기에, 움직임 벡터의 정확도가 선택된다. 특별한 실시예에서, 정확도는 비트율 범위에 대해 적응적이다. 보통 우직임 정보의 정확도는 비트율이 증가함에 따라 증가된다. 예를 들어, 낮은 비트율에서는 1/2 픽셀이 선택될 수 있는 반면, 중간 및 높은 비트율에서는 1/4 픽셀이 선택될 수 있다. 게다가, H.264에서 블록 크기는 16x16에서 4x4까지 대신에 16x16에서 8x8까지일 수 있다.
시간 레벨에 따라 재귀적인 움직임 추정에 의한 정밀화
그러한 과정에서 (dx0, dy0)는
Figure 112007006505456-PCT00019
을 갖는 그리드 ME/MC에 의해 얻어진 움직임 벡터를 나타낸다. (dx, dy)는 (dx0, dy0) 주변에 위치한 움직임 벡터이고 정 밀화를 위한 후보이다. 제1재귀적 움직임 정밀화 왜곡 기준은 MCTF의 l0번째 라운드(round)에 대해 다음 식과 같이 정의된다.
Figure 112007006505456-PCT00020
여기서, IQ() 및 Q()는 각각 양자화 동작 및 해당 역양자화 동작을 나타내고, A(x,y) 및 B(x,y)는 예측된 프레임과 기준 프레임을 각각 나타낸다.
Figure 112007006505456-PCT00021
는 움직임 추정 및 보상에 대한 일반화된 왜곡 기준이다. 시간적인 L서브 밴드의 에너지가 비교적 상수이기 때문에, 최대 코딩 이득은 시간적인 H 서브 밴드의 신호 에너지를 최소화함으로써 거의 얻어진다.
또한,
Figure 112007006505456-PCT00022
은 움직임 벡터 (dx-dx0, dy-dy0)를 코딩하는 비트들의 수를 나타낸다. 만일 다음의 부등식이 만족되면, 움직임 추정(dx, dy)은 MCTF의 제1라운드에서 수행된다.
Figure 112007006505456-PCT00023
동일한 해상도에서 다른 비트율 범위들 사이에서 공유되는 정보
동일한 시간 레벨의 동일한 해상도에서(예를 들어, 도 3에서 수평방향을 따 라) 움직임 추정을 가속하기 위해, 블록 파티션(partition) 정보 및 해당 움직임 정보가 다른 비트율에서의 움직임 추정에 의해 공유된다. 공유된 정보를 채용하는 경우 공유된 정보를 사용자의 선택에 종속된다. 예를 들어, 사용자가 최종 블록 파티션 모델을 고정할 수 있다. 이 경우, 최종 블록 파티션 모드 및 해당 움직임 정보가 공유되고, 움직임 정보의 수는 다른 비트율들에서 동일하다. 사용자는 또한 움직임 추정 과정에서 얻어진 초기의 전체 움직임 벡터 트리(tree)를 고정할 수 있다. 초기의 전체 움직임 벡터 트리 및 해당 움직임 정보는 공유된다. 트리의 가지치기(tree pruning) 과정은 동일한 초기의 전체 움직임 벡터 트리로부터
Figure 112007006505456-PCT00024
과
Figure 112007006505456-PCT00025
를 사용하여 수행된다. 더하여, 움직임 정보의 양은 다른 비트율들에서 동일하지 않을 수 있다. 사용자는 하나의 해상도에서 최종 블록 파티션 모드를 고정하는 반면 다른 해상도에서는 초기의 전체 움직임 벡터 트리를 수선(reparing)하도록 선택할 수 있다.
저 비트율 범위에서 움직임 정보 절단
각 해상도에서, 저 비트율에서 움직임 정보는 기본 움직임 추정에서 얻어진 움직임 정보로부터 그 범위에 해당하는 파라미터
Figure 112007006505456-PCT00026
를 갖는 비율 왜곡 최적화(rate distortion optimization)를 사용하여 절단된다.
그러한 과정에서, B(x,y)는 기준 픽쳐(picture)이다. 벡터 (dx, dy) 및 (dx0, dy0)는 두 개의 움직임 벡터이고, 여기서 (dx0, dy0)는 파라미터
Figure 112007006505456-PCT00027
를 사용하여 얻어지고, (dx, dy)는 (dx0, dy0)의 절단된 움직임 벡터이다. 절단 왜곡 기준은 다음 식과 같이 정의된다.
Figure 112007006505456-PCT00028
움직임 벡터 (dx0, dy0)는 다음의 부등식을 만족하면 절단되어 (dx, dy)로 된다.
Figure 112007006505456-PCT00029
두 라그랑지 승수 λ1> λ2에 대해, 움직임 벡터 (dx0, dy0)가 λ1을 이용하여 (dx, dy)로 절단되면, (dx0, dy0)는 또한 λ2를 이용하여 (dx, dy)로 절단될 것이다. 다르게 표현하면, 하나의 비트율에서의 움직임 벡터들의 세트는 상대적으로 높은 비트율에서 그 움직임 벡터들의 서브세트이다.
다음으로, 예측 왜곡 기준은 다음 식과 같이 정의된다.
Figure 112007006505456-PCT00030
수학식 6으로부터 다음과 같이 결정될 수 있다.
Figure 112007006505456-PCT00031
즉, 다음 식과 같다.
Figure 112007006505456-PCT00032
저 비트율에서 움직임 벡터들은 수학식 9를 사용하여 얻어지는 반면, 움직임 정보의 고위 계층은 고 비트율에 해당하고 기존 방식에서는 상대적으로 작은 λ들의 세트를 사용하여 생성된다. 움직임 벡터가 본 발명의 그리드 ME/MC 과정을 사용하여 절단되면, 이는 종래의 방식으로도 절단될 수 있지만, 그 반대의 경우는 성립하지 않는다. 종래의 ME/MC 방법에 따른 과정은 저 비트율에서 코딩될 레지듀 이미지가
Figure 112007006505456-PCT00033
을 사용하여 생성된 레지듀 이미지라면 최적이 된다. 그러나 레지듀 이미지는
Figure 112007006505456-PCT00034
대신에 파라미터
Figure 112007006505456-PCT00035
를 사용하여 생성된다. 이는 움직임 정보가 저 비트율에서는 RDO의 의미에서 불충분함을 의미한다. 그 결과, 종래 시스템에서는 움직임 부정합(mismatch)이 심각하고 코딩 효율이 저비트율에서 아주 낮게 된 다.
최적의 비트율 범위에서 코딩 효율을 보장하기 위해, (dx, dy)는 다음의 조건을 만족하는 것이 바람직하다.
Figure 112007006505456-PCT00036
여기서 θ1은 사용자에 의해 선택된 임계치로, 스캘러블 움직임 벡터 코딩에 의해 야기된 리던던시를 코딩하기 위한 비트들의 수에 관한 것이다.
그러한 예에서, 스위칭 포인트는 다음 식
Figure 112007006505456-PCT00037
과 같이 계산되며, 현재 파일 그룹(group of files, GOF)에서 모든 움직임 보상에 대해 다음 식이 되도록 한다.
Figure 112007006505456-PCT00038
여기서, 코딩될 움직임 정보만이 교환되지만 코딩될 레지듀 이미지는 절단시 변하지 않음을 주지해야 한다.
저 및 고 비트율 사이의 리던던시 제거
리던던시 코딩 정보는 코딩 효율을 높이기 위해 제거되는 것이 바람직하다. 도 3은
Figure 112007006505456-PCT00039
및
Figure 112007006505456-PCT00040
로 움직임을 보상한 후 세 개의 해상도에서 레지듀 이미지를 E11, E12, E1, F1, F2 및 F3로 각각 나타낸 과정을 도시한 것이다. IQ(Q((E11))과 F1, IQ(Q((E21))과 F2, IQ(Q((E31))과 F3 사이의 리던던시는 제거되는 것이 바람직하다. 따라서 고 비트율에서의 코딩을 위한 레지듀 이미지 E12, E22, E32는 다음 식과 같이 계산된다.
Figure 112007006505456-PCT00041
Figure 112007006505456-PCT00042
Figure 112007006505456-PCT00043
움직임 정보 및 레지듀 데이터의 시간 스켈러빌리티
본 발명의 예시적인 실시예에서, 움직임 정보 및 레지듀 데이터의 시간 스캘러빌리티는 움직임 정보를 동일 레벨에서 시간적인 높은 서브 밴드 레지듀 데이터 계수들과 결합하고 필요하다면 이들을 함께 드롭(drop)하여 얻을 수 있다.
두 개의 시간적인 낮은 서브 밴드 및 높은 서브 밴드는 시간 레벨 l(l>l0)에서 두 개의 상수에 대응하여 생성된다. 그 레벨들에서 나머지 MCTF들은 해당 낮은 서브밴드들을 사용하여 수행된다.
본 발명의 예시적인 실시예에서, Lr ,1(x,y) 및 L0 , 1(x,y)는 각각 정밀화 및 원래의 최적 방식에 의해 얻어진 예측된 낮은 서브 밴드고, Lr ,2(x,y) 및 L0 ,2(x,y)는 각각 정밀화 및 원래의 최적 방식에 의해 얻어진 기준의 낮은 서브밴드다.
움직임 보상은
Figure 112007006505456-PCT00044
, L0 ,1(x,y) 및 L0 ,2(x,y)를 사용하여 시작한다.
Figure 112007006505456-PCT00045
, Lr ,1(x,y) 및 Lr ,2(x,y)를 사용하여 움직임 보상을 수행할 때,
Figure 112007006505456-PCT00046
에 의해 얻어진 움직임 벡터들(MV) 및 블록 파티션 모드들의 장점을 모두 얻어야 한다. 이전 계층에서 블록의 코딩된 MV들은 예측된 MV에 대한 하나의 후보로 사용될 수 있고, 이전 계층으로부터 얻어진 블록 파티션 모드는 동일한 위치에 있는 블록에 대한 파티셔닝(partitioning)의 초기 상태로 간주될 수 있다. 유사하게, 제2재귀적 움직임 정밀화 왜곡 기준은 MCTF의 다른 라운드에서 다음과 같이 정의될 수 있다.
Figure 112007006505456-PCT00047
Figure 112007006505456-PCT00048
다음의 부등식이 만족되면, 또 다른 움직임 추정 (dx, dy)이 MCTF의 i번째 라운드에서 수행된다.
Figure 112007006505456-PCT00049
상술한 과정은 재귀적 움직임 보상에 의한 정밀화라고 한다. 스위칭 포인트는 다음 식
Figure 112007006505456-PCT00050
에 의해 계산되어, 현재 파일 그룹(GOF)의 모든 움직임 보상에 대해 R(λ)가 파라미터 λ에 해당하는 비트율 범위일 때 다음 식을 만족하도록 한다.
Figure 112007006505456-PCT00051
코딩될 움직임 정보 및 레지듀 이미지는 재귀적인 움직임 정밀화 접근이 사용될 때 교환되는 것을 주지해야 한다.
φ(l)보다 낮은 해상도에서, 파라미터
Figure 112007006505456-PCT00052
을 이용한 오직 하나의 움직임 보상이 수행된다. φ(l)의 해상도에서,
Figure 112007006505456-PCT00053
를 이용한 다른 움직임 보상이 더 수행되어 레지듀 이미지를 정밀화한다. φ(l)보다 큰 해상도에서,
Figure 112007006505456-PCT00054
를 이용한 하나의 움직임 보상 및
Figure 112007006505456-PCT00055
를 이용한 다른 움직임 보상이 수행되어 해당 비트율 범위에 대해 최적의 움직임 정보 및 최적의 레지듀 이미지가 생성된다. 각 정밀화에서, 해당 레지듀 이미지 및 움직임 정보가 해당 비트율 범위에서 나머지 코딩 과정 동안 생성된다.
움직임 정보 및 레지듀 데이터의 공간 스캘러빌리티
시간 필터링은 가장 중요한 (최적의) 해상도에서 시작하고 최적화된다. 독립적이고 정밀화된 움직임 추정 및 보상은 가장 중요한 해상도보다 큰 해상도에 대해 수행될 수 있다. 가장 중요한 해상도의 움직임 정보는 절단되어 가장 중요한 해상도보다 낮은 해상도의 움직임 정보를 생성한다. 그 해상도에 해당하는 결과적인 레지듀 이미지들 및 더 높은 해상도에서의 레지듀 이미지들은 하나의 레지듀 이미지로 결합된다. 단순하게 하기 위해, 전체적으로 세 가지 해상도가 있고 φ(l)=2라고 가정한다. 움직임 정보 및 텍스쳐의 공간 스캘러빌리티는 (i) 중간 해상도에서의 움직임 정보 및 레지듀 이미지들; (ii) 고해상도에서의 움직임 정보 및 레지듀 이미지들; 및 (iii) 최적 해상도보다 낮은 해상도들에서 움직임 정보의 절단의 과정들을 통해 이루어진다. 이하에서 이들 각 과정이 더 설명된다.
중간 해상도에서의 움직임 정보 및 레지듀 이미지들
중간 및 가장 높은 해상도에서의 기준 프레임들이
Figure 112007006505456-PCT00056
및 B(x,y)라고 가정하자.
Figure 112007006505456-PCT00057
는 SD(B(x,y))일 수 있고, 여기서 SD()는 W.Han의 "Response of Call for Proposal for Scalable Video Coding", ISO/IEC JTC1/SC 29 WG 11 MPEG2004/M10569/S7, Munchen, Germany, March 2004에 설명된 바와 같은 다운 샘플링(down-sampling)동작을 나타낸다.
Figure 112007006505456-PCT00058
및 B(x,y)는 또한 독립적일 수 있다. 움직임 정보 및 레지듀 정보는
Figure 112007006505456-PCT00059
, SD(B(x,y)) 및 다음의 왜곡 기준 사이의 움직임 추정 및 보상을 사용하여 생성된다.
Figure 112007006505456-PCT00060
고해상도에서의 움직임 정보 및 레지듀 이미지
가장 높은 해상도에서 빠르고 효율적인 추정 및 코딩을 위해, 중간 해상도에서 이미 코딩된 MV들과 블록 파티션 모드들을 채택한다. 모든 MV들은 먼저 팩터 2만큼 스케일이 커지는(scaled up) 것이 바람직하고, 그 다음 예측된 MV 후보들이 되며, 이전 계층에서 얻어진 블록 파티션 모드들은 가장 높은 해상도에서 동일한 위치에 있는 블록들에 대한 파티셔닝의 초기 상태로 간주될 수 있다.
움직임 정보 및 레지듀 이미지들은 B(x,y), A(x,y) 및 다음의 왜곡 기준 사이의 움직임 추정 및 보상을 사용하여 생성된다.
Figure 112007006505456-PCT00061
여기서, SU는 상술한 W.Han에 의해 설명된 업 샘플링(up-sampling) 동작을 나타낸다.
도 3에서 코딩된 레지듀 이미지 IQ(Q(E31))은 상술한 W.Han에 의해 설명된 바와 같이 다음 식에 의해 계산된다.
Figure 112007006505456-PCT00062
해당 레지듀 이미지 및 움직임 정보는 해당 해상도에서 나머지 코딩 과정 동안 생성된다.
저해상도에서 움직임 정보의 절단
가장 낮은 해상도에서,
Figure 112007006505456-PCT00063
에 해당하는 비트율 범위의 모든 MV들은 중간 해상도의 MV들로부터 스케일이 작아지고(scaled down) 절단된다. 모든 MV들은 하나의 해상도가 낮아진 후 먼저 팩터 2만큼 스케일이 작아진다. φ(l)의 해상도에서 최종 블록 파티션 모드는 φ(l)보다 낮은 다음 해상도에서 초기의 전체 움직임 벡터 트리로 동작한다. 트리 제거 과정은
Figure 112007006505456-PCT00064
을 사용하여 수행되어 최종 블록 파티션 모드를 생성한다. 유사하게, 다른 낮은 해상도들에서의 움직임 정보 및 최종 블록 파티션 모드가 얻어질 수 있다.
벡터 (dx,dy) 및 (dx0, dy0)는 (2dx0, 2dy0)가 도 3에서 기본 ME/MC를 사용하여 얻어진 두 개의 움직임 벡터들이고, (dx,dy)는 (dx0, dy0)의 절단 벡터이다. 다른 절단 왜곡 기준은 다음과 같이 정의된다.
Figure 112007006505456-PCT00065
움직임 벡터 (dx0, dy0)는 다음의 부등식을 만족하면 (dx, dy)로 절단된다.
Figure 112007006505456-PCT00066
유사하게, 최적의 비트율 범위의 코딩 효율을 보장하게 위해 (dx, dy)는 다음의 부등식을 만족하는 것이 바람직하다.
Figure 112007006505456-PCT00067
여기서 θ2는 사용자에 의해 선택된 다른 비트 수에 대한 임계치이다.
본 발명의 다른 실시예에서, 하나의 비트가 기존의 비디오 코딩 표준으로 교환할 것인가의 여부를 결정하는데 사용된다는 점에서 사용자 유연성(user flexibility)을 제공한다. 예를 들어, 그 비트가 1로 설정되면 기존 비디오 코딩 펴준으로 교환되고, 전체 비트스트림은, 하나는 기존의 비디오 코딩 표준과 호환가능하고, 다른 하나는 MCTF를 기반으로 하는 두 개의 서브 비트스트림으로 구성되거나, 기존의 비디오 코딩 표준과 호환가능한 하나의 비트스트림으로 구성된다. 그렇지않으면, 전체 비트스트림은 전부 MCTF를 기반으로 한다.
본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있는 바와 같이, 여기서 설명된 과정들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 적절한 결합으로 구현될 수 있다. 더욱이, 설명된 과정들의 일부 또는 모두는 컴퓨터로 읽을 수 있는 매체(삭제가능한 디스크, 휘발성 또는 비휘발성 메모리, 내장된 프로세서 등)에 상주하는 컴퓨터로 읽을 수 있는 명령 코드로 구현될 수 있으며, 그 명령 코드는 의도된 기능들을 수행하는 다른 그러한 프로그램 가능한 장치의 컴퓨터를 프로그램하도록 동작할 수 있다.
예
상술한 과정들을 저 지연(low delay)의 경우에 적용하는 것에 대해 설명하기 로 한다. 처음에, 저 지연의 경우에 대한 비트스트림은 MCTF의 끊김없는(seamless) 결합 및 움직임 보상 예측에 의해 최적으로 생성된다. 다음으로, 일실시예에서 저 지연의 경우에 대해 원하는 비디오 시퀀스들이 최적 파라미터
Figure 112007006505456-PCT00068
를 갖는 MCTF를 이용하여 생성된다.
예를 들어, 입력 프레임율이 30Hz이고 프레임 크기가 4CIF이다. 사용자는 저 지연의 경우 7.5HZ로 QCIF 크기의 비디오 시퀀스에 대한 동작을 최적화하려고 한다. 그러한 경우, 엔코더는 저 지연 코딩을 위해 원하는 픽쳐를 다음과 같이 생성한다: 두 라운드의 시간 웨이블릿 변환이 4개의 연속되는 원래 픽쳐들에 대해 수행되어 4CIF 크기 및 7.5HZ를 갖는 비디오 시퀀스를 생성한다. 다음으로, 두 라운드의 2차원 공간 웨이블릿 변환이 수행되어 원하는 비디오 시퀀스를 생성한다. 이어서 비디오 시퀀스는 예를 들어 H.264 엔토더를 사용하여 코딩된다.
다음으로, 고위 계층의 비트스트림이 생성된다. 그런 다음, 4CIF 크기 및 각 GOF에서 미리 정해진 파라미터들을 갖는 원래의 픽쳐들에 대해 모든 필요한 MCTF들이 수행되어 낮고 높은 서브 밴드들을 생성한다. H.264 코딩 과정에서 재구성된 픽쳐들은 MCTF의 추가 라운드들을 수행하는데 사용되어 해당 낮고 높은 서브밴드들을 생성한다. 이들 가운데 리던던시는 상술한 과정을 사용하여 제거될 것이다. 이어서, 나머지 정보가 MCTF에 대한 기존의 방법들을 사용하여 코딩된다.
움직임 정보 보상 방식을 설계하는 예시적인 실시예는 다음과 같다. 처음에, GOF의 크기는 저 지연 비트스트림에 대해 32로 선택되고, 원래의 프레임은 Fi(1≤i≤32)로 나타낸다. 저 지연에 대한 원하는 시간 스캘러빌리티는 각각 30Hz, 15Hz 및 7.5Hz이다. 허용되는 딜레이는 2/15초이다. 움직임 보상 후 생성된 프레임들은 Pi(1≤i≤32)로 나타내는 것으로 가정한다. 움직임 보상 방식은 다음 식과 같이 설명된다.
Figure 112007006505456-PCT00069
여기서,
Figure 112007006505456-PCT00070
이다.
MCTF와 관련된 드리프트(drift) 문제는 없고, 딜레이는 상술한 W.Han의 참고문헌에 설명된 바와 같이 비제한적인(unconstrained) MCTF에 의해 잘 제어될 수 있음을 주지해야 한다. 따라서 저 지연 비트스트림이 공급될 때 MCTF를 가능한 많이 사용하고 MCTF를 비제한적인 MCTF와 끊김없이 결합하는 것이 바람직하다. 다음의 방법은 이러한 목적을 이루는데 사용될 수 있다.
1. 모든 Aii(1≤i≤8)은 MCTF에 의해 결정된다;
2. 모든 다른 Aij는 MCTF 및 비제한적인 MCTF/또는 폐루프 기반 움직임 보상에 의해 결정된다.
A를 다음 식으로 표현하자.
Figure 112007006505456-PCT00071
완전한 재구성을 위한 필요충분조건은 모든 행렬 Aii(1≤i≤8)이 비특이적(nonsingular)이어야 한다는 것이다. 비디오 시퀀스는 다음 식에 의해 재구성된다.
Figure 112007006505456-PCT00072
흥미로운 경우는 모든 Aii(2≤i≤8)가 동일하다는 것이다. 도 4에 그 예가 도시되어 있다. 5/3변환이 MCTF에서 선택된다. 모든 Aij는 아래 주어진 행렬을 제외하고는 0이다.
Figure 112007006505456-PCT00073
비제한적인 MCTF와 관련되는 드리프트 문제가 있고, 이는 드리프트의 길이를 제어함으로써 개선될 수 있음을 알 수 있다. 예를 들어 그 길이는 4로 설정된다.
두 번째 예에서, 실험들은 ftp://ftp.cipr.rpi.edu/personal/chen에서 MCEZBC 소프트웨어 패키지로 사용할 수 있는 MC-EZBC 인터프레임 웨이블릿 코더(interframe wavelet coder)를 기반으로 한다. 네 가지 표준 비디오 시퀀스인 SIF 크기(352x240)의 Flower Garden과 Football, CIF 크기(352x288)의 Mobile과 Foreman이 시험에 사용되어 본 방식과 상술한 Choi 및 Woods의 참고문헌에 개시된 방식이 비교된다. 이들 시퀀스의 프레임율은 30f/s로 설정된다. 비트율은 1024kb/s이다. 상술한 Choi 및 Woods의 참고문헌에서 설명된 계층적인 가변 크기의 블록 매칭(hierarchical variable size block matching, HVSBM) 알고리즘은 계층적인 움직임 추정의 가장 낮은 해상도에서 최대 탐색 폭/높이가 1픽셀로 설정되어 사용된다. 중첩된 1/8블록을 이용하여 중첩된 블록 움직임 보상(overlapped blcok motion compensation, OBMC) 방식이 또한 실험에 사용되어 움직임 정보 필드에서 더 나은 평탄함(smoothness)을 준다. 움직임 정보의 정확도는 반 픽셀이다. 가지치기(pruning) 과정을 위한
Figure 112007006505456-PCT00074
는 224로 선택된다. 최적의 포인트는 고객의 구성에 따라 저비트율에서 선택되는 것을 가정한다. 실험결과는 표 2-5에 도시되어 있고, 하이픈 '-'은 움직임 정보에 대한 불충분한 비트율을 나타낸다. 표들에 따르면 본 발명의 방식이 PSNR을 4.5dB까지 개선하는데 사용됨을 알 수 있다.
Figure 112007006505456-PCT00075
표 2는 Football 시퀀스에 대해 GOF 크기가 16인 다른 방식들의 평균 PSNR을 비교한 것이다.
Figure 112007006505456-PCT00076
표 3은 Garden 시퀀스에 대해 GOF 크기가 16인 다른 방식들의 평균 PSNR을 비교한 것이다.
Figure 112007006505456-PCT00077
표 4는 Foreman 시퀀스에 대해 GOF 크기가 16인 다른 방식들의 평균 PSNR을 비교한 것이다.
Figure 112007006505456-PCT00078
표 5는 Mobile 시퀀스에 대해 GOF 크기가 16인 다른 방식들의 평균 PSNR을 비교한 것이다.
통합된 참조문헌
[1] J.Ohm, "Three-Dimensional Sub-band Coding wth Motion Compensation", IEEE Trans. on Image Processing, Vol.3 No.9, pp.556571, Sept. 1994.
[2] S.Choi and J.Woods, "Motion Compensated 3D Sub-band Coding of Video", IEEE Trans. on Image Processing, Vol.8 No.2, pp. 155167, Feb. 1999.
[3] MCEZBC software package, ftp://ftp.cipr.rpi.edu/personal/chen/
[4] H.Hang, S.Tsai and T. Chiang, "Motion information scalability for MCEZBC: Response to Call for Evidence on Scalable Video Coding," ISO/IEC JTC1/Sc29/WG11, MPEG2003/m9756, July 2003, Tronheim.
[5] W.Han, "Response of Call for Proposal for Scalable Video Coding", ISO/IEC JTC1/SC29 WG11 MPEG2004/M10569/S7. Munchen, Germany, march 2004.
이상과 같이 본 발명의 상세할 설명이 기재되었으나, 이는 단지 예시적일 뿐이고 다양한 변경, 변형 및 등가물이 여기에서 설명된 다양한 장치 및 과정들에 채용될 수 있다. 따라서, 본 발명의 범위는 다음의 청구범위의 한계 및 범위에 의해 정의된다.

Claims (24)

  1. 소스 비디오 데이터를 수신하는 제1입력부, 원하는 비트율 및 해상도 파라미터들을 수신하는 제2입력부 및 출력부를 구비하며, 상기 소스 비디오 데이터로부터 계산된 스캘러블 움직임 벡터, 상기 공급된 해상도 및 비트율 파라미터들을 출력하도록 동작가능한 그리드 움직임 추정 및 보상 모듈;
    상기 소스 비디오 데이터를 수신하는 제1입력부, 상기 스캘러블 움직임 벡터를 수신하는 제2입력부 및 출력부를 구비하고, 현재 및 이전 프레임들의 이미지들 사이의 차에 해당하는 레지듀 이미지를 생성하도록 동작가능한 움직임 보상 시간 필터링 모듈;
    상기 스캘러블 움직임 벡터를 수신하고 엔코딩하도록 결합되는 스캘러블 코딩 모듈;
    상기 레지듀 이미지를 수신하도록 구성되는 입력부들 및 출력부를 구비하고, 상기 공급된 비디오 데이터를 계수 시퀀스로 영역 변환하도록 동작가능한 이산 변환 모듈; 및
    상기 스캘러블 코딩 모듈 및 상기 이산 변환 모듈과 결합되고 상기 엔코딩된 스캘러블 움직임 벡터 및 계수 시퀀스를 패킷으로 결합하도록 동작가능한 패킷화 모듈을 포함함을 특징으로 하는 스캘러블 비디오 코더.
  2. 제1항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 비트율을 포함하고, 상기 그리드 움직임 추정 및 보상 모듈은 비트율 데이터를 절단하도록 더 동작가능하여 상기 미리 정해진 비트율보다 작은 비트율을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  3. 제1항 또는 제2항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 비트율을 포함하고, 상기 그리드 움직임 추정 및 보상 모듈은 재귀적인 과정을 사용하여 상기 비트율 데이터를 정밀화하도록 더 동작가능하여 상기 미리 정해진 비트율보다 높은 비트율을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  4. 제1항 내지 제3항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 해상도 레벨을 포함하고, 상기 그리드 움직임 추정 및 보상 모듈은 데이터를 절단하도록 더 동작가능하여 상기 미리 정해진 해상도 레벨보다 더 낮은 해상도 레벨을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  5. 제1항 내지 제4항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 해상도 레벨을 포함하고, 상기 그리드 움직임 추정 및 보상 모듈은 재귀적인 과정을 사용하여 상기 해상도 데이터를 정밀화하도록 더 동작가능하여 상기 미리 정해진 해상도 레벨보다 높은 해상도 레벨을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  6. 제1항 내지 제5항중 한 항에 있어서,
    상기 이산 변환 모듈은 이산 웨이블릿 변환 모듈을 포함함을 특징으로 하는 스캘러블 비디오 코더.
  7. 제1항 내지 제5항중 한 항에 있어서,
    상기 이산 변환 모듈은 이산 코사인 변환 모듈을 포함함을 특징으로 하는 스캘러블 비디오 코더.
  8. 제1항 내지 제7항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 신호대 잡음비가 정밀해진 움직임 추정 및 보상 과정을 이용하여 그리드 움직임 추정 및 보상을 수행하도록 동작가능하여 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  9. 제8항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 미리 정해진 해상도 레벨에서 동작가능하고, 상기 그리드 움직임 및 추정 모듈은 상기 미리 정해진 해상도 레벨보다 낮은 해상도 레벨에서 상기 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  10. 제8항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 미리 정해진 해상도 레벨에서 동작가능하고, 상기 그리드 움직임 및 추정 모듈은 상기 미리 정해진 해상도 레벨과 다른 제2해상도 레벨에서 해상도 레벨에 대해 상기 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  11. 제8항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 상기 움직임 정보의 정확도를 가변적으로 선택하도록 동작가능함을 특징으로 하는 스캘러블 비디오 코더.
  12. 제11항에 있어서,
    상기 움직임 정보의 정확도에 대한 상기 가변적 선택은 상기 비트율과 관련되는 것을 특징으로 하는 스캘러블 비디오 코더.
  13. 제1항 내지 제9항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 두 파라미터
    Figure 112007006505456-PCT00079
    및
    Figure 112007006505456-PCT00080
    를 사용하여 상기 스캘러블 움직임 벡터를 생성하도록 동작가능하고, 여기서
    Figure 112007006505456-PCT00081
    는 미리 정해진 최적의 비트율에 해당하는 라그랑지 승수를 포함하고,
    Figure 112007006505456-PCT00082
    는 상기 미리 정해진 최적의 비트율보다 높은 비트율에 해당하는 라그랑지 승수를 포함함을 특징으로 하는 스캘러블 비디오 코더.
  14. 제13항에 있어서,
    상기 그리드 움직임 추정 및 보상 모듈은 각 해상도에서 각 움직임 보상 페어에 대해 두 그룹의 움직임 정보 및 두 레지듀 이미지를 생성하도록 동작가능함을 특징으로 하는 스캘러블 비디오 코더.
  15. 소스 비디오 데이터, 원하는 비트율 및 해상도 파라미터들을 수신하는 수단을 포함하고, 상기 소스 비디오 데이터로부터 계산된 스캘러블 움직임 벡터 및 상기 공급된 해상도 및 비트율 파라미터들을 출력하도록 동작가능한 그리드 움직임 추정 및 보상 수단;
    상기 소스 비디오 데이터 및 스캘러블 움직임 벡터를 수신하는 수단을 포함하고, 현재 및 이전 프레임들의 이미지들 사이의 차에 해당하는 레지듀 이미지를 생성하도록 동작가능한 움직임 보상 시간 필터링 수단;
    상기 스캘러블 움직임 벡터를 수신 및 엔코딩하도록 결합되는 스캘러블 코딩 수단;
    상기 레지듀 이미지를 수신하도록 구성된 입력부들 및 출력부를 구비하고, 상기 공급된 비디오 데이터를 계수 시퀀스로 영역 변환하도록 동작가능한 이산 변환 모듈; 및
    상기 스캘러블 코딩 수단 및 이산 변환 수단과 결합되고, 상기 엔코딩된 스캘러블 움직임 벡터 및 계수 시퀀스를 패킷으로 결합하도록 동작가능한 패킷화 수단을 포함함을 특징으로 하는 스캘러블 비디오 코더.
  16. 제15항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 비트율을 포함하고, 상기 그리드 움직임 추정 및 보상 수단은 비트율 데이터를 절단하도록 더 동작가능하여 상기 미리 정해진 비트율보다 작은 비트율을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  17. 제15항 또는 제16항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 비트율을 포함하고, 상기 그리드 움직임 추정 및 보상 수단 은 재귀적인 과정을 사용하여 상기 비트율 데이터를 정밀화하도록 더 동작가능하여 상기 미리 정해진 비트율보다 높은 비트율을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  18. 제15항 내지 제17항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단에 의해 생성되는 상기 스캘러블 움직임 벡터 필드는 미리 정해진 해상도 레벨을 포함하고, 상기 그리드 움직임 추정 및 보상 수단은 데이터를 절단하도록 더 동작가능하여 상기 미리 정해진 해상도 레벨보다 더 낮은 해상도 레벨을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  19. 제15항 내지 제18항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단에 의해 생성되는 상기 스캘러블 움직임 벡터는 미리 정해진 해상도 레벨을 포함하고, 상기 그리드 움직임 추정 및 보상 수단은 재귀적인 과정을 사용하여 상기 해상도 데이터를 정밀화하도록 더 동작가능하여 상기 미리 정해진 해상도 레벨보다 높은 해상도 레벨을 갖는 스캘러블 움직임 벡터를 생성함을 특징으로 하는 스캘러블 비디오 코더.
  20. 제15항 내지 제19항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단은 신호대 잡음비가 정밀해진 움직임 추정 및 보상 과정을 이용하여 그리드 움직임 추정 및 보상을 수행하도록 동작가능하여 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  21. 제20항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단은 미리 정해진 해상도 레벨에서 동작가능하고, 상기 그리드 움직임 및 추정 수단은 미리 정해진 해상도 레벨보다 낮은 해상도 레벨에서 상기 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  22. 제20항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단은 미리 정해진 해상도 레벨에서 동작가능하고, 상기 그리드 움직임 및 추정 수단은 상기 미리 정해진 해상도 레벨과 다른 제2해상도 레벨에서 해상도 레벨에 대해 상기 신호대 잡음비가 정밀해진 레지듀 이미지 및 해당 움직임 벡터들을 생성함을 특징으로 하는 스캘러블 비디오 코더.
  23. 제15항 내지 제20항중 한 항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단은 두 파라미터
    Figure 112007006505456-PCT00083
    및
    Figure 112007006505456-PCT00084
    를 사용하여 상기 스캘러블 움직임 벡터를 생성하도록 동작가능하고, 여기서
    Figure 112007006505456-PCT00085
    는 미리 정해진 최적의 비트율에 해당하는 라그랑지 승수를 포함하고,
    Figure 112007006505456-PCT00086
    는 상기 미리 정해진 최적의 비트율보다 높은 비트율에 해당하는 라그랑지 승수를 포함함을 특징으로 하는 스캘러블 비디오 코더.
  24. 제23항에 있어서,
    상기 그리드 움직임 추정 및 보상 수단은 각 해상도에서 각 움직임 보상 페어에 대해 두 그룹의 움직임 정보 및 두 레지듀 이미지를 생성하도록 동작가능함을 특징으로 하는 스캘러블 비디오 코더.
KR1020077001574A 2004-06-23 2005-06-23 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩 KR20070039552A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58244404P 2004-06-23 2004-06-23
US60/582,444 2004-06-23

Publications (1)

Publication Number Publication Date
KR20070039552A true KR20070039552A (ko) 2007-04-12

Family

ID=35782085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077001574A KR20070039552A (ko) 2004-06-23 2005-06-23 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩

Country Status (6)

Country Link
US (1) US8249159B2 (ko)
EP (1) EP1774793A4 (ko)
JP (1) JP4891234B2 (ko)
KR (1) KR20070039552A (ko)
CN (1) CN100588257C (ko)
WO (1) WO2006001777A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052990A2 (ko) * 2009-10-28 2011-05-05 에스케이텔레콤 주식회사 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8165209B2 (en) * 2007-09-24 2012-04-24 General Instrument Corporation Method and apparatus for providing a fast motion estimation process
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2012122423A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
KR101040087B1 (ko) * 2010-01-13 2011-06-09 전자부품연구원 Ｈ.264 ｓｖｃ를 위한 효율적인 부호화 방법
US8908774B2 (en) * 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
TWI399083B (zh) * 2010-07-28 2013-06-11 Compal Communication Inc 具遙控功能之無線通訊系統及其無線通訊模組
JP2012142864A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置及び画像処理方法
US20140003527A1 (en) * 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
TWI482502B (zh) * 2011-04-19 2015-04-21 Etron Technology Inc 影像互動裝置、互動式影像操作系統、及相關互動式影像操作方法
TWI482494B (zh) * 2012-07-09 2015-04-21 Wistron Corp 頻道資訊提示方法及系統以及電腦可讀取儲存媒體
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9860106B2 (en) * 2012-09-11 2018-01-02 Raytheon Company Multi-source sensor stream virtualization
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
US6018368A (en) * 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
JP2003518882A (ja) * 1999-12-28 2003-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｓｎｒスケーラブルビデオ符号化方法及び対応する復号化方法
DE10022520A1 (de) * 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur örtlichen skalierbaren Bewegtbildcodierung
WO2002001881A2 (en) * 2000-06-30 2002-01-03 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
MXPA03011303A (es) * 2001-06-11 2004-03-19 Thomson Licensing Sa Compensacion de movimiento para video escalable de grano fino.
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
US6957911B2 (en) * 2003-06-24 2005-10-25 Cosco Management, Inc. Infant thermometer
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052990A2 (ko) * 2009-10-28 2011-05-05 에스케이텔레콤 주식회사 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2011052990A3 (ko) * 2009-10-28 2011-10-13 에스케이텔레콤 주식회사 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101379190B1 (ko) * 2009-10-28 2014-03-31 에스케이 텔레콤주식회사 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
EP1774793A4 (en) 2010-08-25
EP1774793A1 (en) 2007-04-18
WO2006001777A1 (en) 2006-01-05
CN101049026A (zh) 2007-10-03
JP4891234B2 (ja) 2012-03-07
US8249159B2 (en) 2012-08-21
US20080013630A1 (en) 2008-01-17
JP2008503981A (ja) 2008-02-07
CN100588257C (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
KR20070039552A (ko) 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩
KR100654436B1 (ko) 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
Hsiang et al. Embedded video coding using invertible motion compensated 3-D subband/wavelet filter bank
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100781525B1 (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
US8031776B2 (en) Method and apparatus for predecoding and decoding bitstream including base layer
US20060013309A1 (en) Video encoding and decoding methods and video encoder and decoder
US20070047644A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
US20060104354A1 (en) Multi-layered intra-prediction method and video coding method and apparatus using the same
WO2006004331A1 (en) Video encoding and decoding methods and video encoder and decoder
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
AU2004310915A1 (en) Method and apparatus for scalable video encoding and decoding
AU2004302413B2 (en) Scalable video coding method and apparatus using pre-decoder
WO2006059848A1 (en) Method and apparatus for multi-layered video encoding and decoding
JP2003061091A (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
Asbun et al. Very low bit rate wavelet-based scalable video compression
Barbarien et al. Motion and texture rate-allocation for prediction-based scalable motion-vector coding
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
Fradj et al. Scalable video coding using motion-compensated temporal filtering and intra-band wavelet based compression
Tsai et al. A rate-distortion analysis on motion prediction efficiency and mode decision for scalable wavelet video coding
Lin et al. SNR scalability based on bitplane coding of matching pursuit atoms at low bit rates: Fine-grained and two-layer
WO2006006793A1 (en) Video encoding and decoding methods and video encoder and decoder
Ji et al. Architectures of incorporating MPEG-4 AVC into three-dimensional wavelet video coding
Ji et al. Architectures of incorporating MPEG-4 AVC into three dimensional subband video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee