KR20120060921A - 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들 - Google Patents

스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들 Download PDF

Info

Publication number
KR20120060921A
KR20120060921A KR1020127013511A KR20127013511A KR20120060921A KR 20120060921 A KR20120060921 A KR 20120060921A KR 1020127013511 A KR1020127013511 A KR 1020127013511A KR 20127013511 A KR20127013511 A KR 20127013511A KR 20120060921 A KR20120060921 A KR 20120060921A
Authority
KR
South Korea
Prior art keywords
bit
layer
inter
video
block
Prior art date
Application number
KR1020127013511A
Other languages
English (en)
Inventor
얀 예
마르타 카르체비츠
혁준 정
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20120060921A publication Critical patent/KR20120060921A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 개시물은 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식으로 실행되는 비디오 코딩 기법들을 기재한다. 기본 계층 비디오 데이터 및 확장 계층 비디오 데이터는 상이한 비트심도들에서 정의될 수 있다. 본 개시물의 기술들은 인터-계층 예측이 이용되어야 한다고 결정한 후에 인터-계층 예측 코딩 모드들의 고유한 조합을 이용하는 확장 계층 비디오 블록들의 코딩에 관한 것이다. 특히, 둘 또는 그 이상의 상이한 인터-계층 예측 코딩 모드들은 인터 기본 계층 블록들에 대응하는 블록에 대해 이용될 수 있으며, 또한 이러한 인터-계층 예측 코딩 코드들 중 하나는 인트라 기본 계층 블록들에 대응하는 블록들에 대해 이용될 수 있다. 디코더가 디코딩 시 적절한 인터-계층 예측 코딩 모드를 이용할 수 있도록 신택스 정보는 인코더에서 생성되고 비트스트림과 함께 통신될 수 있다.

Description

스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들 {SCALABLE VIDEO CODING TECHNIQUES FOR SCALABLE BITDEPTHS}
본 출원은 2007년 10월 15일에 출원된 미국 임시 출원 제 60/979,921호의 우선권을 청구하며, 상기 출원의 전체 내용이 여기에서 참조로서 통합된다.
본 개시물은 디지털 비디오 코딩, 더 특정해서는, 기본 계층(base layer) 및 확장 계층(enhancement layer)이 비디오 데이터의 상이한 비트심도들을 정의하는 스케일 가능한 비디오 코딩(scalable video coding, SVC)에 관한 것이다.
디지털 비디오 능력(capability)들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 통신 디바이스들, 무선 브로드캐스트 시스템들, 개인 휴대 정보 단말기들(PDA들), 랩탑 또는 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 게임 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 라디오 전화들, 등을 포함하는 광범위한 디바이스들로 통합될 수 있다. 디지털 비디오 디바이스들은 효율적인 방식으로 디지털 비디오를 송신 및 수신하기 위해, MPEG-2, MPEG-4, 또는 H.264/MPEG-4, Part 10, Advanced Video Coding(AVC)에서 정의된 바와 같은, 블록-기반의 비디오 압축 기술들을 구현한다.
블록-기반의 코딩 기법들은 일반적으로 비디오 시퀀스(sequence)들에서 데이터 압축을 달성하기 위해 공간 예측(spatial prediction) 및/또는 시간 예측(temporal prediction)을 수행한다. 인트라-코딩(intra-coding)은 비디오 프레임, 비디오 프레임의 슬라이스(slice), 또는 다른 독립적으로 디코딩가능한(decodable) 데이터의 유닛을 포함할 수 있는, 주어진 코딩된 유닛(unit) 내의 비디오 불록들 사이의 공간 리던던시(redundancy)를 줄이거나 제거하기 위해 공간 예측에 의존한다. 반대로, 인터-코딩(inter-coding)은 비디오 시퀀스의 연속하는 코딩된 유닛들의 비디오 블록들 사이의 시간 리던던시를 줄이거나 제거하기 위해 시간 예측에 의존한다. 인트라-코딩의 경우, 비디오 인코더는 공간 예측을 수행하여 동일한 코딩된 유닛 내의 다른 데이터에 기초하여 데이터를 압축한다. 인터-코딩의 경우, 비디오 인코더는 모션 추정(motion estimation) 및 모션 보상(motion compensation)을 수행하여 둘 또는 그 이상의 인접한 코딩된 유닛들의 대응하는 비디오 블록들의 움직임(movement)을 추적한다.
코딩된 비디오 블록은 예측 블록(predictive block)을 생성하거나 식별하기 위해 이용될 수 있는 예측 정보, 및 코딩되는 블록과 상기 예측 블록 간의 차이들을 나타내는 데이터의 잔여 블록(residual block)에 의해 표현될 수 있다. 인터-코딩의 경우, 하나 또는 그 이상의 모션 벡터들이 데이터의 예측 블록을 식별하기 위해 이용되는 반면, 인트라-코딩의 경우, 예측 모드가 예측 블록을 생성하기 위해 이용될 수 있다. 인트라-코딩 및 인터-코딩 모두는 몇몇의 상이한 예측 모드들을 정의할 수 있으며, 이는 코딩에서 이용되는 상이한 블록 사이즈들 및/또는 예측 기술들을 정의할 수 있다. 또한 추가적인 타입들의 신택스(syntax) 엘리먼트들이 코딩 프로세스에서 이용되는 코딩 기법들 및 파라미터들을 제어하거나 정의하기 위해 인코딩되는 비디오 데이터의 일부로 포함될 수 있다. 픽셀들의 16×16 영역은 일반적으로 부-분할되는(subpartitioned) 휘도(luminance, luma) 블록들 및 두 개의 상이한 다운샘플링되는 8×8 채도(chrominance, chroma) 블록들에 의해 표현된다. 각각의 상이한 비디오 블록들은 예측적으로 코딩될 수 있다.
블록-기반의 예측 코딩 이후, 비디오 인코더는 변환(transform), 양자화(quantization) 및 엔트로피(entropy) 코딩 프로세스들을 적용하여 잔여 블록의 통신과 관련되는 비트 레이트를 추가로 감소시킬 수 있다. 변환 기술들은 이산 코사인(cosine) 변환들 또는 웨이블릿(wavelet) 변환들, 정수(integer) 변환들, 또는 다른 타입의 변환들과 같은, 개념적으로 유사한 프로세스들을 포함할 수 있다. 이산 코사인 변환(DCT) 프로세스에서, 예시로서, 상기 변환 프로세스는 픽셀 값들의 세트를 변환 계수(coefficient)들로 전환(convert)하며, 이는 주파수 도메인(domain)에서 상기 픽셀 값들의 에너지를 나타낼 수 있다. 양자화는 상기 변환 계수에 적용되고, 일반적으로 임의의 주어진 변환 계수와 관련되는 비트의 수를 제한하는 프로세스를 수반한다. 엔트로피 코딩은 CAVLC(context adaptive vairable length coding) 또는 CABAC(context adaptive binary arithmetic coding)와 같은, 양자화된 변환 계수들의 시퀀스를 집합적으로 압축하는 하나 또는 그 이상의 프로세스들을 포함한다.
일부 블록-기반의 비디오 코딩 및 압축은 스케일 가능한 기법들을 이용한다. 스케일 가능한 비디오 코딩(scalable videl coding, SVC)은 기본 계층(base layer) 및 하나 또는 그 이상의 스케일 가능한 확장 계층(enhancement layer)이 이용되는 비디오 코딩을 지칭한다. SVC의 경우, 기본 계층은 일반적으로 기본 레벨의 품질을 가진 비디오 데이터를 전송한다. 하나 또는 그 이상의 확장 계층들은 높은 공간, 시간 및/또는 SNR 레벨들을 지원하기 위해 추가적인 비디오 데이터를 전송한다. 일부 경우들에서, 기본 계층은 확장 계층들의 송신보다 더 신뢰적인(reliable) 방식으로 송신될 수 있다.
SVC 방식(scheme)들의 일부 타입들은 픽셀 값들의 비트심도들에 기초하여 스케일 가능한적이다. 이러한 경우들에서, 기본 계층은 제 1 비트심도에 따라 기본 레벨의 품질에서 픽셀 값들을 정의할 수 있고, 상기 기본 및 확장 계층들이, 예를 들어 제 1 비트심도보다 큰 제 2 비트심도에 따라, 높은 레벨의 품질에서 픽셀 값들을 함께 정의하도록 확장 계층은 추가적인 데이터를 더할 수 있다. 높은 해상도 디스플레이 능력들의 등장으로 인해 비트심도 스케일 가능한성(scalability)이 점점 더 요구되고 있으며, 이는 종래의 디스플레이들보다 높은 비트심도들에 기초하여 픽셀 재생(reproduction)을 지원한다.
일반적으로, 본 개시물은 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에서 실행되는 비디오 인코딩 및 비디오 디코딩 기법들을 기재한다. 용어 "코딩"은 일반적으로 인코딩 또는 디코딩을 지칭하기 위해 본 개시물에서 사용된다. 본 개시물에 따라, 기본 계층 비디오 데이터 및 확장 계층 비디오 데이터는 상이한 비트심도들에서 정의된다. 기본 계층 비디오 데이터는 M 비트의 비트심도를 가질 수 있고, 확장 계층 비디오 데이터는 N 비트의 비트심도로의 확장을 제공할 수 있으며, N은 M보다 크다. 예시로서, 기본 계층 비트심도는 8 비트일 수 있고 확장 계층은 10 비트로의 확장을 제공할 수 있다.
본 개시물의 기술들은 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 기본 계층에 기초하여 코딩되어야 한다는 결정을 따르는 확장 계층 비디오 블록들의 코딩에 관한 것이다. 이 경우, 둘 또는 그 이상의 상이한 인터-계층 예측 코딩 모드들이 인터 기본 계층 블록들에 대해 이용될 수 있으며, 또한 이러한 인터-계층 예측 코딩 모드들 중 하나는 인트라 블록들에 대해 이용될 수 있다. 신택스 정보는 디코더가 디코딩 시 인터-계층 예측 코딩 모드를 이용할 수 있도록, 인코더에서 생성되고 비트스트림과 함께 통신될 수 있다.
하나의 예시로서, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하는 방법을 기재한다. 상기 방법은 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하는 단계를 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 방법은 또한 상기 기본 계층 및 상기 확장 계층을 인코딩하는 단계를 포함한다. 상기 확장 계층을 인코딩하는 단계는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하는 단계, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우, 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하는 단계를 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 방법은 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 코딩하는 단계를 포함하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 방법은 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 단계를 포함하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록을 생성하는 것을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 디코딩하는 방법을 기재한다. 상기 디코딩 방법은 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하는 단계를 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 방법은 또한 상기 기본 계층 및 상기 확장 계층을 디코딩하는 단계를 포함한다. 상기 확장 계층을 디코딩하는 단계는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하는 단계, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우, 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하는 단계를 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 방법은 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하는 단계를 포함하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 방법은 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 단계를 포함하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하는 장치를 기재한다. 상기 장치는 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하는 비트심도-기반의 스케일 가능한 비디오 인코더를 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 비디오 인코더는 상기 기본 계층 및 상기 확장 계층을 인코딩하며, 상기 확장 계층에 대해, 상기 비디오 인코더는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우, 상기 비디오 인코더는 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다. 상기 N-비트 확장 계층 비디오 블록이 인트라 블록에 대응하면, 상기 비디오 인코더는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 비디오 인코더는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록의 생성을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 디코딩하는 장치를 기재한다. 이 경우, 상기 장치는 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하는 비트심도-기반의 스케일 가능한 비디오 디코더를 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 비디오 디코더는 상기 기본 계층 및 상기 확장 계층을 디코딩하며, 상기 확장 계층에 대해, 상기 비디오 디코더는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우, 상기 비디오 디코더는 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 비디오 디코더는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 비디오 디코더는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하는 디바이스를 도시한다. 상기 디바이스는 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하기 위한 수단을 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 디바이스는 또한 상기 기본 계층을 인코딩하기 위한 수단, 및 상기 확장 계층을 인코딩하기 위한 수단을 수반하며, 상기 확장 계층을 인코딩하기 위한 수단은 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하기 위한 수단, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우, N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하기 위한 수단을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 디바이스는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위한 수단을 포함하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 디바이스는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하기 위한 수단을 수반하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록의 생성을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하는 디바이스를 기재한다. 상기 디바이스는 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하기 위한 수단을 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 디바이스는 상기 기본 계층을 디코딩하기 위한 수단, 상기 확장 계층을 디코딩하기 위한 수단을 포함하며, 상기 확장 계층을 디코딩하기 위한 수단은 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위한 수단, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우, N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하기 위한 수단을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 디바이스는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하기 위한 수단을 포함하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 디바이스는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하기 위한 수단을 포함하며, 상기 제 2 인터-계층 예측 코딩 기법은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하는 디바이스를 도시한다. 상기 디바이스는 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하는 비트심도-기반의 스케일 가능한 비디오 인코더를 포함하며, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 확장 계층에 대해 상기 비디오 인코더는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우, N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다. 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 비디오 인코더는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 비디오 인코더는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 또한 본 예시에서, 상기 디바이스는 상기 기본 계층 및 상기 확장 계층을 다른 디바이스로 송신하는 무선 송신기를 포함한다.
다른 예시로, 본 개시물은 비트심도-기반의 SVC 방식에 따라 비디오데이터를 디코딩하는 디바이스를 도시한다. 상기 디바이스는 상기 비디오 데이터를 수신하는 무선 수신기; 및 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하는 비트심도-기반의 스케일 가능한 비디오 디코더를 포함하면, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 상기 비디오 디코더는 상기 기본 계층 및 상기 확장 계층을 디코딩하며, 상기 확장 계층에 대해, 상기 비디오 디코더는 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우, N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 비디오 디코더는 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 비디오 디코더는 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함한다.
본 개시물에 기재된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 본 기술들은 실행시, 상기 기재된 하나 또는 그 이상의 방법들을 수행하는 명령들을 포함하는 컴퓨터-판독가능한 매체에 의해 적어도 부분적으로 실행될 수 있다. 상기 기술들을 실행하는 소프트웨어는 컴퓨터-판독가능한 매체에 초기에 저장되고 프로세서에 로드되고 실행될 수 있다. 일부 경우들에서, 소프트웨어는 컴퓨터 프로그램 물건에서 판매될 수도 있으며, 이는 컴퓨터-판독가능한 매체 및 상기 컴퓨터-판독가능한 매체에 대한 포장제(packaging material)들을 포함한다.
따라서, 다른 예시로, 본 개시물은 실행 시 비디오 코딩 디바이스로 하여금 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 인코딩하도록 하는 명령들을 포함하는 컴퓨터-판독가능한 매체를 기재하며, 상기 명령들은 상기 디바이스로 하여금 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하도록 하고, 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 크다. 또한 상기 명령들은 상기 디바이스로 하여금 상기 기본 계층 및 상기 확장 계층을 인코딩하도록 하고, 상기 확장 계층에 대해, 상기 명령들은 상기 디바이스로 하여금 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하도록 하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우: N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하도록 한다. 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 명령들은 상기 디바이스로 하여금 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하도록 하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함한다. 상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 명령들은 상기 디바이스로 하여금 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하도록 하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 잔여 비디오 블록의 생성을 포함한다.
또 다른 예시로, 본 개시물은 실행 시 비디오 코딩 디바이스로 하여금 비트심도-기반의 SVC 방식에 따라 비디오 데이터를 디코딩하도록 하는 명령들을 포함하는 컴퓨터-판독가능한 매체를 기재한다. 상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신한 경우 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ?, 상기 명령들은 상기 디바이스로 하여금 상기 기본 계층 및 상기 확장 계층을 디코딩하도록 하고, 상기 확장 계층에 대해, 상기 명령들은 상기 디바이스로 하여금 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하도록 하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우, N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정하도록 한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 상기 명령들은 상기 디바이스로 하여금 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하도록 하며, 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 명령들은 상기 디바이스로 하여금 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하도록 하며, 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함한다.
다른 경우들에서, 본 개시물은 집적 회로, 칩셋, 주문형 반도체(ASIC), 필드 프로그램어블 게이트 어레이(FPGA), 로직, 또는 여기에 기재된 하나 또는 그 이상의 기술들을 수행하도록 구성되는 이들의 다양한 조합들과 같은, 회로에 관한 것일 수 있다.
본 개시물의 하나 또는 그 이상의 양상들의 상기 세부사항들이 첨부되는 도면들 및 하기의 상세한 설명에서 제시된다. 본 개시물에서 기재된 기술들의 다른 특징(feature)들, 목적(object)들, 및 이점들은 상세한 설명 몇 도면들로부터, 그리고 청구항들로부터 명백할 것이다.
도 1은 본 개시물의 하나 또는 그 이상의 기술들을 구현할 수 있는 비디오 인코딩 및 디코딩 시스템을 도시하는 예시적인 블록 다이어그램이다.
도 2는 본 개시물과 일관되는 예시적인 비디오 인코더를 도시하는 블록 다이어그램이다.
도 3은 본 개시물과 일관되는 비디오 인코더를 도시하는 다른 블록 다이어그램이다.
도 4는 본 개시물과 일관되는 예시적인 비디오 디코더를 도시하는 블록 다이어그램이다.
도 5 및 6은 본 개시물과 일관되는 예시적인 인코딩 및 디코딩 기법들을 도시하는 흐름도이다.
일반적으로, 본 개시물은 비트심도-기반의(bitdepth-based) 스케일 가능한 비디오 코딩(scalable video coding, SVC) 방식으로 실행되는 비디오 인코딩 및 비디오 디코딩 기법들을 기재한다. 용어 "코딩"은 일반적으로 인코딩 또는 디코딩을 지칭하기 위해 사용된다. 본 개시물에 따라, 기본 계층(base layer) 비디오 데이터 및 확장 계층(enhancement layer) 비디오 데이터는 상이한 비트심도들에서 정의된다. 기본 계층 비디오 데이터는 M 비트의 비트심도를 가질 수 있고, 확장 계층 비디오 데이터는 N 비트로의 확장들을 제공할 수 있으며, N은 M보다 크다.
예시로서, 확장 계층이 기본 계층보다 큰 비트심도에 대응하는 한 본 개시물의 기술들이 임의의 비트심도들에 적용할 수 있음에도 불구하고, 기본 계층 비트심도는 8 비트일 수 있고 확장 계층은 10 비트로의 확장들을 제공할 수 있다. 본 예시에서, 픽셀 값들(예를 들어, 픽셀 도메인의 채도 및 휘도 값들)은 확장 계층에서 10 비트, 및 기본 계층에서 8 비트에 의해 표현될 수 있다. 8 비트 표현(representation)들은 256 개의 상이한 픽셀 값들을 허용할 수 있는 한편, 10개의 비트는 1024 개의 상이한 픽셀 값들을 허용할 수 있다. 게다가, N 및 M에 대해 10 및 8의 비트심도 값들은 단지 예시들이다. 일반적으로, N 및 M은 양의 정수들을 나타내며, N은 M보다 크다.
본 개시물의 기술들은 확장 계층 비디오 블록들의 코딩에 관한 것이다. 특히, 인코더가 확장 계층 비디오 블록이 인터(ineter)-계층 예측(prediction)을 이용하여 기본 계층에 기초하여 코딩되어야 한다고 결정하거나, 또는 디코더가 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 기본 계층에 기초하여 코딩되었다고 결정하면, 본 개시물의 기술들이 적용된다. 이러한 경우들에서, 둘 또는 그 이상의 상이한 인터-계층 예측(predictive) 코딩 모드들이 인터 기본 계층 블록들을 예측하기 위해 이용될 수 있고, 또한 이러한 예측 코딩 모드들 중 하나는 인트라(intra) 기본 계층 블록들을 예측하기 위해 이용될 수 있다. 디코더가 디코딩 시 인트라-계층 예측 코딩 모드를 이용할 수 있도록, 신택스(syntax) 정보가 인코더에서 생성되고 비트스트림(bitstream)과 함께 통신될 수 있다. 특히, 제 1 신택스 정보는 확장 계층 비디오 블록이 인트라-계층 예측을 이용하여 기본 계층에 기초하여 코딩되는지 여부를 전달하기 위해 이용될 수 있고, 제 2 신택스 정보는 이 경우 이용된 인터-계층 예측 코딩 모드를 명시하기 위해 이용될 수 있다.
"인트라" 확장 계층 비디오 블록들(예를 들어, 대응하는 기본 계층 블록들이 공간 코딩 기법들에 기초하여 인트라-코딩되는 확장 계층 블록들)의 경우, 본 개시물은 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록이 생성되는 제 1 인터-계층 예측 코딩 기법을 이용한다. 이러한 타입의 예측은 인트라 기본 계층 블록들에 대응하는 확장 계층 비디오 블록들에 매우 효과적일 수 있다.
다른 한편, 인터 기본 계층 블록들에 대응하는 확장 계층 비디오 블록들(예를 들어, 대응하는 기본 계층 블록들이 모션 추정(motion estimation) 및 모션 보상(motion compensation)과 같은 시간 코딩 기법들에 기초하여 인터-코딩되는 확장 계층 블록들)의 경우, 본 개시물은 두 개의 상이한 인터-계층 예측 코딩 기법들 중에서 선택한다. 이 경우, 제 1 인터-계층 예측 코딩 기법은 인트라 블록들에 대해 이용되는 것, 예를 들어, N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록이 생성되는 것과 동일하다. 제 2 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터(motion vector)에 의해 식별되는 N-비트 예측 블록 간의 차이로서의 잔여 비디오 블록의 생성을 포함한다. 인터 기본 계층 블록들에 대응하는 확장 계층 비디오 블록들에 대한 이러한 두 개의 상이한 예측 코딩 기법들 중에서 선택하는 능력은 바람직한 압축 및 비디오 품질을 달성하는데 있어 매우 효과적일 수 있다.
인코더에서, 상기 기술들은 상이한 비디오 블록 타입들(인트라 또는 인터)에 대해 적용될 수 있으며, 인터 기본 계층 블록들에 대한 두 개의 상이한 예측 코딩 기법들 간의 선택은 최고 레벨의 데이터 압축 및/또는 최상의 비디오 품질을 제공하는 예측 코딩 기법에 기초하여 일어날 수 있다. 종종 본 선택을 하는데 있어 레이트(rate)와 왜곡(distortion)이 밸런싱(balance)될 수 있다. 신택스 정보는 인코더에서 적용된 예측 인코딩 기법이 디코더에 적절히 통지될 수 있도록 비트스트림 내에서 코딩된다. 그리고나서, 디코더에서, 비디오 블록 타입(인트라 또는 인터) 및 신택스 정보는 디코더가 정확한 예측 인코딩 기법을 적용할 수 있도록 이용될 수 있다. 특히, 디코더에서, 인터 기본 계층 블록들에 대한 두 개의 상이한 인터-계층 예측 코딩 기법들 중의 선택은 비트스트림 내에 전송되는 신택스 정보에 기초하여 일어날 수 있다. 디코더에서, 상이한 예측 코딩 기법들은 인코더 디바이스로부터 디코더 디바이스로 송신되는 N-비트 확장 계층 잔여 비디오 블록들을 N-비트 확장 계층 예측 비디오 블록들에 추가함으로써 N-비트 확장 계층 비디오 블록들을 재구성하기 위해 이용된다.
하기에서 더 상세히 약술하는 바와 같이, 본 개시물에 따라 이용되는 신택스 정보는 제 1 신택스 정보 및 제 2 신택스 정보를 포함할 수 있다. 제 1 신택스 정보는 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 기본 계층에 기초하여 코딩되는지 여부를 전달하기 위해 이용될 수 있으며, 비디오 블록 당 하나의 비트를 포함할 수 있다. 여기에 기재된 상이한 코딩 모드들이 확장 계층 비디오 블록이 기본 계층에 기초하여 코딩될 때만 적용되는 한, 이러한 제 1 신택스 정보는 여기에 기재된 기술들에 기본 필수 조건일 수 있다.
제 2 신택스 정보는 제 1 신택스 정보가 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 기본 계층 비디오 블록에 기초하여 코딩됨을 식별할 때, 그리고 대응하는 기본 계층 비디오 블록이 제 1 또는 제 2 인터-계층 예측 코딩 기법을 이용하여 확장 계층 비디오 블록이 예측적으로 코딩되었는지 여부를 정의하는 인터블록(interblock)일 때 전송되는 하나의 비트를 포함할 수 있다. 대안적으로, 제 2 신택스 정보는 제 1 신택스 정보가 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 기본 계층 비디오 블록에 기초하여 코딩됨을 식별하면 인터 기본 계층 블록 또는 인트라 기본 계층 블록에 기초하여 코딩된 각각의 비디오 블록과 함께 전송되는 하나의 비트의 신택스를 포함할 수 있다. 뒤의 경우는 기본 계층 블록들이 인트라 코딩되는 추가적인 비트를 더할 수 있으며, 이는 압축해제를 달성하는 데 불필요할 수 있다. 그러나, (인터 기본 계층 블록들에 기초하여 코딩되는 블록뿐만 아니라) 인트라 기본 계층 블록들에 기초하여 코딩되는 블록들에 대해 이러한 부가적인 비트를 전송함으로써, 비디오 디코더는 기본 및 확장 계층들의 병행(parallel) 엔트로피(entropy) 코딩을 수행할 수 있으며, 이는 종종 디코딩 프로세스를 가속화하는데 바람직하다.
도 1은 비디오 인코딩 및 디코딩 시스템(10)을 도시하는 블록 다이어그램이다. 도 1에서 도시된 바와 같이, 시스템(10)은 인코딩된 비디오를 통신 채널(15)을 통해 목적지 디바이스(16)로 송신하는 소스 디바이스(12)를 포함한다. 소스 디바이스(12)는 비디오 인코딩 프로세스의 일부로서 본 개시물의 기술들을 구현할 수 있는 반면, 목적지 디바이스(16)는 비디오 디코딩 프로세스의 일부로서 본 개시물의 기술들을 구현할 수 있다.
소스 디바이스(12)는 비디오 소스(20), 비디오 인코더(22) 및 변조기/송신기(24)를 포함할 수 있다. 목적지 디바이스(16)는 수신기/복조기(26), 비디오 디코더(28), 및 디스플레이 디바이스(30)를 포함할 수 있다. 시스템(10)은 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식을 적용하도록 구성될 수 있다.
SVC는 기본 계층 및 하나 또는 그 이상의 스케일 가능한 확장 계층들이 이용되는 비디오 코딩을 지칭한다. SVC의 경우, 기본 계층은 일반적으로 기본 레벨의 품질을 가진 비디오 데이터를 전송한다. 하나 또는 그 이상의 확장 계층들은 높은 공간, 시간 및/또는 신호-대-잡음 SNR 레벨들을 지원하기 위해 추가적인 비디오 데이터를 전송한다. SVC의 하나의 예시는 비트심도-기반의 SVC이다. 비트심도-기반의 SVC에서, 기본 계층은 제 1 비트심도에 따라 기본 레벨의 품질에서 픽셀 값들을 정의할 수 있고, 확장 계층은 기본 및 확장 계층들이 함께, 예를 들어 제 1 비트심도 보다 큰 제 2 비트심도에 따라, 높은 레벨의 품질에서 픽셀 값들을 정의하도록 추가적인 데이터를 더할 수 있다. 특히 더 높은 해상도 디스플레이 능력들의 등장으로 인해, 비트심도 스케일 가능한성이 점점 더 용구되고 있으며, 이는 대부분의 전통적인 디스플레이들보다 높은 비트심도들에 기초한 픽셀 재생성을 지원한다.
본 개시물에 따라, 디바이스들(12 및 16)은 기본 계층 인트라 블록들에 대응하는 확장 계층 비디오 블록들이 제 1 인터-계층 예측 코딩 기법에 따른 특정한 방식으로 코딩되는 확장 계층 비디오 블록들에 관하여 인터-계층 예측 코딩 기법들을 수행한다. 뿐만 아니라, 기본 계층 인터 블록들에 대응하는 확장 계층 비디오 블록들은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법에 기초하여 코딩된다. 인트라 기본 계층 블록들 및 인터 블록들에 대응하는 확장 계층 블록들에 대해 여기서 기재된 비디오 코딩 기법들의 고유한 조합은 비디오 압축 및/또는 비디오 품질의 향상들을 제공할 수 있다. 게다가, 이러한 고유한 조합은 확장 계층 블록들이 기본 계층 블록들에 기초하여 코딩됨이 결정되었을 때 특히 적용될 수 있다.
도 1의 예시에서, 통신 채널(15)은 무선 주파수(RF) 스펙트럼 또는 하나 또는 그 이상의 물리 송신 라인들, 또는 무선 및 유선 매체(media)의 임의의 조합과 같은, 임의의 무선 또는 유선 통신 매체(medium)를 포함할 수 있다. 통신 채널(15)은 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷-기반의 네트워크의 일부를 형성할 수 있다. 통신 채널(15)은 일반적으로 소스 디바이스(12)로부터 목적지 디바이스(16)로 비디오 데이터를 송신하기 위한, 임의의 적절한 통신 매체, 또는 상이한 통신 매체의 컬렉션(collection)을 나타낸다. 본 개시물의 기술들은 디바이스들(12 및 16) 간의 통신의 임의의 타입에 제한되지 않으며, 무선 또는 유선-기반의 세팅(setting)들에 적용될 수 있다. 그러나, 스케일 가능한 기술들은 종종 무선 통신과 관련된다.
소스 디바이스(12)는 목적지 디바이스(16)로의 송신을 위해 코딩된 비디오 데이터를 생성한다. 그러나, 일부 경우들에서, 디바이스들(12, 16)은 실질적으로 대칭적인 방식으로 동작할 수 있다. 예를 들어, 각각의 디바이스들(12, 16)은 비디오 인코딩 및 디코딩 컴포넌트들을 포함할 수 있다. 따라, 시스템(10)은 예를 들어, 비디오 스트리밍(streaming), 비디오 브로드캐스팅(broadcasting), 또는 비디오 전화(telephony)를 위한, 비디오 디바이스들(12, 16) 간의 단-방향(one-way) 또는 양-방향(two-way) 비디오 송신을 지원할 수 있다.
소스 디바이스(12)의 비디오 소스(20)는 비디오 카메라와 같은, 비디오 캡처(capture) 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브(archive), 또는 비디오 컨텐트 제공자로부터 피드(feed)된 비디오를 포함할 수 있다. 추가적인 대안으로서, 비디오 소스(20)는 소스 비디오, 또는 라이브(live) 비디오 및 컴퓨터-생성된(computer-generated) 비디오의 조합으로서 컴퓨터 그래픽-기반의 데이터를 생성할 수 있다. 일부 경우들에서, 비디오 소스(20)가 비디오 카메라이면, 소스 디바이스(12) 및 목적지 디바이스(16)는 소위 카메라 전화들 또는 비디오 전화들을 형성할 수 있다. 각 경우에서, 캡처된, 미리-캡처된 또는 컴퓨터-생성된 비디오는 비디오 소스 디바이스(12)로부터 변조기/송신기(22), 통신 채널(15) 및 수신기/복조기(26)를 통한 비디오 목적지 디바이스(16)의 비디오 디코더(28)로의 송신을 위해 비디오 인코더(22)에 의해 인코딩될 수 있다. 디스플레이 디바이스(30)는 유저에게 디코딩된 비디오 데이터를 디스플레이하며, 음극선관(cathode ray tube), 액정 표시장치(LCD), 플라즈마 표시장치, 유기 발광 다이오드(OLED) 표시장치, 또는 다른 타입의 디스플레이 디바이스와 같은 임의의 다양한 디스플레이 디바이스들을 포함할 수 있다.
비디오 인코더(22) 및 비디오 디코더(28)는 비트심도-기반의 스케일 가능한성을 위한 SVC를 지원하도록 구성될 수 있다. 특히, 인코더(22) 및 디코더(28)는 기본 계층 및 하나 또는 그 이상의 스케일 가능한 확장 계층들의 인코딩, 송신 및 디코딩을 지원함으로써 다양한 정도의 스케일 가능한성을 지원할 수 있다. 게다가, 비트-심도 기반의 SVC를 위해, 기본 계층은 제 1 비트심도 M에 따라 기본 레벨의 품질을 가지는 비디오 데이터를 전송한다. 하나 또는 그 이상의 확장 계층들은 제 2 비트심도 N에 따라 높은 레벨의 품질을 지원하기 위해 추가적인 데이터를 전송하며, 여기서 N는 M보다 크다. 일부 경우들에서, 기본 계층은 확장 계층들의 송신보다 더 신뢰적인 방식으로 송신될 수 있다. 예를 들어, 변조된 신호의 가장 신뢰적인 부분들은 기본 계층을 송신하기 위해 이용될 수 있는데 반해, 변조된 신호의 덜 신뢰적인 부분들은 확장 계층들을 송신하는데 이용될 수 있다. 다른 경우들에서, 기본 및 확장 계층 정보는 임의의 방식으로 송신될 수 있고, 수신 디바이스는 오직 기본 계층만 디코딩하거나, 또는 재구성된 픽셀 값들의 증가한 비트심도로 인해 향상된 품질을 위해 기본 계층 및 확장 계층을 디코딩하기 위해 선택할 수 있다.
SVC를 지원하기 위해, 비디오 인코더(22)는 기본 계층 및 하나 또는 그 이상의 확장 계층들의 인코딩을 각각 수행하도록 디자인되는 스케일 가능한 비트심도 비디오 코더를 포함할 수 있다. 유사하게, 비디오 디코더(28)는 기본 및 확장 계층들 모두와 관련되는 비디오 블록들을 디코딩하는 스케일 가능한 비트심도 비디오 디코더를 포함할 수 있다. 비디오 디코더(28)는 기본 및 확장 계층들 모두와 관련되는 비디오 블록들을 디코딩할 수 있고, 비디오 시퀀스의 프레임들을 재구성하기 위해 디코딩된 비디오를 결합할 수 있다. 디스플레이 디바이스(30)는 디코딩된 비디오 시퀀스를 수신하고, 상기 비디오 시퀀스를 유저에게 표시한다.
비디오 인코더(22) 및 비디오 디코더(28)는 MPEG-2, MPEG-4, ITU-T H.263, 또는 ITU-T H.264/MPEG-4, Part 10, Advanced Video Coding(AVC)과 같은, 비디오 압축 표준에 따라 동작할 수 있다. 도 1에서 도시되지는 않았음에도 불구하고, 일부 양상들에서, 비디오 인코더(22) 및 비디오 디코더(28)는 오디오 인코더 및 디코더와 각각 통합될 수 있고, 공통 데이터 스트림 또는 개별적인 데이터 스트림들에서 오디오 및 비디오 모두의 인코딩을 다루기 위해, 적절한 MUX-DEMIX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수 있다. 적용 가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 유저 데이터그램 프로토콜(UDP)과 같은 다른 프로토콜들에 순응할 수 있다.
H.264/MPEG-4 Part 10 AVC 표준은 조인트 비디오 팀(Joint Video Team, JVT)으로 알려진 공동 협약(collective partnership)의 결과물로서 ISO/IEC 동화상 전문가 그룹(Moviing Picture Experts Group, MPEG)과 함께 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group, VCEG)에 의해 공식화되었다. 일부 양상들로, 본 개시물에서 기재된 기술들은 H.264 표준, 또는 이의 확장들에 일반적으로 순응하는 디바이스들에 적용될 수 있다. H.264 표준은 2005년 3월에 발표된, ITU-T Study Group에 의한, ITU-T Recommendation H.264, Advanced Video Coding for generic audiovisual services에서 기재되며, 이는 H.264 표준 또는 H.264 규정, 또는 H264/AVC 표준 또는 규정으로 여기서 지칭될 수 있다.
조인트 비디오 팀(JVT)은 H.264/MPEG-4 AVC로의 SVC 확장들에 대해 작업을 계속한다. 발전하는(evolving) SVC 확장의 규정은 종종 합동 초안(JD)의 형태로 릴리즈된다. JVT에 의해 만들어진 JSVM(Joint Scalable Video Model)은 스케일 가능한 비디오에서의 이용을 위한 툴(tool)들을 구현하며, 이는 본 개시물에 기재된 다양한 코딩 태스크(task)들을 위해 시스템(10) 내에서 이용될 수 있다.
일부 양상들로, 비디오 브로드캐스팅을 위해, 본 개시물에 기재된 기술들이, Technical Standard TIA-1099("FLO 규격")로 발간된 Forward Link Only(FLO) 무선 인터페이스 규격, "Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast"을 이용하여, 지상파 모바일 멀티미디어 멀티캐스트(TM3) 시스템들 내에서 실-시간 비디오 서비스들을 제공하기 위해 Enhanced H.264 비디오 코딩에 적용될 수 있다. 이는 통신 채널(15)이 FLO 규격, 등에 따라 무선 비디오 정보를 브로드캐스트하기 위해 이용되는 무선 정보 채널을 포함할 수 있다는 뜻이다. FLO 규격은 FLO 무선 인터페이스에 적합한 비트스트림 신택스 및 시맨틱(semantic)들 및 디코딩 프로세스들을 정의하는 예시들을 포함한다. 대안적으로, 비디오는 DVB-H(digital video broadcast-handheld), ISDB-T(integrated services digital broadcast-terrestrial), 또는 DMB(digital media broadcast)와 같은 다른 표준들에 따라 브로드캐스트될 수 있다. 따라, 소스 디바이스(12)는 모바일 무선 터미널, 비디오 스트리밍 서버, 또는 비디오 브로드캐스트 서버일 수 있다. 그러나, 상기 언급한 바와 같이, 본 개시물에 기재된 기술들은 브로드캐스트, 멀티캐스트, 또는 포인트-투-포인트(point-to-point) 시스템의 임의의 특정한 타입에 제한되지 않는다. 브로드캐스트의 경우, 소스 디바이스(12)는 비디오 데이터의 몇몇 채널들을 다수의 목적지 디바이스들로 브로드캐스트할 수 있으며, 이들 각각은 도 1의 목적지 디바이스(16)와 유사할 수 있다.
비디오 인코더(22) 및 비디오 디코더(28) 각각은 하나 또는 그 이상의 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 주문형 반도체들(ASIC들), 필드 프로그램어블 게이트 어레이들(FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들로서 구현될 수 있다. 비디오 인코더(22) 및 비디오 디코더(28) 각각은 하나 또는 그 이상의 인코더들 또는 디코더들에 포함될 수 있으며, 각각의 모바일 디바이스, 가입자(subscriber) 디바이스, 브로드캐스트 디바이스, 서버, 등에서 결합 인코더/디코더(CODEC)의 일부로서 통합될 수 있다. 게다가, 소스 디바이스(12) 및 목적지 디바이스(16) 각각은 적용가능하다면, 무선 통신을 지원하기에 충분한 무선 주파수(RF) 무선 컴포넌트들 및 안테나들을 포함하는, 인코딩된 비디오의 송신 및 수신을 위한 적절한 변조, 복조, 주파수 변환, 필터링, 및 증폭기 컴포넌트들을 포함할 수 있다. 그러나, 설명의 용이함을 위해, 그러한 컴포넌트들은 도 1의 소스 디바이스(12)의 변조기/송신기(24) 및 목적지 다비이스(16)의 수신기/복조기(26)로서 간략화된다.
비디오 시퀀스는 일련의 비디오 프레임들을 포함하며, 이는 슬라이스들 또는 다른 코딩된 유닛들로 추가로 나누어질 수 있다. 비디오 인코더(22)는 비디오 데이터를 인코딩하기 위해 개별적인 비디오 프레임 내의 비디오 블록들 상에서 (또는 슬라이스들 또는 다른 코딩된 유닛들 내의 비디오 블록들 상에서) 동작한다. 비디오 블록들은 휘도 및 채도 블록들을 포함할 수 있으며, 예를 들어, 임의의 코딩 표준에 따라 정의된 바와 같이, 고정된 또는 변화하는 사이즈들을 가질 수 있다. 게다가, 일부 경우들에서, 각각의 비디오 프레임은 일련의 슬라이스들을 포함할 수 있다. 뿐만 아니라, 각각의 슬라이스는 일련의 매크로블록(macroblock)들을 포함할 수 있으며, 이는 서브-블록들로 배열될 수 있다. 예시로서, ITU-T H.264 표준은 휘도 컴포넌트들에 대해 16×16, 8×8, 또는 4×4 블록 사이즈들과 같은, 다양한 블록 사이즈들에서 인트라 예측을 지원하고, 및 채도 컴포넌트들에 대해 8×8 블록 사이즈들에서 인트라 예측뿐만 아니라 휘도 컴포넌트들에 대해 6×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4와 같은, 다양한 블록 사이즈들 및 채도 컴포넌트들에 대해 대응하는 블록 사이즈들에서 인터 예측을 지원한다. 비디오 시퀀스가 YUV4:2:0 포맷이면, 채도 컴포넌트들에 대해 대응하는 인터 예측 블록 사이즈들은 각각의 수직 및 수평 차원들에서 인자(factor) 2만큼 다운샘플링되는 대응하는 휘도 블록 사이즈들이다. 비디오 블록들은 픽셀 데이터의 블록들, 또는 예를 들어, 이산 코사인 변환(DCT)과 같은 변환 프로세스를 따르는, 변환 계수들의 블록들을 포함할 수 있다.
더 작은 비디오 블록들이 더 나은 해상도를 제공할 수 있으며, 더 높은 레벨들의 세부사항들을 포함하는 비디오 프레임의 위치들에 대해 이용될 수 있다. 일반적으로, 매크로블록들(MB들) 및 다양한 서브-블록들은 비디오 블록들로 간주될 수 있다. 게다가, 슬라이스는 MB들 및/또는 서브-블록들과 같은, 일련의 비디오 블록들로 간주될 수 있다. 각각의 슬라이스는 비디오 프레임의 독립적으로 디코딩가능한 유닛일 수 있다. 예측 이후, 변환은 8×8 잔여 블록 또는 4×4 잔여 블록 상에서 수행될 수 있으며, 인트라_16×16 예측 모드가 이용되면 추가적인 변환이 채도 컴포넌트들 또는 휘도 컴포넌트에 대해 4×4 블록들의 DC 계수들에 적용될 수 있다. 게다가, 변환을 수행하며, 데이터는 여전히 비디오 블록들, 예를 들어 변환 계수들의 블록들로 지칭될 수 있다. (H.264/ AVC에서 이용되는 4×4 또는 8×8 DCT-유사 정수 변환, 또는 DCT의 다른 형태와 같은) 인트라- 또는 인터-기반의 예측 코딩 및 변환 기술들 그리고 (스칼라 양자화와 같은) 양자화 기술들을 수행하며, 런-렝스(run-length) 코딩이 수행될 수 있다.
본 개시물의 기술들에 따라, 확장 계층 비디오 블록들은 제 1 인터-계층 예측 코딩 기법을 인트라 기본 계층 블록들에 대응하는 비디오 블록들에 적용하고, 인터 기본 계층 블록들에 대응하는 비디오 블록들에 대해 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 방법론(methodology)에 따라 예측적으로 코딩된다. 이러한 상이한 예측 경로들은 특히 확장 계층 비디오 블록들이 기본 계층 블록들에 기초하여 코딩된다고 결정되면 적용된다. 특히, 인코더에서, 제 1 인터-계층 예측 코딩 기법은 대응하는 재구성된 M-비트 기본 계층 블록에 기초한 N-비트 예측 블록의 생성을 수반한다. 제 2 인터-계층 예측 코딩 기법은 본질적으로 기본 계층 블록의 모션 정보를 차용하고(borrow), 기본 계층 블록의 모션 정보를 이용하여 N-비트 도메인 내의 비디오 데이터에 기초하여 예측 확장 계층 블록을 생성하는데, 이는 M-비트 도메인에 대응한다. N의 값은 M보다 크고, N 비트는 확장 계층 데이터의 비트심도이고 M 비트는 기본 계층 데이터의 비트심도이다. 디코더에서, 유사한 예측 코딩 기법이 인코더로부터 디코더로 통신되는 N-비트 잔여 확장 계층 비디오 블록에 기초하여 오리지널 비디오 블록을 재구성하기 위해 이용되고, 신택스 정보는 디코더가 어떤 예측 코딩 기법이 상이한 비디오 블록들에 대해 이용되는지를 식별하는 것을 도울 수 있다.
도 2는 본 개시물과 일관되는 예시적인 스케일 가능한 비디오 인코더(200)의 다른 표시(depiction)를 도시하는 블록 다이어그램이다. 스케일 가능한 비디오 인코더(200)는 도 1의 스케일 가능한 비트-심도 비디오 인코더(22)에 대응할 수 있다. 스케일 가능한 비디오 인코더(200)는 기본 계층 인코더(180) 및 확장 계층 인코더(150)를 포함한다. 개별적으로 도시되었음에도 불구하고, 일부 구현들에서, 기본 계층 인코더(180) 및 확장 계층 인코더(150)의 다양한 유닛들이 공유되거나 결합될 수 있다. 기본 계층 인코더(180)는 기본 계층 비디오 블록들을 인코딩하는 한편, 확장 계층 인코더(150)는 확장 계층 비디오 블록들을 인코딩한다. 인코딩 측면에서, 본 개시물의 기술들은 일반적으로 확장 계층 인코더(150)에 의한 확장 계층 비디오 블록들의 인코딩에 관한 것이다.
확장 계층 인코더(150)은 잔여 비디오 블록들을 생성하기 위해 인입(incoming) N-비트 확장 계층 비디오 블록들로부터 예측 비디오 블록들을 제거(substract)하는 가산기(adder;114)를 포함한다. 스위치(118)는 하기에 더 상세히 약술되는 바와 같이, 인코더(150) 내의 예측 경로를 정의한다. 확장 계층 인코더(150)는 상기 잔여 비디오 블록들을 변환하고 양자화하기 위한 변환 유닛(102) 및 양자화 유닛을 포함한다. 뿐만 아니라, 확장 계층 인코더(150)는 유닛(108)을 포함하는데, 이는 역 양자화 유닛 및 역 변환 유닛 모두를 나타낸다. 엔트로피 코딩 유닛(106)은 모션 벡터들, 인트라 예측 신택스, 또는 사용되는 예측 기술을 식별하기 위해 여기에서 정의되는 정보와 같은, 임의의 신택스 정보와 함께 상기 잔여 블록들을 엔트로피 코딩한다. 가산기(116)는 유닛(108)로부터의 잔여 블록들 및 그러한 잔여 블록들을 코딩하기 위해 이용되는 예측 블록들에 기초하여 비디오 블록들을 재구성한다. 디블록 필터 유닛(112)은 상기 재구성된 데이터를 필터링할 수 있는데, 이는 여기서 도시된 바와 같이, 인트라- 또는 인터-예측에서 예측 유닛(110)에 의한 이용을 위해 프레임 버퍼(111)로 전송된다.
기본 계층 인코더(180)는 기본 계층 비디오 블록들의 인트라- 또는 인터-예측에서의 이용을 위한 예측 유닛(120)을 포함하는, 다양한 유닛들을 포함한다. 가산기(126)는 인입 M-비트 기본 계층 비디오 블록들로부터 예측 비디오 블록들을 제거하여 잔여 비디오 블록들을 생성한다. 변환 유닛(128)은 DCT와 같은 변환들을 수행하고, 양자화 유닛(130)은 양자화를 수행한다. 유닛(134)은 역 양자화 유닛 및 역 변환 유닛 모두를 나타낸다. 엔트로피 코딩 유닛(132)은 기본 계층 비디오 블록들에 대한 인트라 예측 신택스 또는 모션 벡터들과 같은, 임의의 신택스 정보와 함께 잔여 블록들을 엔트로피 코딩한다. 가산기(124)는 유닛(134)로부터 재구성된 잔여 블록들 및 그러한 잔여 블록들을 코딩하기 위해 이용되는 예측 블록들에 기초하여 비디오 블록들을 재구성한다. 디블록 필터 유닛(122)은 재구성된 데이터를 필터링할 수 있으며, 이는 기본 계층 데이터의 다음의(subsequent) 인트라- 또는 인터-예측에서 예측 유닛(120)에 의한 이용을 위해 프레임 버퍼(121)로 전송된다.
또한 스케일 가능한 비디오 인코더(200)는 확장 계층 인코더(150)의 N-비트 샘플들을 기본 계층 인코더(180)를 위한 M-비트 샘플들로 다운샘플링하는 톤(tone) 매핑 유닛(114)을 포함한다. 뿐만 아니라, 스케일 가능한 비디오 인코더(200)는 기본 계층 인코더(180)로부터의 M-비트 샘플들을 확장 계층 인코더를 위한 N-비트 샘플들로 업샘플링하는 역 톤 매핑 유닛(116)을 포함한다. 코딩된 디지털 비디오 데이터의 스케일 가능한된 출력 스트림을 생성하기 위해 다중화 유닛(118)은 확장 계층 인코더(150)의 N-비트 출력 샘플들의 재구성을 위한 정보를 전송하는 확장 계층 비트스트림을 기본 계층 인코더(180)로부터의 M-비트 출력 샘플들의 재구성을 위한 정보를 전송하는 기본 계층 비트스트림과 결합할 수 있다.
확장 계층 인코더(150)는 확장 계층 비디오 블록을 코딩하기 위해, 대응하는 기본 계층 데이터, 예를 들어, 기본 계층의 동일한 공간 및 시간적으로 위치한 코딩된 유닛에 의존하는 하나 또는 그 이상의 예측 기술을 수행할 수 있다. 본 개시물에 따라, 비트심도-기반의 스케일 가능한 비디오 인코딩은 확장 계층 인코더(150) 및 기본 계층 인코더(180)에 의해 적용된다. 기본 계층 인코더(180)는 기본 계층을 생성하는 반면, 확장 계층 인코더(150)는 확장 계층을 생성한다. 기본 계층은 M 비트의 비트심도들로 비디오 데이터를 정의하고, 확장 계층은 N 비트의 비트심도들로 비디오 데이터의 확장을 정의하며, N은 M보다 크다.
본 개시물의 기술들은 특히 확장 계층 비디오 블록이 기본 계층 데이터에 기초하여 코딩되어야 한다고 예측 유닛(110)이 결정하면, 확장 계층 인코더(150)에 의해 수행되는 확장 계층 인코딩에 관하여 적용된다. 그러나, 더 일반적으로, 예측 유닛(110)은 이전에 재구성된 확장 계층 데이터에 기초하는 확장 계층 예측을 포함하는, 광범위한 다른 타입의 예측 기술들도 지원할 수 있다. 예를 들어, 예측 유닛(110)은 확장 계층 내의 인트라-기반의 공간 예측 및 인터-기반의 시간 예측을 전적으로 지원할 수 있다. 더 특정해서, 예측 유닛(110)이 기본 계층 데이터가 확장 계층 데이터의 예측에서 이용되는 인트라-계층 예측을 지원할 때 본 개시물의 기술들이 적용된다.
예측 유닛(110)이 일부 타입의 인터-계층 예측이 이용될 것임을 결정하면, 본 개시물의 기술들이 이용될 수 있다. 특히, 스위치(118)를 제어함으로써, 인코더(150)는 인트라-코딩된 기본 계층 블록들에 대응하는 임의의 확장 계층 비디오 블록들에 제 1 인터-계층 예측 코딩 기법을 적용한다. 제 1 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링된 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전은 역 톤 매핑 유닛(116)에 의해 가산기(114)로 제공될 수 있다.
인터-코딩되는 기본 계층 블록들에 대응하는 임의의 확장 계층 비디오 블록들의 경우, 스위치(118)는 두 개의 상이한 예측 경로들 중에서 선택한다. 스위치(118)는 예측 경로, 예를 들어, 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되는지 여부를 제어하는 제어 로직(또는 소프트웨어 루틴)을 포함할 수 있다. N-비트 확장 계층 비디오 블록이 인터 블록에 대응하면, 스위치(118)는 가산기로 하여금 두 개의 상이한 예측 경로들 중에서 선택하게 한다. 제 1 경로는 제 1 인터-계층 예측 코딩 기법에 대응하고 제 2 경로는 제 2 인터-계층 예측 코딩 기법에 대응한다. 언급한 바와 같이, 제 2 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다.
그리고나서 확장 계층 인코더(150)는 디코더가 인코딩된 데이터를 디코딩하는 방법을 결정할 수 있도록 디코더에 의해 이용될 정보를 인코딩할 수 있다. 특히, 확장 계층 인코더(150)은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 인코딩되는 확장 계층 비트스트림 내의 정보를 인코딩한다.
그러한 신택스는 인터-계층 예측이 이용되는지 여부를 나타내는 제 1 신택스 정보를 포함할 수 있으며, 이는 비디오 블록 당 하나의 비트를 포함할 수 있다. 뿐만 아니라, 신택스는 디코더에 의해 이용될 제 2 신택스 정보를 포함할 수 있으며, 이는 인터-계층 예측이 이용되는 비디오 블록 당 다른 비트의 정보를 포함할 수 있으며, 이는 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별한다.
대안적으로, 상기 논의된 바와 같이, 인트라 기본 계층 블록들에 대응하는 확장 계층 블록들이 항상 제 1 인터-계층 예측 코딩 기법을 이용하여 코딩될 수 있기 때문에, 디코더에 의해 이용될 제 2 신택스 정보는 인터 기본 계층 블록에 대응하는 비디오 블록 당 한 비트의 정보를 포함할 수 있으며, (인터-계층 예측이 제 1 신택스 정보에 의해 지시되는 바와 같이 지원된다고 가정하면) 디코더는 인트라 기본 계층 블록들에 대응하는 확장 계층 블록들이 제 1 인터-계층 예측 코딩 기법을 이용하여 디코딩되어야 하는지를 알도록 프로그램될 수 있다. 이 경우, 상기 하나의 비트의 제 2 신택스 정보와 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는 여부의 결정의 조합은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별한다. 다시 말하면, 제 2 신택스 정보는 인터-계층 예측이 이용되고 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트를 포함할 수 있다.
게다가, 제 2 신택스 정보에 대해 비디오 블록 당 하나의 비트를 포함할 것인지, 또는 대안적으로, 인터-계층 예측이 이용되고 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트만을 포함할 것인지 여부의 구현 결정은 디코더가 확장 계층 및 기본 계층 비트스트림들의 개별적인 엔트로피 디코딩 및 파싱(parsing)을 지원할 것인지 여부에 의존할 수 있다. 확장 계층 및 기본 계층 비트스트림들의 개별적인 엔트로피 디코딩 및 파싱이 예를 들어, 디코딩을 가속하기 위해, 요구되면, (예를 들어, 대응하는 인트라 기본 계층 블록 또는 대응하는 인터 기본 계층 블록에 기초하여 코딩되는) 비디오 블록 당 하나의 비트는 단순히 대응하는 인터 기본 계층 블록에 기초하여 코딩된 블록들에 대해서만 비디오 블록 당 하나의 비트보다는 제 2 신택스에 대해 이용되어야 한다. 그렇지 않으면, 디코더는 확장 계층 비디오 블록에 대해 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법을 식별하는 비트를 디코딩할 것인지 여부를 결정하기 위해 디코딩되는 기본 계층 비디오 블록의 코딩 타입을 알 필요가 있을 수 있다.
인코딩된 확장 계층 비디오 블록들뿐만 아니라 상기 비디오 블록들에 대해 이용된 예측 코딩 기법을 식별하기 위해 디코더에 의해 이용될 임의의 예측 신택스 및 임의의 추가적인 비트는 유닛(106)에 의해 엔트로피 코딩될 수 있다. 그리고나서 다중화 유닛(118)은 확장 계층 비트스트림과 기본 계층 비트스트림을 결합하여 출력 비트스트림을 생성할 수 있다. 출력 비트스트림은 저장될 수 있고, 및/또는 변조되고 다른 디바이스로 송신될 수 있다.
일부 양상들로, 본 개시물의 기술들은 상기 기술들이 예측 경로들의 고유하고 유용한 조합을 제공하는 한 종래의 기술들과는 상이하다. 확장 계층 예측은 대응하는 기본 계층 데이터와 연관되는 예측 데이터(예를 들어, 모션 벡터들)에 기초하여 허용된다. 다른 한편, 확장 계층 예측은 대응하는 기본 계층 데이터의 업샘플링되는 버전에 기초하여 허용될 수 도 있으며, 이러한 타입의 예측은 인터 코딩되는 기본 계층 블록들에 대응하는 확장 계층 비디오 블록들 또는 인트라 코딩되는 기본 계층 블록들에 대응하는 확장 계층 비디오 블록들에 대해 허용될 수 있다. 게다가, 이러한 기술들은 인터-계층 예측의 일부 형태이 확장 계층 데이터의 예측에 이용될 일부 타입의 기본 계층 데이터에서 선택되는 조건 상에 적용된다.
도 3은 도 1의 스케일 가능한 비트-심도 비디오 인코더(22)에 대응할 수 있는 예시적인 스케일 가능한 비디오 인코더(35)를 도시하는 블록 다이어그램이다. 스케일 가능한 비디오 인코더(35)는 기본 계층 인코더(60) 및 확장 계층 인코더(40)를 포함한다. 개별적으로 도시되어있음에도 불구하고, 일부 구현들에서, 기본 계층 인코더(60) 및 확장 계층 인코더(40)의 다양한 유닛들이 공유되거나 결합될 수 있다. 기본 계층 인코더(60)는 기본 계층 비디오 블록들을 인코딩하는 반면, 확장 계층 인코더(40)는 확장 계층 비디오 블록들을 인코딩한다. 인코딩 측면에서, 본 개시물의 기술들은 일반적으로 N-비트 확장 계층 비디오 블록이 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우 확장 계층 인코더(40)에 의한 확장 계층 비디오 블록들의 인코딩에 관한 것이다.
확장 계층 인코더(40)는 제어 유닛(42)에 의해 제어되는 다양한 인코딩 유닛들(44)을 포함할 수 있다. 유사하게, 기본 계층 인코더(60)는 제어 유닛(62)에 의해 제어되는 다양한 인코딩 유닛들(64)을 포함할 수 있다. 또한 스케일 가능한 비디오 인코더(35)는 확장 계층 인코더(40)의 N-비트 샘플들을 기본 계층 인코더(60)에 대한 M-비트 샘플들로 다운샘플링하는 톤 매핑 유닛(54)을 포함한다. 뿐만 아니라, 스케일 가능한 비디오 인코더(35)는 기본 계층 인코더(60)의 M-비트 샘플들을 확장 계층 인코더에 대한 N-비트 샘플들로 업샘플링하는 역 톤 매핑 유닛(55)을 포함한다. 다중화 유닛(58)은 코딩된 디지털 비디오 데이터의 스케일 가능한된 출력 스트림을 생성하기 위해 확장 계층 인코더(40)의 N-비트 출력 샘플들의 재구성을 위한 정보를 전송하는 확장 계층 비트스트림을 기본 계층 인코더(60)의 M-비트 출력 샘플들의 재구성을 위한 정보를 전송하는 기본 계층 비트스트림과 결합할 수 있다. 다중화 유닛(58)은 그러한 데이터를 MPEG-2 파일 포맷에 따라 결합할 수 있다.
기본 계층 인코딩을 위해, 기본 계층 인코더(60)는 인트라 유닛(66), 인터 유닛(68) 및 엔트로피 코딩 유닛(69)을 포함한다. 또한 양자화 유닛 및 DCT 유닛과 같은, 다양한 다른 유닛들은 예측 비디오 코딩에서 공통으로 이용되지만, 설명의 간소화와 용이함을 위해 도 3에서 도시되지는 않는다. 인트라 유닛(66)은 인트라 비디오 블록들의 인트라-기반의 인코딩을 수행하는 반면, 인터 유닛(69)은 인터 비디오 블록들의 인터-기반의 인코딩을 수행한다. 엔트로피 코딩 유닛(69)은 엔트로피 코딩 방법론에 따라 인코딩된 데이터 및 신택스 정보를 추가로 압축한다.
기본 계층 비디오 블록들의 인트라-기반의 인코딩을 위해, 인트라 유닛(66)은 코딩되는 비디오 블록으로서 동일한 코딩되는 유닛(예를 들어, 동일한 프레임 또는 슬라이스) 내의 데이터에 기초하여 예측 데이터를 생성할 수 있다. 예측 데이터는 잔여물을 생성하기 위해 코딩되는 비디오 블록으로부터 추출되며, 그리고나서 이는 변환되고 양자화될 수 있다. 잔여 데이터 및 (예를 들어, 적용된 인트라 예측의 모드 또는 방식을 식별하는) 예측 신택스는 엔트로피 코딩을 위해 엔트로피 코딩 유닛(69)에 적용될 수 있다.
기본 계층 비디오 블록들의 인터-기반의 인코딩을 위해, 인터 유닛(68)은 상이한 코딩된 유닛(예를 들어, 비디오 프레임의 이전의 또는 이후의 프레임 또는 슬라이스) 내의 데이터에 기초하여 예측 데이터를 생성할 수 있다. 예측 데이터는 잔여물을 생성하기 위해 코딩되는 비디오 블록으로부터 추출되며, 그리고나서 이는 변환되고 양자화될 수 있다. 잔여 데이터 및 예측 신택스(예를 들어, 이전 또는 이후의 코딩되는 유닛으로부터 예측 블록을 식별하는 하나 또는 그 이상의 모션 벡터들)는 엔트로피 인코딩을 위해 엔트로피 코딩 유닛(69)으로 적용될 수 있다.
확장 계층 인코더(40)는 기본 계층 인코더(60)와는 다소 상이한 방식의 예측 기반의 인코딩을 수행할 수 있다. 특히, 확장 계층 인코더(40)는 확장 계층 비디오 블록을 코딩하기 위해, 대응하는 기본 계층 데이터, 예를 들어 동일한 공간 및 시간적으로 위치한 코딩된 유닛에 의존하는 하나 또는 그 이상의 인터-계층 예측 기술들을 수행할 수 있다. 게다가, 확장 계층 인코더(40)는 다른 타입들의 예측(예를 들어, 확장 계층 데이터에만 기초한 하나 또는 그 이상의 다른 기술들)도 지원할 수 있지만, 본 개시물의 기술들은 기본 계층 데이터에 의존하는 예측 기술들에 적용된다.
본 개시물에 따라, 비트심도-기반의 스케일 가능한 비디오 인코딩은 확장 계층 인코더(40) 및 기본 계층 인코더(60)에 의해 적용된다. 기본 계층 인코더(60)는 기본 계층 비트스트림을 생성하는 반면, 확장 계층 인코더(40)는 확장 계층 비트스트림을 생성한다. 기본 계층 비트스트림은 M 비트의 비트심도들로 비디오 데이터를 정의하고, 확장 계층 비트 스트림은 N 비트의 비트심도들로의 비디오 데이터의 확장을 정의하며, N은 M보다 크다.
본 개시물의 기술들은 특히 N-비트 확장 계층 비디오 블록이 기본 계층에 기초하여 코딩되어야 한다고 확장 계층 인코더(40)가 결정하면, 확장 계층 인코더(40)에 의해 수행되는 확장 계층 인코딩에 관하여 적용된다. 확장 계층 인코더(40)는 제 1 예측 유닛(46), 제 2 예측 유닛(48), 및 엔트로피 코딩 유닛(52)을 포함하는, 다양한 인코딩 유닛들(44)을 포함한다. 이러한 다양한 인코딩 유닛들(44)은 통합될 수 있고, 및/또는 여기에 기재된 상이한 타입들의 코딩을 실행하기 위해 공유 로직 또는 루틴들을 가질 수 있다. 뿐만 아니라, 기본 계층 인코더(60)와 마찬가지로, 확장 계층 인코더(40)는 예를 들어, 잔여 비디오 블록들을 DCT 계수들로 변환하고 DCT 계수들을 양자화하기 위해, (도시되지 않은) 양자화 유닛 및 변환 유닛을 더 포함할 수 있다. 게다가, 이러한 컴포넌트들은 설명의 간소화와 용이함을 위해 도 3에서 도시되지 않지만, 제 1 및 제 2 예측 유닛들(46 및 48)의 일부로 간주될 수 있다. 또한, 확장 계층 인코더(60)는 N-비트 도메인에서 인트라 및 인터 예측도 지원할 수 있음을 주목해야 한다. 확장 계층 인코더(60)의 이러한 인트라 및 인터 유닛들은 설명의 간소화와 용이함을 위해 도시되지 않는다.
제 1 예측 유닛(46)은 인트라 코딩된 기본 계층 비디오 블록들에 대응하는 확장 계층 비디오 블록들의 인코딩을 위해 이용될 수 있다. 제 1 예측 유닛(46)은 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함하는 제 1 인터-계층 예측 코딩 기법에 적용된다. 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전은 역 톤 매핑 유닛(56)에 의해 제 1 예측 유닛(46)으로 제공될 수 있다.
제 2 예측 유닛(48)은 제 2 타입의 예측 코딩 기법을 적용하는데, 이는 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 이 경우, 제 2 예측 유닛(48)은 확장 계층 데이터에 관하여 모션 보상을 수행하기 위해 대응하는 기본 계층 비디오 블록의 업샘플링되는 버전을 이용하기보다는, 단순히 대응하는 기본 계층 비디오 블록의 예측 신택스(예를 들어, 모션 벡터)를 이용한다. 제 2 예측 유닛(48)은 이전의 재구성된 확장 계층 데이터(예를 들어, 이전에 인코딩된 프레임들 또는 슬라이스들의 디코딩되는 버전)를 저장하는 메모리를 포함할 수 있다. 대응하는 기본 계층 비디오 블록(예를 들어, "기본 계층의 모션 정보")과 관련되는 모션 벡터를 이용하여, 제 2 예측 유닛(48)은 N-비트 도메인 내의 예측 블록을 생성하기 위해 이러한 저장된 확장 계층 데이터에 관하여 모션 보상을 수행할 수 있다.
따라, 본 개시물에 따라, 제어 유닛(42)은 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다. N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제어 유닛(42)의 지시(direction)로, 제 1 예측 유닛(46)은 제 1 인터-계층 예측 코딩 기법에 따라 N-비트 확장 계층 비디오 블록을 코딩하며, 제 1 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 제어 유닛(42)은 (제 1 예측 유닛(46)에 의해 적용될 수 있는) 제 1 인터-계층 예측 코딩 기법 및 (제 2 예측 유닛(48)에 의해 적용될 수 있는) 제 2 인터-계층 예측 코딩 기법 중에서 선택한다. 언급한 바와 같이, 제 2 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다.
그리고나서 제어 유닛(42)은 디코더가 인코딩된 데이터를 디코딩하는 방법을 결정할 수 있도록 디코더에 의해 이용될 정보를 인코딩한다. 특히, 제어 유닛(42)은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 인코딩된 비트스트림 내의 정보를 인코딩한다. 일 예시로서, 디코더에 의해 이용될 이러한 "제 2" 신택스 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 하나의 비트의 정보 및 N-비트 확장 계층 비디오 블록이 인트라 블록 또는 인터 블록에 대응하는지 여부의 결정의 조합은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별한다.
*대안적으로, 인트라 기본 계층 블록들에 기초하여 코딩된 확장 계층 블록들이 항상 제 1 인터-계층 예측 코딩 기법을 이용하여 코딩될 수 있기 때문에, 디코더에 의해 이용될 "제 2" 신택스 정보는 인터 기본 계층 비디오 블록에 기초하여 코딩된 비디오 블록 당 하나의 비트의 정보를 포함할 수 있으며, 디코더는 인트라 기본 계층 블록들에 대응하는 확장 계층 블록들이 제 1 인터-계층 예측 코딩 기법을 이용하여 디코딩되어야 함을 알도록 프로그램될 수 있다. 이 경우, 상기 하나의 비트의 정보 및 N-비트 확장 계층 비디오 블록이 인트라 블록 또는 인터 블록에 대응하는지 여부의 결정의 조합은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별한다. 게다가, "제 2" 신택스 정보는 비디오 블록 당 하나의 비트인 "제 1" 신택스 정보가 임의의 형태의 인터-계층 예측이 선택되는지 여부를 식별할 때만 코딩된다.
이러한 "제 2" 신택스 정보에 대해, 비디오 블록 당 하나의 비트를 포함하는, 또는 대안적으로, 인터 기본 계층 비디오 블록에 대응하는 비디오 블록 당 하나의 비트만을 포함하는 결정은 디코더가 확장 계층 및 기본 계층의 개별적인 엔트로피 디코딩 및 파싱을 지원할 것인지 여부에 의존할 수 있다. 확장 계층 및 기본 계층의 개별적인 엔트로피 디코딩 및 파싱이 예를 들어, 디코딩을 가속화 하기 위해, 요구되면, 단순히 인터 블록 당 하나의 비트보다는 비디오 블록 당 하나의 비트가 이용되어야 한다. 그렇지 않으면, 디코더는 확장 계층 비디오 블록에 대해 제1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법을 식별하는 비트를 디코딩할 것인지 여부를 결정하기 위해 대응하는 기본 계층 비디오 블록의 코딩 타입을 알 필요가 있을 수 있다.
인코딩된 확장 계층 비디오 블록들뿐만 아니라 비디오 블록들에 대해 이용되는 예측 코딩 기법을 식별하기 위해 디코더에 의해 이용될 임의의 예측 신택스 및 임의의 부가적인 비트는 유닛(52)에 의해 엔트로피 코딩될 수 있다. 그리고나서 다중화 유닛(58)은 확장 계층와 기본 계층을 결합하여 출력 비트스트림을 생성할 수 있다. 출력 비트스트림은 기본 계층, 확장 계층, 및 관련되는 신택스를 포함한다. 출력 비트스트림은 저장될 수 있고, 및/또는 변조되고 다른 디바이스로 송신될 수 있다.
도 4는 도 1의 스케일 가능한 비트-심도 비디오 디코더(28)에 대응할 수 있는 예시적인 스케일 가능한 비디오 디코더(100)를 도시하는 블록 다이어그램이다. 스케일 가능한 비디오 디코더(100)는 기본 계층 디코더(90) 및 확장 계층 디코더(70)를 포함한다. 개별적으로 도시되었음에도 불구하고, 일부 구현들에서, 기본 계층 디코더(94) 및 확장 계층 디코더(70)의 다양한 유닛들이 공유되거나 결합될 수 있다. 뿐만 아니라, 스케일 가능한 비디오 디코더(100)는 결합(combined) 코덱(인코더-디코더)을 형성하기 위해 스케일 가능한 비디오 인코더(35)와 통합될 수 있다. 이러한 경우, 스케일 가능한 비디오 디코더(100)의 다양한 컴포넌트들은 스케일 가능한 비디오 인코더(35)의 그것들과 오버랩(overlap)될 수 있다.
기본적으로, 스케일 가능한 비디오 디코더(100)의 디코딩 기능성(functionality)은 스케일 가능한 비디오 인코더(35)에 관하여 상기 기재된 인코딩 기능성의 대상적인(reciprocal) 동작들로서 간주될 수 있다. 기본 계층 디코더(90)는 기본 계층 비디오 블록들을 디코딩하는 반면, 확장 계층 디코더(70)는 확장 계층 비디오 블록들을 디코딩한다. 역-다중화 유닛(86)은 SVC 비트 스트림을 수신하고 확장 계층 데이터로부터 기본 계층 데이터를 분리한다. 수신된 기본 계층 데이터는 기본 계층 디코더(90)로 전송되고, 확장 계층 데이터는 확장 계층 디코더(70)로 전송된다. 디코딩 측면에서, 본 개시물의 기술들은 일반적으로 N-비트 확장 계층 비디오 블록이 기본 계층에 기초하여 코딩되었을 경우 확장 계층 디코더(70)에 의한 확장 계층 비디오 블록들의 디코딩에 관한 것이다. 비디오 블록 당 하나의 비트를 포함하는, 비트스트림 내의 제 1 신택스 정보는 예를 들어, 인터-계층 예측이 비디오 블록에 대해 인에블되는지 여부를 나타냄으로써, N-비트 확장 계층 비디오 블록이 기본 계층에 기초하여 코딩되었는지 여부를 나타낼 수 있다.
도시된 바와 같이, 확장 계층 디코더(70)는 제어 유닛(72)에 의해 제어되는 다양한 디코딩 유닛들(74)을 포함할 수 있다. 유사하게, 기본 계층 디코더(90)는 제어 유닛(92)에 의해 제어되는 다양한 디코딩 유닛들(94)을 포함할 수 있다. 또한 스케일 가능한 비디오 디코더(100)는 기본 계층 디코더(90)의 M-비트 샘플들을 확장 계층 디코더(70)에 대한 N-비트 샘플들로 업샘플링하는 역 톤 매핑 유닛(84)을 포함한다. 역-다중화 유닛(58)은 수신된 비트스트림을 기본 계층 및 확장 계층로 분리할 수 있다. 개별적인 엔트로피 코딩 유닛들(82 및 99)은 결합 엔트로피 디코딩 유닛이 일부 실시예들에 대해 대안적으로 이용될 수 있음에도 불구하고, 확장 계층 디코더(70) 및 기본 계층 디코더(90)에 각각 포함될 수 있다.
기본 및 확장 계층들에 대한 개별적인 엔트로피 코딩 유닛들(82 및 99)의 구현은 디코딩 프로세스를 가속화할 수 있다. 이 경우, 코딩된 비트스트림은 대응하는 기본 계층 비디오 블록이 인트라 또는 인터 코딩되는지 여부에 관계없이, 제 1 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하기 위해 비디오 블록 당 하나의 비트를 포함하는 것이 바람직하다. 하나의 비트가 인터 기본 계층 블록들에 대응하는 블록들에 대해서만 전송되었다면, 확장 계층 디코더(70)의 엔트로피 코딩 유닛(32)은 확장 계층 디코더(70)가 기본 계층 블록 타입들을 식별할 수 있도록 기본 계층 디코더(90)의 엔트로피 코딩 유닛(99)이 기본 계층 비트스트림을 파싱하기를 기다릴 필요가 있을 것이다. 이 경우, 지연을 피하기 위해, 항상 제 1 인터-계층 예측 코딩 기법에 따라 코딩될 수 있는, 기본 계층 인트라 블록들에 대응하는 확장 계층 블록들에 대해서도 제 1 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하기 위해 비디오 블록 당 하나의 비트를 포함하는 것이 바람직할 수 있다. 게다가, 이러한 1-비트 신택스 정보는 (이미 디코딩된) 제 1의 1-비트 신택스 정보가 인터-계층 예측이 인에이블되었음을 식별할 때만 디코딩된다.
기본 계층 디코딩을 위해, 기본 계층 디코더(90)는 인트라 유닛(96), 인터 유닛(98), 및 엔트로피 코딩 유닛(99)을 포함한다. 또한 역-양자화 유닛 및 역 변환 유닛과 같은 다양한 다른 유닛들이 예측 비디오 디코딩 시 공통으로 이용되지만, 설명의 간소화 및 용이함을 위해 도 4에서 도시되지 않는다. 인트라 유닛(96)은 인트라 비디오 블록들의 인트라-기반의 디코딩을 수행하는 반면, 인터 유닛(98)은 인터 비디오 블록들의 인터-기반의 디코딩을 수행한다. 엔트로피 디코딩 유닛(99)은 엔트로피 디코딩 방법론에 따라 코딩된 데이터 및 신택스 정보를 압축해제하기 위해 수신된 기본 계층 비트스트림을 파싱한다.
기본 계층 비디오 블록들의 인트라-기반의 디코딩을 위해, 인트라 유닛(96)은 예를 들어, 역-양자화 및 역 변환을 따르는, 잔여 비디오 블록을 수신할 수 있으며, 이는 설명의 간소화 및 용이함을 위해 도 4에서 도시되지 않는다. 인트라 유닛(96)은 잔여 비디오 블록이 디코딩될 때 동일한 코딩된 유닛(예를 들어, 동일한 프레임 또는 슬라이스) 내의 데이터에 기초하여 예측 데이터를 생성할 수 있다. (예측 데이터를 생성하기 위해 이용된 인트라 모드와 같은) 예측 신택스는 수신된 비트스트림의 일부를 형성할 수 있으며, 이러한 예측 신택스는 예측 데이터를 생성하기 위해 이용될 수 있다. 예측 데이터는 잔여 비디오 블록에 부가되며, 이는 재구성되는 비디오 블록을 형성한다.
기본 계층 비디오 블록들의 인터-기반의 디코딩을 위해, 인터 유닛(98)은 예를 들어, 역-양자화 및 역 변환을 따르는, 잔여 비디오 블록을 수신할 수 있다. 이 경우, 인터 유닛(98)은 상이한 코딩된 유닛(예를 들어, 비디오 시퀀스의 이전의 또는 이후의 프레임 또는 슬라이스) 내의 데이터에 기초하여 예측 데이터를 생성한다. 예측 신택스(이 경우, 예를 들어, 예측 데이터를 생성하기 위해 이용되는 하나 또는 그 이상의 모션 벡터들)는 수신된 비트스트림의 일부를 형성할 수 있으며, 이 예측 신택스는 예측 데이터를 생성하기 위해 이용될 수 있다. 예측 데이터는 잔여 비디오 블록에 부가되며, 이는 재구성되는 비디오 블록을 형성한다.
확장 계층 디코더(70)는 기본 계층 디코더(90)와는 다소 상이한 방식으로 예측 기반의 디코딩을 수행할 수 있다. 특히, 확장 계층 디코더(70)는 확장 계층 비디오 블록을 디코딩하기 위해, 대응하는 기본 계층 데이터, 예를 들어, 기본 계층의 동일한 공간 및 시간적으로 위치한 코딩된 유닛에 의존하는 하나 또는 그 이상의 인터-계층 예측 기술들을 수행할 수 있다.
확장 계층 디코더(70)가 주어진 확장 계층 비디오 블록이 동일한 타입의 인터-계층 예측을 이용하여 기본 계층 데이터에 기초하여 코딩되었다고 결정한 경우 본 개시물의 기술들은 확장 계층 디코더(70)에 의해 수행되는 특히 확장 계층 디코딩에 관하여 적용될 수 있다. 확장 계층 디코더(70)는 이러한 초기 결정을 하기 위해 제 1 비트의 신택스 정보를 검사할 수 있다.
확장 계층 디코더(70)는 제 1 예측 유닛(76), 제 2 예측 유닛(78), 및 엔트로피 코딩 유닛(82)을 포함하는, 다양한 디코딩 유닛들(74)을 포함한다. 인코더와 마찬가지로, 확장 계층 디코더(70)의 이러한 다양한 디코딩 유닛들(74)은 통합될 수 있으며, 및/또는 여기서 기재된 상이한 타입들의 코딩을 실행하기 위해 공유 로직 또는 루틴들을 가질 수 있다. 뿐만 아니라, 기본 계층 디코더(90)와 마찬가지로, 확장 계층 디코더(70)는 예를 들어, 변환 계수들을 역-양자화하고, 역양자화된 계수들을 픽셀-도메인에서 잔여 비디오 블록들로 역 변환하기 위해, (도시되지 않은) 역-양자화 유닛 및 역 변환 유닛을 더 포함할 수 있다. 도 3에서와 같이, 이러한 컴포넌트들은 설명의 간소화와 용이함을 위해 도 4에서 도시되지 않지만, 제 1 및 제 2 예측 유닛들(76 및 78)의 일부로 간주될 수 있다. 또한, 확장 계층 디코더(70)가 N-비트 도메인에서 인트라 및 인터 예측을 지원할 수도 있음을 주목해야 한다. 확장 계층 디코더(70)의 이러한 인트라 및 인터 유닛들은 설명의 간소화와 용이함을 위해 도시되지 않는다.
제 1 예측 유닛(76)은 인트라 코딩된 기본 계층 비디오 블록들에 대응하는 확장 계층 비디오 블록들의 디코딩을 위해 이용될 수 있다. 제 1 예측 유닛(76)은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함하는 제 1 인터-계층 예측 코딩 기법에 적용된다. 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전은 역 톤 매핑 유닛(84)에 의해 제 1 예측 유닛(76)으로 제공될 수 있다.
제 2 예측 유닛(78)은 제 2 타입의 예측 코딩 기법을 적용하는데, 이는 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 이 경우, 확장 계층 데이터에 관하여 모션 보상을 수행하기 위해, 제 2 예측 유닛(78)은 대응하는 기본 계층 비디오 블록의 업샘플링되는 버전을 이용하기보다는, 대응하는 기본 계층 비디오 블록의 모션 벡터들(예를 들어, 도 4에서 도시되는 "기본 계층의 모션 정보")과 같은 예측 신택스를 이용하며, 이는 확장 계층 디코더(70)에 관련되는 (도시되지 않은) 메모리에 저장되는 재구성되는 확장 계층 비디오 프레임들 또는 슬라이스들일 수 있다.
본 개시물에 따라, 제어 유닛(72)은 N-비트 확장 계층 비디오 블록이 기본 계층 내의 인트라 블록 또는 인터 블록에 대응하는지 여부를 결정한다. N-비트 잔여 확장 계층 비디오 블록이 기본 계층 내의 인트라 블록에 대응하면, 제어 유닛(72)의 지시로, 제 1 예측 유닛(76)은 제 1 인터-계층 예측 코딩 기법에 따라 N-비트 확장 계층 비디오 블록을 디코딩하며, 제 1 인터-계층 예측 코딩 기법은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다.
N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 제어 유닛(72)은 (제 1 예측 유닛(76)에 의해 적용될 수 있는) 제 1 인터-계층 예측 코딩 기법 및 (제 2 예측 유닛(78)에 의해 적용될 수 있는) 제 2 인터-계층 예측 코딩 기법 중에서 선택한다. 언급한 바와 같이, 제 2 인터-계층 예측 코딩 기법은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다.
또한 제어 유닛(72)은 확장 계층 디코더(70)가 인코딩되는 데이터를 디코딩하는 방법을 결정하는 것을 도울 수 있는 정보를 디코딩한다. 특히, 제어 유닛(72)은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 인코딩된 비트스트림 내의 정보를 디코딩한다. 일 예시로, 확장 계층 디코더(70)에 의해 이용될 본 정보는 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 나타내기 위해 인터-계층 코딩되는 비디오 블록 당 하나의 비트의 "제 2" 신택스 정보를 포함한다. 반대로, "제 1" 신택스 정보는 확장 계층 비디오 블록의 예측이 기본 계층의 정보를 이용하였는지 여부를 명시한다. 그리하여, "제 2" 신택스 정보는 제 1 신택스 정보가 확장 계층 비디오 블록의 예측이 기본 계층의 정보를 이용하였음을 식별할 때만 수신된다.
대안적으로, 인트라 기본 계층 블록들에 대응하는 확장 계층 블록들이 항상 제 1 인터-계층 예측 코딩 기법을 이용하여 코딩될 수 있기 때문에 확장 계층 디코더(70)에 의해 이용될 상기 정보는 인터 기본 계층 블록에 대응하는 비디오 블록 당 하나의 비트의 "제 2" 신택스 정보를 포함할 수 있으며, 확장 계층 디코더(70)는 인트라 기본 계층 블록들에 대응하는 확장 계층 블록들이 제 1 인터-계층 예측 코딩 기법을 이용하여 디코딩되어야함을 알도록 프로그램될 수 있다. 이 경우, 하나의 비트의 정보 및 N-비트 확장 계층 비디오 블록이 기본 계층 내의 인트라 블록 또는 인터 블록에 대응하는지 여부의 결정의 조합은 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별한다.
"제 2" 신택스 정보에 대해 인터-계층 코딩되는 비디오 블록 당 하나의 비트를 포함하는지, 또는 대안적으로, 특히 인터 기본 계층 블록에 대응하는 비디오 블록 당 하나의 비트만을 포함하는지에 관한 구현 결정은 스케일 가능한 비트-심도 비디오 인코더(100)가 확장 계층 및 기본 계층의 개별적인 엔트로피 디코딩 및 파싱을 지원하는지 여부에 의존할 수 있다. 만일, 도 4에서 도시된 바와 같이, 확장 계층 및 기본 계층의 개별적인 엔트로피 디코딩 및 파싱이, 예를 들어, 디코딩을 가속화하기 위해, 구현되면, 단순히 인터 기본 계층 블록에 대응하는 비디오 블록 당 하나의 비트보다는 비디오 블록 당 하나의 비트가 이용되어야 한다. 그렇지 않으면, 확장 계층 디코더(70)는 확장 계층 비디오 블록에 관하여 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법을 식별하는 비트를 디코딩할 것인지 여부를 결정하기 위해 디코딩되는 기본 계층 비디오 블록의 코딩 타입을 알 필요가 있을 수 있다.
도 5는 본 개시물과 일관되는 예시적인 인코딩 기법을 도시하는 흐름도이다. 도 5는 도 3의 스케일 가능한 비디오 인코더(35)의 관점으로부터 기재될 것이다. 도 5에서 도시된 바와 같이, 스케일 가능한 비디오 인코더(35)는 기본 계층 및 확장 계층 및 확장 계층 비디오 블록을 생성하고, 스케일 가능한 비디오 인코더(35)는 확장 계층 비디오 블록이 기본 계층 데이터에 기초하여 코딩되어야 함을 결정한다(501). 예를 들어, 스케일 가능한 비디오 인코더(35)는 N-비트 샘플들을 수신하고, 상기 N-비트 샘플들을 확장 계층 인코더(40)에 제공하여 확장 계층을 정의하고, N-비트 샘플들을 M-비트 샘플들로 다운샘플링해서 기본 계층을 정의한다. 기본 계층 및 확장 계층은 각각, 기본 계층 인코더(60) 및 확장 계층 인코더(40)에 의해 개별적으로 코딩될 수 있다. 확장 계층 인코더(40)가 확장 계층 비디오 블록이 기본 계층 데이터에 기초하여 코딩되어야함을 결정하면, 도 5의 기술들이 적용될 수 있다.
이 경우, 확장 계층 인코딩을 위해, 제어 유닛(42)은 N-비트 확장 계층 비디오 블록이 기본 계층의 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부를 결정한다(502). 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면("인트라" 502), 제 1 예측 유닛(46)은 제 1 인터-계층 예측 기술에 따라 N-비트 확장 계층 비디오 블록을 인코딩한다(503). 제 1 인터-계층 예측 코딩 기법은 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함한다. 다른 한편, 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면("인터" 502), 제어 유닛(42)은 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택한다(504). 하나 또는 그 이상의 유닛들(44)은 선택된 예측 코딩 기법에 따라 N-비트 확장 계층 비디오 블록을 인코딩한다(505). 특히, 상기 선택에 따라, 제 1 예측 유닛(46)이 제 1 인터-계층 예측 코딩 기법을 수행할 수 있거나 제 2 예측 유닛(48)이 제 2 인터-계층 예측 코딩 기법을 수행할 수 있다.
제어 유닛(42)은 레이트-왜곡(rate-distortion) 알고리즘을 적용함으로써 제 1 및 제 2 인터-계층 예측 코딩 기법 간의 선택을 수행할 수 있다(504). 특히, 제어 유닛(42)은 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법에 의해 코딩되는 비디오 블록 사이의 비디오 품질 차이들을 고려할 수 있다. 뿐만 아니라, 제어 유닛(42)은 제 1 인터-계층 예측 코딩 기법을 이용하거나 또는 제 2 인터-계층 예측 코딩 기법을 이용하여 비디오 블록이 코딩되면 달성되는 압축 레벨을 고려할 수 있다. 일부 경우들에서, 확장 계층 인코더(40)는 실제로 인터-계층 예측 기술들 모두를 이용하여 비디오 블록을 인코딩할 수 있고, 그리고나서 품질 및 압축 레벨에 기초하여 상기 선택(504)을 할 수 있다. 시나리오에 따라, 예를 들어, 최상의 레이트의 데이터 통신을 용이하게 하기 위해, 최상의 압축 또는 가능한 한 최상의 품질, 예를 들어, 최소 양의 왜곡을 달성하는 것이 더 바람질할 수 있다. 일부 경우들에서, 상기 선택을 하기 위해 이러한 요인들이 레이트-왜곡 알고리즘에 따라 밸런싱될 수 있다.
또한 제어 유닛(42)은 신택스 정보를 생성하여 N-비트 확장 계층 비디오 블록에 대해 이용된 예측 코딩 기법을 디코더에 통지한다(506). 상기에 더 상세히 논의된 바와 같이, 본 신택스 정보는 기본 계층 데이터가 확장 계층 비디오 블록들을 인코딩하기 위해 이용됨(예를 들어, 인터-계층 예측이 이용됨)을 나타내는 제 1 신택스 정보, 및 이용되는 인터-계층 예측 기술의 타입을 디코더에 통지하기 위해 이용되는 제 2 신택스 정보를 포함할 수 있다. 제 1 신택스 정보는 비디오 블록 당 하나의 비트를 포함할 수 있다. 제 2 신택스 정보는 인터-계층 코딩되는 비디오 블록 당 하나의 비트, 또는 특히 인터 기본 계층 블록에 대응하는 인터-계층 코딩되는 비디오 블록 당 하나의 비트를 포함할 수 있다. 상기 논의된 바와 같이, 인터 기본 계층 블록에 대응하는 비디오 블록 당 하나의 비트는 높은 압축 레벨의 이점을 가지는 한편, 인터-계층 코딩되는 모든 비디오 블록에 대한 하나의 비트는 디코더에서 기본 및 확장 계층들의 개별적인 엔트로피 코딩 및 파싱을 용이하게 하는 이점을 가지며, 이는 디코딩 프로세스를 가속화할 수 있다. 어떠한 경우에도, 엔트로피 코딩 유닛(52)은 (코딩된 비디오 블록 및 신택스 정보를 포함하는) 데이터를 엔트로피 인코딩하여 코딩한 비트스트림을 생성할 수 있다(507). 그리고나서 스케일 가능한 비디오 인코더(35)는 신호 변조 및 다른 디바이스로의 코딩된 비트스트림의 송신을 위해, 도 1의 변조기/송신기(24)를 통하는 것과 같이, 하나 또는 그 이상의 변조기들 및 송신기들로 전송할 수 있다(508).
도 6은 본 개시물과 일관되는 예시적인 디코딩 기법을 도시하는 흐름도이다. 도 6은 도 3의 스케일 가능한 비디오 인코더(100)의 관점에서 기재될 것이다. 도 6에서 도시된 바와 같이, 스케일 가능한 비디오 디코더(100)는 기본 계층 및 확장 계층 비디오 데이터 및 신택스 정보를 포함하는 비트스트림을 수신한다(601). 역-다중화 유닛(86)은 기본 계층 및 확장 계층 데이터를 분리하고(602), 상기 데이터를 확장 계층 디코더(70) 및 기본 계층 디코더(90)로 각각 전송한다. 신택스 정보는 기본 계층 데이터가 확장 계층 비디오 블록들을 인코딩하기 위해 이용되었는지 여부(예를 들어, 인터 계층 예측이 이용되는지 여부)를 나타내는 제 1 신택스 정보, 및 이용된 인터-계층 예측 기술의 타입을 디코더에 통지하기 위해 이용되는 제 2 신택스 정보를 포함할 수 있다. 제 1 신택스 정보가 기본 계층 데이터가 확장 계층 비디오 블록들을 인코딩하기 위해 이용되었음을 나타내지 않는다면, 본 개시물의 기술들은 적용되지 않을 수 있다. 반대로, 특히 인터-계층 예측을 이용하여 확장 계층 비디오 블록들을 인코딩하기 위해 기본 계층 데이터가 이용되었음을 제 1 신택스 정보가 나타내면 본 개시물의 기술들이 적용된다.
확장 계층 디코더(70)에서, 제어 유닛(72)은 N-비트 확장 계층 비디오 블록이 기본 계층의 인트라 블록 또는 인터 블록에 대응하는지 여부를 결정한다(603). 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면("인트라" 503), 제 1 예측 유닛(76)은 제 1 인터-계층 예측 기술에 따라 N-비트 확장 계층 비디오 블록을 디코딩한다(604). 특히, 디코딩을 위해, 제 1 인터-계층 예측 코딩 기법은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다.
다른 한편, 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면("인터" 603), 제어 유닛(72)은 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하며(605), 상기 선택된 예측 기술에 따라 N-비트 확장 계층 비디오 블록을 디코딩한다(606). 특히, 상기 선택에 따라, 제 1 예측 유닛(76)이 제 1 인터-계층 예측 코딩 기법을 수행할 수 있거나 또는 제 2 예측 유닛(78)이 제 2 인터-계층 예측 코딩 기법을 수행할 수 있다. 게다가, 제 1 인터-계층 예측 코딩 기법은 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함한다. 반대로, 제 2 인터-계층 예측 코딩 기법은, 디코딩을 위해, N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로써 재구성되는 비디오 블록을 생성하는 것을 포함한다. 상기 선택("605")은 적어도 부분적으로 비트스트림 내의 "제 2" 신택스 정보에 기초할 수 있으며, 이는 상기 약술된 바와 같이, 제 1 인터-계층 예측 코딩 기법 또는 제 2 인터-계층 예측 코딩 기법이 N-비트 잔여 확장 계층 비디오 블록을 디코딩하기 위해 이용되어야 하는지 여부를 식별하기 위해 인코더에서 정의될 수 있다.
여기에 기재된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 기재된 임의의 특징(feature)들은 통합 로직 디바이스(integrated logic device)에서 함께 또는 이산적이지만 상호동작가능한(interoperable) 로직 디바이스들로서 개별적으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 본 기술들은 실행시, 상기 기재된 하나 또는 그 이상의 방법들을 수행하는 명령들을 포함하는 컴퓨터-판독가능한 매체에 의해 적어도 부분적으로 실행될 수 있다. 컴퓨터-판독가능한 데이터 저장 매체는 컴퓨터 프로그램 물건의 일부를 형성할 수 있으며, 이는 포장재(packaging material)들을 포함할 수 있다. 컴퓨터-판독가능한 매체는 동기식 DRAM과 같은 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 랜덤 액세스 메모리(NVRAM), 전기적 삭제가능한 프로그램가능한 ROM(EEPROM), 플래시 메모리, 자기 또는 광학 데이터 매체, 등을 포함할 수 있다. 부가적으로 또는 대안적으로 본 기술들은 데이터 구조들 또는 명령들의 형태로 코드를 전송하거나 통신하고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능한 통신 매체에 의해 적어도 부분적으로 실현될 수 있다.
코드는 하나 또는 그 이상의 디지털 신호 프로세서들(DSP들), 범용 마이크로프로세서들, 주문형 반도체들(ASIC들), 필드 프로그램어블 게이트 어레이들(FPGA들), 또는 다른 균등한 통합 또는 이산 로직 회로와 같은, 하나 또는 그 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 여기에서 사용되는, 용어 "프로세서"는 전술한 구조 중 임의의 것 또는 여기서 기재된 기술들의 구현에 적절한 임의의 다른 구조로 지칭될 수 있다. 뿐만 아니라, 일부 양상들로, 여기서 기재된 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공되거나, 또는 결합 비디오 인코더-디코더(CODEC) 내에 통합될 수 있다.
하드웨어로 구현되는 경우, 본 개시물은 집적 회로, 칩셋, 주문형 반도체(ASIC), 필드 프로그램어블 게이트 어레이(FPGA), 로직, 또는 여기에 기재된 하나 또는 그 이상의 기술들을 수행하도록 구성되는 이들의 다양한 조합들과 같은 회로에 관한 것일 수 있다.
본 발명의 다양한 실시예들이 기재되어 왔다. 이러한 및 다른 실시예들은 다음의 청구항들의 범위 내에 존재한다.

Claims (42)

  1. 비트심도-기반의(bitdepth-based) 스케일 가능한 비디오 코딩(scalable video coding, SVC) 방식에 따라 비디오 데이터를 인코딩하는 방법으로서,
    상기 방법은:
    상기 비디오 데이터와 연관되는 기본 계층(base layer) 및 확장 계층(enhancement layer)을 생성하는 단계 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? ; 및
    상기 기본 계층 및 상기 확장 계층을 인코딩하는 단계를 포함하며,
    상기 확장 계층을 인코딩하는 단계는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측(prediction)을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하는 단계, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우:
    상기 N-비트 확장 계층 비디오 블록이 인트라(intra) 기본 계층 블록에 대응하는지 아니면 인터(inter) 기본 계층 블록에 대응하는지를 결정하는 단계;
    상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측(predictive) 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 코딩하는 단계 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전(version) 간의 차이로서 잔여(residual) 비디오 블록을 생성하는 것을 포함함 ? ; 및
    상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 단계 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터(motion vector)에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록을 생성하는 것을 포함함 ? 를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 방법.
  2. 제 1항에 있어서,
    상기 방법은:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정하기 위해 디코더에 의해 이용될 제 1 정보를 인코딩하는 단계; 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 제 2 정보를 인코딩하는 단계를 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 방법.
  3. 제 2항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 방법.
  4. 제 2항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 방법.
  5. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법으로서,
    상기 방법은:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하는 단계 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? ; 및
    상기 기본 계층 및 상기 확장 계층을 디코딩하는 단계를 포함하며,
    상기 확장 계층을 디코딩하는 단계는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하는 단계, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우:
    상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하는 단계;
    상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하는 단계 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 및
    상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 단계 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법.
  6. 제 5항에 있어서,
    상기 방법은:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 제 1 정보를 수신하는 단계; 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 디코딩하기 위해 이용되어야 하는지 여부를 결정하기 위해 이용될 제 2 정보를 수신하는 단계를 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법.
  7. 제 6항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법.
  8. 제 7항에 있어서,
    상기 기본 계층 및 상기 확장 계층을 개별적으로(separately) 엔트로피(entropy) 디코딩하는 단계를 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법.
  9. 제 6항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 방법.
  10. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치로서,
    상기 장치는:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하고 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 그리고
    상기 기본 계층 및 상기 확장 계층을 인코딩하는 비트심도-기반의 스케일 가능한 비디오 인코더를 포함하며,
    상기 확장 계층에 대해, 상기 비디오 인코더는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하고;
    상기 N-비트 확장 계층 비디오 블록이 인트라 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함함 ? ; 그리고
    상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록의 생성을 포함함 ? ,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치.
  11. 제 10항에 있어서,
    상기 비트심도-기반의 스케일 가능한 비디오 인코더는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정하기 위해 디코더에 의해 이용될 제 1 정보를 인코딩하고; 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 제 2 정보를 인코딩하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치.
  12. 제 11항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치.
  13. 제 11항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치.
  14. 제 10항에 있어서,
    상기 장치는 집적회로 및 마이크로프로세서 중 하나를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 장치.
  15. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치로서,
    상기 장치는:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하고 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 그리고 상기 기본 계층 및 상기 확장 계층을 디코딩하는 비트심도-기반의 스케일 가능한 비디오 디코더를 포함하며,
    상기 확장 계층에 대해, 상기 비디오 디코더는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우:
    N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하고;
    상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 그리고
    상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  16. 제 15항에 있어서,
    상기 디코더는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 제 1 정보를 수신하고; 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 디코딩하기 위해 이용되어야 하는지 여부를 결정하기 위해 이용될 제 2 정보를 수신하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  17. 제 16항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  18. 제 17항에 있어서,
    상기 디코더는 상기 기본 계층 및 상기 확장 계층을 개별적으로 엔트로피 디코딩하는 두 개의 개별적인 엔트로피 디코딩 유닛들을 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  19. 제 16항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  20. 제 15항에 있어서,
    상기 장치는 집적회로 및 마이크로프로세서 중 하나를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 장치.
  21. 실행 시 비디오 코딩 디바이스로 하여금 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하도록 하는 명령들을 포함하는 컴퓨터-판독가능한 매체로서,
    상기 명령들은 상기 디바이스로 하여금:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하도록 하고 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 그리고 상기 기본 계층 및 상기 확장 계층을 인코딩하도록 하고,
    상기 확장 계층에 대해, 상기 명령들은 상기 디바이스로 하여금:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하도록 하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하도록 하고;
    상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하도록 하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함함 ? ; 그리고
    상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하도록 하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록의 생성을 포함함 ? ,
    컴퓨터-판독가능한 매체.
  22. 제 21항에 있어서,
    상기 명령들은 상기 디바이스로 하여금 추가로:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정하기 위해 디코더에 의해 이용될 제 1 정보를 인코딩하도록 하고; 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 제 2 정보를 인코딩하도록 하는,
    컴퓨터-판독가능한 매체.
  23. 제 22항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    컴퓨터-판독가능한 매체.
  24. 제 22항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    컴퓨터-판독가능한 매체.
  25. 실행 시 비디오 코딩 디바이스로 하여금 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하도록 하는 명령들을 포함하는 컴퓨터-판독가능한 매체로서,
    상기 명령들은 상기 디바이스로 하여금:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신한 경우 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 상기 기본 계층 및 상기 확장 계층을 디코딩하도록 하고,
    상기 확장 계층에 대해, 상기 명령들은 상기 디바이스로 하여금:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하도록 하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하도록 하고;
    상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하도록 하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 그리고
    상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하도록 하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ,
    컴퓨터-판독가능한 매체.
  26. 제 25항에 있어서,
    상기 명령들은 상기 디바이스로 하여금 추가로:
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 인코더에 의해 정의되는 수신되는 정보에 적어도 부분적으로 기초하여 상기 확장 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하도록 하는,
    컴퓨터-판독가능한 매체.
  27. 제 26항에 있어서,
    인코더에 의해 정의되는 상기 수신되는 정보는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 제 1 정보 ? 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함함 ? ; 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 제 2 정보 ? 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함함 ? 를 포함하는,
    컴퓨터-판독가능한 매체.
  28. 제 27항에 있어서,
    상기 명령들은 상기 디바이스로 하여금 상기 기본 계층 및 상기 확장 계층을 개별적으로 디코딩하도록 하는,
    컴퓨터-판독가능한 매체.
  29. 제 26항에 있어서,
    인코더에 의해 정의되는 상기 수신되는 정보는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 제 1 정보 ? 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함함 ? , 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 제 2 정보 ? 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하고, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별함 ? 를 포함하는,
    컴퓨터-판독가능한 매체.
  30. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스로서,
    상기 디바이스는:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하기 위한 수단 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? ;
    상기 기본 계층을 인코딩하기 위한 수단; 및
    상기 확장 계층을 인코딩하기 위한 수단을 포함하며,
    상기 확장 계층을 인코딩하기 위한 수단은:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하기 위한 수단, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하기 위한 수단;
    상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위한 수단 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록을 생성하는 것을 포함함 ? ; 및
    상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하기 위한 수단 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록을 생성하는 것을 포함함 ? 을 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  31. 제 30항에 있어서,
    상기 디바이스는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정하기 위해 디코더에 의해 이용될 제 1 정보를 인코딩하기 위한 수단; 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 인코딩하기 위해 이용되었는지 여부를 결정하기 위해 디코더에 의해 이용될 제 2 정보를 인코딩하기 위한 수단을 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  32. 제 31항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  33. 제 31항에 있어서,
    상기 디코더에 의해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고 상기 디코더에 의해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  34. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스로서,
    상기 디바이스는:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하기 위한 수단 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? ; 및
    상기 기본 계층을 디코딩하기 위한 수단; 및
    상기 확장 계층을 디코딩하기 위한 수단을 포함하며,
    상기 확장 계층을 디코딩하기 위한 수단은:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위한 수단, 및 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하기 위한 수단;
    상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하기 위한 수단 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 및
    상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하기 위한 수단 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 을 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  35. 제 34항에 있어서,
    상기 디바이스는:
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 제 1 정보를 수신하기 위한 수단; 및
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 상기 N-비트 확장 계층 비디오 블록을 디코딩하기 위해 이용되어야 하는지 여부를 결정하기 위해 이용될 제 2 정보를 수신하기 위한 수단을 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  36. 제 35항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되는 비디오 블록 당 하나의 비트의 정보를 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  37. 제 36항에 있어서,
    상기 기본 계층 및 상기 확장 계층을 개별적으로 엔트로피 디코딩하기 위한 수단을 더 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  38. 제 36항에 있어서,
    상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하기 위해 이용될 상기 제 1 정보는 비디오 블록 당 하나의 비트의 정보를 포함하고, 그리고
    상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되어야 하는지 여부를 결정하기 위해 이용될 상기 제 2 정보는 인터-계층 예측이 이용되고 상기 대응하는 기본 계층 비디오 블록이 인터 코딩되는 비디오 블록 당 하나의 비트의 정보를 포함하며, 상기 제 2 정보 및 상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록 또는 인터 기본 계층 블록에 대응하는지 여부의 결정의 조합은 상기 제 1 인터-계층 예측 코딩 기법 또는 상기 제 2 인터-계층 예측 코딩 기법이 이용되었는지 여부를 식별하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  39. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스로서,
    상기 디바이스는:
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 생성하고 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 그리고
    상기 기본 계층 및 상기 확장 계층을 인코딩하는 비트심도-기반의 스케일 가능한 비디오 인코더; 및
    상기 기본 계층 및 상기 확장 계층을 다른 디바이스로 송신하는 무선 송신기를 포함하며,
    상기 확장 계층에 대해 상기 비디오 인코더는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 하는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되어야 한다고 결정한 경우:
    N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하고;
    상기 N-비트 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 확장 계층 비디오 블록을 인코딩하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전 간의 차이로서 잔여 비디오 블록의 생성을 포함함 ? ; 그리고
    상기 N-비트 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록 간의 차이로서 상기 잔여 비디오 블록의 생성을 포함함 ? ,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  40. 제 39항에 있어서,
    상기 디바이스는 무선 통신 핸드셋(handset)을 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 인코딩하는 디바이스.
  41. 비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스로서,
    상기 디바이스는:
    상기 비디오 데이터를 수신하는 무선 수신기; 및
    상기 비디오 데이터와 연관되는 기본 계층 및 확장 계층을 수신하고 ? 상기 기본 계층은 M 비트의 비트심도들로 상기 비디오 데이터를 정의하고 상기 확장 계층은 N 비트로의 상기 비트심도들의 확장을 정의하며, N은 M보다 큼 ? , 상기 기본 계층 및 상기 확장 계층을 디코딩하는 비트심도-기반의 스케일 가능한 비디오 디코더를 포함하며,
    상기 확장 계층에 대해, 상기 비디오 디코더는:
    N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었는지 여부를 결정하고, 그리고 상기 N-비트 확장 계층 비디오 블록이 인터-계층 예측을 이용하여 상기 기본 계층에 기초하여 코딩되었다고 결정한 경우:
    N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하는지 아니면 인터 기본 계층 블록에 대응하는지를 결정하고;
    상기 N-비트 잔여 확장 계층 비디오 블록이 인트라 기본 계층 블록에 대응하면, 제 1 인터-계층 예측 코딩 기법에 따라 상기 N-비트 잔여 확장 계층 비디오 블록을 디코딩하고 ? 상기 제 1 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 재구성되는 M-비트 기본 계층 비디오 블록의 업샘플링되는 N-비트 버전의 합으로서 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ; 그리고
    상기 N-비트 잔여 확장 계층 비디오 블록이 인터 기본 계층 블록에 대응하면, 상기 제 1 인터-계층 예측 코딩 기법 및 제 2 인터-계층 예측 코딩 기법 중에서 선택하는 ? 상기 제 2 인터-계층 예측 코딩 기법은 상기 N-비트 잔여 확장 계층 비디오 블록과, 대응하는 M-비트 기본 계층 비디오 블록과 관련되는 모션 벡터에 의해 식별되는 N-비트 예측 블록의 합으로서 상기 재구성되는 비디오 블록을 생성하는 것을 포함함 ? ,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
  42. 제 41항에 있어서,
    상기 디바이스는 무선 통신 핸드셋을 포함하는,
    비트심도-기반의 스케일 가능한 비디오 코딩(SVC) 방식에 따라 비디오 데이터를 디코딩하는 디바이스.
KR1020127013511A 2007-10-15 2008-10-15 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들 KR20120060921A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US97992107P 2007-10-15 2007-10-15
US60/979,921 2007-10-15
US12/251,174 US8432968B2 (en) 2007-10-15 2008-10-14 Scalable video coding techniques for scalable bitdepths
US12/251,174 2008-10-14
PCT/US2008/080030 WO2009052205A1 (en) 2007-10-15 2008-10-15 Scalable video coding techniques for scalable bitdepths

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107010757A Division KR101354053B1 (ko) 2007-10-15 2008-10-15 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들

Publications (1)

Publication Number Publication Date
KR20120060921A true KR20120060921A (ko) 2012-06-12

Family

ID=40534155

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107010757A KR101354053B1 (ko) 2007-10-15 2008-10-15 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들
KR1020127013511A KR20120060921A (ko) 2007-10-15 2008-10-15 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107010757A KR101354053B1 (ko) 2007-10-15 2008-10-15 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들

Country Status (7)

Country Link
US (1) US8432968B2 (ko)
EP (1) EP2213100A1 (ko)
JP (2) JP5661465B2 (ko)
KR (2) KR101354053B1 (ko)
CN (1) CN101828399B (ko)
TW (1) TW200934252A (ko)
WO (1) WO2009052205A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2014030920A1 (ko) * 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
WO2015147427A1 (ko) * 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10178392B2 (en) 2013-12-24 2019-01-08 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8184693B2 (en) * 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
US8995525B2 (en) 2008-04-16 2015-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bit-depth scalability
JP5564853B2 (ja) * 2009-08-14 2014-08-06 ソニー株式会社 受信装置および方法、プログラム、並びに受信システム
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
US8885714B2 (en) * 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US8559512B2 (en) * 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
US20120014447A1 (en) * 2010-07-16 2012-01-19 Sharp Laboratories Of America, Inc. System for low resolution power reduction with high resolution deblocking
US9313523B2 (en) * 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US20120257675A1 (en) * 2011-04-11 2012-10-11 Vixs Systems, Inc. Scalable video codec encoder device and methods thereof
WO2012173449A2 (ko) * 2011-06-17 2012-12-20 한국전자통신연구원 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치
US9445093B2 (en) * 2011-06-29 2016-09-13 Qualcomm Incorporated Multiple zone scanning order for video coding
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
WO2013067436A1 (en) 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
JP5871628B2 (ja) 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
EP2777252B1 (en) 2011-11-09 2016-02-10 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-layer prediction between layers of different dynamic sample value range
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
EP2859724B1 (en) * 2012-06-22 2019-09-04 MediaTek Inc. Method and apparatus of adaptive intra prediction for inter-layer coding
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
WO2014011595A1 (en) 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
CN104620281B (zh) * 2012-09-12 2018-08-14 皇家飞利浦有限公司 使hdr观看为内容所有者同意的过程
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
GB2506853B (en) * 2012-09-28 2015-03-18 Canon Kk Method and apparatus for encoding an image into a video bitstream and decoding corresponding video bitstream
EP2901692A4 (en) * 2012-09-28 2016-04-13 Intel Corp PREDICTING SAMPLES OF INTERLAYER PIXELS
CA2871828C (en) * 2012-09-28 2015-09-15 Sony Corporation Image processing device
US9380307B2 (en) 2012-11-19 2016-06-28 Qualcomm Incorporated Method and system for intra base layer (BL) transform in video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US9979985B2 (en) * 2012-12-13 2018-05-22 Saturn Licensing Llc Transmission device, transmitting method, reception device, and receiving method
US20140169467A1 (en) * 2012-12-14 2014-06-19 Ce Wang Video coding including shared motion estimation between multple independent coding streams
US9414058B2 (en) * 2012-12-25 2016-08-09 Mediatek Inc. Video processing apparatus capable of generating output video pictures/sequence with color depth different from color depth of encoded video bitstream
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
CN105165011A (zh) * 2013-02-25 2015-12-16 三星电子株式会社 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
US9473779B2 (en) 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US20150010083A1 (en) * 2013-07-08 2015-01-08 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
CA2942287C (en) 2014-05-09 2019-01-15 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
FR3030975B1 (fr) * 2014-12-19 2018-03-09 Orange Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes
EP3301925A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method for local inter-layer prediction intra based
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
IL291768A (en) * 2019-10-03 2022-06-01 Huawei Tech Co Ltd Encoding process for geometric division mode
US11140445B1 (en) 2020-06-03 2021-10-05 Western Digital Technologies, Inc. Storage system and method for storing scalable video
CN112862073B (zh) * 2021-02-03 2022-11-18 北京大学 一种压缩数据分析方法、装置、存储介质及终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2006042611A1 (de) 2004-10-15 2006-04-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz unter verwendung einer zwischen-schicht-bewegungsdaten-prädiktion
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
AU2006201490B2 (en) 2005-04-19 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for adaptively selecting context model for entropy coding
US7894523B2 (en) * 2005-09-05 2011-02-22 Lg Electronics Inc. Method for modeling coding information of a video signal for compressing/decompressing coding information
CN100594735C (zh) * 2006-03-28 2010-03-17 联詠科技股份有限公司 图像处理装置及其选择图像递色的方法
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
EP1871113A1 (en) 2006-06-20 2007-12-26 THOMSON Licensing Method and apparatus for encoding video enhancement layer with multiresolution color scalability
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
CN100393099C (zh) * 2006-08-31 2008-06-04 北京北大方正电子有限公司 调频调幅混合网点层次连续调控制方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2014030920A1 (ko) * 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
US10178392B2 (en) 2013-12-24 2019-01-08 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
US10187641B2 (en) 2013-12-24 2019-01-22 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
WO2015147427A1 (ko) * 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10602161B2 (en) 2014-03-24 2020-03-24 Kt Corporation Multilayer video signal encoding/decoding method and device
US10708606B2 (en) 2014-03-24 2020-07-07 Kt Corporation Multilayer video signal encoding/decoding method and device

Also Published As

Publication number Publication date
JP2011501571A (ja) 2011-01-06
KR20100074283A (ko) 2010-07-01
JP5661465B2 (ja) 2015-01-28
JP5795416B2 (ja) 2015-10-14
TW200934252A (en) 2009-08-01
KR101354053B1 (ko) 2014-01-27
CN101828399B (zh) 2013-06-26
CN101828399A (zh) 2010-09-08
JP2015039182A (ja) 2015-02-26
US8432968B2 (en) 2013-04-30
EP2213100A1 (en) 2010-08-04
US20090097558A1 (en) 2009-04-16
WO2009052205A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
KR101354053B1 (ko) 스케일 가능한 비트심도들을 위한 스케일 가능한 비디오 코딩 기법들
KR101247452B1 (ko) 정제 계수 코딩을 위한 비디오 블록 형식에 기초한 가변 길이 코딩 테이블 선택
CA2677973C (en) Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
CA2701200C (en) Adaptive coding of video block header information
CA2673875C (en) Variable length coding table selection based on block type statistics for refinement coefficient coding
DK2681914T3 (en) QUANTIZED Pulse code modulation in video encoding
CA2666055C (en) Refinement coefficient coding based on history of corresponding transform coefficient values
RU2497303C2 (ru) Видео кодирование с использованием преобразования больше чем 4×4 и 8×8
WO2016123232A1 (en) Clipping for cross-component prediction and adaptive color transform for video coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application