KR20170072201A - Hrd 디스크립터 및 hevc 확장판들의 캐리지를 위한 데이터 스트림들의 버퍼 모델의 설계 - Google Patents

Hrd 디스크립터 및 hevc 확장판들의 캐리지를 위한 데이터 스트림들의 버퍼 모델의 설계 Download PDF

Info

Publication number
KR20170072201A
KR20170072201A KR1020177010142A KR20177010142A KR20170072201A KR 20170072201 A KR20170072201 A KR 20170072201A KR 1020177010142 A KR1020177010142 A KR 1020177010142A KR 20177010142 A KR20177010142 A KR 20177010142A KR 20170072201 A KR20170072201 A KR 20170072201A
Authority
KR
South Korea
Prior art keywords
hrd
stream
parameter
parameters
index
Prior art date
Application number
KR1020177010142A
Other languages
English (en)
Other versions
KR102383621B1 (ko
Inventor
프누 헨드리
예-쿠이 왕
아다르쉬 크리쉬난 라마수브라모니안
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170072201A publication Critical patent/KR20170072201A/ko
Application granted granted Critical
Publication of KR102383621B1 publication Critical patent/KR102383621B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H04L65/4069—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronizing For Television (AREA)

Abstract

비디오 프로세싱 디바이스는 복수의 기본 스트림들 및 고효율 비디오 코딩 (HEVC) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 포함한다. HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함한다. 비디오 프로세싱 디바이스는 파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서의 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별할 수도 있다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함할 수도 있다. 비디오 프로세싱 디바이스는 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 특정의 기본 스트림에 적용가능한 것으로서 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별할 수도 있다.

Description

HRD 디스크립터 및 HEVC 확장판들의 캐리지를 위한 데이터 스트림들의 버퍼 모델의 설계{DESIGN OF HRD DESCRIPTOR AND BUFFER MODEL OF DATA STREAMS FOR CARRIAGE OF HEVC EXTENSIONS}
본 출원은 2014년 10월 15일에 출원된 미국 가특허 출원번호 제 62/064,414호의 이익을 주장하며, 이의 전체 내용이 참고로 포함된다.
기술 분야
본 개시물은 비디오 인코딩 및 디코딩에 관한 것이다.
디지털 비디오 능력들은, 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기들 (PDA들), 랩탑 또는 데스크탑 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트폰들", 원격 화상회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding), HEVC (High Efficiency Video Coding) 표준, 및 이런 표준들의 확장판들에 의해 정의된 표준들에서 설명되는 비디오 코딩 기법들과 같은, 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 이런 비디오 압축 기법들을 구현함으로써, 디지털 비디오 정보를 좀더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재하는 리던던시를 감소시키거나 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 수행한다. 블록-기반 비디오 코딩에 있어, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티셔닝될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 픽처들은 "프레임들" 로서 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩될 원래 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터에 따라서 인코딩되며, 잔차 데이터는 코딩된 블록과 예측 블록 사이의 차이를 나타낸다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라서 인코딩된다. 추가적인 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환될 수도 있으며, 그 결과 잔차 계수들이 되고, 그후 양자화될 수도 있다.
일반적으로, 본 개시물은 가상 참조 디코더 (HRD) 관련된 정보를 시그널링하는 디스크립터의 설계 및 HEVC 확장판들의 캐리지를 위한 MPEG-2 전송 스트림 (TS) 의 버퍼 모델의 설계에 관한 것이다. 앞에서 설명한 바와 같이, 비디오 프로세싱 디바이스는 동화상 전문가 그룹 (MPEG)-2 데이터 스트림에서 기본 스트림에 적용가능한 HRD 파라미터들의 세트를 결정할 수도 있다.
일 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 방법을 기술하며, 본 방법은, 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 단계로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 획득하는 단계; 파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 단계로서, 상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하는 단계; 및 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 단계로서, 복수의 기본 스트림들은 특정의 기본 스트림을 포함하는, 상기 신택스 구조를 식별하는 단계를 포함한다.
다른 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 방법을 기술하며, 본 방법은 신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 단계로서, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 포함하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키는 단계; 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 발생시키는 단계; 및 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 단계로서, 파라미터들의 세트는 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키는 단계를 포함한다.
다른 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 디바이스를 기술하며, 상기 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 하나 이상의 프로세서들을 포함하며, 상기 하나 이상의 프로세서들은, 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 것으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하며, 상기 기본 스트림들은 비디오 데이터의 인코딩된 표현들을 포함하는, 상기 데이터 스트림을 획득하고; 파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 것으로서, 상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하고; 그리고, 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 것으로서, 상기 복수의 기본 스트림들은 특정의 기본 스트림을 포함하는, 상기 신택스 구조를 식별하도록 구성된다.
다른 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 디바이스를 기술하며, 상기 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 하나 이상의 프로세서들을 포함하며, 상기 하나 이상의 프로세서들은, 신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 것으로서, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 포함하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키며; 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 발생시키고; 그리고 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 것으로서, 상기 복수의 기본 스트림들은 비디오 데이터의 인코딩된 표현을 포함하며, 파라미터들의 세트는 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키도록 구성된다.
다른 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 디바이스를 기술하며, 상기 디바이스는, 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 수단으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 데이터 스트림을 획득하는 수단; 파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 수단으로서, 상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하는 수단; 및 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 수단으로서, 복수의 기본 스트림들은 특정의 기본 스트림을 포함하는, 상기 신택스 구조를 식별하는 수단을 포함한다.
다른 양태에서, 본 개시물은 비디오 데이터를 프로세싱하는 디바이스를 기술하며, 상기 디바이스는, 신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 수단으로서, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 포함하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키는 수단; 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 발생시키는 수단; 및 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 수단으로서, 파라미터들의 세트는 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키는 수단을 포함한다.
다른 양태에서, 본 개시물은 명령들을 저장하고 있는 컴퓨터-판독가능 저장 매체를 기술하며, 상기 명령들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금, 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하게 하는으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 데이터 스트림을 획득하게 하며; 파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하게 하는 것으로서, 상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하게 하며; 그리고 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하게 하는 것으로서, 복수의 기본 스트림들은 특정의 기본 스트림을 포함하는, 상기 신택스 구조를 식별하도록 한다.
다른 양태에서, 본 개시물은 명령들을 저장하고 있는 컴퓨터-판독가능 저장 매체를 기술하며, 상기 명령들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금, 신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키게 하는 것으로서, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고 상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 포함하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키게 하고; 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 발생시키게 하고; 그리고 복수의 기본 스트림들 및 HEVC (High Efficiency Video Coding) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키게 하는 것으로서, 파라미터들의 세트는 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키도록 한다.
본 개시물의 하나 이상의 예들의 세부 사항들은 첨부도면 및 아래의 설명에서 개시된다. 다른 특징들, 목적들, 및 이점들은 상세한 설명, 도면들, 및 청구범위로부터 명백할 것이다.
도 1 은 본 개시물에서 설명하는 기법들을 활용할 수도 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 2 는 비트스트림-파티션-특정의 코딩된 픽처 버퍼 (CPB) 동작을 위한 전송 시스템 목표 디코더 (T-STD) 모델 확장판들을 예시하는 개념도이다.
도 3 은 본 개시물에서 설명하는 기법들을 구현할 수도 있는 예시적인 비디오 인코더를 예시하는 블록도이다.
도 4 는 본 개시물에서 설명하는 기법들을 구현할 수도 있는 예시적인 비디오 디코더를 예시하는 블록도이다.
도 5 는 본 개시물의 기법에 따른, 비디오 인코더의 예시적인 동작을 예시하는 플로우차트이다.
도 6 은 본 개시물의 기법에 따른, 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다.
도 7 은 본 개시물의 기법에 따른, 파라미터의 값을 결정하는 비디오 코더의 예시적인 동작을 예시하는 플로우차트이다.
특정의 비디오 코딩 표준들은 가상 참조 디코더 (HRD) 로서 지칭될 수도 있는, 버퍼링 모델을 규정한다. HRD 는 데이터가 디코딩을 위해 버퍼링되는 방법 및 디코딩된 데이터가 출력을 위해 버퍼링되는 방법을 기술한다. 예를 들어, HRD 는 코딩된 픽처 버퍼 ("CPB"), 디코딩된 픽처 버퍼 ("DPB"), 및 비디오 디코딩 프로세스의 동작을 기술한다. CPB 는 액세스 유닛들을 HRD 에 의해 규정된 디코딩 순서로 포함하는 선입선출 버퍼이다. DPB 는 디코딩된 픽처들을 HRD 에 의해 규정된 바와 같이 참조, 출력 재순서정렬, 또는 출력 지연을 위해 보유하는 (예컨대, 저장하는) 버퍼이다. CPB 및 DPB 의 거동들은 수학적으로 규정될 수도 있다. HRD 는 타이밍, 버퍼 사이즈들, 및 비트 레이트들에 관한 제약들을 직접 가할 수도 있다. 더욱이, HRD 는 여러 비트스트림 특성들 및 통계치들에 관한 제약들을 간접적으로 가할 수도 있다. HRD 가 어떤 종류의 디코더로서 불려지더라도, 비디오 인코더들은 일반적으로 비트스트림 순응성을 보장하기 위해 HRD 를 사용하며, 한편 비디오 디코더들은 일반적으로 HRD 를 필요로 하지 않는다. 다시 말해서, HRD 는 비트스트림들을 테스트하는데 일반적으로 사용된다. HEVC (High Efficiency Video Coding) 에서, 비디오 파라미터 세트 (VPS) 는 HRD 파라미터들 신택스 구조들의 세트를 포함한다. HRD 파라미터들 신택스 구조들의 각각은 HRD 의 동작을 제어하기 위한 HRD 파라미터들을 포함한다.
스케일러블 HEVC (SHVC) 및 멀티-뷰 HEVC (MV-HEVC) 는 스케일러블 비디오 코딩 및 멀티-뷰 비디오 코딩에 대한 HEVC 의 확장판들이다. SHVC 및 MV-HEVC 에서, 비트스트림은 복수의 계층들을 포함할 수도 있다. 따라서, SHVC 및 MV-HEVC 는 "계층화된 HEVC" 또는 "L-HEVC" 로서 일괄하여 지칭될 수도 있다. SHVC 에서, 기초 계층 및 하나 이상의 향상 계층들이 존재한다. 향상 계층들은 비트스트림으로 인코딩된 비디오 데이터의 시각적 품질 및/또는 프레임 레이트를 증가시킬 수도 있다. MV-HEVC 에서, 각각의 계층은 상이한 뷰에 대응할 수도 있다. 각각의 계층은 상이한 계층 식별자 (예컨대, nuh_layer_id) 와 연관될 수도 있다. SHVC 및 MV-HEVC 에서, 비트스트림의 계층들은 파티셔닝 방식에 따라서 "파티션들" 로 분할될 수도 있다. 따라서, 각각의 파티션은 비트스트림의 하나 이상의 계층들을 포함할 수도 있다. 더욱이, SHVC 및 MV-HEVC 에서, 각각의 파티션은 VPS 에서의 HRD 파라미터들 신택스 구조들 중 하나를 지칭할 수도 있다. 따라서, 파티션에 대한 HRD 파라미터들 신택스 구조에 의해 포함되는 HRD 파라미터들은 파티션을 테스트하기 위해 HRD 를 이용할 때 HRD 의 동작을 제어할 수도 있다.
더욱이, 계층 내 일부 픽처들은 동일한 계층 내 다른 픽처들에 대한 참조 없이 디코딩될 수도 있다. 따라서, 계층의 어떤 픽처들의 데이터를 캡슐화하는 네트워크 추상화 계층 (NAL) 유닛들은 그 계층에서의 다른 픽처들의 디코딩성 (decodability) 에 영향을 미침이 없이 비트스트림으로부터 제거될 수도 있다. 이러한 픽처들의 데이터를 캡슐화하는 NAL 유닛들을 제거하는 것은 비트스트림의 프레임 레이트를 감소시킬 수도 있다. 계층 내 다른 픽처들에 대한 참조 없이 디코딩될 수도 있는 계층 내 픽처들의 서브세트는 본원에서 "서브-계층" 또는 "시간 서브-계층" 으로서 지칭될 수도 있다. NAL 유닛들은 temporal_id 신택스 엘리먼트들을 포함할 수도 있다. NAL 유닛의 temporal_id 신택스 엘리먼트는 NAL 유닛의 시간 식별자를 규정한다. NAL 유닛의 시간 식별자는 그 NAL 유닛이 연관되는 서브-계층을 식별한다. 따라서, 비트스트림의 각각의 서브-계층은 상이한 시간 식별자와 연관될 수도 있다. 제 1 NAL 유닛의 시간 식별자가 제 2 NAL 유닛의 시간 식별자 미만이면, 제 1 NAL 유닛에 의해 캡슐화된 데이터는 제 2 NAL 유닛에 의해 캡슐화된 데이터에 대한 참조없이 디코딩될 수도 있다.
용어 "HEVC 서브-파티션" 은 HEVC 베이스 서브-파티션 또는 HEVC 향상 서브-파티션을 지칭한다. 용어 "HEVC 베이스 서브-파티션" 은 HEVC 표준을 따르며, 목표 HEVC 동작 지점의 목표 계층 식별자 리스트가 0 과 동일한 nuh_layer_id 값을 포함하는 목표 HEVC 동작 지점에 의해 식별되는 목표 최고 TemporalId 까지 하나 이상의 계층들의 모든 비디오 코딩 계층 (VCL) NAL 유닛들을 포함하는 HEVC 비디오 서브-비트스트림이다. 서브-비트스트림 (예컨대, HEVC 비디오 서브-비트스트림) 은 목표 최고 TemporalId 및 목표 계층 식별자 리스트에 의해 결정된, 목표 세트에 속하지 않는 비트스트림에서의 NAL 유닛들이 비트스트림으로부터 제거되는 프로세스 (예컨대, 서브-비트스트림 추출 프로세스) 로부터 유래하는 비트스트림이며, 여기서, 출력 서브-비트스트림은 목표 세트에 속하는 비트스트림에서의 NAL 유닛들로 이루어진다. 용어 "HEVC 향상 서브-파티션" 은 이 비디오 서브-비트스트림에 포함된 최고 계층의 동작 지점의 계층 리스트 및 최고 TemporalId 에 따른, HEVC 베이스 서브-파티션 및 제로 이상의 다른 HEVC 서브-파티션들과의, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트의 HEVC 계층 집성이 유효한 HEVC 계층화된 비디오 스트림을 초래하는, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트를 지칭한다.
MPEG-2 시스템들 사양은 압축된 멀티미디어 (비디오 및 오디오) 데이터 스트림들이 디지털 송신 또는 스토리지에 적합한 단일 데이터 스트림을 형성하기 위해 다른 데이터와 함께 멀티플렉싱될 수 있는 방법을 기술한다. MPEG-2 시스템들 사양은 기본 스트림의 컨셉을 정의한다. 구체적으로 설명하면, 기본 스트림은 프로그램의 단일, 디지털 코딩된 (어쩌면 MPEG-압축된) 구성요소이다. 예를 들어, 프로그램의 인코딩된 비디오 또는 오디오 부분은 기본 스트림일 수 있다. 더욱이, HEVC 확장판들 (예컨대, L-HEVC) 의 캐리지를 위한 MPEG-2 시스템들 사양의 확장판에서, 각각의 개별 HEVC 서브-파티션은 MPEG-2 데이터 스트림에서의 개별 기본 스트림에 대응한다. VPS들을 포함하는 NAL 유닛들과 같은, L-HEVC 비디오 데이터의 비-비디오 코딩 계층 (VCL) 네트워크 추상화 계층 (NAL) 유닛들은 MPEG-2 데이터 스트림에서의 하나 이상의 기본 스트림들에 대응할 수도 있다.
MPEG-2 데이터 스트림은 또한 프로그램 또는 프로그램의 구성요소 기본 스트림에 관한 정보를 운반하는 디스크립터들의 세트를 포함할 수도 있다. 예를 들어, MPEG-2 데이터 스트림은 HEVC 서브-파티션에 대응하는 각각의 개별 기본 스트림에 대해 포함할 수도 있으며, MPEG-2 데이터 스트림은 HEVC 서브-파티션에 대한 계층구조 디스크립터를 포함할 수도 있다. HEVC 서브-파티션에 대한 계층구조 디스크립터는 코딩 계층 계층구조들의 테이블에서 HEVC 서브-파티션의 고유한 인덱스를 정의하는 계층구조 계층 인덱스를 포함할 수도 있다. 게다가, 디스크립터들의 세트는 HEVC 타이밍 및 HRD 디스크립터를 포함할 수도 있다. HEVC 타이밍 및 HRD 디스크립터는 적용가능한 타이밍 및 HRD 파라미터들을 제공할 수도 있다.
그러나, HEVC 확장판들의 캐리지를 위한 HEVC 표준 또는 MPEG-2 시스템들 사양에서는, 어느 HRD 파라미터들 신택스 구조가 어느 HEVC 서브-파티션에 적용가능한지가 분명하지 않다. 다시 말해서, HEVC 서브-파티션을 테스트하기 위해 HRD 를 이용할 때 어느 HRD 파라미터들 신택스 구조를 이용할지를 결정하는 방법이 규정되어 있지 않다. HEVC 비트스트림에서, HRD 정보가 존재할 때, 하나 이상의 HRD 세트들이 존재할 수 있기 때문에, 어느 HRD 파라미터들 신택스 구조가 서브-파티션에 적용가능한지를 결정하는 것이, 유용할 수도 있다. 더욱이, HRD 세트들의 각각이 MPEG-2 버퍼 모델에 요구되는 정보를 포함할 수도 있기 때문에, 어느 HRD 파라미터들 신택스 구조가 서브-파티션에 적용가능한지를 결정하는 것이 바람직할 수도 있다.
본 개시물은 HEVC 서브-파티션들에 대한 적용가능한 HRD 파라미터들 신택스 구조들을 결정하는 기법들을 기술한다. 예를 들어, 본원에서 설명되는 바와 같이, 비디오 디코더는 복수의 기본 스트림들 및 HEVC 타이밍 및 HRD 디스크립터를 포함하는 MPEG-2 데이터 스트림을 수신할 수도 있다. 기본 스트림들은 비디오 데이터의 인코딩된 표현들을 포함할 수도 있다. 이 예에서, HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함한다. 더욱이, 비디오 디코더는 파라미터들의 세트에 기초하여, VPS 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별할 수도 있다. 이 예에서, VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함한다. 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함한다. 더욱이, 이 예에서, 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들 중에서 HRD 파라미터들 신택스 구조와 연관된 인덱스를 규정한다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 갖는 파라미터를 포함할 수도 있다.
더욱이, 일부 예들에서, 파라미터들의 세트는 제 1, 제 2, 제 3, 제 4, 및 제 5 파라미터를 포함할 수도 있다. 제 1 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정한다. 제 2 파라미터는 동작 지점의 목표 파티셔닝 방식 인덱스를 규정한다. 제 3 파라미터는 동작 지점의 최고 시간 식별자를 규정한다. 비디오 디코더는 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별할 수도 있으며, 복수의 기본 스트림들은 특정의 기본 스트림을 포함한다.
도 1 은 본 개시물의 기법들을 이용할 수도 있는 예시적인 비디오 코딩 시스템 (10) 을 예시하는 블록도이다. 본원에서 사용될 때, 용어 "비디오 코더" 는 비디오 인코더들 및 비디오 디코더들 양쪽을 포괄적으로 지칭한다. 본 개시물에서, 용어들 "비디오 코딩" 또는 "코딩" 은 비디오 인코딩 또는 비디오 디코딩을 포괄적으로 지칭할 수도 있다.
도 1 에 나타낸 바와 같이, 비디오 코딩 시스템 (10) 은 소스 디바이스 (12) 및 목적지 디바이스 (14) 를 포함한다. 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 발생시킨다. 따라서, 소스 디바이스 (12) 는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치로서 지칭될 수도 있다. 목적지 디바이스 (14) 는 소스 디바이스 (12) 에 의해 발생된 인코딩된 비디오 데이터를 디코딩할 수도 있다. 따라서, 목적지 디바이스 (14) 는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치로서 지칭될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수도 있다. 본 개시물은 비디오 데이터를 프로세싱하는 디바이스를 지칭하기 위해 "비디오 프로세싱 디바이스" 를 사용한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 비디오 프로세싱 디바이스의 예들이다. 다른 유형들의 비디오 프로세싱 디바이스들은 MPEG-2 데이터 스트림들과 같은, 미디어 데이터를 멀티플렉싱하고 디멀티플렉싱하는 디바이스들을 포함한다.
소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 모바일 컴퓨팅 디바이스들, 노트북 (예컨대, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋-탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 자동차용 컴퓨터들, 또는 기타 등등을 포함한, 광범위한 디바이스들을 포함할 수도 있다.
목적지 디바이스 (14) 는 소스 디바이스 (12) 로부터 채널 (16) 을 통해서 인코딩된 비디오 데이터를 수신할 수도 있다. 채널 (16) 은 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시키는 것이 가능한 하나 이상의 매체들 또는 디바이스들을 포함할 수도 있다. 일 예에서, 채널 (16) 은 소스 디바이스 (12) 로 하여금, 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 로 실시간으로 송신가능하게 하는 하나 이상의 통신 매체들을 포함할 수도 있다. 이 예에서, 소스 디바이스 (12) 는 무선 통신 프로토콜과 같은 통신 표준에 따라서, 인코딩된 비디오 데이터를 변조할 수도 있으며, 변조된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수도 있다. 하나 이상의 통신 매체들은 무선 및/또는 유선 통신 매체들, 예컨대 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들을 포함할 수도 있다. 하나 이상의 통신 매체들은 근거리 네트워크, 광역 네트워크, 또는 글로벌 네트워크 (예컨대, 인터넷) 와 같은, 패킷-기반 네트워크의 일부를 형성할 수도 있다. 하나 이상의 통신 매체들은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 다른 장비를 포함할 수도 있다.
또 다른 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 발생되는 인코딩된 비디오 데이터를 저장하는 저장 매체를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는 저장 매체에, 예컨대, 디스크 액세스 또는 카드 액세스를 통해서, 액세스할 수도 있다. 저장 매체는 Blu-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 다른 적합한 디지털 저장 매체들과 같은 다양한 로컬-액세스되는 데이터 저장 매체들을 포함할 수도 있다.
추가 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 발생된 인코딩된 비디오 데이터를 저장하는 파일 서버 또는 다른 중간 저장 디바이스를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해서 파일 서버 또는 다른 중간 저장 디바이스에 저장된 인코딩된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신가능한 서버의 형태일 수도 있다. 예시적인 파일 서버들은 (예컨대, 웹사이트용) 웹 서버들, 파일 전송 프로토콜 (FTP) 서버들, NAS (network attached storage) 디바이스들, 및 로컬 디스크 드라이브들을 포함한다.
목적지 디바이스 (14) 는 인코딩된 비디오 데이터에 인터넷 접속과 같은 표준 데이터 접속을 통해서 액세스할 수도 있다. 데이터 접속들의 예시적인 유형들은 무선 채널들 (예컨대, Wi-Fi 접속들), 유선 접속들 (예컨대, DSL, 케이블 모뎀, 등), 또는 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한 양쪽의 조합들을 포함할 수도 있다. 파일 서버로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이 양쪽의 조합일 수도 있다.
본 개시물의 기법들은 무선 애플리케이션들 또는 설정들에 한정되지 않는다. 이 기법들은 오버-디-에어 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예컨대, 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상의 저장을 위한 비디오 데이터의 인코딩, 데이터 저장 매체 상에 저장된 비디오 데이터의 디코딩, 또는 다른 애플리케이션들과 같은, 다양한 멀티미디어 애플리케이션들의 지원 하에서, 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 비디오 코딩 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화 통신과 같은, 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 에 예시된 비디오 코딩 시스템 (10) 은 단지 일 예이며, 본 개시물의 기법들은 인코딩 디바이스와 디코딩 디바이스 사이의 임의의 데이터 통신을 반드시 포함하지는 않는 비디오 코딩 설정들 (예컨대, 비디오 인코딩 또는 비디오 디코딩) 에 적용할 수도 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 취출되어, 네트워크 등을 통해서 스트리밍된다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수도 있거나, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 취출하여 디코딩할 수도 있다. 많은 예들에서, 인코딩 및 디코딩은 서로 통신하지 않지만 간단히 데이터를 메모리로 인코딩하거나 및/또는 메모리로부터 데이터를 취출하여 디코딩하는 디바이스들에 의해 수행된다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 예들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 비디오 소스 (18) 는 비디오 캡쳐 디바이스, 예컨대, 비디오 카메라, 이전에-캡쳐된 비디오 데이터를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하는 비디오 공급 인터페이스, 및/또는 비디오 데이터를 발생하기 위한 컴퓨터 그래픽스 시스템, 또는 이런 비디오 데이터의 소스들의 조합을 포함할 수도 있다.
비디오 인코더 (20) 는 비디오 소스 (18) 로부터의 비디오 데이터를 인코딩할 수도 있다. 일부 예들에서, 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 출력 인터페이스 (22) 를 통해서 목적지 디바이스 (14) 로 직접 송신한다. 다른 예들에서, 인코딩된 비디오 데이터는 또한 디코딩 및/또는 플레이백을 위해 목적지 디바이스 (14) 에 의한 추후 액세스를 위해 저장 매체 또는 파일 서버 상으로 저장될 수도 있다.
도 1 의 예에서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 예들에서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함한다. 입력 인터페이스 (28) 는 인코딩된 비디오 데이터를 채널 (16) 을 통해서 수신할 수도 있다. 디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 또는 그 외부에 있을 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 디스플레이한다. 디스플레이 디바이스 (32) 는 다양한 디스플레이 디바이스들, 예컨대 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 또 다른 유형의 디스플레이 디바이스를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드-프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 하드웨어, 또는 임의의 이들의 조합들과 같은, 다양한 적합한 회로 중 임의의 회로로서 구현될 수도 있다. 기법들이 소프트웨어로 부분적으로 구현되면, 디바이스는 소프트웨어용 명령들을 적합한 비일시성 컴퓨터-판독가능 저장 매체에 저장할 수도 있으며, 본 개시물의 기법들을 수행하기 위해 그 명령들을 하드웨어에서 하나 이상의 프로세서들을 이용하여 실행할 수도 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함한) 전술한 것 중 임의의 것이 하나 이상의 프로세서들로 간주될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 개별 디바이스에서 결합된 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있다.
본 개시물은 일반적으로 어떤 정보를 비디오 디코더 (30) 와 같은 또 다른 디바이스로 "시그널링하는" 또는 "송신하는" 비디오 인코더 (20) 를 참조할 수도 있다. 용어 "시그널링하는 것" 또는 "송신하는 것" 은 일반적으로, 압축된 비디오 데이터를 디코딩하는데 사용되는 신택스 엘리먼트들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 이런 통신은 실시간 또는 거의-실시간으로 일어날 수도 있다. 대안적으로, 이런 통신은 어떤 기간에 걸쳐서 일어날 수도 있으며, 예컨대 인코딩 시에 신택스 엘리먼트들을 컴퓨터-판독가능 저장 매체에 인코딩된 비트스트림으로 저장할 때에 발생할지도 모르며, 이 신택스 엘리먼트들은 그후 이 매체에 저장되어진 후 언제라도 디코딩 디바이스에 의해 취출될 수도 있다.
본 개시물에서 설명하는 기법들은 특정의 비디오 코딩 표준에 관련되지 않는 비디오 코딩 기법들을 포함한, 여러 비디오 코딩 표준들과 함께 사용가능할 수도 있다. 비디오 코딩 표준들의 예들은 ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual 및 그의 스케일러블 비디오 코딩 (SVC) 및 멀티뷰 비디오 코딩 (MVC) 확장판들을 포함한, (또한, ISO/IEC MPEG-4 AVC 로서 알려진) ITU-T H.264 를 포함한다. 일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 위에서 언급된 HEVC 표준과 같은, 비디오 압축 표준에 따라서 동작한다. 기본 HEVC 표준에 더해서, HEVC 에 대한 스케일러블 비디오 코딩, 멀티-뷰 비디오 코딩, 및 3D 코딩 확장판들을 만들어 내려는 진행중인 노력들이 있다. 최근, 고-효율 비디오 코딩 (HEVC) 으로 불리는, 새로운 비디오 코딩 표준, MV-HEVC 로 불리는, HEVC 에 대한 멀티-뷰 확장판, 및 SHVC 로 불리는, HEVC 에 대한 스케일러블 확장판의 설계가 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 와 ISO/IEC 동화상 전문가 그룹 (MPEG) 의 비디오 코딩에 관한 합동 연구팀 (JCT-VC) 에 의해 완결되었다. HEVC 표준은 또한 권고안 ITU-T H.265 | ISO/IEC 23008-2 로서 지칭될 수도 있다.
2014년 6월 30일 - 7월 9일, 일본, 사뽀로, ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 JCT-VC 18차 회의에서의, "Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions" 란 표제로 된 HEVC 초안 사양 (JCTVC-R1013_v6) (이하에서 "JCTVC-R1013" 또는 "권고안 ITU-T H.265 | ISO/IEC 23008-2" 로서 지칭됨) 은 http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip 으로부터 입수가능하다. MV-HEVC 는 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 G 로서 통합된다. SHVC 는 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 H 로서 통합된다.
"MV-HEVC Draft Text 9" 로서 지칭될 수도 있는, 2014년 7월 3일 - 9일, 일본, 사뽀로, ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 3D 비디오 코딩 확장판들에 관한 합동 작업팀 9차 회의에서의, "MV-HEVC Draft Text 9" 란 표제로 된 MV-HEVC 초안 사양 (JCT3V-I1002-v7) 은, http://phenix.int-evry.fr/jct3v/doc_end_user/documents/9_Sapporo/wg11/JCT3V-I1002-v7.zip 으로부터 입수가능하다.
"SHVC Draft Text 7" 로서 지칭될 수도 있는, 2014년 6월 30일 - 7월 9일, 일본, 사뽀로, ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 JCT-VC 18차 회의에서의, "High efficiency video coding (HEVC) scalable extension Draft 7" 란 표제로 된 SHVC 초안 사양 (JCTVC-R1008v7) 은, http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1008-v7.zip 으로부터 입수가능하다.
HEVC 및 다른 비디오 코딩 표준들에서, 비디오 시퀀스는 일반적으로 일련의 픽처들을 포함한다. 픽처들은 또한 "프레임들" 로서 지칭될 수도 있다. 픽처는 하나 이상의 샘플 어레이들을 포함할 수도 있다. 예를 들어, 픽처는 SL, SCb 및 SCr 로 표기되는, 3개의 샘플 어레이들을 포함할 수도 있다. SL 은 루마 샘플들의 2차원 어레이 (즉, 블록) 이다. SCb 는 Cb 색차 샘플들의 2차원 어레이이다. SCr 은 Cr 색차 샘플들의 2차원 어레이이다. 색차 샘플들은 또한 본원에서 "크로마" 샘플들로서 지칭될 수도 있다. 다른 경우, 픽처는 단색일 수도 있으며 단지 루마 샘플들의 어레이를 포함할 수도 있다.
픽처의 인코딩된 표현을 발생시키기 위해, 비디오 인코더 (20) 는 코딩 트리 유닛들 (CTU들) 의 세트를 발생시킬 수도 있다. CTU들의 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2개의 대응하는 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 사용되는 신택스 구조들일 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 또한 "트리 블록" 또는 "최대 코딩 유닛" (LCU) 으로서 지칭될 수도 있다. HEVC 의 CTU들은 H.264/AVC 와 같은, 다른 표준들의 매크로블록들과 대략 유사할 수도 있다. 그러나, CTU 는 특정의 사이즈에 반드시 제한되지 않으며, 하나 이상의 코딩 유닛들 (CU들) 을 포함할 수도 있다. 슬라이스는 래스터 스캐닝 순서와 같은, 스캐닝 순서로 연속적으로 순서화된 정수의 CTU들을 포함할 수도 있다.
코딩된 CTU 를 발생하기 위해, 비디오 인코더 (20) 는 코딩 트리 블록들을 코딩 블록들, 따라서 이름 "코딩 트리 유닛들" 로 분할하기 위해 CTU 의 코딩 트리 블록들에 관해 쿼드-트리 파티셔닝을 회귀적으로 수행할 수도 있다. 코딩 블록은 샘플들의 NxN 블록이다. CU 는 루마 샘플 어레이, Cb 샘플 어레이 및 Cr 샘플 어레이를 갖는 픽처의 루마 샘플들의 코딩 블록 및 크로마 샘플들의 2개의 대응하는 코딩 블록들, 및 코딩 블록들의 샘플들을 코딩하는데 사용되는 신택스 구조들일 수도 있다. 단색 픽처들 또는 3개의 별개의 칼라 평면들을 가지는 픽처들에서, CU 는 단일 코딩 블록 및 코딩 블록의 샘플들을 코딩하는데 사용되는 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 CU 의 코딩 블록을 하나 이상의 예측 블록들로 파티셔닝할 수도 있다. 예측 블록은 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록일 수도 있다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 픽처의 크로마 샘플들의 2개의 대응하는 예측 블록들, 및 예측 블록 샘플들을 예측하는데 사용되는 신택스 구조들일 수도 있다. 비디오 인코더 (20) 는 CU 의 각각의 PU 의 루마, Cb 및 Cr 예측 블록들에 대한 예측 루마, Cb 및 Cr 블록들을 발생시킬 수도 있다. 단색 픽처들 또는 3개의 별개의 칼라 평면들을 가지는 픽처들에서, PU 는 단일 예측 블록 및 예측 블록을 예측하는데 사용되는 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 PU 에 대한 예측 블록들을 발생시키기 위해 인트라 예측 또는 인터 예측을 이용할 수도 있다. 비디오 인코더 (20) 가 PU 의 예측 블록들을 발생시키기 위해 인트라 예측을 이용하면, 비디오 인코더 (20) 는 PU 와 연관되는 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 발생시킬 수도 있다.
비디오 인코더 (20) 가 PU 의 예측 블록들을 발생하기 위해 인터 예측을 이용하면, 비디오 인코더 (20) 는 PU 와 연관되는 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여, PU 의 예측 블록들을 발생시킬 수도 있다. 비디오 인코더 (20) 는 PU 의 예측 블록들을 발생시키기 위해 단방향-예측 또는 양방향-예측을 이용할 수도 있다. 비디오 인코더 (20) 가 PU 에 대한 예측 블록들을 발생시키기 위해 단방향-예측을 이용할 때, PU 는 단일 모션 벡터 (MV) 를 가질 수도 있다. 비디오 인코더 (20) 가 PU 에 대한 예측 블록들을 발생시키기 위해 양방향-예측을 이용할 때, PU 는 2개의 MV들을 가질 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 블록들 (예컨대, 예측 루마, Cb 및 Cr 블록들) 을 발생시킨 후, 비디오 인코더 (20) 는 CU 의 잔차 블록을 발생시킬 수도 있다. CU 의 잔차 블록에서의 각각의 샘플은 CU 의 PU 에 대한 예측 블록에서의 샘플과 CU 의 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낸다. 예를 들어, 비디오 인코더 (20) 는 CU 의 루마 잔차 블록을 발생시킬 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 PU 의 예측 루마 블록에서의 루마 샘플과 CU 의 루마 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낸다. 게다가, 비디오 인코더 (20) 는 CU 의 Cb 잔차 블록을 발생시킬 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 PU 의 예측 Cb 블록에서의 Cb 샘플과 CU 의 Cb 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 또한 CU 의 Cr 잔차 블록을 발생시킬 수도 있다. CU 의 Cr 잔차 블록의 각각의 샘플은 CU 의 PU 에 대한 예측 Cr 블록에서의 Cr 샘플과 CU 의 Cr 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낼 수도 있다.
게다가, 비디오 인코더 (20) 는 쿼드-트리 파티셔닝을 이용하여, 잔차 블록들 (예컨대, 루마, Cb, 및 Cr 잔차 블록들) 을 하나 이상의 변환 블록들 (예컨대, 루마, Cb, 및 Cr 변환 블록들) 로 분해할 수도 있다. 변환 블록은 동일한 변환이 적용되는 샘플들의 직사각형의 블록일 수도 있다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하는데 사용되는 신택스 구조들일 수도 있다. 따라서, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관되는 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 는 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다. 단색 픽처들 또는 3개의 별개의 칼라 평면들을 가지는 픽처들에서, TU 는 단일 변환 블록 및 변환 블록의 샘플들을 변환하는데 사용되는 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 하나 이상의 변환들을 TU 에 대한 변환 블록에 적용하여, TU 에 대한 계수 블록을 발생시킬 수도 있다. 예를 들어, 비디오 인코더 (20) 는 하나 이상의 변환들을 TU 에 대한 루마 변환 블록에 적용하여, TU 에 대한 루마 계수 블록을 발생시킬 수도 있다. 비디오 인코더 (20) 는 하나 이상의 변환들을 TU 의 Cb 변환 블록에 적용하여, TU 에 대한 Cb 계수 블록을 발생시킬 수도 있다. 비디오 인코더 (20) 는 하나 이상의 변환들을 TU 의 Cr 변환 블록에 적용하여, TU 에 대한 Cr 계수 블록을 발생시킬 수도 있다. 계수 블록은 변환 계수들의 2차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다.
계수 블록 (예컨대, 루마 계수 블록, Cb 계수 블록, 또는 Cr 계수 블록) 을 발생시킨 후, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 양자화는 일반적으로 변환 계수들이 변환 계수들을 나타내는데 사용되는 데이터의 양을 가능한 한 감소시키도록 양자화되어 추가적인 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들에 관해 컨텍스트-적응 2진 산술 코딩 (CABAC) 을 수행할 수도 있다. 비디오 인코더 (20) 는 엔트로피-인코딩된 신택스 엘리먼트들을 비트스트림으로 출력할 수도 있다.
비디오 인코더 (20) 는 엔트로피-인코딩된 신택스 엘리먼트들을 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 코딩된 픽처들 및 연관되는 데이터의 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛들의 각각은 NAL 유닛 헤더를 포함하며, 미가공 바이트 시퀀스 페이로드 (RBSP; raw byte sequence payload) 를 캡슐화한다. NAL 유닛 헤더는 NAL 유닛 유형 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 규정된 NAL 유닛 유형 코드는 NAL 유닛의 형태를 나타낸다. RBSP 는 NAL 유닛 내에 캡슐화된 정수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부의 경우, RBSP 는 제로 비트들을 포함한다.
상이한 유형들의 NAL 유닛들이 상이한 유형들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 상이한 유형들의 NAL 유닛은 비디오 파라미터 세트들 (VPS들), 시퀀스 파라미터 세트들 (SPS들), 픽처 파라미터 세트들 (PPS들), 코딩된 슬라이스들, 보충 강화 정보 (SEI) 등에 대해 상이한 RBSP들을 캡슐화할 수도 있다. 예를 들어, NAL 유닛의 제 1 유형은 PPS 에 대한 RBSP 를 캡슐화할 수도 있으며, NAL 유닛의 제 2 유형은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있으며, NAL 유닛의 제 3 유형은 보충 강화 정보 (SEI) 에 대한 RBSP 를 캡슐화할 수도 있으며, 기타 등등을 캡슐화할 수도 있다. (파라미터 세트들 및 SEI 메시지들에 대한 RBSP들과는 반대로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 비디오 코딩 계층 (VCL) NAL 유닛들로서 지칭될 수도 있다. 예를 들어, JCTVC-R1013 는 용어 VCL NAL 유닛이 코딩된 슬라이스 세그먼트 NAL 유닛들 및 JCTVC-R1013 에서 VCL NAL 유닛들로서 분류되는 nal_unit_type 의 예약된 값들을 가지는 NAL 유닛들의 서브세트에 대한 공통 용어라고 정의한다. SEI 는 VCL NAL 유닛들로부터의 코딩된 픽처들의 샘플들을 디코딩하는데 필요하지 않은 정보를 포함한다.
도 1 의 예에서, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 발생되는 비트스트림을 수신한다. 게다가, 비디오 디코더 (30) 는 비트스트림을 파싱하여, 비트스트림으로부터 신택스 엘리먼트들을 획득할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 복원할 수도 있다. 비디오 데이터를 복원하는 프로세스는 일반적으로 비디오 인코더 (20) 에 의해 수행되는 프로세스와 반대일 수도 있다. 예를 들어, 비디오 디코더 (30) 는 현재의 CU 의 PU들에 대한 예측 블록들을 결정하기 위해 인트라 예측 또는 인터 예측을 이용할 수도 있다. 게다가, 비디오 디코더 (30) 는 현재의 CU 의 TU들에 대한 계수 블록들을 역양자화할 수도 있다. 비디오 디코더 (30) 는 계수 블록들에 관해 역변환들을 수행하여, 현재의 CU 의 TU들에 대한 변환 블록들을 복원할 수도 있다. 비디오 디코더 (30) 는 현재의 CU 의 PU들에 대한 예측 블록들의 샘플들을 현재의 CU 의 TU들에 대한 변환 블록들의 대응하는 샘플들에 가산함으로써, 현재의 CU 의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU 에 대해 코딩 블록들을 복원함으로써, 비디오 디코더 (30) 는 그 픽처를 복원할 수도 있다.
위에서 간략히 나타낸 바와 같이, NAL 유닛들은 비디오 파라미터 세트들 (VPS들), 시퀀스 파라미터 세트들 (SPS들), 픽처 파라미터 세트들 (PPS들) 에 대해 RBSP들을 캡슐화할 수도 있다. VPS 는 0개 이상의 전체 코딩된 비디오 시퀀스들 (CVS들) 에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조이다. SPS 는 또한 0개 이상의 전체 CVS들에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조이다. SPS 는 SPS 가 활성일 때 활성인 VPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다. 따라서, VPS 의 신택스 엘리먼트들은 일반적으로 SPS 의 신택스 엘리먼트들보다 더 많이 적용가능할 수도 있다. PPS 는 0개 이상의 코딩된 픽처들에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조이다. PPS 는 PPS 가 활성일 때 활성인 SPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다. 슬라이스의 슬라이스 헤더는 슬라이스가 코딩되고 있을 때 활성인 PPS 를 나타내는 신택스 엘리먼트를 포함할 수도 있다.
멀티-뷰 코딩에서, 상이한 뷰포인트들로부터의 동일한 장면의 다수의 뷰들이 존재할 수도 있다. 멀티-뷰 코딩의 상황에서, 용어 "액세스 유닛" 은 동일한 시간 인스턴스에 대응하는 픽처들의 세트를 지칭하기 위해 사용될 수도 있다. 따라서, 비디오 데이터는 시간 경과에 따라 발생하는 액세스 유닛들의 시리즈로서 개념화될 수도 있다. "뷰 성분" 은 단일 액세스 유닛에서의 뷰의 코딩된 표현일 수도 있다. 본 개시물에서, "뷰" 는 동일한 뷰 식별자와 연관되는 뷰 성분들의 시퀀스를 지칭할 수도 있다. 일부 예들에서, 뷰 성분은 텍스쳐 뷰 성분 (즉, 텍스쳐 픽처) 또는 심도 뷰 성분 (즉, 심도 픽처) 일 수도 있다.
MV-HEVC 및 SHVC 에서, 비디오 인코더는 일련의 NAL 유닛들을 포함하는 비트스트림을 발생시킬 수도 있다. 비트스트림의 상이한 NAL 유닛들은 비트스트림의 상이한 계층들과 연관될 수도 있다. 계층은 동일한 계층 식별자를 가지는 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들의 세트로서 정의될 수도 있다. 계층은 멀티-뷰 비디오 코딩에서의 뷰와 상응할 수도 있다. 멀티-뷰 비디오 코딩에서, 계층은 상이한 시간 인스턴스들을 가지는 동일한 계층의 모든 뷰 성분들을 포함할 수 있다. 각각의 뷰 성분은 특정의 시간 인스턴스에서 특정의 뷰에 속하는 비디오 장면의 코딩된 픽처일 수도 있다. 멀티-뷰 또는 3-차원 비디오 코딩의 일부 예들에서, 계층은 특정의 뷰의 모든 코딩된 심도 픽처들 또는 특정의 뷰의 코딩된 텍스쳐 픽처들을 포함할 수도 있다. 3D 비디오 코딩의 다른 예들에서, 계층은 특정의 뷰의 텍스쳐 뷰 성분들 및 심도 뷰 성분들 양쪽을 포함할 수도 있다. 이와 유사하게, 스케일러블 비디오 코딩의 상황에서, 계층은 다른 계층들에서의 코딩된 픽처들과는 상이한 비디오 특성들을 가지는 코딩된 픽처들에 일반적으로 대응한다. 이러한 비디오 특성들은 공간 해상도 및 품질 레벨 (예컨대, 신호-대-잡음비) 을 일반적으로 포함한다. HEVC 및 그의 확장판들에서, 시간 스케일러빌리티는 특정의 시간 레벨을 가지는 픽처들의 그룹을 서브-계층으로서 정의함으로써 하나의 계층 내에서 얻어질 수도 있다.
비트스트림의 각각의 개개의 계층에 대해, 하부 계층에서의 데이터는 임의의 상부 계층에서의 데이터에 대한 참조 없이 디코딩될 수도 있다. 스케일러블 비디오 코딩에서, 예를 들어, 기초 계층에서의 데이터는 향상 계층에서의 데이터에 대한 참조 없이 디코딩될 수도 있다. 일반적으로, NAL 유닛들은 단지 단일 계층의 데이터를 캡슐화할 수도 있다. 따라서, 비트스트림의 최고 나머지 계층의 데이터를 캡슐화하는 NAL 유닛들은 비트스트림의 나머지 계층들에서의 데이터의 디코딩성 (decodability) 에 영향을 미침이 없이 비트스트림으로부터 제거될 수도 있다. 멀티-뷰 코딩에서, 더 높은 계층들은 추가적인 뷰 성분들을 포함할 수도 있다. SHVC 에서, 상부 계층들은 신호 대 잡음 비 (SNR) 향상 데이터, 공간 향상 데이터, 및/또는 시간적 향상 데이터를 포함할 수도 있다. MV-HEVC 및 SHVC 에서, 계층은 비디오 디코더가 임의의 다른 계층의 데이터에 대한 참조 없이 그 계층에서의 픽처들을 디코딩할 수 있으면 "기초 계층" 으로서 지칭될 수도 있다. 기초 계층은 HEVC 베이스 사양 (예컨대, 권고안 ITU-T H.265 | ISO/IEC 23008-2) 을 따를 수도 있다.
스케일러블 비디오 코딩에서, 기초 계층 이외의 계층들은 "향상 계층들" 로서 지칭될 수도 있으며, 비트스트림으로부터 디코딩되는 비디오 데이터의 시각적 품질을 향상시키는 정보를 제공할 수도 있다. 스케일러블 비디오 코딩은 공간 해상도, 신호-대-잡음비 (즉, 품질) 또는 시간 레이트를 향상시킬 수 있다. 스케일러블 비디오 코딩 (예컨대, SHVC) 에서, "계층 표현" 은 단일 액세스 유닛에서 공간 계층의 코딩된 표현일 수도 있다. 설명의 용이성을 위해, 본 개시물은 뷰 성분들 및/또는 계층 표현들을 "뷰 성분들/계층 표현들" 또는 간단히 "픽처들" 로서 지칭할 수도 있다.
멀티-뷰 코딩은 뷰간 예측을 지원한다. 뷰간 예측은 HEVC 에 사용되는 인터 예측과 유사하며, 동일한 신택스 엘리먼트들을 이용할 수도 있다. 그러나, 비디오 코더가 (PU 와 같은) 현재의 비디오 유닛에 관해 뷰간 예측을 수행할 때, 비디오 인코더 (20) 는 참조 픽처로서, 현재의 비디오 유닛과 동일한 액세스 유닛에 있지만 상이한 뷰에 있는 픽처를 이용할 수도 있다. 이에 반해, 종래의 인터 예측은 단지 상이한 액세스 유닛들에서의 픽처들을 참조 픽처들로서 이용한다.
멀티-뷰 코딩에서, 뷰는 비디오 디코더 (예컨대, 비디오 디코더 (30)) 가 임의의 다른 뷰에서의 픽처들에 대한 참조 없이 뷰에서의 픽처들을 디코딩할 수 있으면, "베이스 뷰" 로서 지칭될 수도 있다. 비-베이스 뷰들 중 하나에서의 픽처를 코딩할 때, (비디오 인코더 (20) 또는 비디오 디코더 (30) 와 같은) 비디오 코더는 그 픽처가 상이한 뷰에 있지만 비디오 코더가 현재 코딩하고 있는 픽처와 동일한 시간 인스턴스 (즉, 액세스 유닛) 내에 있으면, 픽처를 참조 픽처 리스트에 추가할 수도 있다. 다른 인터 예측 참조 픽처들과 유사하게, 비디오 코더는 뷰간 예측 참조 픽처를 참조 픽처 리스트의 임의의 위치에 삽입할 수도 있다.
예를 들어, NAL 유닛들은 헤더들 (즉, NAL 유닛 헤더들) 및 페이로드들 (예컨대, RBSP들) 을 포함할 수도 있다. NAL 유닛 헤더들은 nuh_layer_id 신택스 엘리먼트들로서 또한 지칭될 수도 있는, nuh_reserved_zero_6bits 신택스 엘리먼트들을 포함할 수도 있다. 상이한 값들을 규정하는 nuh_layer_id 신택스 엘리먼트들을 가지는 NAL 유닛들은 비트스트림의 상이한 "계층들"에 속한다. 따라서, 멀티-뷰 코딩, MV-HEVC, SVC, 또는 SVC 에서, NAL 유닛의 nuh_layer_id 신택스 엘리먼트는 NAL 유닛의 계층 식별자 (즉, 계층 ID) 를 규정한다. NAL 유닛의 nuh_layer_id 신택스 엘리먼트는, NAL 유닛이 멀티-뷰 코딩, MV-HEVC 또는 SHVC 에서의 기초 계층에 관련되면 0 과 동일하다. 비트스트림의 기초 계층에서의 데이터는 비트스트림의 임의의 다른 계층에서의 데이터에 대한 참조 없이 디코딩될 수도 있다. NAL 유닛이 멀티-뷰 코딩, MV-HEVC 또는 SHVC 에서의 기초 계층에 관련되지 않으면, nuh_layer_id 신택스 엘리먼트는 비-제로 값을 가질 수도 있다. 멀티-뷰 코딩에서, 비트스트림의 상이한 계층들은 상이한 뷰들에 대응할 수도 있다. SVC 또는 SHVC 에서, 기초 계층 이외의 계층들은 "향상 계층들" 로서 지칭될 수도 있으며, 비트스트림으로부터 디코딩되는 비디오 데이터의 시각적 품질을 향상시키는 정보를 제공할 수도 있다.
더욱이, 계층 내 일부 픽처들은 동일한 계층 내 다른 픽처들에 대한 참조 없이 디코딩될 수도 있다. 따라서, 계층의 어떤 픽처들의 데이터를 캡슐화하는 NAL 유닛들은 그 계층에서의 다른 픽처들의 디코딩성에 영향을 미침이 없이 비트스트림으로부터 제거될 수도 있다. 이러한 픽처들의 데이터를 캡슐화하는 NAL 유닛들을 제거하는 것은 비트스트림의 프레임 레이트를 감소시킬 수도 있다. 계층 내 다른 픽처들에 대한 참조 없이 디코딩될 수도 있는 계층 내 픽처들의 서브세트는 본원에서 "서브-계층" 또는 "시간 서브-계층" 으로서 지칭될 수도 있다.
NAL 유닛들은 temporal_id 신택스 엘리먼트들을 포함할 수도 있다. NAL 유닛의 temporal_id 신택스 엘리먼트는 NAL 유닛의 시간 식별자를 규정한다. NAL 유닛의 시간 식별자는 NAL 유닛이 연관되는 시간 서브-계층을 식별한다. 따라서, 비트스트림의 각각의 시간 서브-계층은 상이한 시간 식별자와 연관될 수도 있다. 제 1 NAL 유닛의 시간 식별자가 제 2 NAL 유닛의 시간 식별자 미만이면, 제 1 NAL 유닛에 의해 캡슐화되는 데이터는 제 2 NAL 유닛에 의해 캡슐화되는 데이터에 대한 참조없이 디코딩될 수도 있다.
비트스트림은 복수의 동작 지점들과 연관될 수도 있다. 일부 예들에서, 비트스트림의 각각의 동작 지점은 계층 식별자들의 세트 (즉, nuh_reserved_zero_6bits 값들의 세트) 및 시간 식별자와 연관될 수도 있다. 계층 식별자들의 세트는 OpLayerIdSet 로서 표시될 수도 있으며, 시간 식별자는 TemporalID 로서 표시될 수도 있다. NAL 유닛의 계층 식별자가 계층 식별자들의 동작 지점의 세트 내에 있고 NAL 유닛의 시간 식별자가 동작 지점의 시간 식별자보다 작거나 같으면, NAL 유닛은 동작 지점과 연관된다. 따라서, 동작 지점은, 서브-비트스트림 추출 프로세스에의 입력들로서, 다른 비트스트림과의 서브-비트스트림 추출 프로세스의 동작에 의해 다른 비트스트림으로부터 생성된 비트스트림, 목표 최고 TemporalId, 및 목표 계층 식별자 리스트일 수도 있다. 동작 지점 표현으로서 또한 지칭될 수도 있는, 동작 지점은, 동작 지점과 연관되는 각각의 NAL 유닛을 포함할 수도 있다. 일부 예들에서, 동작 지점은 그 동작 지점과 연관되지 않는 VCL NAL 유닛들을 포함하지 않는다.
VPS들, SPS들, 및 PPS들과 같은, 파라미터 세트들은 HEVC 표준에 대한 확장판들에 특유한 확장 신택스 구조들을 포함할 수도 있다. 예를 들어, 파라미터 세트들은 SHVC, MV-HEVC 등에 특유한 확장판들을 포함할 수도 있다. 확장판 신택스 구조들은 HEVC 표준에 대한 확장판들에 적용가능한 신택스 엘리먼트들을 포함할 수도 있다. 아래 테이블 1 은 SHVC 초안 텍스트 7 및 MV-HEVC 초안 텍스트 9 에서 정의된 VPS 확장판의 일부를 나타낸다.
테이블 1
Figure pct00001
Figure pct00002
상기 테이블 1, 및 본 개시물의 다른 신택스 테이블들의 예에서, 유형 디스크립터 ue(v) 를 갖는 신택스 엘리먼트들은 좌측 비트 우선 (left bit first) 으로 0차 지수 Golomb (Exp-Golomb) 코딩을 이용하여 인코딩되는 가변-길이 무부호 정수들일 수도 있다. 테이블 1 및 다음 테이블들의 예에서, 유형 u(n) 의 디스크립터들을 갖는 신택스 엘리먼트들은, 길이 n 의 무부호 (unsigned) 값들이며, 여기서 n 은 비-음의 정수이다.
테이블 1 에 정의된 VPS 확장판의 일부는 하나 이상의 출력 계층 세트들 (OLSs) 을 정의하는 신택스 엘리먼트들을 포함한다. 출력 계층 세트는 VPS 에 규정된 계층 세트들 중 하나의 계층들로 이루어지는 계층들의 세트이며, 계층들의 세트에서 하나 이상의 계층들은 출력 계층들인 것으로 표시된다. 특히, layer_set_idx_for_ols_minus1[i] 신택스 엘리먼트, 플러스 1 은, i-번째 출력 계층 세트의 인덱스를 규정한다. 1 과 동일한 output_layer_flag[i][j] 신택스 엘리먼트는 i-번째 OLS 에서의 j-번째 계층이 출력 계층이라는 것을 규정한다. 0 과 동일한 output_layer_flag[i][j] 신택스 엘리먼트는 i-번째 OLS 에서의 j-번째 계층이 출력 계층이 아니라는 것을 규정한다.
출력 계층 세트는 하나 이상의 파티셔닝 방식들을 가질 수도 있다. 출력 계층 세트의 파티셔닝 방식은 출력 계층 세트에서의 계층들을 하나 이상의 파티션들로 분할한다. 출력 계층 세트에서의 각각의 계층은 파티셔닝 방식에서의 정확히 하나의 파티션에 속한다.
적어도 일부 비디오 코딩 표준들은 비디오 버퍼링 모델들을 규정한다. H.264/AVC 및 HEVC 에서, 버퍼링 모델은 "가상 참조 디코더" 또는 "HRD" 로서 지칭된다. HEVC 초안 사양에서, HRD 는 부속서 C 에 설명된다. HRD 는 데이터가 디코딩을 위해 버퍼링되는 방법 및 디코딩된 데이터가 출력을 위해 버퍼링되는 방법을 기술한다. 예를 들어, HRD 는 코딩된 픽처 버퍼 ("CPB"), 디코딩된 픽처 버퍼 ("DPB"), 및 비디오 디코딩 프로세스의 동작을 기술한다. CPB 는 액세스 유닛들을 HRD 에 의해 규정된 디코딩 순서로 포함하는 선입선출 버퍼이다. DPB 는 디코딩된 픽처들을 HRD 에 의해 규정된 참조, 출력 재순서정렬, 또는 출력 지연을 위해 보유하는 버퍼이다. CPB 및 DPB 의 거동들은 수학적으로 규정될 수도 있다. HRD 는 타이밍, 버퍼 사이즈들, 및 비트 레이트들에 관한 제약들을 직접 부과할 수도 있다. 더욱이, HRD 는 여러 비트스트림 특성들 및 통계치들에 관한 제약들을 간접적으로 가할 수도 있다.
H.264/AVC 및 HEVC 에서, 비트스트림 순응성 (conformance) 및 디코더 순응성은 HRD 사양의 부분들로서 규정된다. 다시 말해서, HRD 모델은 비트스트림이 표준에 부합하는지 여부를 결정하는 테스트들 및 디코더가 표준에 부합하는지 여부를 결정하는 테스트들을 규정한다. HRD 가 어떤 종류의 디코더로서 불려지더라도, 비디오 인코더들은 일반적으로 비트스트림 순응성을 보장하기 위해 HRD 를 사용하며, 한편 비디오 디코더들은 일반적으로 HRD 를 필요로 하지 않는다.
H.264/AVC 및 HEVC 양쪽은 비트스트림 또는 HRD 순응성의 2개의 유형들, 즉 유형 I 및 유형 II 를 규정한다. 유형 I 비트스트림은 비트스트림에서의 모든 액세스 유닛들에 대해 단지 VCL NAL 유닛들 및 필러 데이터 NAL 유닛만을 포함하는 NAL 유닛 스트림이다. 적어도 일부 예들에서, NAL 유닛 스트림은 NAL 유닛들의 시퀀스이다. 유형 II 비트스트림은 비트스트림에서의 모든 액세스 유닛들에 대한 VCL NAL 유닛들 및 필러 데이터 NAL 유닛들에 더해서, 다음 중 적어도 하나를 포함하는 NAL 유닛 스트림이다: 필러 데이터 NAL 유닛들 이외의 추가적인 비-VCL NAL 유닛들; 및 NAL 유닛 스트림으로부터 바이트 스트림을 형성하는 모든 leading_zero_8bits, zero_byte, start_coded_prefix_one_3bytes, 및 trailing_zero_8bits 신택스 엘리먼트들.
비트스트림이 비디오 코딩 표준에 부합하는지 여부를 결정하는 비트스트림 순응성 테스트를 디바이스가 수행할 때, 디바이스는 비트스트림의 동작 지점을 선택할 수도 있다. 디바이스는 그후 선택된 동작 지점에 적용가능한 HRD 파라미터들의 세트를 결정할 수도 있다. 디바이스는 선택된 동작 지점에 적용가능한 HRD 파라미터들의 세트를 이용하여 HRD 의 거동을 구성할 수도 있다. 좀더 자세하게 설명하면, 디바이스는 적용가능한 HRD 파라미터들의 세트를 이용하여 가상 스트림 스케쥴러 (HSS), CPB, 디코딩 프로세스, DPB 등과 같은, HRD 의 특정의 구성요소들의 거동들을 구성할 수도 있다. 그 후에, HSS 는 특정의 스케쥴에 따라서 비트스트림의 코딩된 비디오 데이터를 HRD 의 CPB 에 넣을 수도 있다. 더욱이, 디바이스는 CPB 에서의 코딩된 비디오 데이터를 디코딩하는 디코딩 프로세스를 호출할 수도 있다. 디코딩 프로세스는 디코딩된 픽처들을 DPB 로 출력할 수도 있다. 디바이스가 HRD 를 통해서 데이터를 이동시킴에 따라서, 디바이스는 제약들의 특정의 세트가 만족된 상태로 유지하는지 여부를 결정할 수도 있다. 예를 들어, 디바이스는 HRD 가 선택된 동작 지점을 디코딩하고 있는 동안 오버플로우 또는 언더플로우 조건이 CPB 또는 DPB 에서 발생하는지 여부를 결정할 수도 있다. 디바이스는 이와 같이 비트스트림의 각각의 동작 지점을 선택하여 프로세싱할 수도 있다. 어떤 비트스트림의 동작 지점도 제약들이 위반되도록 초래하지 않으면, 디바이스는 비트스트림이 비디오 코딩 표준에 부합한다고 결정할 수도 있다.
H.264/AVC 및 HEVC 양쪽은 디코더 순응성의 2개의 유형들, 즉 출력 타이밍 디코더 순응성 및 출력 순서 디코더 순응성을 규정한다. 특정의 프로파일, 티어 및 레벨에 대한 순응성을 필요로 하는 디코더는 HEVC 와 같은, 비디오 코딩 표준의 비트스트림 순응성 요건들에 부합하는 모든 비트스트림들을 성공적으로 디코딩할 수 있다.
테스트 중인 디코더 (DUT) 가 비디오 코딩 표준에 부합하는지 여부를 결정하기 위해 디코더 순응성 테스트를 디바이스가 수행할 때, 디바이스는 HRD 및 DUT 양쪽에게, 비디오 코딩 표준에 부합하는 비트스트림을 제공할 수도 있다. HRD 는 비트스트림을 비트스트림 순응성 테스트에 관해 위에서 설명된 방법으로 프로세싱할 수도 있다. 디바이스는 DUT 에 의해 출력된 디코딩된 픽처들의 순서가 HRD 에 의해 출력된 디코딩된 픽처들의 순서와 매칭하면 DUT 가 비디오 코딩 표준에 부합한다고 결정할 수도 있다. 더욱이, 디바이스는 DUT 가 디코딩된 픽처들을 출력하는 타이밍이 HRD 가 디코딩된 픽처들을 출력하는 타이밍과 매칭하면 DUT 가 비디오 코딩 표준에 부합한다고 결정할 수도 있다.
H.264/AVC 및 HEVC HRD 모델들에서, 디코딩 또는 CPB 제거는 액세스 유닛 (AU) 기반일 수도 있다. 즉, HRD 는 한꺼번에 완전한 액세스 유닛들을 디코딩하고 CPB 로부터 완전한 액세스 유닛들을 제거하는 것으로 가정된다. 더욱이, H.264/AVC 및 HEVC HRD 모델들에서, 픽처 디코딩이 동시적인 (instantaneous) 것으로 가정된다. 비디오 인코더 (20) 는 액세스 유닛들의 디코딩을 시작하기 위해, 픽처 타이밍 SEI 메시지들에서, 디코딩 시간들을 시그널링할 수도 있다. 실제 애플리케이션들에서, 부합하는 비디오 디코더가 액세스 유닛들의 디코딩을 시작하기 위해 시그널링되는 디코딩 시간들에 엄격히 따르면, 특정의 디코딩된 픽처를 출력하는 가장빠른 가능한 시간은 그 특정의 픽처의 디코딩 시간 플러스 그 특정의 픽처를 디코딩하는데 요구되는 시간과 동일하다. 그러나, 현실 세계에서, 픽처를 디코딩하는데 요구되는 시간은 제로와 동일할 수 없다.
HRD 파라미터들은 HRD 의 여러 양태들을 제어할 수도 있다. 다시 말해서, HRD 는 HRD 파라미터들에 의존할 수도 있다. HRD 파라미터들은 초기 CPB 제거 지연, CPB 사이즈, 비트 레이트, 초기 DPB 출력 지연, 및 DPB 사이즈를 포함할 수도 있다. 비디오 인코더 (20) 는 이들 HRD 파라미터들을 VPS 및/또는 SPS 에 규정된 hrd_parameters( ) 신택스 구조로 시그널링할 수도 있다. 개개의 VPS들 및/또는 SPS들은 상이한 HRD 파라미터들의 세트들에 대한 다수의 hrd_parameters( ) 신택스 구조들을 포함할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 HRD 파라미터들을 버퍼링 기간 SEI 메시지들 또는 픽처 타이밍 SEI 메시지들에서 시그널링할 수도 있다. 아래 테이블 2 는 HEVC 에서의 hrd_parameters( ) 신택스 구조에 대한 예시적인 신택스이다.
테이블 2 - HRD 파라미터들
Figure pct00003
Figure pct00004
테이블 2 에서, cpb_cnt_minus1[ i ] 플러스 1 은 HighestTid 가 i 와 동일할 때 CVS 의 비트스트림에서의 대안적인 CPB 사양들의 개수를 규정한다. cpb_cnt_minus1[ i ] 의 값은 0 내지 31 의 범위이다. 존재하지 않을 때, cpb_cnt_minus1[ i ] 의 값은 0 과 동일한 것으로 추론된다.
더욱이, VPS 는 비디오 사용성 정보 (VUI) 신택스 구조를 포함할 수도 있다. 권고안 ITU-T H.265 | ISO/IEC 23008-2 에서, VPS 에서의 VUI 신택스 구조는 vps_vui( ) 로 표시된다. VPS VUI 신택스 구조는 VUI 비트스트림 HRD 파라미터들 신택스 구조를 포함한다. 권고안 ITU-T H.265 | ISO/IEC 23008-2 에서, VPS 에서의 VUI 비트스트림 HRD 파라미터들 신택스 구조는 vps_vui_bsp_hrd_params( ) 로서 표시된다. 아래 테이블 3 은 권고안 ITU-T H.265 | ISO/IEC 23008-2 에서의 vps_vui_bsp_hrd_params( ) 신택스 구조에 대한 신택스 테이블이다.
테이블 3 - VPS VUI BSP HRD 파라미터들 신택스 구조
Figure pct00005
Figure pct00006
상기 테이블 3 에서, bsp_hrd_idx[ h ][ i ][ t ][ j ][ k ] 는 HighestTid 가 t 와 동일할 때 h-번째 OLS 에 대한 i-번째 파티셔닝 방식의 k-번째 비트스트림 파티션에 대해 규정된 j-번째 전달 스케쥴에 대한 VPS 에서의 hrd_parameters( ) 신택스 구조의 인덱스를 규정한다. 위에서 나타낸 바와 같이, 비트스트림 파티션은 출력 계층 세트에서의 계층들을 하나 이상의 파티션들로 분할하는 파티셔닝 방식에 따른 비트스트림의 서브세트인, NAL 유닛 스트림 또는 바이트 스트림의 유형인 비트들의 시퀀스이다. bsp_hrd_idx[ h ][ i ][ t ][ j ][ k ] 신택스 엘리먼트의 길이는 Ceil( Log2( vps_num_hrd_parameters + vps_num_add_hrd_params ) ) 비트들이다. bsp_hrd_idx[ h ][ i ][ t ][ j ][ k ] 의 값은 0 내지 vps_num_hrd_parameters + vps_num_add_hrd_params - 1 의 범위이다. vps_num_hrd_parameters + vps_num_add_hrd_params 가 1 과 동일할 때, bsp_hrd_idx[ h ][ i ][ t ][ j ][ k ] 의 값은 0 과 동일한 것으로 추론된다.
HEVC 및 다른 비디오 코딩 표준들은 프로파일들, 티어들, 및 레벨들을 규정한다. 프로파일들, 티어들, 및 레벨들은 비트스트림들에 대한 제한 사항들을 규정하며, 따라서 비트스트림들을 디코딩하는데 필요로 하는 능력들을 제한한다. 프로파일들, 티어들, 및 레벨들은 또한 개개의 디코더 구현예들 사이의 상호운용 지점들 (interoperability points) 을 나타내는데 이용될 수도 있다. 각각의 프로파일은 그 프로파일을 따르는 모든 디코더들에 의해 지원되는 알고리즘적 특성들 및 한계들의 서브세트를 규정한다. 비디오 인코더들은 프로파일에서 지원되는 모든 특징들을 이용하도록 요구되지 않는다.
티어의 각각의 레벨은 신택스 엘리먼트들 및 변수들이 가질 수도 있는 값들에 관한 한계들의 세트를 규정할 수도 있다. 동일한 티어 및 레벨 정의들의 세트가 모든 프로파일들과 함께 사용될 수도 있지만, 개개의 구현예들이 각각의 지원되는 프로파일에 대해 상이한 티어 및 상이한 레벨을 지원할 수도 있다. 임의의 주어진 프로파일에 대해, 티어의 레벨은 일반적으로 특정의 디코더 프로세싱 부하 및 메모리 능력에 대응한다. 비디오 디코더들의 능력들은 특정의 프로파일들, 티어들, 및 레벨들의 제약들을 따르는 비디오 스트림들을 디코딩하는 능력의 관점에서 규정될 수도 있다. 각각의 이러한 프로파일에 대해, 그 프로파일에 대해 지원되는 티어, 및 레벨이 또한 표현될 수도 있다. 일부 비디오 디코더들은 특정의 프로파일들, 티어들, 또는 레벨들을 디코딩불가능할 수도 있다.
HEVC 에서, 프로파일들, 티어들, 및 레벨들은 신택스 구조 profile_tier_level( ) 신택스 구조에 의해 시그널링될 수도 있다. profile_tier_level( ) 신택스 구조는 VPS 및/또는 SPS 에 포함될 수도 있다. profile_tier_level( ) 신택스 구조는 general_profile_idc 신택스 엘리먼트, general_tier_flag 신택스 엘리먼트, 및 general_level_idc 신택스 엘리먼트를 포함할 수도 있다. general_profile_idc 신택스 엘리먼트는 CVS 가 따르는 프로파일을 나타낼 수도 있다. general_tier_flag 신택스 엘리먼트는 general_level_idc 신택스 엘리먼트의 해석을 위한 티어 컨텍스트를 나타낼 수도 있다. general_level_idc 신택스 엘리먼트는 CVS 가 따르는 레벨을 나타낼 수도 있다. 이들 신택스 엘리먼트들에 대한 다른 값들이 예약될 수도 있다.
비디오 디코더들의 능력들은 프로파일들, 티어들, 및 레벨들의 제약들을 따르는 비디오 스트림들을 디코딩하는 능력의 관점에서 규정될 수도 있다. 각각의 이러한 프로파일에 대해, 그 프로파일에 대해 지원되는 티어 및 레벨이 또한 표현될 수도 있다. 일부 예들에서, 비디오 디코더들은 HEVC 에 규정된 값들 사이의 general_profile_idc 신택스 엘리먼트의 예약된 값이 규정된 프로파일들 사이의 중재하는 능력들을 나타낸다고 추론하지 않는다. 그러나, 비디오 디코더들은 HEVC 에 규정된 값들 사이의 general_tier_flag 신택스 엘리먼트의 특정의 값과 연관된 general_level_idc 신택스 엘리먼트의 예약된 값이 티어의 규정된 레벨들 사이의 매개하는 능력들을 나타낸다고 추론할 수도 있다.
MPEG-2 시스템들 사양은 압축된 멀티미디어 (비디오 및 오디오) 데이터 스트림들이 디지털 송신 또는 스토리지에 적합한 단일 데이터 스트림을 형성하기 위해 다른 데이터와 함께 멀티플렉싱될 수 있는 방법을 기술한다. MPEG-2 TS 의 최근의 사양은 ITU-T 권고안 H.222.0, 2012년 6월 버전 (본원에서, "MPEG-2 TS") 이며, 여기서, AVC (Advanced Video Coding) 및 AVC 확장판들의 지원이 제공된다. 최근, HEVC 에 대한 MPEG-2 TS 의 수정안이 개발되었다. 최근의 문서는 2013년 7월, MPEG 출력 문서 N13656 에서의, "Text of ISO/IEC 13818-1: 2013 / Final Draft Amendment 3 - Transport of HEVC video over MPEG-2 Systems" 이다 (이하, "문서 N13656" 또는 "HEVC TS 사양").
MPEG-2 시스템들 사양은 기본 스트림의 컨셉을 정의한다. 구체적으로 설명하면, 기본 스트림은 프로그램의 단일, 디지털 코딩된 (어쩌면 MPEG-압축된) 구성요소이다. 예를 들어, 프로그램의 코딩된 비디오 또는 오디오 부분은 기본 스트림일 수 있다. 기본 스트림은 프로그램 스트림 또는 전송 스트림으로 멀티플렉싱되기 전에 먼저 패킷화 기본 스트림 (PES) 으로 변환된다. 동일한 프로그램 내에서, stream_id는 하나의 기본 스트림에 속하는 PES-패킷들을 다른 PES-패킷들과 식별하는데 사용된다.
각각의 개별 기본 스트림은 개별 기본 스트림의 스트림 유형을 식별하는 스트림 유형 식별자를 갖는다. 0x24 과 동일한 스트림 유형을 가지는 기본 스트림은 HEVC 비디오 스트림 또는 HEVC 시간 비디오 서브-비트스트림 또는 HEVC 베이스 서브-파티션이다. 문서 N13656 에서 정의된 바와 같이, HEVC 비디오 스트림은 권고안 ITU-T H. 265 | ISO/IEC 23008-2 부속서 B 에 규정된 바이트 스트림이다. HEVC 시간 비디오 서브-비트스트림은 0 과 동일한 TemporalID 를 가지는 HEVC 시간 서브-계층 및 0 과 동일하지 않은 TemporalID 를 가지는 제로 이상의 HEVC 시간 서브-계층들을 포함하는 비트스트림이다. 문서 N13656 에서 정의된 바와 같이, HEVC 베이스 서브-파티션은, 또한 목표 HEVC 동작 지점의 목표 계층 식별자 리스트가 0 과 동일한 nuh_layer_id 값을 포함하는 목표 HEVC 동작 지점에 의해 식별되는 목표 최고 TemporalId 까지 하나 이상의 계층들의 모든 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들을 포함하는, 권고안 ITU-T H.265 | ISO/IEC 23008-2 에 규정된 바와 같은 부합하는 비트스트림인 HEVC 비디오 서브-비트스트림이다.
0x27 과 동일한 스트림 유형을 가지는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 G 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 TemporalId 0 을 포함하는 HEVC 향상 서브-파티션이다. 문서 N13656 에서 정의된 바와 같이, 용어 "HEVC 향상 서브-파티션" 은 이 비디오 서브-비트스트림에 포함된 최고 계층의 동작 지점의 계층 리스트 및 최고 TemporalId 에 따른, HEVC 베이스 서브-파티션 및 제로 이상의 다른 HEVC 서브-파티션들과의, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트의 HEVC 계층 집성이 유효한 HEVC 계층화된 비디오 스트림을 초래하는, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트이다. HEVC 시간 비디오 서브세트는 하나 이상의 HEVC 시간 서브-계층들을 포함한다. HEVC 시간 비디오 서브세트는 HEVC 시간 비디오 서브세트가 0 과 동일한 TemporalID 를 가지는 HEVC 시간 서브-계층을 반드시 포함하지는 않는다는 점에서 HEVC 시간 비디오 서브-비트스트림과 상이하다.
문서 N13656 에서 정의된 바와 같이, HEVC 계층 집성은 HEVC 비디오 시퀀스에서의 모든 HEVC 계층 구성요소들의 연속적인 HEVC 계층 구성요소 집성이다. 문서 N13656 에서 정의된 바와 같이, HEVC 계층 구성요소들은 HEVC 서브-파티션에 속하는 HEVC 액세스 유닛의 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들이다. 더욱이, 문서 N13656 에서 정의된 바와 같이, HEVC 계층 구성요소 집성은 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 F 에 정의된 바와 같은 유효한 액세스 유닛을 초래하는, HEVC 계층 리스트에 표시된 모든 HEVC 서브-파티션들로부터 HEVC 계층 리스트에 의해 표시된 순서로 동일한 출력 시간을 가지는 모든 HEVC 계층 구성요소들의 접합 (concatenation) 이다.
MPEG-2 TS 의 상황에서 사용될 때, 용어 "HEVC 서브-파티션" 은 HEVC 베이스 서브-파티션 또는 HEVC 향상 서브-파티션을 지칭한다. 동일한 컨셉이 SHVC 및 MV-HEVC 의 상황에서의 "파티션" 으로서 지칭될 수도 있다. EVC TS 사양에서 정의된 바와 같이, 용어 "HEVC 베이스 서브-파티션" 은 HEVC 표준을 따르며, 목표 HEVC 동작 지점의 목표 계층 식별자 리스트가 0 과 동일한 nuh_layer_id 값을 포함하는 목표 HEVC 동작 지점에 의해 식별되는 목표 최고 TemporalId 까지 하나 이상의 계층들의 모든 비디오 VCL NAL 유닛들을 포함하는 HEVC 비디오 서브-비트스트림이다. 더욱이, HEVC TS 사양에 정의된 바와 같이, 용어 "HEVC 향상 서브-파티션" 은 이 비디오 서브-비트스트림에 포함된 최고 계층의 동작 지점의 계층 리스트 및 최고 TemporalId 에 따른, HEVC 베이스 서브-파티션 및 제로 이상의 다른 HEVC 서브-파티션들과의, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트의 HEVC 계층 집성이 유효한 HEVC 계층화된 비디오 스트림을 초래하는, 하나 이상의 HEVC 계층들, 또는 HEVC 시간 비디오 서브-비트스트림 또는 그의 HEVC 시간 비디오 서브세트를 지칭한다.
0x28 과 동일한 스트림 유형을 갖는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 G 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 HEVC 시간적 향상 서브-파티션이다. 문서 N13656 에서 정의된 바와 같이, HEVC 시간적 향상 서브-파티션은 권고안 ITU-T H.265 | ISO/IEC 23008-2 에 규정된 바와 같이, 하나 이상의 상보적인 시간 서브-계층들을 포함하는 동일한 HEVC 비디오 스트림의 다른 HEVC 향상 서브-파티션과 동일한 HEVC 계층들의 세트의 HEVC 시간 비디오 서브세트이다. 본 개시물에서, 상보적인 시간 서브-계층은 시간 (프레임-레이트) 향상을 메인 서브-파티션에 제공하는 HEVC 시간적 향상 서브-파티션이다. 예를 들어, 계층이 2개의 시간 서브-계층들 (Tid 0 및 Tid 1) 을 가진다고 가정한다. 이 예에서, Tid 0 이 메인 서브-파티션 내에 있고 Tid 1 이 시간적 향상 서브-파티션 내에 있는 2개의 기본 스트림들 (또는, 2개의 서브-파티션) 에서 2개의 시간 서브-계층들을 전송하는 것이 가능하다.
더욱이, 0x29 과 동일한 스트림 유형을 가지는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 H 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 TemporalId 0 을 포함하는 HEVC 향상 서브-파티션이다. 0x2A 과 동일한 스트림 유형을 갖는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 H 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 HEVC 시간적 향상 서브-파티션이다.
위에서 나타낸 바와 같이, MPEG-2 시스템들 사양은 프로그램 스트림 및 전송 스트림의 컨셉들을 정의한다. 프로그램 스트림들 및 전송 스트림들은 상이한 애플리케이션들을 목표로 하는 2개의 대안적인 멀티플렉스들이다. 프로그램 스트림들은 디지털 스토리지 서비스로부터의 단일 프로그램의 스토리지 및 디스플레이를 위해 바이어스되며, 프로그램 스트림은 에러들에 다소 민감하기 때문에 에러없는 환경들에서 사용을 위해 의도된다. 이에 반해, 전송 스트림들은 잠재적으로 에러가 나기 쉬운 채널들을 통한 다수의 프로그램들의 동시적인 전달을 위해 의도된다. 일반적으로, 전송 스트림은 단일 전송 스트림이 많은 독립적인 프로그램들을 수용할 수 있도록, 브로드캐스팅과 같은 멀티-프로그램 애플리케이션들을 위해 고안된 멀티플렉스이다. 프로그램 스트림은 그에 속하는 기본 스트림들을 단지 포함하며, 대개 가변 길이 패킷들을 포함한다
프로그램 스트림에서, 기여하는 기본 스트림들로부터 유도되는 PES-패킷들은 '팩 (pack) 들' 로 편성된다. 팩은 팩-헤더, 옵션적인 시스템 헤더, 및 기여하는 기본 스트림들 (즉, 프로그램 스트림의 기본 스트림들) 중 임의의 기본 스트림으로부터 취한 임의 개수의 PES-패킷들을, 임의의 순서로 포함한다. 시스템 헤더는 프로그램 스트림의 최대 데이터 레이트, 기여하는 프로그램 스트림의 비디오 및 오디오 기본 스트림들의 개수, 및 추가적인 타이밍 정보와 같은, 프로그램 스트림의 특성들의 요약을 포함한다. 디코더 (30) 와 같은, 디코더는 시스템 헤더에 포함된 정보를 이용하여, 디코더가 프로그램 스트림을 디코딩하는 것이 가능한지 여부를 결정할 수도 있다.
전송 스트림은 일련의 전송 패킷들을 포함한다. 전송 패킷들은 PES-패킷들의 형태이다. 전송 패킷들의 각각은 188-바이트 길이이다. 전송 스트림들에서의 짧은, 고정된 길이 패킷들의 사용은 전송 스트림들이 프로그램 스트림들 만큼 에러들에 민감하지 않다는 것을 의미한다. 또, Reed-Solomon 인코딩과 같은, 표준 에러 보호 프로세스를 통해서 전송 패킷을 프로세싱하는 것은 각각의 188-바이트-길이 전송 패킷에 추가적인 에러 보호를 제공할 수도 있다. 전송 스트림의 향상된 에러 복원력은 전송 스트림이 브로드캐스트 환경에서 발견되는 채널들과 같은, 에러가 나기 쉬운 채널들에서 살아남을 더 나은 기회를 가진다는 것을 의미한다. 전송 스트림들의 증가된 에러 복원력 및 전송 스트림으로 많은 동시적인 프로그램들을 운반하는 능력이 주어지면, 전송 스트림들이 2개의 멀티플렉스들 (즉, 프로그램 스트림들 및 전송 스트림들) 중 분명히 더 나은 것 처럼 보일지도 모른다. 그러나, 전송 스트림은 프로그램 스트림보다 좀더 복잡한 멀티플렉스이며, 그 결과 생성하고 디멀티플렉싱하는 것이 더 어렵다.
전송 패킷의 제 1 바이트는 0x47 인, 동기화 바이트이다. 단일 전송 스트림은 많은 패킷화된 기본 스트림들을 각각 포함하는 많은 상이한 프로그램들을 운반할 수도 있다. 게다가, 전송 패킷은 13-비트 패킷 식별자 (PID) 필드를 포함한다. PID 필드는 하나의 기본 스트림의 데이터를 포함하는 전송 패킷들을 다른 기본 스트림들의 데이터를 운반하는 전송 패킷들과 식별하는데 사용된다. 각각의 기본 스트림이 고유한 PID 값을 부여받도록 보장하는 것이 멀티플렉서의 책무이다. 전송 패킷의 최종 바이트는 연속성 카운트 필드이다. 연속성 카운트 필드의 값은 동일한 기본 스트림에 속하는 연속적인 전송 패킷들 사이에 증분된다. 연속성 카운트 필드의 값을 증분시키는 것은 디코더 (30) 와 같은, 디코더로 하여금, 전송 패킷의 손실 또는 이득을 검출하고, 잠재적으로 그렇지 않으면 전송 패킷의 손실 또는 이득으로부터 초래할 지도 모르는 에러들을 감출 수 있도록 한다.
전송 패킷이 속하는 기본 스트림이 전송 패킷의 PID 값에 기초하여 결정될 수도 있지만, 디코더는 어느 기본 스트림들이 어느 프로그램에 속하는지를 결정가능해야 할 수도 있다. 따라서, 프로그램 특정의 정보는 프로그램들과 구성요소 기본 스트림들 사이의 관계를 명시적으로 규정한다. 예를 들어, 프로그램 특정의 정보는 프로그램과 프로그램에 속하는 기본 스트림들 사이의 관계를 규정할 수도 있다. 전송 스트림의 프로그램 특정의 정보는 프로그램 맵 테이블 (PMT), 프로그램 연관 테이블 (PAT), 조건부 액세스 테이블, 및 네트워크 정보 테이블을 포함할 수도 있다.
전송 스트림으로 운반되는 모든 프로그램은 프로그램 맵 테이블 (PMT) 과 연관된다. PMT 는 하나 보다 많은 프로그램을 포함하기 위해 허용된다. 예를 들어, 전송 스트림으로 운반되는 다수의 프로그램들은 동일한 PMT 와 연관될 수도 있다. 프로그램과 연관된 PMT 는 프로그램 및 프로그램을 포함하는 기본 스트림들에 관한 세부 사항들을 제공한다. 예를 들어, 번호 3 을 가지는 프로그램은 PID 33 을 가지는 비디오, PID 57 을 가지는 영어 오디오, PID 60 을 가지는 중국어 오디오를 포함할 수도 있다. 다시 말해서, 이 예에서, PMT 는 전송 패킷들이 33 과 동일한 값들을 가지는 PID 필드들을 포함하는 기본 스트림이 3 과 동일한 번호 (예컨대, program_number) 를 가지는 프로그램의 비디오를 포함하고, 전송 패킷들이 57 과 동일한 값들을 가지는 PID 필드들을 포함하는 기본 스트림이 번호 3 을 가지는 프로그램의 영어 (English) 오디오를 포함하고, 그리고 전송 패킷들이 60 과 동일한 값들을 가지는 PID 필드들을 포함하는 기본 스트림이 번호 3 을 가지는 프로그램의 중국어 (Chinese) 오디오를 포함한다고 규정할 수도 있다.
기본적인 PMT 는 MPEG-2 시스템들 사양에 규정된 많은 디스크립터들 중 일부로 장식될 수도 있다. 다시 말해서, PMT 는 하나 이상의 디스크립터들을 포함할 수도 있다. 디스크립터들은 프로그램에 관한 추가적인 정보 또는 프로그램의 구성요소 기본 스트림들을 운반한다. 디스크립터들은 비디오 인코딩 파라미터들, 오디오 인코딩 파라미터들, 언어 식별 정보, 팬 (pan)-및-스캐닝 정보, 조건 액세스 세부 사항들, 저작권 정보 등을 포함할 수도 있다. 브로드캐스터 또는 다른 사용자는 요구되면, 추가적인 사설 디스크립터들을 정의할 수도 있다. 비디오 관련 구성요소 기본 스트림들에서는, 또한 계층구조 디스크립터가 존재할 수도 있다. 계층구조 디스크립터는 계층적으로-코딩된 비디오, 오디오, 및 사설 스트림들의 구성요소들을 포함하는 프로그램 엘리먼트들을 식별하는 정보를 제공한다. 사설 스트림들은 프로그램 특정의 정보의 스트림과 같은, 메타데이터를 포함할 수도 있다. 일반적으로, 프로그램 엘리먼트는 프로그램에 포함되는 데이터 또는 기본 스트림들 중 하나 (즉, 프로그램의 구성요소 기본 스트림) 이다. MPEG-2 전송 스트림들에서, 프로그램 엘리먼트들은 대개 패킷화된다. MPEG-2 프로그램 스트림들에서, 프로그램 엘리먼트들은 패킷화되지 않는다.
프로그램 스트림의 프로그램-특정의 정보는 프로그램 스트림 맵 (PSM) 을 포함할 수도 있다. 프로그램 스트림의 PSM 은 프로그램 스트림에서의 기본 스트림들의 설명 및 서로에 대한 기본 스트림들의 관계들을 제공한다. 전송 스트림으로 운반될 때, 이 구조는 변경되지 않아야 한다. PSM 은 stream_id 값이 0xBC 일 때 PES 패킷으로서 존재한다.
위에서 나타낸 바와 같이, 전송 스트림의 프로그램-특정의 정보는 프로그램 연관 테이블 (PAT) 을 포함할 수도 있다. 전송 스트림의 PAT 는 전송 스트림에 이용가능한 모든 프로그램들의 완전한 리스트를 포함한다. PAT 는 PID 값 0 을 항상 갖는다. 다시 말해서, 0 과 동일한 PID 값들을 가지는 전송 패킷들은 PAT 를 포함한다. PAT 는 개개의 프로그램과 연관된 프로그램 맵 테이블을 포함하는 전송 패킷들의 PID 값과 함께 전송 스트림의 각각의 개개의 프로그램을 리스트한다. 예를 들어, 위에서 설명된 예시적인 PMT 에서, PAT 는 프로그램 번호 3 의 기본 스트림들을 규정하는 PMT 가 1001 의 PID 를 가진다고 규정하는 정보를 포함할 수도 있으며, 다른 PMT 가 1002 의 다른 PID 를 가진다고 규정하는 정보를 포함할 수도 있다. 다시 말해서, 이 예에서, PAT 는 PID 필드들이 1001 과 동일한 값들을 가지는 전송 패킷들이 프로그램 번호 3 의 PMT 를 포함한다고 규정할 수도 있으며, PAT 는 PID 필드들이 1002 와 동일한 값들을 가지는 전송 패킷들이 다른 프로그램의 PMT 를 포함한다고 규정할 수도 있다.
더욱이, 위에서 나타낸 바와 같이, 전송 스트림의 프로그램-특정의 정보는 네트워크 정보 테이블 (NIT) 을 포함할 수도 있다. 전송 스트림의 PAT 에 규정된, 프로그램 번호 제로는, 특별한 의미를 갖는다. 구체적으로 설명하면, 프로그램 번호 0 은 NIT 를 가리킨다. 전송 스트림의 NIT 는 옵션적이며, 존재할 때, NIT 는 전송 스트림을 운반하는 물리 네트워크에 관한 정보를 제공한다. 예를 들어, NIT 는 채널 주파수들, 위성 트랜스폰더 세부 사항들, 변조 특성들, 서비스 발신자, 서비스 이름 및 이용가능한 대안 네트워크들의 세부 사항들과 같은 정보를 제공할 수도 있다.
위에서 나타낸 바와 같이, 전송 스트림의 프로그램-특정의 정보는 조건부 액세스 테이블 (CAT) 을 포함할 수도 있다. 일부 예들에서, CAT 는 전송 스트림 내 임의의 기본 스트림이 스크램블링되면 존재해야 한다. CAT 는 사용중인 스크램블링 시스템(들) 의 세부 사항들을 제공하며, 조건부 액세스 관리 및 자격 (entitlement) 정보를 포함하는 전송 패킷들의 PID 값들을 제공한다. MPEG-2 는 이 정보의 포맷을 규정하지 않는다.
위에서 나타낸 바와 같이, PMT 는 프로그램 또는 프로그램의 구성요소 기본 스트림에 관한 정보를 운반하는 하나 이상의 디스크립터들을 포함할 수도 있다. PMT 에서 하나 이상의 디스크립터들은 계층구조 디스크립터를 포함할 수도 있다. MPEG-2 전송 스트림 (TS) 에서, 계층구조 디스크립터는 상이한 기본 스트림들에서의 서브-비트스트림들의 계층구조를 시그널링하도록 설계된다. 계층구조 디스크립터는 L-HEVC 에서의 계층들과 같은, 계층적으로-코딩된 비디오, 오디오, 및 사설 스트림들의 구성요소들을 포함하는 프로그램 엘리먼트들을 식별하는 정보를 제공한다. 하기 테이블 2-49 는 계층구조 디스크립터의 신택스를 나타낸다. 테이블 2-49 에 뒤이은 패러그라프들은 계층구조 디스크립터의 필드들의 의미들을 기술한다.
테이블 2-49 - 계층구조 디스크립터
Figure pct00007
테이블 2-49 - 계층구조 디스크립터
Figure pct00008
temporal_scalability_flag - '0' 으로 설정될 때, 연관된 프로그램 엘리먼트가 hierarchy_embedded_layer_index 에 의해 참조되는 프로그램 엘리먼트로부터 유래하는 비트-스트림의 프레임 레이트를 향상시킨다는 것을 표시하는, 1-비트 플래그. 이 플래그에 대해 '1' 의 값이 예약된다.
spatial_ scalability _flag - '0' 으로 설정될 때, 연관된 프로그램 엘리먼트가 hierarchy_embedded_layer_index 에 의해 참조되는 프로그램 엘리먼트로부터 유래하는 비트-스트림의 공간 해상도를 향상시킨다는 것을 표시하는, 1-비트 플래그. 이 플래그에 대해 '1' 의 값이 예약된다.
quality_scalability_flag - '0' 으로 설정될 때, 연관된 프로그램 엘리먼트가 hierarchy_embedded_layer_index 에 의해 참조되는 프로그램 엘리먼트로부터 유래하는 비트-스트림의 SNR 품질 또는 충실도를 향상시킨다는 것을 표시하는, 1-비트 플래그. 이 플래그에 대해 '1' 의 값이 예약된다.
hierarchy_type - 연관된 계층구조 계층과 그의 계층구조-내장된 계층 사이의 계층구조적 관계는 (아래에 나타낸) 테이블 2-50 에 정의된다. 스케일러빌리티가 하나 보다 많은 차원에서 적용되면, 이 필드는 '8' 의 값 ("결합된 스케일러빌리티") 으로 설정되어야 하며, 그에 따라서 플래그들 temporal_scalability_flag, spatial_scalability_flag 및 quality_scalability_flag 가 설정되어야 한다. MVC 비디오 서브-비트스트림들에 대해, 이 필드는 '9' 의 값 ("MVC 비디오 서브 비트스트림") 으로 설정되어야 하며, 플래그들 temporal_scalability_flag, spatial_scalability_flag 및 quality_scalability_flag 는 '1' 로 설정되어야 한다. MVC 베이스 뷰 서브-비트스트림들에 대해, hierarchy_type 필드는 '15' 의 값으로 설정되어야 하며, 플래그들 temporal_scalability_flag, spatial_scalability_flag 및 quality_scalability_flag 는 '1' 로 설정되어야 한다.
hierarchy_layer_index - hierarchy_layer_index 는 코딩 계층 계층구조들의 테이블에서 그 연관된 프로그램 엘리먼트의 고유한 인덱스를 정의하는 6-비트 필드이다. 인덱스들은 단일 프로그램 정의 내에서 고유해야 한다. 권고안 ITU T H.264 | ISO/IEC 14496-10 의 부속서 G 에 정의된 하나 이상의 프로파일들을 따르는 AVC 비디오 스트림들의 비디오 서브-비트스트림들에 대해, 이것은 동일한 액세스 유닛의 비디오 서브-비트스트림들의 연관된 스케일러블 비디오 코딩 의존성 표현들이 hierarchy_layer_index 의 증가 순서로 재-조립되면 비트스트림 순서가 정정되는 방법으로 할당되는 프로그램 엘리먼트 인덱스이다. 권고안 ITU-T H.264 | ISO/IEC 14496-10 의 부속서 H 에 정의된 하나 이상의 프로파일들을 따르는 AVC 비디오 스트림들의 MVC 비디오 서브-비트스트림들에 대해, 이것은 동일한 액세스 유닛의 MVC 비디오 서브-비트스트림들의 연관된 MVC 뷰-구성요소 서브세트들이 hierarchy_layer_index 의 증가 순서로 재-조립되면 비트스트림 순서가 정정되는 방법으로 할당되는 프로그램 엘리먼트 인덱스이다.
tref_present_flag - '0' 으로 설정될 때, TREF 필드가 연관된 기본 스트림에서의 PES 패킷 헤더들에 존재할 수도 있다는 것을 나타내는, 1-비트 플래그. 이 플래그에 대해 '1' 의 값이 예약된다.
hierarchy_embedded_layer_index - hierarchy_embedded_layer_index 는 디코딩 순서에서 이 hierarchy_descriptor 와 연관된 기본 스트림의 디코딩 전에 액세스되어야 하며 존재하여야 하는 프로그램 엘리먼트의 hierarchy_layer_index 를 정의하는 6-비트 필드이다. hierarchy_embedded_layer_index 필드는 hierarchy_type 값이 15 이면 정의되지 않는다.
hierarchy_channel - hierarchy_channel 은 순서정렬된 세트 송신 채널들의 세트에서 그 연관된 프로그램 엘리먼트의 의도된 채널 번호를 나타내는 6-비트 필드이다. 가장 강건한 송신 채널은 전체 송신 계층구조 정의에 관한 이 필드의 최저 값에 의해 정의된다. 주어진 hierarchy_channel 은 여러 프로그램 엘리먼트들에 동시에 할당될 수도 있다.
하기 테이블 2-50 은 계층구조 디스크립터의 hierarchy_type 필드의 값들의 의미를 기술한다.
테이블 2-50 - hierarchy_type 필드 값들
Figure pct00009
L-HEVC TS 초안에서, 프로파일, 티어, 및 레벨 정보 (PTL 정보로서 지칭됨) 및 동작 지점 정보가 HEVC 확장 디스크립터 및 HEVC 동작 지점 디스크립터로 시그널링된다. 2개의 디스크립터들의 신택스 테이블들은 다음 테이블들에 나타낸다.
테이블 Amd7-1 - HEVC 확장 디스크립터
Figure pct00010
테이블 Amd7 -2 - HEVC 동작 지점 디스크립터
Figure pct00011
Figure pct00012
최근, 계층화된 HEVC 의 캐리지를 위한 MPEG-2 TS 의 수정안이 시작되었다. 최근의 문서는 2014년 7월, MPEG 문서 w14562 에서의, "Text of ISO/IEC 13818-1:2013 / Study of PDAM 7 - Carriage of Layered HEVC" (이하, "L-HEVC TS 초안") 이다. L-HEVC TS 초안에서, 현재의 버퍼 모델은 다음과 같이 기술된다. ITU-T 권고안 H.222.0 | ISO/IEC 13818-1 프로그램에서의 0x27 내지 0x2A 의 범위인 stream_type 값을 갖는 적어도 하나의 스트림이 있을 때, 그리고 활성 HRD 파라미터들 신택스 구조에서의 sub_pic_hrd_params_present_flag 가 비트스트림-파티션-특정의 코딩된 픽처 버퍼 (CPB) 동작을 시그널링하기 위해 1 과 동일하게 설정될 때, 2.4.2 에 설명된 바와 같은 전송 시스템 목표 디코더 (T-STD) 모델은 도 2 에 예시된 바와 같이 그리고 아래에서 규정되는 바와 같이 확장된다. 도 2 는 비트스트림-파티션-특정의 CPB 동작에 대한 T-STD 모델 확장판을 예시하는 개념도이다.
다음 추가적인 표기들이 T-STD 확장판들을 기술하기 위해 사용되며, 도 2 에 예시된다.
t(i) 는 전송 스트림의 i-번째 바이트가 시스템 목표 디코더에 들어가는 시간을 초로 나타낸다
l 은 (TemporalId 0 를 포함하는) stream_type 0x27 또는 0x29 의 수신된 HEVC 서브-파티션들로의 인덱스이다. HEVC 서브-파티션들의 순서는 HEVC 동작 지점 디스크립터에 의해 표시되며, 존재하는 경우, 다른 방법으로, 순서는 계층구조 디스크립터들에 의해 표시된 의존성들에 의해 주어진다. 동일한 인덱스가 또한 대응하는 HEVC 시간적 향상 서브-파티션들에 적용된다. 여기서, l 은 HEVC 베이스 서브-파티션과 연관되는 n 에서 시작하여, (n+m) 까지 올라가며, 여기서, m 은 아래에 규정된다.
m 은 stream_type 0x27 또는 0x29 의 수신된 HEVC 서브-파티션들의 개수이다.
Hl 은 동일한 HEVC 베이스 서브-파티션을 가지는 계층구조 디스크립터들에 연관된, stream_type 0x27 또는 0x29 의 l-번째 수신된 HEVC 서브-파티션의 수신된 HEVC 대응하는 시간적 향상 서브-파티션들의 개수이다.
ESl,k 는 stream_type 0x27 또는 0x29 의 l-번째 수신된 HEVC 서브-파티션의 k-번째 HEVC 대응하는 시간적 향상 서브-파티션, 또는 k 가 0 과 동일하면 stream_type 0x27 또는 0x29 의 l-번째 HEVC 서브-파티션을 포함하는 수신된 기본 스트림이다.
ESn+m,Hm 은 수신된 기본 스트림들의 세트에서 최고 HEVC 동작 지점의 HEVC 서브-파티션을 포함하는 수신된 기본 스트림이다.
PIDn+m,Hm 은 ESn+m,Hm 을 식별하는 패킷 식별자 값이다.
j 는 출력 HEVC 액세스 유닛들에의 인덱스이다
Cl(j) 는 stream_type 0x27 또는 0x29 의 l-번째 수신된 HEVC 서브-파티션 또는 HEVC 대응하는 시간적 향상 서브-파티션의 j-번째 HEVC 계층 구성요소이다.
An(j) 는 HEVC 완전 시간 표현의 j-번째 HEVC 액세스 유닛이다.
tdn(j) 는 시스템 목표 디코더에서의 An(j) 의 디코딩 시간이다.
trl(j) 는 Cl(j) 에 첨부된 PES 헤더에서 이용가능하면, TREF 의 값, 그렇지 않으면 시스템 목표 디코더에서의 An(j) 의 디코딩 시간이다.
TBl,k 는 기본 스트림 ESl,k 에 대한 전송 버퍼이다.
TBSl,k 는 바이트들로 측정된, 전송 버퍼 TBl,k 의 사이즈이다.
MBl,k 는 기본 스트림 ESl,k 에 대한 멀티플렉싱 버퍼이다.
MBSl,k 는 바이트들로 측정된, 멀티플렉싱 버퍼 MBl,k 의 사이즈이다.
EBl 은 수신된 HEVC 시간 비디오 서브-비트스트림 ESl,0 및 수신된 HEVC 시간 비디오 서브세트들 ESl,1 내지 ESl,H 에 대한 기본 스트림 버퍼이다. 주 X1 - 각각의 버퍼 EBl 은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 F 에 규정된 바와 같은 하나 이상의 파티션들을 포함한다.
EBSl 은 바이트들로 측정된, 기본 스트림 버퍼 EBl 의 사이즈이다.
Rxl,k 는 아래에 규정된 바와 같은, k-번째 전송 버퍼 TBl,k 로부터 k-번째 멀티플렉스 버퍼 MBl,k 까지의 전송율이다.
Rbxl,k 는 아래에 규정된 바와 같은 k-번째 멀티플렉스 버퍼 MBl,k 로부터 기본 스트림 버퍼 EBl 까지의 전송율이다. 주 X2 - 인덱스 n 은, 사용되는 경우, 수신된 기본 스트림들 및 연관된 버퍼들이 어떤 HEVC 베이스 서브-파티션에 속한다는 것을 나타내며, 이들 기본 스트림들 및 연관된 버퍼들을 다른 기본 스트림들 및 버퍼들과 식별하여, 도 2 및 다른 T-STD 확장판들에서의 표기와 일관성을 유지한다.
TBl,k, MBl,k, EBl 버퍼 관리에 대해, 다음이 적용된다:
Figure pct00013
각각의 수신된 기본 스트림 ESl,k 에 대해 하나의 전송 버퍼 TBl,k 가 존재하며, 여기서, 사이즈 TBSl,k 는 512 바이트에 고정된다.
Figure pct00014
각각의 수신된 기본 스트림 ESl,k 에 대해 하나의 멀티플렉스 버퍼 MBl,k 가 존재하며, 여기서, 멀티플렉스 버퍼 MBl,k 의 사이즈 MBSl,k 는 다음과 같이 제한된다:
MBSn,k = BSmux + BSoh + CpbBrNalFactor × MaxCPB[티어, 레벨] - cpb_size (바이트들로 측정됨)
여기서,
BSoh, 즉 패킷 오버헤드 버퍼링, 및 BSmux, 즉, 추가적인 멀티플렉스 버퍼링은, 문서 N13656 의 조항 2.17.2 에 규정된 것과 동일하며;
MaxCPB[티어, 레벨] 및 MaxBR[티어, 레벨] 은 ESl,k 와 연관된 HEVC 동작 지점의 티어 및 레벨에 대한 HEVC 의 티어 및 레벨 사양으로부터 얻어지며;
cpb_size 는 ESl,k 와 연관된 HEVC 동작 지점에 포함되는, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 F 에 규정된 바와 같은, 서브-계층 HRD 파라미터들로부터 얻어진다.
Figure pct00015
수신된 기본 스트림들 ESl,0 내지 ESlm,Hl 의 세트에서의 Hl + 1 기본 스트림들에 대해 하나의 기본 스트림 버퍼 EBl 이 존재하며, 전체 사이즈 EBSl 은 다음과 같다
EBSl = cpb_size (바이트들로 측정됨)
여기서, cpb_size 는 ESl,H 와 연관된 HEVC 동작 지점에 포함되는, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 F 에 규정된 바와 같은, 서브-계층 HRD 파라미터들로부터 얻어진다.
Figure pct00016
TBl,k 로부터 MBl,k 로의 전송은 다음과 같이 적용된다:
TBl,k 에 어떤 데이터도 없을 때, Rxl,k 는 제로와 동일하다.
Figure pct00017
그렇지 않으면, Rxl,k = bit_rate
여기서, bit_rate 는 바이트 스트림 포맷에 대한 CPB 로의 데이터 흐름의, CpbBrNalFactor / CpbBrVclFactor × 비트레이트[i] 이며, 비트레이트[i] 는 서브-계층 HRD 파라미터들이 ESl,k 에서의 HEVC 비디오 서브-파티션에 대한 VPS 에 존재할 때 권고안 ITU-T H.265 | ISO/IEC 23008-2 에서 정의된 것과 동일하다.
Figure pct00018
MBl,k 로부터 EBl 로의 전송은 다음과 같이 적용된다:
Figure pct00019
HEVC_timing_and_HRD_descriptor 가 존재하고 동시에 hrd_management_valid_flag 가 HEVC 비디오 서브-비트스트림에 대해 '1' 로 설정되면, MBl,k 로부터 EBl 로의 데이터의 전송은 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 정의된 바와 같이 기본 스트림 ESl,H 의 CPB 에의 데이터 도달을 위해 HRD 정의된 방식을 따라야 한다.
Figure pct00020
그렇지 않으면, 누설 방법이 다음과 같이 데이터를 MBl,k 로부터 EBl 로 전송하는데 사용되어야 한다:
Rbxn,k = CpbBrNalFactor × MaxBR[티어, 레벨]
여기서, MaxBR[티어, 레벨] 은 기본 스트림 ESl,k 에서의 연관된 HEVC 계층화된 비디오 서브-비트스트림(까지)를 재조립하는 것으로부터 기인하는 HEVC 동작 지점의 티어 및 레벨에 대한 권고안 ITU T H.265 | ISO/IEC 23008-2 (테이블 A.2) 에서의 티어 및 레벨 사용에서의 바이트 스트림 포맷에 대해 정의된 바와 같다.
MBl,k 에 PES 패킷 페이로드 데이터가 존재하고 EBl 이 풀이 아니면, PES 패킷 페이로드가 MBl,k 로부터 EBl 로 Rbxl,k 와 동일한 레이트에서 전송된다. EBl 이 풀이면, 데이터가 MBl,k 로부터 제거되지 않는다. 데이터의 바이트가 MBl,k 로부터 EBl 로 전송될 때, MBl,k 에 있고 그 바이트에 선행하는 모든 PES 패킷 헤더 바이트들이 동시적으로 제거되고 폐기된다. MBl,k 에 존재하는 어떤 PES 패킷 페이로드 데이터도 없을 때, MBl,k 로부터 어떤 데이터도 제거되지 않는다. MBl,k 에 들어가는 모든 데이터가 거기를 떠난다. 모든 PES 패킷 페이로드 데이터 바이트들이 MBl,k 를 떠나자 마자 동시적으로 EBl 에 들어간다.
2014년 10월 10일에 출원된, 미국 가특허출원 제 62/062,681호에서 설명된 HEVC 확장판들의 캐리지를 위한 MPEG-2 TS 의 설계가 관련된다.
위에서 나타낸 디스크립터들에 더해서, 디스크립터들은 하나 이상의 HEVC 타이밍 및 HRD 디스크립터들을 포함할 수도 있다. HEVC 타이밍 및 HRD 디스크립터는 HEVC 비디오 스트림, HEVC 시간 비디오 서브-비트스트림, 또는 HEVC 시간 비디오 서브세트에 대해 타이밍 및 HRD 파라미터들을 제공한다. 아래 테이블 2-110 는 문서 N13656 에서 정의된 바와 같은, HEVC 타이밍 및 HRD 디스크립터에 대한 신택스 테이블이다.
테이블 2-110 - HEVC 타이밍 및 HRD 디스크립터
Figure pct00021
테이블 2-110 에서, hrd_management_valid_flag 는 단지 전송 스트림들에서의 사용을 위해서만 정의된 1-비트 플래그이다. HEVC 타이밍 및 HRD 디스크립터가 전송 스트림으로 운반되는 HEVC 최고 시간 서브-계층 표현과, 또는 HEVC 비디오 스트림과 연관될 때, 다음이 적용된다. hrd_management_valid_flag 가 '1' 로 설정되면, 버퍼링 기간 SEI 및 픽처 타이밍 SEI 메시지들은, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 정의된 바와 같이, 연관된 HEVC 비디오 스트림 또는 HEVC 최고 시간 서브-계층 표현에 존재하여야 한다. 이들 버퍼링 기간 SEI 메시지들은 코딩된 nal_initial_cpb_removal_delay 및 nal_initial_cpb_removal_delay_offset 값들을 운반하여야 하며, NAL HRD 에 대한 nal_initial_alt_removal_delay 및 nal_initial_alt_cpb_removal_delay_offset 값들을 추가적으로 운반할 수도 있다. hrd_management_valid_flag 가 '1' 로 설정되면, 문서 N13656 의 2.17.2 에 정의된 바와 같은 T-STD 에서 MBn 로부터 EBn 로의 각각의 바이트의 전송 또는 문서 N13656 의 2.17.3 에서 정의된 바와 같은 T-STD 에서 MBn,k 로부터 EBn 로의 전송은, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 규정된 바와 같은, cpb_cnt_minus1 와 동일한 SchedSelIdx 에 대한, 코딩된 nal_initial_alt_cpb_removal_delay 및 nal_initial_alt_cpb_removal_delay_offset 값들로부터, 또는 코딩된 nal_initial_cpb_removal_delay 및 nal_initial_cpb_removal_delay_offset 으로부터 결정되는 것과 같은, NAL HRD 에서의 CPB 로의 그 바이트에 대한 전달 스케쥴에 따라야 한다. hrd_management_valid_flag 가 '0' 으로 설정되면, 누설 (leak) 방법이 문서 N13656 의 2.17.2 에서 정의된 바와 같은 T-STD 에서 MBn 으로부터 EBn 까지의 전송 또는 문서 N13656 의 2.17.3 에서 정의된 바와 같은 T-STD 에서 MBn,k 로부터 EBn 으로의 전송을 위해 사용되어야 한다.
따라서, N13656 에 규정된 HEVC 타이밍 및 HRD 디스크립터의 버전에서, SchedSelIdx 의 값은 cpb_cnt_minus1 과 동일하게 설정된다. HRD 동작들에서, 가상 스트림 스케쥴러는 SchedSelIdx 로 표시되는 전달 스케쥴에 따라서 테스트 비트스트림들을 전달한다.
위에서 언급한 바와 같이, 현재의 HEVC 타이밍 및 HRD 디스크립터에서, SchedSelIdx 의 값은 cpb_cnt_minus1 과 동일하게 설정된다. 그러나, HEVC 사양에서는, cpb_cnt_minus1 의 하나의 값 뿐만 아니라(즉, 단일 값뿐만 아니라), 값들의 어레이, 즉, 각각의 시간 서브-계층에 대한 개별 값이 존재한다. 따라서, 그 값들 중 어느 것이 사용되어야 하는 지가 적어도 불분명하다. 더욱이, 0 보다 큰 cpb_cnt_minus1 의 임의의 특정의 값에 대해, 다수의 전달 스케쥴들이 존재할 수 있으며, 항상 최종 전달 스케쥴이 항상 선정되는 (즉, 선택되는) 이유가 명확하지 않다. 마지막으로, SHVC/MV-HEVC HRD 의 최종 설계에서, 특정의 출력 계층 세트에 대한 전달 스케쥴은 상이한 계층들에 대한 상이한 전달 스케쥴들의 조합이다.
이 문제를 극복하기 위해, 본 개시물에서는, SchedSelIdx 의 값 (즉, 스케쥴 선택 인덱스) 이 HEVC 타이밍 및 HRD 디스크립터로 명시적으로 시그널링되는 것이 제안된다. 예를 들어, 신택스 엘리먼트 target_schedule_idx 는 HEVC 타이밍 및 HRD 디스크립터로 시그널링될 수도 있다. 하나의 대안예에서, SchedSelIdx 의 값은 각각의 동작 지점에 대한 HEVC 동작 지점 디스크립터 내에서 시그널링된다. 따라서, 일 예에서, 비디오 프로세싱 디바이스 (예컨대, 소스 디바이스 (12), 비디오 인코더 (20)) 는 HEVC 타이밍 및 HRD 디스크립터로, 또는 각각의 동작 지점에 대한 HEVC 동작 지점 디스크립터로, 스케쥴 선택 인덱스의 값을 명시적으로 시그널링한다. 이와 유사하게, 일 예에서, 비디오 디코더 (30) (또는, 목적지 디바이스 (14)) 는 HEVC 타이밍 및 HRD 디스크립터, 또는 각각의 동작 지점에 대한 HEVC 동작 지점 디스크립터로 명시적으로 시그널링되는 스케쥴 선택 인덱스의 값을 획득할 수도 있다.
SHVC / MV-HEVC 사양들에서는, 하나 이상의 HRD 파라미터들 신택스 구조들이 있을 수도 있으며, 비트스트림의 각각의 파티션은 HRD 파라미터들 신택스 구조들 중 하나를 지칭한다. MPEG-2 시스템들을 통한 L-HEVC 의 캐리지를 위해, 각각의 HEVC 서브-파티션에 대해 현재 적용가능한 HRD 파라미터들이 명확히 규정되지 않는다. 다시 말해서, 어느 HRD 파라미터들이 특정의 HEVC 서브-파티션들에 적용되는지가 불명확하다. HEVC 서브-파티션에 적용가능한 HRD 파라미터들 신택스 구조는 HEVC 서브-파티션을 수반하는 HRD 동작들을 수행할 때에 이용된다.
이 문제를 극복하기 위해, 본 개시물은 파티션에 대한 적용가능한 HRD 파라미터가, HRD 파라미터 세트의 인덱스가 SHVC 초안 텍스트 7 또는 MV-HEVC 초안 텍스트 9 의 vps_vui_bsp_hrd_params 신택스 테이블 (즉, 비디오 파라미터 세트 비디오 유용성 비트스트림 파티션 HRD 파라미터들 신택스 테이블) 에 규정된 신택스 엘리먼트 bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ] 에 의해 표시되는 HRD 파라미터 세트에 할당되는 것을 제안한다. 여기서, 용어 파티션은 SHVC/MV-HEVC 상황에서 이용된다. 예를 들어, 비디오 디코더 (30) 는 비트스트림의 파티션에 대한 적용가능한 HRD 파라미터가 SHVC 초안 사양 또는 MV-HEVC 초안 사양의 비디오 파라미터 세트 비디오 유용성 비트스트림 파티션 HRD 파라미터들 신택스 테이블에 규정된 신택스 엘리먼트에 의해 표시되는 인덱스를 가지는 HRD 파라미터에 할당된다고 결정할 수도 있다. 이와 유사하게, 비디오 프로세싱 디바이스는 SHVC 초안 사양 또는 MV-HEVC 초안 사양의 비디오 파라미터 세트 비디오 유용성 비트스트림 파티션 HRD 파라미터들 신택스 테이블에서, 비트스트림의 파티션에 할당된 적용가능한 HRD 파라미터로의 인덱스를 나타내는 신택스 엘리먼트를 발생시킬 수도 있으며, 파티션은 적용가능한 HRD 파라미터에 대응한다.
따라서, 일부 예들에서, 비디오 인코더 (20) 와 같은, 비디오 프로세싱 디바이스는 신택스 엘리먼트들의 어레이 (예컨대, bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ]) 및 복수의 HRD 파라미터들 신택스 구조들 (예컨대, hrd_parameters( )) 을 포함하는 VPS 를 발생시킬 수도 있다. 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함한다. 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정한다.
더욱이, 비디오 프로세싱 디바이스는 전달 스케쥴의 인덱스를 나타내는 목표 스케쥴 인덱스 신택스 엘리먼트 (예컨대, target_schedule_idx) 를 포함하는 HEVC 타이밍 및 HRD 디스크립터를 발생시킬 수도 있다. 비디오 프로세싱 디바이스는 복수의 기본 스트림들 및 HEVC 타이밍 및 HRD 디스크립터를 포함하는, MPEG-2 데이터 스트림과 같은, 데이터 스트림을 발생시킬 수도 있다. 파라미터들의 세트 (예컨대, bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ]) 는 특정의 기본 스트림에 적용가능한 것으로 식별된 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별한다. 이 예에서, 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터 (예컨대, SchedSelCombIdx) 를 포함할 수도 있다. 더욱이, 일부 예들에서, 파라미터들의 세트는 그의 값이 도 7 의 예에 나타낸 방법으로 결정된 제 2 파라미터 (예컨대, partitionIdx) 를 포함한다. 게다가, 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함할 수도 있다. 제 3 파라미터 (예컨대, TargetOlsIdx) 는 동작 지점의 목표 출력 계층 세트 인덱스를 규정한다. 제 4 파라미터 (예컨대, TargetPsIdx) 는 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 제 5 파라미터 (예컨대, HighestTid) 는 동작 지점의 최고 시간 식별자를 규정한다.
유사한 예에서, 비디오 디코더 (30) 는 복수의 기본 스트림들 및 HEVC 타이밍 및 HRD 디스크립터를 포함하는, MPEG-2 데이터 스트림과 같은, 데이터 스트림을 수신할 수도 있다. HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 나타내는 목표 스케쥴 인덱스 신택스 엘리먼트 (예컨대, target_schedule_idx) 를 포함한다. 더욱이, 비디오 디코더 (30) 는 파라미터들의 세트에 기초하여, VPS 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별할 수도 있다. VPS 는 복수의 HRD 파라미터들 신택스 구조들 (예컨대, hrd_parameters( )) 을 포함한다. 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함한다. 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정한다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터 (예컨대, SchedSelCombIdx) 를 포함한다. 더욱이, 일부 예들에서, 파라미터들의 세트는 그의 값이 도 7 의 예에 나타낸 방법으로 결정된 제 2 파라미터 (예컨대, partitionIdx) 를 포함한다. 게다가, 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함할 수도 있다. 제 3 파라미터 (예컨대, TargetOlsIdx) 는 동작 지점의 목표 출력 계층 세트 인덱스를 규정한다. 제 4 파라미터 (예컨대, TargetPsIdx) 는 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 제 5 파라미터 (예컨대, HighestTid) 는 동작 지점의 최고 시간 식별자를 규정한다. 더욱이, 이 예에서, 비디오 디코더 (30) 는 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별할 수도 있다. 복수의 기본 스트림들은 특정의 기본 스트림을 포함한다.
JCT-VC 그룹과 JCT-3V 그룹의 사뽀로 회의에서, 프로파일, 티어 및 레벨 (PTL) 정보가 각각의 출력 계층 세트 또는 동작 지점 대신, 각각의 계층과 연관되는 것으로 합의되었다. 이 결정은 다음 2개의 사실들 때문에 L-HEVC TS 초안에서의 버퍼 모델의 설계에 영향을 미친다. 첫째, 현재, 기본 스트림은 HEVC 서브-파티션 (예컨대, HEVC 베이스 서브-파티션, HEVC 향상 서브-파티션 또는 HEVC 시간적 향상 서브-파티션) 이며, 하나 이상의 계층들이 기본 스트림 내에서 전송될 수 있다. 둘째, 버퍼 모델에서의 각각의 기본 스트림은 전송 버퍼 (TBn), 멀티플렉싱 버퍼 (MBn) 및 기본 스트림 버퍼 (EBn) 를 통과한다.
현재, MBn 의 사이즈는 다음 방정식에 기초하여 계산된다:
MBS n,k = BS mux + BS oh + CpbBrNalFactor × MaxCPB[티어, 레벨] - cpb_size (바이트들로 측정됨)
여기서, BS mux , BS oh 및 MaxCPB[티어, 레벨] 은 PTL 정보에 의존한다. 상기 수식에서, BSoh, 즉 패킷 오버헤드 버퍼링, 및 BSmux, 즉, 추가적인 멀티플렉스 버퍼링은, 문서 N13656 의 조항 2.17.2 에 규정된 것과 동일하며; MaxCPB[티어, 레벨] 및 MaxBR[티어, 레벨] 은 ESl,k 와 연관된 HEVC 동작 지점의 티어 및 레벨에 대한 HEVC 의 티어 및 레벨 사양으로부터 얻어진다. cpb_size 는 ESl,k 와 연관된 HEVC 동작 지점에 포함되는, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 F 에 규정된 바와 같은, 적용가능한 hrd_parameters( ) 내의 서브-계층 HRD 파라미터들로부터 얻어진다. 기본 스트림이 하나 보다 많은 계층을 가질 때, 하나 보다 많은 가용 PTL 정보의 세트가 존재한다. 그 결과, BS mux , BS oh 및 MaxCPB[티어, 레벨] 의 값이 어느 PTL 정보의 세트로부터 계산되거나 또는 유도되어야 하는지가 불분명하다.
이 문제를 극복하기 위해, 본 개시물은 단지 하나의 계층을 포함하도록 각각의 기본 스트림 (즉, HEVC 서브-파티션) 을 제한할 (즉, 한정하거나 또는 요구할) 것을 제안한다. 예를 들어, 비디오 프로세싱 디바이스 (예컨대, 소스 디바이스 (12), 비디오 인코더 (20)) 는 하나 이상의 기본 스트림들을 포함하는 데이터 스트림 (예컨대, MPEG-2 프로그램 스트림 또는 전송 스트림) 을 발생시킬 수도 있다. 이 예에서, 데이터 스트림은 하나 이상의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는다. 유사한 예에서, 비디오 디코더 (30) 는 하나 이상의 기본 스트림들을 포함하는 데이터 스트림 (예컨대, MPEG-2 프로그램 스트림 또는 전송 스트림) 의 비디오 데이터를 디코딩할 수도 있다. 이 예에서, 데이터 스트림은 하나 이상의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는다.
위에서 설명한 바와 같이, HEVC 타이밍 및 HRD 디스크립터는 타이밍 및 HRD 파라미터들을 제공한다. 현재의 HEVC 타이밍 및 HRD 디스크립터는 현재의 HEVC 타이밍 및 HRD 디스크립터가 프로그램-레벨 디스크립터 또는 프로그램 엘리먼트-레벨 디스크립터인지 여부를 규정하지 않는다. 다음의 양자가 가능하다. 첫째, HEVC 타이밍 및 HRD 디스크립터는 프로그램-레벨 디스크립터로서 시그널링될 수도 있다. HEVC 타이밍 및 HRD 디스크립터가 프로그램-레벨 디스크립터로서 시그널링될 때, HEVC 타이밍 및 HRD 디스크립터의 이 단일 인스턴스가 stream_type 0x24, 0x25, 0x27 ~ 0x2A 를 가지는 모든 기본 스트림들에 적용되므로, 그 HRD 타이밍 및 HRD 디스크립터의 오직 하나의 인스턴스가 존재해야 한다. 둘째, HEVC 타이밍 및 HRD 디스크립터는 프로그램-엘리먼트-레벨 디스크립터로서 시그널링된다. 디스크립터는 단지 특정의 기본 스트림에만 적용된다. 이것은 HEVC 타이밍 및 HRD 디스크립터가 일부 기본 스트림들에 대해 존재하고 어떤 다른 기본 스트림들에 대해서는 존재하지 않을 가능성을 허용한다. 이러한 시나리오가 가능하지만, 이러한 더 미세하게 세분화된 시그널링의 어떤 이점도 없는 것처럼 보인다.
이 문제를 극복하기 위해, 본 개시물은 다음을 제안한다. 존재하는 경우, HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터로서 시그널링되어야 한다. 존재하는 경우, ITU-T 권고안 H.222.0 | ISO/IEC 13818-1 에 대해 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재해야 한다. 따라서, 일부 예들에서, 비디오 프로세싱 디바이스 (예컨대, 소스 디바이스 (12), 비디오 인코더 (20)) 는 ITU-T 권고안 H.222.0 표준을 따르는 MPEG-2 데이터 스트림으로, HEVC 타이밍 및 HRD 디스크립터를 프로그램 레벨 디스크립터로서 발생시키며, 여기서, MPEG-2 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구된다. 유사한 예에서, 비디오 디코더 (30) 는 ITU-T 권고안 H.222.0 표준을 따르는 MPEG-2 데이터 스트림으로부터, HEVC 타이밍 및 HRD 디스크립터를 프로그램 레벨 디스크립터로서 획득하며, 여기서, (예컨대, 비트스트림 순응성의 조건으로서) MPEG-2 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구된다.
문서 N13656 에서의 HEVC 타이밍 및 HRD 디스크립터의 설명에서, hrd_management_valid_flag 가 '1' 과 동일하면, 버퍼링 기간 및 픽처 타이밍 SEI 메시지들은 연관된 HEVC 비디오 스트림 또는 HEVC 최고 시간 서브-계층 표현에 존재해야 한다고 규정되어 있다. 그러나, 그들 SEI 메시지들의 존재의 N13656 의 문서에서의 어떤 추가적인 설명도 없다. 일어날 수도 있는 하나의 문제는 SEI 메시지들이 존재하지만 HEVC 동작 지점 디스크립터에 정의된 동작 지점들의 단지 일부에만 적용가능하거나 또는 심지어 어떤 HEVC 동작 지점 디스크립터에 정의된 동작 지점들에도 적용가능하지 않을 수도 있다는 점이다. 위에서 언급한 바와 같이, hrd_management_valid_flag 는 HEVC 타이밍 및 HRD 디스크립터에 규정된다.
상기 문제를 피하기 위해, 본 개시물은, hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 지점 디스크립터로 시그널링된 동작 지점들의 각각에 대해 적용가능한 버퍼링 기간 SEI 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하는 것으로 규정되어야 한다고 제안한다.
따라서, 이 문제를 극복하기 위해, HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터로 시그널링된 동작 지점들의 각각에 적용가능한 버퍼링 기간 SEI 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재해야 하도록, 제한 (즉, 제한 사항 또는 요건) 을 갖는 것이 제안된다. 따라서, 일부 예들에서, 비디오 프로세싱 디바이스 (예컨대, 소스 디바이스 (12), 비디오 인코더 (20)) 는, HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 SEI 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는 프로그램 스트림 또는 전송 스트림을 발생시킨다. 일부 예들에서, 비디오 디코더 (30) (또는, 목적지 디바이스 (14)) 는, HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 SEI 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는 프로그램 스트림 또는 전송 스트림의 비디오 데이터를 디코딩한다.
JCTVC-R1013 에서, 용어 "디코딩 유닛" 은 SubPicHrdFlag 가 0 과 동일한 경우 액세스 유닛, 또는 아니면 액세스 유닛에서의 하나 이상의 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들로 이루어지는 액세스 유닛의 서브세트로서 정의된다. 디코딩 프로세스가 JCTVC-R1013 의 조항 C.1 에 규정된 바와 같은 비트스트림 순응성 테스트에서 호출되면, 선택된 hrd_parameters( ) 신택스 구조에서의 sub_pic_hrd_params_present_flag 가 1 과 동일할 때, CPB 는 액세스 유닛 레벨 (이 경우 변수 SubPicHrdFlag 가 0 과 동일하게 설정된다) 에서 또는 서브-픽처 레벨 (이 경우 변수 SubPicHrdFlag 가 1 과 동일하게 설정된다) 에서 동작하도록 스케쥴링된다. 그렇지 않으면, SubPicHrdFlag 는 0 과 동일하게 설정되며 CPB 는 파티션 유닛 레벨에서 동작하도록 스케쥴링된다. 그렇지 않고, 디코딩 프로세스가 JCTVC-R1013 의 조항 C.1 에 규정된 바와 같이 비트스트림 순응성 테스트에서 호출되지 않으면, SubPicHrdFlag 는 ( SubPicHrdPreferredFlag && sub_pic_hrd_params_present_flag ) 와 동일하게 설정된다. 변수 SubPicHrdPreferredFlag 는 외부 수단에 의해 규정되거나, 또는 외부 수단에 의해 규정되지 않을 때, 0 과 동일하게 설정된다.
L-HEVC TS 초안에서의 현재의 버퍼 모델은 초저 지연 버퍼 모델을 지원하지 않는다. 데이터가 액세스 유닛 레벨에 바인딩된 주어진 디코딩 시간스탬프 (DTS) 에 기초하여 기본 스트림 버퍼 (EB) 로부터 바이트 단위로 제거된다, 즉, 전체 액세스 유닛에 대해 오직 하나의 DTS 의 값이 존재한다. 이와 같이, 주어진 액세스 유닛과 연관된 모든 데이터 (즉, 모든 바이트들) 가 주어진 DTS 에 기초하여 기본 스트림으로부터 제거된다. 이러한 방법은 전체 액세스 유닛이 CPB 에서 이용가능하기 전에 데이터가 CPB 로부터 제거될 것으로 예상되는 초저 지연 모드가 지원된다는 것을 의미한다.
이 문제를 극복하기 위해, 본 개시물은 다음을 제안한다:
Figure pct00022
MPEG-2 시스템들에서 디코딩 유닛의 정의를 제공하는 것.
Figure pct00023
비디오 스트림을 포함하는 각각의 프로그램에 대해, 디코딩 유닛 (예컨대, 액세스 유닛, 액세스 유닛 내 픽처들의 컬렉션, 픽처, 슬라이스, 슬라이스 세그먼트) 의 미세화도의 표시를 시그널링하는 것.
Figure pct00024
동일한 액세스 유닛에 속하는 각각의 PES 패킷이 상이한 DTS 를 가질 수도 있으며; 그러나 동일한 디코딩 유닛에 속하는 PES 패킷들의 DTS 가 동일하여야 한다.
Figure pct00025
기본 스트림 버퍼로부터의 픽처들의 제거가 DTS 값에 기초한다.
상기 기법에 대한 대안적인 솔루션은 다음과 같을 수 있다. 기본 스트림으로부터의 데이터의 제거는 디코딩 유닛 정보 SEI 메시지들의 존재를, 그들이 비디오 스트림에 존재할 때, 고려한다.
위에서 나타낸 바와 같이, 본 개시물의 기법에 따르면, 비디오 스트림을 포함하는 각각의 프로그램에 대해, 디코딩 유닛의 미세화도의 표시가 시그널링된다. 따라서, 일 예에서, 비디오 프로세싱 디바이스 (예컨대, 목적지 디바이스 (14), 비디오 디코더 (30)) 는 데이터 스트림을 수신하고, 비디오 스트림을 포함하는 데이터 스트림의 각각의 프로그램에 대해서, 디코딩 유닛의 미세화도의 표시를 획득한다. 유사한 예에서, 비디오 프로세싱 디바이스 (예컨대, 소스 디바이스 (12), 비디오 인코더 (20)) 는 비디오 스트림을 포함하는 데이터 스트림의 각각의 프로그램에 대해, 디코딩 유닛의 세분화도의 표시를 포함하는 데이터 스트림을 발생시킬 수도 있다. 이들 예들에서, 디코딩 유닛의 그래뉼래러티는 액세스 유닛, 액세스 유닛 내 픽처들의 컬렉션, 픽처, 슬라이스, 또는 슬라이스 세그먼트 중 하나일 수도 있다.
더욱이, 위에서 나타낸 바와 같이, 본 개시물의 기법에 따르면, 동일한 액세스 유닛에 속하는 각각의 PES 패킷은 상이한 DTS 를 가질 수도 있지만 동일한 디코딩 유닛에 속하는 PES 패킷들의 DTS들은 동일하여야 한다. 그러므로, 적어도 일부 이러한 예들에서, 동일한 액세스 유닛에 속하는 각각의 PES 패킷은 상이한 DTS들을 가질 수도 있으며 동일한 디코딩 유닛에 속하는 PES 패킷들의 DTS들은 동일하도록 요구된다.
게다가, 위에서 나타낸 바와 같이, 본 개시물의 기법에 따르면, 기본 스트림 버퍼로부터의 픽처들의 제거는 DTS 값에 기초할 수도 있다. 따라서, 하나의 이러한 예에서, 비디오 디코더는 데이터를 버퍼에 저장하고, 데이터의 전체 액세스 유닛이 버퍼에서 이용가능하기 전에 버퍼로부터 데이터를 제거할 수도 있다.
본 개시물은 여러 기법들을 제안한다. 이들 기법들 중 일부는 독립적으로 적용될 수도 있으며, 그들 중 일부는 조합하여 적용될 수도 있다.
도 3 은 본 개시물의 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 예시하는 블록도이다. 도 3 은 설명의 목적들을 위해 제공되며 본 개시물에서 넓게 예시되고 설명된 바와 같은 기법들의 한정으로 간주되지 않아야 한다. 설명의 목적을 위해, 본 개시물은 HEVC 코딩의 상황에서 비디오 인코더 (20) 를 기술한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에도 적용가능할 수도 있다. 비디오 인코더 (20) 는 본 개시물의 기법들 중 임의의 기법을 수행하도록 구성될 수도 있는 디바이스의 일 예를 나타낸다.
도 3 의 예에서, 비디오 인코더 (20) 는 예측 프로세싱 유닛 (100), 비디오 데이터 메모리 (101), 잔차 발생 유닛 (102), 변환 프로세싱 유닛 (104), 양자화 유닛 (106), 역양자화 유닛 (108), 역변환 프로세싱 유닛 (110), 복원 유닛 (112), 필터 유닛 (114), 디코딩된 픽처 버퍼 (116), 및 엔트로피 인코딩 유닛 (118) 을 포함한다. 예측 프로세싱 유닛 (100) 은 인터-예측 프로세싱 유닛 (120) 및 인트라-예측 프로세싱 유닛 (126) 을 포함한다. 인터-예측 프로세싱 유닛 (120) 은 모션 추정 유닛 및 모션 보상 유닛 (미도시) 을 포함한다. 다른 예들에서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능적 구성요소들을 포함할 수도 있다.
비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 구성요소들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (101) 에 저장된 비디오 데이터는 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다. 디코딩된 픽처 버퍼 (116) 는 예컨대, 인트라- 또는 인터-코딩 모드들에서 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩할 때에 사용하기 위해 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 동기 DRAM (SDRAM) 을 포함한 동적 랜덤 액세스 메모리 (DRAM), 자기저항 RAM (MRAM), 저항 RAM (RRAM), 또는 다른 유형들의 메모리 디바이스들과 같은, 다양한 메모리 디바이스들 중 임의의 메모리 디바이스에 의해 형성될 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 여러 예들에서, 비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 다른 구성요소들과의 온칩, 또는 그들 구성요소들에 대한 오프-칩일 수도 있다.
비디오 인코더 (20) 는 비디오 데이터를 수신한다. 비디오 인코더 (20) 는 비디오 데이터의 픽처의 슬라이스에서의 각각의 CTU 를 인코딩할 수도 있다. CTU들의 각각은 픽처의 동일-사이즈의 루마 코딩 트리 블록들 (CTB들) 및 대응하는 CTB들과 연관될 수도 있다. CTU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 쿼드-트리 파티셔닝을 수행하여, CTU 의 CTB들을 계속해서-더 작은 블록들로 분할할 수도 있다. 더 작은 블록은 CU들의 코딩 블록들일 수도 있다. 예를 들어, 예측 프로세싱 유닛 (100) 은 CTU 와 연관되는 CTB 를 4개의 동일-사이즈로된 서브-블록들로 파티셔닝하고, 서브-블록들 중 하나 이상을 4개의 동일-사이즈로된 서브-서브-블록들로, 그리고 기타 등등으로 파티셔닝할 수도 있다.
비디오 인코더 (20) 는 CU들의 인코딩된 표현들 (즉, 코딩된 CU들) 을 발생하기 위해 CTU 의 CU들을 인코딩할 수도 있다. CU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 CU 의 하나 이상의 PU들 중에서 CU 와 연관되는 코딩 블록들을 파티셔닝할 수도 있다. 따라서, 각각의 PU 는 루마 예측 블록 및 대응하는 크로마 예측 블록들과 연관될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 여러 사이즈들을 가지는 PU들을 지원할 수도 있다. 위에서 나타낸 바와 같이, CU 의 사이즈는 CU 의 루마 코딩 블록의 사이즈를 지칭할 수도 있으며, PU 의 사이즈는 루마 PU 의 예측 블록의 사이즈를 지칭할 수도 있다. 특정의 CU 의 사이즈가 2Nx2N 이라고 가정하면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 예측에 대해서는 2Nx2N 또는 NxN 의 PU 사이즈들을, 그리고 인터 예측에 대해서는 2Nx2N, 2NxN, Nx2N, NxN, 또는 등등의 대칭 PU 사이즈들을 지원할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한 인터 예측에 대해서 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에 대한 비대칭적인 파티셔닝을 지원할 수도 있다.
인터-예측 프로세싱 유닛 (120) 은 CU 의 각각의 PU 에 대해 인터 예측을 수행함으로써, PU 에 대한 예측 데이터를 발생시킬 수도 있다. PU 에 대한 예측 데이터는 PU 의 예측 블록들 및 PU 에 대한 모션 정보를 포함할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 PU 가 I 슬라이스, P 슬라이스, 또는 B 슬라이스 내에 있는지에 따라서, CU 의 PU 에 대해 상이한 동작들을 수행할 수도 있다. I 슬라이스에서, 모든 PU들은 인트라 예측된다. 그러므로, PU 가 I 슬라이스에 있으면, 인터-예측 프로세싱 유닛 (120) 은 PU 에 대해 인터 예측을 수행하지 않는다. 따라서, I-모드에서 인코딩되는 블록들에 대해, 예측된 블록은 동일한 프레임 내에서 이전에-인코딩된 이웃하는 블록들로부터 공간 예측을 이용하여 형성된다. PU 가 P 슬라이스 내에 있을 때, 인터-예측 프로세싱 유닛 (120) 은 PU 의 예측 블록을 발생시키기 위해 단방향 인터 예측을 이용할 수도 있다. PU 가 B 슬라이스 내에 있을 때, 인터-예측 프로세싱 유닛 (120) 은 PU 의 예측 블록을 발생시키기 위해 단방향 또는 양방향 인터 예측을 이용할 수도 있다.
인트라-예측 프로세싱 유닛 (126) 은 PU 에 대해 인트라 예측을 수행함으로써, PU 에 대한 예측 데이터를 발생시킬 수도 있다. PU 에 대한 예측 데이터는 PU 의 예측 블록들 및 여러 신택스 엘리먼트들을 포함할 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 I 슬라이스들, P 슬라이스들, 및 B 슬라이스들에서의 PU들에 대해 인트라 예측을 수행할 수도 있다.
PU 상에 인트라 예측을 수행하기 위해, 인트라-예측 프로세싱 유닛 (126) 은 다수의 인트라 예측 모드들을 이용하여, PU 에 대한 다수의 예측 데이터의 세트들을 발생시킬 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 이웃하는 PU들의 샘플 블록들로부터의 샘플들을 이용하여, PU 에 대한 예측 블록을 발생시킬 수도 있다. 이웃하는 PU들은 PU들, CU들, 및 CTU들에 대해 좌-우, 상-하 인코딩 순서를 가정하면, PU 의 상측에, 우상부에, 좌상부에, 또는 좌측에 있을 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 다수의 인트라 예측 모드들, 예컨대, 33개의 방향 인트라 예측 모드들을 이용할 수도 있다. 일부 예들에서, 인트라 예측 모드들의 번호는 PU 와 연관되는 영역의 사이즈에 의존할 수도 있다.
예측 프로세싱 유닛 (100) 은 PU들에 대해 인터-예측 프로세싱 유닛 (120) 에 의해 발생된 예측 데이터, 또는 PU들에 대해 인트라-예측 프로세싱 유닛 (126) 에 의해 발생된 예측 데이터 중으로부터, CU 의 PU들에 대한 예측 데이터를 선택할 수도 있다. 일부 예들에서, 예측 프로세싱 유닛 (100) 은 예측 데이터의 세트들의 레이트/왜곡 메트릭들에 기초하여, CU 의 PU들에 대한 예측 데이터를 선택한다. 선택된 예측 데이터의 예측 블록들은 본원에서 선택된 예측 블록들로서 지칭될 수도 있다.
잔차 발생 유닛 (102) 은 CU 에 대한 코딩 블록들 (예컨대, 루마, Cb 및 Cr 코딩 블록들) 및 CU 의 PU들에 대한 선택된 예측 블록들 (예컨대, 예측 루마, Cb 및 Cr 블록들) 에 기초하여, CU 에 대한 잔차 블록들 (예컨대, 루마, Cb 및 Cr 잔차 블록들) 을 발생시킬 수도 있다. 예를 들어, 잔차 발생 유닛 (102) 은 잔차 블록들에서의 각각의 샘플이 CU 의 코딩 블록에서의 샘플과 CU 의 PU 의 대응하는 선택된 예측 블록에서의 대응하는 샘플 사이의 차이와 동일한 값을 갖도록, CU 의 잔차 블록들을 발생시킬 수도 있다.
변환 프로세싱 유닛 (104) 은 쿼드-트리 파티셔닝을 수행하여, CU 와 연관되는 잔차 블록들을 CU 의 TU들과 연관되는 변환 블록들로 파티셔닝할 수도 있다. 따라서, TU 는 루마 변환 블록 및 2개의 크로마 변환 블록들과 연관될 수도 있다. CU 의 TU들의 루마 및 크로마 변환 블록들의 사이즈들 및 위치들은 CU 의 PU들의 예측 블록들의 사이즈들 및 위치들에 기초하거나 또는 기초하지 않을 수도 있다. "잔차 쿼드-트리" (RQT) 로서 알려진 쿼드-트리 구조는 그 영역들 각각과 연관되는 노드들을 포함할 수도 있다. CU 의 TU들은 RQT 의 리프 노드들에 대응할 수도 있다.
변환 프로세싱 유닛 (104) 은 하나 이상의 변환들을 TU 의 변환 블록들에 적용함으로써, CU 의 각각의 TU 에 대한 변환 계수 블록들을 발생시킬 수도 있다. 변환 프로세싱 유닛 (104) 은 여러 변환들을 TU 와 연관되는 변환 블록에 적용할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (104) 은 변환 블록에 이산 코사인 변환 (DCT), 방향성 변환, 또는 개념적으로 유사한 변환을 적용할 수도 있다. 일부 예들에서, 변환 프로세싱 유닛 (104) 은 변환 블록에 변환들을 적용하지 않는다. 이러한 예들에서, 변환 블록은 변환 계수 블록으로서 취급될 수도 있다.
양자화 유닛 (106) 은 계수 블록에서의 변환 계수들을 양자화할 수도 있다. 양자화 프로세스는 그 변환 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 절사될 수도 있으며, 여기서, n 은 m 보다 더 크다. 양자화 유닛 (106) 은 CU 와 연관되는 양자화 파라미터 (QP) 값에 기초하여, CU 의 TU 와 연관되는 계수 블록을 양자화할 수도 있다. 비디오 인코더 (20) 는 CU 와 연관되는 QP 값을 조정함으로써 CU 와 연관되는 계수 블록들에 적용되는 양자화의 정도를 조정할 수도 있다. 양자화는 정보의 손실을 도입할 수도 있으며, 따라서 양자화된 변환 계수들은 원래 정밀도들보다 낮은 정밀도를 가질 수도 있다.
역양자화 유닛 (108) 및 역변환 프로세싱 유닛 (110) 은 역양자화 및 역변환들을 계수 블록에 각각 적용하여, 계수 블록으로부터 잔차 블록을 복원할 수도 있다. 복원 유닛 (112) 은 그 복원된 잔차 블록을 예측 프로세싱 유닛 (100) 에 의해 발생되는 하나 이상의 예측 블록들로부터의 대응하는 샘플들에 가산하여, TU 와 연관되는 복원된 변환 블록을 생성할 수도 있다. 이 방법으로 CU 의 각각의 TU 에 대한 변환 블록들을 복원함으로써, 비디오 인코더 (20) 는 CU 의 코딩 블록들을 복원할 수도 있다.
필터 유닛 (114) 은 CU 와 연관되는 코딩 블록들에서 블록킹 아티팩트들을 감소시키기 위해, 하나 이상의 디블록킹 동작들을 수행할 수도 있다. 디코딩된 픽처 버퍼 (116) 은 필터 유닛 (114) 이 복원된 코딩 블록들에 관해 하나 이상의 디블록킹 동작들을 수행한 후 그 복원된 코딩 블록들을 저장할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 그 복원된 코딩 블록들을 포함하는 참조 픽처를 이용하여, 다른 픽처들의 PU들에 관해 인터 예측을 수행할 수도 있다. 게다가, 인트라-예측 프로세싱 유닛 (126) 은 디코딩된 픽처 버퍼 (116) 에서의 복원된 코딩 블록들을 이용하여, CU 와 동일한 픽처에서의 다른 PU들에 대해 인트라 예측을 수행할 수도 있다.
엔트로피 인코딩 유닛 (118) 은 비디오 인코더 (20) 의 다른 기능적 구성요소들로부터 데이터를 수신할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 양자화 유닛 (106) 으로부터 계수 블록들을 수신할 수도 있으며 예측 프로세싱 유닛 (100) 으로부터 신택스 엘리먼트들을 수신할 수도 있다. 엔트로피 인코딩 유닛 (118) 은 데이터에 대해 하나 이상의 엔트로피 인코딩 동작들을 수행하여, 엔트로피-인코딩된 데이터를 발생시킬 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 CABAC 동작, 컨텍스트-적응 가변 길이 코딩 (CAVLC) 동작, 변수-대-변수 (V2V) 길이 코딩 동작, 신택스-기반 컨텍스트-적응 2진 산술 코딩 (SBAC) 동작, 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 동작, 지수-Golomb 인코딩 동작, 또는 또다른 유형의 엔트로피 인코딩 동작을 데이터에 대해 수행할 수도 있다. 비디오 인코더 (20) 는 엔트로피 인코딩 유닛 (118) 에 의해 발생된 엔트로피-인코딩된 데이터를 포함하는 비트스트림을 출력할 수도 있다. 예를 들어, 비트스트림은 CU 에 대한 RQT 를 나타내는 데이터를 포함할 수도 있다.
도 4 는 본 개시물의 기법들을 구현하도록 구성된 예시적인 비디오 디코더 (30) 를 예시하는 블록도이다. 도 4 는 설명의 목적들을 위해 제공되며 본 개시물에 넓게 예시되고 설명된 것과 같은 기법들에 한정하는 것이 아니다. 설명의 목적을 위해, 본 개시물은 HEVC 코딩의 상황에서의 비디오 디코더 (30) 를 기술한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에도 적용가능할 수도 있다.
도 4 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (150), 비디오 데이터 메모리 (151), 예측 프로세싱 유닛 (152), 역양자화 유닛 (154), 역변환 프로세싱 유닛 (156), 복원 유닛 (158), 필터 유닛 (160), 및 디코딩된 픽처 버퍼 (162) 를 포함한다. 예측 프로세싱 유닛 (152) 은 모션 보상 유닛 (164) 및 인트라-예측 프로세싱 유닛 (166) 을 포함한다. 다른 예들에서, 비디오 디코더 (30) 는 더 많거나, 더 적거나, 또는 상이한 기능적 구성요소들을 포함할 수도 있다.
비디오 데이터 메모리 (151) 는 비디오 디코더 (30) 의 구성요소들에 의해 디코딩될, 인코딩된 비디오 비트스트림과 같은, 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (151) 에 저장된 비디오 데이터는 예를 들어, 채널 (16) 로부터, 예컨대, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해서, 또는 물리적인 데이터 저장 매체들에 액세스함으로써 획득될 수도 있다. 비디오 데이터 메모리 (151) 는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (CPB) 를 형성할 수도 있다. 디코딩된 픽처 버퍼 (162) 는 예컨대, 인트라- 또는 인터-코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩할 때에 사용하기 위해 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (151) 및 디코딩된 픽처 버퍼 (162) 는 동기 DRAM (SDRAM) 을 포함한 동적 랜덤 액세스 메모리 (DRAM), 자기저항 RAM (MRAM), 저항 RAM (RRAM), 또는 다른 유형들의 메모리 디바이스들과 같은, 다양한 메모리 디바이스들 중 임의의 메모리 디바이스에 의해 형성될 수도 있다. 비디오 데이터 메모리 (151) 및 디코딩된 픽처 버퍼 (162) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 여러 예들에서, 비디오 데이터 메모리 (151) 는 비디오 디코더 (30) 의 다른 구성요소들과의 온칩, 또는 그들 구성요소들에 대한 오프-칩일 수도 있다.
CPB (151) 는 비트스트림의 인코딩된 비디오 데이터 (예컨대, NAL 유닛들) 을 수신하여 저장한다. 엔트로피 디코딩 유닛 (150) 은 CPB 로부터 인코딩된 비디오 데이터 (예컨대, NAL 유닛들) 를 수신하고 NAL 유닛들을 파싱하여, 신택스 엘리먼트들을 획득할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 NAL 유닛들에서의 엔트로피-인코딩된 신택스 엘리먼트들을 엔트로피 디코딩할 수도 있다. 예측 프로세싱 유닛 (152), 역양자화 유닛 (154), 역변환 프로세싱 유닛 (156), 복원 유닛 (158), 및 필터 유닛 (160) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여, 디코딩된 비디오 데이터를 발생시킬 수도 있다. 엔트로피 디코딩 유닛 (150) 은 엔트로피 인코딩 유닛 (118) 의 프로세스와는 일반적으로 반대인 프로세스를 수행할 수도 있다.
비트스트림으로부터 신택스 엘리먼트들을 획득하는 것에 더해서, 비디오 디코더 (30) 는 비파티셔닝된 CU 에 대해 복원 동작을 수행할 수도 있다. CU 에 대해 복원 동작을 수행하기 위해, 비디오 디코더 (30) 는 CU 의 각각의 TU 에 대해 복원 동작을 수행할 수도 있다. CU 의 각각의 TU 에 대해 복원 동작을 수행함으로써, 비디오 디코더 (30) 는 CU 의 잔차 블록들을 복원할 수도 있다.
CU 의 TU 에 대해 복원 동작을 수행하는 것의 일부로서, 역양자화 유닛 (154) 은 TU 와 연관되는 계수 블록들을 역양자화할 수도 있다, 즉, 양자화 해제할 수도 있다. 역양자화 유닛 (154) 은 TU 의 CU 와 연관되는 QP 값을 이용하여, 적용할 역양자화 유닛 (154) 에 대한 양자화의 정도 및 이와 유사하게, 역양자화의 정도를 결정할 수도 있다. 즉, 압축 비, 즉, 원래 시퀀스 및 압축된 시퀀스를 표현하는데 사용되는 비트수의 비는, 변환 계수들을 양자화할 때 사용되는 QP 의 값을 조정함으로써 제어될 수도 있다. 압축 비는 또한 채용되는 엔트로피 코딩의 방법에 의존할 수도 있다.
역양자화 유닛 (154) 이 계수 블록을 역양자화한 후, 역변환 프로세싱 유닛 (156) 은 TU 와 연관되는 잔차 블록을 발생하기 위해, 하나 이상의 역변환들을 계수 블록에 적용할 수도 있다. 예를 들어, 역변환 프로세싱 유닛 (156) 은 역 DCT, 역 정수 변환, 역 Karhunen-Loeve 변환 (KLT), 역 회전 변환, 역 방향 변환, 또는 또 다른 역변환을 계수 블록에 적용할 수도 있다.
PU 가 인트라 예측을 이용하여 인코딩되면, 인트라-예측 프로세싱 유닛 (166) 은 인트라 예측을 수행하여, PU 의 예측 블록들을 발생시킬 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 인트라 예측 모드를 이용하여, 샘플들 공간적으로-이웃하는 블록들에 기초하여 PU 의 예측 블록들을 발생시킬 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 비트스트림으로부터 획득된 하나 이상의 신택스 엘리먼트들에 기초하여, PU 에 대한 인트라 예측 모드를 결정할 수도 있다.
PU 가 인터 예측을 이용하여 인코딩되면, 엔트로피 디코딩 유닛 (150) 은 PU 에 대한 모션 정보를 결정할 수도 있다. 모션 보상 유닛 (164) 은 PU 의 모션 정보에 기초하여, 하나 이상의 참조 블록들을 결정할 수도 있다. 모션 보상 유닛 (164) 은 하나 이상의 참조 블록들에 기초하여, PU 에 대한 예측 블록들 (예컨대, 예측 루마, Cb 및 Cr 블록들) 을 발생시킬 수도 있다.
복원 유닛 (158) 은 적용가능한 경우, CU 의 TU들에 대한 변환 블록들 (예컨대, 루마, Cb 및 Cr 변환 블록들) 및 CU 의 PU들의 예측 블록들 (예컨대, 루마, Cb 및 Cr 블록들), 즉, 인트라-예측 데이터 또는 인터-예측 데이터를 이용하여, CU 에 대한 코딩 블록들 (예컨대, 루마, Cb 및 Cr 코딩 블록들) 을 복원할 수도 있다. 예를 들어, 복원 유닛 (158) 은 변환 블록들 (예컨대, 루마, Cb 및 Cr 변환 블록들) 의 샘플들을 예측 블록들 (예컨대, 루마, Cb 및 Cr 예측 블록들) 의 대응하는 샘플들에 추가하여, CU 의 코딩 블록들 (예컨대, 루마, Cb 및 Cr 코딩 블록들) 을 복원할 수도 있다.
필터 유닛 (160) 은 CU 의 코딩 블록들과 연관되는 블록킹 아티팩트들을 감소시키기 위해 디블록킹 동작을 수행할 수도 있다. 비디오 디코더 (30) 는 CU 의 코딩 블록들을 디코딩된 픽처 버퍼 (162) 에 저장할 수도 있다. 디코딩된 픽처 버퍼 (162) 는 후속 모션 보상, 인트라 예측, 및 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에의 프리젠테이션을 위해, 참조 픽처들을 제공할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 디코딩된 픽처 버퍼 (162) 에서의 블록들에 기초하여, 다른 CU들의 PU들에 대해 인트라 예측 또는 인터 예측 동작들을 수행할 수도 있다.
본원에서 설명되는 기법들 모두가 개별적으로 또는 조합하여 사용될 수도 있는 것으로 이해되어야 한다. 그 예에 따라서, 본원에서 설명되는 기법들 중 임의의 기법의 어떤 행위들 또는 이벤트들이 상이한 시퀀스로 수행될 수 있으며, 추가되거나, 병합되거나, 또는 모두 제외시킬 수도 있는 (예컨대, 모든 설명되는 행위들 또는 이벤트들이 기법들의 실시에 필수적인 것은 아닌) 것으로 인식되어야 한다. 더욱이, 어떤 예들에서, 행위들 또는 이벤트들은 순차적으로 보다는, 동시에, 예컨대, 멀티-쓰레드된 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통해서 수행될 수도 있다. 게다가, 본 개시물의 어떤 양태들이 명료성의 목적들을 위해 단일 모듈 또는 유닛에 의해 수행되는 것으로 설명되지만, 본 개시물의 기법들은 비디오 코더와 연관되는 유닛들 또는 모듈들의 결합에 의해 수행될 수도 있는 것으로 이해되어야 한다.
본 개시물의 어떤 양태들은 예시의 목적을 위해 HEVC 표준에 대해서 설명되었다. 그러나, 본 개시물에서 설명하는 기법들은 아직 개발되지 않은 다른 표준 또는 독점 비디오 코딩 프로세스들을 포함한, 다른 비디오 코딩 프로세스들에 유용할 수도 있다.
위에서 설명된 기법들은 비디오 인코더 (20) (도 1 및 도 3) 및/또는 비디오 디코더 (30) (도 1 및 도 4) 에 의해 수행될 수도 있으며, 이 비디오 인코더와 디코더는 비디오 코더로서 일반적으로 지칭될 수도 있다. 이와 유사하게, 비디오 코딩은 적용가능한 경우, 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다.
본 개시물의 이 다음 섹션은 본 개시물에서 다른 어딘가에서 설명되는 기법들의 예시적인 구현예를 기술한다. 상기 제안들을 구현하는 제안된 텍스트가 아래에 나타내어진다. 제거된 텍스트는 이중 꺽쇠 괄호들로 둘러싸인 이탤릭체로 된 텍스트 (예컨대, [[텍스트]]) 로서 표시되며, 반면 추가 텍스트는 밑줄친 텍스트로서 표시된다.
5.1 HEVC 타이밍 및 HRD 디스크립터에 대한 변경
현재의 L-HEVC TS 초안의 섹션 2.6.97 의 콘텐츠를 다음으로 대체한다:
HEVC 비디오 스트림에 대해, HEVC 타이밍 및 HRD 디스크립터는 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 정의된 바와 같이, 적용가능한 타이밍 및 HRD 파라미터들을 제공한다. HEVC 비디오 스트림이 '1' 로 설정된 vps_timing_info_present_flag 를 갖는 VPS 파라미터를 운반하지 않는 한, HEVC 타이밍 및 HRD 디스크립터의 많아야 하나의 인스턴스가 존재해야 하며 program_map 섹션에서 program_info_length 필드 바로 다음에 뒤따르는 데이터 엘리먼트들의 그룹에 포함되어야 한다.
HEVC 비디오 스트림 또는 재-조립된 HEVC 비디오 스트림에 대한 PMT 에서의 HEVC 타이밍 및 HRD 디스크립터의 부재는 T-STD 에서의 누설 방법의 사용을 시그널링한다. 그러나, 이러한 사용은 또한 HEVC 타이밍 및 HRD 디스크립터에 '0' 으로 설정된 hrd_management_valid_flag 에 의해 시그널링될 수 있다. 버퍼 EBl 로의 전송율이 비디오 서브-비트스트림들로부터 재조립된 HEVC 비디오 스트림 또는 AVC 비디오 스트림에 포함된 HRD 파라미터들로부터 결정될 수 있으면, '1' 로 설정된 hrd_management_valid_flag 를 가지는 AVC 타이밍 및 HRD 디스크립터는 그 HEVC 비디오 스트림에 대한 또는 재-조립된 HEVC 비디오 스트림에 대한 PMT 에 포함되어야 한다. (테이블 2-103septiens 참조.)
테이블 2-103septiens - HEVC 타이밍 및 HRD 디스크립터
Figure pct00026
현재의 L-HEVC TS 초안의 섹션 2.6.98 의 콘텐츠를 다음으로 대체한다:
hrd_management_valid_flag - 이 1-비트 플래그는 단지 전송 스트림들에서의 사용을 위해서만 정의된다. HEVC 타이밍 및 HRD 디스크립터가 전송 스트림으로 운반되는 [[HEVC 최고 시간 서브-계층 표현과]] 또는 HEVC 비디오 스트림과 연관될 때, 다음이 적용된다.
hrd_management_valid_flag 가 '1' 과 동일하면, 버퍼링 기간 SEI 및 픽처 타이밍 SEI 메시지들은, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 정의된 바와 같이, 연관된 HEVC 비디오 스트림 [[또는 HEVC 최고 시간 서브-계층 표현]]에 존재하여야 하며, HEVC 동작 디스크립터로 시그널링된 각각의 동작 지점들은 적용가능한 버퍼링 기간 SEI 및 픽처 타이밍 SEI 메시지들을 가져야 한다. 이들 버퍼링 기간 SEI 메시지들은 코딩된 nal_initial_cpb_removal_delay 및 nal_initial_cpb_removal_offset 값들을 운반하여야 하며, NAL HRD 에 대한 nal_initial_alt_removal_delay 및 nal_initial_alt_cpb_removal_offset 값들을 추가적으로 운반할 수도 있다. hrd_management_valid_flag 가 '1' 로 설정되면, 문서 N13656 의 2.17.2 에 정의된 바와 같은 T-STD 에서 MBn 으로부터 EBn 으로의 각각의 바이트의 전송 또는 문서 N13656 의 2.17.3 에서 정의된 바와 같은 T-STD 에서 MBn,k 로부터 EBn 으로의 전송 또는 문서 N13656 의 2.17.4 에서 정의된 바와 같은 T-STD 에서 MB n 으로부터 EB n 으로의 각 바이트의 전송은, 권고안 ITU-T H.265 | ISO/IEC 23008-2 의 부속서 C 에 규정된 바와 같은, target_schedule_idx 와 동일한 SchedSelIdx 에 대한, 코딩된 nal_initial_cpb_removal_delay 및 nal_initial_cpb_removal_offset 값들로부터, 또는 코딩된 nal_initial_alt_cpb_removal_delay 및 nal_initial_alt_cpb_removal_offset 으로부터 결정되는 것과 같은, NAL HRD 에서의 CPB 로의 그 바이트에 대한 전달 스케쥴에 따라야 한다. hrd_management_valid_flag 가 '0' 으로 설정될 때, 누설 (leak) 방법이 2.17.[[3]] 4 에서 정의된 바와 같은 T-STD 에서 MBn 으로부터 EBn 까지의 전송을 위해 사용되어야 한다.
HEVC_timing_and_HRD_descriptor 가 존재하고 hrd_management_valid_flag 의 값이 1 과 동일할 때, 동작 지점 opA 의 부분인 기본 스트림 esA 에 대한 적용가능한 HRD 파라미터는 HEVC 비디오 스트림의 활성 VPS 에서의 bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ] -번째 hrd_parameters( ) 신택스 구조이며, 여기서:
- TargetOlsIdx 는 opA 의 target_ols 와 동일하며,
- TargetPsIdx 는 opA 의 target_partitioning_scheme 과 동일하고,
- HighestTid 는 opA 의 max_temporal_id 와 동일하며,
- SchedSelCombIdx 는 target_schedule_idx 와 동일하며,
- partitionIdx 는 다음과 같이 정의되는 idxA 와 동일하다:
listA 를 계층구조 디스크립터 또는 계층구조 확장 디스크립터에 존재하는 그들의 계층구조 계층 인덱스 값에 따라서 오름 차순으로 opA 에 포함되는 0x24, 0x27 또는 0x29 과 동일한 stream_type 을 가지는 기본 스트림의 리스트라 하자. esA 가 listA 의 멤버이면, idxA 는 listA 에서의 esA 의 인덱스이며, 그렇지 않으면, idxA 는 listA 에서의 esB 의 인덱스이며, 여기서, esA 는 esB 의 상보적인 시간적 향상이다.
target_schedule_idx - 이 5-비트 필드는 SchedSelIdx 에 대해 할당되는 전달 스케쥴의 인덱스를 나타낸다. hrd_management_valid_flag 의 값이 0 과 동일할 때, target_schedule_idx 의 의미는 정의되지 않는다.
picture_and_timing_info_present_flag - 이 1-비트 플래그는, '1' 로 설정될 때, 90-kHz 시스템 클록에의 정확한 맵핑을 위한 90kHz_flag 및 파라미터들이 이 디스크립터에 포함된다는 것을 나타낸다.
90kHz_flag - 이 1-비트 플래그는, '1' 로 설정될 때, HEVC 시간 베이스의 주파수가 90 kHz 임을 나타낸다.
N, K - HEVC 비디오 스트림 [[또는 HEVC 최고 시간 서브-계층 표현]]에 대해, HEVC 시간 베이스의 주파수는 권고안 ITU-T H.265 | ISO/IEC 230082 의 부속서 E 에 규정된 바와 같이, VUI 파라미터들에서의 신택스 엘리먼트 vui_time_scale 에 의해 정의된다. HEVC time_scale 과 STC 사이의 관계는 이 디스크립터에서의 파라미터들 N 및 K 에 의해 다음과 같이 정의되어야 한다.
time_scale = (N x system_clock_frequency) / K
90kHz_flag 가 '1' 로 설정되면, N 은 1 과 동일하고 K 는 300 과 동일하다. 90kHz_flag 가 '0' 으로 설정되면, N 및 K 의 값들은 N 및 K 필드들의 코딩된 값들로 제공된다.
주 - 이것은 예를 들어, 어떤 PTS 또는 DTS 도 PES 헤더에서 인코딩되지 않는 HEVC 액세스 유닛들에 대해 디코더들에서 PTS 및 DTS 시간스탬프들의 계산에 요구될 때, 90 kHz 유닛들에의 time_scale 의 유닛들로 표현된 시간의 맵핑을 가능하게 한다.
num_units_in_tick - 이 32-비트 필드는 권고안 ITU-T H.265 | ISO/IEC 230082 의 부속서 E 에서 VUI 파라미터들에서의 vui_num_units_in_tick 필드와 정확히 동일한 방법으로 코딩된다. 이 필드에 의해 제공되는 정보는 HEVC 타이밍 및 HRD 디스크립터가 연관되는 전체 HEVC 비디오 스트림 [[또는 HEVC 최고 시간 서브-계층 표현]]에 적용되어야 한다.
도 5 는 본 개시물의 기법에 따른, 비디오 인코더의 예시적인 동작을 예시하는 플로우차트이다. 본 개시물의 플로우차트들은 예들로서 제공된다. 본 개시물의 다른 예들에서, 더 많거나, 더 적거나, 또는 상이한 액션들이 존재할 수도 있으며, 및/또는 액션들은 상이한 순서로 또는 병렬로 수행될 수도 있다.
도 5 의 예에서, 비디오 인코더 (20) 는 신택스 엘리먼트들의 어레이 (예컨대, bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ]) 및 복수의 HRD 파라미터들 신택스 구조들을 포함하는 VPS 를 발생시킨다 (200). 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조 (예컨대, hrd_parameters( )) 는 HRD 파라미터들의 개별 세트를 포함한다. 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정한다.
더욱이, 도 5 의 예에서, 비디오 인코더 (20) 는 전달 스케쥴의 인덱스를 나타내는 목표 스케쥴 인덱스 신택스 엘리먼트 (예컨대, target_schedule_idx) 를 포함하는 HEVC 타이밍 및 HRD 디스크립터를 발생시킨다 (202). 더욱이, 비디오 인코더 (20) 는 복수의 기본 스트림들, 및 HEVC 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림 (예컨대, MPEG-2 데이터 스트림) 을 발생시킬 수도 있다 (204). 파라미터들의 세트는 특정의 기본 스트림에 적용가능한 것으로 식별된 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별한다. 이 예에서, 특정의 HRD 파라미터들 신택스 구조는 복수의 HRD 파라미터들 신택스 구조들 중 하나이며 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터 (예컨대, SchedSelCombIdx) 를 포함한다. 더욱이, 일부 예들에서, 파라미터들의 세트는 그의 값이 도 7 의 예에 나타낸 방법으로 결정된 제 2 파라미터 (예컨대, partitionIdx) 를 포함한다. 게다가, 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함할 수도 있다. 제 3 파라미터 (예컨대, TargetOlsIdx) 는 동작 지점의 목표 출력 계층 세트 인덱스를 규정한다. 제 4 파라미터 (예컨대, TargetPsIdx) 는 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 제 5 파라미터 (예컨대, HighestTid) 는 동작 지점의 최고 시간 식별자를 규정한다.
도 6 은 본 개시물의 기법에 따른, 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다. 도 6 의 예에서, 비디오 디코더 (30) 는 복수의 기본 스트림들 및 HEVC 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림 (예컨대, MPEG-2 데이터 스트림) 을 획득한다 (250). HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 나타내는 목표 스케쥴 인덱스 신택스 엘리먼트 (예컨대, target_schedule_idx) 를 포함한다.
더욱이, 도 6 의 예에서, 비디오 디코더 (30) 는 파라미터들의 세트에 기초하여, VPS 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트 (예컨대, bsp_hrd_idx[ TargetOlsIdx ][ TargetPsIdx ][ HighestTid ][ SchedSelCombIdx ][ partitionIdx ]) 를 식별한다 (252). 도 6 의 예에서, VPS 는 복수의 HRD 파라미터들 신택스 구조들 (예컨대, hrd_parameters( )) 을 포함한다. 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트 (예컨대, nal_hrd_parameters_present_flag, vcl_hrd_parameters_present_flag, 등) 를 포함한다. 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정한다. 파라미터들의 세트는 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터 (예컨대, SchedSelCombIdx) 를 포함한다. 더욱이, 일부 예들에서, 파라미터들의 세트는 그의 값이 도 7 의 예에 나타낸 방법으로 결정된 제 2 파라미터 (예컨대, partitionIdx) 를 포함한다. 게다가, 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함할 수도 있다. 제 3 파라미터 (예컨대, TargetOlsIdx) 는 동작 지점의 목표 출력 계층 세트 인덱스를 규정한다. 제 4 파라미터 (예컨대, TargetPsIdx) 는 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 제 5 파라미터 (예컨대, HighestTid) 는 동작 지점의 최고 시간 식별자를 규정한다.
게다가, 도 6 의 예에서, 비디오 디코더 (30) 는 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별한다 (254). 복수의 기본 스트림들은 특정의 기본 스트림을 포함한다.
도 7 은 본 개시물의 기법에 따른, 파라미터의 값을 결정하는 비디오 코더의 예시적인 동작을 예시하는 플로우차트이다. 도 7 의 예에서, 비디오 코더 (예컨대, 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 0x24, 0x27, 또는 0x29 과 동일한 스트림 유형을 가지며 동작 지점에 있는 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정한다 (300). 위에서 나타낸 바와 같이, 0x24 과 동일한 스트림 유형을 가지는 기본 스트림은 HEVC 비디오 스트림 또는 HEVC 시간 비디오 서브-비트스트림 또는 HEVC 베이스 서브-파티션이다. 0x27 과 동일한 스트림 유형을 가지는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 G 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 TemporalId 0 을 포함하는 HEVC 향상 서브-파티션이다. 0x29 과 동일한 스트림 유형을 가지는 기본 스트림은 ITU-T 권고안 H.265 | ISO/IEC 23008-2 의 부속서 H 에 정의된 하나 이상의 프로파일들을 따르는 HEVC 비디오 스트림의 TemporalId 0 을 포함하는 HEVC 향상 서브-파티션이다.
도 7 의 예에서, 리스트는 리스트에서의 기본 스트림들에 대한 계층구조 계층 인덱스 값들에 따라서 오름 차순이다. 비디오 코더가 비디오 인코더인 경우, 비디오 인코더는 데이터 스트림을 발생시키는 것의 일부로서, 데이터 스트림에, 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 개별 기본 스트림에 대한 계층구조 계층 인덱스 값 (예컨대, hierarchy_layer_index) 을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함시킬 수도 있다. 비디오 코더가 비디오 디코더인 경우, 비디오 디코더는 데이터 스트림을 획득하는 것의 일부로서, 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 획득할 수도 있다.
더욱이, 도 7 의 예에서, 비디오 코더는 특정의 기본 스트림이 리스트의 멤버인지 여부를 결정할 수도 있다 (302). 특정의 기본 스트림이 리스트의 멤버이면 (302 의 "예"), 비디오 코더는 파라미터의 값이 리스트에서의 특정의 기본 스트림의 인덱스라고 결정할 수도 있다 (304). 특정의 기본 스트림이 리스트의 멤버가 아니면 (302 의 "아니오"), 비디오 코더는 파라미터의 값이 리스트에서의 기본 스트림들 중 하나의 인덱스라고 결정할 수도 있다 (306). 특정의 기본 스트림이 리스트에서의 기본 스트림의 상보적인 시간적 향상이다.
본 기법들의 여러 양태들의 특정의 조합들이 위에서 설명되지만, 이들 조합들은 단지 본 개시물에서 설명하는 기법들의 예들을 예시하기 위해 제공된다. 따라서, 본 개시물의 기법들은 이들 예시적인 조합들에 한정되지 않아야 하며 본 개시물에서 설명하는 기법들의 여러 양태들의 임의의 상상가능한 조합을 포괄할 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 또는 컴퓨터-판독가능 매체를 통해서 송신될 수도 있으며, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체들, 또는 예를 들어, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이런 방법으로, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체, 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 반송파들, 신호들, 또는 다른 일시성 매체를 포함하지 않고, 그 대신, 비-일시성 유형의 저장 매체로 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-레이 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 "프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 대신, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.
여러 예들이 설명되었다. 이들 및 다른 예들은 다음 청구항들의 범위 이내이다.

Claims (55)

  1. 비디오 데이터를 프로세싱하는 방법으로서,
    복수의 기본 스트림들 및 고효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 타이밍 및 가상 참조 디코더 (Hypothetical Reference Decoder; HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 단계로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 획득하는 단계;
    파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 단계로서,
    상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며,
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고
    상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하는 단계; 및
    상기 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 상기 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 상기 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 단계로서, 상기 복수의 기본 스트림들은 상기 특정의 기본 스트림을 포함하는, 상기 특정의 HRD 파라미터들 신택스 구조를 식별하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
  2. 제 1 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림을 수신하는 단계는 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 수신하는 단계를 포함하며;
    상기 방법은,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 단계로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하는 단계; 및
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 단계로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하는 단계를 더 포함하는, 비디오 데이터를 프로세싱하는 방법.
  3. 제 2 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 방법.
  4. 제 1 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 방법.
  5. 제 1 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 HEVC 타이밍 및 HRD 디스크립터의 hrd _management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (Supplemental Enhancement Information; SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 방법.
  6. 제 1 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 방법.
  7. 제 1 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (Motion Picture Experts Group; MPEG)-2 데이터 스트림인, 비디오 데이터를 프로세싱하는 방법.
  8. 비디오 데이터를 프로세싱하는 방법으로서,
    신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 단계로서,
    상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키는 단계;
    전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 발생시키는 단계; 및
    복수의 기본 스트림들 및 상기 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 단계로서,
    파라미터들의 세트는 상기 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 상기 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 상기 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
  9. 제 8 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림을 발생시키는 단계는 상기 데이터 스트림에, 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함시키는 단계를 포함하며;
    상기 방법은,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 단계로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하는 단계; 및
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 단계로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하는 단계를 더 포함하는, 비디오 데이터를 프로세싱하는 방법.
  10. 제 9 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 방법.
  11. 제 8 항에 있어서,
    상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 방법.
  12. 제 8 항에 있어서,
    상기 데이터 스트림은, 상기 HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 방법.
  13. 제 8 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 방법.
  14. 제 8 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 비디오 데이터를 프로세싱하는 방법.
  15. 비디오 데이터를 프로세싱하는 디바이스로서,
    상기 비디오 데이터를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    복수의 기본 스트림들 및 고효율 비디오 코딩 (HEVC) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 것으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하며, 상기 기본 스트림들은 상기 비디오 데이터의 인코딩된 표현들을 포함하는, 상기 데이터 스트림을 획득하고;
    파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 것으로서,
    상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며,
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고
    상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하고; 그리고
    상기 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로, 상기 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 것으로서, 상기 복수의 기본 스트림들은 상기 특정의 기본 스트림을 포함하는, 상기 특정의 HRD 파라미터들 신택스 구조를 식별하도록 구성되는, 비디오 데이터를 프로세싱하는 디바이스.
  16. 제 15 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림을 획득하는 것은 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 획득하는 것을 포함하며;
    상기 하나 이상의 프로세서들은 또한,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 것으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하고; 그리고
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 것으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하도록 구성되는, 비디오 데이터를 프로세싱하는 디바이스.
  17. 제 16 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 디바이스.
  18. 제 15 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  19. 제 15 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 HEVC 타이밍 및 HRD 디스크립터의 hrd _management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  20. 제 15 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 디바이스.
  21. 제 15 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 비디오 데이터를 프로세싱하는 디바이스.
  22. 비디오 데이터를 프로세싱하는 디바이스로서,
    비디오 데이터를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 것으로서,
    상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키고;
    전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 발생시키고; 그리고
    복수의 기본 스트림들 및 상기 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 것으로서,
    상기 복수의 기본 스트림들은 상기 비디오 데이터의 인코딩된 표현을 포함하며, 파라미터들의 세트가 상기 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 상기 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 상기 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키도록 구성되는, 비디오 데이터를 프로세싱하는 디바이스.
  23. 제 22 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며,
    상기 하나 이상의 프로세서들은,
    상기 데이터 스트림에, 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함시키고;
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 것으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하고; 그리고
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 것으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하도록 구성되는, 비디오 데이터를 프로세싱하는 디바이스.
  24. 제 23 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 디바이스.
  25. 제 22 항에 있어서,
    상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  26. 제 22 항에 있어서,
    상기 데이터 스트림은, 상기 HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  27. 제 22 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 디바이스.
  28. 제 22 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 비디오 데이터를 프로세싱하는 디바이스.
  29. 비디오 데이터를 프로세싱하는 디바이스로서,
    복수의 기본 스트림들 및 고효율 비디오 코딩 (HEVC) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하는 수단으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 데이터 스트림을 획득하는 수단;
    파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하는 수단으로서,
    상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며,
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고
    상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하는 수단; 및
    상기 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로서, 상기 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하는 수단으로서, 상기 복수의 기본 스트림들은 상기 특정의 기본 스트림을 포함하는, 상기 특정의 HRD 파라미터들 신택스 구조를 식별하는 수단을 포함하는, 비디오 데이터를 프로세싱하는 디바이스.
  30. 제 29 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함하며;
    상기 디바이스는,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 수단으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하는 수단; 및
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 수단으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하는 수단을 더 포함하는, 비디오 데이터를 프로세싱하는 디바이스.
  31. 제 30 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 디바이스.
  32. 제 29 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  33. 제 29 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 HEVC 타이밍 및 HRD 디스크립터의 hrd _management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  34. 제 29 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 디바이스.
  35. 비디오 데이터를 프로세싱하는 디바이스로서,
    신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키는 수단으로서,
    상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키는 수단;
    전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 발생시키는 수단; 및
    복수의 기본 스트림들 및 상기 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키는 수단으로서,
    파라미터들의 세트는 상기 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 상기 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 상기 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키는 수단을 포함하는, 비디오 데이터를 프로세싱하는 디바이스.
  36. 제 35 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함하며;
    상기 디바이스는,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 수단으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하는 수단; 및
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 수단으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하는 수단을 더 포함하는, 비디오 데이터를 프로세싱하는 디바이스.
  37. 제 36 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 비디오 데이터를 프로세싱하는 디바이스.
  38. 제 35 항에 있어서,
    상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  39. 제 35 항에 있어서,
    상기 데이터 스트림은, 상기 HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 비디오 데이터를 프로세싱하는 디바이스.
  40. 제 35 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 비디오 데이터를 프로세싱하는 디바이스.
  41. 제 35 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 비디오 데이터를 프로세싱하는 디바이스.
  42. 명령들을 저장하고 있는 컴퓨터-판독가능 저장 매체로서,
    실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금,
    복수의 기본 스트림들 및 고효율 비디오 코딩 (HEVC) 타이밍 및 가상 참조 디코더 (HRD) 디스크립터를 포함하는 데이터 스트림을 획득하게 하는 것으로서, 상기 HEVC 타이밍 및 HRD 디스크립터는 전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는, 상기 데이터 스트림을 획득하게 하고;
    파라미터들의 세트에 기초하여, 비디오 파라미터 세트 (VPS) 에서 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하게 하는 것으로서,
    상기 VPS 는 복수의 HRD 파라미터들 신택스 구조들을 포함하며, 상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며,
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하며, 그리고
    상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 신택스 엘리먼트를 식별하게 하고; 그리고
    상기 식별된 신택스 엘리먼트에 의해 규정된 인덱스에 기초하여, 동작 지점의 부분인 특정의 기본 스트림에 적용가능한 것으로, 상기 복수의 HRD 파라미터들 신택스 구조들에서의 특정의 HRD 파라미터들 신택스 구조를 식별하게 하는 것으로서, 상기 복수의 기본 스트림들은 상기 특정의 기본 스트림을 포함하는, 상기 특정의 HRD 파라미터들 신택스 구조를 식별하게 하는, 컴퓨터-판독가능 저장 매체.
  43. 제 42 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함하며;
    상기 명령들은 또한,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 것으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하고; 그리고
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 것으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하도록, 상기 하나 이상의 프로세서들을 구성하는, 컴퓨터-판독가능 저장 매체.
  44. 제 43 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 컴퓨터-판독가능 저장 매체.
  45. 제 42 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 컴퓨터-판독가능 저장 매체.
  46. 제 42 항에 있어서,
    상기 데이터 스트림은 프로그램 스트림 또는 전송 스트림이며, 그리고
    상기 HEVC 타이밍 및 HRD 디스크립터의 hrd _management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 컴퓨터-판독가능 저장 매체.
  47. 제 42 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 컴퓨터-판독가능 저장 매체.
  48. 제 42 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 컴퓨터-판독가능 저장 매체.
  49. 명령들을 저장하고 있는 컴퓨터-판독가능 저장 매체로서,
    실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금,
    신택스 엘리먼트들의 어레이 및 복수의 가상 참조 디코더 (HRD) 파라미터들 신택스 구조들을 포함하는 비디오 파라미터 세트 (VPS) 를 발생시키게 하는 것으로서,
    상기 복수의 HRD 파라미터들 신택스 구조들의 각각의 개별 HRD 파라미터들 신택스 구조는 HRD 파라미터들의 개별 세트를 포함하며, 그리고
    상기 신택스 엘리먼트들의 어레이의 각각의 개별 신택스 엘리먼트는 상기 복수의 HRD 파라미터들 신택스 구조들에서의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는, 상기 비디오 파라미터 세트 (VPS) 를 발생시키게 하고;
    전달 스케쥴의 인덱스를 표시하는 목표 스케쥴 인덱스 신택스 엘리먼트를 포함하는 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 발생시키게 하고; 그리고
    복수의 기본 스트림들 및 상기 고효율 비디오 코딩 (HEVC) 타이밍 및 HRD 디스크립터를 포함하는 데이터 스트림을 발생시키게 하는 것으로서,
    파라미터들의 세트는 상기 특정의 기본 스트림에 적용가능한 특정의 HRD 파라미터들 신택스 구조의 인덱스를 규정하는 상기 신택스 엘리먼트들의 어레이에서의 신택스 엘리먼트를 식별하며, 상기 특정의 HRD 파라미터들 신택스 구조는 상기 복수의 HRD 파라미터들 신택스 구조들 중 하나이며, 상기 특정의 HRD 파라미터들 신택스 구조는 동작 지점의 부분이며, 상기 파라미터들의 세트는 상기 목표 스케쥴 인덱스 신택스 엘리먼트의 값과 동일한 값을 가지는 파라미터를 포함하는, 상기 데이터 스트림을 발생시키게 하는, 컴퓨터-판독가능 저장 매체.
  50. 제 49 항에 있어서,
    상기 파라미터는 제 1 파라미터이며, 상기 파라미터들의 세트는 제 2 파라미터를 포함하며, 상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각의 개별 기본 스트림에 대해, 상기 개별 기본 스트림에 대한 계층구조 계층 인덱스 값을 포함하는 계층구조 디스크립터 또는 계층구조 확장 디스크립터를 포함하며;
    상기 명령들은 또한,
    0x24, 0x27, 또는 0x29 과 동일한 스트림 유형들을 가지며 상기 동작 지점 내에 있는 상기 복수의 기본 스트림들에서 기본 스트림들의 리스트를 결정하는 것으로서, 상기 리스트는 상기 리스트에서의 상기 기본 스트림들에 대한 상기 계층구조 계층 인덱스 값에 따라서 오름 차순인, 상기 기본 스트림들의 리스트를 결정하고; 그리고
    상기 특정의 기본 스트림이 상기 리스트의 멤버이면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 특정의 기본 스트림의 상기 인덱스이고, 그리고 상기 특정의 기본 스트림이 상기 리스트의 멤버가 아니면, 상기 제 2 파라미터의 값이 상기 리스트에서의 상기 기본 스트림들 중 하나의 기본 스트림의 상기 인덱스이도록 상기 제 2 파라미터의 값을 결정하는 것으로서, 상기 특정의 기본 스트림은 상기 리스트에서의 상기 기본 스트림의 상보적인 시간적 향상인, 상기 제 2 파라미터의 값을 결정하도록, 상기 하나 이상의 프로세서들을 구성하는, 컴퓨터-판독가능 저장 매체.
  51. 제 50 항에 있어서,
    상기 파라미터들의 세트는 제 3, 제 4, 및 제 5 파라미터를 포함하며, 상기 제 3 파라미터는 동작 지점의 목표 출력 계층 세트 인덱스를 규정하며, 상기 제 4 파라미터는 상기 동작 지점의 목표 파티셔닝 방식 인덱스를 규정하며, 상기 제 5 파라미터는 상기 동작 지점의 최고 시간 식별자를 규정하는, 컴퓨터-판독가능 저장 매체.
  52. 제 49 항에 있어서,
    상기 데이터 스트림은 상기 복수의 기본 스트림들의 각각이 단지 하나의 계층을 포함한다는 제한을 받는, 컴퓨터-판독가능 저장 매체.
  53. 제 49 항에 있어서,
    상기 데이터 스트림은, 상기 HEVC 타이밍 및 HRD 디스크립터의 hrd_management_valid_flag 가 1 과 동일하면, HEVC 동작 디스크립터에서 시그널링된 각각의 동작 지점에 대해 적용가능한 버퍼링 기간 보충 향상 정보 (SEI) 메시지들 및 픽처 타이밍 SEI 메시지들이 HEVC 비디오 스트림에 존재하여야 하도록 제한을 받는, 컴퓨터-판독가능 저장 매체.
  54. 제 49 항에 있어서,
    상기 HEVC 타이밍 및 HRD 디스크립터는 프로그램 레벨 디스크립터이며,
    상기 데이터 스트림에 많아야 하나의 HEVC 타이밍 및 HRD 디스크립터가 존재하는 것이 요구되는, 컴퓨터-판독가능 저장 매체.
  55. 제 49 항에 있어서,
    상기 데이터 스트림은 동화상 전문가 그룹 (MPEG)-2 데이터 스트림인, 컴퓨터-판독가능 저장 매체.
KR1020177010142A 2014-10-15 2015-10-15 Hrd 디스크립터 및 hevc 확장판들의 캐리지를 위한 데이터 스트림들의 버퍼 모델의 설계 KR102383621B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462064414P 2014-10-15 2014-10-15
US62/064,414 2014-10-15
US14/883,256 US20160112724A1 (en) 2014-10-15 2015-10-14 Hrd descriptor and buffer model of data streams for carriage of hevc extensions
US14/883,256 2015-10-14
PCT/US2015/055712 WO2016061334A1 (en) 2014-10-15 2015-10-15 Design of hrd descriptor and buffer model of data streams for carriage of hevc extensions

Publications (2)

Publication Number Publication Date
KR20170072201A true KR20170072201A (ko) 2017-06-26
KR102383621B1 KR102383621B1 (ko) 2022-04-05

Family

ID=54366510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010142A KR102383621B1 (ko) 2014-10-15 2015-10-15 Hrd 디스크립터 및 hevc 확장판들의 캐리지를 위한 데이터 스트림들의 버퍼 모델의 설계

Country Status (10)

Country Link
US (2) US20160112724A1 (ko)
EP (1) EP3207710B1 (ko)
JP (1) JP6612338B2 (ko)
KR (1) KR102383621B1 (ko)
CN (1) CN107079176B (ko)
AU (1) AU2015332493B2 (ko)
CU (1) CU24676B1 (ko)
PE (1) PE20170758A1 (ko)
TW (1) TWI692242B (ko)
WO (1) WO2016061334A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201541A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Dpb 파라미터의 개수 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201542A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Dpb 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201510A1 (ko) * 2020-04-02 2021-10-07 엘지전자 주식회사 Dpb 관련 정보 및 ptl 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201513A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021246840A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
WO2021246841A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
GB201513316D0 (en) * 2015-07-29 2015-09-09 Flynn Thomas M P19-0 encoding engine
JP6969541B2 (ja) * 2016-04-12 2021-11-24 ソニーグループ株式会社 送信装置および送信方法
CN113892271A (zh) * 2019-05-30 2022-01-04 夏普株式会社 用于在视频编码中发送信号通知假想参考解码器参数的系统和方法
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
WO2021061390A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Sei message for single layer ols
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
JP2023508680A (ja) 2019-12-27 2023-03-03 バイトダンス インコーポレイテッド ビデオコーディングにおけるサブピクチャシグナリング
WO2021137597A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
WO2021142369A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Signalling of the wavefront parallel processing
WO2021222037A1 (en) * 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of weighted prediction information
CN113225584B (zh) * 2021-03-24 2022-02-22 西安交通大学 一种基于编码和缓存的跨层联合的视频传输方法、系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120336A (ko) * 2012-01-14 2014-10-13 퀄컴 인코포레이티드 비디오 코딩을 위한 파라미터 세트들 및 ｎａｌ 단위 헤더들의 코딩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US7343037B1 (en) * 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
BR112016012417B1 (pt) * 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
CN105900432B (zh) * 2014-01-02 2019-05-10 Vid拓展公司 用于屏幕内容编码的二维调色板编码
US10567804B2 (en) * 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
KR102324004B1 (ko) * 2014-03-14 2021-11-09 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
US10237557B2 (en) * 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor
US10306269B2 (en) 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120336A (ko) * 2012-01-14 2014-10-13 퀄컴 인코포레이티드 비디오 코딩을 위한 파라미터 세트들 및 ｎａｌ 단위 헤더들의 코딩

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ITU-T Rec. H.222.0 표준문서(2014.10.14.) 1부.* *
ITU-T Rec. H.265 표준문서(2013.04.13.) 1부.* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201541A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Dpb 파라미터의 개수 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201542A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Dpb 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201513A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US11695964B2 (en) 2020-03-30 2023-07-04 Lg Electronics Inc. Video encoding/decoding method and apparatus for signaling DPB parameter, and computer-readable recording medium storing bitstream
WO2021201510A1 (ko) * 2020-04-02 2021-10-07 엘지전자 주식회사 Dpb 관련 정보 및 ptl 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021246840A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
WO2021246841A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법

Also Published As

Publication number Publication date
US10171842B2 (en) 2019-01-01
WO2016061334A1 (en) 2016-04-21
EP3207710B1 (en) 2021-07-14
TWI692242B (zh) 2020-04-21
AU2015332493A1 (en) 2017-03-23
BR112017007798A2 (pt) 2017-12-19
CU24676B1 (es) 2023-09-07
KR102383621B1 (ko) 2022-04-05
CN107079176A (zh) 2017-08-18
JP2017535184A (ja) 2017-11-24
US20180255324A1 (en) 2018-09-06
JP6612338B2 (ja) 2019-11-27
CN107079176B (zh) 2020-07-03
AU2015332493B2 (en) 2019-06-06
CU20170051A7 (es) 2017-08-08
PE20170758A1 (es) 2017-07-04
EP3207710A1 (en) 2017-08-23
TW201620305A (zh) 2016-06-01
US20160112724A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
US10171842B2 (en) HRD descriptor and buffer model of data streams for carriage of HEVC extensions
KR101984368B1 (ko) 하나 이상의 계층들을 포함하는 파티션과 연관된 프로파일, 티어 및 레벨에 기초하여 디코더의 능력을 결정하는 것에 의해 멀티-계층 비디오 데이터를 디코딩하기 위한 방법 및 디바이스
DK2904782T3 (en) SUB-BIT CURRENCY APPLICABILITY FOR STORED SEI NOTIFICATIONS IN VIDEO CODING
US9521393B2 (en) Non-nested SEI messages in video coding
US10567804B2 (en) Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
KR101968425B1 (ko) 비디오 코딩 확장본들의 캐리지를 위한 전송 스트림

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant