TWI643491B - 用於載送視訊寫碼延伸之傳輸串流 - Google Patents

用於載送視訊寫碼延伸之傳輸串流 Download PDF

Info

Publication number
TWI643491B
TWI643491B TW104123189A TW104123189A TWI643491B TW I643491 B TWI643491 B TW I643491B TW 104123189 A TW104123189 A TW 104123189A TW 104123189 A TW104123189 A TW 104123189A TW I643491 B TWI643491 B TW I643491B
Authority
TW
Taiwan
Prior art keywords
syntax element
operation point
ptl
descriptor
sets
Prior art date
Application number
TW104123189A
Other languages
English (en)
Other versions
TW201615016A (en
Inventor
伏努 亨利
陳盈
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201615016A publication Critical patent/TW201615016A/zh
Application granted granted Critical
Publication of TWI643491B publication Critical patent/TWI643491B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種視訊處理器件可自用於包含一或多個基本串流之一節目的一描述符獲得複數個設定檔、層次、層級(PTL)語法元素集合。該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含可指定各別PTL資訊之語法元素。該視訊處理器件自用於該節目之該描述符獲得複數個操作點語法元素集合。該複數個操作點語法元素集合中之每一各別操作點語法元素集合可指定複數個操作點中之一各別操作點。該視訊處理器件可基於該各別操作點語法元素集合中之一各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至該各別層之該PTL資訊。

Description

用於載送視訊寫碼延伸之傳輸串流
本申請案主張2014年7月16日申請之美國臨時專利申請案第62/025,432號之權益，該申請案之全部內容以引用之方式併入。
本發明係關於視訊處理。
數位視訊能力可併入至多種多樣的器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊切片(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。可使 用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)切片中的視訊區塊。圖像之框間寫碼(P或B)切片中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。框間編碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差異。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘係數，接著可將殘餘係數量化。最初在二維陣列中經配置的經量化係數可經掃描以便產生係數的一維向量，且熵寫碼可經應用以達成甚至更多壓縮。
可藉由(例如)自多個視角編碼視圖而產生多視圖寫碼位元流。已經開發利用多視圖寫碼態樣的一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼及右眼視圖以支援3D視訊。替代地，一些3D視訊寫碼過程可應用所謂的多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元流不僅可含有紋理視圖分量而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
本發明之技術包括關於用於載送多層視訊資料之MPEG-2串流的技術。舉例而言，本發明之特定技術係關於用於載送高效率視訊寫碼(HEVC)延伸(諸如多視圖HEVC(MV-HEVC)、3維HEVC(3D-HEVC)及可擴展式HEVC(SHVC))之MPEG-2傳輸串流。根據本發明之一些技術，包括指示需要在解碼當前節目元素之前按解碼次序存在的節目元素之層索引的語法元素的描述符亦包括對當前節目元素是否提昇位元 流之訊框速率的指示。根據本發明之一或多個額外技術，用於節目之描述符包括指定設定檔、層次、層級(PTL)資訊集合的語法元素，且亦包括指示PTL資訊集合中之哪一者適應於操作點之特定層的語法元素。
在一項實例中，本發明描述一種處理視訊資料之方法，該方法包含：自用於包含一或多個基本串流之節目之第一描述符獲得複數個PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；自用於節目之第一描述符或第二描述符獲得複數個操作點語法元素集合，其中該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點；及對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於各別操作點語法元素集合中之各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊，該各別操作點具有複數個層。
在另一實例中，本發明描述一種處理視訊資料之方法，該方法包含：在用於包含一或多個基本串流之節目之第一描述符中以信號傳送複數個PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；及在用於節目之第一描述符或第二描述符中以信號傳送複數個操作點語法元素集合，其中：複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點，且對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之PTL資訊，各別操作點具有複數個層。
在另一實例中，本發明描述一種用於處理視訊資料之器件，該器件包含：經組態以儲存經編碼視訊資料之資料儲存媒體，及一或多個處理器，其經組態以：自用於包含一或多個基本串流(其包含經編碼視訊資料)之節目之第一描述符獲得複數個PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；自用於節目之第一描述符或第二描述符獲得複數個操作點語法元素集合，其中該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點；及對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於各別操作點語法元素集合中之各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊，各別操作點具有複數個層。
在另一實例中，本發明描述一種用於處理視訊資料之器件，該器件包含：經組態以儲存經編碼視訊資料之資料儲存媒體，及一或多個處理器，其經組態以：在用於包含一或多個基本串流(其包含經編碼視訊資料)之節目之第一描述符中以信號傳送複數個PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；及在用於節目之第一描述符或第二描述符中以信號傳送複數個操作點語法元素集合，其中：複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點，且對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之PTL資訊，各別操作點具有複數個層。
在另一實例中，本發明描述一種用於處理視訊資料之器件，該器件包含：用於自包含一或多個基本串流之節目之第一描述符獲得複數個PTL語法元素集合的構件，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；用於自用於節目之第一描述符或第二描述符獲得複數個操作點語法元素集合的構件，其中該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點；及對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，用於基於各別操作點語法元素集合中之各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊的構件，各別操作點具有複數個層。
在另一實例中，本發明描述一種用於處理視訊資料之器件，該器件包含：用於在包含一或多個基本串流之節目之第一描述符中以信號傳送複數個PTL語法元素集合的構件，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；用於在用於節目之第一描述符或第二描述符中以信號傳送複數個操作點語法元素集合的構件，其中：複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點，且對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之PTL資訊，各別操作點具有複數個層。
在另一實例中，本發明描述一種電腦可讀資料儲存媒體，其上儲存有在執行時使得視訊處理器件之一或多個處理器執行以下操作的指令：自用於包含一或多個基本串流之節目之第一描述符獲得複數個 PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；自用於節目之第一描述符或第二描述符獲得複數個操作點語法元素集合，其中該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點；及對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於各別操作點語法元素集合中之各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊，各別操作點具有複數個層。
在另一實例中，本發明描述一種電腦可讀資料儲存媒體，其上儲存有在執行時使得視訊處理器件之一或多個處理器執行以下操作之指令：在用於包含一或多個基本串流之節目之第一描述符中以信號傳送複數個PTL語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素，該第一描述符在傳輸串流中；及在用於節目之第一描述符或第二描述符中以信號傳送複數個操作點語法元素集合，其中：複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點，且對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之PTL資訊，各別操作點具有複數個層。
在隨附圖式及以下描述中闡述本發明的一或多項實例的細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
17‧‧‧媒體感知網路元件
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出界面
28‧‧‧輸入介面
30‧‧‧視訊編碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
121‧‧‧視訊資料記憶體
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
400‧‧‧步驟
402‧‧‧步驟
404‧‧‧步驟
450‧‧‧步驟
452‧‧‧步驟
500‧‧‧步驟
502‧‧‧步驟
550‧‧‧步驟
552‧‧‧步驟
554‧‧‧步驟
圖1為繪示可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為繪示實例視訊編碼器的方塊圖。
圖3為繪示實例視訊解碼器的方塊圖。
圖4A為繪示根據本發明之技術的處理視訊資料之第一實例操作的流程圖。
圖4B為繪示根據本發明之技術的處理視訊資料之第二實例操作的流程圖。
圖5A為繪示根據本發明之技術的處理視訊資料之第三實例操作的流程圖。
圖5B為繪示根據本發明之技術的處理視訊資料之第四實例操作的流程圖。
高效率視訊寫碼(HEVC)是最近標準化的視訊寫碼標準。多層HEVC係指代支援多層之HEVC之延伸的術語。多視圖HEVC(MV-HEVC)、3維HEVC(3D-HEVC)及可擴展式HEVC(SHVC)為多層HEVC之實例類型。在MV-HEVC及3D-HEVC中，不同層可對應於不同視圖。SHVC提供基礎層及增強層。增強層可提供對訊框速率或基礎層圖像品質之提昇。
可解碼層內的一些圖像而不參考同一層內的其他圖像。因此，可自位元流移除封裝層之某些圖像之資料的網路抽象層(NAL)單元，而不影響層中其他圖像的可解碼性。移除封裝此等圖像的資料的NAL單元可能會降低位元流的訊框速率。可在無需參考層內的其他圖像的情況下解碼的層內之圖像子集在本文中可被稱作「子層」或「時間子層」。
MPEG-2系統規範描述經壓縮多媒體(視訊及音訊)資料串流可與其他資料一起經多工以形成適合於數位傳輸或儲存之單一資料串流的方式。HEVC及多層HEVC為可經多工以形成MPEG-2系統規範中之資 料串流的視訊資料之實例類型。MPEG-2系統規範定義節目串流及傳輸串流之概念。節目串流偏向來自數位儲存服務之單一節目之儲存及顯示。一般而言，節目串流意欲用於無錯誤環境中。對比而言，傳輸串流意在用於多個節目在可能易於出錯之頻道上之同時遞送。節目串流及傳輸串流包括經封包的基本串流(PES)封包。節目串流及傳輸串流之PES封包屬於一或多個基本串流。基本串流為節目之單一的、用數位方式寫碼的(可能經HEVC壓縮的或經多層HEVC壓縮的)分量。舉例而言，節目之經寫碼視訊或音訊部分可為一基本串流。
傳輸串流可包括傳遞關於節目或節目之基本串流之其他資訊的一或多個描述符。舉例而言，描述符可包括視訊編碼參數、音訊編碼參數、語言識別資訊、光景比改變技術(pan-and-scan)資訊、條件性存取細節、版權資訊等等。若有需要，廣播公司或其他使用者可定義額外的專用描述符。在視訊相關分量基本串流中，描述符可包括一或多個層次描述符。層級描述符提供識別含有經階層式寫碼之視訊、音訊及專用串流之分量的節目元素的資訊。專用串流可包括後設資料，諸如節目特定資訊之串流。一般而言，節目元素為包括於節目(亦即，節目之分量基本串流)中之資料或基本串流中之一者。在MPEG-2傳輸串流中，節目元素通常經封包化。在MPEG-2節目串流中，節目元素未經封包化。
描述符與經編碼視訊資料分離。因此，諸如媒體感知網路元件(Media Aware Network Element；MANE)的器件可能夠使用描述符對傳輸串流及節目串流執行各種功能而不解碼或以其他方式分析經編碼視訊資料。舉例而言，若使用HEVC編碼視訊資料，器件不需要經組態以解碼經HEVC編碼的視訊資料以便使用描述符對傳輸或節目串流執行特殊功能。舉例而言，器件可能夠將描述符用作判定是否要轉發特定節目元素至目的地器件之過程的部分。
節目之每一各別層之每一各別時間子層可對應於節目之不同節目分量(例如，基本串流)。如上文所指示，描述符可包括階層描述符。每一各別階層描述符提供關於對應節目分量且因此關於各別時間子層之資訊。舉例而言，階層描述符可包括解碼對應於階層描述符之嵌入時間子層所需的指定該時間子層的語法元素。此外，階層描述符可包括指定對應時間子層是否提供相對於嵌入時間子層的時間可擴展性(例如，提高訊框速率)、是否提供相對於嵌入時間子層的空間可擴展性(例如，提高圖像解析度)、是否提供相對於嵌入時間子層的品質可擴展性(例如，增強信雜比品質或保真度)等的語法元素。階層描述符並不指示解碼對應時間子層是否取決於解碼對應於不同層之節目分量。
除一或多個階層描述符外，於MPEG-2傳輸或節目串流中以信號傳送的描述符可包括一或多個階層延伸描述符。每一階層延伸描述符可提供關於對應節目分量且因此關於各別時間子層之額外資訊。不同於階層描述符，階層延伸描述符可指示哪些層需要經解碼以成功地解碼對應於階層延伸描述符之時間子層。
階層延伸描述符並不識別需要哪一(若存在)時間子層來解碼對應於階層延伸描述符之時間子層。換言之，階層延伸描述符無法描述時間相依性。因此，階層描述符僅用於描述時間相依性，而使用階層延伸描述符來描述其他類型的相依性。因此，階層延伸描述符之解譯取決於階層描述符。換言之，器件可不能夠完全判定需要解碼哪些其他節目分量以便解碼對應於階層延伸描述符之節目分量。因此，在對應階層描述符不存在的情況下不可使用階層延伸描述符。
本發明之特定技術可打破階層延伸描述符對階層描述符之相依性。因此，根據本發明之技術，器件可在對應階層描述符不存在的情況下使用階層延伸描述符。舉例而言，計算器件可判定當前節目元素 是否提昇(例如，提高)位元流之訊框速率。在此實例中，計算器件可在對應於當前節目元素之描述符(例如，階層延伸描述符)中包括指示需要存取且需要在解碼當前節目元素前按解碼次序存在的節目元素之層索引的語法元素。描述符可在傳輸串流中。在其他實例中，描述符在節目串流中或別處。在此實例中，計算器件在對應於當前節目元素之描述符中包括對當前節目元素是否提昇位元流之訊框速率的指示。
除了階層描述符及階層延伸描述符外，傳輸或節目串流之描述符可包括HEVC操作點描述符及HEVC延伸描述符。HEVC操作點描述符包括描述操作點之資訊。操作點為位元流之NAL單元之子集。操作點可藉由層識別符子集及一最大時間識別符來定義。在一些情況下，操作點由屬於經識別層中之一者且具有小於或等於最大時間識別符之時間識別符的位元流之每一NAL單元組成。
HEVC操作點描述符及HEVC延伸描述符兩者包括指示設定檔、層次及層級(PTL)資訊之語法元素。一般而言，視訊寫碼標準之「設定檔」為視訊寫碼標準中提出的特徵及工具之子集。換言之，設定檔定義可使用何種寫碼工具。舉例而言，對於視訊編碼器，設定檔可為視訊編碼器可使用以產生符合該設定檔之經寫碼位元流的寫碼工具之子集。對於視訊解碼器，設定檔可意謂視訊解碼器必須具有以便能夠解碼據稱符合設定檔之位元流的寫碼工具之子集。
層級為對可藉由語法元素及視訊寫碼標準之變數採用的值之約束的經定義集合。層次為強加於位元流中之語法元素之值或變數之值的層級約束之指定類別，其中層級約束嵌套於層次內，且符合某一層次及層級之解碼器將能夠解碼符合同一層次或彼層級之較低層次或低於彼層級之任何層級的所有位元流。因此，層次之層級為強加於位元流中之語法元素之值或用於解碼位元流之變數的約束的指定集合。
如上文所指示，HEVC操作點描述符及HEVC延伸描述符兩者包 括指示PTL資訊之語法元素。然而，HEVC操作點描述符及HEVC延伸描述符中之PTL資訊之以信號傳送不與PTL資訊在編解碼器層級(例如，在SHVC及MV-HEVC中)上以信號傳送之方式對準。舉例而言，在編解碼器層級下，包括於操作點中之每一層指派有其自身的PTL資訊。然而，在HEVC操作點描述符及HEVC延伸描述符中情況並非如此。
本發明之額外技術可將此等描述符中之PTL資訊的以信號傳送與在編解碼器層級上之PTL資訊之以信號傳送對準。舉例而言，本發明之特定技術可在對應於節目之描述符(例如，HEVC延伸描述符)中指定用於節目之操作點集合之每一各別層的PTL資訊。在一項實例中，計算器件在用於包含一或多個基本串流之節目之描述符中以信號傳送複數個PTL語法元素集合。描述符可在傳輸串流中。在此實例中，對於節目之複數個操作點之每一各別操作點之每一各別層，計算器件或其他器件可指派各別PTL資訊至各別操作點之各別層。此外，在此實例中，計算器件在用於節目之描述符中以信號傳送複數個操作點語法元素集合。在此實例中，複數個操作點語法元素集合之每一各別操作點語法元素集合指定複數個操作點之各別操作點。在此實例中，對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層的各別PTL資訊。
圖1為繪示可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」一般指代視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」一般可指代視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件 14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含各種各樣的器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦、視訊會議設備或類似物。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一項實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且可將經調變的視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在又一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或另一中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料及將經編碼視訊資料傳輸至目的地器件14的一伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、電纜數據機等)或適合於存取儲存在檔案伺服器上的經編碼視訊資料的兩者之組合。經編碼視訊資料自檔案伺服器的傳輸可為串流傳輸、下載傳輸或兩者的組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，該等應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、用於儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊回放、視訊廣播及/或視訊電話之應用。
圖1僅為實例且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體擷取、經由網路串流傳輸，或類似者。視訊編碼器件可編碼資料且將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料且解碼資料。在許多實例中，由彼此不通信而是簡單地將資料編碼至記憶體及/或自記憶體擷取資料且解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊捕獲器件、含有先前所捕獲之視訊資料的視訊封存檔、自視訊內容提供者接收視訊資料的視訊饋入介面及/或用於產生視訊資料的電腦圖形系統，或視訊資料之此等來源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼的視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以在稍後供目的地器件14存取以用於解碼及/或回放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。視訊解碼器30可解碼經編碼視訊資料。顯示器件32可顯示經解碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若技術在軟體中經部分地實施，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器執行指令以執行本發明之技術。可將上述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式 編碼器/解碼器(編解碼器)的部分。
本發明可大體上係關於視訊編碼器20「以信號傳送」某些資訊至另一器件，諸如視訊解碼器30。術語「以信號傳送」一般可指代用以解碼經壓縮視訊資料的語法元素及/或其他資料的值的通信。此通信可即時地或近即時地發生。替代地，可歷時一時間跨度而發生此通信，諸如此通信可在以下時候發生：在編碼時，將經編碼位元流中之語法元素儲存至電腦可讀儲存媒體，該等語法元素隨後可在儲存於此媒體之後由解碼器件在任何時間進行擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準來操作，該標準諸如國際標準化組織(ISO)/IEC MPEG-4視訊及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可擴展式視訊寫碼(SVC)延伸、多視圖視訊寫碼(MVC)延伸及基於MVC之三維視訊(3DV)延伸。在一些情況下，符合H.264/AVC之基於MVC之3DV延伸的任何位元流始終含有順應H.264/AVC之MVC延伸的子位元流。此外，視訊編碼器20及視訊解碼器30可根據當前在開發的對H.264/AVC之3DV寫碼延伸(亦即，基於AVC的3DV)來操作。在其他實例中，視訊編碼器20及視訊解碼器30可根據國際電信聯盟電信標準化部門(ITU-T)H.261、國際標準化組織(ISO)/國際電工委員會(IEC)移動圖像專家組(MPEG)-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊及ITU-T H.264 ISO/IEC視訊來操作。換言之，視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊、ITU-T H.263、ISO/IEC MPEG-4視訊及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括其可擴展式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸。
在其他實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)之視訊寫碼 聯合合作小組(JCT-VC))開發的高效率視訊寫碼(HEVC)來操作。HEVC可被稱作「Rec.ITU-T H.265｜ISO/IEC 23008-2.」。HEVC草案說明書在下文中被稱作HEVC WD，其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。下文中被稱作「HEVC版本1」的HEVC版本可自https：//www.itu.int/rec/dologin_pub.asp？lang=e&id=T-REC-H.265-201304-S！！PDF-E&type=items獲得。對HEVC之可擴展式延伸(稱為SHVC)亦正由JCT-VC開發。SHVC之最近工作草案(WD)(且在下文中被稱作SHVC WD3)可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip獲得。HEVC之範圍延伸之最近工作草案(WD)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip獲得。
此外，視訊編碼器20及視訊解碼器30可根據可擴展式視訊寫碼、多視圖寫碼及當前正在開發的HEVC之3DV延伸來操作。HEVC之可擴展式視訊寫碼延伸可被稱作SHVC。對HEVC之多視圖延伸(亦即MV-HEVC)亦正由JCT-3V開發。MV-HEVC之最近工作草案(WD)(在下文中被稱作MV-HEVC WD5)可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip獲得。HEVC之3DV延伸可被稱作基於HEVC之3DV或3D-HEVC。HEVC之3D延伸(亦即，3D-HEVC)之最近工作草案(WD)可自http：//phenix.int-evry.fr/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip獲得。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，標示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。彩度(chrominance) 樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應的寫碼樹型區塊，及用於寫碼該寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。切片可包括以光柵掃描次序連續定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，以及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用於預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用於預測該預測區塊的語法結構。視訊編碼器20可產生用於CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之預測性區塊。在本發明中，習語「基於」可指示「至少部分基於」。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於除與PU相關聯之圖像以外的一或多個圖像之經解碼樣本產生PU之預測性區塊。
為支援框間預測，視訊編碼器20可產生一或多個參考圖像清單。此等參考圖像清單可被稱作RefPicList0及RefPicList1。在一些實例中，視訊編碼器20可產生用於不同圖像或圖像之不同切片的不同參考圖像清單。因此，不同圖像及/或切片之不同PU可與RefPicList0及RefPicList1之不同版本相關聯。
此外，當視訊編碼器20使用框間預測產生PU之預測性區塊時，視訊編碼器可以信號傳送用於PU的運動資訊。運動資訊可包括PU之參考索引及PU之運動向量。PU之參考索引可指示參考圖像在與PU相關聯的參考圖像清單中之一者內的位置。PU之運動向量可指示PU之預測區塊與參考圖像中的參考位置之間的空間移位。視訊編碼器20可使用與參考位置相關聯的參考圖像的樣本來產生PU之預測性區塊。因為PU可與兩個參考圖像相關聯，故PU可具有兩個參考索引及兩個運動向量。因此，PU可具有RefPicList0參考索引及RefPicList1參考索引。PU之RefPicList0參考索引指示PU之RefPicList0版本中的參考圖像。PU之RefPicList1參考索引指示PU之RefPicList1版本中的參考圖像。類似地，PU可具有RefPicList0運動向量及RefPicList1運動向量。PU之RefPicList0運動向量可指示PU之RefPicList0版本中的參考圖像中之參考位置。PU之RefPicList1運動向量可指示PU之RefPicList1版本中的參考圖像中之參考位置。
視訊編碼器20可在位元流中以信號傳送PU之參考索引及運動向量。換言之，視訊編碼器20可在位元流中包括指示PU之參考索引及運動向量的資料。視訊解碼器30可重建構PU之RefPicList0版本及/或RefPicList1版本，且可使用PU之參考索引及運動向量以判定PU之一或多個預測性區塊。視訊解碼器30可使用PU之預測性區塊連同殘餘資料以解碼樣本。
在視訊編碼器20產生用於CU之PU的預測性區塊之後，視訊編碼器20可產生用於CU的殘餘資料。CU之殘餘區塊之每一樣本可指示CU之PU之預測性區塊中之一者中的樣本與CU之寫碼區塊中之一者中的對應樣本之間的差異。舉例而言，視訊編碼器20可產生用於CU之一或多個PU的預測性明度區塊，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊可為應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用於對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區 塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生用於TU之明度係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化一般指代對變換係數進行量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮的過程。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元流。術語「位元流」可為用以指代網路抽象層(NAL)單元串流(例如，NAL單元序列)抑或位元組串流(例如，含有開始碼首碼的NAL單元串流及由HEVC標準之附錄B指定的NAL單元之封裝)之集合性術語。NAL單元為一語法結構，其含有對NAL單元中的資料之類型之指示及呈按需要穿插有模擬預防位元之原始位元組序列有效負載(raw byte sequence payload；RBSP)之形式的含有彼資料的位元組。NAL單元中之每一者可包括NAL單元標頭且可封裝 RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有封裝於NAL單元內的整數數目個位元組的語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可封裝不同類型之RBSP。舉例而言，第一類型之NAL單元可封裝用於圖像參數集合(PPS)的RBSP，第二類型之NAL單元可封裝用於經寫碼切片的RBSP，第三類型之NAL單元可封裝用於SEI的RBSP，等等。封裝視訊寫碼資料之RBSP(與用於參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。含有參數集合(例如，VPS、SPS、PPS等)的NAL單元可被稱作參數集合NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元流。另外，視訊解碼器30可解析位元流以自該位元流獲得語法元素。視訊解碼器30可至少部分基於自位元流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之過程可與由視訊編碼器20執行之過程大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在多視圖寫碼中，可存在來自不同視點之相同場景的多個視圖。在多視圖寫碼的上下文中，術語「存取單元」可用以指代對應於同一時間個例的圖像集合。因此，視訊資料可經概念化為一系列隨時間出現之存取單元。「視圖分量」可為單一存取單元中之視圖的經寫 碼表示。在本發明中，「視圖」可指代與同一視圖識別符相關聯之視圖分量序列。在一些實例中，視圖分量可為紋理視圖分量(亦即，紋理圖像)或深度視圖分量(亦即，深度圖像)。
多視圖寫碼支援視圖間預測。視圖間預測類似於HEVC中所使用的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊編碼器20可將處於與當前視訊單元相同的存取單元中但處於不同視圖中的圖像用作參考圖像。對比而言，習知的框間預測僅將不同存取單元中的圖像用作參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可在不參考任一其他視圖中之圖像的情況下解碼視圖中的圖像，則該視圖可被稱作「基礎視圖」。當對非基礎視圖中之一者中的圖像進行寫碼時，視訊寫碼器(例如視訊編碼器20或視訊解碼器30)可在圖像與視訊寫碼器當前正寫碼的圖像處於不同視圖中但在同一時間個例(亦即，存取單元)內時將圖像添加到參考圖像清單中。類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何定位處插入視圖間預測參考圖像。
舉例而言，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素。具有指定不同值之nuh_layer_id語法元素(亦可被稱作nuh_reserved_zero_6bit語法元素)的NAL單元屬於位元流之不同「層」。因此，在多視圖寫碼、3DV或SVC中，NAL單元的nuh_layer_id語法元素指定NAL單元的層識別符(亦即，層ID)。若NAL單元涉及多視圖寫碼、3DV寫碼或SVC中的基礎層，則NAL單元的nuh_layer_id語法元素等於0。可在不參考位元流之任一其他層中的資料之情況下解碼位元流之基礎層中的資料。若NAL單元不涉及多視圖 寫碼、3DV或SVC中的基礎層，則nuh_layer_id語法元素可具有非零值。在多視圖寫碼及3DV寫碼中，位元流之不同層可對應於不同視圖。在SVC中，除基礎層之外的層可被稱作「增強層」且可提供提昇自位元流解碼之視訊資料之視覺品質的資訊。
此外，可在不參考同一層內的其他圖像的情況下解碼層內的一些圖像。因此，可從位元流移除封裝層之某些圖像之資料的NAL單元而不影響層中之其他圖像的可解碼性。移除封裝此等圖像之資料的NAL單元可降低位元流的訊框速率。可在不參考層內之其他圖像的情況下解碼的層內之一圖像子集在本文中可被稱作「子層」或「時間子層」。
NAL單元可包括temporal_id語法元素。NAL單元的temporal_id語法元素指定NAL單元的時間識別符。NAL單元之時間識別符識別NAL單元相關聯之子層。因此，位元流之每一子層可與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符，則可在不參考由第二NAL單元封裝之資料的情況下解碼由第一NAL單元封裝之資料。
位元流可與複數個操作點相關聯。位元流之每一操作點與層識別符之集合(亦即，nuh_reserved_zero_6bits值之集合)及時間識別符相關聯。可將層識別符集合標示為OpLayerIdSet，且可將時間識別符標示為TemporalID。若NAL單元之層識別符在操作點之層識別符集合中且NAL單元之時間識別符小於或等於操作點之時間識別符，則NAL單元與操作點相關聯。操作點表示為與操作點相關聯的位元流子集。操作點表示可包括與操作點相關聯的每一NAL單元。在一些實例中，操作點表示並不包括不與操作點相關聯的VCL NAL單元。
媒體感知網路元件(MANE)17可對以多個子層編碼的HEVC位元流應用位元流薄化。MANE 17可包含各種類型的計算器件，該等器件 中之每一者可包含一或多個處理器及資料儲存媒體。在位元流中的任一點處，MANE 17可基於較低子層(亦即，與較低時間識別符相關聯的子層)中的圖像由於用於較低子層中之圖像之解碼過程並不取決於較高子層之NAL單元而仍為可解碼的事實而開始移除較高子層(亦即，與較高時間識別符相關聯的子層)的NAL單元。移除具有高於某一值的時間識別符的所有NAL單元的動作可被稱作時間降切換(temporal down-switching)。時間降切換可始終是可能的。
術語「時間升切換(temporal up-switching)」可指代開始轉發在彼點之前尚未轉發的某一子層的NAL單元的動作。僅在於位元流中執行切換的點之前所切換至的層中之圖像均不取決於同一子層中之任何圖像的情況下，時間升切換可為可能的。因此，術語「時間子層切換點」可指代一圖像，其對與該圖像在同一子層中且按解碼次序先於該圖像的任何其他圖像不具有相依性。
HEVC及其他視訊寫碼標準指定設定檔、層次及層級。設定檔、層次及層級指定對位元流的限定且因此指定對解碼位元流所需的能力的限制。設定檔、層次及層級亦可用以指示個別解碼器實施之間的互操作性點。每一設定檔指定視訊寫碼標準中提出的演算法特徵及工具之子集。不需要視訊編碼器利用設定檔中支援的所有特徵。層次的每一層級可指定對語法元素及變數可具有之值的限制的集合。層次及層級定義之同一集合可與所有設定檔一起使用，但個別實施可支援不同層次且支援一層次內用於每一所支援設定檔的不同層級。對於任何給定設定檔，層次的層級可大體上對應於特定解碼器處理負載及存儲器能力。視訊解碼器之能力可依據對符合特定設定檔、層次及層級之約束的視訊串流進行解碼的能力經指定。對於每一此類設定檔，亦可表達針對彼設定檔所支援的層次及層級。一些視訊解碼器可能不能夠解碼特定設定檔、層次或層級。
在HEVC中，設定檔、層次及層級可由語法結構profile_tier_level( )語法結構以信號傳送。profile_tier_level( )語法結構可包括於VPS及/或SPS中。profile_tier_level( )語法結構可包括general_profile_idc語法元素、general_tier_flag語法元素及general_level_idc語法元素。general_profile_idc語法元素可指示經編碼視訊序列(CVS)所符合的設定檔。general_tier_flag語法元素可指示用於general_level_idc語法元素之解譯的層次上下文。general_level_idc語法元素可指示CVS所符合的層級。可保留此等語法元素之其他值。
視訊解碼器的能力可依據對符合設定檔、層次及層級之約束的視訊串流進行解碼的能力經指定。對於每一此類設定檔，亦可表達對於彼設定檔所支援的層次及層級。在一些實例中，視訊解碼器並不推斷HEVC中指定的值之間的general_profile_idc語法元素的保留值指示指定設定檔之間的中間能力。然而，視訊解碼器可推斷與HEVC中指定的值之間的general_tier_flag語法元素之特定值相關聯的general_level_idc語法元素之留值指示層次的指定層級之間的中間能力。
MPEG-2系統規範描述經壓縮多媒體(視訊及音訊)資料串流可與其他資料一起經多工以形成適合於數位傳輸或儲存之單一資料串流的方式。MPEG-2 TS之規範為2012年6月版本(下文中之「H.222.0」)之ITU-T推薦H.222.0，其中提供AVC及AVC延伸之支援。用於HEVC之MPEG-2 TS之修正已獲得進展。最新文件為2013年7月之MPEG文件w13656中的「Text of ISO/IEC 13818-1：2013/Final Draft Amendment 3-Transport of HEVC video over MPEG-2 Systems」(下文中之「FDAM 3」)。最近，已開始對用於載送分層HEVC的MPEG-2 TS之修正。最新文件為2014年7月之MPEG文件w14562中的「Text of ISO/IEC 13818-1：2013/Study of PDAM 7-Carriage of Layered HEVC」(下文中之「PDAM 7研究」)。
在MPEG-2系統規範中，基本串流為節目之單一的以數位方式寫碼(可能經MPEG壓縮)之分量。舉例而言，節目之經寫碼視訊或音訊部分可為基本串流。基本串流在經多工為節目串流或傳輸串流之前首先經轉化成經封包化基本串流(PES)。在同一節目中，使用stream_id來區分屬於一個基本串流的PES封包與屬於另一者的PES封包。
在MPEG-2系統規範中，節目串流及傳輸串流為以不同應用為目標的兩種替代性多工。相比數位儲存服務，節目串流偏向於單一節目之儲存及顯示。節目串流主要意欲用於無錯誤環境中，因為節目串流可能易於受錯誤影響。
節目串流包含屬於節目串流之基本串流且通常含有可變長度封包。在節目串流中，源自起作用之基本串流的PES封包經組織為『包(pack)』。包含包標頭、可選系統標頭及以任何次序自起作用之基本串流中之任一者獲取的任何數目之PES封包。系統標頭含有節目串流之特性的概述，諸如：其最大資料速率；起作用之視訊及音訊基本串流之數目；其他時序資訊。解碼器可使用系統標頭中所含的資訊來判定該解碼器是否能夠解碼節目串流。
傳輸串流主要意欲用於大量節目在可能易於出錯之頻道上之同步遞送。傳輸串流經多工設計用於諸如廣播之多節目應用，以使得單一傳輸串流可適應多個獨立節目。傳輸串流包含一連串傳輸封包。在一些情況下，傳輸封包中之每一者長188位元組。短的、固定長度之封包的使用意謂著傳輸串流不像節目串流那樣易於受錯誤影響。此外，藉由經由標準錯誤保護過程(諸如雷德-所羅門(Reed-Solomon)編碼)處理傳輸封包來給予每一188位元組長的傳輸封包額外錯誤保護。傳輸串流之經改良錯誤恢復意謂著傳輸封包具有在易於出錯之頻道 (諸如在廣播環境中發現的頻道)中留存之較佳機會。看起來似乎傳輸串流明顯地由於其提高的錯誤恢復及載送許多同步節目之能力而為兩個多工中之較好者。然而，傳輸串流為相比節目串流更為複雜的多工且因而更難建立及解多工。
傳輸封包之第一位元組為同步位元組，在一些情況下，該同步位元組為0x47。單一傳輸串流可載送許多不同節目，每一者包含許多經封包化的基本串流。封包識別符(PID)欄位用於區分含有一個基本串流之資料的傳輸封包與載送其他基本串流之資料的彼等封包。在一些情況下，PID為13個位元。確保每一基本串流經授予唯一的PID值為多工器之職責。傳輸封包之最末位元組為連續性計數欄位。連續性計數欄位在屬於同一基本串流之連續傳輸封包之間遞增。此可使得解碼器能夠偵測傳輸封包之丟失或獲得，且潛在地隱藏否則可由此事件引起的錯誤。
儘管基於PID值，傳輸封包屬於哪一基本串流是明顯的，但解碼器需要知曉哪些基本串流屬於哪一節目。因此，傳輸串流包含節目特定資訊(PSI)以明確指定節目與分量基本串流之間的關係。
節目特定資訊可包括一或多個節目映射表(program map table；PMT)。在傳輸串流中載送的每一節目具有相關聯的節目映射表。PMT給出關於節目及包含該節目之基本串流的細節。舉例而言，存在具有編號3的節目且該節目含有具有PID 33之視訊、具有PID 57之英語音訊及具有PID 60之中文音訊。PMT可包括關於一個以上節目之細節。
基本節目映射表可包括在MPEG-2系統規範中指定的許多描述符中之一些。此等描述符傳遞關於節目或其分量基本串流之其他資訊。描述符可包括視訊編碼參數、音訊編碼參數、語言識別、光景比改變技術資訊、條件性存取細節、版權資訊等等。若有需要，廣播公司或 其他使用者可定義額外的專用描述符。如在本發明中別處詳細論述，在視訊相關的分量基本串流中，亦可存在階層描述符，該階層描述符提供資訊以識別含有以階層方式寫碼的視訊、音訊及專用串流之分量的節目元素。
除PMT外，PSI可包括節目串流映射(PSM)。PSM提供對節目串流中之基本串流的描述及基本串流相互之間的關係。當在傳輸串流中載送時，節目串流映射未經修改。當stream_id值為0xBC時，PSM作為PES封包存在。
此外，PSI可包括節目關聯表(program association table；PAT)。節目關聯表包括傳輸串流中可用之所有節目之完整清單。在一些實例中，PAT始終具有PID值0。每一節目連同含有節目之節目映射表的傳輸封包的PID值一起列出。PSI亦可包括網路資訊表(network information table；NIT)及條件性存取表(conditional access table；CAT)。在PAT中指定的節目編號零指向NIT。NIT為可選的，且在存在時提供關於載送傳輸串流之實體網路之資訊，諸如：頻道頻率、衛星轉頻器細節、調變特性、服務發起者、服務名稱及可用替代網路之細節。若傳輸串流內之基本串流經加擾，則CAT必須存在。CAT提供使用中的加擾系統之細節且提供含有條件性存取管理及權利資訊之傳輸封包之PID值。此資訊之格式未在MPEG-2系統規範中予以指定。
在MPEG-2傳輸串流中，階層描述符經設計來以信號傳送不同基本串流中的子位元流之階層。階層描述符提供識別含有以階層方式寫碼的視訊、音訊及專用串流之分量的節目元素的資訊。(參見下表2-49)
在表2-49中，temporal_scalability_flag為1位元旗標，其在經設定成『0』時指示相關聯節目元素提昇由hierarchy_embedded_layer_index參考之節目元素產生的位元流之訊框速率。保留此旗標之值『1』。
spatial_scalability_flag為1位元旗標，其在設定成『0』時指示相關聯節目元素提昇由hierarchy_embedded_layer_index參考之節目元素產生的位元流之空間解析度。保留此旗標之值『1』。
quality_scalability_flag為1位元旗標，其在設定成『0』時指示相關聯節目元素提昇由hierarchy_embedded_layer_index參考之節目元素產生的位元流之信雜比(SNR)品質或保真度。保留此旗標之值『1』。
hierarchy_type指示階層類型。相關聯階層分層與其階層嵌入層之間的階層式關係在下文中呈現之表2-50中予以定義。若可擴展性在一個以上維度中應用，hierarchy_type將經設定成值『8』(「組合可擴展性」)，且旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag將相應地予以設定。對於MVC視訊子位元流，hierarchy_type將經設定成值『9』(「MVC視訊子位元流」)，且旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag將經設定成『1』。對於MVC基礎視圖子位元 流，hierarchy_type將經設定成值『15』，且旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag將經設定成『1』。
hierarchy_layer_index為定義寫碼層階層之表格中之相關聯節目元素之唯一索引的6位元欄位。索引在單一節目定義內應是唯一的。對於符合在Rec.ITU-T H.264｜ISO/IEC 14496-10之附錄G中定義之一或多個設定檔的AVC視訊串流之視訊子位元流，此索引為節目元素索引，其係以以下方式指派：若同一存取單元之視訊子位元流之相關聯SVC相依性表示按hierarchy_layer_index之遞增次序重組，則位元流次序將為正確的。對於符合在Rec.ITU-T H.264｜ISO/IEC 14496-10之附錄H中定義之一或多個設定檔的AVC視訊串流之MVC視訊子位元流，此索引為節目元素索引，其係以以下方式指派：若同一存取單元之MVC視訊子位元流之相關聯MVC視圖分量子集按hierarchy_layer_index之遞增次序重組，則位元流次序將是正確的。
tref_present_flag為1位元旗標，其在設定成『0』時指示TREF欄位可存在於相關聯基本串流中的PES封包標頭中。保留此旗標之值『1』。
hierarchy_embedded_layer_index為定義需要存取且在解碼與此hierarchy_descriptor相關聯之基本串流之前按解碼次序存在的節目元素之hierarchy_layer_index的6位元欄位。若hierarchy_type值為15，則hierarchy_embedded_layer_index未經定義。
hierarchy_channel為指示傳輸頻道之有序集合中之相關聯節目元素之所要頻道編號的6位元欄位。最穩固的傳輸頻道藉由關於整體傳輸階層定義之此欄位之最低值來定義。給定hierarchy_channel可同時經指派至若干節目元素。
表2-50-Hierarchy_type欄位值
在MPEG-2 TS中，階層延伸描述符可提供關於對應節目分量且因此關於各別時間子層之額外資訊。舉例而言，當存在階層延伸描述符時，階層延伸描述符用於指定存在於不同基本串流中之層的相依性。不同於階層描述符，階層延伸描述符可指示哪些層需要經解碼以成功地解碼對應於階層延伸描述符之時間子層。下表7-3指示階層延伸描述符之語法，如FDAM 3中所指定。
在上表7-3中，extension_dimension_bits為指示由nuh_layer_id等於0之層的節目元素導致的相關聯節目元素自基礎層之可能增強的16 位元欄位。增強維度之位元分配如下。
等於1之extension_dimension_bits之第i位元指示存在對應增強維度。
hierarchy_layer_index為定義寫碼層階層之表格中的相關聯節目元素之唯一索引的6位元欄位。索引在單一節目定義中應是唯一的。對於符合在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄G或H中定義之一或多個設定檔的HEVC視訊串流之視訊子位元流，此索引為節目元素索引，其以以下方式經指派：若同一存取單元之視訊子位元流之相關聯相依性層按hierarchy_layer_index之遞增次序重組，則位元流次序將是正確的。
tref_present_flag為1位元旗標，其在設定成『0』時指示TREF欄位可存在於相關聯基本串流中的PES封包標頭中。保留此旗標之值『1』。
nuh_layer_id為指定在與此hierarchy_extension_descriptor()相關聯之基本串流中之NAL單元之最高nuh_layer_id的6位元欄位。
temporal_id為指定與此hierarchy_extension_descriptor()相關聯之基本串流中的NAL單元之最高TemporalId的3位元欄位。
num_embedded_layers為指定需要存取且需要在解碼與此hierarchy_extension_descriptor()相關聯之基本串流之前按解碼次序存在的直接相依節目元素之數目的6位元欄位。
hierarchy_ext_embedded_layer_index為定義需要存取且需要在解碼與此hierarchy_extension_descriptor相關聯之基本串流之前按解碼次序存在的節目元素之hierarchy_layer_index的6位元欄位。若hierarchy_type值為15，則此欄位未經定義。
hierarchy_channel為指示傳輸頻道之有序集合中之相關聯節目元素之所要頻道編號的6位元欄位。最穩固之傳輸頻道藉由關於整體傳輸階層定義之此欄位之最低值來定義。給定hierarchy_channel可同時經指派至若干節目元素。在其他實例中，階層描述符之語法元素可具有不同語義。
在PDAM 7研究中，階層延伸描述符(亦即，hierarchy_extension_descriptor)無法描述時間相依性。相反地，階層延伸描述符經設計以與階層描述符(例如，hierarchy_descriptor)一起使用，以使得階層描述符僅用於描述時間相依性，而使用階層延伸描述符描述其他類型的相依性。階層延伸描述符及階層描述符之此設計建立相依性，以使得階層延伸描述符在階層描述符不存在的情況下無法使用。
本發明的特定技術可處理此相依性。舉例而言，指示可包括於階層延伸描述符中以指示時間可擴展性。舉例而言，階層延伸描述符可包括節目元素是否提昇位元流之訊框速率的指示。在一些實例中，時間可擴展性之指示可為階層延伸描述符之extension_dimension_bits語法元素之部分。可藉由更新extension_dimension_bits語法元素之語義進行此指示來如下支援對時間可擴展性之描述：當extension_dimension_bits語法元素之所有16個位元皆等於0時，其指示時間增強。舉例而言，語法元素(例如，extension_dimension_bits)之所有位元等於特定值(例如，0)指示節目元素提昇位元流之訊框速率。
階層延伸描述符可以其他方式指示時間可擴展性。舉例而言，extension_dimension_bits語法元素之經保留位元中之一者可用於指示時間可擴展性。舉例而言，語法元素(例如，extension_dimension_bits)之單一位元可指示節目元素是否提昇位元流之訊框速率。在一實例中，添加一個位元至extension_dimension_bits語法元素，以使得extension_dimension_bits語法元素現具有17個位元。在此實例中，額外位元指示時間可擴展性。舉例而言，語法元素(例如，extension_dimension_bits)可由17個位元組成，且語法元素之最末位元可指示節目元素是否提昇位元流之訊框速率。
因此，根據本發明之實例，諸如MANE 17或源器件12之視訊處理器件可判定當前節目元素是否提昇位元流之訊框速率。當前節目元素可包括經編碼視訊資料。視訊處理器件可為或包括經組態以處理視訊資料之器件，諸如視訊編碼器件、視訊解碼器件、中間視訊期間(諸如MANE)、視訊串流器件、產生含有經編碼視訊資料之檔案的計算器件或另一類型之器件。在此實例中，視訊處理器件可在對應於當前節目元素之描述符(例如，階層延伸描述符)中包括指示需要存取且需要在解碼當前節目元素前按解碼次序存在的節目元素之層索引的語法元素(例如，hierarchy_ext_embedded_layer_index語法元素)。在此實例中，視訊處理器件可在對應於當前節目元素之描述符中包括對當前節目元素是否提昇位元流之訊框速率的指示。在一些實例中，節目元素中之每一者對應於各別時間子層。
在一對應實例中，視訊處理器件(諸如MANE 17或目的地器件14)可基於對應於當前節目元素之描述符(例如，階層延伸描述符)中的語法元素(例如，hierarchy_ext_embedded_layer_index語法元素)來判定需要存取且需要在解碼當前節目元素前按解碼次序存在的節目元素。在此實例中，視訊處理器件可基於對應於當前節目元素之描述符中的 指示判定當前節目元素是否提昇位元流之訊框速率。在此實例中，位元流可由需要存取且需要在解碼當前節目元素前按解碼次序存在的一或多個節目元素之集合產生。
在PDAM 7研究中，HEVC操作點描述符(例如，hevc_operation_point_descriptor)及HEVC延伸描述符(例如，hevc_extension_descriptor)兩者提供以信號傳送操作點資訊之手段。此類操作點資訊包括設定檔、層次及層級(PTL)資訊之以信號傳送。然而，用於HEVC操作點描述符及HEVC延伸描述符中之操作點之PTL資訊的以信號傳送不與編解碼器層級(亦即，SHVC及MV-HEVC標準)中之PTL資訊之以信號傳送對準。在編解碼器層級中，包括於操作點中之每一層指派有其自身之PTL資訊。
本發明的額外技術可處理此問題。舉例而言，根據本發明之技術，操作點及PTL資訊如下以信號傳送。在用於節目之描述符中以信號傳送PTL資訊集合(每一者包括PTL資訊)的清單。可用於節目之操作點的清單亦在描述符中以信號傳送。在一些實例中，包括操作點之清單的描述符為不同於含有PTL資訊組合之清單的描述符。在其他實例中，包括操作點之清單的描述符為與含有PTL資訊集合之清單的描述符相同之描述符。作為待解碼層包括於操作點中(亦即，包括於用於解碼操作點之子位元流中)的每一層經給定有參考PTL資訊之集合的索引。在其他實例中，作為輸出層包括於操作點中的每一層經給定有參考PTL資訊之集合的索引。
因此，根據本發明之實例，視訊處理器件(諸如源器件12、MANE 17或其他器件)可在用於包含一或多個基本串流之節目的描述符中以信號傳送複數個PTL語法元素集合。一或多個基本串流可包含經編碼視訊資料。對於節目之複數個操作點中之每一各別操作點之每一各別層，視訊處理器件可指派各別PTL資訊至各別操作點之各別 層。另外，視訊處理器件可在用於節目之描述符或用於節目之另一描述符中以信號傳送複數個操作點語法元素集合。在此實例中，複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點。此外，在此實例中，對於各別操作點之每一各別層，各別操作點語法元素包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之各別PTL資訊。
在一對應實例中，視訊處理器件(諸如MANE17、目的地器件14或其他器件)可自用於可包含一或多個基本串流的節目之描述符獲得複數個PTL語法元素集合。在此實例中，包含語法元素之複數個PTL語法元素集合之每一各別PTL語法元素集合指定各別PTL資訊。此外，在此實例中，視訊處理器件可自用於節目之描述符獲得複數個操作點語法元素集合。在此實例中，複數個操作點語法元素集合之每一各別操作點語法元素集合指定複數個操作點之各別操作點。另外，在此實例中，對於複數個操作點語法元素集合中之每一各別操作點語法元素，視訊處理器件可基於各別操作點語法元素集合中之各別語法元素針對藉由該各別操作點語法元素集合指定的各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊。
在PDAM 7研究之子條款2.17.4中描述的操作點之基本串流之聚合可概括如下。若操作點在hevc_operation_point_descriptor或hevc_extension_descriptor中以信號傳送，則用於操作點之HEVC層清單基於基本串流或描述符中針對該操作點描述之層清單而建立。或者，若hevc_operation_point_descriptor或hevc_extension_descriptor皆不存在時，每一基本串流被視為操作點，且HEVC層清單係基於hierarchy_descriptor或hierarchy_extension_descriptor而建立。或者， 在PDAM 7研究之修正表格7-5中描述操作點之預設清單。如下重新產生修正表格7-5。
上文用於基本串流之聚合的方法可至少具有以下問題。在關於上文用於基本串流之聚合的方法的第一問題中，當不存在用於操作點之描述符時，假定每一基本串流為一操作點。對於Hattori等人之「Text of ISO/IEC 13818-1：2013/FDAM 5-Transport of MVC depth video sub-bitstream and support for HEVC low delay coding mode」(ISO/IEC JTC1/SC29/WG11，MPEG2014/N14315，2014年4月，西班牙，巴倫西亞)(下文之「ISO/IEC 13818-1：2013之修正5」)來說，此可具有回溯相容性問題。在ISO/IEC 13818-1：2013之修正5中，HEVC時間視訊子位元流與其所有相關聯HEVC時間視訊子集一起被視為一個操作點。換言之，僅增強其參考基本串流之時間態樣之基本串流不被視為另一操作點。因此，當不存在用於操作點之描述符時，僅具有串流類型0x24、0x27及0x29之基本串流應被其本身視為操作點，而具有串流類型0x25、0x28及0x2A之基本串流應被視為與具有彼等基本串流所增強的類型0x24、0x27及0x29之基本串流相關聯的操作點之部分。在PDAM7研究中，類型0x24指示HEVC視訊串流或HEVC時間視訊子位元流或HEVC基礎子分割區。此外，在PDAM7研究中，類型0x27指示包括符合在ITU-T Rec.H.265｜ISO/IEC 23008-2之附錄G中定 義之一或多個設定檔的HEVC視訊串流之TemporalId 0的HEVC增強子分割區。此外，在PDAM7研究中，類型0x28指示符合在ITU-T Rec.H.265｜ISO/IEC 23008-2之附錄G中定義之一或多個設定檔的HEVC視訊串流之HEVC時間增強子分割區。此外，在PDAM8研究中，類型0x29指示包括符合在ITU-T Rec.H.265｜ISO/IEC 23008-2之附錄H中定義之一或多個設定檔的HEVC視訊串流之TemporalId 0的HEVC增強子分割區。在PDAM7研究中，類型0x2A指示符合在ITU-T Rec.H.265｜ISO/IEC 23008-2之附錄H中定義之一或多個設定檔的HEVC視訊串流之HEVC時間增強子分割區。
在關於上文用於基本串流之聚合的方法的第二問題中，提出用新的hevc_extension_descriptor替換hevc_operation_point_descriptor及hevc_extension_descriptor。因此，必須亦更新用於操作點之基本串流之聚合的描述符。如在PDAM 7研究中所定義的，HEVC層分量聚合可為來自按HEVC層清單所指示之次序在HEVC層清單中所指示的所有HEVC子分割區的具有同一輸出時間之所有HEVC層分量之串連，從而產生如Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄F中所定義的有效存取單元。
根據本發明之技術，可如下修改基本串流之聚合。若存在用於節目的載送操作點資訊之描述符，則用於描述於描述符中的每一操作點之HEVC層清單係基於用於該操作點之資訊而建立且將含有經包括以用於操作點的層。或者，若不存在用於節目的載送操作點資訊之描述符，則具有串流類型0x24、0x27及0x29之每一基本串流ESi對應於單一目標操作點OPi。包括於ESi及由用於ESi之hierarchy_extension_descriptor之語法元素hierarchy_ext_embedded_layer_index(若存在)所指向的基本串流中、根據LayerId之遞增次序定序之層的聚合產生HEVC層清單。若藉由 hierarchy_ext_embedded_layer_index以信號傳送的基本串流具有其他相依性，則此等相依性將以遞迴的方式預先考慮。
本發明描述用於載送HEVC延伸之設計MPEG-2傳輸串流(TS)的改良。在本文中給出本發明之技術之概述，且在後面部分中提供一些技術之具體實施。此等技術中之一些可獨立地應用，且其中一些可組合地應用。
圖2為繪示實例視訊編碼器20之方塊圖。出於解釋的目的提供圖2且圖2不應被視為對本發明中廣泛例示及描述之該等技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括更多、更少或不同的功能性組件。
在一些實例中，視訊編碼器20可進一步包括視訊資料記憶體121。視訊資料記憶體121可藉由視訊編碼器20之組件儲存待編碼的視訊資料。儲存於視訊資料記憶體121中的視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器116可為儲存供視訊編碼器20用於編碼視訊資料(例如，在框內寫碼或框間寫碼模式下)之參考視訊資料的參考圖像記憶體。視訊資料記憶體121及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立 記憶體器件來提供視訊資料記憶體121及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體121可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之切片中的每一CTU。視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU當中分割與該CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。CU之大小可指代CU之明度寫碼區塊的大小，且PU之大小可指代PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似者之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及PU之運動資訊。取決於PU是在I切片中、P切片中抑或B切片中，框間預測處理單元120可針對CU之PU執行不同操作。在I切片中，所有PU經框內預測。因此，若PU在I切片中，則框間預測處理單元120並不對PU執行框間預測。
若PU在P切片中，則運動估計單元122可在參考圖像清單(例如，「RefPicList0」)中之參考圖像中搜尋PU之參考區域。用於PU之參考區域可為在參考圖像內、含有最緊密地對應於PU之預測區塊的樣本的區域。運動估計單元122可產生指示含有用於PU之參考區域的參考圖像之RefPicList0中之位置的參考索引。另外，運動估計單元122可 產生指示PU之寫碼區塊與關聯於參考區域之參考位置之間的空間移位的運動向量。舉例而言，運動向量可為提供自當前圖像中之座標至參考圖像中之座標的偏移的二維向量。運動估計單元122可將參考索引及運動向量作為PU之運動資訊輸出。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際樣本或內插樣本而產生PU之預測性區塊。
若PU在B切片中，則運動估計單元122可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元122可在RefPicList0或第二參考圖像清單(「RefPicList1」)之參考圖像中搜尋PU之參考區域。運動估計單元122可將指示含有參考區域之參考圖像之RefPicList0或RefPicList1中之位置的參考索引、指示PU之預測區塊與關聯於參考區域之參考位置之間的空間移位的運動向量及指示參考圖像是在RefPicList0抑或RefPicList1中的一或多個預測方向指示符作為PU之運動資訊輸出。運動補償單元124可至少部分基於藉由PU之運動向量指示的參考位置處的實際樣本或內插樣本產生PU之預測性區塊。
為針對PU執行雙向框間預測，運動估計單元122可在RefPicList0中之參考圖像中搜尋用於PU之參考區域，且亦可在RefPicList1中之參考圖像中搜尋用於PU之另一參考區域。運動估計單元122可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考索引。另外，運動估計單元122可產生指示關聯於參考區域之參考位置與PU之預測區塊之間的空間移位的運動向量。PU之運動資訊可包括PU之參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量所指示的參考位置處之實際樣本或內插樣本而產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之 預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I切片中、P切片中及B切片中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性區塊的多個集合。當使用特定框內預測模式執行框內預測時，框內預測處理單元126可使用來自相鄰區塊的樣本之特定集合產生PU之預測性區塊。假定對於PU、CU及CTU採用自左至右、自上至下的編碼次序，鄰近區塊可在PU之預測區塊的上方、右上方、左上方或左方。框內預測處理單元126可使用各種數目之框內預測模式，例如，33種定向框內預測模式。在一些實例中，框內預測模式之數目可取決於PU之預測區塊的大小。
預測處理單元100可從由框間預測處理單元120所產生的用於PU之預測性資料中，或從由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的速率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選預測性區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的所選預測性區塊(例如，預測性明度、Cb及Cr區塊)產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中之樣本與CU之PU之對應所選預測性區塊中之對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個對應色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的 大小及位置可基於或可不基於CU之PU的預測區塊之大小及位置。
藉由將一或多個變換應用至TU之變換區塊，變換處理單元104可產生用於CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104不將變換應用於變換區塊。在此等實例中，變換區塊可被視為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化過程可減小與變換係數中之一些或全部相關聯的位元深度。舉例而言，n位元變換係數可在量化期間經下捨入至m位元變換係數，其中n大於m。量化單位106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化的程度。量化可引入資訊丟失，因此經量化之變換係數可具有比原始變換係數低的精確度。
反量化單元108及反變換處理單元110可將反量化及反變換分別應用至係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100所產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構變換區塊。藉由以此方式重建構用於CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊來對與CU位於同 一圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20的其他功能性組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、CAVLC操作、可變至可變(variable-to-variable；V2V)長度寫碼操作、基於語法的上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數葛洛姆編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料的位元流。
圖3繪示實例視訊解碼器30之方塊圖。出於解釋的目的提供圖3，且圖3並非為本發明中廣泛例示及描述之該等技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能性組件。
在一些實例中，視訊解碼器30可進一步包括視訊資料記憶體。視訊資料記憶體可儲存待由視訊解碼器30之組件解碼的視訊資料(諸如，經編碼視訊位元流)。可經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體(例如)自頻道16(例如，自本端視訊源，諸如攝影機)獲得儲存於視訊資料記憶體中之視訊資料。視訊資料記憶體可形成經寫碼圖像緩衝器(CPB)151及經解碼圖像緩衝器162。CPB 151儲存來自經編碼視訊位元流之經編碼視訊資料。經解碼圖像 緩衝器162可為儲存供視訊解碼器30用於解碼視訊資料(例如，在框內寫碼或框間寫碼模式下)之參考視訊資料的參考圖像記憶體。CBP 151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，該等記憶體器件諸如DRAM(包括SDRAM)、MRAM、RRAM或其他類型之記憶體器件。可藉由同一記憶體器件或獨立記憶體器件來提供CPB 151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
CPB 151可接收及儲存位元流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元，且解析NAL單元以自位元流獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元流獲得的語法元素而產生經解碼視訊資料。
位元流之NAL單元可包括經寫碼的切片NAL單元。作為解碼位元流之部分，熵解碼單元150可解析及熵解碼來自經寫碼切片NAL單元之語法元素。經寫碼切片中之每一者可包括切片標頭及切片資料。切片標頭可含有關於切片之語法元素。
除自位元流解碼語法元素之外，視訊解碼器30可對CU執行解碼操作。通過對CU執行解碼操作，視訊解碼器30可重建構CU之寫碼區塊。
作為對CU執行解碼操作之部分，反量化單元154可反量化(亦即，解量化)與CU之TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣地判定反量化單元154應用的反量化之程度。亦即，壓縮比(亦即，用以表示原始序列及經壓縮序列的位元數目之比率)可藉由調整在量化變換係數時所使用的QP之值來控制。壓縮比亦可取決於所採用的熵寫碼之方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維(Karhunen-Loeve)變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若使用框內預測來編碼PU，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間相鄰PU之預測區塊來產生用於PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。框內預測處理單元166可基於自位元流解碼之一或多個語法元素而判定用於PU之框內預測模式。
預測處理單元152可基於自位元流提取之語法元素建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若使用框間預測編碼PU，則熵解碼單元150可獲得PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於用於PU之一或多個參考區塊處之樣本而產生用於PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。
重建構單元158可使用來自CU之TU之變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如，明度、Cb及Cr區塊)之殘餘值(亦即，框內預測資料或框間預測資料)(若適用)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可將變換區塊(例如，明度、Cb及Cr變換區塊)之樣本添加至預測性區塊(例如，預測性明度、Cb及Cr區塊)之對應樣本，以重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)相關聯之區塊假影。視訊解碼器30可將CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)儲存於經解碼圖像緩 衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊(例如，明度、Cb及Cr區塊)而對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元流提取有效明度係數區塊之變換係數層級、反量化變換係數層級、應用變換至變換係數層級以產生變換區塊、至少部分基於變換區塊產生寫碼區塊及輸出寫碼區塊以用於顯示。
本發明之以下部分描述本發明之特定技術之實例實施細節。在以下部分中，下劃線本文指示添加的本文。
如上文所提及，指示可包括於階層延伸描述符中以指示時間可擴展性。舉例而言，階層延伸描述符可包括對節目元素是否提昇位元流之訊框速率的指示。下文修正表格7-3為適應時間可擴展性之階層延伸描述符之實例語法表。
在修正表格7-3之實例中，no_temporal_scalability_flag為1位元旗 標，其在設定成『0』時指示相關聯節目元素提昇由hierarchy_embedded_layer_index參考之節目元素產生的位元流之訊框速率。保留此旗標之值『1』。hierarchy_extension_descriptor之其他語法元素之語義可與上文所指示的保持相同。因此，在一些實例中，對當前節目元素是否提昇位元流之訊框速率的指示可由與指示當前節目元素相對於基礎層之增強之語法元素分離的1位元旗標組成。
在階層延伸描述符中指示時間可擴展性之另一實例中，如下更新extension_dimension_bits之語義：extension_dimension_bits-指示由nuh_layer_id等於0之層之節目元素導致的相關聯節目元素自基礎層之可能增強的16位元欄位。當extension_dimension_bits等於0時，其指示相關聯節目元素提昇由hierarchy_embedded_layer_index參考之節目元素產生的位元流之訊框速率。
因此，在本發明之一些實例中，對當前節目元素是否提昇位元流之訊框速率的指示可為指示當前節目元素相對於基礎層之增強之語法元素(例如，extension_dimension_bits)之部分。此外，在一些此等實例中，語法元素之所有位元等於特定值(例如，0)指示當前節目元素提昇位元流之訊框速率。
在階層延伸描述符中指示時間可擴展性之另一實例中，語法元素extension_dimension_bits之所保留位元中之一者用於指示時間可擴展性。因此，在本發明之一些實例中，語法元素(例如extension_dimension_bits)之單一位元指示當前節目元素是否提昇位元流之訊框速率。可藉由改變如下文在修正表格7-4中展示的表7-4來實施此實例：
如上文所指示，本發明之特定技術提供用於在描述符中指示操作點之每一層之PTL資訊。可以各種方式實施此等技術。舉例而言，操作點及PTL資訊之以信號傳送可使用包括下表中所展示之語法之HEVC延伸描述符來實施。
在上表中，num_profile_tier_level為指定由此描述符指定之設定檔、層次及層級結構之數目的8位元欄位。因此，在一些實例中，視訊處理器件可基於用於節目之描述符中之語法元素(例如，num_profile_tier_level)判定複數個PTL語法元素集合中之PTL語法元素集合之數目。類似地，在一些實例中，視訊處理器件可在用於節目之第一描述符中以信號傳送指示複數個PTL語法元素集合中之PTL語法元素集合之數目的語法元素(例如，num_profile_tier_level)。
profile_space為指定用於在0至31(包括性的)範圍內之所有i值之profile_idc之解譯的上下文的2位元欄位。在此實例中，profile_space不應指派有除在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A或子條款G.11或子條款H.11中指定之值之外的值。保留profile_idc之其他值以供ITU-T｜ISO/IEC將來使用。
tier_flag為指定如在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A或子條款G.11或子條款H.11中指定的用於level_idc之解譯的層次上下文的1位元欄位。
profile_idc為5位元欄位，其在profile_space等於0時指示由包括於所指定操作點中之HEVC子分割區及此子分割區所取決於之所有HEVC子分割區的HEVC層聚合產生的CVS所符合的設定檔，如Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A中所指定。profile_idc不應指派有除在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A或G.11或H.11中指定之值之外的值。保留profile_idc之其他值以供ITU-T｜ISO/IEC將來使用。
profile_compatibility_indication、progressive_source_flag、interlaced_source_flag、non_packed_constraint_flag、 frame_only_constraint_flag、reserved_zero_44bits、level_idc-當HEVC延伸視訊描述符適用於HEVC增強子分割區時，應根據在Rec.ITU-T H.265｜ISO/IEC 23008-2中分別針對用於對應HEVC子分割之general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[i]、general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag、general_frame_only_constraint_flag、general_reserved_zero_44bits、general_level_idc而定義的語義寫碼此等欄位，且由與HEVC視訊描述符相關聯之HEVC子分割區及此子分割區所取決於之所有HEVC子分割區的HEVC層聚合產生的HEVC視訊串流將符合由該等欄位以信號傳送之資訊。
level_idc為指示CVS所符合之層級(如在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A、G.11或H.11中所指定)的8位元欄位。level_idc不應指派有除在Rec.ITU-T H.265｜ISO/IEC 23008-2之附錄A、G.11或H.11中所指定之level_idc值之外的level_idc值。保留level_idc之其他值以供ITU-T｜ISO/IEC將來使用。
因此，在一些實例中，視訊處理器件可基於各別PTL語法元素集合中之各別設定檔語法元素(例如，profile_idc)來判定經寫碼視訊序列所符合的設定檔。此外，視訊處理器件可基於各別PTL語法元素集合中之各別層次語法元素(例如，tier_flag)來判定各別PTL語法元素集合中之各別層級指示符語法元素(例如，level_idc)之解譯的上下文。在此等實例中，視訊處理器件可基於各別PTL語法元素集合中之各別層級指示符語法元素來判定經寫碼視訊序列所符合的層級。
類似地，在一些實例中，對於複數個PTL語法元素集合中之每一各別PTL語法元素集合，視訊處理器件可在各別PTL語法元素集合中以信號傳送指定經寫碼視訊序列所符合之設定檔的各別設定檔語法元 素(例如，profile_idc)。此外，視訊處理器件可在各別PTL語法元素集合中以信號傳送各別層次語法元素(例如，tier_flag)。各別層次語法元素可指定用於各別PTL語法元素集合中之各別層級指示符語法元素(例如，level_idc)之解譯的上下文。在此等實例中，視訊處理器件可在各別PTL語法元素集合中以信號傳送各別層級指示符語法元素。各別層級指示符語法元素可指示經寫碼視訊序列所符合的層級。
num_operation_points為指定由此描述符指定的操作點之數目的8位元欄位。因此，在一些實例中，視訊處理器件可基於描述符中之語法元素(例如，num_operation_points)判定複數個操作點語法元素集合中之操作點語法元素集合之數目。類似地，在一些實例中，視訊處理器件可以信號傳送指示複數個操作點語法元素集合中之操作點語法元素集合之數目的描述符中之語法元素(例如，num_operation_points)。在其他實例中，可基於與包括PTL語法元素集合之描述符分離的描述符中之語法元素來判定該語法元素。同樣地，在一些實例中，視訊處理器件可以信號傳送與包括PTL語法元素集合之描述符分離的描述符中之此語法元素。
max_temporal_id為指定第i操作點中之層的NAL單元之最高TemporalId的3位元欄位。
num_layers_in_operation_point為指定包括於第i操作點中之層之數目的6位元欄位。因此，在一些實例中，對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，視訊處理器件可以信號傳送由各別操作點語法元素集合指定的各別操作點之層之數目。類似地，在一些實例中，對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，視訊處理器件可基於描述符中之語法元素(例如’num_layers_in_operation_point)判定由各別操作點語法元素集合指定的各別操作點之層的數目。在其他實例中，可在與包括PTL語法 元素集合之描述符分離的描述符中以信號傳送語法元素(例如，num_layers_in_operation_point)。
layer_id_included為指定包括於第i操作點中之層之nuh_layer_id的6位元欄位。
output_layer_flag為1位元欄位，其在經指派值『1』時指示nuh_layer_id等於layer_id_included之層為在第i操作點經解碼時的輸出層。當output_layer_flag經指派值『0』時，nuh_layer_id等於layer_id_included之層並非為當第i操作點經解碼時的輸出層。
ptl_index為指定經指派至第i操作點中之第j層的設定檔、層次及層級之索引的8位元欄位。
average_bitrate為指示對應於第i操作點的經HEVC分層之視訊串流之平均位元速率(每秒1000位元)的16位元欄位。
maximum_bitrate為指示對應於第i操作點的經HEVC分層之視訊串流之最大位元速率(以每秒之kbit計)之16位元欄位。
constant_frame_rate_mode為指定如何解譯下文所指定的frame_rate的1位元欄位。
frame_rate為指示對應於第i操作點的經HEVC分層之視訊串流之最大圖像速率之15位元欄位。若constant_frame_rate_mode等於0，則frame_rate以每秒框數量測。或者，若constant_frame_rate_mode等於1，則frame_rate以每1.001秒框數量測。
因此，在一些實例中，對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，視訊處理器件可以信號傳送指定由各別操作點語法元素集合指定的各別操作點之最大時間識別符的各別第一語法元素(例如，max_temporal_id)。另外，視訊處理器件可以信號傳送指定由各別操作點語法元素集合指定的各別操作點之平均位元速率的各別第二語法元素(例如，average_bit_rate)。視訊處理器件亦可以 信號傳送指定由各別操作點語法元素集合指定的各別操作點之最大位元速率的各別第三語法元素(例如，maximum_bit_rate)。視訊處理器件可以信號傳送指定對應於由各別操作點語法元素集合指定的各別操作點的經高效率視訊寫碼(HEVC)分層之視訊串流之最大圖像速率的各別第四語法元素(例如，frame_rate)。
類似地，在一些實例中，對於複數個操作點語法元素集合中之每一各別操作點語法元素集合，視訊處理器件可基於各別操作點語法元素集合中之各別第一語法元素(例如，max_temporal_id)來判定由各別操作點語法元素集合指定的各別操作點之最大時間識別符。視訊處理器件亦可基於各別操作點語法元素集合中之各別第二語法元素(例如，average_bit_rate)來判定由各別操作點語法元素集合指定的各別操作點之平均位元速率。此外，視訊處理器件可基於各別操作點語法元素集合中之各別第三語法元素(例如，maximum_bit_rate)來判定由各別操作點語法元素集合指定的各別操作點之最大位元速率。此外，視訊處理器件可基於各別操作點語法元素集合中之各別第四語法元素(例如，frame_rate)來判定對應於由各別操作點語法元素集合指定的各別操作點的經高效率視訊寫碼(HEVC)分層之視訊串流之最大圖像速率。
如上文所指示，本發明之特定技術修改基本串流之聚合。根據一些實例，用於一或多個操作點之HEVC層清單根據如下指定：若節目映射表(PMT)含有hevc_extension_descriptor，則經指示包括於由語法元素layer_id_included指定的操作點中、根據LayerId值之遞增值定序的層之聚合產生HEVC層清單。否則，具有串流類型0x24、0x27及0x29之每一基本串流ESi對應於單一目標操作點OPi。包括於ESi及由用於ESi之hierarchy_extension_descriptor之語法元素hierarchy_ext_embedded_layer_index(若存在)所指向的基本串流中、 根據LayerId之遞增次序定序之層的聚合產生HEVC層清單。若藉由hierarchy_ext_embedded_layer_index以信號傳送的ES具有其他相依性，則此等相依性將以遞迴的方式預先考慮。具有串流類型0x25、0x28及0x2A之基本串流ESj被視為與其增強之操作點關聯基本串流之部分。
圖4A為繪示根據本發明之技術的處理視訊資料之第一實例操作的流程圖。本發明之流程圖為實例。根據本發明之技術的其他實例可包括更多、更少或不同動作。此外，在一些實例中，可以不同次序或並行執行動作。
在圖4A之實例中，視訊處理器件(諸如MANE 17、源器件12或另一器件)判定當前節目元素是否提昇位元流之訊框速率(400)。在圖4A之實例中，位元流可由需要存取且需要在解碼當前節目元素前按解碼次序存在的一或多個節目元素之集合產生。
此外，視訊處理器件在對應於當前節目元素之描述符中包括指示需要存取且需要在解碼當前節目元素之前按解碼次序存在的節目元素之層索引的語法元素(402)。視訊處理器件在對應於當前節目元素之描述符中包括對當前節目元素是否提昇位元流之訊框速率的指示(404)。
圖4B為繪示根據本發明之技術的處理視訊資料之第二實例操作的流程圖。在圖4B之實例中，視訊處理器件(諸如MANE 17、目的地器件14或另一器件)基於對應於當前節目元素之描述符中的語法元素來判定需要存取且需要在解碼當前節目元素前按解碼次序存在的節目元素(450)。
此外，視訊處理器件基於對應於當前節目元素之描述符中的指示判定當前節目元素是否提昇位元流之訊框速率(452)。在圖4B之實例中，位元流由需要存取且需要在解碼當前節目元素前按解碼次序存 在的一或多個節目元素之集合產生。
圖5A為繪示根據本發明之技術的處理視訊資料之第三實例操作的流程圖。可結合圖4A之實例操作執行圖5A之操作。在圖5A之實例中，視訊處理器件(諸如源器件12、MANE 17或另一器件)在用於包含一或多個基本串流之節目之描述符中以信號傳送複數個PTL語法元素集合(500)。
另外，視訊處理器件在用於節目之該描述符或一不同描述符(例如，第一或第二描述符)中以信號傳送複數個操作點語法元素集合(504)。在圖5A之實例中，複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點之各別操作點。對於各別操作點之每一各別層，各別操作點語法元素集合包括識別複數個PTL語法元素集合中之各別PTL語法元素集合的各別語法元素，該各別PTL語法元素集合指定經指派至各別操作點之各別層之PTL資訊。各別操作點可具有複數個層。第一及/或第二描述符可在傳輸串流中。在其他實例中，第一及/或第二描述符在節目串流中或在別處。
圖5B為繪示根據本發明之技術的處理視訊資料之第四實例操作的流程圖。可結合圖4B之實例操作執行圖5B之操作。
在圖5B之實例中，視訊處理器件(諸如MANE 17、目的地器件14或另一器件)自用於包含一或多個基本串流之節目之描述符獲得複數個PTL語法元素集合(550)。複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素。另外，視訊處理器件自用於節目之該描述符或另一描述符(例如，第一或第二描述符)獲得複數個操作點語法元素集合(552)。複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之各別操作點。第一及/或第二描述符可在傳輸串流中。在其他實例中，第一及/或第二描述符在節目串流中或在別處。
對於複數個操作點語法元素集合中之每一各別操作點語法元素，視訊處理器件可基於各別操作點語法元素集合中之各別語法元素針對藉由各別操作點語法元素集合指定的各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至各別層之PTL資訊(554)。各別操作點可具有複數個層。
以下段落列出本發明之實例的選擇。
實例1. 一種處理視訊資料之方法，該方法包含：在階層延伸描述符中包括對時間可擴展性之指示。
實例2. 如實例1之方法，其中該指示為指示由基礎層之節目元素導致的相關聯節目元素自基礎層之可能增強的延伸維度位元語法元素之部分。
實例3. 如實例2之方法，其中延伸維度位元語法元素之所有位元等於特定值指示時間增強。
實例4. 如實例2或3之方法，其中延伸維度位元語法元素之經保留位元指示時間可擴展性。
實例5. 如實例2至4中任一者之方法，其中延伸維度位元語法元素包括指示時間可擴展性之額外位元。
實例6. 一種處理視訊資料之方法，該方法包含：自階層延伸描述符獲得對時間可擴展性之指示。
實例7. 如實例6之方法，其中該指示為指示由基礎層之節目元素導致的相關聯節目元素自基礎層之可能增強的延伸維度位元語法元素之部分。
實例8. 如實例7之方法，其中延伸維度位元語法元素之所有位元等於特定值指示時間增強。
實例9. 如實例7或8中任一者之方法，其中延伸維度位元語法元素之經保留位元指示時間可擴展性。
實例10. 如實例7至9中任一者之方法，其中延伸維度位元語法元素包括指示時間可擴展性之額外位元。
實例11. 一種處理視訊資料之方法，該方法包含：在用於節目之描述符中以信號傳送設定檔、層次、層級(PTL)資訊之集合，其中PTL資訊包括設定檔、層次及層級資訊。
實例12. 如實例11之方法，其進一步包含：在用於節目之描述符中以信號傳送可用於節目之操作點之清單。
實例13. 如實例11或12中任一者之方法，其中該描述符為第一描述符，該方法進一步包含：在用於節目之第二描述符中以信號傳送可用於節目之操作點之清單。
實例14. 如實例11至13中任一者之方法，其中作為待解碼之層包括於操作點中之一者中的每一層對應於指代PTL資訊之一或多個集合中的一PTL資訊集合的索引。
實例15. 如實例11至14中任一者之方法，其中作為輸出層包括於操作點中之一者中的每一層對應於指代PTL資訊之一或多個集合中的一PTL資訊集合的索引。
實例16. 一種處理視訊資料之方法，該方法包含：自用於節目之描述符獲得設定檔、層次、層級(PTL)資訊之集合，其中PTL資訊包括設定檔、層次及層級資訊。
實例17. 如實例16之方法，其進一步包含：自用於節目之描述符獲得可用於節目之操作點之清單。
實例18. 如實例16或17中任一者之方法，其中該描述符為第一描述符，該方法進一步包含：自用於節目之第二描述符獲得可用於節目之操作點之清單。
實例19. 如實例16至18中任一者之方法，其中作為待解碼之層包括於操作點中之一者中的每一層對應於指代PTL資訊之一或多個集合 中的一PTL資訊集合之索引。
實例20. 如實例16至19中任一者之方法，其中作為輸出層包括於操作點中之一者中的每一層對應於指代PTL資訊之一或多個集合中的一PTL資訊集合的索引。
實例21. 一種處理視訊資料之方法，該方法包含：若存在用於節目的載送操作點資訊之描述符，則基於用於各別操作點之資訊建立用於在描述符中描述的每一各別操作點之高效率視訊寫碼(HEVC)層清單，該HEVC層清單含有經包括以用於各別操作點的層；及若不存在用於節目的載送操作點資訊之描述符，則具有串流類型0x24、0x27及0x29之每一基本串流對應於單一目標操作點。
實例22. 如實例21之方法，其中該描述符在節目映射表中。
實例23. 一種用於處理視訊資料之器件，該器件包含：經組態以儲存視訊資料之記憶體及執行實例7至28中任一者之方法的一或多個處理器。
實例24. 一種用於處理視訊資料之器件，該器件包含用於執行實例1至22中任一者之方法的構件。
實例26. 一種電腦可讀資料儲存媒體，其上儲存有在執行時使得一或多個處理器執行實例1至22中任一者之方法的指令。
在一或多個實例中，所描述之功能可在硬體、軟體、韌體或其任何組合中實施。若在軟體中實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或在電腦可讀媒體上傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於有形媒體(諸如資料儲存媒體)；或通信媒體，其包括(例如)根據一通信協定促進將電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由 一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制的方式，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體或可用來儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫態媒體，而是實際上有關於非暫態有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器(諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效集成或離散邏輯電路)執行。因此，如本文中所使用的術語「處理器」可指代前述結構或適合於實施本文中所描述之技術之任何其他結構中之任一者。另外，在一些態樣中，可在經組態用於編碼及解碼之專用硬體及/或軟體模組內提供本文中所描述之功能性，或將本文中所描述之功能性併入於組合式編解碼器中。此外，在一些態樣中，可在經組態以用於處理視訊資料之專用硬體及/或軟體模組(諸如在MANE中之模組)內提供本文中所描述之功能性。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在包括無線通信器件(例如，無線手持機)、積體電路(IC)或IC集合(例如，晶片組)之多種多樣的器件或裝置中予以實施。舉例而言，用於處理視訊資料之器件可包含：包含經組態以解碼經編碼視訊資料之視訊解碼器的積體電路、包含經組態以解碼經編碼視訊資料之視訊解碼器的微處理器、包含經組態以解碼經編碼視訊資料之視訊解碼器的無線手持機等。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能性態樣，但未必要求由不同硬體單元來實現。相反地，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例處於以下申請專利範圍之範疇內。

Claims (31)

  1. 一種處理用於載送多層視訊資料之一MPEG-2傳輸串流之方法，該方法包含：自用於包含一或多個基本串流之一節目之一第一描述符獲得複數個設定檔、層次、層級(PTL)語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；自用於該節目之該第一描述符或一第二描述符獲得複數個操作點語法元素集合，其中該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中且該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之一各別操作點；及對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於一各別層之一各別語法元素針對藉由該各別操作點語法元素集合指定的該各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至該各別操作點之該各別層之該PTL資訊，該各別語法元素係在該各別操作點語法元素集合中，該各別操作點具有複數個層。
  2. 如請求項1之方法，其進一步包含：對於該複數個PTL語法元素集合中之每一各別PTL語法元素集合：基於該各別PTL語法元素集合中之一各別設定檔語法元素判定一經寫碼視訊序列所符合之一設定檔；基於該各別PTL語法元素集合中之一各別層次語法元素判定用於該各別PTL語法元素集合中之一各別層級指示符語法元素之解譯的一上下文；及基於該各別PTL語法元素集合中之該各別層級指示符語法元素判定該經寫碼視訊序列所符合之一層級。
  3. 如請求項1之方法，其進一步包含：基於用於該節目之該第一描述符中之一語法元素判定該複數個PTL語法元素集合中之PTL語法元素集合之數目。
  4. 如請求項1之方法，其進一步包含：基於該第一描述符或該第二描述符中之一語法元素判定該複數個操作點語法元素集合中之操作點語法元素集合之數目。
  5. 如請求項1之方法，其中獲得該複數個操作點語法元素集合包含：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於該第一描述符或該第二描述符中之一語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之層之數目。
  6. 如請求項1之方法，其進一步包含：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合：基於該各別操作點語法元素集合中之一各別第一語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一最大時間識別符；基於該各別操作點語法元素集合中之一各別第二語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一平均位元速率；基於該各別操作點語法元素集合中之一各別第三語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一最大位元速率；及基於該各別操作點語法元素集合中之一各別第四語法元素判定對應於藉由該各別操作點語法元素集合指定之該各別操作點的一經高效率視訊寫碼(HEVC)分層的視訊串流之一最大圖像速率。
  7. 一種處理用於載送多層視訊資料之一MPEG-2傳輸串流之方法，該方法包含：在用於包含一或多個基本串流之一節目之一第一描述符中以信號傳送複數個設定檔、層次、層級(PTL)語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；及在用於該節目之該第一描述符或一第二描述符中以信號傳送複數個操作點語法元素集合，其中：該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中，該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定該複數個操作點中之一各別操作點，及對於該各別操作點之每一各別層，該各別操作點語法元素集合包括識別該複數個PTL語法元素集合中之一各別PTL語法元素集合的一各別語法元素，該各別PTL語法元素集合指定經指派至該各別操作點之該各別層之PTL資訊，該各別操作點具有複數個層。
  8. 如請求項7之方法，其中以信號傳送該複數個PTL語法元素集合包含：對於該複數個PTL語法元素集合中之每一各別PTL語法元素集合：在該各別PTL語法元素集合中以信號傳送指定一經寫碼視訊序列所符合之一設定檔的一各別設定檔語法元素；在該各別PTL語法元素集合中以信號傳送一各別層次語法元素，該各別層次語法元素指定用於該各別PTL語法元素集合中之一各別層級指示符語法元素之解譯的一上下文；及在該各別PTL語法元素集合中以信號傳送該各別層級指示符語法元素，該各別層級指示符語法元素指示該經寫碼視訊序列所符合之一層級。
  9. 如請求項7之方法，其進一步包含：在用於該節目之該第一描述符中以信號傳送指示該複數個PTL語法元素集合中之PTL語法元素集合之該數目的一語法元素。
  10. 如請求項7之方法，其進一步包含：在該第一描述符或該第二描述符中以信號傳送指示該複數個操作點語法元素集合中之操作點語法元素集合之該數目的一語法元素。
  11. 如請求項7之方法，其中以信號傳送該複數個操作點語法元素集合包含：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，以信號傳送藉由該各別操作點語法元素集合指定的該各別操作點之層之該數目。
  12. 如請求項7之方法，其中以信號傳送該複數個操作點語法元素集合包含：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合：以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一最大時間識別符的一各別第一語法元素；以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一平均位元速率的一各別第二語法元素；以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一最大位元速率的一各別第三語法元素；及以信號傳送指定對應於藉由該各別操作點語法元素集合指定之該各別操作點的一經高效率視訊寫碼(HEVC)分層的視訊串流之一最大圖像速率的一各別第四語法元素。
  13. 一種用於處理用於載送多層視訊資料之一MPEG-2傳輸串流之器件，該器件包含：一資料儲存媒體，其經組態以儲存經編碼視訊資料，及一或多個處理器，其經組態以：自用於包含一或多個基本串流之一節目之一第一描述符獲得複數個設定檔、層次、層級(PTL)語法元素集合，該一或多個基本串流包含該經編碼視訊資料，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；自用於該節目之該第一描述符或一第二描述符獲得複數個操作點語法元素集合，其中該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中且該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之一各別操作點；及對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於一各別層之一各別語法元素針對藉由該各別操作點語法元素集合指定的該各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至該各別操作點之該各別層之該PTL資訊，該各別語法元素係在該各別操作點語法元素集合中，該各別操作點具有複數個層。
  14. 如請求項13之器件，其中該一或多個處理器經組態以：對於該複數個PTL語法元素集合中之每一各別PTL語法元素集合：基於該各別PTL語法元素集合中之一各別設定檔語法元素判定一經寫碼視訊序列所符合之一設定檔；基於該各別PTL語法元素集合中之一各別層次語法元素判定用於該各別PTL語法元素集合中之一各別層級指示符語法元素之解譯的一上下文；及基於該各別PTL語法元素集合中之該各別層級指示符語法元素判定該經寫碼視訊序列所符合之一層級。
  15. 如請求項13之器件，其中該一或多個處理器經組態以：基於用於該節目之該第一描述符中之一語法元素判定該複數個PTL語法元素集合中之PTL語法元素集合之數目。
  16. 如請求項13之器件，其中該一或多個處理器經組態以：基於該第一描述符或該第二描述符中之一語法元素判定該複數個操作點語法元素集合中之操作點語法元素集合之數目。
  17. 如請求項13之器件，其中該一或多個處理器經組態以使得作為以信號傳送該複數個操作點語法元素集合之部分，該一或多個處理器：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，以信號傳送藉由該各別操作點語法元素集合指定的該各別操作點之層之數目。
  18. 如請求項13之器件，其中該一或多個處理器經組態以：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合：基於該各別操作點語法元素集合中之一各別第一語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一最大時間識別符；基於該各別操作點語法元素集合中之一各別第二語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一平均位元速率；基於該各別操作點語法元素集合中之一各別第三語法元素判定藉由該各別操作點語法元素集合指定的該各別操作點之一最大位元速率；及基於該各別操作點語法元素集合中之一各別第四語法元素判定對應於藉由該各別操作點語法元素集合指定之該各別操作點的一經高效率視訊寫碼(HEVC)分層的視訊串流之一最大圖像速率。
  19. 如請求項13之器件，其中該器件包含以下各者中之至少一者：一積體電路，其包含經組態以解碼該經編碼視訊資料之一視訊解碼器；一微處理器，其包含經組態以解碼該經編碼視訊資料之一視訊解碼器；或一無線手持機，其包含經組態以解碼使用該經編碼視訊資料之圖像之一視訊解碼器及經組態以顯示該經解碼圖像之一顯示器。
  20. 如請求項13之器件，其中該一或多個處理器經組態以解碼該經編碼視訊資料，該器件進一步包含經組態以顯示該經解碼視訊資料之一顯示器。
  21. 一種用於處理用於載送多層視訊資料之一MPEG-2傳輸串流之器件，該器件包含：一資料儲存媒體，其經組態以儲存經編碼視訊資料，及一或多個處理器，其經組態以：在用於包含一或多個基本串流之一節目之一第一描述符中以信號傳送複數個設定檔、層次、層級(PTL)語法元素集合，該一或多個基本串流包含該經編碼視訊資料，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；及在用於該節目之該第一描述符或一第二描述符中以信號傳送複數個操作點語法元素集合，其中：該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中，該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定該複數個操作點中之一各別操作點，及對於該各別操作點之每一各別層，該各別操作點語法元素集合包括識別該複數個PTL語法元素集合中之一各別PTL語法元素集合的一各別語法元素，該各別PTL語法元素集合指定經指派至該各別操作點之該各別層之PTL資訊，該各別操作點具有複數個層。
  22. 如請求項21之器件，其中該一或多個處理器經組態以使得作為以信號傳送該複數個PTL語法元素集合之部分，該一或多個處理器：對於該複數個PTL語法元素集合中之每一各別PTL語法元素集合：在該各別PTL語法元素集合中以信號傳送指定一經寫碼視訊序列所符合之一設定檔的一各別設定檔語法元素；在該各別PTL語法元素集合中以信號傳送一各別層次語法元素，該各別層次語法元素指定用於該各別PTL語法元素集合中之一各別層級指示符語法元素之解譯的一上下文；及在該各別PTL語法元素集合中以信號傳送該各別層級指示符語法元素，該各別層級指示符語法元素指示該經寫碼視訊序列所符合之一層級。
  23. 如請求項21之器件，其中該一或多個處理器經組態以：在用於該節目之該第一描述符中以信號傳送指示該複數個PTL語法元素集合中之PTL語法元素集合之數目的一語法元素。
  24. 如請求項21之器件，其中該一或多個處理器經組態以：在該第一描述符或該第二描述符中以信號傳送指示該複數個操作點語法元素集合中之操作點語法元素集合之數目的一語法元素。
  25. 如請求項21之器件，其中該一或多個處理器經組態以使得作為以信號傳送該複數個操作點語法元素集合之部分，該一或多個處理器：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，以信號傳送藉由該各別操作點語法元素集合指定的該各別操作點之層之數目。
  26. 如請求項21之器件，其中該一或多個處理器經組態以使得作為以信號傳送該複數個操作點語法元素集合之部分，該一或多個處理器：對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合：以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一最大時間識別符的一各別第一語法元素；以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一平均位元速率的一各別第二語法元素；以信號傳送指定藉由該各別操作點語法元素集合指定的該各別操作點之一最大位元速率的一各別第三語法元素；及以信號傳送指定對應於藉由該各別操作點語法元素集合指定之該各別操作點的一經高效率視訊寫碼(HEVC)分層的視訊串流之一最大圖像速率的一各別第四語法元素。
  27. 如請求項21之器件，其中該器件包含以下各者中之至少一者：一積體電路；一微處理器；或一無線手持機。
  28. 一種用於處理用於載送多層視訊資料之一MPEG-2傳輸串流之器件，該器件包含：用於自用於包含一或多個基本串流之一節目之一第一描述符獲得複數個設定檔、層次、層級(PTL)語法元素集合的構件，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；用於自用於該節目之該第一描述符或一第二描述符獲得複數個操作點語法元素集合的構件，其中該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中且該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之一各別操作點；及對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，用於基於該各別操作點語法元素集合中之一各別語法元素針對藉由該各別操作點語法元素集合指定的該各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至該各別操作點之該各別層之該PTL資訊，該各別語法元素係在該各別操作點語法元素集合中，該各別操作點具有複數個層。
  29. 一種用於處理用於載送多層視訊資料之一MPEG-2傳輸串流之器件，該器件包含：用於在用於包含一或多個基本串流之一節目之一第一描述符中以信號傳送複數個設定檔、層次、層級(PTL)語法元素集合的構件，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；及用於在用於該節目之該第一描述符或一第二描述符中以信號傳送複數個操作點語法元素集合的構件，其中：該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中，該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定該複數個操作點中之一各別操作點，及對於該各別操作點之每一各別層，該各別操作點語法元素集合包括識別該複數個PTL語法元素集合中之一各別PTL語法元素集合的一各別語法元素，該各別PTL語法元素集合指定經指派至該各別操作點之該各別層之PTL資訊，該各別操作點具有複數個層。
  30. 一種電腦可讀資料儲存媒體，其上儲存有在執行時使得一視訊處理器件之一或多個處理器執行以下操作之指令：自用於包含一或多個基本串流之一節目之一第一描述符獲得複數個設定檔、層次、層級(PTL)語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；自用於該節目之該第一描述符或一第二描述符獲得複數個操作點語法元素集合，其中該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中且該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定複數個操作點中之一各別操作點；及對於該複數個操作點語法元素集合中之每一各別操作點語法元素集合，基於該各別操作點語法元素集合中之一各別語法元素針對藉由該各別操作點語法元素集合指定的該各別操作點之每一各別層判定該等PTL語法元素集合中之哪一者指定經指派至該各別操作點之該各別層之該PTL資訊，該各別語法元素係在該各別操作點語法元素集合中，該各別操作點具有複數個層。
  31. 一種電腦可讀資料儲存媒體，其上儲存有在執行時使得一視訊處理器件之一或多個處理器執行以下操作之指令：在用於包含一或多個基本串流之一節目之一第一描述符中以信號傳送複數個設定檔、層次、層級(PTL)語法元素集合，該複數個PTL語法元素集合中之每一各別PTL語法元素集合包含指定各別PTL資訊之語法元素；及在用於該節目之該第一描述符或一第二描述符中以信號傳送複數個操作點語法元素集合，其中：該第一描述符及該第二描述符係在該MPEG-2傳輸串流之一節目映射表中，該複數個操作點語法元素集合中之每一各別操作點語法元素集合指定該複數個操作點中之一各別操作點，及對於該各別操作點之每一各別層，該各別操作點語法元素集合包括識別該複數個PTL語法元素集合中之一各別PTL語法元素集合的一各別語法元素，該各別PTL語法元素集合指定經指派至該各別操作點之該各別層之PTL資訊，該各別操作點具有複數個層。
TW104123189A 2014-07-16 2015-07-16 用於載送視訊寫碼延伸之傳輸串流 TWI643491B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462025432P 2014-07-16 2014-07-16
US62/025,432 2014-07-16
US14/800,480 2015-07-15
US14/800,480 US9998765B2 (en) 2014-07-16 2015-07-15 Transport stream for carriage of video coding extensions

Publications (2)

Publication Number Publication Date
TW201615016A TW201615016A (en) 2016-04-16
TWI643491B true TWI643491B (zh) 2018-12-01

Family

ID=55075696

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104123187A TWI679880B (zh) 2014-07-16 2015-07-16 用於載送視訊寫碼延伸之傳輸串流
TW104123189A TWI643491B (zh) 2014-07-16 2015-07-16 用於載送視訊寫碼延伸之傳輸串流

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104123187A TWI679880B (zh) 2014-07-16 2015-07-16 用於載送視訊寫碼延伸之傳輸串流

Country Status (10)

Country Link
US (2) US9998765B2 (zh)
EP (1) EP3170309B1 (zh)
JP (1) JP6452798B2 (zh)
KR (1) KR101968425B1 (zh)
CN (1) CN106664447B (zh)
AU (1) AU2015289591A1 (zh)
BR (1) BR112017000251A2 (zh)
ES (1) ES2874073T3 (zh)
TW (2) TWI679880B (zh)
WO (2) WO2016011237A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998765B2 (en) 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions
US10306269B2 (en) 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
WO2020166643A1 (ja) * 2019-02-15 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
EP4097979A4 (en) 2020-02-29 2023-07-26 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON HIGH-LEVEL SYNTAX ELEMENTS
WO2021233449A1 (en) 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Reserved bits in general constraint information of a video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130291040A1 (en) * 2011-01-18 2013-10-31 Samsung Electronics Co. Ltd Transmission method and transmission apparatus for a combined broadcasting and communication service
TW201424403A (zh) * 2012-09-28 2014-06-16 Qualcomm Inc 於視訊寫碼中發信用於操作點之層識別符
TW201424340A (zh) * 2012-09-20 2014-06-16 Qualcomm Inc 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
US20140192859A1 (en) * 2013-01-04 2014-07-10 Sony Corporation Jctvc-l0227: vps_extension with updates of profile-tier-level syntax structure

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL167288A (en) * 1997-04-01 2012-03-29 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
AU2012225416B2 (en) * 2011-03-10 2015-08-27 Vidyo, Inc. Signaling number of active layers in video coding
US9787979B2 (en) 2012-04-06 2017-10-10 Vidyo, Inc. Level signaling for layered video coding
RU2015115467A (ru) 2012-09-28 2016-11-20 Шарп Кабусики Кайся Устройство декодирования изображений
US9554162B2 (en) 2012-11-12 2017-01-24 Lg Electronics Inc. Apparatus for transreceiving signals and method for transreceiving signals
KR20150092119A (ko) * 2012-11-30 2015-08-12 소니 주식회사 화상 처리 장치 및 방법
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CA2908853C (en) * 2013-04-08 2019-01-15 Arris Technology, Inc. Signaling for addition or removal of layers in video coding
US10567804B2 (en) 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US9998765B2 (en) 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130291040A1 (en) * 2011-01-18 2013-10-31 Samsung Electronics Co. Ltd Transmission method and transmission apparatus for a combined broadcasting and communication service
TW201424340A (zh) * 2012-09-20 2014-06-16 Qualcomm Inc 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TW201424403A (zh) * 2012-09-28 2014-06-16 Qualcomm Inc 於視訊寫碼中發信用於操作點之層識別符
US20140192859A1 (en) * 2013-01-04 2014-07-10 Sony Corporation Jctvc-l0227: vps_extension with updates of profile-tier-level syntax structure

Also Published As

Publication number Publication date
AU2015289591A1 (en) 2017-01-12
KR101968425B1 (ko) 2019-04-11
TWI679880B (zh) 2019-12-11
TW201615018A (en) 2016-04-16
US20160021375A1 (en) 2016-01-21
EP3170309B1 (en) 2021-03-10
JP6452798B2 (ja) 2019-01-16
ES2874073T3 (es) 2021-11-04
WO2016011237A1 (en) 2016-01-21
WO2016011234A1 (en) 2016-01-21
TW201615016A (en) 2016-04-16
US20160021398A1 (en) 2016-01-21
BR112017000251A2 (pt) 2017-11-14
CN106664447A (zh) 2017-05-10
US9998765B2 (en) 2018-06-12
EP3170309A1 (en) 2017-05-24
CN106664447B (zh) 2019-06-11
JP2017525276A (ja) 2017-08-31
KR20170032311A (ko) 2017-03-22

Similar Documents

Publication Publication Date Title
KR102078896B1 (ko) 하나 이상의 계층들을 포함하는 파티션에 기초하여 디코더의 프로세싱 코어를 결정하는 것에 의해 멀티-계층 비디오 데이터를 디코딩하기 위한 방법 및 디바이스
JP6495261B2 (ja) Ｍｐｅｇ−２システムを使用したビデオコーディング規格拡張ビットストリームデータの搬送
TWI533674B (zh) 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體
TWI692242B (zh) 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
EP3363205B1 (en) Alignment of operation point sample group in multi-layer bitstreams file format
JP6594967B2 (ja) 階層化されたｈｅｖｃビットストリームの搬送のための動作点
US10567804B2 (en) Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
TWI643491B (zh) 用於載送視訊寫碼延伸之傳輸串流
EP3058743A1 (en) Support of multi-mode extraction for multi-layer video codecs
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
JP6199320B2 (ja) ３次元ビデオコーディングのためのネットワーク抽象化レイヤ（ｎａｌ）ユニットヘッダ設計
JP6138835B2 (ja) ３次元ビデオにおけるビットストリーム抽出
TWI663870B (zh) 用於高效率視頻寫碼擴展之運輸的操作點發信號
BR112016008953B1 (pt) Condução de dados de fluxo de bits com extensão- padrão de codificação de vídeo com o uso de sistemas de mpeg-2

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees