TW201429255A - 用於操作點的層識別器之經改善發信 - Google Patents

用於操作點的層識別器之經改善發信 Download PDF

Info

Publication number
TW201429255A
TW201429255A TW102135711A TW102135711A TW201429255A TW 201429255 A TW201429255 A TW 201429255A TW 102135711 A TW102135711 A TW 102135711A TW 102135711 A TW102135711 A TW 102135711A TW 201429255 A TW201429255 A TW 201429255A
Authority
TW
Taiwan
Prior art keywords
layer
value
video
operating point
maximum
Prior art date
Application number
TW102135711A
Other languages
English (en)
Other versions
TWI566582B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201429255A publication Critical patent/TW201429255A/zh
Application granted granted Critical
Publication of TWI566582B publication Critical patent/TWI566582B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種用於處理視訊資料之器件，其接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；且基於該旗標之一值而判定該第一層是否包括於一操作點中。

Description

用於操作點的層識別器之經改善發信
本申請案主張2012年10月2日申請之美國臨時專利申請案第61/709,094號的權利，該臨時專利申請案之全部內容係以引用方式併入本文中。
本發明大體上係關於處理視訊資料，且更特定言之，係關於處理用於視訊資料中之操作點。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型手機」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(AVC)定義之標準、目前正在開發中之高效率視訊寫碼(HEVC)標準及此等標準之延伸中描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊片段(例如，視訊圖框或視訊圖框之部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)片段中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測而編碼。圖像之經框間寫碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測引起用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料而編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料而編碼。為了進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘變換係數，該等殘餘變換係數接著可被量化。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
大體上，本發明描述用於在視訊寫碼中發信用於操作點之層識別符的技術。
在一實例中，一種處理視訊資料之方法包括：接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；及基於該旗標之一值而判定該第一層是否包括於一操作點中。
在另一實例中，一種用於處理視訊資料之器件包括一或多個處理器，該一或多個處理器經組態以：接收用於一位元串流之一最大層 識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；且基於該旗標之一值而判定該第一層是否包括於一操作點中。
在另一實例中，一種用於處理視訊資料之裝置包括：用於接收用於一位元串流之一最大層識別(ID)值之一指示的構件；用於接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標的構件；及用於基於該旗標之一值而判定該第一層是否包括於一操作點中的構件。
在另一實例中，一種非暫時性電腦可讀儲存媒體儲存指令，該等指令在由一或多個處理器執行時使該一或多個處理器：接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；且基於該旗標之一值而判定該第一層是否包括於一操作點中。
在另一實例中，一種編碼視訊資料之方法包括：產生用於一位元串流之一最大層識別(ID)值之一指示；及產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。
在另一實例中，一種視訊寫碼器件包括一視訊編碼器，該視訊編碼器經組態以：產生用於一位元串流之一最大層識別(ID)值之一指示；且產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。
在另一實例中，一種用於視訊寫碼之裝置包括：用於產生用於一位元串流之一最大層識別(ID)值之一指示的構件；及用於產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標的構件，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。 在另一實例中，一種非暫時性電腦可讀媒體儲存指令，該等指令在由一或多個處理器執行時使該一或多個處理器：產生用於一位元串流之一最大層識別(ID)值之一指示；且產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。
一或多個實例之細節被陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍變得顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
13‧‧‧網路器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧儲存器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
圖1為說明可利用本發明所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施本發明所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明形成網路之部分之實例器件集合的方塊圖。
圖5為根據本發明所描述之技術之流程圖，其說明用於編碼視訊資料之實例方法。
圖6為根據本發明所描述之技術之流程圖，其說明用於處理視訊資料之實例方法。
本發明係關於視訊寫碼(亦即，視訊資料之編碼及/或解碼)及視訊處理，且更特定言之，係關於用於視訊處理中之操作點語法。大體上，本發明描述用於在視訊寫碼中發信用於操作點之層識別符的技術。操作點指代可自時間上可按比例調整及/或具有多個層或視圖之原始位元串流提取的子位元串流。可基於識別位元串流之操作點之層 識別符(亦即，層ID)及時間子層識別符(亦即，時間ID)的值而自該位元串流提取該等子位元串流。通常，本發明使用術語層識別符及層ID來指代空間層及/或視圖之識別符，而術語時間子層識別符及時間ID指代時間子層之識別符。
舉例而言，可在位元串流內之參數集(諸如，視訊參數集(VPS))中發信操作點。對於該等操作點中之每一者，由(例如)視訊編碼器產生之操作點語法結構指定用以識別位元串流中屬於給定操作點之子位元串流之網路抽象層(NAL)單元的層識別符集合。以此方式，網路實體(諸如，媒體感知網路實體(MANE)可剖析NAL單元標頭以自原始位元串流提取構成給定操作點之子位元串流的NAL單元。位元串流中之每一NAL單元可包括一層ID及一時間ID，且藉由剖析層ID及時間ID，MANE可識別用於特定操作點之NAL單元。
本發明之技術可藉由改善用於操作點之層ID之發信而改善與操作點相關聯之資訊的發信效率。根據下文將更詳細地解釋的本發明之一實例技術，可發信用於最大層ID之層識別值(亦即，層ID)，且可發信額外層ID之存在以作為一系列旗標。舉例而言，假定一位元串流包括具有各種時間及空間解析度之六個子串流，其中每一子串流具有一層ID。可在位元串流中發信最大層ID值。出於此實例之目的，假定最大層ID值為9，此意謂潛在地存在可包括於一操作點中之十個層，其中層ID為0至9。可使用九個旗標來發信用於操作點之剩餘層ID值，其中第一旗標指示是否存在層ID值0，第二旗標指示是否存在層ID值1，等等，直至指示是否存在層ID值8之最後旗標。因此，為了發信層ID值2、5及9，可首先發信值9，接著為旗標001001000之序列，其中用於第三位元之1指示存在層ID值2，且用於第六位元之1指示存在層ID值5。本發明亦將論述用於發信層ID之其他技術。
本發明通常將使用術語視訊寫碼來指代視訊編碼抑或視訊解 碼。本發明亦使用術語視訊處理，該視訊處理通常意謂包括視訊寫碼，但亦意謂包括其他類型之視訊處理，諸如，視訊資料剖析、視訊資料路由、視訊位元串流剪接及其他此等程序。視訊寫碼器通常可被視為指代編碼及/或解碼視訊資料之器件，而視訊處理器或視訊處理器件可被視為指代寫碼視訊資料之器件，但亦指代對視訊資料執行其他程序之器件。
圖1為說明實例視訊編碼及解碼系統10之方塊圖，視訊編碼及解碼系統10可利用本發明所描述的用於發信層ID之技術。如圖1所展示，系統10包括來源器件12，來源器件12產生待由目的地器件14在稍後時間解碼之經編碼視訊資料。可經由網路器件13將經編碼視訊資料自來源器件12路由至目的地器件14，網路器件13可為網路器件之較大網路之部分。來源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」手機之電話手機、所謂「智慧型」鍵台、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下，可裝備來源器件12及目的地器件14以用於達成無線通信。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在其他實例中，來源器件12及目的地器件14可包括其他組件或配置。舉例而言，來源器件12可自外部視訊來源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。
圖1之所說明系統10僅為一實例。可藉由任何數位視訊寫碼及/或處理器件來執行本發明之技術。雖然通常藉由視訊編碼器件或視訊解碼器件來執行該等技術，但亦可藉由視訊編碼器/解碼器(通常稱作 「CODEC」)來執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。來源器件12及目的地器件14僅僅為來源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
在一實例中，來源器件12之視訊編碼器20可產生視訊資料之位元串流。視訊資料之VPS可定義對應於位元串流之子位元串流的多個操作點。視訊編碼器20可包括識別待包括於特定操作點中之層及時間子層的操作點語法。VPS中之操作點語法可包括用於操作點之最大層ID值之指示以及一或多個旗標。該等旗標指示具有小於最大層ID之層ID的層是否包括於操作點中。因此，在接收具有最大層ID之VPS及旗標後，網路器件13即可識別用於操作點之NAL單元且將彼等NAL單元路由至目的地器件14。在接收NAL單元後，目的地器件14之視訊解碼器30即可解碼經編碼視訊資料。視訊解碼器30可潛在地以與網路器件13相同之方式來剖析VPS中含有之操作點語法。舉例而言，視訊解碼器30可剖析操作點語法以檢查是否接收所有預期層或以判定待應用之假設參考解碼器(HRD)參數集合。
來源器件12之視訊來源18可包括諸如視訊攝影機之視訊俘獲器件、含有經先前俘獲視訊之視訊封存檔，及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為一另外替代例，視訊來源18可產生基於電腦圖形之資料，以作為來源視訊，或直播視訊、經存檔視訊及經電腦產生視訊之組合。在一些狀況下，若視訊來源18為視訊攝影機，則來源器件12及目的地器件14可形成所謂攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術大體上可適用於視訊 寫碼，且可應用於無線及/或有線應用。
在每一狀況下，可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生視訊。經編碼視訊資料可經由來源器件12之輸出介面22而直接傳輸至目的地器件14。經編碼視訊資料亦(或替代地)可儲存至一儲存器件上以供稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
鏈路16可包括：暫態媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器可自來源器件12接收經編碼視訊資料且(例如)經由網路傳輸將該經編碼視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自來源器件12接收經編碼視訊資料且產生含有該經編碼視訊資料之光碟。因此，在各種實例中，可將鏈路16理解為包括各種形式之一或多個電腦可讀媒體。鏈路16可包含能夠將經編碼視訊資料自來源器件12移至目的地器件14之任何類型之媒體或器件。在一實例中，鏈路16可包含用以使得來源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件14的通信媒體。經編碼視訊資料可根據通信標準(諸如，無線通信協定)加以調變，且被傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自來源器件12至目的地器件14之通信的任何其他設備。
目的地器件14之輸入介面28自鏈路16接收資訊，鏈路16可為電腦可讀媒體。來自鏈路16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經寫 碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32可與目的地器件14整合或位於目的地器件14外部。顯示器件32向使用者顯示經解碼視訊資料，且可包含諸如以下各者之多種顯示器件中之任一者：陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
或者，經編碼資料可自輸出介面22輸出至儲存器件34。類似地，可由輸入介面自儲存器件34來存取經編碼資料。儲存器件34可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件34可對應於可保持由來源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件34存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件34之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者之視訊寫碼、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組 態成支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
視訊編碼器20及視訊解碼器30各自可經實施為諸如以下各者之多種合適編碼器或解碼器電路系統中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。 當該等技術部分地在軟體中實施時，一器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如，目前正在開發中之HEVC標準)而操作，且可符合HEVC測試模型(HM)。即將到來之HEVC標準之草案(稱作「HEVC工作草案8」或「WD8」)係描述於Bross等人之名為「High efficiency video coding(HEVC)text specification draft 8」的文件JCTVC-J1003_d7(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第10次會議：2012年7月，瑞典斯德哥爾摩)中。HEVC標準之工作草案8的全文係以引用方式併入本文中。HEVC標準之另一新近草案(稱作「HEVC工作草案10」或「WD10」)係描述於Bross等人之名為「High efficiency video coding(HEVC)text specification draft 10(for FDIS & Last Call)」的文件JCTVC-L1003v34(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第12次會議：2013年1月，日內瓦，CH，14-23)中。WD10的全文係以引用方式併 入本文中。
或者，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(或者被稱作MPEG-4第10部分之進階視訊寫碼(AVC))之其他專屬或工業標準或此等標準之延伸而操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當之MUX-DEMUX單元或其他硬體及軟體，以處置共同資料流或單獨資料流中之音訊與視訊兩者的編碼。在適用時，MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊寫碼專家群(VCEG)連同ISO/IEC動畫專家群(MPEG)一起闡明為被稱為聯合視訊小組(JVT)之集體合作之產品。在一些態樣中，可將本發明所描述之技術應用於通常符合H.264標準之器件。H.264標準由ITU-T研究小組在日期為2005年3月描述於ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之延伸。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM設想視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本與色度樣本兩者之樹區塊或最大寫碼單元(LCU)序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫 碼單元。片段包括按寫碼次序之數個連續樹區塊。可將視訊圖框或圖像分割成一或多個片段。每一樹區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構中每CU包括一個節點，其中根節點對應於樹區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個分葉節點，該四個分葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對該對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標(split flag)，該分裂旗標指示是否將對應於該節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且該等語法元素可取決於CU是否分裂成子CU。若CU未被進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明確分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未被進一步分裂，則四個8×8子CU亦將被稱作葉CU，但該16×16 CU從未被分裂。
除了CU不具有大小區別之外，CU之意義類似於H.264標準之巨集區塊之意義。舉例而言，樹區塊可分裂成四個子代節點(亦被稱作子CU)，且每一子代節點可又為父代節點並分裂成另外四個子代節點。被稱作四分樹之葉節點之最終未經分裂子代節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂一樹區塊之最大次數(其被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指代在HEVC之上下文中之CU、PU或TU中的任一者，或在其他標準之上下文中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為 正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU被跳過或直接模式編碼、被框內預測模式編碼抑或被框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但並非總是如此狀況。TU通常具有與PU相同的大小或小於PU。 在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可加以量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應之CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本之資料。此外，PU包括與預測有關之資料。舉例而言，當PU被框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，該殘餘四分樹(RQT)可包括描述用於對應於PU之TU之框內預測模式的資料。作為另一實例，當PU被框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使 用RQT(亦被稱作TU四分樹結構)來指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成另外子TU。當TU未被進一步分裂時，其可被稱作葉TU。通常，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算一葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可將使用框內預測模式之每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。 對於框內寫碼，一PU可與用於同一CU之對應之葉TU共置。在一些實例中，一葉TU之最大大小可對應於對應之葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於樹區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一片段可包括描述該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測， 及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來進行指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直維度與水平維度方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測或框間預測寫碼之後，視訊編碼器20可計算用於CU之TU的殘餘資料。該等PU可包含描述一種在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料且該等TU可包含在將變換(例如，離散餘弦變換(DCT)、整數變換、子波變換或概念上類似變換)應用於殘餘視訊資料之後在變換域中之係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生用於CU之變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常指代如下之程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程 序可減少與該等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(及因此較低頻率)係數置於陣列前方且將較低能量(及因此較高頻率)係數置於陣列後方。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化變換係數，以產生可經熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸符號。該上下文可能關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸符號選擇一可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相比於(例如)針對待傳輸之每一符號使用等長度碼字，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文而進行。
視訊編碼器20可進一步將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)發送至視訊解碼器30(例如，在圖框標頭、區塊標頭、片段標頭或GOP標頭中)。GOP語法資料可描述各別GOP中之圖框之數目，且圖框語法資料可指示用以編碼對應之圖框的編碼/預測模式。
HEVC經設計成在其意欲合乎(例如，相容於)廣泛範圍之應用、位元速率、解析度、品質及服務的意義上為通用的。其中，由HEVC潛在地合乎之應用包括數位儲存媒體、電視廣播及即時通信。在建立HEVC的程序中，已考慮了來自典型應用之各種要求，已開發了必需之演算法元素，且已將此等整合至單一語法中。因此，HEVC應促進在不同應用當中之視訊資料互換。然而，考慮到實施HEVC之完整語法的實踐性，亦借助於「設定檔(profile)」及「層級(level)」來約定語法之有限數目之子集。
將「設定檔」定義為由HEVC指定之完整位元串流語法之子集。 在由一給定設定檔之語法強加的界限內，仍有可能取決於由位元串流中之語法元素所取的值(諸如，經解碼圖像之指定之大小)而需要在編碼器及解碼器之效能方面非常大的變化。在許多應用中，實施能夠處理一特定設定檔內之語法之所有假設性使用的解碼器既不實際亦不經濟。
為了處理此問題，在每一設定檔內指定「階層(tier)」及「層級」。階層之層級係強加於位元串流中之語法元素之值的指定約束集合。此等約束可為對值之簡單限制。或者，其可採取對值之算術組合之約束的形式(例如，圖像寬度乘以圖像高度乘以每秒被解碼之圖像之數目)。針對較低階層所指定之層級比針對較高階層所指定之層級更受約束。針對所有設定檔來定義相同層級集合，其中每一層級之定義之大多數態樣橫越不同設定檔而為共同的。在指定約束內，個別實施支援每一受支援設定檔的不同層級。在一不同上下文中，層級為變換係數在伸縮之前的值。在高效率視訊寫碼(HEVC)工作草案8(WD8)之附件A中更詳細地描述了設定檔及層級。
符合HEVC WD8之經寫碼視訊內容使用一共同語法。為了達成完整語法之子集，將發信表示稍後出現於位元串流中之語法元素之存在 或不存在的旗標、參數及其他語法元素包括於位元串流中。
HEVC WD8將子層定義為一時間可按比例調整位元串流之時間可按比例調整層，其由具有TemporalId變數之特定值的視訊寫碼層(VCL)網路抽象層(NAL)單元及相關聯之非VCL NAL單元組成。HEVC WD8另外將子層表示定義為位元串流之子集，其由一特定子層及較低子層之NAL單元組成。
HEVC WD8之子條款10.1描述位元串流子集及用以產生子位元串流之提取程序。下文闡述子條款10.1。
10.1 子位元串流提取程序
以下正是位元串流符合要求：包括於在此子條款中所指定之程序之輸出中的任何子位元串流應符合此推薦|國際標準，其中tIdTarget等於在0至6(包括0及6)之範圍中的任何值，且其中targetDecLayerIdSet含有值0。
註釋-一符合位元串流含有一或多個經寫碼片段NAL單元，其中nuh_reserved_zero_6bits等於0且TemporalId等於0。
至此程序之輸入為變數tIdTarget及清單targetDecLayerIdSet。
此程序之輸出為子位元串流。
子位元串流係藉由自位元串流移除TemporalId大於tIdTarget或nuh_reserved_zero_6bits不在targetDecLayerIdSet中之值當中的所有NAL單元而導出。
一般而言，HEVC WD8描述基於識別位元串流之操作點之層識別符及時間子層識別符之值而自位元串流提取子位元串流。
通常藉由nuh_reserved_zero_6bits值集合(表示為OpLayerIdSet)及TemporalId值(表示為OpTid)來識別操作點，且經導出作為子位元串流提取程序之輸出的相關聯之位元串流子集(如在HEVC WD8之子條款10.1中所指定，其中OpTid及OpLayerIdSet係作為輸入)係可獨立解碼 的。通常將簡單操作點模式視為如下操作點模式：其中對於每一操作點，OpLayerIdSet包括且僅包括nuh_reserved_zero_6bits之一特定值及nuh_reserved_zero_6bits之所有其他值(小於nuh_reserved_zero_6bits之該特定值)。
下表1展示VPS原始位元組序列有效負載(RBSP)語法及語義之實例。
經設定為等於1之語法元素「vps_simple_op_mode_flag[i]」指定簡單操作點模式用於第i個operation_point_layer_ids( )語法結構。等於0之語法元素「vps_simple_op_mode_flag[i]」指定簡單操作點模式並非用於第i個operation_point( )語法結構。
語法結構hrd_parameters(i,vps_max_sub_layers_minus1)及 hrd_parameters(j,vps_max_sub_layers_minus1)之任何兩個例項可不具有相同內容，其中i不等於j。
下表2展示設定檔、階層及層級語法及語義之實例。
當ProfilePresentFlag等於1時，經設定為等於1之語法元素「sub_layer_profile_present_flag[i]」指定對於具有等於i之TemporalId之子層的表示，設定檔資訊存在於profile_tier_level( )語法結構中。等於0之sub_layer_profile_present_flag[i]指定對於具有等於i之TemporalId之子層的表示，設定檔資訊不存在於profile_tier_level( )語法結構中。當不存在時，推斷sub_layer_profile_present_flag[i]之值等於0。
經設定為等於1之語法元素sub_layer_level_present_flag[i]指定對於具有等於i之TemporalId之子層的表示，層級資訊存在於profile_tier_level( )語法結構中。等於0之sub_layer_level_present_flag[i] 指定對於具有等於i之TemporalId之子層的表示，層級資訊不存在於profile_tier_level( )語法結構中。
語法元素「sub_layer_profile_idc[i]」及「sub_layer_level_idc[i]」分別具有與general_profile_idc及general_level_idc相同之語義，但乃是應用於具有等於i之TemporalId之子層的表示。
下表3展示操作點語法及語義之實例。
operation_point(opIdx)語法結構指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值集合。
當vps_simple_op_mode_flag[opIdx]經設定為等於0時，語法元素「op_first_present_layer_id[opIdx]」指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第一(亦即，第0)值。當vps_simple_op_mode_flag[opIdx]等於1時，op_first_present_layer_id[opIdx]指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之最大值。
當vps_simple_op_mode_flag[opIdx]等於0時，語法元素「op_num_layer_id_values_minus1[opIdx]」+1指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值之數目。 op_num_layer_id_values_minus1[opIdx]小於或等於63。
當vps_simple_op_mode_flag[opIdx]等於0時，語法元素「op_layer_id_delta_minus1[opIdx][i]」+1指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第i值與nuh_reserved_zero_6bits之第(i-1)值之間的差。op_layer_id_delta_minus1[opIdx][i]之值係在0至63(包括0及63)之範圍中。
如下導出變數NumOpLayerIdsMinus1[opIdx]。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i，如下導出變數OpLayerId[opIdx][i]。
當i不等於j且i與j兩者係在0至NumOpLayerIdsMinus1[opIdx](包 括0及NumOpLayerIdsMinus1[opIdx])之範圍中時，無OpLayerId[opIdx][i]之值等於OpLayerId[opIdx][j]。
任何兩個集合OpLayerId[opIdx1]及OpLayerId[opIdx2](其中opIdx1不等於opIdx2)不包括相同nuh_reserved_zero_6bits值集合。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i，應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定為包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值。
表4及下文描述替代操作點語法及語義。
operation_point(opIdx)語法結構指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值集合。
語法元素「op_num_layer_id_values_minus1[opIdx]」+1指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值之數目。op_num_layer_id_values_minus1[opIdx]小於或等於63。當不存在時，推斷op_num_layer_id_values_minus1[opIdx]之值等於0。
在符合本說明書之位元串流中，op_num_layer_id_values_minus1[opIdx]等於0。雖然在本說明書之此版本中要求op_num_layer_id_values_minus1[opIdx]之值等於0，但解碼器允許其 他值出現在op_num_layer_id_values_minus1[opIdx]語法中。
語法元素「op_layer_id[opIdx][i]」指定包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第i值。
如下導出變數NumOpLayerIdsMinus1[opIdx]。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i，如下導出變數OpLayerId[opIdx][i]。
當i不等於j且i與j兩者係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中時，無OpLayerId[opIdx][i]之值等於OpLayerId[opIdx][j]。
任何兩個集合OpLayerId[opIdx1]及OpLayerId[opIdx2]不包括相同nuh_reserved_zero_6bits值集合，其中opIdx1不等於opIdx2。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i，應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定為包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits 值。
JCTVC-K0204(其係以引用方式併入本文中且可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K0204-v1.zip得到)提供如由以下語法及語義所描述之操作點之經修訂發信：
經設定為等於1之語法元素「layer_present_in_op_flag[opIdx][i]」指定層i存在於操作點opIdx中，經經設定為等於0之語法元素「layer_present_in_op_flag[opIdx][i]」指定層i不存在於操作點opldx中。
用於操作點之發信之現有方法可具有一些潛在缺點。舉例而言，用於操作點之發信之現有方法可具有使用如HEVC WD8中所指定之ue(v)寫碼之經熵寫碼語法元素，抑或不支援大於max_num_layers_minus1之nuh_reserved_zero_6bits值(亦即，層ID)之發信，該max_num_layers_minus1係在視訊參數集(VPS)中發信。
本發明提議可潛在地解決此等潛在缺點中之一些缺點的各種技術。在一種此類技術中，首先發信nuh_reserved_zero_6bits值之最大值(亦即，最大層ID值)，接著發信旗標之清單，其中該等旗標中之每一者指定具有小於最大層ID值之特定層ID值的層是否包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。在另一技術中，發信M個旗標之清單，其中每一旗標指定具有一特定可能層ID值之層是否包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。M之值等於任何位元串流中之可能之不同層ID的總數。舉例而言，M可 等於2N，其中N為用以表示nuh_reserved_zero_6bits(亦即，層ID)之位元之數目。在又一技術中，發信nuh_reserved_zero_6bits值之最大值(亦即，最大層ID值)。若並未正使用簡單操作點模式，則發信旗標之清單，其中每一旗標指定具有小於最大層ID值之特定層ID值的層是否包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。
現將描述以上技術之一些詳細實例。下文所描述之實例通常與HEVC WD8一致，且因此下文未充分描述之態樣可被假定為與HEVC WD8中之態樣相同。
下表6中展示用於第一實例之操作點語法及語義。
operation_point(opIdx)語法結構指定nuh_reserved_zero_6bits值集合包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。
語法元素「op_max_layer_id[opIdx]」指定nuh_reserved_zero_6bits之最大值包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。雖然表6展示語法元素「op_max_layer_id[opIdx]」係針對每一操作點而被發信，但其亦可在經編碼位元串流中之別處發信，諸如，在一序列參數集或VPS中。
經設定為等於0之語法元素「op_layer_id_incuded_flag[opIdx][i]」指定等於i之nuh_reserved_zero_6bits之值未包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。等於1之op_layer_id_incuded_flag[opIdx][i]指定等於i之 nuh_reserved_zero_6bits之值包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。所有op_layer_id_incuded_flag[opIdx][i]之總和小於或等於max_num_layers_minus1，其中i為自0至op_max_layer_id[opIdx]-1(包括0及op_max_layer_id[opIdx]-1)。
如下導出變數NumOpLayerIdsMinus1[opIdx]及變數OpLayerId[opIdx][i]，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
任何兩個集合OpLayerId[opIdx1]及OpLayerId[opIdx2]不包括相同nuh_reserved_zero_6bits值集合，其中opIdx1不等於opIdx2。
應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定為包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
返回參看以上實例，假定一位元串流包括具有各種時間及空間解析度之六個子串流，其中每一子串流具有一層ID。對於由opIdx識別之操作點，可在位元串流中發信最大層ID值以作為語法元素「op_max_layer_id[opIdx]」之值。出於此實例之目的，假定最大層 ID值為9，使得op_max_layer_id[opIdx]等於9。可使用九個旗標來發信剩餘層ID值，其中第一旗標指示是否存在層ID值0，第二旗標指示是否存在層ID值1，等等。因此，為了發信層ID值2、5及10，可首先發信值10，接著為旗標001001000之序列，其中第三位元之1指示存在層ID值2，且第六位元之1指示存在層ID值5。在使用表6之語法的情況下，如下獲得旗標001001000之序列。對於i=0，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=1，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=3，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=4，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=5，用於op_layer_id_included_flag[opIdx][i]之旗標之值為1。對於i=6，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=7，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=8，用於op_layer_id_included_flag[opIdx][i]之旗標之值為0。對於i=9，i之值不小於op_max_layer_id[opIdx]，該op_max_layer_id[opIdx]亦等於9。因此，視訊解碼器可判定出接收到最後旗標。
下表7中展示用於第二實例技術之操作點語法及語義。
operation_point(opIdx)語法結構指定nuh_reserved_zero_6bits值集合包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。
經設定為等於0之語法元素「op_layer_id_incuded_flag[opIdx][i]」 指定等於i之nuh_reserved_zero_6bits之值未包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。等於1之op_layer_id_incuded_flag[opIdx][i]指定等於i之nuh_reserved_zero_6bits之值包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。所有op_layer_id_incuded_flag[opIdx][i]之總和小於或等於max_num_layers_minus1，其中i為自0至63(包括0及63)。
如下導出變數NumOpLayerIdsMinus1[opIdx]及變數OpLayerId[opIdx][i]，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
任何兩個集合OpLayerId[opIdx1]及OpLayerId[opIdx2]不包括相同nuh_reserved_zero_6bits值集合，其中opIdx1不等於opIdx2。
應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定為包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
下表8中展示用於第三實例之操作點語法及語義。在此實例中，VPS語法及語義亦被改變，如表8所展示及如下文所描述。
經設定為等於1之語法元素「vps_simple_op_mode_flag[i]」指定簡單操作點模式用於第i個operation_point( )語法結構。等於0之vps_simple_op_mode_flag[i]指定簡單操作點模式並非用於第i個operation_point( )語法結構。
語法結構hrd_parameters(i,vps_max_sub_layers_minus1)及hrd_parameters(j,vps_max_sub_layers_minus1)之任何兩個例項不具有相同內容，其中i不等於j。
表9所展示之operation_point(opIdx)語法結構指定nuh_reserved_zero_6bits值集合包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。
語法元素「op_max_layer_id[opIdx]」指定nuh_reserved_zero_6bits之最大值包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。
當vps_simple_op_mode_flag[opIdx]等於0時，經設定為等於0之語法元素「op_layer_id_incuded_flag[opIdx][i]」指定等於i之nuh_reserved_zero_6bits之值未包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。當vps_simple_op_mode_flag[opIdx]等於0時，等於1之op_layer_id_incuded_flag[opIdx][i]指定等於i之nuh_reserved_zero_6bits之值包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中。所有op_layer_id_incuded_flag[opIdx][i]之總和小於或等於max_num_layers_minus1，其中i為自0至op_max_layer_id[opIdx]-1(包括0及op_max_layer_id[opIdx]-1)。
如下導出變數NumOpLayerIdsMinus1[opIdx]及變數OpLayerId[opIdx][i]，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
NumOpLayerIdsMinus1[0]被推斷為等於0。OpLayerId[0][0]之值被推斷為等於0。
任何兩個集合OpLayerId[opIdx1]及OpLayerId[opIdx2]不包括相同nuh_reserved_zero_6bits值集合，其中opIdx1不等於opIdx2。
應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定為包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值，其中i係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中。
圖2為說明可實施本發明所描述之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊片段內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖2所展示，視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內 預測處理單元46及分割單元48。為了達成視訊區塊重新建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器以對區塊邊界濾波，從而自經重新建構視訊移除方塊效應假影。視需要，解區塊濾波器通常將對求和器62之輸出濾波。除解區塊濾波器之外，亦可使用額外濾波器(迴路內或迴路後)。出於簡潔起見而未展示此等濾波器，但視需要，此等濾波器可對求和器50之輸出濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼視訊圖框或片段。 可將該圖框或片段劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測處理單元46可替代地相對於在與待寫碼區塊相同之圖框或片段中之一或多個相鄰區塊來執行經接收視訊區塊之框內預測性寫碼，以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48可最初將一圖框或片段分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可選擇寫碼模式(框內或框間)中之一者(例如，基於誤差結果)，且將所得之經框內或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重新建構供用作參考圖框之經編碼區塊。模式選擇單元40亦將諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊之語法元素提供至熵編碼單元56。 運動估計單元42及運動補償單元44可高度地整合，但出於概念目的而單獨加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在一參考圖框(或其他經寫碼單元)內之預測性區塊(其相對於在該當前圖框(或其他經寫碼單元)內正經被寫碼之當前區塊)之位移。預測性區塊為被發現在像素差方面緊密地匹配於待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像之次整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較經框間寫碼片段中之視訊區塊之PU的位置與參考圖像之預測性區塊之位置來計算該PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該清單0或該清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量而提取或產生該預測性區塊。再次，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收用於當前視訊區塊之PU之運動向量後，運動補償單元44即可將運動向量所指向的預測性區塊定位於參考圖像清單中之一者中。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動 估計單元42執行相對於亮度分量之運動估計，且運動補償單元44將基於該等亮度分量所計算之運動向量用於色度分量與亮度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊片段相關聯的語法元素以供視訊解碼器30用於解碼視訊片段之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自經測試之模式選擇將使用之適當框內預測模式。
舉例而言，框內預測處理單元46可使用針對各種經測試之框內預測模式之速率-失真分析來計算速率-失真值，且在經測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元率(亦即，位元數目)，該原始未經編碼區塊經編碼以產生該經編碼區塊。框內預測處理單元46可自失真及速率計算各種經編碼區塊之比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在針對一區塊選擇框內預測模式之後，框內預測處理單元46可將指示對於該區塊所選擇之框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示該所選擇之框內預測模式的資訊。視訊編碼器20可在所傳輸之位元串流組態資料中包括編碼各種區塊之上下文之定義，及待用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改 之框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用子波變換、整數變換、子頻帶變換或其他類型之變換。 在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如，頻域)。變換處理單元52可將所得變換係數發送至量化單元54。
量化單元54量化變換係數以另外減小位元速率。該量化程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54接著可執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在藉由熵編碼單元56進行之熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或經封存以供稍後傳輸或擷取。
反量化單元58及反變換處理單元60分別應用反量化及反變換以在像素域中重新建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內 插濾波器應用於該經重新建構殘餘區塊以計算供用於運動估計之次整數像素值。求和器62將該經重新建構殘餘區塊添加至由運動補償單元44產生之經運動補償預測區塊以產生供儲存於參考圖框記憶體64中之經重新建構視訊區塊。該經重新建構視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對在後續視訊圖框中之區塊進行框間寫碼。
圖3為說明可實施本發明所描述之技術之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行通常與關於視訊編碼器20(如圖2中所展示)所描述之編碼遍次互反的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一表示經編碼視訊片段之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30可自網路實體29接收經編碼視訊位元串流。網路實體29可(例如)為伺服器、媒體感知網路元件(MANE)、視訊編輯器/剪接器，或經組態以實施上文所描述之技術中之一或多者的其他此器件。網路實體29可包括經組態以執行本發明之技術之外部構件。如上文所描述，在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30之前，可藉由網路實體29來實施本發明中所描述之技術中之一些技術。在一些視訊解碼系統中，網路實體29及視訊解碼器30可為單獨器件之部分，而在其他例子中，可藉由包含視訊解碼器30之相同器件來執行關於網路實體29所描述之功能性。
在一實例中，網路實體29可儲存或接收視訊資料之原始位元串流，該原始位元串流為可按比例調整及/或包括多個層或視圖。在該原始位元串流中，參數集(諸如，VPS)可包括上文所論述之操作點語 法。可由網路實體29使用該操作點語法來識別哪些層存在於操作點中。網路實體29可基於包括於VPS中之操作點語法及基於視訊解碼器30需要什麼或視訊解碼器30請求什麼而自該原始位元串流選擇多個操作點(亦即，子位元串流)中之一者。對於對應於所選之操作點的子位元串流，網路實體29可將包含彼位元串流之VCL NAL單元及非VCL NAL單元轉遞至視訊解碼器30且不轉遞其他NAL單元。
對於VPS中識別之特定操作點，網路實體29可接收用於位元串流之最大層ID值之指示且接收用於具有小於最大層ID值之層ID值之層的一系列旗標。基於該等旗標之值，網路實體29可判定哪些層包括於該操作點中。舉例而言，若最大層ID之值為M，則層M包括於操作點中。對於層M-1，網路實體29接收一旗標，其中該旗標之第一值(例如，1或0)指示層M-1包括於操作點中，且該旗標之第二值(例如，0或1)指示層M-1未包括於操作點中。對於層M-2，網路實體29接收第二旗標，其中該第二旗標之第一值(例如，1或0)指示層M-2包括於操作點中，且該第二旗標之第二值(例如，0或1)指示層M-2未包括於操作點中。網路實體29可同樣地接收用於直到層0之所有剩餘層的旗標。因此，若最大層ID之值為M，則網路實體29可接收用於所有層0至M-1之旗標。
視訊解碼器30之熵解碼單元70熵解碼由網路實體29提供之位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素(諸如，上文所描述之操作點語法)。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在經編碼位元串流之不同部分處接收不同語法元素。舉例而言，一些語法元素可在VPS層級、SPS層級或APS層級處被接收，而其他語法元素係在視訊片段層級及/或視訊區塊層級處被接收。
當視訊片段經寫碼為框內寫碼(I)片段時，框內預測處理單元74 可基於所發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)片段時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊片段之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單中之一者內之參考圖像中的一者產生。視訊解碼器30可基於儲存於參考圖框記憶體82中之參考圖像使用內定建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊片段之視訊區塊的預測資訊，且使用該預測資訊以產生正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中之一些語法元素來判定用以寫碼視訊片段之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如，B片段或P片段)、用於片段之參考圖像清單中之一或多者的建構資訊、用於片段之每一經框間編碼視訊區塊的運動向量、用於片段之每一經框間寫碼視訊區塊的框間預測狀態及其他資訊，以解碼當前視訊片段中之視訊區塊。
運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(亦即，解量化)提供於位元串流中且藉由熵解碼單元70而被解碼之經量化變換係數。反量化程序可包括使用藉由視訊解碼器30針對視訊片段中之每一視訊區塊所計算之量化參數QPY以判定量化之程度，且同樣地判定應加以應用之反量化的程度。反變 換處理單元78將反變換(例如，反DCT、反整數變換或概念上類似反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換處理單元78之殘餘區塊與藉由運動補償單元72所產生之對應之預測性區塊求合來形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。視需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中抑或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改善視訊品質。一給定圖框或圖像中之經解碼視訊區塊接著儲存於參考圖框記憶體82中，該參考圖框記憶體82儲存用於隨後之運動補償的參考圖像。參考圖框記憶體82亦儲存供稍後在顯示器件(諸如，圖1之顯示器件32)上呈現的經解碼視訊。
圖4為說明形成網路100之部分之實例器件集合的方塊圖。在此實例中，網路100包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之部分的少量器件。其他網路器件(諸如，交換器、集線器、閘道器、防火牆、橋接器及其他此等器件)亦可包括於網路100內。此外，可沿伺服器器件102與用戶端器件108之間的網路路徑來提供額外網路器件。在一些實例中，伺服器器件102可對應於來源器件12(圖1)，而用戶端器件108可對應於目的地器件14(圖1)。
一般而言，路由器件104實施一或多個路由協定以經由網路100來交換網路資料。在一些實例中，路由器件104可經組態以執行代理伺服器或快取記憶體操作。因此，在一些實例中，可將路由器件104稱作代理伺服器器件。一般而言，路由器件104執行路由協定以經由網路100來探索路徑。藉由執行此等路由協定，路由器件104B可探索 自其自身經由路由器件104A至伺服器器件102的網路路徑。
路由器件104及轉碼器件106為可實施本發明所描述之技術之器件的實例。舉例而言，作為將視訊資料自伺服器器件102路由至用戶端器件108之部分，路由器件104及/或轉碼器件106可接收包括操作點語法之VPS語法。該操作點語法可(例如)包括位元串流之最大層ID值。路由器件104及轉碼器件106可另外在操作點語法中接收用於具有小於最大層ID值之層ID之層的一或多個旗標。基於該最大層ID值及該等旗標，路由器件104及轉碼器件106可判定該等層包括於操作點中，且因此可識別包含操作點之子位元串流的NAL單元。
圖5展示根據本發明之技術的編碼視訊資料之實例方法。將參考視訊編碼器(諸如，視訊編碼器20)來描述圖5之技術。視訊編碼器20可在經編碼視訊資料之位元串流中產生用於位元串流之最大層ID值之指示(152)。視訊編碼器20亦可產生用於具有小於最大層ID值之層ID值之第一層之旗標(154)。最大層ID之指示及旗標可(例如)為VPS中含有之操作點語法之部分。
圖6展示根據本發明之技術的處理視訊資料之實例方法。將參考視訊處理器件來描述圖6之技術，該視訊處理器件可對應於視訊解碼器(諸如，圖1及圖3之視訊解碼器30)或可對應於網路器件或網路實體(諸如，圖1之網路器件13、圖3之網路實體29，或圖4之路由器件104或轉碼器件106)。視訊處理器件可在經編碼視訊資料之位元串流中接收用於位元串流之最大層ID值之指示(162)。視訊處理器件亦可接收用於具有小於最大層ID值之層ID值之第一層之旗標(164)。基於旗標之值，視訊處理器件可基於旗標之值而判定第一層是否包括於操作點中(166)。
應認識到，取決於實例，本文所描述之技術中之任一者的某些動作或事件可以不同序列執行、可被添加、合併或完全地省略(例 如，並非所有所描述動作或實踐對於實踐該等技術係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時地而非順序地執行動作或事件。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述功能。若以軟體進行實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於：(1)非暫時性的有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，可將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端來源傳輸指令，則將同軸纜線、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以 磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路系統。因此，如本文所使用，術語「處理器」可指代上述結構或適於實施本文所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求藉由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適之軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (49)

  1. 一種處理視訊資料之方法，該方法包含：接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；基於該旗標之一值而判定該第一層是否包括於一操作點中。
  2. 如請求項1之方法，其進一步包含：接收用於介於0與該最大層ID減1之間的每一層ID值之一旗標，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  3. 如請求項1之方法，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  4. 如請求項1之方法，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一解碼參數集合相關聯。
  5. 如請求項1之方法，其中一視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  6. 如請求項1之方法，其中接收用於該位元串流之該最大層ID值之該指示包含接收識別該最大層ID值之一語法元素。
  7. 如請求項1之方法，其中接收用於該位元串流之該最大層ID值之該指示包含判定一最大可能層ID值。
  8. 如請求項1之方法，其中該方法係由一媒體感知網路元件(MANE)執行，且其中該方法進一步包含：回應於該第一層包括於該操作點中而識別包含一層ID語法元 素之一網路抽象層(NAL)單元，其中該層ID語法元素之一值對應於該第一層。
  9. 一種用於處理視訊資料之器件，該器件包含一或多個處理器，該一或多個處理器經組態以：接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；且基於該旗標之一值而判定該第一層是否包括於一操作點中。
  10. 如請求項9之器件，其中該一或多個處理器經進一步組態以接收用於介於0與該最大層ID減1之間的每一層ID值之一旗標，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  11. 如請求項9之器件，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  12. 如請求項9之器件，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一解碼參數集合相關聯。
  13. 如請求項9之器件，其中一視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  14. 如請求項9之器件，其中該一或多個處理器經組態以藉由接收識別該最大層ID值之一語法元素而接收用於該位元串流之該最大層ID值之該指示。
  15. 如請求項9之器件，其中該一或多個處理器經組態以藉由判定一最大可能層ID值而接收用於該位元串流之該最大層ID值之該指示。
  16. 如請求項9之器件，其中該器件包含一媒體感知網路元件(MANE)，且其中該一或多個處理器經進一步組態以：回應於該 第一層包括於該操作點中而識別包含一層ID語法元素之一網路抽象層(NAL)單元，其中該層ID語法元素之一值對應於該第一層。
  17. 如請求項9之器件，其中該器件包含以下各者中之至少一者：一積體電路；一微處理器；及一無線通信器件，其包括視訊解碼器。
  18. 一種用於處理視訊資料之裝置，該裝置包含：用於接收用於一位元串流之一最大層識別(ID)值之一指示的構件；用於接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標的構件；用於基於該旗標之一值而判定該第一層是否包括於一操作點中的構件。
  19. 如請求項18之裝置，其進一步包含：用於接收用於介於0與該最大層ID減1之間的每一層ID值之一旗標的構件，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  20. 如請求項18之裝置，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  21. 如請求項18之裝置，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一解碼參數集合相關聯。
  22. 如請求項18之裝置，其中一視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  23. 如請求項18之裝置，其中用於接收用於該位元串流之該最大層ID值之該指示的該構件包含用於接收識別該最大層ID值之一語法元素的構件。
  24. 如請求項18之裝置，其中用於接收用於該位元串流之該最大層ID值之該指示的該構件包含用於判定一最大可能層ID值的構件。
  25. 如請求項18之裝置，其中該裝置包含一媒體感知網路元件(MANE)，且其中該裝置進一步包含用於回應於該第一層包括於該操作點中而識別包含一層ID語法元素之一網路抽象層(NAL)單元的構件，其中該層ID語法元素之一值對應於該第一層。
  26. 一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在由一或多個處理器執行時使該一或多個處理器：接收用於一位元串流之一最大層識別(ID)值之一指示；接收用於具有小於該最大層ID值之一層ID值之一第一層之一旗標；基於該旗標之一值而判定該第一層是否包括於一操作點中。
  27. 如請求項26之非暫時性電腦可讀儲存媒體，其儲存進一步指令，該等進一步指令經組態以使該一或多個處理器：接收用於介於0與該最大層ID減1之間的每一層ID值之一旗標，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  28. 如請求項26之非暫時性電腦可讀媒體，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  29. 如請求項26之非暫時性電腦可讀媒體，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一 解碼參數集合相關聯。
  30. 如請求項26之非暫時性電腦可讀媒體，其中一視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  31. 如請求項26之非暫時性電腦可讀媒體，其中該一或多個處理器藉由接收識別該最大層ID值之一語法元素而接收用於該位元串流之該最大層ID值之該指示。
  32. 如請求項26之非暫時性電腦可讀媒體，其中該一或多個處理器藉由判定一最大可能層ID值而接收用於該位元串流之該最大層ID值之該指示。
  33. 如請求項26之非暫時性電腦可讀媒體，其儲存進一步指令，該等進一步指令使該一或多個處理器：回應於該第一層包括於該操作點中而識別包含一層ID語法元素之一網路抽象層(NAL)單元，其中該層ID語法元素之一值對應於該第一層。
  34. 一種編碼視訊資料之方法，該方法包含：產生用於一位元串流之一最大層識別(ID)值之一指示；產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。
  35. 如請求項34之方法，其進一步包含：產生用於介於0與該最大層ID減1之間的每一層ID值之一旗標，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  36. 如請求項34之方法，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  37. 如請求項34之方法，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一解碼參數集合相關聯。
  38. 如請求項34之方法，其進一步包含：產生一視訊參數集，其中該視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  39. 如請求項34之方法，產生用於該位元串流之該最大層ID值之該指示包含產生識別該最大層ID值之一語法元素。
  40. 如請求項34之方法，其中接收用於該位元串流之該最大層ID值之該指示包含判定一最大可能層ID值。
  41. 如請求項34之方法，其中該方法係由一視訊編碼器執行。
  42. 一種視訊寫碼器件，該器件包含：一視訊編碼器，其經組態以：產生用於一位元串流之一最大層識別(ID)值之一指示；且產生用於具有小於該最大層ID值之一層ID值之一第一層之一旗標，其中用於該旗標之一值發信表示該第一層是否包括於一操作點中。
  43. 如請求項42之視訊寫碼器件，其中該視訊編碼器經進一步組態以產生用於介於0與該最大層ID減1之間的每一層ID值之一旗標，其中用於每一旗標之一值指示每一層是否包括於該操作點中。
  44. 如請求項42之視訊寫碼器件，其中用於該旗標之一第一值指示該第一層包括於該操作點中，且用於該旗標之一第二值指示該第一層不存在於該操作點中。
  45. 如請求項42之視訊寫碼器件，其中該操作點包含一操作點識別值，其中該操作點識別值係與該視訊資料中識別之一解碼參數集合相關聯。
  46. 如請求項42之視訊寫碼器件，其中該視訊編碼器經進一步組態以產生一視訊參數集，其中該視訊參數集包含該最大層識別(ID)值之該指示及該旗標。
  47. 如請求項42之視訊寫碼器件，其中該視訊寫碼器經組態以藉由產生識別該最大層ID值之一語法元素而產生用於該位元串流之該最大層ID值之該指示。
  48. 如請求項42之視訊寫碼器件，其中該視訊編碼器經組態以藉由判定一最大可能層ID值而產生用於該位元串流之該最大層ID值之該指示。
  49. 如請求項42之視訊寫碼器件，其中該方法係由一視訊編碼器執行。
TW102135711A 2012-10-02 2013-10-02 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體 TWI566582B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261709094P 2012-10-02 2012-10-02
US14/042,416 US9781413B2 (en) 2012-10-02 2013-09-30 Signaling of layer identifiers for operation points

Publications (2)

Publication Number Publication Date
TW201429255A true TW201429255A (zh) 2014-07-16
TWI566582B TWI566582B (zh) 2017-01-11

Family

ID=50385190

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105131943A TWI610557B (zh) 2012-10-02 2013-10-02 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
TW102135711A TWI566582B (zh) 2012-10-02 2013-10-02 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105131943A TWI610557B (zh) 2012-10-02 2013-10-02 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體

Country Status (20)

Country Link
US (1) US9781413B2 (zh)
EP (1) EP2904789B1 (zh)
JP (1) JP6345675B2 (zh)
KR (1) KR101865453B1 (zh)
CN (1) CN104685890B (zh)
AR (1) AR094826A1 (zh)
AU (1) AU2013327493B2 (zh)
BR (1) BR112015007273B1 (zh)
CA (1) CA2884881C (zh)
DK (1) DK2904789T3 (zh)
ES (1) ES2856099T3 (zh)
HK (1) HK1209552A1 (zh)
HU (1) HUE052661T2 (zh)
IL (1) IL238026A (zh)
MY (1) MY171655A (zh)
PH (1) PH12015500613A1 (zh)
RU (1) RU2656827C2 (zh)
SG (2) SG11201501641XA (zh)
TW (2) TWI610557B (zh)
WO (1) WO2014055536A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US9781413B2 (en) * 2012-10-02 2017-10-03 Qualcomm Incorporated Signaling of layer identifiers for operation points
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN105101072A (zh) 2015-05-19 2015-11-25 小米科技有限责任公司 定位的方法和装置
US10516891B2 (en) * 2015-11-20 2019-12-24 Intel Corporation Method and system of reference frame caching for video coding
CN114009053B (zh) 2019-06-20 2024-10-15 诺基亚技术有限公司 用于视频编码和解码的装置、方法
US11172232B2 (en) * 2019-09-06 2021-11-09 Sharp Kabushiki Kaisha Systems and methods for signaling level information in video coding
JP7439249B2 (ja) 2019-10-07 2024-02-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド サブビットストリーム抽出におけるエラー回避

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
CN101491079A (zh) * 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
BRPI0719536A2 (pt) * 2006-10-16 2014-01-14 Thomson Licensing Método para utilização de uma unidade de camada genérica na rede de trabalho sinalizando uma reposição instantânea de decodificação durante uma operação em vídeo.
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US20100250763A1 (en) 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
CN101924944B (zh) 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US9716920B2 (en) 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US9781413B2 (en) * 2012-10-02 2017-10-03 Qualcomm Incorporated Signaling of layer identifiers for operation points

Also Published As

Publication number Publication date
SG11201501641XA (en) 2015-04-29
AR094826A1 (es) 2015-09-02
KR20150065839A (ko) 2015-06-15
CN104685890B (zh) 2019-03-12
TWI566582B (zh) 2017-01-11
TWI610557B (zh) 2018-01-01
RU2656827C2 (ru) 2018-06-06
SG10201702549TA (en) 2017-04-27
CA2884881C (en) 2020-01-28
JP2015531570A (ja) 2015-11-02
KR101865453B1 (ko) 2018-06-07
EP2904789B1 (en) 2020-11-25
DK2904789T3 (da) 2021-02-15
WO2014055536A1 (en) 2014-04-10
US20140092996A1 (en) 2014-04-03
CN104685890A (zh) 2015-06-03
ES2856099T3 (es) 2021-09-27
BR112015007273B1 (pt) 2023-03-14
HK1209552A1 (zh) 2016-04-01
BR112015007273A2 (pt) 2017-07-04
TW201707447A (zh) 2017-02-16
CA2884881A1 (en) 2014-04-10
EP2904789A1 (en) 2015-08-12
US9781413B2 (en) 2017-10-03
AU2013327493B2 (en) 2017-10-12
PH12015500613B1 (en) 2015-05-11
PH12015500613A1 (en) 2015-05-11
IL238026A (en) 2017-12-31
RU2015116166A (ru) 2016-11-27
HUE052661T2 (hu) 2021-05-28
JP6345675B2 (ja) 2018-06-20
MY171655A (en) 2019-10-22
AU2013327493A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
KR101743852B1 (ko) 비디오 코딩에서의 관심 영역들 및 점진적 디코딩 리프레시의 시그널링
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
JP6509842B2 (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
TWI532383B (zh) 在視訊寫碼中長期參考圖像之隨機存取及發信
JP6542271B2 (ja) マルチレイヤビデオコーディング
US9525883B2 (en) Cross-layer alignment of intra random access point pictures
TWI558179B (zh) 對視訊寫碼發信長期參考圖像
TW201424391A (zh) 錯誤彈性解碼單元關聯