TWI527460B - 於視訊寫碼中發信用於操作點之層識別符 - Google Patents

於視訊寫碼中發信用於操作點之層識別符 Download PDF

Info

Publication number
TWI527460B
TWI527460B TW102134604A TW102134604A TWI527460B TW I527460 B TWI527460 B TW I527460B TW 102134604 A TW102134604 A TW 102134604A TW 102134604 A TW102134604 A TW 102134604A TW I527460 B TWI527460 B TW I527460B
Authority
TW
Taiwan
Prior art keywords
operating point
video
bit stream
content
vps
Prior art date
Application number
TW102134604A
Other languages
English (en)
Other versions
TW201424403A (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201424403A publication Critical patent/TW201424403A/zh
Application granted granted Critical
Publication of TWI527460B publication Critical patent/TWI527460B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Description

於視訊寫碼中發信用於操作點之層識別符
此申請案主張2012年9月28日申請之美國臨時申請案第61/707,486號及2012年10月1日申請之美國臨時申請案第61/708,404號的優先權，該等申請案之全部內容以引用之方式併入本文中。
本發明大體上係關於處理視訊資料，且更特定言之，係關於處理視訊資料中所使用之操作點。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在發展之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊片段(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)片段中的視訊區塊。圖像之框間寫碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述用於在視訊寫碼中發信用於操作點之層識別符的技術。該等技術藉由不許在符合型位元串流內之視訊參數集(VPS)中針對該等操作點或關於該等操作點之假想參考解碼器(HRD)參數資訊中的至少一者來寫碼重複內容而提供發信與該等操作點相關聯之資訊之經改良效率。根據該等技術，符合型位元串流可不包括VPS中將與第一操作點相關聯之一組層識別符重複以作為第二操作點之內容的語法元素。另外，根據該等技術，符合型位元串流可不包括VPS中將與第一操作點之HRD參數資訊相關聯之一組HRD參數重複以作為第二操作點之內容的語法元素。以此方式，該組層識別符及該組 HRD參數係僅VPS中之第一操作點獨有。
在一個實例中，本發明中所描述之技術係關於一種用於解碼視訊資料之方法。該方法包括解碼在符合型位元串流內之視訊參數集(VPS)中的語法元素，該等語法元素指示具有第一組內容之第一操作點。該方法進一步包括解碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的假想參考解碼器(HRD)參數資訊，其中該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中解碼語法元素包含僅解碼符合型位元串流內之指示第一操作點及HRD參數資訊的語法元素。
在另一實例中，本發明中所描述之技術係關於一種用於編碼視訊資料之方法。該方法包括編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。該方法進一步包括編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊，其中該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中編碼語法元素包含僅編碼來自符合型位元串流之指示第一操作點及HRD參數資訊的語法元素。
在另一實例中，本發明中所描述之技術係關於一視訊寫碼器件。該視訊寫碼器件經組態以寫碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。該視訊寫碼器件進一步經組態以寫碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊，其中該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中該視訊寫碼器經組態以僅寫碼符合型位元串流內之指示第一操作點及HRD參數 資訊的語法元素。
在又一實例中，本文中所描述之技術係關於電腦可讀儲存媒體。該電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時導致用於寫碼視訊資料之器件之處理器寫碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。該等指令在執行時進一步導致該處理器寫碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊，其中該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中該處理器經組態以僅寫碼符合型位元串流內之指示第一操作點及HRD參數資訊的語法元素。
本文中所描述之技術亦包括視訊寫碼器件之實例，該視訊寫碼器件包括用於寫碼在符合型位元串流內之VPS中之語法元素的構件，該等語法元素指示具有第一組內容之第一操作點。該視訊寫碼器件進一步包括用於寫碼(若存在)在符合型位元串流內之VPS中之語法元素的構件，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊，其中該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中該視訊寫碼器件經組態以僅寫碼符合型位元串流內之指示第一操作點及HRD參數資訊的語法元素。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧儲存器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵寫碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明形成網路之部分之一組實例器件的方塊圖。
圖5為說明根據本發明中所描述之技術之用於解碼視訊資料中所使用之操作點之實例方法的流程圖。
圖6為說明根據本發明中所描述之技術之用於編碼視訊資料中所使用之操作點之實例方法的流程圖。
一般而言，本發明描述用於在視訊寫碼中發信用於操作點之層識別符的技術。操作點指代可自一為時間可調式及/或具有多個層或視圖之原始位元串流提取之子位元串流。可基於識別位元串流之操作點之層識別符及時間子層識別符之值而自位元串流來提取子位元串流。發信在位元串流內之視訊參數集(VPS)中的操作點。對於該等操作點中之每一者而言，操作點語法結構指定用以識別位元串流中屬於一給定操作點之子位元串流之網路抽象層(NAL)單元的一組層識別符。以此方式，可基於構成該給定操作點之子位元串流之NAL單元的層識別符而自原始位元串流來提取該等NAL單元。
在一些狀況下，可存在關於該等操作點中之一或多者的假想參考解碼器(HRD)參數。在此狀況下，發信在VPS中之HRD參數資訊。對於具有HRD參數之一或多個操作點中之每一者而言，HRD參數語法結構指定一組HRD參數，該組HRD參數定義用以檢查一給定操作點之子位元串流之符合性的HRD。
本發明中所描述之技術包括不許在符合型位元串流內之VPS中針對操作點或與操作點相關聯之HRD參數資訊中之至少一者而重複內 容。符合型位元串流可包括VPS中指示具有第一組內容之第一操作點的語法元素，該第一組內容可包括用於第一操作點之一組層識別符。符合型位元串流亦可包括VPS中指示具有第二組內容之HRD參數資訊的語法元素，該第二組內容可包括用於第一操作點之一組HRD參數。符合型位元串流可不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。
根據該等技術，視訊編碼器經組態以僅編碼符合型位元串流且視訊解碼器經組態以僅解碼符合型位元串流。在一個實例中，在符合型位元串流中不許發信用於一個VPS中之不同操作點的若干組重複之層識別符。在另一實例中，在符合型位元串流中不許發信用於一個VPS中之不同操作點的HDP參數資訊中之若干組重複之HRD參數。以此方式，一組給定之層識別符及一組給定之HRD參數係僅VPS中之第一操作點獨有。作為另一實例，該等技術包括寫碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。
本發明之技術改良用於發信符合型位元串流中之操作點之層識別符的效率。舉例而言，該等技術可經由在符合型位元串流內之單一VPS中針對操作點及與操作點相關聯之HRD參數資訊僅寫碼若干組唯一之內容且不許針對單一VPS中之不同操作點而寫碼重複之內容來改良效率。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)。視訊寫碼標準進一步包括ITU-T H.264之可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
另外，存在一種正由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發的新穎 視訊寫碼標準(即高效率視訊寫碼(HEVC))。HEVC之新近工作草案(WD)係工作草案8，且在下文中被稱作HEVC WD8(Bross等人之高效率視訊寫碼(HEVC)文字規範草案8，2012年7月，斯德哥爾摩，可自2013年5月14日起自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wgll/JCTVC-J1003-v8.zip獲得)。雖然本發明中所描述之技術係關於HEVC標準加以描述，但本發明之態樣並不限於此且可擴展至其他視訊寫碼標準以及專屬視訊寫碼技術。
圖1係說明一可利用本發明中所描述之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源器件12，該源器件12產生待由目的地器件14在一更遲之時間解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」電話之電話手機、所謂之「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些狀況下，可裝備源器件12及目的地器件14以用於達成無線通信。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在其他實例中，源器件12及目的地器件14可包括其他組件及配置。舉例而言，源器件12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。
圖1之所說明之系統10僅為一個實例。可藉由任何數位視訊編碼及/或解碼器件來執行本發明之技術。雖然通常藉由視訊編碼器件或視訊解碼器件來執行該等技術，但亦可藉由視訊編碼器/解碼器(通常 稱作「CODEC」)來執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅僅為此等寫碼器件之實例，在該等寫碼器件中，源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質上對稱方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊封存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為進一步之替代例，視訊源18可產生基於電腦圖形之資料，作為源視訊、或直播視訊、經封存視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可一般適用於視訊寫碼，且可應用於無線及/或有線應用。
在每一狀況下，可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資料可經由源器件12之輸出介面22而直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至一儲存器件上以供稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
鏈路16可包括：暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器可自源器件12接收經編碼視訊資料且(例如)經由網路傳輸將該經編碼視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料 且產生含有該經編碼視訊資料之光碟。因此，在各種實例中，可將鏈路16理解為包括各種形式之一或多個電腦可讀媒體。鏈路16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14之任何類型之媒體或器件。在一個實例中，鏈路16可包含一用以使得源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
目的地器件14之輸入介面28自鏈路16接收資訊，該鏈路16可為電腦可讀媒體。來自鏈路16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32可與目的地器件14整合或位於目的地器件14外部。顯示器件32向使用者顯示經解碼視訊資料，且可包含諸如以下各者之多種顯示器件中之任一者：陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
或者，經編碼資料可自輸出介面22輸出至儲存器件34。類似地，可由輸入介面自儲存器件34來存取經編碼資料。儲存器件34可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體)中之任一者。在進一步之實例中，儲存器件34可對應於可保持由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或 下載自儲存器件34存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件34之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者之視訊寫碼、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態成支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如，目前正在發展之HEVC標準)來操作，且可遵照HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC)之其他專屬或工業標準或此等標準之擴展來操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當之MUX-DEMUX單元或其他硬體及軟體，以處置共同資料流或單獨資料流中之音訊與視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報 協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊寫碼專家群(VCEG)連同ISO/IEC動畫專家群(MPEG)一起闡明為被稱作聯合視訊小組(JVT)之集體合作之產品。在一些態樣中，本發明中所描述之技術可應用於通常遵照H.264標準之器件。H.264標準由ITU-T研究小組在日期為2005年3月描述於ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
視訊編碼器20及視訊解碼器30各自可經實施為多種合適編碼器或解碼器電路(諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合)中之任一者。當該等技術部分地在軟體中實施時，一器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可被包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準之發展。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM設想視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可分成包括亮度 樣本與色度樣本兩者之樹型區塊或最大寫碼單元(LCU)序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。片段包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個片段。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構中每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對該對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，該分裂旗標指示是否將對應於該節點之CU分裂成子CU。可遞迴地定義用於CU之語法元素，且該等語法元素可視CU是否分裂成子CU而定。若CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16 CU從未經分裂。
除了CU不具有大小區別之外，CU之意義類似於H.264標準之巨集區塊之意義。舉例而言，樹型區塊可分裂成四個子代節點(亦被稱作子CU)，且每一子代節點可又為父代節點並分裂成另外四個子代節點。被稱作四分樹之葉節點之最終之未經分裂子代節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指代在HEVC之內容脈絡中之CU、PU或TU中的任一者，或在其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，雖然並非總是如此狀況。TU通常具有與PU相同的大小或小於PU。在一些實例中，可使用被稱作「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可加以量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應之CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本之資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，該殘餘四分樹(RQT)可包括描述用於對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單 C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)來指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成另外之子TU。當TU不進一步分裂時，其可被稱作葉TU。通常，對於框內寫碼而言，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算一葉CU之所有TU之預測值。對於框內寫碼而言，視訊編碼器可將使用框內預測模式之每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼而言，一PU可與用於同一CU之對應之葉TU共置。在一些實例中，一葉TU之最大大小可對應於對應之葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於樹型區塊(或LCU)。RQT之未經分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一片段可包括描述該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小方面不 同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測或框間預測寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。該等PU可包含描述一種在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料且該等TU可包含在將變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)應用於殘餘視訊資料之後在變換域中之係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常指代如下之程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(及因此較低頻率)係數置於陣列前部且將較低能量(及因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。
為執行CABAC，視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能係關於(例如)符號之相鄰值是否為非零。為執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可基於指派給符號之內容脈絡而進行。
視訊編碼器20可進一步將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)發送至視訊解碼 器30(例如，在圖框標頭、區塊標頭、片段標頭或GOP標頭中)。GOP語法資料可描述各別GOP中之圖框之數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
HEVC WD8亦允許借助於「設定檔」及「層級」來約定語法之有限數目之子集。HEVC WD8經設計成在其用於廣泛範圍之應用、位元速率、解析度、品質及服務的意義上為通用的。其中，應用應涵蓋數位儲存媒體、電視廣播及即時通信。在創作HEVC WD8的過程中，已考慮了來自典型應用之各種要求，已開發了必需之演算法元件，且已將此等整合至單一語法中。因此，HEVC WD8將促進在不同應用當中的視訊資料互換。然而，考慮到實施HEVC WD8之完整語法的實踐性，設定檔及層級提供用於語法之有限數目之子集的構件。
將「設定檔」定義為由HEVC WD8指定之完整位元串流語法之子集。在由一給定設定檔之語法強加的界限內，仍有可能視由位元串流中之語法元素所取的值而定而需要在編碼器及解碼器之效能方面非常大的變化。舉例而言，經解碼圖像之指定大小可需要在編碼器及解碼器之效能方面非常大的變化。在許多應用中，實施能夠處理一特定設定檔內之語法之所有假設性使用的解碼器目前既不實際亦不經濟。
為處理此問題，在每一設定檔內指定「層」及「層級」。層之層級係強加於位元串流中之語法元素之值的一組指定之約束。此等約束可為對值之簡單限制。或者，其可採取對值之算術組合之約束的形式(例如，圖像寬度乘以圖像高度乘以每秒被解碼之圖像之數目)。針對較低層所指定之層級比針對較高層所指定之層級更受約束。針對所有設定檔來定義一組相同層級，其中每一層級之定義之大多數態樣跨越不同設定檔而為共同的。在指定之約束內，個別實施可支援每一所支援之設定檔的不同層級。在一不同內容脈絡中，層級係在調整之前變換係數之值。在HEVC WD8之Annex A中更詳細地描述設定檔及層 級。
遵照HEVC WD8之經寫碼視訊內容使用一共同語法。為達成完整語法之子集，將發信表示稍後出現於位元串流中之語法元素之存在或缺乏的旗標、參數及其他語法元素包括於位元串流中。
HEVC WD8將子層定義為一時間可調式位元串流之時間可調式層，其由具有TemporalId變數之特定值的視訊寫碼層(VCL)網路抽象層(NAL)單元及相關聯之非VCL NAL單元組成。HEVC WD8進一步將一子層表示定義為位元串流之子集，其由一特定子層及較低子層之NAL單元組成。
HEVC WD8之子條款10.1描述位元串流子集及用以產生子位元串流之提取程序。一般而言，HEVC WD8描述基於識別位元串流之操作點之層識別符及時間子層識別符之值而自位元串流來提取子位元串流
操作點係藉由子位元串流提取程序之操作而自另一位元串流產生的位元串流，其中該另一位元串流、目標最高TemporalId及目標層識別符清單係作為輸入。藉由一組nuh_reserved_zero_6bits值(表示為OpLayerIdSet)及一TemporalId值(表示為OpTid)來識別操作點，且經獲得作為子位元串流提取程序之輸出的相關聯之位元串流子集(如HEVC WD8中指定，其中OpTid及OpLayerIdSet係作為輸入)係可獨立解碼的。若操作點之目標最高TemporalId等於在與目標層識別清單相關聯之層集合中之TemporalId的最大值，則該操作點與該層集合相同。否則，該操作點係該層集合之子集。
子位元串流提取程序係一指定程序，藉由該程序可自位元串流移除位元串流中不屬於目標集合(藉由目標最高TemporalId及目標層識別符清單layerIdListTarget判定)的NAL單元，其中該輸出子位元串流係由位元串流中屬於目標集合之NAL單元組成。至子位元串流提取程序之輸入係變數tIdTarget及清單targetDecLayerIdSet。子位元串流提 取程序之輸出係子位元串流。該子位元串流係藉由自位元串流移除其中TemporalId大於tIdTarget或nuh_reserved_zero_6bits不在targetDecLayerIdSet中之值當中的所有NAL單元而獲得。
被包括於在HEVC WD8之子條款10.1中所指定之子位元串流提取程序之輸出中的任何子位元串流遵照HEVC WD8，其中tIdTarget等於在0至6(包括0及6)之範圍中的任何值且其中targetDecLayerIdSet含有值0。遵照HEVC WD8之位元串流可含有一或多個經寫碼片段NAL單元，其中nuh_reserved_zero_6bits等於0且TemporalId等於0。
當前HEVC設計具有以下缺點。首先，允許經寫碼視訊序列之時間子集發信一組設定檔空間、層、相容設定檔及關於設定檔之約束，其不同於完整經寫碼視訊序列之以上各者。然而，對於時間子集而言使用一不同設定檔空間毫無意義，且不存在其中對於時間子集而言具有不同於完整經寫碼視訊序列之其他值(諸如層、相容設定檔及關於設定檔之約束)將為有利之舉的明顯用例。
第二，當前，每一操作點(除第一者之外)之一組nuh_reserved_zero_6bits值(亦即，層ID)係藉由顯式地發信被包括於待解碼之經寫碼視訊序列中之層ID中之每一者來發信的。然而，在大多數可擴充性寫碼情況中，層依賴關係係線性的，且僅目標層ID之發信將為足夠的。此外，對於非線性層依賴關係(該非線性層依賴關係對於其中發信多個層ID之多視圖寫碼情況而言係典型的)而言，可差分地來寫碼層ID。差分地寫碼層ID係簡單且有效的，其類似於(例如)短期參考圖像集合發信中之圖像次序計數(POC)值之寫碼。最後，其被允許發信若干組重複之層ID。
第三，當前HEVC設計亦具有缺點，因為其被允許具有擁有相同內容之重複hrd_parameters( )語法結構。
本發明中包括以下技術以解決以上缺點。首先，自 profile_tier_level( )語法結構移除用於發信時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束的語法元素。因此，節約了不必用於時間子層之彼等語法元素上的位元。
第二，定義一簡單操作點模式，對於該簡單操作點模式而言，僅需要發信nuh_reserved_zero_6bits(亦即，層ID)之一個值。操作點之發信經改變以使得能夠藉由簡單操作點模式來僅發信操作點之nuh_reserved_zero_6bits之一個值。當發信nuh_reserved_zero_6bits(亦即，層ID)之多個值時，該等值被差分地寫碼。發信操作點之此方法對於具有線性層依賴性之任何可擴充性寫碼、多視圖及/或3DV(3維視訊)寫碼情況更有效。此外，根據本發明之技術，在一個VPS內，不許針對VPS中之不同操作點所發信之若干組重複之層ID。以此方式，一組給定之層識別符係僅VPS中之一給定操作點獨有。
第三，根據本發明之技術，不許寫碼於與VPS中之操作點相關聯之hrd_parameters( )語法結構中的若干組重複之HRD參數。以此方式，在與一給定操作點相關聯之HRD參數資訊中的一組給定之HRD參數係僅VPS中之該給定操作點獨有。
舉例而言，視訊編碼器20編碼在符合型位元串流內之VPS中的語法元素。該等語法元素指示具有第一組內容之第一操作點。視訊編碼器20進一步編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。因此，視訊編碼器20編碼具有唯一內容(諸如若干組不同之層ID)之每一操作點。作為進一步之實例，視訊編碼器20可編碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。
類似地，根據本發明中所描述之技術，視訊解碼器30解碼在符 合型位元串流內之VPS中的語法元素。該等語法元素指示具有第一組內容之第一操作點。在一些實例中，視訊解碼器30自視訊編碼器20接收經編碼之符合型位元串流。視訊解碼器30進一步解碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。該符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。因此，視訊解碼器30解碼具有唯一內容(諸如若干組不同之層ID)之每一操作點。作為進一步之實例，視訊解碼器30可解碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。在額外之實例中，第二組內容包含用於第一操作點之一組HRD參數，該組HRD參數定義用以檢查第一操作點之子位元串流之符合性的HRD。
指示第一操作點之語法元素可包括在符合型位元串流內之VPS中的operation_point( )語法結構。進一步，指示HRD參數資訊之語法元素可包含在符合型位元串流內之VPS中的hrd_parameters( )語法結構。
在以上實例中，符合型位元串流可不包括VPS中針對第二操作點而重複第一組內容的語法元素，該第一組內容係僅VPS中之第一操作點獨有。進一步，符合型位元串流可不包括VPS中針對第二操作點而重複具有第二組內容之HRD參數資訊的語法元素，該第二組內容係僅VPS中之第一操作點獨有。
在一些實例中，視訊編碼器20可進一步指示是否將簡單操作點模式用於位元串流之複數個操作點中之每一者。當將簡單操作點模式用於該等操作點中之一特定者時，視訊編碼器20可僅編碼該特定操作點之一個目標層識別符。作為另一實例，視訊編碼器20可編碼位元串流之設定檔空間、層、相容設定檔及/或關於設定檔之約束，但不編碼位元串流之時間子層之單獨設定檔空間、層、相容設定檔或關於設定檔之約束。
同樣地，視訊解碼器30可接收是否將簡單操作點模式用於位元串流之複數個操作點中之每一者的指示。當將簡單操作點模式用於操作點中之一特定者時，視訊解碼器30可僅解碼該特定操作點之一個目標層識別符。作為另一實例，視訊解碼器30可解碼位元串流之設定檔空間、層、相容設定檔及/或關於設定檔之約束，但不解碼位元串流之時間子層之單獨設定檔空間、層、相容設定檔或關於設定檔之約束。
圖2為說明可實施本發明中所描述之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊片段內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵寫碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。為達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器以對區塊邊界濾波從而自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器之外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器，但此等濾波器在需要時可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或片段。可將該圖框或片段分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測處理單元46可或者相對於在與待寫碼區塊相同之圖框或片段中之一或多個相鄰區塊來執行經接收視訊區塊之框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48可最初將一圖框或片段分割成LCU，且基於位元率-失真分析(例如，位元率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可選擇寫碼模式(框內或框間)中之一者(例如，基於誤差結果)，且將所得之經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構供用作參考圖框之經編碼區塊。模式選擇單元40亦將諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊之語法元素提供至熵寫碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在一參考圖框(或其他經寫碼單元)內之預測性區塊(其關於在該當前圖框(或其他經寫碼單元)內正被寫碼之當前區塊)之移位。預測性區塊為被發現在像素差方面緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差和 (SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像之次整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且以分數像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼片段中之視訊區塊之PU的位置與參考圖像之預測性區塊之位置來計算該PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該清單0或該清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵寫碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及到基於由運動估計單元42所判定之運動向量來提取或產生該預測性區塊。再次，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。一接收到當前視訊區塊之PU之運動向量，運動補償單元44就可將運動向量所指向的預測性區塊定位於參考圖像清單中之一者中。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行相對於亮度分量之運動估計，且運動補償單元44基於該等亮度分量所計算之運動向量用於色度分量與亮度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊片段相關聯的語法元素以供視訊解碼器30用於解碼視訊片段之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定待用以編碼當前區塊之框內預測模 式。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自經測試之模式選擇將使用之適當框內預測模式。
舉例而言，框內預測處理單元46可使用針對各種經測試之框內預測模式之位元率-失真分析來計算位元率-失真值，且在經測試之模式當中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析通常判定經編碼區塊與原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元速率(亦即，位元數目)，該原始未經編碼區塊經編碼以產生該經編碼區塊。框內預測處理單元46可自失真及位元率計算各種經編碼區塊之比率以判定哪一框內預測模式展現區塊之最佳位元率-失真值。
在針對一區塊選擇框內預測模式之後，框內預測處理單元46可將指示對於該區塊所選擇之框內預測模式的資訊提供至熵寫碼單元56。熵寫碼單元56可編碼指示該所選擇之框內預測模式的資訊。視訊編碼器20可在所傳輸之位元串流組態資料中包括各種區塊之編碼內容脈絡之定義及待用於該等內容脈絡中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。 在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得變換係數發送至量化單元54。
量化單元54量化變換係數以進一步減小位元速率。該量化程序可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵寫碼單元56可執行掃描。
在量化之後，熵寫碼單元56熵寫碼經量化之變換係數。舉例而言，熵寫碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於內容脈絡之熵寫碼的狀況下，內容脈絡可基於相鄰區塊。在藉由熵寫碼單元56進行之熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或經封存以供稍後傳輸或擷取。
反量化單元58及反變換處理單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於該經重建構之殘餘區塊以計算供用於運動估計之次整數像素值。求和器62將該經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償之預測區塊以產生供儲存於參考圖框記憶體64中之經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼在後續視訊圖框中之區塊。
圖2之視訊編碼器20表示經組態以實施本文中所描述之技術中之一或多者之視訊編碼器之實例。視訊編碼器20發信在與位元串流相關 聯之視訊參數集(VPS)中之操作點。操作點指代可自一為時間可調式及/或具有多個層或視圖之原始位元串流提取的子位元串流。在HEVC中，可藉由一組nuh_reserved_zero_6bits值(表示為OpLayerIdSet)及一TemporalId值(表示為OpTid)來識別操作點。作為一實例，原始位元串流可包括處於不同空間解析度之三個層或視圖及處於不同圖框速率之兩個時間可調式層。在此實例中，原始位元串流包括六個操作點，其中三個空間解析度中之每一者在任一圖框速率下係可用的。
對於視訊編碼器20在與位元串流相關聯之VPS中發信之操作點中之每一者而言，操作點語法結構指定用以識別位元串流中屬於一給定操作點之子位元串流之網路抽象層(NAL)單元的一組層識別符(ID)。以此方式，構成給定操作點之子位元串流的NAL單元可基於該等NAL單元之層識別符而自原始位元串流來提取。
在一些狀況下，視訊編碼器20可進一步編碼關於操作點中之一或多者的假想參考解碼器(HRD)參數。在此狀況下，視訊編碼器20發信VPS中之HRD參數資訊。對於具有HRD參數之一或多個操作點中之每一者而言，HRD參數語法結構指定一組HRD參數，該組HRD參數定義用以檢查一給定操作點之子位元串流之符合性的HRD。
習知地，視訊寫碼標準允許位元串流包括待針對VPS中之操作點加以發信之若干組重複之層識別符。此意謂兩個或兩個以上之操作點可具有一組相同之層識別符且因此識別待構成操作點之子位元串流的相同NAL單元。以此方式，多個操作點可參考位元串流之相同內容。類似地，視訊寫碼標準允許位元串流包括待針對VPS中之操作點加以發信之若干組重複之HRD參數。此意謂兩組或兩組以上之HRD參數可具有相同內容且因此定義用以檢查相關操作點之子位元串流之符合性的兩個相同HRD。在兩種狀況下，發信係多餘的且存在對位元之無效使用。
本發明之技術藉由不許在符合型位元串流內之VPS中針對操作點抑或關於操作點之HRD參數來發信重複之內容而改良發信與操作點相關聯的資訊之效率。根據本發明之技術，視訊編碼器20可編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。視訊編碼器20亦可編碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且視訊編碼器20經組態以僅編碼符合型位元串流。如上文所描述，第一組內容可包含用於第一操作點之一組層識別符，且第二組內容可包含用於第一操作點之一組HRD參數。
在一個實例中，視訊編碼器20將僅編碼符合型位元串流使得在編碼在位元串流內之VPS中的語法元素(指示具有第一組層識別符之第一操作點)之後，視訊編碼器20不編碼VPS中針對第二操作點而重複第一組層識別符之語法元素。本發明之技術已不許針對在符合型位元串流內之相同VPS中之操作點而重複若干組層識別符。第一組層識別符必須係僅VPS中之第一操作點獨有或位元串流將為非符合型。亦即，舉例而言，非符合型位元串流可含有用於第一操作點之第一組層識別符且亦含有用於第二操作點之第二組層識別符，其中該第二組包括與該第一組相同之層識別符。因此，視訊編碼器20不應編碼在符合型位元串流之VPS中針對第一操作點及第二操作點而重複若干組層識別符的語法元素。
在另一實例中，可存在第一操作點之HRD參數。在此狀況下，在編碼在位元串流內之VPS中指示具有第一操作點之第一組HRD參數之HRD參數資訊的語法元素之後，視訊編碼器20不編碼VPS中針對第二操作點而重複第一組HRD參數的語法元素。本發明之技術已不許針 對在符合型位元串流內之相同VPS中之操作點而重複若干組HRD參數。第一組HRD參數必須係僅VPS中之第一操作點獨有或位元串流將為非符合型。因此，視訊編碼器20不應編碼在符合型位元串流之VPS中針對第一操作點及第二操作點而重複若干組HRD參數的語法元素。
在另一實例中，視訊編碼器20可指示是否將簡單操作點模式用於位元串流之複數個操作點中之每一者，且當將簡單操作點模式用於該等操作點中之一特定者時僅編碼該特定操作點之一個目標層識別符。簡單操作點模式係其中對於每一操作點而言OpLayerIdSet包括且僅包括nuh_reserved_zero_6bits之一特定值及nuh_reserved_zero_6bits之所有其他值(小於nuh_reserved_zero_6bits之該特定值)的模式。在一些實例中，當視訊編碼器20編碼經發信之nuh_reserved_zero_6bits(亦即，層ID)之多個值時，視訊編碼器20差分地編碼該等值。因此，操作點之發信對於達成具有線性層依賴性之任何可擴充性寫碼、多視圖、及/或3DV寫碼情況而言更為有效。如上文所描述，視訊編碼器20不編碼在一個VPS內之一組重複之層ID。
作為另一實例，視訊編碼器20可編碼位元串流之設定檔空間、層、相容設定檔及/或關於設定檔之約束，但不編碼位元串流之時間子層之單獨設定檔空間、層、相容設定檔或關於設定檔之約束。如上文所描述，視訊編碼器20可編碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。
視訊編碼器20可利用以下語法及語義。表1中如下定義一實例視訊參數集原始位元組序列有效負載(RBSP)。
等於1之旗標vps_simple_op_mode_flag[i]指定簡單操作點模式係正用於第i個operation_point_layer_ids( )語法結構。當vps_simple_op_mode_flag[i]等於0時，該旗標指定簡單操作點模式並非係正用於第i個operation_point( )語法結構。
語法結構hrd_parameters(i,vps_max_sub_layers_minus1)及hrd_parameters(j,vps_max_sub_layers_minus1)之任何兩個例子不應具有相同內容，其中i不等於j。因此，視訊編碼器20編碼僅包括唯一HRD參數之語法結構。
表2提供一實例設定檔、層及層級語法及語義。
當ProfilePresentFlag等於1時，等於1之旗標sub_layer_profile_present_flag[i]指定對於具有等於i之TemporalId之子層表示而言設定檔資訊存在於profile_tier_level( )語法結構中。等於0之旗標sub_layer_profile_present_flag[i]指定對於具有等於i之TemporalId之子層表示而言設定檔資訊不存在於profile_tier_level( )語法結構中。當不存在時，推斷sub_layer_profile_present_flag[i]之值等於0。
等於1之旗標sub_layer_level_present_flag[i]指定對於具有等於i之TemporalId之子層表示而言層級資訊存在於profile_tier_level( )語法結構中。等於0之旗標sub_layer_level_present_flag[i]指定對於具有等於i之TemporalId之子層表示而言層級資訊不存在於profile_tier_level( )語法結構中。
語法元素sub_layer_profile_idc[i]及sub_layer_level_idc[i]分別具有與general_profile_ide及general_level_idc相同之語義，但乃是應用於具有等於i之TemporalId之子層表示。
舉例而言，視訊編碼器20可編碼等於1之sub_layer_profile_present_flag[i]以指示對於具有等於i之TemporalId之子層表示而言設定檔資訊存在於profile_tier_level( )語法結構中。視訊編碼器20可不發信用於profile_tier_level( )語法結構中之時間子 層之設定檔空間、層、相容設定檔及關於設定檔之約束之發信的語法元素。
表3提供一實例操作點語法及語義。
operation_point(opIdx)語法結構指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet中的一組nuh_reserved_zero_6bits值。
當vps_simple_op_mode_flag[opIdx]等於0時，語法元素op_first_present_layer_id[opIdx]指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第一(亦即，第0)值。當vps_simple_op_mode_flag[opIdx]等於1時，op_first_present_layer_id[opIdx]指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之最大值。
當vps_simple_op_mode_flag[opIdx]等於0時，語法元素op_num_layer_id_values_minus1[opIdx]加1指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值之數目。op_num_layer_id_values_minus1[opldx]之值應小於或等於63。
當vps_simple_op_mode_flag[opIdx]等於0時， op_layer_id_delta_minus1[opIdx][i]加1指定被包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第i值與nuh_reserved_zero_6bits之第(i-1)值之間的差。op_layer_id_delta_minus1[opIdx][i]之值應在0至63(包括0及63)之範圍中。
如下獲得變數NumOpLayerIdsMinus1[opIdx]。
if(vps_simple_op_mode_flag[opIdx])
NumOpLayerIdsMinus1[opIdx]=op_first_present_layer_id[opIdx]
else
NumOpLayerIdsMinus1[opIdx]=op_num_layer_id_values_minus1[opIdx]
推斷NumOpLayerIdsMinus1[0]等於0。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i而言，如下獲得變數OpLayerId[opIdx][i]。
OpLayerId[opIdx][0]=vps_simple_op_mode_flag[opIdx]？0： op_first_present_layer_id[opIdx]
for(i=1；i<=NumOpLayerIdsMinus1[opIdx]；i++)
if(vps_simple_op_mode_flag[opIdx])
OpLayerId[opIdx][i]=i
else
OpLayerId[opIdx][i]=OpLayerId[opIdx][i-1]+ op_layer_id_delta_minus1[opIdx][i]+1
推斷OpLayerId[0][0]之值等於0。
當i不等於j且i與j兩者係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中時，無 OpLayerId[opIdx][i]之值應等於OpLayerId[opIdx][j]。
任何兩組OpLayerId[opIdx1]及OpLayerId[opIdx2](其中opIdx1不等於opIdx2)不應包括若干組相同之nuh_reserved_zero_6bits值。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i而言，應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定以包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值。
因此，視訊編碼器20可使用本文中所描述之技術來編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且其中視訊解碼器經組態以僅解碼符合型位元串流。舉例而言，視訊編碼器20編碼符合型位元串流使得其不包括VPS中針對第二操作點而重複第一組內容的語法元素，該第一組內容係僅VPS中之第一操作點獨有。
表4提供一替代性實例操作點語法及語義。
operation_point(opIdx)語法結構指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作點之OpLayerIdSet中的一組nuh_reserved_zero_6bits值。
語法元素op_num_layer_id_values_minus1[opIdx]加1指定被包括於應用有視訊參數集中之opIdx-th hrd_parameters( )語法結構之操作 點之OpLayerIdSet中的nuh_reserved_zero_6bits值之數目。op_num_layer_id_values_minus1[opIdx]之值應小於或等於63。當不存在時，推斷op_num_layer_id_values_minus1[opIdx]之值等於0。
在遵照本文中所描述之技術的位元串流中，op_num_layer_id_values_minus1[opIdx]應等於0。雖然在一些實例中要求op_num_layer_id_values_minus1[opIdx]之值等於0，但視訊解碼器(諸如視訊解碼器30)應允許其他值出現在op_num_layer_id_values_minus1[opIdx]語法中。
語法元素op_layer_id[opIdx][i]指定被包括於應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits之第i值。
如下獲得變數NumOpLayerIdsMinus1[opIdx]。
if(vps_simple_op_mode_flag[opIdx])
NumOpLayerIdsMinus1[opIdx]=op_layer_id[opIdx][0]
else
NumOpLayerIdsMinus1[opIdx]=op_num_layer_id_values_minus1[opIdx]
推斷NumOpLayerIdsMinus1[0]等於0。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i而言，如下獲得變數OpLayerId[opIdx][i]。
for(i=0；i<=NumOpLayerIdsMinus1[opIdx]；i++)
OpLayerId[opIdx][i]=vps_simple_op_mode_flag[opIdx]？i： op_layer_id[opIdx][i]
推斷OpLayerId[0][0]之值等於0。
當i不等於j且i與j兩者係在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中時，無 OpLayerId[opIdx][i]之值應等於OpLayerId[opIdx][j]。
任何兩組OpLayerId[opIdx1]及OpLayerId[opIdx2](其中opIdx1不等於opIdx2)不應包括若干組相同之nuh_reserved_zero_6bits值。
對於在0至NumOpLayerIdsMinus1[opIdx](包括0及NumOpLayerIdsMinus1[opIdx])之範圍中的i而言，應用有視訊參數集中之第opIdx個hrd_parameters( )語法結構之操作點之OpLayerIdSet經設定以包括且僅包括等於OpLayerId[opIdx][i]之nuh_reserved_zero_6bits值。
因此，根據本文中所描述之技術，視訊編碼器20可指示是否將簡單操作點模式用於位元串流之複數個操作點中之每一者。當將簡單操作點模式用於該等操作點中之一特定者時，視訊編碼器20可僅編碼該特定操作點之一個目標層識別符。作為另一實例，視訊編碼器20可編碼位元串流之設定檔空間、層、相容設定檔及/或關於設定檔之約束，但不編碼位元串流之時間子層之單獨設定檔空間、層、相容設定檔或關於設定檔之約束。作為進一步之實例，視訊編碼器20可編碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。
圖3為說明可實施本發明中所描述之技術之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行通常與關於視訊編碼器20(如圖2中所示)所描述之編碼遍次互反的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一表示經編碼視訊片段之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30可自網路實體29接收經編碼視訊位元串流。網路實 體29可(例如)為伺服器、媒體感知網路元件(MANE)、視訊編輯器/拼接器，或經組態以實施上文所描述之技術中之一或多者的其他此器件。網路實體29可包括經組態以執行本發明之技術之外部構件。如上文所描述，在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30之前，可藉由網路實體29來實施本發明中所描述之技術中之一些技術。在一些視訊解碼系統中，網路實體29及視訊解碼器30可為單獨器件之部分，而在其他例子中，可藉由包含視訊解碼器30之相同器件來執行關於網路實體29所描述之功能性。
視訊解碼器30之熵解碼單元70熵解碼該位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊片段層級及/或視訊區塊層級下接收語法元素。
當視訊片段經寫碼為框內寫碼(I)片段時，框內預測處理單元74可基於所發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料來產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)片段時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊片段之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單中之一者內之參考圖像中的一者產生。視訊解碼器30可基於儲存於參考圖框記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊片段之視訊區塊的預測資訊，且使用該預測資訊以產生正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中之一些語法元素來判定用以寫碼視訊片段之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如， B片段或P片段)、用於片段之參考圖像清單中之一或多者的建構資訊、用於片段之每一經框間編碼視訊區塊的運動向量、用於片段之每一經框間寫碼視訊區塊的框間預測狀態及其他資訊，以解碼當前視訊片段中之視訊區塊。
運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(亦即，解量化)提供於位元串流中且藉由熵解碼單元70而被解碼之經量化之變換係數。反量化程序可包括使用藉由視訊解碼器30針對視訊片段中之每一視訊區塊所計算之量化參數QPY以判定量化之程度，且同樣地判定應加以應用之反量化的程度。反變換處理單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由合計來自反變換處理單元78之殘餘區塊及藉由運動補償單元72所產生之對應之預測性區塊來形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。一給定圖框或圖像中之經解碼視訊區塊接著被儲存於參考圖框記憶體82中，該參考圖框記憶體82儲存用於後續之運動補償的參考圖像。參考圖框記憶體82亦儲存供稍後在顯示器件(諸如圖1之顯示器件32)上呈現的經解碼視訊。
圖3之視訊解碼器30表示經組態以實施本文中所描述之技術中之 一或多者的視訊解碼器之實例。本發明之技術藉由不許在符合型位元串流內之VPS中針對操作點抑或關於操作點之HRD參數來發信重複之內容而改良發信與操作點相關聯之資訊的效率。根據本發明之技術，視訊解碼器30可解碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。另外，視訊解碼器30可解碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素，且視訊解碼器30經組態以僅解碼符合型位元串流。如上文所描述，第一組內容可包含用於第一操作點之一組層識別符且第二組內容可包含用於第一操作點之一組HRD參數。
在一個實例中，在解碼在位元串流內之VPS中的語法元素(其指示具有第一組層識別符之第一操作點)之後，視訊解碼器30將僅在位元串流係不包括VPS中針對第二操作點而重複第一組層識別符之語法元素之符合型位元串流的情況下才繼續解碼。本發明之技術已不許針對在符合型位元串流內之相同VPS中之操作點來重複若干組層識別符。第一組層識別符係必須僅VPS中之第一操作點獨有或位元串流將為非符合型。視訊解碼器30僅解碼在符合型位元串流之VPS中的不包括用於第一操作點及第二操作點之若干組重複之層識別符的語法元素。在視訊解碼器30接收到非符合型位元串流的狀況下，視訊解碼器30可進入故障條件且捨棄整個位元串流。
在另一實例中，可存在第一操作點之HRD參數。在此狀況下，在寫碼在位元串流內之VPS中的語法元素(指示具有第一操作點之第一組HRD參數的HRD參數資訊)之後，視訊解碼器30將僅在位元串流係不包括VPS中針對第二操作點而重複第一組HRD參數之語法元素之符合型位元串流的情況下才繼續解碼。本發明之技術已不許針對符合 型位元串流內之相同VPS中的操作點來重複若干組HRD參數。第一組HRD參數必須係僅VPS中之第一操作點獨有或位元串流將為非符合型。視訊解碼器30僅解碼在符合型位元串流之VPS中的不包括用於第一操作點及第二操作點之若干組重複之HRD參數的語法元素。在視訊解碼器30接收到非符合型位元串流的狀況下，視訊解碼器30可進入故障條件且捨棄整個位元串流。
作為另一實例，視訊解碼器30可接收到是否將簡單操作點模式用於位元串流之複數個操作點中之每一者的指示。當將簡單操作點模式用於該等操作點中之一特定者時，視訊解碼器30可僅解碼該特定操作點之一個目標層識別符。作為另一實例，視訊解碼器30可解碼位元串流之設定檔空間、層、相容設定檔及/或關於設定檔之約束，但不解碼位元串流之時間子層之單獨設定檔空間、層、相容設定檔或關於設定檔之約束。如上文所描述，視訊解碼器30可解碼位元串流之HRD參數，其中HRD參數語法結構之每一複本包括不同內容。
圖4為說明形成網路100之部分之一組實例器件的方塊圖。在此實例中，網路100包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之部分的少量器件。其他網路器件(諸如交換器、集線器、閘道器、防火牆、橋接器及其他此等器件)亦可包括於網路100內。此外，可沿伺服器器件102與用戶端器件108之間的網路路徑來提供額外網路器件。在一些實例中，伺服器器件102可對應於源器件12(圖1)，而用戶端器件108可對應於目的地器件14(圖1)。
一般而言，路由器件104實施一或多個路由協定以經由網路100來交換網路資料。在一些實例中，路由器件104可經組態以執行代理或快取記憶體操作。因此，在一些實例中，可將路由器件104稱作代理器件。一般而言，路由器件104執行路由協定以經由網路100來發現 路徑。藉由執行此等路由協定，路由器件104B可發現自其自身經由路由器件104A至伺服器器件102的網路路徑。
可藉由諸如路由器件104及轉碼器件106之網路器件來實施本發明之技術，但亦可藉由用戶端器件108來實施本發明之技術。以此方式，路由器件104、轉碼器件106及用戶端器件108表示經組態以執行本發明之技術(包括在本發明之申請專利範圍部分中所敍述之技術)之器件之實例。此外，圖1之器件及圖2中所示之編碼器與圖3中所示之解碼器亦係可經組態以執行本發明之技術(包括在本發明之申請專利範圍部分中所敍述之技術)之例示性器件。
如本發明中所描述，「視訊寫碼器」可用以通常指代視訊編碼器件與視訊解碼器件兩者。另外，「視訊寫碼」可指代視訊編碼或視訊解碼。
圖5為說明根據本發明中所描述之技術之解碼視訊資料之實例方法200的流程圖。舉例而言，可藉由經組態以處理視訊資料之任何器件、系統或裝置(諸如圖1或圖3之視訊解碼器30)來執行方法200。
方法200包括解碼在符合型位元串流內之視訊參數集(VPS)中的語法元素，該等語法元素指示具有第一組內容之第一操作點(202)。舉例而言，視訊解碼器30可解碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。在一些實例中，指示第一操作點之語法元素在符合型位元串流內之VPS中具有operation_point( )語法結構。
方法200進一步包括解碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的假想參考解碼器(HRD)參數資訊(204)。根據本發明之技術，符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。舉例而言，視訊解碼器30解碼(若存在)在符合型位元串 流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。視訊解碼器30經組態以僅解碼符合型位元串流，且符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。在一些實例中，指示HRD參數資訊之語法元素在符合型位元串流內之VPS中具有hrd_parameters( )語法結構。在一些實例中，解碼語法元素包括僅解碼符合型位元串流內之指示第一操作點及HRD參數資訊的語法元素。
方法200進一步包括基於經解碼之語法元素來解碼符合型位元串流中之視訊資料(206)。舉例而言，視訊解碼器30至少部分地基於指示具有第一組內容之第一操作點的語法元素來解碼符合型位元串流中之視訊資料。視訊解碼器30進一步至少部分地基於指示具有第一操作點之第二組內容之HRD參數資訊的語法元素(若存在)來解碼符合型位元串流中之視訊資料。
在一些實例中，第一組內容包含用於第一操作點之一組層識別符，該組層識別符識別符合型位元串流之屬於第一操作點之子位元串流的一或多個網路抽象層(NAL)單元。在一些實例中，第二組內容包含第一操作點之一組HRD參數，該組HRD參數定義用以檢查第一操作點之子位元串流之符合性的HRD。在其他實例中，符合型位元串流不包括VPS中針對第二操作點而重複第一組內容的語法元素，該第一組內容係僅VPS中之第一操作點獨有。在進一步之實例中，符合型位元串流不包括VPS中針對第二操作點而重複具有第二組內容之HRD參數資訊的語法元素，該第二組內容係僅VPS中之第一操作點獨有。
在一些實例中，當用於第一操作點之一組層識別符包括兩個或兩個以上之層識別符時，方法200進一步包含差分地解碼該兩個或兩個以上之層識別符。亦即，當用於第一操作點之一組層識別符包括兩個或兩個以上之層識別符時，視訊解碼器30差分地解碼該兩個或兩個 以上之層識別符。
在另一實例中，方法200可包括解碼符合型位元串流內之語法元素，該等語法元素指示簡單操作點模式是否正用於第一操作點及第二操作點。當將簡單操作點模式用於第一操作點及第二操作點中之一特定者時，方法200可包括僅解碼該特定操作點之目標層識別符。在一個實例中，視訊解碼器30解碼符合型位元串流內之一或多個語法元素，該一或多個語法元素指示簡單操作點模式是否正用於第一操作點及第二操作點。當將簡單操作點模式用於第一操作點及第二操作點中之一特定者時，視訊解碼器30僅解碼該特定操作點之目標層識別符。在一些實例中，藉由該目標層識別符及一指示符合型位元串流之時間子層的時間識別符來識別該特定操作點。
方法200可進一步包括基於未將簡單操作點模式用於第一操作點的指示來顯式地解碼用於第一操作點之一組層識別符中之每一層識別符。舉例而言，視訊解碼器30基於未將簡單操作點模式用於第一操作點的指示來解碼用於第一操作點之一組層識別符中之層識別符。方法200可進一步包括當未將簡單操作點模式用於該等操作點中之一特定者時差分地解碼該特定操作點之複數個目標層識別符。舉例而言，當未將簡單操作點模式用於操作點中之一特定者時(例如，當vsp_simple_op_mode_flag[i]不存在於VPS中或等於零時)，視訊解碼器30差分地解碼該特定操作點之複數個目標層識別符。
在一些實例中，方法200進一步包括解碼指示符合型位元串流之整個經解碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素，其中符合型位元串流不包括指示經解碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。舉例而言，視訊解碼器30解碼指示符合型位元串流之整個經解碼視訊序列之設定檔空間、層、 相容設定檔及關於設定檔之約束中的一或多者的語法元素。符合型位元串流不包括指示經解碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。
語法元素可指示時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者自符合型位元串流內之VPS中的profile_tier_level( )語法結構而被移除。在一些實例中，方法200進一步包括解碼指示是否存在符合型位元串流之時間子層中之每一者之設定檔資訊的一或多個語法元素。當存在該等時間子層中之一特定者的設定檔資訊時，方法200可進一步包括解碼該特定時間子層之設定檔資訊。舉例而言，視訊解碼器30解碼指示是否存在符合型位元串流之時間子層中之每一者之設定檔資訊的一或多個語法元素，且當存在該等時間子層中之一特定者的設定檔資訊時，視訊解碼器30解碼該特定時間子層之設定檔資訊。
類似地，方法200進一步包括解碼指示是否存在位元串流之時間子層中之每一者之層級資訊的一或多個語法元素。當存在該等時間子層中之一特定者的層級資訊時，方法200進一步包括解碼該特定時間子層之層級資訊。舉例而言，視訊解碼器30解碼指示是否存在位元串流之時間子層中之每一者之層級資訊的一或多個語法元素，且當存在該等時間子層中之一特定者之層級資訊時，視訊解碼器30解碼該特定時間子層之層級資訊。在一些實例中，藉由時間識別符來識別符合型位元串流之時間子層。
圖6為說明根據本發明中所描述之技術之編碼視訊資料之實例方法300的流程圖。可藉由經組態以處理視訊資料之任何器件、系統或裝置(諸如圖1及圖2之視訊編碼器20)來執行方法300。
方法300包括編碼在符合型位元串流內之視訊參數集(VPS)中的語法元素，該等語法元素指示具有第一組內容之第一操作點(302)。 舉例而言，視訊編碼器20可編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一組內容之第一操作點。在一些實例中，指示第一操作點之語法元素在符合型位元串流內之VPS中具有operation_point( )語法結構。
方法300進一步包括編碼在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的假想參考解碼器(HRD)參數資訊(204)。根據本發明之技術，符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。舉例而言，視訊編碼器20編碼(若存在)在符合型位元串流內之VPS中的語法元素，該等語法元素指示具有第一操作點之第二組內容的HRD參數資訊。視訊編碼器20經組態以僅編碼符合型位元串流，且符合型位元串流不包括VPS中針對第二操作點而重複第一組內容或第二組內容中之至少一者的語法元素。在一些實例中，指示HRD參數資訊之語法元素在符合型位元串流內之VPS中具有hrd_parameters( )語法結構。
方法300進一步包括基於經編碼語法元素來編碼符合型位元串流中之視訊資料(306)。舉例而言，視訊編碼器20至少部分地基於指示具有第一組內容之第一操作點的語法元素來編碼符合型位元串流中之視訊資料。視訊編碼器20進一步至少部分地基於指示具有第一操作點之第二組內容之HRD參數資訊的語法元素來編碼符合型位元串流中之視訊資料。
在一些實例中，第一組內容包含用於第一操作點之一組層識別符，該組層識別符識別符合型位元串流之屬於第一操作點之子位元串流的一或多個網路抽象層(NAL)單元。在一些實例中，第二組內容包含第一操作點之一組HRD參數，該組HRD參數定義用以檢查第一操作點之子位元串流之符合性的HRD。在其他實例中，符合型位元串流不 包括VPS中針對第二操作點而重複第一組內容的語法元素，該第一組內容係僅VPS中之第一操作點獨有。在進一步之實例中，符合型位元串流不包括VPS中針對第二操作點而重複具有第二組內容之HRD參數資訊的語法元素，該第二組內容係僅VPS中之第一操作點獨有。
在一些實例中，當用於第一操作點之一組層識別符包括兩個或兩個以上之層識別符時，方法300進一步包含差分地編碼該兩個或兩個以上之層識別符。亦即，當用於第一操作點之一組層識別符包括兩個或兩個以上之層識別符時，視訊編碼器20差分地編碼該兩個或兩個以上之層識別符。
在另一實例中，方法300可包括編碼符合型位元串流內之一或多個語法元素，該一或多個語法元素指示簡單操作點模式是否正用於第一操作點及第二操作點。當將簡單操作點模式用於第一操作點及第二操作點中之一特定者時，方法300可包括僅編碼該特定操作點之目標層識別符。在一個實例中，視訊編碼器20編碼符合型位元串流內之一或多個語法元素，該一或多個語法元素指示簡單操作點模式是否正用於第一操作點及第二操作點。當將簡單操作點模式用於第一操作點及第二操作點中之一特定者時，視訊編碼器20僅編碼該特定操作點之目標層識別符。在一些實例中，藉由該目標層識別符及一指示符合型位元串流之時間子層的時間識別符來識別該特定操作點。
方法300可進一步包括基於未將簡單操作點模式用於第一操作點的指示來顯式地編碼用於第一操作點之一組層識別符中之每一層識別符。舉例而言，視訊編碼器20基於未將簡單操作點模式用於第一操作點的指示來編碼用於第一操作點之一組層識別符中之層識別符。方法300可進一步包括當未將簡單操作點模式用於該等操作點中之一特定者時差分地編碼該特定操作點之複數個目標層識別符。舉例而言，當未將簡單操作點模式用於操作點中之一特定者時(例如，當 vsp_simple_op_mode_flag[i]不存在於VPS中或等於零時)，視訊編碼器20差分地編碼該特定操作點之複數個目標層識別符。
在一些實例中，方法300進一步包括編碼指示符合型位元串流之整個經編碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素，其中符合型位元串流不包括指示經編碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。舉例而言，視訊編碼器20編碼指示符合型位元串流之整個經編碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。符合型位元串流不包括指示經解碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。
語法元素可指示時間子層之設定檔空間、層、相容設定檔及設定檔相關約束中之一或多者自符合型位元串流內之VPS中的profile_tier_level( )語法結構而被移除。在一些實例中，方法300進一步包括編碼指示是否存在符合型位元串流之時間子層中之每一者之設定檔資訊的一或多個語法元素。當存在該等時間子層中之一特定者的設定檔資訊時，方法300可進一步包括編碼該特定時間子層之設定檔資訊。舉例而言，視訊編碼器20編碼指示是否存在符合型位元串流之時間子層中之每一者之設定檔資訊的一或多個語法元素，且當存在該等時間子層中之一特定者的設定檔資訊時，視訊編碼器20編碼該特定時間子層之設定檔資訊。
類似地，方法300進一步包括編碼指示是否存在位元串流之時間子層中之每一者之層級資訊的一或多個語法元素。當存在該等時間子層中之一特定者的層級資訊時，方法300進一步包括編碼該特定時間子層之層級資訊。舉例而言，視訊編碼器20編碼指示是否存在位元串流之時間子層中之每一者之層級資訊的一或多個語法元素，且當存在 該等時間子層中之一特定者之層級資訊時，視訊編碼器20編碼該特定時間子層之層級資訊。在一些實例中，藉由時間識別符來識別符合型位元串流之時間子層。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可增添、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或實踐皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於：(1)非暫時性的有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，可將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纜、雙絞線、 DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指代上述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或一組IC(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但未必要求藉由不同硬體單元來實現。而是，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適之軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (51)

  1. 一種解碼視訊資料之方法，該方法包含：針對複數個經接收位元串流之每一經接收位元串流，判定該經接收位元串流是否為符合型或非符合型，其包括若該經接收位元串流包括一視訊參數集(VPS)中與用於一操作點或該操作點之假想參考解碼器(HRD)參數資訊之至少一者內容重複之語法元素，則判定該經接收位元串流係一非符合型位元串流；及針對該複數個經接收位元串流中至少一經判定為符合型之位元串流進行以下操作：解碼在該位元串流內之該VPS中指示一具有一第一組內容之第一操作點的第一語法元素；及若在該位元串流內之該VPS中存在指示具有該第一操作點之一第二組內容的HRD參數資訊的第二語法元素，則解碼該第二等語法元素，其中該第二組內容與該第一組內容不同，且其中判定該至少一位元串流為符合型包括判定該至少一位元串流不包括該VPS中針對一第二操作點而重複該第一組內容或該第二組內容中之至少一者的語法元素。
  2. 如請求項1之方法，其中該位元串流不包括該VPS中針對該第二操作點而重複該第一組內容的語法元素，該第一組內容係僅該VPS中之該第一操作點獨有。
  3. 如請求項1之方法，其中該位元串流不包括該VPS中針對該第二操作點而重複具有該第二組內容之該HRD參數資訊的語法元素，該第二組內容係僅該VPS中之該第一操作點獨有。
  4. 如請求項1之方法，其中該第一組內容包含用於該第一操作點之一組層識別符，該組層識別符識別該位元串流之屬於該第一操 作點之一子位元串流的一或多個網路抽象層(NAL)單元。
  5. 如請求項4之方法，其中用於該第一操作點之該組層識別符包括兩個或兩個以上之層識別符，該方法進一步包含差分地解碼該兩個或兩個以上之層識別符。
  6. 如請求項4之方法，其進一步包含解碼該位元串流內指示一簡單操作點模式是否正用於該第一操作點之一或多個語法元素。
  7. 如請求項6之方法，其進一步包含基於將該簡單操作點模式用於該第一操作點的該指示而僅解碼用於該第一操作點之該組層識別符中之一目標層識別符，其中該第一操作點係藉由該目標層識別符及一指示該位元串流之一時間子層之時間識別符來識別。
  8. 如請求項6之方法，其進一步包含基於未將該簡單操作點模式用於該第一操作點的該指示來顯式地解碼用於該第一操作點之該組層識別符中之每一層識別符。
  9. 如請求項1之方法，其中指示該第一操作點之該等第一語法元素包含在該位元串流內之該VPS中的一operation_point( )語法結構。
  10. 如請求項1之方法，其中該第二組內容包含用於該第一操作點之一組HRD參數，該組HRD參數定義一用以檢查該第一操作點之一子位元串流之符合性的HRD。
  11. 如請求項1之方法，其中指示該HRD參數資訊之該等第二語法元素包含在該位元串流內之該VPS中的一hrd_parameters( )語法結構。
  12. 如請求項1之方法，其進一步包含解碼指示該位元串流之一完整經寫碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素，其中該位元串流不包括指示 該經寫碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的其他語法元素。
  13. 如請求項12之方法，其中指示該等時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中之一或多者的該等第三語法元素係自該位元串流內之該VPS中之一profile_tier_level( )語法結構而被移除。
  14. 一種編碼視訊資料之方法，該方法包含：編碼一位元串流使得該位元串流係一符合型位元串流，其中判定該位元串流是否為符合型係經界定使得包括一視訊參數集(VPS)中與用於一操作點或該操作點之假想參考解碼器(HRD)參數資訊之至少一者內容重複之語法元素之位元串流被判定為非符合型，且其中編碼該位元串流包括：編碼在一符合型位元串流內之一視訊參數集(VPS)中指示一具有一第一組內容之第一操作點的第一語法元素；及編碼在該符合型位元串流內之該VPS中指示具有該第一操作點之一第二組內容的HRD參數資訊的第二語法元素，其中該符合型位元串流不包括該VPS中針對一第二操作點而重複該第一組內容或該第二組內容中之至少一者的語法元素。
  15. 如請求項14之方法，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複該第一組內容的語法元素，該第一組內容係僅該VPS中之該第一操作點獨有。
  16. 如請求項14之方法，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複具有該第二組內容之該HRD參數資訊的語法元素，該第二組內容係僅該VPS中之該第一操作點獨有。
  17. 如請求項14之方法，其中該第一組內容包含用於該第一操作點之一組層識別符，該組層識別符識別該符合型位元串流之屬於 該第一操作點之一子位元串流的一或多個網路抽象層(NAL)單元。
  18. 如請求項17之方法，其中用於該第一操作點之該組層識別符包括兩個或兩個以上之層識別符，該方法進一步包含差分地編碼該兩個或兩個以上之層識別符。
  19. 如請求項17之方法，其進一步包含：編碼該符合型位元串流內指示一簡單操作點模式是否正用於該第一操作點之一或多個語法元素。
  20. 如請求項19之方法，其進一步包含基於將該簡單操作點模式用於該第一操作點的該指示而僅編碼用於該第一操作點之該組層識別符中之一目標層識別符，其中該第一操作點係藉由該目標層識別符及一指示該符合型位元串流之一時間子層之時間識別符來識別。
  21. 如請求項20之方法，其進一步包含基於未將該簡單操作點模式用於該第一操作點的該指示來顯式地編碼用於該第一操作點之該組層識別符中之每一層識別符。
  22. 如請求項14之方法，其中指示該第一操作點之該等第一語法元素包含在該符合型位元串流內之該VPS中的一operation_point( )語法結構。
  23. 如請求項14之方法，其中該第二組內容包含用於該第一操作點之一組HRD參數，該組HRD參數定義一用以檢查該第一操作點之一子位元串流之符合性的HRD。
  24. 如請求項14之方法，其中指示該HRD參數資訊之該等第二語法元素包含在該符合型位元串流內之該VPS中的一hrd_parameters( )語法結構。
  25. 如請求項14之方法，其進一步包含編碼指示該符合型位元串流 之一完整經寫碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的第三語法元素，其中該符合型位元串流不包括指示該經寫碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。
  26. 如請求項25之方法，其中指示該等時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中之一或多者的該等第三語法元素係自該符合型位元串流內之該VPS中之一profile_tier_level( )語法結構而被移除。
  27. 一種包含一視訊寫碼器之視訊寫碼器件，該視訊寫碼器經組態以：寫碼一符合型位元串流，其中判定該位元串流是否為符合型係經界定使得包括一視訊參數集(VPS)中與用於一操作點或該操作點之假想參考解碼器(HRD)參數資訊之至少一者內容重複之語法元素之位元串流被判定為非符合型，且其中該視訊寫碼器件經組態以經由執行動作以寫碼該符合型位元串流：寫碼在一符合型位元串流內之一視訊參數集(VPS)中指示一具有一第一組內容之第一操作點的第一語法元素；及若在該符合型位元串流內之該VPS中存在指示具有該第一操作點之一第二組內容的HRD參數資訊的第二語法元素，則寫碼該等第二語法元素，其中該第二組內容與該第一組內容不同，且其中該符合型位元串流不包括該VPS中針對一第二操作點而重複該第一組內容或該第二組內容中之至少一者的語法元素。
  28. 如請求項27之視訊寫碼器件，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複該第一組內容的語法元素，該第一組內容係僅該VPS中之該第一操作點獨有。
  29. 如請求項27之視訊寫碼器件，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複具有該第二組內容之該HRD參數資訊的語法元素，該第二組內容係僅該VPS中之該第一操作點獨有。
  30. 如請求項27之視訊寫碼器件，其中該第一組內容包含用於該第一操作點之一組層識別符，該組層識別符識別該符合型位元串流之屬於該第一操作點之一子位元串流的一或多個網路抽象層(NAL)單元。
  31. 如請求項30之視訊寫碼器件，其中用於該第一操作點之該組層識別符包括兩個或兩個以上之層識別符，該視訊寫碼器進一步經組態以差分地寫碼該兩個或兩個以上之層識別符。
  32. 如請求項30之視訊寫碼器件，該視訊寫碼器進一步經組態以寫碼該符合型位元串流內指示一簡單操作點模式是否正用於該第一操作點之一或多個語法元素。
  33. 如請求項32之視訊寫碼器件，該視訊寫碼器進一步經組態以基於將該簡單操作點模式用於該第一操作點的該指示而僅寫碼用於該第一操作點之該組層識別符中之一目標層識別符，其中該第一操作點係藉由該目標層識別符及一指示該符合型位元串流之一時間子層之時間識別符來識別。
  34. 如請求項32之視訊寫碼器件，該視訊寫碼器進一步經組態以基於未將該簡單操作點模式用於該第一操作點的該指示來顯式地寫碼用於該第一操作點之該組層識別符中之每一層識別符。
  35. 如請求項27之視訊寫碼器件，其中指示該第一操作點之該等第一語法元素包含在該符合型位元串流內之該VPS中的一operation_point( )語法結構。
  36. 如請求項27之視訊寫碼器件，其中該第二組內容包含用於該第 一操作點之一組HRD參數，該組HRD參數定義一用以檢查該第一操作點之一子位元串流之符合性的HRD。
  37. 如請求項27之視訊寫碼器件，其中指示該HRD參數資訊之該等第二語法元素包含在該符合型位元串流內之該VPS中的一hrd_parameters( )語法結構。
  38. 如請求項27之視訊寫碼器件，該視訊寫碼器進一步經組態以寫碼指示該符合型位元串流之一完整經寫碼視訊序列之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的第三語法元素，其中該符合型位元串流不包括指示該經寫碼視訊序列之一或多個時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中的一或多者的語法元素。
  39. 如請求項38之視訊寫碼器件，其中指示該等時間子層之設定檔空間、層、相容設定檔及關於設定檔之約束中之一或多者的該等第三語法元素係自該符合型位元串流內之該VPS中之一profile_tier_level( )語法結構而被移除。
  40. 如請求項27之視訊寫碼器件，其中該視訊寫碼器包含一視訊解碼器，該視訊解碼器經組態以：解碼該VPS中指示該第一操作點之該等第一語法元素；若該VPS中存在指示HRD參數資訊之第二語法元素，則解碼該等語法元素；及基於該等經解碼之第一及第二語法元素來解碼該符合型位元串流中之視訊資料。
  41. 如請求項27之視訊寫碼器件，其中該視訊寫碼器包含一視訊編碼器，該視訊編碼器經組態以：編碼該VPS中指示該第一操作點之該等第一語法元素；若該VPS中存在指示HRD參數資訊之第二語法元素，則編碼該等語法元素；及基於該等經編碼之第一及第二語法元素來編碼該符合型位元串流中之視訊資料。
  42. 一種具有儲存於其上之指令的電腦可讀儲存媒體，該等指令在 執行時導致一用於寫碼視訊資料之器件之一處理器執行以下步驟：寫碼一符合型位元串流，其中判定該位元串流是否為符合型係經界定使得包括一視訊參數集(VPS)中與用於一操作點或該操作點之假想參考解碼器(HRD)參數資訊之至少一者內容重複之語法元素之位元串流被判定為非符合型，且其中寫碼該符合型位元串流包括執行動作以：寫碼在一符合型位元串流內之一視訊參數集(VPS)中指示一具有一第一組內容之第一操作點的第一語法元素；及若在該符合型位元串流內之該VPS中存在指示具有該第一操作點之一第二組內容的HRD參數資訊的第二語法元素，則寫碼該等第二語法元素，其中該第二組內容與該第一組內容不同，且其中該符合型位元串流不包括該VPS中針對一第二操作點而重複該第一組內容或該第二組內容中之至少一者的語法元素。
  43. 如請求項42之電腦可讀儲存媒體，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複該第一組內容的語法元素，該第一組內容係僅該VPS中之該第一操作點獨有。
  44. 如請求項42之電腦可讀儲存媒體，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複具有該第二組內容之該HRD參數資訊的語法元素，該第二組內容係僅該VPS中之該第一操作點獨有。
  45. 如請求項42之電腦可讀儲存媒體，其中該第一組內容包含用於該第一操作點之一組層識別符，該組層識別符識別該符合型位元串流之屬於該第一操作點之一子位元串流的一或多個網路抽象層(NAL)單元。
  46. 如請求項42之電腦可讀儲存媒體，其中該第二組內容包含用於 該第一操作點之一組HRD參數，該組HRD參數定義一用以檢查該第一操作點之一子位元串流之符合性的HRD。
  47. 一種視訊寫碼器件，其包含：用於寫碼一符合型位元串流的構件，其中判定該位元串流是否為符合型係經界定使得包括一視訊參數集(VPS)中與用於一操作點或該操作點之假想參考解碼器(HRD)參數資訊之至少一者內容重複之語法元素之位元串流被判定為非符合型，且其中該用於寫碼的構件包括：用於寫碼在一符合型位元串流內之一視訊參數集(VPS)中指示一具有一第一組內容之第一操作點之第一語法元素的構件；及用於在該符合型位元串流內之該VPS中存在指示具有該第一操作點之一第二組內容的HRD參數資訊之第二語法元素的情況下寫碼該等第二語法元素的構件，其中該第二組內容與該第一組內容不同，且其中該符合型位元串流不包括該VPS中針對一第二操作點而重複該第一組內容或該第二組內容中之至少一者的語法元素。
  48. 如請求項47之視訊寫碼器件，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複該第一組內容的語法元素，該第一組內容係僅該VPS中之該第一操作點獨有。
  49. 如請求項47之視訊寫碼器件，其中該符合型位元串流不包括該VPS中針對該第二操作點而重複具有該第二組內容之該HRD參數資訊的語法元素，該第二組內容係僅該VPS中之該第一操作點獨有。
  50. 如請求項47之視訊寫碼器件，其中該第一組內容包含用於該第一操作點之一組層識別符，該組層識別符識別該符合型位元串流之屬於該第一操作點之一子位元串流的一或多個網路抽象層 (NAL)單元。
  51. 如請求項47之視訊寫碼器件，其中該第二組內容包含用於該第一操作點之一組HRD參數，該組HRD參數定義一用以檢查該第一操作點之一子位元串流之符合性的HRD。
TW102134604A 2012-09-28 2013-09-25 於視訊寫碼中發信用於操作點之層識別符 TWI527460B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261707486P 2012-09-28 2012-09-28
US201261708404P 2012-10-01 2012-10-01
US13/953,525 US9432664B2 (en) 2012-09-28 2013-07-29 Signaling layer identifiers for operation points in video coding

Publications (2)

Publication Number Publication Date
TW201424403A TW201424403A (zh) 2014-06-16
TWI527460B true TWI527460B (zh) 2016-03-21

Family

ID=50385157

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134604A TWI527460B (zh) 2012-09-28 2013-09-25 於視訊寫碼中發信用於操作點之層識別符

Country Status (18)

Country Link
US (2) US9432664B2 (zh)
EP (1) EP2901679A1 (zh)
JP (1) JP6174152B2 (zh)
KR (1) KR102148548B1 (zh)
CN (1) CN104685887B (zh)
AR (1) AR093770A1 (zh)
AU (1) AU2013324090B2 (zh)
BR (1) BR112015006839B1 (zh)
CA (1) CA2884422C (zh)
HK (1) HK1209936A1 (zh)
IL (1) IL237917A (zh)
MY (1) MY171651A (zh)
PH (1) PH12015500614B1 (zh)
RU (1) RU2635892C2 (zh)
SG (1) SG11201501640UA (zh)
TW (1) TWI527460B (zh)
WO (1) WO2014052013A1 (zh)
ZA (1) ZA201502306B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2870770A2 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Power aware video decoding and streaming
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
US10116966B2 (en) * 2012-09-28 2018-10-30 Sharp Kabushiki Kaisha Image decoding device
US9936196B2 (en) * 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
EP2947879B1 (en) * 2013-01-17 2018-11-07 Samsung Electronics Co., Ltd. Method for decoding video on basis of decoder setting
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
CA3104173C (en) * 2015-09-04 2023-06-27 Sharp Kabushiki Kaisha Method for signaling caption asset information and device for signaling caption asset information
US11553210B2 (en) 2018-12-07 2023-01-10 Interdigital Vc Holdings, Inc. Managing coding tools combinations and restrictions
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
JP7425204B2 (ja) 2019-12-26 2024-01-30 バイトダンス インコーポレイテッド ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
EP4066387A4 (en) 2019-12-27 2023-02-15 ByteDance Inc. SUBPICTURE SIGNALING IN PARAMETER SETS
KR20220125235A (ko) 2020-01-09 2022-09-14 바이트댄스 아이엔씨 상이한 sei 메시지들의 디코딩 순서
WO2022139260A1 (ko) * 2020-12-21 2022-06-30 엘지전자 주식회사 미디어 파일을 생성하고 처리하는 방법 및 장치
WO2022164024A1 (ko) * 2021-01-26 2022-08-04 엘지전자 주식회사 미디어 파일 처리 방법 및 그 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1692654A (zh) 2003-01-17 2005-11-02 松下电器产业株式会社 动态图像编码方法和动态图像解码方法
JP2006203662A (ja) 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
KR100931870B1 (ko) 2005-04-13 2009-12-15 노키아 코포레이션 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101395922A (zh) * 2006-11-17 2009-03-25 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP2137973B1 (en) * 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
MX2009011217A (es) * 2007-04-18 2009-12-07 Thomson Licensing Sistemas de codificacion.
WO2010056327A1 (en) * 2008-11-13 2010-05-20 Thomson Licensing Multiple thread video encoding using hrd information sharing and bit allocation waiting
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
CN101924944B (zh) * 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
US8665964B2 (en) * 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
US8914835B2 (en) * 2009-10-28 2014-12-16 Qualcomm Incorporated Streaming encoded video data
EP2684367A4 (en) * 2011-03-10 2014-09-24 Vidyo Inc MAINTENANCE OF A SET OF PARAMETERS IN A VIDEO CODING
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
RU2612577C2 (ru) * 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding

Also Published As

Publication number Publication date
US9432664B2 (en) 2016-08-30
CN104685887A (zh) 2015-06-03
JP6174152B2 (ja) 2017-08-02
US9973782B2 (en) 2018-05-15
PH12015500614A1 (en) 2015-05-11
RU2015115902A (ru) 2016-11-20
US20140092955A1 (en) 2014-04-03
AR093770A1 (es) 2015-06-24
AU2013324090A1 (en) 2015-04-09
US20160316227A1 (en) 2016-10-27
KR102148548B1 (ko) 2020-08-26
SG11201501640UA (en) 2015-04-29
CA2884422A1 (en) 2014-04-03
KR20150063099A (ko) 2015-06-08
AU2013324090B2 (en) 2017-07-06
WO2014052013A1 (en) 2014-04-03
IL237917A (en) 2017-06-29
EP2901679A1 (en) 2015-08-05
HK1209936A1 (zh) 2016-04-08
RU2635892C2 (ru) 2017-11-16
TW201424403A (zh) 2014-06-16
CA2884422C (en) 2018-03-20
JP2015531567A (ja) 2015-11-02
BR112015006839B1 (pt) 2023-12-19
BR112015006839A2 (pt) 2017-07-04
CN104685887B (zh) 2018-06-01
PH12015500614B1 (en) 2015-05-11
MY171651A (en) 2019-10-22
ZA201502306B (en) 2017-01-25

Similar Documents

Publication Publication Date Title
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
KR101743852B1 (ko) 비디오 코딩에서의 관심 영역들 및 점진적 디코딩 리프레시의 시그널링
JP6542225B2 (ja) イントラブロックコピーのための残差予測
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
JP6509842B2 (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
JP6542271B2 (ja) マルチレイヤビデオコーディング
TWI558179B (zh) 對視訊寫碼發信長期參考圖像
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
TWI527440B (zh) 在視訊寫碼中針對高效率視訊寫碼（ｈｅｖｃ）延伸之多層之低複雜度支援
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TWI558174B (zh) 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體
TW201342920A (zh) 在視訊寫碼中用於色度分量之變換單位分割
KR20140139571A (ko) 비디오 코딩을 위한 계층간 텍스처 예측
JP2016528801A (ja) パラメータセット内のビューｉｄビット深度のシグナリング
JP2016518764A (ja) マルチレイヤビデオコーディングにおけるクロスレイヤ位置合わせ
JP2018511238A (ja) 高速レートひずみ最適量子化