TWI652940B - 於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信 - Google Patents

於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信 Download PDF

Info

Publication number
TWI652940B
TWI652940B TW103135272A TW103135272A TWI652940B TW I652940 B TWI652940 B TW I652940B TW 103135272 A TW103135272 A TW 103135272A TW 103135272 A TW103135272 A TW 103135272A TW I652940 B TWI652940 B TW I652940B
Authority
TW
Taiwan
Prior art keywords
sub
layer
dpb
output layer
layers
Prior art date
Application number
TW103135272A
Other languages
English (en)
Other versions
TW201531096A (zh
Inventor
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201531096A publication Critical patent/TW201531096A/zh
Application granted granted Critical
Publication of TWI652940B publication Critical patent/TWI652940B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種解碼視訊資料之方法，其包括接收包括複數個圖像之一經編碼視訊位元串流，及將該複數個圖像儲存於一或多個子DPB中。該方法進一步包括針對該經編碼視訊位元串流之每一各別操作點接收子DPB參數之一各別集合，針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層，及根據子DPB參數之該等所接收之各別單集合對該一或多個子DPB執行一子DPB管理處理程序。

Description

於視訊寫碼中用於基於子解碼圖像緩衝器(SUB-DPB)之解碼圖像緩衝器操作之傳信
本申請案主張2013年10月10日申請之美國臨時申請案號61/889,515及2013年10月14日申請之美國臨時申請案號61/890,841的權利，該等案中之每一者的全部內容以引用的方式併入本文中。
本發明係關於視訊寫碼。
數位視訊性能可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂之「智慧型電話」、視訊電話會議器件、視訊串流傳輸器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在藉由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所述的技術。視訊器件可藉由實施此等視訊寫碼技術而更有效地傳輸、接收、編碼、解碼，及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。針對基於區塊之視訊寫碼，視訊片段(例如，視訊圖框或視訊圖框之一部分)可分割為視訊區塊(其亦可被稱為樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之框內寫碼(I)片段中的視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)片段中的視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱為圖框，且參考圖像可被稱為參考圖框。
空間或時間預測產生針對待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼。框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。針對進一步壓縮，殘餘資料可自像素域變換至變換域，從而產生殘餘變換係數，該等殘餘變換係數接著可得以量化。最初以二維陣列配置之經量化變換係數可經掃描，以便產生變換係數的一維向量，且熵寫碼可經應用以達成甚至更多的壓縮。
大體而言，本發明描述視訊寫碼技術。詳言之，該等技術與可應用於子解碼圖像緩衝器(子DPB)之視訊寫碼及傳信技術相關。在本發明之一或多個實例中，用於針對一或多個層及/或一或多個子層傳信DPB及子DPB參數之技術得以描述。藉由利用本發明之技術，傳信效率可針對包括一或多個子層之多層視訊位元串流增加。
在本發明之一實例中，一種解碼視訊資料之方法包含：接收包括複數個圖像之一經編碼視訊位元串流；將該複數個圖像儲存於一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點接收子 DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；及根據子DPB參數之該等所接收之各別單集合對該一或多個子DPB執行一子DPB管理處理程序。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包含：一或多個子DPB，其經組態以儲存視訊資料；及一視訊解碼器，其經組態以：接收包括複數個圖像之一經編碼視訊位元串流；將該複數個圖像儲存於該一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點接收子DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；及根據子DPB參數之該等所接收之各別單集合對該一或多個子DPB執行一子DPB管理處理程序。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包含：用於接收包括複數個圖像之一經編碼視訊位元串流的構件；用於將該複數個圖像儲存於一或多個子DPB中的構件；用於針對該經編碼視訊位元串流之每一各別操作點接收子DPB參數之一各別集合的構件；用於針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層的構件；及用於根據子DPB參數之該等所接收之各別單集合對該一或多個子DPB執行一子DPB管理處理程序的構件。
在另一實例中，本發明描述一種儲存指令之電腦可讀儲存媒體，該等指令在被執行時使得經組態以解碼視訊資料之一器件的一或多個處理器：接收包括複數個圖像之一經編碼視訊位元串流；將該複數個圖像儲存於該一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點接收子DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；及根據子DPB參數之該等所接收之各別單集合對該一或多個子DPB執行一子DPB管理處理程序。
在本發明之另一實例中，一種編碼視訊資料之方法包含：重建構一經編碼視訊位元串流之複數個圖像；將該複數個圖像儲存於一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點產生子DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；根據子DPB參數之該等所產生之各別單集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中傳信子DPB參數之該各別集合。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含：一或多個子DPB，其經組態以儲存視訊資料；及一視訊編碼器，其經組態以：重建構一經編碼視訊位元串流之複數個圖像；將該複數個圖像儲存於一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點產生子DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；根據子DPB參數之該等所產生之各別單集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中傳信子DPB參數之該各別集合。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含：用於重建構一經編碼視訊位元串流之複數個圖像的構件；用於將該複數個圖像儲存於一或多個子DPB中的構件；用於針對該經編碼視訊位元串流之每一各別操作點產生子DPB參數之一各別集合的構件；用於針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層的構件；用於根據子DPB參數之該等所產生之各別單集合對該一或多個子DPB執行一子DPB管理處理程序的構件；及用於在該經編碼視訊位元串流中傳信子DPB參數之該各別集合的構件。
在另一實例中，本發明描述一種儲存指令之電腦可讀儲存媒體，該等指令在被執行時使得經組態以編碼視訊資料之一器件的一或 多個處理器：重建構一經編碼視訊位元串流之複數個圖像；將該複數個圖像儲存於一或多個子DPB中；針對該經編碼視訊位元串流之每一各別操作點產生子DPB參數之一各別集合；針對每一各別操作點將子DPB參數之該各別集合應用於一輸出層集合之所有層；根據子DPB參數之該等所產生之各別單集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中傳信子DPB參數之該各別集合。
一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優點將自描述及圖式及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧儲存器件
40‧‧‧視訊資料記憶體
41‧‧‧預測處理單元
42‧‧‧運動及差異估計單元
44‧‧‧運動及差異補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換處理單元
62‧‧‧求和器
64‧‧‧解碼圖像緩衝器
69‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動及差異補償單元
84‧‧‧框內預測處理單元
86‧‧‧逆量化單元
88‧‧‧逆變換處理單元
90‧‧‧求和器
92‧‧‧解碼圖像緩衝器
800‧‧‧步驟
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
808‧‧‧步驟
810‧‧‧步驟
900‧‧‧解碼圖像緩衝器(圖5)/步驟(圖9)
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
910A‧‧‧子DPB
910B‧‧‧子DPB
910C‧‧‧子DPB
910D‧‧‧子DPB
圖1為說明可利用本發明中所述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明實例多視圖解碼次序之概念圖。
圖3為說明用於多視圖寫碼之實例預測結構的概念圖。
圖4為說明實例可調式視訊寫碼層之概念圖。
圖5為展示根據本發明之實例的實例解碼圖像緩衝器(DPB)之概念圖。
圖6為說明可實施本發明中所述之技術的實例視訊編碼器之方塊圖。
圖7為說明可實施本發明中所述之技術的實例視訊解碼器之方塊圖。
圖8為展示根據本發明之技術之實例的實例編碼方法之流程圖。
圖9為展示根據本發明之技術之實例的實例解碼方法之流程圖。
大體而言，本發明描述用於在多層視訊寫碼中與解碼圖像緩衝器(DPB)相關之參數之傳信的技術。詳言之，本發明描述用於傳信關 於DPB之子單元(亦稱作子DPB)之管理的參數之各種技術。如下文將更詳細地描述，本發明之技術包括用於針對多層視訊位元串流之一或多個層及一或多個子層傳信子DPB參數的技術。藉由利用本發明之技術，傳信效率可針對包括一或多個子層之多層視訊位元串流增加。
在本發明之上下文中，層可為可調式視訊寫碼處理程序中之基礎層或一或多個增強層。實例可調式視訊寫碼處理程序包括H.264/SVC(可調式視訊寫碼)及高效率視訊寫碼(HEVC)標準之可調式擴展，諸如可調式HEVC(SHVC)。另外，層可指多視圖或3D視訊寫碼中之一或多個紋理視圖。另外，3D視訊寫碼中之深度視圖亦可被視為層。作為另一實例，層可對應於包括紋理視圖分量及深度視圖分量兩者之單一視圖。實例多視圖寫碼處理程序包括H.264/MVC(多視圖寫碼)及HEVC標準之多視圖擴展，諸如多視圖HEVC(MV-HEVC)。更一般而言，層可指具有同一層識別(例如，nuh_layer_id)之網路抽象層(NAL)單元之集合。
因此，術語「層」在本發明中一般用以在可調式視訊寫碼之意義上係指基礎層及/或增強層，或在3D及多視圖視訊寫碼之意義上係指視圖(包括紋理視圖分量及/或深度視圖分量)。因此，術語多層視訊寫碼一般係指可調式視訊寫碼技術、多視圖視訊寫碼技術，及3D視訊寫碼技術，包括多視圖加深度寫碼。本發明之技術可適用於任何此等視訊寫碼情境，包括HEVC及/或H.264/AVC之多視圖擴展、3D視訊擴展，及可調式擴展。
在本發明之上下文中，術語「子層」係指時間可調式位元串流之時間可調式層。亦即，一或多個不同的子層可經解碼來以不同之圖框速率輸出視訊之位元串流。層可包括一或多個子層。
下文所述之技術可基於進階之編解碼器應用於可調式、多視圖及3D視訊寫碼技術，包括藉由深度圖對圖像之兩個或兩個以上視圖 的寫碼。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，新的視訊寫碼標準(即，高效率視訊寫碼(HEVC))已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)之關於視訊寫碼的聯合協作團隊(JCT-VC)開發。HEVC標準描述於ITU-T H.265,SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of Audiovisual Services-Coding of Moving Video,「High Efficiency Video Coding,」2013年4月(下文中，「HEVC」)中。
HEVC之各種擴展已得以提出。一個此擴展為描述於「High Efficiency Video Coding(HEVC)Range Extensions text specification：Draft 4,」JCTVC-N1005_v1,2013年4月(下文中，「JCTVC-N1005」)中之HEVC範圍擴展。題為「High efficiency video coding(HEVC)scalable extension draft 3,」Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting：Vienna,AT,2013年7月25日-8月2日且下文中被稱為SHVC WD3的可調式HEVC(SHVC)之近期工作草案(WD)自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip可得。對HEVC之多視圖擴展(即，MV-HEVC)亦正藉由JCT-3V開發。MV-HEVC之一工作草案(下文中，WD4)自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v3.zip可得。題為「MV-HEVC Draft Text 8,」Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP3 and ISO/IEC JTC 1/SC 29/WG11,8th Meeting：Valencia,ES,2014年3月29日-4月4日之MV-HEVC的更近期工作草案自http：//phenix.it- sudparis.eu/jct3v/doc_end_user/documents/8_Valencia/wg11/JCT3V-H0002-v1.zip可得。
圖1為說明可利用用於本發明中所述之多層視訊寫碼處理程序中之解碼圖像緩衝器(DPB)管理及傳信之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示，系統10包括產生待藉由目的地器件14在稍後時間解碼之經編碼視訊資料的源器件12。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂之「智慧型」電話)、所謂之「智慧型」板、電視、相機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件，或其類似者。在一些狀況下，源器件12及目的地器件14可經配備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14之任何類型的媒體或器件。在一實例中，鏈路16可包含使得源器件12能夠將經編碼視訊資料直接即時地傳輸至目的地器件14之通信媒體。經編碼視訊資料可根據通信標準(諸如，無線通信協定)調變，且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多根實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路，或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
或者，經編碼資料可自輸出介面22輸出至儲存器件34。類似地，經編碼資料可藉由輸入介面自儲存器件34存取。儲存器件34可包括多種散佈式或局域存取之資料儲存媒體中的任一者，諸如硬碟、Blu-ray光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶 體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在又一實例中，儲存器件34可對應於可保持藉由源器件12所產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件34存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件，或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等)，或兩者之組合。經編碼視訊資料自儲存器件34之傳輸可為串流傳輸傳輸、下載傳輸，或兩者之組合。
用於多層視訊寫碼處理程序中之DPB管理及傳信的本發明之技術(諸如，SHVC、MV-HEVC或3D-HEVC作為實例)不必限於無線應用或設置。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流傳輸視訊傳輸)中之任一者的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸來支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊捕捉器件(例如，視訊攝影機、含有先前捕捉之視訊的視訊封存檔、自視訊內容提供者接收視訊之視訊饋入介面)之源，及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統之源，或此等源的組合。作為一實例，若視 訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的相機電話或視訊電話。然而，本發明中所述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
經捕捉、預先捕捉或電腦產生之視訊可藉由視訊編碼器20編碼。經編碼視訊資料可經由源器件12之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件34上以供目的地器件14或其他器件稍後存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件34上提供之經編碼視訊資料可包括藉由視訊編碼器20所產生之多種語法元素，以供諸如視訊解碼器30的視訊解碼器在解碼視訊資料時使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合或在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，高效率視訊寫碼(HEVC)標準)操作，且可符合HEVC測試模型(HM)。詳言之，在一些實例中，視訊編碼器20及視訊解碼器可根據支援可調式、多視圖及/或多視圖加深度視訊寫碼之HEVC的擴展操作。在其他實例中，視訊編碼器20及視訊解碼器30可根據其他專有或產業標準(諸如，ITU-T H.264標準，或者被稱為MPEG-4第10部分進階視訊寫碼 (AVC))或此等標準之擴展(包括H.264/SVC)操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。詳言之，根據本發明之技術，視訊編碼器20及視訊解碼器30可根據能夠進行可調式(例如，SHVC)及/或多視圖編碼(例如，MV-HEVC或3D-HEVC)之視訊寫碼標準操作。
儘管未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。
本發明之以下章節將提供HEVC標準之背景。HEVC標準化努力係基於視訊寫碼器件之被稱為HEVC測試模型(HM)的演進模型。HM根據(例如)ITU-T H.264/AVC假設視訊寫碼器件相對於現有器件之若干額外性能。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分為包括明 度及色度樣本兩者之樹型區塊(亦被稱作寫碼樹型區塊(CTB)或最大寫碼單元(LCU))之序列。樹型區塊具有與H.264標準之巨集區塊類似的目的。片段包括按寫碼次序之數個接連的樹型區塊。視訊圖框或圖像可分割為一或多個片段。每一樹型區塊可根據四叉樹(quadtree)分裂為多個寫碼單元(CU)。舉例而言，樹型區塊(作為四叉樹之根節點)可分裂為四個子節點，且每一子節點可又為父節點且分裂為另外四個子節點。最後未分裂之子節點(作為四叉樹之葉節點)包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點的最小大小。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小一般對應於寫碼節點之大小且必須通常在形狀上為正方形。CU之大小的範圍可為自8×8個像素達至具有最大64×64個像素或大於64×64個像素的樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU轉為一或多個PU之分割。分割模式可在CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間不同。PU在形狀上可分割為非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四叉樹轉為一或多個TU之分割。TU在形狀上可為正方形或非正方形。
HEVC標準允許根據TU之變換，該等變換針對不同的CU可為不同的。TU通常係基於在針對經分割LCU所定義之給定CU內的PU之大小來定大小，但可能並非總是此狀況。TU通常為與PU相同之大小或小於PU。在一些實例中，對應於CU之殘餘樣本可使用稱為「殘餘四叉樹」(RQT)之四叉樹結構再分為更小之單元。RQT之葉節點可被稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
一般而言，PU包括與預測處理程序相關之資料。舉例而言，當 PU經框內模式編碼時，PU可包括描述針對該PU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義針對該PU之運動向量的資料。定義針對PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、針對運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或針對運動向量的參考圖像清單(例如，List 0、List 1或List C)，其可藉由預測方向指示。
一般而言，TU係用於變換及量化處理程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可根據PU自藉由寫碼節點所識別之視訊區塊計算殘餘值。寫碼節點接著經更新以參考殘餘值而非原始視訊區塊。殘餘值包含像素差值，該等像素差值可使用在TU中所指定之變換及其他變換資訊變換為變換係數、經量化且經掃描以產生用於熵寫碼之串行化變換係數。寫碼節點可再次經更新以係指此等串行化變換係數。本發明通常使用術語「視訊區塊」來係指CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來係指包括寫碼節點以及PU及TU之樹型區塊(亦即，CTB、LCU或CU)。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)一般包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者的標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一片段可包括描述針對該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小上不同。
作為實例，HM支援以各種PU大小之預測。假設特定CU之大小 為2N×2N，則HM支援以2N×2N或N×N之PU大小的框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小的框間預測。HM亦支援針對以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割為25%及75%。CU對應於25%分割區之部分係藉由「n」繼之以「Up」、「Down」、「Left」或「Right」之指示來指示。因此，舉例而言，「2N×nU」係指在水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以係指視訊區塊在垂直尺寸及水平尺寸方面之像素尺寸，例如，16×16個像素或16乘16個像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊一般在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。區塊中之像素可以列及行來配置。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算藉由CU之TU所指定之變換所施加至的殘餘資料。殘餘資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成用於CU之殘餘資料，且接著變換殘餘資料以產生變換係數。
在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化一般係指變換係數經量化以可能地減小用以表示該等係數之資料之量從而提供進一步壓縮的處理程序。量化處理程序可減小與該等係數中之一些或全部相關聯的位元深度。舉例而言，n位元值可在量化期間降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義之掃描次序來掃描經量化變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性二進位算術寫碼(CABAC)或另一熵編碼方法熵編碼一維向量。為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。上下文可與(例如)符號之相鄰值是否為非零的相關。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的供視訊解碼器30在解碼視訊資料時使用之語法元素。
HEVC擴展亦當前在JCT-3V及JCT-VC中處於開發中。在JCT-3V中，兩個多視圖相關HEVC擴展(多視圖擴展(MV-HEVC)及3D視訊擴展(3D-HEVC))正被開發。另外，兩個AVC擴展(MVC+D及3D-AVC)正被開發。
進行中之標準的實例版本列出如下：
- T.Suzuki,M.M.Hannuksela,Y.Chen,S.Hattori,G.Sullivan,「MVC Extension for Inclusion of Depth Maps Draft Text 6,」JCT3V-C1001,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,4th meeting，在http：//phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zip處可得。
- M.M.Hannuksela,Y.Chen,T.Suzuki,J.-R.Ohm,G.Sullivan,「3D-AVC Draft Text 8,」JCT3V-F1002,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,6th Meeting，在http：//phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zip處可得。
- JCT3V-F1004,「MV-HEVC Draft Text 6,」G.Tech,K.Wegner,Y.Chen,M.Hannuksela,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,6th Meeting，在http：//phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zip處可得。
- Gerhard Tech,Krzysztof Wegner,Ying Chen,Sehoon Yea,「3D-HEVC Draft Text 2,」JCT3V-F1001,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,6th Meeting，在http：//phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2處可得。
現將論述H.264/進階視訊寫碼(AVC)標準之擴展的多視圖視訊寫碼技術。然而，本發明之技術可適用於支援針對剛出現之HEVC標準(例如，MV-HEVC及3D-HEVC)之多視圖寫碼及/或3D寫碼多視圖建議的任何視訊寫碼標準。
多視圖視訊寫碼(MVC)為H.264/AVC之擴展。典型MVC解碼次序(亦即，位元串流次序)展示於圖2中。解碼次序配置被稱為時間優先寫碼。注意，存取單元之解碼次序可能並不與存取單元之輸出次序或顯示次序相同。在圖2中，S0至S7各自係指多視圖視訊之不同的視圖。T1至T9各自表示一輸出時間例項。存取單元可包括針對一輸出時間例項之所有視圖的經寫碼圖像。舉例而言，第一存取單元可包括針對時間例項T1之所有視圖S0至S7，第二存取單元可包括針對時間例項T2之所有視圖S0至S7，等等。
為簡要之目的，本發明可使用以下定義：視圖分量：單一存取單元中之視圖的經寫碼表示。當視圖包括 經寫碼紋理表示及深度表示兩者時，視圖分量可包括紋理視圖分量及深度視圖分量。
紋理視圖分量：單一存取單元中之視圖之紋理的經寫碼表示。
深度視圖分量：單一存取單元中之視圖之深度的經寫碼表示。
如上文所論述，在本發明之上下文中，視圖分量、紋理視圖分量及深度視圖分量中之每一者可一般被稱為層。在圖2中，視圖中之每一者包括圖像之集合。舉例而言，視圖S0包括圖像0、8、16、24、32、40、48、56及64之集合，視圖S1包括圖像1、9、17、25、33、41、49、57及65之集合，等等。每一集合包括兩種類型之圖像：一圖像被稱為紋理視圖分量，且另一圖像被稱為深度視圖分量。視圖之圖像之集合內的紋理視圖分量及深度視圖分量可被視為彼此對應。舉例而言，視圖之圖像之集合內的紋理視圖分量被視為對應於視圖之圖像之集合內的深度視圖分量，且反之亦然(亦即，深度視圖分量對應於集合中之其紋理視圖分量，且反之亦然)。如本發明中所使用，對應於深度視圖分量之紋理視圖分量可被視為與單一存取單元中之深度分量相同的視圖之部分。
紋理視圖分量包括所顯示之實際影像內容。舉例而言，紋理視圖分量可包括明度(Y)及色度(Cb及Cr)分量。深度視圖分量可指示深度視圖分量之相應的紋理視圖分量中之像素的相對深度。作為一實例，深度視圖分量為僅包括明度值之灰度影像。換言之，深度視圖分量可能不輸送任何影像內容，而是提供相應的紋理視圖分量中之像素之相對深度的量測。
舉例而言，深度視圖分量中之純白色像素指示相應之紋理視圖分量中的其相應像素自檢視者之觀點而言係更接近的，且深度視圖分量中之純黑色像素指示相應之紋理視圖分量中的其相應像素自檢視者之觀點而言係更遠離的。在黑色與白色中間的灰色之各種陰影指示不 同的深度位準，使得在深度視圖中之像素之灰色的陰影之暗度的增加指示與紋理視圖中之相應像素相關聯的深度之位準的增加。舉例而言，深度視圖分量中之極灰像素指示紋理視圖分量中之其相應的像素與深度視圖分量中之稍灰像素相比係更遠離的。因為僅需要灰度來識別像素之深度，所以深度視圖分量無需包括色度分量，此係由於針對深度視圖分量之色彩值可能不服務任何目的。
僅使用明度值(例如，強度值)來識別深度之深度視圖分量係為說明目的而提供且不應被視為限制性的。在其他實例中，任何技術可用以指示紋理視圖分量中之像素的相對深度。
用於多視圖視訊寫碼之典型MVC預測結構(包括每一視圖內之圖像間預測及視圖間預測兩者)展示於圖3中。圖3之預測結構亦可與藉由箭頭所指示之MV-HEVC>預測方向一起使用，指向物件使用指自物件作為預測參考。在MVC中，視圖間預測係藉由差異運動補償來支援，該差異運動補償使用H.264/AVC運動補償之語法但允許不同視圖中之圖像用作參考圖像。
在圖3之實例中，八個視圖(具有視圖ID「S0」至「S7」)得以說明，且十二個時間位置(「T0」至「T11」)針對每一視圖得以說明。亦即，圖3中之每一列對應於視圖，而每一行指示時間位置。
儘管MVC具有所謂之基礎視圖(其可藉由H.264/AVC解碼器解碼)且立體視圖對亦可藉由MVC支援，但MVC之優點在於MVC可支援使用兩個以上視圖作為3D視訊輸入且解碼藉由多個視圖所表示之此3D視訊的實例。具有MVC解碼器之用戶端的轉譯器可預期具有多個視圖之3D視訊內容。
圖3中之圖像係在每一列與每一行之交叉處指示。H.264/AVC標準可使用術語圖框來表示視訊之一部分。本發明可互換地使用術語圖像及圖框。
圖3中之圖像係使用包括字母之區塊來說明，字母指定相應圖像經框內寫碼(亦即，I圖像)，抑或在一方向上經框間寫碼(亦即，作為P圖像)或在多個方向上經框間寫碼(亦即，作為B圖像)。一般而言，預測係藉由箭頭指示，其中指向圖像使用指自圖像用於預測參考。舉例而言，在時間位置T0處之視圖S2的P圖像係自在時間位置T0處之視圖S0的I圖像預測。
如同單視圖視訊編碼，多視圖視訊寫碼視訊序列之圖像可關於在不同的時間位置處之圖像預測性地編碼。舉例而言，在時間位置T1處之視圖S0的b圖像具有自時間位置T0處之視圖S0的I圖像指向其之箭頭，從而指示b圖像係自I圖像預測。然而，另外，在多視圖視訊編碼之上下文中，圖像可經視圖間預測。亦即，視圖分量可使用其他視圖中之視圖分量用於參考。在MVC中，舉例而言，視圖間預測得以實現，如同另一視圖中之視圖分量為框間預測參考一般。潛在視圖間參考係在序列參數集合(SPS)MVC擴展中傳信且可藉由參考圖像清單建構處理程序修改，此實現框間預測或視圖間預測參考之靈活排序。視圖間預測亦為HEVC之所建議多視圖擴展(包括3D-HEVC(多視圖加深度))之特徵。
圖3提供視圖間預測之各種實例。在圖3之實例中，視圖S1之圖像說明為自視圖S1之不同的時間位置處之圖像預測，以及自相同的時間位置處之視圖S0及S2的圖像視圖間預測。舉例而言，在時間位置T1處之視圖S1的b圖像係自在時間位置T0及T2處之視圖S1之B圖像中的每一者以及在時間位置T1處之視圖S0及S2的b圖像預測。
在一些實例中，圖3可被視為說明紋理視圖分量。舉例而言，圖3中所說明之I圖像、P圖像、B圖像及b圖像可被視為針對視圖中之每一者的紋理視圖分量。根據本發明中所述之技術，針對圖3中所說明之紋理視圖分量中的每一者，存在相應的深度視圖分量。在一些實例 中，深度視圖分量可以類似於針對相應的紋理視圖分量在圖3中所說明之方式的方式來預測。
兩個視圖之寫碼亦可藉由MVC支援。MVC之優點中的一者在於MVC編碼器可採用兩個以上視圖作為3D視訊輸入且MVC解碼器可解碼此多視圖表示。同樣，具有MVC解碼器之任何轉譯器可解碼具有兩個以上視圖之3D視訊內容。
如上文所論述，在MVC(或MV-HEVC)中，視圖間預測在同一存取單元(在一些例子中，意謂具有同一時間例項)中之圖像當中係允許的。當寫碼非基礎視圖中之一者中的圖像時，圖像可添加至參考圖像清單中(若其在不同視圖中但在同一時間例項內)。視圖間預測參考圖像可置於參考圖像清單之任何位置，正如任何框間預測參考圖像。如圖3中所示，視圖分量可使用其他視圖中之視圖分量用於參考。在MVC中，視圖間預測得以實現，如同另一視圖中之視圖分量為框間預測參考一般。
如圖3中所示，視圖分量可使用其他視圖中之視圖分量用於參考。此被稱作視圖間預測。在MVC中，視圖間預測得以實現，如同另一視圖中之視圖分量為框間預測參考一般。然而，潛在視圖間參考係在序列參數集合(SPS)MVC擴展(如下文之表1中所示)中傳信且可藉由參考圖像清單建構處理程序修改，此實現框間預測或視圖間預測參考之靈活排序。
在SPS MVC擴展中，針對每一視圖，可用以形成參考圖像清單0及參考圖像清單1之視圖的數目得以傳信。針對錨定圖像之預測關係(如在SPS MVC擴展中傳信)可不同於針對同一視圖之非錨定圖像(在SPS MVC擴展中傳信)的預測關係。
下一章節將論述關於HEVC之多視圖及3D視訊寫碼。詳言之，當寫碼兩個或兩個以上視圖時，本發明之實例技術為適用的。針對每一視圖之複數個視訊圖像可被稱為紋理視圖分量。針對3D-HEVC，每一紋理視圖分量可具有相應的深度視圖分量。MV-HEVC不使用深度視圖分量。紋理視圖分量包括視訊內容(例如，像素值之明度及色度分量)，且深度視圖分量(例如，針對3D-HEVC)可指示紋理視圖分量內之像素的相對深度。
本發明之實例技術係關於藉由寫碼紋理資料或紋理資料及深度資料而寫碼3D視訊資料。一般而言，術語「紋理」用以描述影像之 照度(亦即，亮度或「明度」)值及影像之彩度(亦即，色彩或「色度」)值。在一些實例中，紋理影像可包括一組照度資料及兩組彩度資料(針對藍色色調(Cb)及紅色色調(Cr))。在某些色度格式(諸如，4：2：2或4：2：0)中，色度資料相對於明度資料減少取樣。亦即，彩度分量之空間解析度低於相應之照度分量的空間解析度，例如，照度解析度之一半或四分之一。
深度資料一般描述針對相應之紋理資料之深度值。舉例而言，深度影像可包括各自描述針對相應之紋理資料之深度的一組深度像素。深度資料可用以判定針對相應之紋理資料的水平差異。因此，接收紋理及深度資料之器件可顯示針對一視圖(例如，左眼視圖)之第一紋理影像且使用深度資料來修改第一紋理影像，以藉由將第一影像之像素值偏移基於深度值所判定之水平差異值而產生針對另一視圖(例如，右眼視圖)的第二紋理影像。一般而言，水平差異(或簡單地，「差異」)描述第一視圖中之像素對第二視圖中之相應像素的水平空間偏移)，其中該兩個像素對應於如兩個視圖中所表示之同一物件的同一部分。
在再其他實例中，深度資料可針對在垂直於影像平面之z維度上的像素定義，使得與給定像素相關聯之深度相對於針對影像所界定的零差異平面來定義。此深度可用以產生用於顯示像素之水平差異以使得像素針對左眼及右眼不同地顯示，此取決於像素相對於零差異平面的z維度深度值。零差異平面可針對視訊序列之不同的部分改變，且深度相對於零差異平面之量亦可改變。位於零差異平面上之像素可針對左眼及右眼類似地定義。位於零差異平面前方之像素可針對左眼及右眼在不同的位置顯示(例如，具有水平差異)，以便產生像素表現為出自垂直於影像平面之z方向上的影像之感覺。位於零差異平面後方之像素可在稍微模糊之情況下顯示以呈現深度之輕微感覺，或可針對 左眼及右眼在不同的位置顯示(例如，具有與位於零差異平面前方之像素之水平差異相對的水平差異)。許多其他技術亦可用以輸送或定義針對影像之深度資料。
針對深度視圖分量中之每一像素，在紋理視圖分量中可存在一或多個相應的像素。舉例而言，若深度視圖分量及紋理視圖分量之空間解析度係相同的，則深度視圖分量中之每一像素對應於紋理視圖分量中的一像素。若深度視圖分量之空間解析度小於紋理視圖分量之空間解析度，則深度視圖分量中之每一像素對應於紋理視圖分量中的多個像素。深度視圖分量中之像素的值可指示紋理視圖中之相應的一或多個像素之相對深度。
在一些實例中，視訊編碼器針對視圖中之每一者傳信針對紋理視圖分量及相應之深度視圖分量的視訊資料。視訊解碼器利用紋理視圖分量及深度視圖分量之視訊資料兩者以解碼視圖之視訊內容以供顯示。顯示器接著顯示多視圖視訊以產生3D視訊。
HEVC之可調式擴展亦可藉由JCT-VC開發。圖4為說明可調式視訊寫碼之一實例的概念圖。儘管圖4係關於H.264/AVC及SVC描述，但應理解，類似的層可使用其他多層視訊寫碼方案(包括HEVC之可調式擴展)來寫碼。圖4之實例展示使用同一編解碼器所寫碼之層。在其他實例中，層可使用多標準編解碼器來寫碼。舉例而言，基礎層可使用H.264/AVC來寫碼，而增強層可使用對HEVC之可調式擴展來寫碼。因此，對下文SVC之參考一般可適用於可調式視訊寫碼，且不限於H.264/AVC之可調式擴展。
在SVC中，可調性可在三個維度上實現，該等維度包括(例如)空間、時間及品質(表示為位元速率或信雜比(SNR))維度。一般而言，更好之表示可藉由添加至任何維度上之表示而正常地達成。舉例而言，在圖4之實例中，層0係在具有圖框速率7.5Hz及位元速率64千位 元組/秒(KBPS)之四分之一通用中間格式(QCIF)下寫碼。另外，層1係在具有圖框速率15Hz及位元速率64 KBPS之QCIF下寫碼，層2係在具有圖框速率15Hz及位元速率256 KBPS之CIF下寫碼，層3係在具有圖框速率7.5Hz及位元速率512 KBPS之QCIF下寫碼，且層4係在具有圖框速率30Hz及百萬位元組/秒(MBPS)之位元速率之4CIF下寫碼。應理解，圖4中所示之層的特定數目、內容及配置僅為實例之目的而提供。
在任何狀況下，一旦視訊編碼器(諸如，視訊編碼器20)已以此可調式方式編碼內容，則視訊解碼器(諸如，視訊解碼器30)可使用提取器工具來根據應用要求調適實際遞送內容，此可取決於(例如)用戶端或傳輸頻道。
在SVC中，具有最低空間及品質層之圖像通常與H.264/AVC相容。在圖4之實例中，具有最低空間及品質層之圖像(例如，在層0及層1中之圖像，具有QCIF解析度)可與H.264/AVC相容。在其當中，最低時間層級之彼等圖像形成時間基礎層(例如，層0)。此時間基礎層(例如，層0)可藉由較高時間層級(例如，層1)之圖像來增強。
除了H.264/AVC相容層之外，若干空間及/或品質增強層亦可經添加以提供空間及/或品質可調性。每一空間或品質增強層自身可為時間可調的，其中同一時間可調性結構作為H.264/AVC相容層。
如上文所述，術語「層」在本發明中一般用以係指在可調式視訊寫碼之意義上的個別基礎層或個別增強層，或在3D及多視圖視訊寫碼之意義上的紋理視圖及/或深度視圖。一旦針對層(例如，MV-HEVC層或SHVC層)中之每一者的圖像(例如)藉由視訊解碼器30或視訊編碼器20之重建構迴路解碼，則針對經解碼層之圖像儲存於DPB中。DPB為用以儲存圖像(及在本發明內，在使用多層視訊寫碼技術時經解碼層之圖像)的緩衝器或記憶體。經解碼層之儲存於DPB中的 圖像可用作用於框間預測(包括運動補償、視圖間及層間預測)、用於輸出重排序及輸出延遲之參考。
根據本發明之各種實例，DPB可分割為子單元(例如，被稱作子DPB)。針對特定層類型，每一子DPB可接著經組態以儲存(多個)圖像，或更一般而言，圖像資訊。舉例而言，DPB可經分割，使得一子DPB經組態以針對可調式視訊寫碼處理程序儲存基礎層之圖像。另一子DPB可經組態以儲存可調式視訊寫碼處理程序之第一增強層的圖像。又一子DPB可經組態以儲存可調式視訊寫碼處理程序之第二增強層的圖像，等等。
根據本發明之各種實例，如下文將更詳細地描述，(諸如)在標記圖像以用於自DPB移除、經解碼圖像自DPB之移除以及針對每一子DPB之大小的分配方面，視訊編碼器20亦可經組態以彼此獨立地管理每一子DPB。然而，(例如)基於與每一經解碼圖像相關聯之各別輸出時間及/或圖像次序計數(POC)值，視訊編碼器20可鏈接來自不同的子DPB之經解碼圖像的輸出。
視訊編碼器20及視訊解碼器30(及/或其一或多個組件)中之一者或兩者可實施基於子DPB之操作的多個不同的模式。舉例而言，在圖像與每一子DPB相關聯之方式方面，基於子DPB之操作的兩個模式可不同。根據第一模式(本文中被稱為「層特定模式」)，操作點中之每一層可與單獨子DPB相關聯，且子DPB之數目可等於對應於操作點之層集合中的層之數目。根據第二模式(本文中被稱為「解析度特定模式」)，共用同一解析度、色度格式及位元深度之所有圖像共用同一子DPB。視訊編碼器20可相對容易地指定層特定模式。然而，當與解析度特定模式相比時，層特定模式在DPB記憶體使用方面可為較不有效的。
圖5為展示經組態以儲存不同的子單元中之不同的經解碼層組件 (例如，針對不同之層類型的圖像)之DPB 900之概念圖。DPB 900可形成視訊解碼器及/或視訊編碼器(例如，視訊編碼器20及視訊解碼器30)之部分。子DPB 910A至910D中之每一者表示針對不同類型之經解碼層之圖像的儲存位置。舉例而言，子DPB 910A可經組態以儲存針對MV-HEVC相容視訊位元串流之基礎視圖的一或多個紋理圖像，而子DPB 910B可用於儲存針對MV-HEVC相容視訊位元串流之獨立視圖的紋理圖像。類似地，子DPB 910C可用於在可調式視訊寫碼處理程序(例如，SHVC)中儲存基礎層之圖像，而子DPB 910D可用於在可調式視訊寫碼處理程序中儲存針對增強層之一層級的圖像。額外子DPB可經組態以儲存增強層之額外層級的圖像或額外紋理獨立視圖的圖像。子DPB 910A-D中之每一者含有經組態以儲存針對與該子DPB相關聯之特定層類型的經解碼層之一或多個圖像的單獨單元。應注意，藉由MV-HEVC寫碼之視訊資料及藉由SHVC寫碼之視訊資料未必同時解碼。亦即，SHVC及MV-HEVC寫碼之視訊資料並非通常處於同一經編碼視訊位元串流中，而是通常單獨地寫碼。
視訊解碼器30可經進一步組態以自該複數個子DPB 910A-D移除經解碼層之圖像。在一些實例中，圖像自每一給定子DPB(例如，子DPB 910A)之移除可單獨地管理(亦即，圖像可獨立於其他圖像自其他子DPB之移除而自一子DPB移除)。在其他實例中，圖像可基於操作點自一或多個子DPB移除。特定操作點與針對待輸出之特定圖像所解碼的特定數目個層相關聯。舉例而言，針對SHVC，一操作點可僅要求基礎層之圖像被解碼。在針對SHVC之另一操作點中，基礎層之圖像及一或多個增強層之圖像可經解碼以產生輸出圖像。在要求基礎層之圖像及一或多個增強層之圖像兩者的操作點中，圖像之移除可針對用於彼操作點之每一子DPB(亦即，儲存針對用於待輸出之圖像的層之圖像的每一子DPB)來執行。亦即，與給定操作點相關聯的基礎層 之圖像及一或多個增強層的相應圖像可同時自其各別子DPB移除。
視訊編碼器20及視訊解碼器30可經進一步組態以將經解碼層組件(例如，層之圖像)標記為未用於參考或在該複數個子DPB 910A-D中用於參考。又，用於將圖像標記為未用於參考之處理程序可針對每一子DPB單獨地執行。亦即，視訊編碼器20及視訊解碼器30可經組態以對該複數個子DPB中之每一者中的圖像獨立地執行標記處理程序，其中標記處理程序將圖像標記為用於參考或將圖像標記為未用於參考。在另一實例中，標記處理程序可針對儲存針對與特定操作點相關之特定數目個層的圖像之所有子DPB執行。
在HEVC及其他視訊寫碼標準中，DPB 900之操作常常關於假定參考解碼器(HRD)指定。視訊編碼器20及視訊解碼器30可經組態以管理DPB 900執行各種行動，包括將儲存於DPB 900中之經解碼圖像標記為「未用於參考」(亦即，不能夠用作用於框間預測處理程序之參考圖像)、標記經解碼圖像以用於輸出(例如，至顯示器件32)及標記經解碼圖像以用於自DPB 900移除(亦稱作「提昇」)。在HEVC中，提昇處理程序包括標記圖像以用於輸出及標記圖像以用於移除兩者。當圖像不再需要作為用於框間預測之參考圖像且不再需要用於輸出時，圖像通常自DPB 900移除(亦即，提昇)。
位元串流之一致性係藉由定義HRD之行為來指定。DPB 900可被視為HRD之組件。如上文所述，DPB 900可實施為一或多個記憶體單元，該一或多個記憶體單元經組態以儲存視訊編碼器(例如，視訊編碼器20)中之重建構圖像或視訊解碼器(例如，視訊解碼器30)中的經解碼圖像。在針對SHVC及MV-HEVC之一些建議中，DPB操作並未清楚地指定，但簡單的假設在於具有同一輸出時間之所有圖像在同一時刻到達DPB 900(亦即，儲存於DPB 900中)。圖像自DPB 900之輸出係基於HRD參數經定義之方式來判定。
舉例而言，HRD參數可針對輸出次序一致性得以定義。作為一實例，經解碼層圖像之輸出次序可藉由值指定針對特定層存在之圖像之數目的一或多個語法元素來指定。作為另一實例，針對輸出時間一致性，輸出時間可藉由值指示圖像輸出時間之一或多個語法元素來指定。視訊解碼器30可經組態以自在經編碼視訊位元串流中所傳信之參數的值得出HRD設置。HRD參數可在資料格式結構(例如，被稱作hrd_parameters( ))中傳信。實例參數可包括緩衝時段補充增強資訊(SEI)訊息及圖像時序SEI訊息。在一些實例中，解碼單元(DU)資訊SEI訊息亦可得以定義。在一些實例中，DPB 900中之圖像的輸出發生，使得與同一輸出時間相關聯之所有圖像在同一時刻輸出。在本發明之實例中，不同的子DPB中之圖像可在彼等圖像(亦即，不同的子DPB中之圖像)中之每一者與同一輸出時間相關聯的狀況下在同一時間輸出。
在針對HEVC之一些實例建議中，與DPB操作相關之參數係在序列參數集合(SPS)及/或視訊參數集合(VPS)中之一或多者中傳信。SPS為含有語法元素之語法結構，該等語法元素適用於如藉由在圖像參數集合(PPS)及/或片段標頭中所找到之語法元素之值所指示的零個或零個以上整個經寫碼視訊序列(CVS)。VPS為含有語法元素之語法結構，該語法元素適用於如藉由在SPS、PPS及/或片段標頭中所找到之語法元素之值所判定的零個或零個以上整個CVS。一般而言，在VPS中所傳信之語法元素與在SPS中所傳信之語法元素適用於的圖像之數目相比將適用於更大數目個圖像。如HEVC中所定義，CVS為存取單元之序列，該序列以解碼次序由含有與等於值0之nuh_layer_id及與等於值1之NoRaslOutputFlag相關聯的框內隨機存取圖像(IRAP)的存取單元(AU)繼之以零個或零個以上其他AU組成，直至以解碼次序的含有具有等於值0之nuh_layer_id及等於值1之NoRaslOutputFlag的IRAP圖 像之下一AU(亦即，達至但不包括下一AU)為止。存取單元為以解碼次序接連的網路抽象層(NAL)單元之集合且含有各自具有同一輸出時間的一或多個經寫碼圖像。
與DPB操作相關之實例語法元素包括(但不限於)可各自在SPS中及/或在VPS中傳信的max_dec_pic_buffering_minus1語法元素、max_num_reorder_pics語法元素及max_latency_increase_plus1語法元素。max_dec_pic_buffering_minus1語法元素、max_num_reorder_pics語法元素及max_latency_increase_plus1語法元素可統稱為DPB參數及/或子DPB參數。
max_dec_pic_buffering_minus1語法元素之值針對圖像緩衝器之單元中的CVS指定DPB或子DPB之最大允許大小。亦即，DPB或子DPB可分割為一或多個圖像緩衝器，其中每一圖像緩衝器儲存圖像(例如，與特定層相關聯之圖像)。在一些實例中，max_dec_pic_buffering_minus1之值限於自0至某預定最大DPB及/或子DPB大小之範圍。
max_num_reorder_pics語法元素之值指定可儲存於DPB及/或子DPB中及可以解碼次序先於CVS中之任何圖像且以輸出次序跟隨彼同一圖像的圖像之最大允許數目。max_latency_increase_plus1語法元素之值在不等於零時(亦即，基於為不同於零之值的max_latency_increase_plus1語法元素之值)為潛時之指示，該潛時用以判定可儲存於DPB及/或子DPB中的可以輸出次序先於CVS中之任何圖像且以解碼次序跟隨彼同一圖像的圖像之最大數目。若DPB及/或子DPB中之圖像的數目超過藉由max_num_reorder_pics語法元素之值或自max_latency_increase_plus1語法元素之值所判定的值所指示之圖像的最大數目，則一或多個圖像必須自DPB及/或子DPB移除。
在一實例中，視訊編碼器20可經組態以(例如)在(亦即，基於)閘 控語法元素(例如，sub_layer_ordering_info_present_flag)之值等於1的情況下針對每一子層產生且傳信前述DPB參數及/或子DPB參數。如上文所述，子層為時間可調式位元串流之時間可調式層。根據此實例，當子層傳信未經允許時，僅一值針對語法元素中之每一者傳信，且此等子DPB參數語法元素(亦即，max_dec_pic_buffering_minus1語法元素、max_num_reorder_pics語法元素及max_latency_increase_plus1語法元素)中之每一者的經傳信值針對所有時間子層推斷(亦即，在未接收明確傳信之情況下判定)為相同的。另外，當子層傳信被允許(例如，語法元素sub_layer_ordering_info_present_flag之值等於1)時，子DPB參數語法元素之值針對每一子層明確地傳信。SPS中之子DPB參數的傳信在下文之表2中以斜體強調。類似傳信可在VPS中使用。
在HEVC之基礎版本(有時稱作HEVC 1)中，僅單一層存在(例如，如藉由具有等於0之值的語法元素nuh_layer_id所指示)，且因此，經解碼之層集合及經輸出之層集合係相同的。在多層視訊寫碼(例如，SHVC或MV-HEVC)之內容脈絡中，層集合及輸出層集合之數目未必相同，此係由於總數目個層集合可能並非針對每一操作點全部輸出。亦即，SHVC操作點常常包括基礎層及一或多個增強層之解碼。類似地，MV-HEVC操作點常常包括兩個或兩個以上視圖之解碼。然而，並非所有層或視圖可用以輸出給定圖像。
用於圖像自DPB之移除的技術現將得以論述。用於HEVC之實例技術涉及指定圖像自DPB之移除的兩種方式。其包括基於圖像之DPB移除處理程序及基於AU之DPB移除處理程序。在基於圖像之DPB移除處理程序中，一AU中之圖像可在不同的時間個別地移除。在基於AU之DPB移除操作中，AU中之所有圖像同時得以移除。針對用於SHVC及MV-HEVC之DPB移除操作的當前建議並未清楚地指定圖像將被移除之方式。
針對傳信DPB參數之先前建議可為次最佳的，該等參數包括用於子DPB操作之參數(亦即，子DPB參數)，諸如在Ramasubramonian等人之「MV-HEVC/SHVC HLS：On DPB Operations,」Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting：Vienna,AT，2013年7月27日至8月2日(下文中，JCTVC-N0093_v4)中所提出之參數。作為實例，根據JCTVC-N0093_v4中用於基於子DPB之操作的傳信方案，與DPB 及子DPB相關之三個參數(亦即，上文所述之max_dec_pic_buffering_minus1語法元素、max_num_reorder_pics語法元素及max_latency_increase_plus1語法元素)針對每一輸出層集合、輸出層集合中之每一層及針對每一層內之每一時間子層來傳信。此傳信方案可為次最佳的。
詳言之，傳信指示重排序圖像之最大數目及針對每一輸出層集合中之每一層的最大潛時之語法元素可為冗餘的，從而可能引起計算資源(例如，處理器資源、儲存容量等)及/或網路頻寬之浪費。舉例而言，存取單元(AU)中之輸出層集合之一或多個圖像的輸出可為同時的。此外，在第一AU中之所有圖像被輸出之前自第二AU輸出圖像可為不允許的。因此，針對輸出層集合中之每一層傳信子DPB參數可為冗餘的，此係由於針對子DPB參數之不同的值可能並非可能的。同樣，針對輸出層集合中之每一層發送重排序及/或潛時資訊可為冗餘的。
為了減輕或消除藉由經傳信資料之此冗餘所引起的低效率及其他可能問題，視訊編碼器20及/或視訊解碼器30可實施本文所述之技術中的一或多者。在本發明之一或多個實例中，視訊編碼器20可經組態以針對對應於操作點之每一輸出層集合傳信子DPB參數的一集合。針對每一輸出層集合所傳信之子DPB參數的單集合接著藉由視訊解碼器30針對每一輸出層集合中之每一各別層使用。以此方式，傳信效率增加，此係由於子DPB參數之冗餘傳信得以避免。另外，子DPB參數之值可跨越輸出層集合之所有層來調和。
在本發明之一實例中，針對每一操作點之輸出層集合，視訊編碼器20可經組態以在VPS中產生及傳信指示重排序圖像之最大數目的語法元素之僅一值(亦即，單一值)及指示最大潛時之語法元素的僅一值(亦即，單一值)。亦即，針對與特定VPS相關之每一操作點，視訊 編碼器20產生一最大數目重排序圖像語法元素及一最大潛時語法元素。因此，每一VPS中之總數目重排序圖像語法元素及最大潛時語法元素取決於針對視訊位元串流所定義之操作點的數目。同樣，與對重排序圖像語法元素及最大潛時語法元素針對每一輸出層集合、輸出層集合中之每一層及針對每一層內之每一時間子層傳信的HEVC之先前建議相比，重排序圖像語法元素及最大潛時語法元素之較少例項為單一的。
如下文將參考第一實例實施更詳細地描述，指示重排序圖像之最大數目的語法元素及指示最大潛時之語法元素可在DPB大小表中傳信且可在VPS中傳輸。在本發明之其他實例中，指示重排序圖像之最大數目的語法元素及指示最大潛時之語法元素可在包括PPS之其他資料結構中傳輸。
在指示重排序圖像之最大數目的語法元素及指示最大潛時之語法元素的接收後，視訊解碼器30即可針對特定操作點將指示重排序圖像之最大數目及指示最大潛時的語法元素之各別值施加至輸出層集合。
在一實例中，指示重排序圖像之最大數目及指示最大潛時的語法元素可對應於輸出層之僅一層。舉例而言，語法元素可對應於具有最高層id(例如，如藉由nuh_layer_id語法元素所指示)之層。在此實例中，視訊編碼器20可經組態以傳信旗標來向視訊解碼器30指示重排序圖像之最大數目的一值及最大潛時之一值是否與在操作點中具有nuh_layer_id之最大值的層相關聯。視訊解碼器30將經組態以將針對輸出層集合之語法元素的值推斷為與針對具有最高層id之層所接收之值相同。
在本發明之另一實例中，視訊編碼器20可傳信id值(例如，使用nuh_layer_id語法元素)以向視訊解碼器30指示重排序圖像之最大數目 的一值及最大潛時之一值所相關聯的層。又，視訊解碼器30將經組態以將針對輸出層集合之語法元素的值推斷為與針對具有最高層id之層所接收之值相同。
在本發明之另一實例中，針對每一操作點，視訊編碼器20可經組態以傳信旗標來向視訊解碼器30指示子DPB參數(例如，指示重排序圖像之最大數目的語法元素及/或指示最大潛時之語法元素)是否僅針對在輸出層集合中具有nuh_layer_id之最大值的層(亦即，最高層)傳信，或子DPB參數是否針對輸出層集合中之每一層傳信。若旗標之值指示(亦即，基於指示以下內容之旗標)子DPB參數僅針對最高層傳信，則視訊解碼器30可經組態以將針對輸出層集合之子DPB參數的值推斷為與針對最高層之子DPB參數相同的值。
在本發明之另一實例中，針對每一輸出層集合，視訊編碼器20可傳信旗標以向視訊解碼器30指定子DPB參數(例如，指示子DPB大小、重排序圖像之最大數目及/或最大潛時之語法元素)針對僅一子層(例如，具有等於0之時間ID的子層)抑或針對一個以上子層傳信。舉例而言，視訊編碼器20可產生旗標至第一值以指示子DPB參數資訊針對僅一子層傳信。在此狀況下，視訊解碼器30將接著將針對所有其他子層之子DPB參數的值推斷為與針對一子層(例如，具有等於0之時間ID的子層)實際傳信之子DPB參數相同的值。
相反，視訊編碼器20可將旗標設定為第二值以指示子DPB參數可針對多個子層傳信。在一實例中，當旗標之值指示(亦即，基於指示以下內容之旗標)子DPB參數可針對多個子層傳信時，視訊編碼器20可經組態以針對用於輸出層集合之每一子層的子DPB參數產生語法元素。在另一實例中，如下文將參考表3及表4更詳細地解釋，視訊編碼器20可經組態以產生第二旗標，該第二旗標針對輸出層集合之每一子層指示額外子DPB參數是否針對特定子層傳信。當第二旗標指示額外 子DPB參數待針對特定子層傳信時，視訊編碼器20針對特定子層產生及傳信額外子DPB參數。若第二旗標指示無額外子DPB參數將針對特定子層傳信，則視訊解碼器30可經組態以自針對輸出層集合之先前傳信的子DPB參數(例如，自針對具有等於0之時間ID的子層之子DPB參數，或自針對先前子層之子DPB參數)推斷針對特定子層的子DPB參數之值。在一些實例中，當第二旗標指示子DPB參數並未針對特定子層傳信時，在彼特定子層之後的子層之子DPB參數亦並未傳信，且視訊解碼器30可經組態以自針對輸出層集合之先前傳信的子DPB參數推斷針對彼等後續子層之子DPB參數的值。
視訊解碼器30可經進一步組態以根據本發明之子DPB參數傳信技術執行子DPB管理處理程序(例如，標記圖像以用於輸出、將圖像標記為未用於參考、輸出圖像，及/或移除圖像)。舉例而言，視訊解碼器30可經組態以對存取單元層級而非對圖像層級執行提昇處理程序。此係因為，根據本發明之技術，子DPB參數適用於整個輸出層集合而非僅層之子集。又，就此而言，檢查針對特定層ID之子DPB參數之值的必要性得以移除，此係由於特定輸出層集合之每一層共用相同的子DPB參數。根據本發明之技術的DPB管理處理程序之更多細節在下文參考第一實例實施來描述。
以下技術為用於傳信子DPB參數之傳信技術的額外實例。在一實例中，針對每一操作點，視訊編碼器20可傳信旗標以向視訊解碼器30指定子DPB參數是否經傳信。或者，在視訊編碼器20不傳信旗標之例子中，視訊解碼器30可推斷旗標之值。在另一實例中，針對每一操作點，視訊編碼器20可傳信旗標以向視訊解碼器30指示：a)子DPB大小是否僅針對最高索引之子DPB及針對推斷為等於具有最高索引之子DPB之大小的其他子DPB傳信，或b)子DPB大小是否針對操作點中之每一子DPB傳信。
以下章節關於HEVC寫碼技術描述本發明之技術的實例實施。該等實例實施將使用HEVC、SHVC、MV-HEVC及/或3D-HEVC規範之術語及定義來描述。下文並未明確地定義之任何術語的定義可在如上文所參考之HEVC、SHVC、MV-HEVC及/或3D-HEVC規範中找到。
在本文所述之技術的第一實例實施中，用於傳信DPB及子DPB參數之技術得以描述。與第一實例實施相關聯之實例語法元素展示於下文之表3及表4中。與本發明之技術相關的語法元素經由 粗體及底線 在表3及表4中區分。對先前HEVC貢獻之刪除係藉由來展示。表1及表2之加底線部分係針對藉由實例實施#1對現有語法所引入的改變。
如表3中所示，視訊編碼器20可經組態以傳信VPS擴展語法中之DPB大小表(dpb_size_table())。DPB大小表可包括DPB及子DPB相關參數，包括具有指示子DPB大小、重排序圖像之最大數目及/或最大潛時之值的語法元素(子DPB參數)。
如表4中所示，視訊編碼器20經組態以傳信DPB大小表，該表包括值指定子DPB大小(max_vps_dec_pic_buffering_minus1[i][k][j])、重排序圖像之最大數目(max_vps_num_reorder_pics[i][j])及最大子DPB潛時(max_vps_latency_increase_plus1[i][j])之語法元素。for循環「for(i=1；i<NumOutputLayerSets；i++)」指定子DPB大小、重排序圖像之最大數目及最大子DPB潛時針對每一輸出層集合i(亦即，針對每一操作點)傳信達至最大數目個輸出層集合(NumOutputLayerSets)。因此，視訊解碼器30經組態以針對操作點之輸出層集合中的每一層施加所接收之最大子DPB大小、最大數目個重排序圖像及最大子DPB潛時。
此外，如表4中所示，視訊編碼器20亦可經組態以產生及傳信旗標(sub_layer_flag_info_present_flag[i])，該旗標指示指示最大子DPB大小、重排序圖像之最大數目及最大子DPB潛時的所傳信值針對每一層之僅一子層抑或針對層之一個以上子層傳信。舉例而言，若sub_layer_flag_info_present_flag[i]之值為1，則指示最大子DPB大小、重排序圖像之最大數目及最大子DPB潛時之語法元素的值將用於每一子層。然而，若sub_layer_flag_info_present_flag[i]之值為0，則值指示最大子DPB大小、重排序圖像之最大數目及最大子DPB潛時之單獨的語法元素可針對一個以上子層傳信。在此實例中，基於各別語法元素之值，視訊解碼器30可經組態以針對兩個或兩個以上不同的子層使用用於最大子DPB大小、重排序圖像之最大數目及最大子DPB潛時的不同的值。
在sub_layer_flag_info_present_flag[i]之值為1(指示子DPB參數將針對一個以上子層傳信)之狀況下，視訊編碼器20可經進一步組態 以針對每一子DPB中之每一子層傳信額外語法元素(sub_layer_dpb_info_present_flag[i][j])，該語法元素指示子DPB參數是否將針對特定子層傳信。
在表4之實例中，if語句(「if(j>0 && sub_layer_flag_info_present_flag[i]&& sub_layer_dpb_info_present_flag[i][j-1]))要求視訊編碼器20僅在sub_layer_flag_info_present_flag[i]之值為1且前一子層之值sub_layer_dpb_info_present_flag(sub_layer_dpb_info_present_flag[i][j-1])具有值1之情況下針對特定子層傳信sub_layer_dpb_info_present_flag[i][j]。亦即，若子DPB參數並未針對前一子層傳信，則視訊編碼器20並不傳信sub_layer_dpb_info_present_flag或任何子DPB參數。
在本發明之一實例中，針對前一子層檢查sub_layer_dpb_info_present_flag之值的要求被移除。實情為，sub_layer_dpb_info_present_flag可針對每一子層傳信，而不管sub_layer_dpb_info_present_flag之任何先前值。
與上文之表4之語法元素相關聯的語義描述如下。如本文所使用，NumSubDpbs[i]可表示針對第i個輸出層集合所要求之子DPB的數目。
語法元素sub_layer_flag_info_present_flag[i]之值等於1指示sub_layer_dpb_info_present_flag[i][j]針對第i個輸出層集合中之所有子層存在。子層之最大數目係藉由語法元素vps_max_sub_layers_minus1之值來指示。換言之，當視訊編碼器20產生具有值1之sub_layer_flag_info_present_flag[i]時，視訊解碼器30判定額外旗標(亦即，sub_layer_dpb_info_present_flag[i][j])將針對第i個輸出層集合之所有子層傳信。
相反，若視訊編碼器20產生具有等於0之值的sub_layer_flag_info_present_flag[i]語法元素，則視訊解碼器30可判定sub_layer_flag_info_present_flag[i]語法元素指定，針對大於0的j之每一值，sub_layer_dpb_info_present_flag[i][j]不存在，且視訊解碼器30可將該值推斷為等於0。同樣，視訊編碼器20將針對每一子層使用子DPB參數(亦即，max_vps_dec_pic_buffering_minus1[i][k][j]、max_vps_num_reorder_pics[i][j]及max_vps_latency_increase_plus1[i][j])之最初傳信值。
如上文所述，若視訊編碼器20產生具有值1之sub_layer_flag_info_present_flag[i]，則視訊編碼器20亦針對輸出層集合之每一子層產生sub_layer_dpb_info_present_flag[i][j]。若sub_layer_dpb_info_present_flag[i][j]語法元素之值等於1，則視訊解碼器30可針對在0至最大數目個子DPB(NumSubDpbs[i]-1)之範圍內(包括性的)的每一子DPB k之子層j進一步接收子DPB大小(max_vps_dec_pic_buffering_minus1[i][k][j])。視訊解碼器30經組態以亦接收指示針對子層j之最大潛時(max_vps_latency_increase_plus1[i][j])及重排序圖像之最大數目(max_vps_num_reorder_pics[i][j])的語法元素。
另一方面，若視訊解碼器30判定sub_layer_dpb_info_present_flag[i][j]語法元素之值等於0，則視訊解碼器30可判定sub_layer_dpb_info_present_flag[i][j]語法元素指定max_vps_dec_pic_buffering_minus1[i][k][j]之值針對在0至(NumSubDpbs[i]-1)之範圍內(包括性的)的k等於max_vps_dec_pic_buffering_minus1[i][k][j-1](亦即，等於針對輸出層集合中之前一子層的DPB大小語法元素之值)。又，視訊解碼器30可進一步判定針對子層j之最大數目重排序圖像語法元素 (max_vps_num_reorder_pics[i][j])及最大潛時語法元素(max_vps_latency_increase_plus1[i][j])的值設定為等於針對輸出層集合中之前一子層的彼等語法元素(亦即，分別為max_vps_num_reorder_pics[i][j-1]及max_vps_latency_increase_plus1[i][j-1])之值。另外，視訊解碼器30可將針對i之任何可能值的sub_layer_dpb_info_present_flag[i][0]語法元素之值推斷為等於1。亦即，視訊解碼器30可經組態以針對輸出層集合之第0個(亦即，第一)子層的sub_layer_dpb_info_present_flag推斷值1。另外，視訊解碼器30可針對在j+1至vps_max_sub_layers_minus1之範圍內(包括性的)的k將sub_layer_dpb_info_present_flag[i][k]語法元素之值推斷為等於0。
語法元素max_vps_dec_pic_buffering_minus1[i][k][j]加1在HighestTid等於j時以圖像儲存緩衝器為單位針對第i個輸出層集合中之CVS指定第k個子DPB的最大所要求大小。當j大於0時，視訊解碼器30可判定max_vps_dec_pic_buffering_minus1[i][k][j]大於或等於max_vps_dec_pic_buffering_minus1[i][k][j-1]之值。當max_vps_dec_pic_buffering_minus1[i][k][j]針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在時，視訊解碼器30可將max_vps_dec_pic_buffering_minus1[i][k][j]之值推斷為等於max_vps_dec_pic_buffering_minus1[i][k][j-1]的值。
語法元素max_vps_num_reorder_pics[i][j]指示重排序圖像之最大數目。亦即，當HighestTid等於j時，可以解碼次序在CVS中之第i個輸出層集合中先於任何 含有具有等於1之PicOutputFlag的圖像之存取單元auA 且以輸出次序跟隨 含有具有等於1之PicOutputFlag的圖像之存取單元auA的含有具有等於1之PicOutputFlag的圖像之存取單元 之最大允許數目。當max_vps_num_reorder_pics[i][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於0而針對在1至 (vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在時，視訊解碼器30可將max_vps_num_reorder_pics[i][j]語法元素之值推斷為等於max_vps_num_reorder_pics[i][j-1]的值。
語法元素max_vps_latency_increase_plus1[i][j]之值指示最大潛時。不等於0之語法元素max_vps_latency_increase_plus1[i][j]用以計算VpsMaxLatencyPictures[i][k][j]語法元素的值，其值指定在HighestTid等於j時可以輸出次序在CVS中先於任何 含有具有等於1之PicOutputFlag的圖像之存取單元auA 且以解碼次序跟隨 含有具有等於1之PicOutputFlag的圖像之存取單元auA 的在第i個輸出層集合中之 含有具有等於1之PicOutputFlag的圖像之存取單元 的最大數目。在max_vps_latency_increase_plus1[i][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於0而針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在之例子中，視訊解碼器30可將max_vps_latency_increase_plus1[i][j]之值推斷為等於max_vps_latency_increase_plus1[i][j-1]。
當max_vps_latency_increase_plus1[i][j]不等於0時，視訊編碼器20可指定VpsMaxLatencyPictures[i][k][j]之值如下：VpsMaxLatencyPictures[i][j]=max_vps_num_reorder_pics[i][j]+max_vps_latency_increase_plus1[i][j]-1
亦即，潛時圖像之最大數目等於重排序圖像之最大數目加最大潛時語法元素的值。
當max_vps_latency_increase_plus1[i][j]等於0時，無相應限制得以表達。max_vps_latency_increase_plus1[i][j]之值應在0至[(2^32)-2]之範圍內(包括性的)。
以下內容展示相對於HEVC子條款F.13.5.2.2對圖像輸出及移除處理程序的改變，以便實施本發明之實例技術。又，添加物係藉由 粗體 及底線 展示，且刪除物係藉由展示。
在當前圖像藉由視訊解碼器30之解碼之前(但在剖析當前圖像之第一片段的片段標頭之後)圖像自DPB的輸出及移除在當前圖像之第一解碼單元自CPB移除時即刻地發生且進行如下：如在子條款F.8.3.2中所指定的用於RPS之解碼處理程序得以調用。
- 若當前圖像為具有等於1之NoRaslOutputFlag且具有等於0之nuh_layer_id的並非圖像0之IRAP圖像，則視訊解碼器30可應用以下有序步驟：
1. 視訊解碼器30可在測試下得出用於該解碼器之變數NoOutputOfPriorPicsFlag如下：
- 若當前圖像為CRA圖像，則視訊解碼器30可將NoOutputOfPriorPicsFlag設定為等於1(不管no_output_of_prior_pics_flag之值)。
- 另外，若得自作用中SPS之pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]的值分別不同於得自針對以解碼次序具有與當前圖像相同之nuh_layer_id值的先前圖像為作用中之SPS的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]之值，則視訊解碼器30可在測試下將NoOutputOfPriorPicsFlag設定為1，而不管no_output_of_prior_pics_flag的值。然而，在較佳實例中，視訊解碼器30在在此項目符號中所指定之條件下於測試下可能不將NoOutputOfPriorPicsFlag設定為1。注意-儘管將NoOutputOfPriorPicsFlag設定為等於no_output_of_prior_pics_flag在此等條件下可為較佳的，但視訊解碼器30在測試下被允許在此等條件下將NoOutputOfPriorPicsFlag設定為1。
- 另外，視訊解碼器30可將NoOutputOfPriorPicsFlag設定為等於no_output_of_prior_pics_flag。
2. 視訊解碼器30可應用在針對HRD所應用之測試下得出的NoOutputOfPriorPicsFlag之值如下：
- 若NoOutputOfPriorPicsFlag等於1，則視訊解碼器30可清空DPB中之所有子DPB中的所有圖像儲存緩衝器(在無含於清空之圖像儲存緩衝器中之圖像之輸出的情況下)，且視訊解碼器30可針對所有子DPB將子DPB充滿度設定為等於0。
- 否則(亦即，NoOutputOfPriorPicsFlag等於0)，視訊解碼器30可清空含有標記為「無需用於輸出」及「未用於參考」之圖像(未輸出)的所有圖像儲存緩衝器，且視訊解碼器30可藉由重複地調用在子條款F.13.5.2.4中所指定之「提昇」處理程序而清空所有非空圖像儲存緩衝器，且視訊解碼器30可將DPB充滿度設定為等於0。
- 另外(例如，若當前圖像並非具有等於1之NoRaslOutputFlag或具有不等於0之nuh_layer_id的IRAP圖像)，視訊解碼器30可清空含有標記為「無需用於輸出」及「未用於參考」之圖像(未輸出)的所有圖像儲存緩衝器。針對經清空之每一圖像儲存緩衝器，視訊解碼器30可使與彼圖像儲存緩衝器相關聯之子DPB的子DPB充滿度遞減1。變數currLayerId設定為等於當前解碼圖像之nuh_layer_id，變數currSubDpbId設定為等於與當前解碼圖像相關聯之子DPB的索引，且當以下條件中之一或多者成立時，在子條款F.13.5.2.4中所指定之「提昇」處理程序經重複地調用同時針對經清空之每一額外圖像儲存緩衝器進一步使DPB充滿度遞減1，直至以下條件中無一者成立為止：
- 含有 標記為「需要用於輸出」之 至少一圖像的存取單元 之數目大於來自作用中SPS的 sps_max_num_reorder_pics[HighestTid] (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或針對currLayerId之值來自作用層VPS的max_vps_num_reorder_pics[TargetOutputLayerId] [HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時)。
- 作用中SPS之sps_max_latency_increase_plus1[HighestTid] (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或作用中VPS之VpsMaxLatencyPictures[TargetOutputLayerId] [HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時) 不等於0且在DPB中存在至少一 含有標記為「需要用於輸出」之圖像的存取單元 ，針對其，相關聯之變數PicLatencyCount[currLayerId]大於或等於得自作用中SPS的SpsMaxLatencyPictures[HighestTid] (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或針對currLayerId之值來自作用中VPS的max_vps_num_reorder_pics[TargetOutputLayerId] [HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時)。
- 在相關聯之子DPB中的具有等於currLayerId之nuh_layer_id的圖像之數目大於或等於來自作用中SPS之 sps_max_dec_pic_buffering_minus1[HighestTid]+1 (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或max_vps_dec_pic_buffering_minus1[TargetOutputLayerId][currSubDpbId][HighestTid]+1 (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時)。
如上文在經標記之添加物及刪除物中所示，圖像輸出及移除處理程序(亦稱作「提昇」)經更新以反映本發明之子DPB參數傳信技術。一改變在於用於繼續提昇處理程序之條件係基於存取單元而非圖像。此係因為，根據本發明之技術，子DPB參數適用於輸出層。又，就此而言，檢查針對特定層ID(例如，LayerIdxInVps及currLayerId)之子DPB參數之值的必要性得以移除，此係由於特定輸出層集合之每一層共用彼等相同的子DPB參數。
以下內容展示相對於HEVC子條款C.1.1.1.1對圖像解碼、標記、額外提昇及儲存處理程序的改變，以便實施本發明之實例技術。又，添加物係藉由 粗體及底線 展示，且刪除物係藉由展示。
在此子條款中所指定之處理程序在視訊編碼器20及/或視訊解碼器30自CPB移除含有當前圖像之存取單元n的最後解碼單元時即刻地發生。視訊編碼器20及/或視訊解碼器30可將變數currLayerId設定為等於當前解碼圖像之nuh_layer_id，且可將currSubDpbId設定為等於與當前圖像所關聯之層相關聯的子DPB之索引。藉由本發明之技術對所指定之圖像解碼、標記、額外提昇及儲存處理程序所引入的改變在下文使用加底線及加刪除線文字表示。
針對含有相關聯之子DPB中標記為「需要用於輸出」之圖像的存取單元，視訊編碼器20及/或視訊解碼器30可將相關聯之變數 PicLatencyCount設定為等於PicLatencyCount+1。
在當前圖像之最後解碼單元經解碼之後，視訊解碼器30可將該圖像視為解碼的。當前解碼圖像儲存於DPB中之空的圖像儲存緩衝器中，且以下內容適用：
- 若當前解碼圖像具有等於1之PicOutputFlag，則視訊解碼器30可將當前解碼圖像標記為「需要用於輸出」且與當前存取單元相關聯之變數PicLatencyCount設定為等於0。
- 否則(例如，當前解碼圖像具有等於0之PicOutputFlag)，視訊解碼器30可將當前解碼圖像標記為「無需用於輸出」。
另外，視訊解碼器30可將當前解碼圖像標記為「用於短期參考」。
當以下條件中之一或多者成立時，視訊解碼器30可重複地/反覆地調用在子條款F.13.5.2.4中所指定之「提昇」處理程序，指示以下條件中無一者成立為止：
- 含有 標記為「需要用於輸出」之 至少一圖像的存取單元之數目 大於來自作用中SPS的sps_max_num_reorder_pics[HighestTid] (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或針對currLayerId之值來自作用中VPS的max_vps_num_reorder_pics[TargetOutputLayerId][HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時)。
- sps_max_latency_increase_plus1[HighestTid]不等於0 (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或作用中VPS之 VpsMaxLatencyPictures[TargetOutputLayerId][HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時) 不等於0且存在至少 一含有標記為「需要用於輸出」之圖像的存取單元 ，針對其，相關聯之變數PicLatencyCount大於或等於得自作用中SPS的SpsMaxLatencyPictures[HighestTid] (當符合附錄A中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10中所指定之解碼處理程序而解碼時) 或針對currLayerId之值來自作用中VPS的VpsMaxLatencyPictures[TargetOutputLayerId][HighestTid] (當符合附錄G或H中所指定之形態中之一或多者的經寫碼視訊序列係藉由應用在條款2至10、附錄F及附錄G或H中所指定之解碼處理程序而解碼時)。
如上文在經標記之添加物及刪除物中所示，圖像輸出及移除處理程序(亦稱作「提昇」)經更新以反映本發明之子DPB參數傳信技術。一改變在於用於繼續提昇處理程序之條件係基於存取單元而非圖像。此係因為，根據本發明之技術，子DPB參數適用於整個輸出層集合而非僅層之子集。
以下內容為第二實例實施相對於上文所述之第一實例實施的描述。與第一實例實施對比，根據第二實例實施，視訊編碼器20可傳信層ID，該層ID指定max_vps_num_reorder_pics[i][j]及max_vps_latency_increase_plus1[i][j]之值所關聯的層。藉由第二實例實施所引入的對語法及語義之改變在下文中使用 粗體及底線 及 格式化(如上文所示)來區分。根據第二實例實施，其他語法元素之語法及語義(亦即，藉由未加底線亦未加刪除線之文字所表示)保持相同。
表5-DPB大小表語法
上文之表5描述藉由第二實例實施所引入的相對於第一實例實施之語法改變。如藉由第二實例實施所引入的對語義之改變在下文中得以描述。
視訊解碼器30可判定reorder_info_layer_id[i][j]語法元素指定max_vps_num_reorder_pics[i][j]及max_vps_latency_increase_plus1[i][j]之值所適用於的屬於第i個輸出層集合之層的nuh_layer_id值。在reorder_info_layer_id[i][j]語法元素不存在之例子中，視訊解碼器30可將reorder_info_layer_id[i][j]之值推斷為等於0。或者，在一些實例中，當reorder_info_layer_id[i][j]不存在時，視訊解碼器30可將reorder_info_layer_id[i][j]之值推斷為等於第i個輸出層集合中之最高層的nuh_layer_id。或者，在一些實例中，視訊編碼器20可傳信向視訊解碼器30指定reorder_info_layer_id[i][j]語法元素是否經傳信的旗標。
視訊解碼器30可判定max_vps_num_reorder_pics[i][j]語法元素指示可以解碼次序先於CVS中之第i個輸出層集合中具有等於 reorder info layer id [i][j]之nuh_layer_id的任何圖像且以輸出次序跟隨具有等於 reorder info layer id [i][j]之nuh_layer_id的彼圖像(且在HighestTid等於j時)的具有等於 reorder info layer id [i][j]之nuh_layer_id的圖像之最大允許數目。當max_vps_num_reorder_pics[i][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於0而針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在時，視訊解碼器30可將max_vps_num_reorder_pics[i][j]語法元素之值推斷為等於max_vps_num_reorder_pics[i][j-1]。
在max_vps_latency_increase_plus1[i][j]之值不等於0之例子中，視訊解碼器30可使用max_vps_latency_increase_plus1[i][j]語法元素之值來計算VpsMaxLatencyPictures[i][k][j]的值。VpsMaxLatencyPictures[i][k][j]語法元素之值又可指定可以輸出次序先於CVS中具有等於 reorder info layer id [i][j]之nuh_layer_id的任何圖像且以解碼次序跟隨具有等於 reorder info laver id [i][j]之nuh_layer_id的彼圖像(當HighestTid等於j時)的在第i個輸出層集合中具有等於 reorder info layer id [i][j]之nuh_layer_id的圖像之最大數目。在max_vps_latency_increase_plus1[i][j]歸因於sub_layer_dpb_info_present_flag[i][j]之值等於0而針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在之實例中，視訊解碼器30可將max_vps_latency_increase_plus1[i][j]之值推斷為等於max_vps_latency_increase_plus1[i][j-1]。
在max_vps_latency_increase_plus1[i][j]不等於0之例子中，VpsMaxLatencyPictures[i][k][j]之值藉由公式指定如下：VpsMaxLatencyPictures[i][j]=max_vps_num_reorder_pics[i][j]+max_vps_latency_increase_plus1[i][j]-1
相反地，在max_vps_latency_increase_plus1[i][j]等於0之實例中，無相應限制得以表達。在此等實例中，視訊編碼器20及/或視訊解碼器30可判定max_vps_latency_increase_plus1[i][j]之值係在0至(2^32-2)的範圍內(包括性的)。
以下內容相對於第一實例實施描述第三實例實施。然而，與第一實例實施對比，根據第三實例實施，視訊編碼器20可傳信旗標以指定重排序圖像之最大數目及最大潛時是否針對輸出層集合中之每一層傳信。舉例而言，根據第三實例實施，視訊編碼器20可將旗標設定為第一值以指示重排序圖像之最大數目及最大潛時針對輸出層集合中之每一層傳信，及設定為第二值以指示重排序圖像之最大數目及最大潛時並不針對輸出層集合中之每一層傳信。與藉由第一實例實施所提供之語法相比，藉由第三實例實施所引入之改變在下文之表6中藉由 底線及粗體 來區分。
與第一實例實施相比，藉由第三實例實施關於表6之DPB大小表所引入的新的語義在下文中得以描述。並未在下文中關於第三實例實施描述之任何語義保持為與第一實例實施中相同。
在視訊編碼器20將sub_layer_flag_info_present_flag[i]設定為等於1之實例中，sub_layer_flag_info_present_flag[i]指定sub_layer_dpb_info_present_flag[i][j]針對vps_max_sub_layers_minus1子層而存在。相反，在視訊編碼器20將sub_layer_flag_info_present_flag[i]設定為等於0之實例中，sub_layer_flag_info_present_flag[i]指定，針對大於0之j的每一值，sub_layer_dpb_info_present_flag[i][j]不存在。在視訊編碼器20將sub_layer_flag_info_present_flag[i]設定為0之一些實例中，視訊解碼器30可將sub_layer_dpb_info_present_flag[i][j]之值推斷為等於0。
在視訊編碼器將sub_layer_dpb_info_present_flag[i][j]設定為等於1之實例中，sub_layer_dpb_info_present_flag[i][j]向視訊解碼器30指定max_vps_dec_pic_buffering_minus1[i][k][j](針對在0至(NumSubDpbs[i]-1)之範圍內(包括性的)的k)及reorder_info_only_highest_layer_flag[i][j]針對第j個子層存在。另一方面，在視訊編碼器20將sub_layer_dpb_info_present_flag[i][j]設定為等於0之實例中，sub_layer_dpb_info_present_flag[i][j]向視訊解碼器30指定max_vps_dec_pic_buffering_minus1[i][k][j]之值等於max_vps_dec_pic_buffering_minus1[i][k][j-1](針對在0至(NumSubDpbs[i]-1)之範圍內(包括性的)的k)，且max_vps_num_reorder_pics[i][k][j]及max_vps_latency_increase_plus1[i][k][j]之值設定為分別等於max_vps_num_reorder_pics[i][k][j-1]及max_vps_latency_increase_plus1[i][k][j-1](針對在0至 (NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1)之範圍內(包括性的)的k)。視訊解碼器30可將針對i之任何可能值的sub_layer_dpb_info_present_flag[i][0]之值推斷為等於1。
max_vps_dec_pic_buffering_minus1[i][k][j]之值加1在HighestTid等於j時以圖像儲存緩衝器為單位針對第i個輸出層集合中之CVS指定第k個子DPB的最大所要求大小。當j大於0時，max_vps_dec_pic_buffering_minus1[i][k][j]應大於或等於max_vps_dec_pic_buffering_minus1[i][k][j-1]。當max_vps_dec_pic_buffering_minus1[i][k][j]針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在時，視訊解碼器30可將max_vps_dec_pic_buffering_minus1[i][k][j]推斷為等於max_vps_dec_pic_buffering_minus1[i][k][j-1]。
在reorder_info_only_highest_layer_flag[i][j]等於1之實例中，reorder_info_only_highest_layer_flag[i][j]向視訊解碼器30指示語法元素max_vps_num_reorder_pics[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j]及max_vps_latency_increase_plus1[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j]存在，且max_vps_num_reorder_pics[i][k][j]及max_vps_latency_increase_plus1[i][k][j](針對在0至(NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-2)之範圍內(包括性的)的k)推斷(例如，藉由視訊解碼器30)為分別等於max_vps_num_reorder_pics[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j]及max_vps_latency_increase_plus1[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j]。另一方面，在 reorder_info_only_highest_layer_flag[i][j]等於0之實例中，reorder_info_only_highest_layer_flag[i][j]向視訊解碼器30指示語法元素max_vps_num_reorder_pics[i][k][j]及max_vps_latency_increase_plus1[i][k][j]針對在0至(NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1)之範圍內(包括性的)的k而傳信(例如，藉由視訊編碼器20)。
max_vps_num_reorder_pics[i][k][j]語法元素指示(例如，向視訊解碼器30)可以解碼次序先於CVS中之第i個輸出層集合中具有等於layer_id_in_nuh[k]之nuh_layer_id的任何圖像且以輸出次序跟隨具有等於layer_id_in_nuh[k]之nuh_layer_id的彼圖像(且在HighestTid等於j時)的具有等於layer_id_in_nuh[k]之nuh_layer_id的圖像之最大允許數目。當max_vps_num_reorder_pics[i][k][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於0而針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在時，其推斷(例如，藉由視訊解碼器30)為等於max_vps_num_reorder_pics[i][k][j-1]。相反，在max_vps_num_reorder_pics[i][k][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於1及reorder_info_only_highest_layer_flag[i][j]等於0而針對在0至(NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-2)之範圍內(包括性的)的k不存在之實例中，視訊解碼器30可將max_vps_num_reorder_pics[i][k][j]推斷為等於max_vps_num_reorder_pics[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j-1]。
在max_vps_latency_increase_plus1[i][k][j]不等於0之實例中，視訊解碼器30可使用max_vps_latency_increase_plus1[i][k][j]來計 算VpsMaxLatencyPictures[i][k][j]之值，其指定可以輸出次序先於CVS中具有等於layer_id_in_nuh[k]之nuh_layer_id的任何圖像且以解碼次序跟隨具有等於layer_id_in_nuh[k]之nuh_layer_id的彼圖像(當HighestTid等於j時)的在第i個輸出層集合中具有等於layer_id_in_nuh[k]之nuh_layer_id的圖像之最大數目。在max_vps_latency_increase_plus1[i][k][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於0而針對在1至(vps_max_sub_layers_minus1-1)之範圍內(包括性的)的j不存在之實例中，視訊解碼器30可將max_vps_latency_increase_plus1[i][k][j]推斷為等於max_vps_latency_increase_plus1[i][k][j-1]。在max_vps_latency_increase_plus1[i][k][j]歸因於sub_layer_dpb_info_present_flag[i][j]等於1及reorder_info_only_highest_layer_flag[i][j]等於0而針對在0至(NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-2)之範圍內(包括性的)的k不存在之實例中，視訊解碼器30可將max_vps_latency_increase_plus1[i][k][j]推斷為等於max_vps_latency_increase_plus1[i][NumLayersInIdList[output_layer_set_idx_minus1[i]+1]-1][j]。
在max_vps_latency_increase_plus1[i][k][j]不等於0之例子中，VpsMaxLatencyPictures[i][k][j]之值藉由公式指定如下：VpsMaxLatencyPictures[i][k][j]=max_vps_num_reorder_pics[i][k][j]+max_vps_latency_increase_plus1[i][k][j]-1
在max_vps_latency_increase_plus1[i][k][j]等於0之例子中，無相應限制得以表達。在此等實例中，max_vps_latency_increase_plus1[i][k][j]之值應在0至(2^32-2)之 範圍內(包括性的)。
圖6為說明可實施本發明中所述之用於子DPB參數傳信之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可經組態以根據任何視訊編碼技術編碼視訊資料，該等技術包括HEVC及H.264/AVC，以及此等標準之可調式多視圖及3D擴展。圖6之實例將參考HEVC來解釋。就此而言，圖6中所示之視訊編碼迴路可應用於可調式視訊編碼處理程序之每一層(亦即，基礎層及增強層)、多視圖視訊寫碼處理程序的每一視圖，或3D視訊寫碼處理程序之紋理及深度視圖兩者。
視訊編碼器20可執行視訊片段內之視訊區塊的框內及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。另外，視訊編碼器20可在不同的視圖或層之間執行視圖間預測及/或層間預測，如上文所述。
在圖6之實例中，視訊編碼器20包括視訊資料記憶體40、預測處理單元41、DPB 64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動及差異估計單元42、運動及差異補償單元44及框內預測處理單元46。針對視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆變換處理單元60及求和器62。解區塊濾波器(圖6中未展示)亦可得以包括以對區塊邊界進行濾波來自經重建構視訊移除方塊效應假影。若需要，則解區塊濾波器通常將對求和器62之輸出進行濾波。除瞭解區塊濾波器之外，額外迴路濾波器(迴路內或迴路後)亦可得以使用。
視訊資料記憶體40可儲存待藉由視訊編碼器20之組件編碼的視 訊資料。儲存於視訊資料記憶體40中之視訊資料可(例如)自視訊源18獲得。DPB 64為儲存參考視訊資料以供在藉由視訊編碼器20編碼視訊資料時使用(例如，在框內或框間寫碼模式中，亦被稱為框內或框間預測寫碼模式)之解碼圖像緩衝器(DPB)的一實例。視訊資料記憶體40及DPB 64可藉由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻性RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體40及DPB 64可藉由同一記憶體器件或單獨的記憶體器件提供。在各種實例中，視訊資料記憶體40與視訊編碼器20之其他組件可為晶片上的，或相對於彼等組件為晶片外的。
如圖6中所示，視訊編碼器20接收視訊資料且可經組態以將資料分割為視訊區塊。(例如)根據LCU及CU之四叉樹結構，此分割亦可包括分割為片段、影像塊，或其他較大單元，以及視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊片段內之視訊區塊的組件。片段可劃分為多個視訊區塊(及可能地劃分為被稱為影像塊之視訊區塊的集合)。針對基於錯誤結果(例如，寫碼速率及失真位準)之當前視訊區塊，預測處理單元41可選擇複數個可能的寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式或視圖間寫碼模式中的一者。預測處理單元41可將所得之框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以供用作參考圖像。
預測處理單元41內之框內預測處理單元46可相對於與待寫碼之當前區塊相同的圖框或片段中之一或多個相鄰區塊執行當前視訊區塊的框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動及差異估計單元42以及運動及差異補償單元44相對於一或多個參考圖像、參考圖像層及/或參考視圖中之一或多個預測性區塊執行當前視訊區塊 的框間預測性寫碼及/或視圖間寫碼，以提供時間及視圖間預測。
運動及差異估計單元42可經組態以根據針對視訊序列之預定型樣而針對視訊片段判定框間預測模式及/或視圖間預測模式。預定型樣可將序列中之視訊片段指定為P片段或B片段。運動及差異估計單元42以及運動及差異補償單元44可為高整合的，但為概念目的而單獨地說明。藉由運動及差異估計單元42所執行之運動估計為產生運動向量之處理程序，該等運動向量估計針對視訊區塊的運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。藉由運動及差異估計單元42所執行之差異估計為產生差異向量之處理程序，該等差異向量可用以自不同視圖中之區塊預測當前寫碼區塊。
預測性區塊為被發現在像素差方面緊密匹配於待寫碼之視訊區塊之PU的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他不同的量度來判定。在一些實例中，視訊編碼器20可計算針對儲存於DPB 64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可相對於全像素位置及分數像素位置執行運動搜尋且輸出具有分數像素精度之運動向量。
運動及差異估計單元42藉由比較框間寫碼或視圖間預測片段中之視訊區塊之PU的位置與參考圖像之預測性區塊的位置針對該PU計算運動向量(用於運動補償預測)及/或差異向量(用於差異補償預測)。參考圖像可選自第一參考圖像清單(List 0)或第二參考圖像清單(List 1)，其中每一者識別儲存於DPB 64中之一或多個參考圖像。針對視圖間預測，參考圖像處於不同視圖中。運動及差異估計單元42將所計算之運動向量及/或差異向量發送至熵編碼單元56以及運動及差異補償 單元44。
藉由運動及差異補償單元44所執行之運動補償及/或差異補償可涉及基於藉由運動估計及/或差異估計所判定之運動向量取得或產生預測性區塊，從而可能地執行內插至子像素精度。在接收針對當前視訊區塊之PU的運動向量及/或差異後，運動及差異補償單元44即可定位運動向量及/或差異向量在參考圖像清單中之一者中指向的預測性區塊。視訊編碼器20藉由自正寫碼之當前視訊區塊的像素值減去預測性區塊之像素值而形成殘餘視訊區塊，從而形成像素差值。像素差值形成針對區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減去運算之組件。運動及差異補償單元44亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30在解碼視訊片段之視訊區塊時使用。
作為對藉由運動及差異估計單元42以及運動及差異補償單元44所執行之框間預測的替代(如上文所述)，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定框內預測模式來使用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨的編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元)可自經測試模式選擇適當的框內預測模式來使用。舉例而言，框內預測處理單元46可使用針對各種經測試之框內預測模式的速率-失真分析來計算速率-失真值，且在經測試模式當中選擇具有最好的速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與經編碼以產生經編碼區塊之原始的未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元的數目)。框內預測處理單元46可自針對各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現針對該區塊之最好的速率-失真值。
在任何狀況下，在針對區塊選擇框內預測模式之後，框內預測處理單元46可將指示針對該區塊之所選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱為碼字映射表)；針對各種區塊之編碼上下文的定義；及待用於上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
在預測處理單元41經由框間預測抑或框內預測針對當前視訊區塊產生預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換為變換域(諸如，頻域)。
變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步降低位元速率。量化處理程序可減小與該等係數中之一些或全部相關聯的位元深度。量化之程度可藉由調整量化參數來修改。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率間隔分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56之熵編碼之後，經編碼位元串流可傳輸至視訊解碼器30，或經存檔以供稍後傳輸或藉由視訊解碼器30擷 取。熵編碼單元56亦可熵編碼針對正寫碼之當前視訊片段的運動向量及其他語法元素。
逆量化單元58及逆變換處理單元60分別應用逆量化及逆變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。視訊編碼器20之此部分有時被稱作重建構迴路，且有效地解碼經編碼視訊區塊以供在框間預測中用作參考圖像。經重建構圖像及/或經重建構層圖像儲存於DPB 64中。
運動及差異補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者的預測性區塊而計算參考區塊。運動及差異補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值以供在運動估計中使用。求和器62將經重建構殘餘區塊添加至藉由運動補償單元44所產生之運動補償預測區塊以產生參考區塊以供儲存於DPB 64中。參考區塊可藉由運動及差異估計單元42以及運動及差異補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中的區塊。
如上文參看圖5所論述，DPB 64可分割為複數個子DPB，其中每一子DPB經組態以在多層視訊寫碼處理程序中針對不同類型之層儲存圖像。如上文所論述及下文將參看圖8更詳細地論述，視訊編碼器20可經組態以執行本發明之子DPB參數傳信技術。
圖7為說明可實施本發明中所述之子DPB參數傳信技術的實例視訊解碼器30之方塊圖。在圖7之實例中，視訊解碼器30包括視訊資料記憶體69、熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90及DPB 92。預測處理單元81包括運動及差異補償單元82及框內預測處理單元84。在一些實例中，視訊解碼器30可執行與關於來自圖6之視訊編碼器20所述之編碼遍次大體上互逆的解碼遍次。
視訊資料記憶體69可儲存待藉由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體69中之視訊資料可(例如)自儲存器件34、自局域視訊源(諸如，攝影機)、經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體69可自經編碼視訊位元串流形成儲存經編碼視訊資料之經寫碼圖像緩衝器(CPB)。
在解碼處理程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量、差異向量及其他語法元素。熵解碼單元80將運動向量、差異向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊片段層級及/或視訊區塊層級處接收語法元素。
當視訊片段寫碼為框內寫碼(I)片段時，預測處理單元81之框內預測處理單元84可基於經傳信之框內預測模式及來自當前圖框或圖像之先前解碼區塊的資料針對當前視訊片段之視訊區塊產生預測資料。當視訊圖框寫碼為框間寫碼(亦即，B或P)片段或視圖間預測片段時，預測處理單元81之運動及差異補償單元82基於自熵解碼單元80所接收之運動向量、差異向量及其他語法元素針對當前視訊片段的視訊區塊產生預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 92中之參考圖像使用預設建構技術來建構參考圖框清單List 0及List 1。
運動及差異補償單元82藉由剖析運動向量及其他語法元素針對當前視訊片段之視訊區塊判定預測資訊，且使用預測資訊來針對正解碼之當前視訊區塊產生預測性區塊。舉例而言，運動及差異補償單元82使用所接收語法元素中之一些來判定用以寫碼視訊片段之視訊區塊的預測模式(例如，框內或框間預測)、框間預測或視圖間預測片段類 型(例如，B片段或P片段)、針對片段之參考圖像清單中之一或多者的建構資訊、針對片段之每一框間編碼視訊區塊的運動向量及/或差異向量、針對片段之每一框間寫碼視訊區塊的框間預測狀態，及其他資訊以解碼當前視訊片段中的視訊區塊。
運動及差異補償單元82亦可基於內插濾波器執行內插。運動及差異補償單元82可使用如藉由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器來針對參考區塊之次整數像素計算內插值。在此狀況下，運動及差異補償單元82可自所接收語法元素判定藉由視訊編碼器20所使用之內插濾波器且使用內插濾波器來產生預測性區塊。
逆量化單元86逆量化(亦即，解量化)位元串流中所提供且藉由熵解碼單元80所解碼的經量化變換係數。逆量化處理程序可包括藉由視訊編碼器20所計算之量化參數針對視訊片段中之每一視訊區塊的使用，以判定量化之程度及(同樣)應應用之逆量化的程度。逆變換處理單元88將逆變換(例如，逆DCT、逆整數變換或概念上類似之逆變換處理程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動及差異補償單元82基於運動向量及/或差異向量及其他語法元素針對當前視訊區塊產生預測性區塊之後，視訊解碼器30藉由對來自逆變換處理單元88之殘餘區塊與藉由運動補償單元82所產生的相應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之組件。若需要，則解區塊濾波器亦可被應用以對經解碼區塊進行濾波以便移除方塊效應假影。其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。
給定圖框或圖像中之經解碼視訊接著儲存於DPB 92中，DPB 92儲存用於後續運動補償之參考圖像區塊(或在多層視訊寫碼處理程序中之層圖像)。DPB 92亦儲存經解碼視訊以供在顯示器件(諸如，圖1 之顯示器件32)上呈現。如上文參看圖5所論述，DPB 92可分割為複數個子DPB，其中每一子DPB經組態以在多層視訊寫碼處理程序中針對不同類型之層儲存圖像。如上文所論述及下文將參看圖9更詳細地論述，視訊解碼器30可經組態以執行本發明之子DPB參數傳信技術。
圖8為展示根據本發明之技術的實例編碼方法之流程圖。圖8之技術可藉由視訊編碼器20之一或多個硬體單元實施，包括DPB 64。
在本發明之一實例中，視訊編碼器20可經組態以重建構經編碼視訊位元串流之複數個圖像(800)，且將該複數個圖像儲存於一或多個子DPB中(802)。亦即，DPB 64可劃分為一或多個子DBP。視訊編碼器20可經進一步組態以針對經編碼視訊位元串流之每一各別操作點產生子DPB參數之各別集合(804)，針對每一各別操作點將子DPB參數之各別集合應用於輸出層集合之所有層(806)，及根據子DPB參數之所產生之各別單集合對一或多個子DPB執行子DPB管理處理程序(808)。在本發明之一實例中，子DPB參數包括指示針對該一或多個子DPB所允許之重排序圖像之最大數目的語法元素及指示針對該一或多個子DPB所允許之最大潛時的語法元素中之至少一者。視訊編碼器20可經進一步組態以在經編碼視訊位元串流中傳信子DPB參數之各別集合(810)。
在本發明之另一實例中，視訊編碼器20可經組態以在視訊參數集合(VPS)中產生子DPB參數之各別集合。在本發明之另一實例中，視訊編碼器20可經組態以產生指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信的第一各別子層語法元素。在本發明之另一實例中，視訊編碼器20可經組態以在第一子層語法元素指示子DPB參數可針對特定輸出層集合之每一子層傳信的狀況下，產生指示子DPB參數是否針對特定輸出層集合之各別子層傳信的第二各別子層語法元素。在本發明之另一實例中，視訊編碼器20可經組態以在第二各別子 層語法元素指示子DPB參數針對特定子層傳信之狀況下，針對特定子層產生子DPB參數之額外集合。
在本發明之另一實例中，子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出及自子DPB移除圖像中之至少一者，且其中執行子DPB管理處理程序包含使用子DPB參數之所接收之各別集合對存取單元層級執行子DPB管理處理程序。視訊編碼器20可經組態以藉由以下操作對存取單元層級執行子DPB管理處理程序：基於DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在每層層級上(例如，獨立地針對每一層)將圖像標記為未用於參考；及在每層層級上(例如，獨立地針對每一層)自子DPB移除圖像。
圖9為展示根據本發明之技術的實例解碼方法之流程圖。圖9之技術可藉由視訊解碼器30之一或多個硬體單元實施，包括DPB 92。
在本發明之一實例中，視訊解碼器30可經組態以接收包括複數個圖像之經編碼視訊位元串流(900)，及將該複數個圖像儲存於一或多個子DPB中(902)。亦即，DPB 92可劃分為一或多個子DBP。視訊解碼器30可經進一步組態以針對經編碼視訊位元串流之每一各別操作點接收子DPB參數之各別集合(904)，針對每一各別操作點將子DPB參數之各別集合應用於輸出層集合之所有層(906)，及根據子DPB參數之所接收之各別單集合對一或多個子DPB執行子DPB管理處理程序(908)。在本發明之一實例中，子DPB參數包括指示針對該一或多個子DPB所允許之重排序圖像之最大數目的語法元素及指示針對該一或多個子DPB所允許之最大潛時的語法元素中之至少一者。
在本發明之另一實例中，視訊解碼器30可經組態以在視訊參數集合(VPS)中接收子DPB參數之各別集合。在本發明之另一實例中，視訊解碼器30可經組態以接收指示子DPB參數是否針對每一各別輸出 層集合之每一子層傳信的第一各別子層語法元素。
在本發明之另一實例中，視訊解碼器30可經組態以在第一子層語法元素指示子DPB參數並未針對特定輸出層集合之每一子層傳信的狀況下，將子DPB參數之各別集合應用於特定輸出層集合之所有子層。在本發明之另一實例中，視訊解碼器30可經組態以在第一子層語法元素指示子DPB參數可針對特定輸出層集合之每一子層傳信的狀況下，接收指示子DPB參數是否針對特定輸出層集合之各別子層傳信的第二各別子層語法元素。
在本發明之另一實例中，視訊解碼器30可經組態以在第二各別子層語法元素指示子DPB參數並未針對特定子層傳信之狀況下，針對特定子層應用子DPB參數之所接收的各別集合。此外，在第二各別子層語法元素指示子DPB參數針對特定子層傳信之狀況下，視訊解碼器30可經組態以針對特定子層接收子DPB參數之額外集合。
在本發明之另一實例中，視訊解碼器30可經組態以在第二各別子層語法元素指示子DPB參數並未針對具有子層ID X之特定子層傳信的狀況下，針對具有大於X之子層ID的子層應用子DPB參數之最近接收之各別集合。
在本發明之另一實例中，子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出及自子DPB移除圖像中之至少一者，且其中執行子DPB管理處理程序包含使用子DPB參數之所接收之各別集合對存取單元層級執行子DPB管理處理程序。視訊解碼器30可經組態以藉由以下操作對存取單元層級執行子DPB管理處理程序：基於DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在每層層級上(例如，獨立地針對每一層)將圖像標記為未用於參考；及在每層層級上(例如，獨立地針對每一層)自子DPB移除圖像。
應認識到，取決於實例，本文所述之技術中之任一者的某些動作或事件可以不同序列執行、可增添、合併或完全省略(例如，針對技術之實踐，並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時而非順序地執行。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於本發明中所述之技術之實施的任何可用媒體。電腦程式產品可包括電腦可讀媒體。如本文所使用，術語「傳信」可包括儲存或以其他方式包括具有經編碼位元串流之資料。換言之，在根據本發明之各種實例中，術語「傳信」可與資料之及時通信或者並未及時執行的通信相關聯。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可藉由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜 線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而替代地針對非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上內容之組合亦應包括於電腦可讀媒體之範疇內。
指令可藉由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效的積體或離散邏輯電路。因此，如本文所使用之術語「處理器」可指前述結構或適用於本文所述之技術之實施的任何其他結構中之任一者。另外，在一些態樣中，本文所述之功能性可提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置來實施，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。各種組件、模組或單元在本發明中得以描述以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同的硬體單元來實現。實情為，如上文所述，各種單元可組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所述之一或多個處理器)之集合結合合適的軟體及/或韌體來提供。
各種實例已得以描述。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (38)

  1. 一種解碼視訊資料之方法，該方法包含：自一經編碼視訊位元串流接收複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層；解碼該複數個輸出層集合之每一各別複數個子層；將經解碼之每一各別複數個子層儲存於一或多個子解碼圖像緩衝器(DPB)中；自該經編碼視訊串流接收該複數個輸出層集合之每一輸出層集合之一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，自該經編碼視訊串流接收一第二各別語法元素，其中每一第二各別語法元素指示子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；自該經編碼視訊串流接收每一各別複數個子層之該第一子層之子DPB參數之一各別集合；及根據所接收之子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序。
  2. 如請求項1之方法，其中每一各別複數個子層之該第一子層之子DPB參數之每一各別集合包括以下之至少一者：指示針對該一或多個子DPB所允許之重排序圖像之一最大數目的一各別第三語法元素；或指示針對該一或多個子DPB所允許之一最大潛時的一各別第四語法元素。
  3. 如請求項1之方法，其中接收子DPB參數之該各別集合包含在一視訊參數集合(VPS)中接收子DPB參數之該各別集合。
  4. 如請求項1之方法，其進一步包含：基於指示子DPB參數並未針對該複數個輸出層集合之一第二特定輸出層集合之每一子層傳信的該第一各別語法元素，將該第二特定輸出層集合之子DPB參數之該各別集合應用於該第二特定輸出層集合之所有子層。
  5. 如請求項1之方法，其進一步包含：當該第一各別語法參數指示子DPB參數針對該第一複數個輸出層集合之每一子層傳信時，接收不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一子層之每一第二各別語法元素。
  6. 如請求項1之方法，其進一步包含：基於指示子DPB參數並未針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一特定子層傳信的該第二各別語法元素，針對該特定子層應用子DPB參數的一最近接收之各別集合；或當該第二各別語法元素指示子DPB參數針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之該特定子層傳信，針對該特定子層接收子DPB參數之一各別集合。
  7. 如請求項1之方法，其進一步包含：基於指示子DPB參數並未針對具有一子層ID X之一特定子層傳信的該第二各別語法元素，針對不同於該第一特定輸出層集合之該第一子層且具有大於X之一各別子層ID的該一或多個子層之子層應用子DPB參數之一最近接收之各別集合，其中具有該子層ID X之該特定子層為不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一者。
  8. 如請求項1之方法，其中該子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出或自該子DPB移除圖像中之至少一者，且其中該執行該子DPB管理處理程序包含使用子DPB參數之所接收之該等各別集合對一存取單元層級執行該子DPB管理處理程序。
  9. 如請求項8之方法，其中對該存取單元層級執行該子DPB管理處理程序包含：基於該一或多個子DPB之一第一子DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在一每層層級上將圖像標記為未用於參考；及在一每層層級上自該第一子DPB移除圖像。
  10. 一種經組態以解碼視訊資料之裝置，該裝置包含：一或多個記憶體器件，其包含經組態以儲存視訊資料之一或多個子解碼圖像緩衝器(DPB)；及一視訊解碼器，其經組態以：自一經編碼視訊位元串流接收複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層；解碼該複數個輸出層集合之每一各別複數個子層；將經解碼之每一各別複數個子層儲存於該一或多個子DPB中；自該經編碼視訊串流接收該複數個輸出層集合之每一輸出層集合之一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，自該經編碼視訊串流接收一第二各別語法元素，其中每一第二各別語法元素指示子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；自該經編碼視訊串流接收每一各別複數個子層之該第一子層之子DPB參數之一各別集合；及根據所接收之子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序。
  11. 如請求項10之裝置，其中每一各別複數個子層之該第一子層之子DPB參數之每一各別集合包括以下之至少一者：指示針對該一或多個子DPB所允許之重排序圖像之一最大數目的一各別第三語法元素；或指示針對該一或多個子DPB所允許之一最大潛時的一各別第四語法元素。
  12. 如請求項10之裝置，其中該視訊解碼器經組態以在一視訊參數集合(VPS)中接收子DPB參數之該各別集合。
  13. 如請求項10之裝置，其中該視訊解碼器經進一步組態以：基於指示子DPB參數並未針對該複數個輸出層集合之一第二特定輸出層集合之每一子層傳信的該第一各別語法元素，將該第二特定輸出層集合之子DPB參數之該各別集合應用於該第二特定輸出層集合之所有子層。
  14. 如請求項10之裝置，其中該視訊解碼器經進一步組態以：當該第一各別語法參數指示子DPB參數針對該第一複數個輸出層集合之每一子層傳信時，接收不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一子層之每一第二各別語法元素。
  15. 如請求項10之裝置，其中該視訊解碼器經進一步組態以：基於指示子DPB參數並未針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一特定子層傳信的該第二各別語法元素，針對該特定子層應用子DPB參數的一最近接收之各別集合；或當該第二各別語法元素指示子DPB參數針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之該特定子層傳信，針對該特定子層接收子DPB參數之一各別集合。
  16. 如請求項10之裝置，其中該視訊解碼器經進一步組態以：基於指示子DPB參數並未針對具有一子層ID X之一特定子層傳信的該第二各別語法元素，針對不同於該第一特定輸出層集合之該第一子層且具有大於X之一各別子層ID的該一或多個子層之子層應用子DPB參數之一最近接收之各別集合，其中具有該子層ID X之該特定子層為不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一者。
  17. 如請求項10之裝置，其中該子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出或自該子DPB移除圖像中之至少一者，且其中該執行該子DPB管理處理程序包含使用子DPB參數之所接收之該等各別集合對一存取單元層級執行該子DPB管理處理程序。
  18. 如請求項17之裝置，其中該視訊解碼器經進一步組態以：基於該一或多個子DPB之一第一子DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在一每層層級上將圖像標記為未用於參考；及在一每層層級上自該第一子DPB移除圖像。
  19. 一種經組態以解碼視訊資料之裝置，該裝置包含：用於自一經編碼視訊位元串流接收複數個輸出層集合的構件，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層；用於解碼該複數個輸出層集合之每一各別複數個子層的構件；用於將經解碼之每一各別複數個子層儲存於一或多個子解碼圖像緩衝器(DPB)中的構件；用於自該經編碼視訊串流接收該複數個輸出層集合之每一輸出層集合之一第一各別語法元素的構件，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；用於針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，自該經編碼視訊串流接收一第二各別語法元素的構件，其中每一第二各別語法元素指示子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；用於自該經編碼視訊串流接收每一各別複數個子層之該第一子層之子DPB參數之一各別集合的構件；及用於根據所接收之子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序的構件。
  20. 一種非暫時性電腦可讀儲存媒體，具有指令儲存於其上，當執行該等指令時使經組態以解碼視訊資料之一器件之一或多個處理器：自一經編碼視訊位元串流接收複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層；解碼該複數個輸出層集合之每一各別複數個子層；將經解碼之每一各別複數個子層儲存於一或多個子DPB中；自該經編碼視訊串流接收該複數個輸出層集合之每一輸出層集合之一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，自該經編碼視訊串流接收一第二各別語法元素，其中每一第二各別語法元素指示子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；自該經編碼視訊串流接收每一各別複數個子層之該第一子層之子DPB參數之一各別集合；及根據所接收之子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序。
  21. 一種編碼視訊資料之方法，該方法包含：重建構一經編碼視訊位元串流之複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層，其中重建構該複數個輸出層集合包括重建構該複數個輸出層集合之每一各別複數個子層；將經重建構之每一各別複數個子層儲存於一或多個子解碼圖像緩衝器(DPB)中；針對該複數個輸出層集合之每一輸出層集合產生一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，產生一第二各別語法元素，其中每一第二各別語法元素指示該等子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；產生每一各別複數個子層之該第一子層之該等子DPB參數之一各別集合；根據所產生之該等子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中產生該等子DPB參數之每一各別集合。
  22. 如請求項21之方法，其中每一各別複數個子層之該第一子層之子DPB參數之每一各別集合包括以下之至少一者：指示針對該一或多個子DPB所允許之重排序圖像之一最大數目的一各別第三語法元素；或指示針對該一或多個子DPB所允許之一最大潛時的一各別第四語法元素。
  23. 如請求項21之方法，其中產生該等子DPB參數之該各別集合包含在一視訊參數集合(VPS)中產生子DPB參數之該各別集合。
  24. 如請求項21之方法，其進一步包含：在該經編碼視訊位元串流中產生該複數個輸出層集合之每一輸出層集合之每一第一各別語法元素；及在該經編碼視訊位元串流中產生不同於該複數個輸出層集合之一第一特定輸出層集合之該第一子層的該一或多個子層之每一子層之每一第二各別語法元素。
  25. 如請求項21之方法，其進一步包含：基於指示子DPB參數針對該第一特定輸出層集合之每一子層傳信之該第一各別語法元素，針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一子層產生每一第二各別語法元素。
  26. 如請求項21之方法，其進一步包含：基於指示子DPB參數針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一特定子層傳信之該第二各別語法元素，針對該特定子層產生子DPB參數之一各別集合。
  27. 如請求項21之方法，其中該子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出或自該子DPB移除圖像中之至少一者，且其中該執行該子DPB管理處理程序包含使用子DPB參數之所產生之該等各別集合對一存取單元層級執行該子DPB管理處理程序。
  28. 如請求項27之方法，其中對該存取單元層級執行該子DPB管理處理程序包含：基於該一或多個子DPB之一第一子DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在一每層層級上將圖像標記為未用於參考；及在一每層層級上自該第一子DPB移除圖像。
  29. 一種經組態以編碼視訊資料之裝置，該裝置包含：一或多個記憶體器件，其包含經組態以儲存視訊資料之一或多個子解碼圖像緩衝器(DPB)；及一視訊編碼器，其經組態以：重建構一經編碼視訊位元串流之複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層，其中重建構該複數個輸出層集合包括重建構該複數個輸出層集合之每一各別複數個子層；將經重建構之每一各別複數個子層儲存於該一或多個子解碼圖像緩衝器(DPB)中；針對該複數個輸出層集合之每一輸出層集合產生一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，產生一第二各別語法元素，其中每一第二各別語法元素指示該等子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；產生每一各別複數個子層之該第一子層之該等子DPB參數之一各別集合；根據所產生之該等子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中產生該等子DPB參數之每一各別集合。
  30. 如請求項29之裝置，其中每一各別複數個子層之該第一子層之子DPB參數之每一各別集合包括以下之至少一者：指示針對該一或多個子DPB所允許之重排序圖像之一最大數目的一各別第三語法元素；或指示針對該一或多個子DPB所允許之一最大潛時的一各別第四語法元素。
  31. 如請求項29之裝置，其中該視訊編碼器經組態以在一視訊參數集合(VPS)中產生該等子DPB參數之該各別集合。
  32. 如請求項29之裝置，其中該視訊編碼器經組態以：在該經編碼視訊位元串流中產生該複數個輸出層集合之每一輸出層集合之每一第一各別語法元素；及在該經編碼視訊位元串流中產生不同於該複數個輸出層集合之一第一特定輸出層集合之該第一子層的該一或多個子層之每一子層之每一第二各別語法元素。
  33. 如請求項29之裝置，其中該視訊編碼器經組態以：基於指示子DPB參數針對該第一特定輸出層集合之每一子層傳信之該第一各別語法元素，針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一子層產生每一第二各別語法元素。
  34. 如請求項29之裝置，其中該視訊編碼器經組態以：基於指示子DPB參數針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之一特定子層傳信之該第二各別語法元素，針對該特定子層產生子DPB參數之一各別集合。
  35. 如請求項29之裝置，其中該子DPB管理處理程序包括將圖像標記為未用於參考、標記圖像以用於輸出或自該子DPB移除圖像中之至少一者，且其中該執行該子DPB管理處理程序包含使用子DPB參數之該等所產生之各別集合對一存取單元層級執行該子DPB管理處理程序。
  36. 如請求項35之裝置，其中該視訊編碼器經組態以：基於該一或多個子DPB之一第一子DPB中含有標記為需要用於輸出之至少一圖像的存取單元之數目輸出圖像；在一每層層級上將圖像標記為未用於參考；及在一每層層級上自該第一子DPB移除圖像。
  37. 一種經組態以編碼視訊資料之裝置，該裝置包含：用於重建構一經編碼視訊位元串流之複數個輸出層集合的構件，其中該複數個輸出層集合之每一輸出層集合包括各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層，其中重建構該複數個輸出層集合包括重建構該複數個輸出層集合之每一各別複數個子層；用於將經重建構之每一各別複數個子層儲存於一或多個子解碼圖像緩衝器(DPB)中的構件；用於針對該複數個輸出層集合之每一輸出層集合產生一第一各別語法元素的構件，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；用於針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，產生一第二各別語法元素的構件，其中每一第二各別語法元素指示該等子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；用於產生每一各別複數個子層之該第一子層之該等子DPB參數之一各別集合的構件；用於根據所產生之該等子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序的構件；及用於在該經編碼視訊位元串流中產生該等子DPB參數之每一各別集合的構件。
  38. 一種非暫時性電腦可讀儲存媒體，具有指令儲存於其上，當執行該等指令時使經組態以編碼視訊資料之一器件之一或多個處理器：重建構一經編碼視訊位元串流之複數個輸出層集合，其中該複數個輸出層集合之每一輸出層集合包括一各別複數個子層，其中每一各別複數個子層包括一第一子層及不同於該第一子層之一或多個子層，其中每一各別複數個子層之該第一子層為一基礎子層，其中重建構該複數個輸出層集合包括重建構該複數個輸出層集合之每一各別複數個子層；將經重建構之每一各別複數個子層儲存於一或多個子解碼圖像緩衝器(DPB)中；針對該複數個輸出層集合之每一輸出層集合產生一第一各別語法元素，其中每一第一各別語法元素指示子DPB參數是否針對每一各別輸出層集合之每一子層傳信；針對該複數個輸出層集合之一第一特定輸出層集合之該一或多個子層中除該第一子層以外的每一子層，產生一第二各別語法元素，其中每一第二各別語法元素指示該等子DPB參數是否針對不同於該第一特定輸出層集合之該第一子層的該一或多個子層之每一各別子層傳信；產生每一各別複數個子層之該第一子層之該等子DPB參數之一各別集合；根據所產生之該等子DPB參數之每一各別集合對該一或多個子DPB執行一子DPB管理處理程序；及在該經編碼視訊位元串流中產生該等子DPB參數之每一各別集合。
TW103135272A 2013-10-10 2014-10-09 於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信 TWI652940B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361889515P 2013-10-10 2013-10-10
US61/889,515 2013-10-10
US201361890841P 2013-10-14 2013-10-14
US61/890,841 2013-10-14
US14/509,797 2014-10-08
US14/509,797 US9819941B2 (en) 2013-10-10 2014-10-08 Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding

Publications (2)

Publication Number Publication Date
TW201531096A TW201531096A (zh) 2015-08-01
TWI652940B true TWI652940B (zh) 2019-03-01

Family

ID=52809625

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135272A TWI652940B (zh) 2013-10-10 2014-10-09 於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信

Country Status (11)

Country Link
US (1) US9819941B2 (zh)
EP (1) EP3056003B1 (zh)
JP (1) JP6400691B2 (zh)
KR (1) KR101904625B1 (zh)
CN (1) CN105637878B (zh)
BR (1) BR112016007916B1 (zh)
CA (1) CA2924397C (zh)
ES (1) ES2780688T3 (zh)
HU (1) HUE047141T2 (zh)
TW (1) TWI652940B (zh)
WO (1) WO2015054509A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015053597A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015053596A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US20150103924A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
US10284858B2 (en) 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
US11025933B2 (en) 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2020249530A1 (en) * 2019-06-14 2020-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Layered video data stream
EP4026328A4 (en) * 2019-09-24 2022-10-19 Huawei Technologies Co., Ltd. HRD COMPLIANCE TESTING ON AN OLS
JP7388612B2 (ja) * 2019-09-24 2023-11-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド マルチレイヤビデオビットストリームのためのｄｐｂパラメータのシグナリング
KR20220070325A (ko) * 2019-10-07 2022-05-30 후아웨이 테크놀러지 컴퍼니 리미티드 서브 비트스트림 추출의 sps 오류 방지
KR20220100976A (ko) * 2019-12-30 2022-07-18 엘지전자 주식회사 Dpb 파라미터를 코딩하는 영상 디코딩 방법 및 그 장치
JP7441316B2 (ja) * 2019-12-30 2024-02-29 エルジー エレクトロニクス インコーポレイティド Ｏｌｓ ｄｐｂパラメータインデックスを含む映像情報ベースの映像デコーディング方法及びその装置
US20220408115A1 (en) * 2019-12-30 2022-12-22 Lg Electronics Inc. Image decoding method and device
WO2021137597A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
CN115152233A (zh) * 2019-12-30 2022-10-04 Lg电子株式会社 包括dpb管理处理的图像解码方法及其设备
US11272214B2 (en) * 2020-01-27 2022-03-08 Tencent America LLC Method for picture output with output layer set
KR20220143936A (ko) * 2020-02-28 2022-10-25 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 파라미터 세트의 시그널링 및 의미론적 대응 방법
WO2021197979A1 (en) * 2020-03-31 2021-10-07 Interdigital Vc Holdings France Method and apparatus for video encoding and decoding
KR20230008795A (ko) * 2020-05-04 2023-01-16 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
CN115943627A (zh) 2020-06-08 2023-04-07 字节跳动有限公司 对编解码视频图片中条带计数的约束
US11729381B2 (en) * 2020-07-23 2023-08-15 Qualcomm Incorporated Deblocking filter parameter signaling

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
EP2907308B1 (en) * 2012-10-09 2019-08-14 Cisco Technology, Inc. Providing a common set of parameters for sub-layers of coded video
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CA3129121C (en) * 2013-04-07 2024-02-20 Dolby International Ab Signaling change in output layer sets
US9794579B2 (en) 2013-07-15 2017-10-17 Qualcomm Incorporated Decoded picture buffer operations for video coding

Also Published As

Publication number Publication date
KR20160068805A (ko) 2016-06-15
HUE047141T2 (hu) 2020-04-28
WO2015054509A1 (en) 2015-04-16
CN105637878A (zh) 2016-06-01
US9819941B2 (en) 2017-11-14
CA2924397C (en) 2020-01-28
BR112016007916A2 (zh) 2017-08-01
ES2780688T3 (es) 2020-08-26
EP3056003A1 (en) 2016-08-17
BR112016007916B1 (pt) 2023-05-02
EP3056003B1 (en) 2019-12-25
CA2924397A1 (en) 2015-04-16
JP6400691B2 (ja) 2018-10-03
JP2016539537A (ja) 2016-12-15
KR101904625B1 (ko) 2018-10-04
TW201531096A (zh) 2015-08-01
CN105637878B (zh) 2019-06-11
US20150103884A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
TWI652940B (zh) 於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信
JP6400660B2 (ja) Ｈｅｖｃおよび拡張のためのビデオパラメータセット
JP6513650B2 (ja) ビデオコーディングのための復号ピクチャバッファ動作
JP6932144B2 (ja) Ｈｅｖｃおよびｌ−ｈｅｖｃファイルフォーマットでのタイルグルーピングおよびサンプルのマッピング
US10284858B2 (en) Support of multi-mode extraction for multi-layer video codecs
JP6158422B2 (ja) アラインされていないｉｒａｐピクチャを含み得るマルチレイヤビットストリームのクロスレイヤｐｏｃアラインメント
KR101724222B1 (ko) 멀티-레이어 비디오 코딩을 위한 다중-해상도 디코딩된 픽처 버퍼 관리
JP2016067009A (ja) 内部ビュー動き予測（ｉｖｍｐ）モードをサポートするｍｖｃベースの３ｄｖｃコーデック
KR102434872B1 (ko) 멀티-계층 비디오 코딩에 대한 poc 값 설계
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TW201515443A (zh) 用於視訊寫碼之跨層平行處理與偏移延遲參數
JP6312838B2 (ja) マルチレイヤコード化においてレイヤ間参照ピクチャセット（ＲＰＳ）をコード化し、ビットストリーム終端（ＥｏＢ）ネットワークアクセスレイヤ（ＮＡＬ）単位をコード化するための方法
JP2017507546A (ja) マルチレイヤコード化において参照ピクチャセット（ｒｐｓ）をコード化するための方法
AU2016219228B2 (en) Signaling of operation points for carriage of HEVC extensions