TW201536038A - 用於視訊資訊之可擴展寫碼之裝置及方法 - Google Patents

用於視訊資訊之可擴展寫碼之裝置及方法 Download PDF

Info

Publication number
TW201536038A
TW201536038A TW103144672A TW103144672A TW201536038A TW 201536038 A TW201536038 A TW 201536038A TW 103144672 A TW103144672 A TW 103144672A TW 103144672 A TW103144672 A TW 103144672A TW 201536038 A TW201536038 A TW 201536038A
Authority
TW
Taiwan
Prior art keywords
image
poc
video
current image
reset
Prior art date
Application number
TW103144672A
Other languages
English (en)
Other versions
TWI645716B (zh
Inventor
Adarsh Krishnan Ramasubramonian
Fnu Hendry
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201536038A publication Critical patent/TW201536038A/zh
Application granted granted Critical
Publication of TWI645716B publication Critical patent/TWI645716B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示一種經組態以寫碼視訊資訊之設備，其包括一記憶體單元及與該記憶體單元通信之一處理器。該記憶體單元經組態以儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊。該處理器經組態以處理與該當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一圖像次序計數(picture order count；POC)之最高有效位元(most significant bits；MSB)，與(b)該當前圖像之一第二POC之MSB。

Description

用於視訊資訊之可擴展寫碼之裝置及方法
本發明係關於視訊寫碼及壓縮之領域，特定言之，係關於可擴展視訊寫碼(SVC)、多視圖視訊寫碼(MVC)或三維(3D)視訊寫碼(3DV)。
數位視訊能力可併入至廣泛範圍的裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄裝置、數字媒體播放器、視訊遊戲裝置、視頻遊戲主機、蜂巢式或衛星無線電電話、視訊電話會議裝置及類似者。數位視訊裝置實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊裝置可藉由實施此類視訊寫碼技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊切片(例如，視訊圖框、視訊圖框之一部分等)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼 (I)之切片中的視訊區塊。圖像之經框間寫碼(P或B)切片中的視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料而編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描一開始排列成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵編碼以達成甚至較多壓縮。
本發明之系統、方法及裝置各具有若干創新態樣，其中無單一者單獨負責本文中所揭示之合乎需要的屬性。
在一個態樣中，一種經組態以寫碼(例如，編碼或解碼)視訊資訊之設備包括一記憶體單元及與該記憶體單元通信之一處理器。該記憶體單元經組態以儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊。該處理器經組態以處理與該當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一圖像次序計數(POC)之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
在另一態樣中，一種寫碼視訊資訊之方法包含處理與一第一視訊層中之一當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一POC之最高有效位元(MSB)，與(b)該當前圖像之 一第二POC之MSB。
在另一態樣中，一種非暫時性電腦可讀媒體包含當經執行時使一設備執行一處理程序之程式碼。該處理程序包括儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊，及處理與該當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一POC之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
在另一態樣中，一種經組態以寫碼視訊資訊之視訊寫碼裝置包含用於儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊之構件，及用於處理與該當前圖像相關聯之一第一偏移之構件，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一POC之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
10‧‧‧視訊寫碼系統
10'‧‧‧視訊編碼及解碼系統
11‧‧‧裝置
12‧‧‧源裝置
13‧‧‧處理器/控制器裝置
14‧‧‧目的地裝置
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
20A‧‧‧視訊編碼器
20B‧‧‧視訊編碼器
21‧‧‧視訊處理單元
22‧‧‧輸出介面
23‧‧‧視訊編碼器
28‧‧‧輸入介面
29‧‧‧追蹤器
30‧‧‧視訊解碼器
30A‧‧‧視訊解碼器
30B‧‧‧視訊解碼器
31‧‧‧儲存裝置
32‧‧‧顯示裝置
33‧‧‧視訊解碼器
90‧‧‧重新取樣單元
92‧‧‧增加取樣單元
94‧‧‧減少取樣單元
98‧‧‧多工器
99‧‧‧解多工器
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換單元
112‧‧‧重建構單元
113‧‧‧濾波器單元
114‧‧‧經解碼圖像緩衝器
116‧‧‧熵編碼單元
121‧‧‧框間預測單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測單元
128‧‧‧層間預測單元
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換單元
158‧‧‧重建構單元
159‧‧‧濾波器單元
160‧‧‧經解碼圖像緩衝器
162‧‧‧運動補償單元
164‧‧‧框內預測單元
166‧‧‧層間預測單元
400‧‧‧多層位元串流
410‧‧‧增強層(EL)
412‧‧‧EL圖像
414‧‧‧EL圖像
416‧‧‧EL圖像
418‧‧‧EL圖像
420‧‧‧基礎層(BL)
422‧‧‧BL圖像
424‧‧‧BL圖像
426‧‧‧BL圖像
428‧‧‧BL圖像
430‧‧‧存取單元(AU)
440‧‧‧存取單元(AU)
450‧‧‧存取單元(AU)
460‧‧‧存取單元(AU)
500‧‧‧表
600‧‧‧多層位元串流
610‧‧‧增強層(EL)
612‧‧‧EL圖像
614‧‧‧EL圖像
616‧‧‧EL圖像
618‧‧‧EL圖像
620‧‧‧基礎層(BL)
622‧‧‧BL圖像
624‧‧‧BL圖像
626‧‧‧BL圖像
628‧‧‧BL圖像
630‧‧‧存取單元(AU)
640‧‧‧存取單元(AU)
650‧‧‧存取單元(AU)
660‧‧‧存取單元(AU)
700‧‧‧表
800‧‧‧用於寫碼視訊資訊之方法
圖1A為說明可利用根據本發明中描述之態樣的技術之一實例視訊編碼及解碼系統之方塊圖。
圖1B為說明可執行根據本發明中描述之態樣的技術之另一實例視訊編碼及解碼系統之方塊圖。
圖2A為說明可實施根據本發明中描述之態樣的技術之視訊編碼器之一實例之方塊圖。
圖2B為說明可實施根據本發明中描述之態樣的技術之視訊編碼器之一實例之方塊圖。
圖3A為說明可實施根據本發明中描述之態樣的技術之視訊解碼器之一實例之方塊圖。
圖3B為說明可實施根據本發明中描述之態樣的技術之視訊解碼器之一實例之方塊圖。
圖4為說明在不同層中的圖像之一實例組態之方塊圖。
圖5為說明在不同層中的圖像之POC值之表。
圖6為說明在不同層中的圖像之一實例組態之方塊圖。
圖7為說明在不同層中的圖像之POC值之表。
圖8為說明根據本發明之一個實施例的寫碼視訊資訊之方法之流程圖。
一般而言，本發明係關於針對在進階視訊編碼解碼器之情況下的多層視訊寫碼(諸如，HEVC(高效率視訊寫碼))之POC管理。更具體言之，本發明係關於用於在HEVC之可擴展視訊寫碼(SVC)擴展中的層間預測之改良之效能之系統及方法。
可擴展視訊寫碼(SVC)指使用一基礎層(BL)(有時被稱作參考層(RL))及一或多個可擴展增強層(EL)之視訊寫碼。在SVC中，基礎層可攜載具有基礎品質位準之視訊資料。該一或多個增強層可攜載額外視訊資料以支援(例如)較高空間、時間及/或信雜比(SNR)位準。可相對於先前編碼之層來界定增強層。舉例而言，底層可充當BL，而頂層可充當EL。中間層可充當EL或RL，或兩者。舉例而言，中間層(例如，既非最低層，亦非最高層)可為在中間層下方之層(諸如，基礎層或任何插入之增強層)的EL，且同時，充當在中間層上方之一或多個增強層的RL。類似地，在HEVC標準之多視圖或3D擴展中，可存在多個視圖，且可利用一個視圖之資訊寫碼(例如，編碼或解碼)另一視圖之資訊(例如，運動估計、運動向量預測及/或其他冗餘)。
在一些視訊寫碼方案中，可使用圖像次序計數(POC)指示待輸出或顯示圖像之次序。另外，在一些實施中，只要在位元串流中處理某些類型之圖像，便可重設POC之值(例如，設定至零、設定至在位元串流中傳訊或自位元串流中包括之資訊導出之值)。舉例而言，當在 位元串流中處理某些隨機存取點圖像時，可重設POC。
為了改良位元率效率，在一些實施中，僅傳訊POC之一部分。舉例而言，可傳訊POC之最低有效位元(LSB)，且可使用圖像之網路抽象層(NAL)單元類型及按解碼次序在當前圖像前的圖像之LSB及/或最高有效位元(MSB)計算(例如，判定)POC之MSB。在其他實施中，可在包括清潔隨機存取(clean random access；CRA)圖像及斷鏈存取(broken link access；BLA)圖像的某些類型之圖像之切片標頭擴展中傳訊POC MSB資訊，以改良POC導出處理程序之抗錯性。然而，在一些情況下，使用傳訊之POC MSB資訊計算僅用於CRA及BLA圖像的POC值(其中NoRaslOutputFlag等於值1)可導致不正確的POC值或導致跨多個層不對準之POC值。舉例而言，當存取單元之每一圖像具有同一POC值時，發生跨多個層之對準(例如，交叉對準)，使得同時或幾乎同時地輸出存取單元之圖像。此不對準將違反可擴展高效率視訊寫碼(SHVC)標準要求之約束，SHVC標準要求單一存取單元中之圖像具有相同POC值。
因此，需要用於導出POC值的改良之寫碼方法。
在本發明中，描述可用以改良針對多層視訊寫碼之POC導出的各種技術。在本發明之一些實施例中，POC MSB資訊(在本發明中有時被稱作「POC MSB循環」)可不僅具備CRA及BLA圖像，且亦具備瞬時解碼器再新(instantaneous decoder refresh；IDR)圖像。藉由提供關於IDR圖像之POC MSB資訊，亦可針對IDR圖像達成抗錯性及改良之POC導出。在本發明之一些實施例中，可基於POC MSB資訊是否具備POC重設圖像來以不同方式利用POC MSB資訊。舉例而言，若POC MSB資訊具備POC重設圖像，則可使用POC MSB資訊更新經解碼圖像緩衝器(DPB)中的圖像之POC值。若POC MSB資訊具備非POC重設圖像，則使用POC MSB資訊計算(例如，判定)非POC重設圖像之 POC。藉由考慮圖像是否為POC重設圖像，寫碼器可能能夠防止DPB中之圖像在POC重設後變得無序。
在以下描述中，描述與某些實施例有關之H.264/AVC技術，亦論述HEVC標準及相關技術。雖然本文中在HEVC及/或H.264標準之情況下描述某些實施例，但一般熟習此項技術者可瞭解，本文中揭示之系統及方法可適用於任何合適的視訊寫碼標準。舉例而言，本文中揭示之實施例可適用於以下標準中之一或多者(例如，包括由國際電信聯合會電信標準化部門[ITU-T]視訊寫碼專家小組[VCEG]或國際標準化組織/國際電工委員會[ISO/IEC]動畫專家小組[MPEG]開發之標準)：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
在許多方面，HEVC通常遵循先前視訊寫碼標準之構架。HEVC中的預測之單元不同於在某些先前視訊寫碼標準中的預測之單元(例如，巨集區塊)。事實上，在HEVC中不存在如在某些先前視訊寫碼標準中所理解的巨集區塊之概念。巨集區塊由基於四分樹方案之階層式結構替換，階層式結構可提供高靈活性以及其他可能益處。舉例而言，在HEVC方案內，定義三個類型之塊--寫碼單元(CU)、預測單元(PU)及變換單元(TU)。CU可指區域分裂之基本單元。可考慮CU類似於巨集區塊之概念，但HEVC不限制CU之最大大小，且可允許遞歸分裂成四個相等大小CU以改良內容適應性。可將PU考慮為框間/框內預測之基本單元，且單一PU可含有多個任意形狀分割區以有效地寫碼不規則影像圖案。可將TU考慮為變換之基本單元。可獨立於PU定義TU；然而，TU之大小可限於TU屬於的CU之大小。區塊結構至三個不同概念之此分開可允許將每一單元根據該單元之各別角色而最佳 化，其可導致改良之寫碼效率。
僅為了說明之目的，藉由僅包括兩個視訊資料層(例如，諸如基礎層之較低層及諸如增強層之較高層)之實例描述本文中揭示之某些實施例。視訊資料之「層」可大體指具有至少一個共同特性(諸如，視圖、圖框速率、解析度或類似者)之一連串圖像。舉例而言，層可包括與多視圖視訊資料之特定視圖(例如，透視圖)相關聯的視訊資料。作為另一實例，層可包括與可擴展視訊資料之特定層相關聯的視訊資料。因此，本發明可互換地參考視訊資料之層與視圖。舉例而言，視訊資料之視圖可被稱作視訊資料之層，且視訊資料之層可被稱作視訊資料之視圖。此外，多層編碼解碼器(亦被稱作多層視訊寫碼器或多層編碼器-解碼器)可共同指多視圖編碼解碼器或可擴展編碼解碼器(例如，經組態以使用MV-HEVC、3D-HEVC、SHVC或另一多層寫碼技術編碼及/或解碼視訊資料之編碼解碼器)。視訊編碼及視訊解碼可皆通常被稱作視訊寫碼。應理解，此等實例可適用於包括多個基礎層及/或增強層之組態。此外，為了易於解釋，參照某些實施例，以下揭示內容包括術語「圖框」或「區塊」。然而，此等術語並不意謂為限制性。舉例而言，以下描述之技術可供諸如區塊(例如，CU、PU、TU、巨集區塊等)、切片、圖框等之任何合適視訊單元使用。
視訊寫碼標準
諸如視訊影像、TV影像、靜態影像或由視訊記錄器或電腦產生之影像的數位影像可由按水平線及垂直線排列之像素或樣本組成。單一影像中的像素之數目通常有數萬個。每一像素通常含有亮度及色度資訊。在不壓縮之情況下，待自影像編碼器傳送至影像解碼器的資訊之絕對數量將致使即時影像傳輸不可能。為了減少待傳輸的資訊之量，已開發許多不同壓縮方法，諸如，JPEG、MPEG及H.263標準。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU- T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
此外，視訊寫碼標準(即，HEVC)正由ITU-T VCEG與ISO/IEC MPEG的關於視訊寫碼之聯合合作小組(JCT-VC)開發。對HEVC草案10之充分引用為Bross等人之文件JCTVC-L1003，「高效率視訊寫碼(HEVC)本文說明書草案10」，ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合合作小組(JCT-VC)，第12次會議：瑞士日內瓦，2013年1月14日至2013年1月23日。對HEVC之多視圖擴展(即，MV-HEVC)及對HEVC之可擴展擴展(名為SHVC)亦正分別由JCT-3V(關於3D視訊寫碼擴展開發之ITU-T/ISO/IEC聯合合作小組)及JCT-VC開發。
視訊寫碼系統
下文參看隨附圖式更充分地描述新穎系統、設備及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應將其解釋為限於貫穿本發明所呈現之任何具體結構或功能。相反，此等態樣經提供以使得本發明為詳盡且完整的，且將向熟習此項技術者充分傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解本發明之範疇意欲涵蓋本文中揭示的新穎系統、設備及方法之任何態樣，不管是獨立於本發明之任何其他態樣或與本發明之任何其他態樣組合地實施。舉例而言，可使用本文中所闡明之任何數目個態樣來實施設備或可使用本文中所闡明之任何數目個態樣來實踐方法。另外，本發明之範疇意欲涵蓋使用除本文中所闡明的本發明之各種態樣之外的或不同於本文中所闡明的本發明之各種態樣的其他結構、功能性或結構與功能性來實踐的此設備或方法。應理解，可藉由技術方案之一或多個要素來體現本文中所揭示之任一態樣。
儘管本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇。儘管提到了較佳態樣之一些益處及優點，但本發明之範疇並不意欲限於特定益處、用途或目標。相反，本發明之態樣意欲廣泛適用於不同無線技術、系統組態、網路及傳輸協定，其中之一些藉由諸圖中及對較佳態樣之以下描述中之實例來說明。實施方式及圖式僅對本發明進行說明而非限制，本發明之範疇由隨附申請專利範圍及其等效內容界定。
附圖說明實例。由附圖中之參考數字指示之元件對應於在以下描述中由相同參考數字指示之元件。在本發明中，名稱以序數詞(例如，「第一」、「第二」、「第三」等等)開始之元件未必暗示該等元件具有一特定次序。相反地，此等序數詞僅用以指相同或類似類型之不同元件。
圖1A為說明可利用根據本發明中描述之態樣的技術之一實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」一般指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般指視訊編碼及視訊解碼。除了視訊編碼器及視訊解碼器外，本申請案中描述之態樣可擴展至其他相關裝置，諸如，轉碼器(例如，可解碼位元串流且重新編碼另一位元串流之裝置)及中間框(例如，可修改、變換及/或另外操縱位元串流之裝置)。
如圖1A中所展示，視訊寫碼系統10包括源裝置12，其產生稍後待由目的地裝置14解碼之經編碼視訊資料。在圖1A之實例中，源裝置12與目的地裝置14在分開的裝置上，具體言之，源裝置12為源裝置之部分，且目的地裝置14為目的地裝置之部分。然而，注意，源模組12與目的地模組14可在同一裝置上或為同一裝置之部分，如在圖1B之實施中所展示。
再次參看圖1A，源裝置12及目的地裝置14可分別包含廣泛範圍 之裝置中的任何者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲主機、視訊串流裝置或類似者。在各種實施例中，源裝置12及目的地裝置14可經裝備以用於無線通信。
目的地裝置14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任何類型之媒體或裝置。在圖1A之實例中，鏈路16可包含一通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，並將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於有助於自源裝置12至目的地裝置14的通信之設備。
替代地，經編碼資料可自輸出介面22輸出至可選儲存裝置31。類似地，經編碼資料可由(例如，目的地裝置14之)輸入介面28自儲存裝置31存取。儲存裝置31可包括多種分散式或局部存取之資料儲存媒體中的任何者，諸如，硬碟機、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在再一實例中，儲存裝置31可對應於可保持由源裝置12所產生之經編碼視訊的檔案伺服器或另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置31存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案轉移協定(FTP)伺服器、網路附接儲存(NAS)裝置或本機磁碟機。目的地裝 置14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，無線區域網路[WLAN]連接)、有線連接(例如，數位用戶線(DSL)、電纜數據機等)或兩者之組合。經編碼視訊資料自儲存裝置31之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路(例如，經由超文字傳送協定(HTTP)之動態自適應串流等))、數位視訊之編碼以供儲存在資料儲存媒體上、儲存在資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1A之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源裝置12中，視訊源18可包括諸如視訊俘獲裝置(例如，視訊攝影機)、含有先前所俘獲視訊之視訊存檔、自視訊內容提供者接收視訊之視訊饋入介面及/或用於將電腦圖形資料產生為源視訊的電腦圖形系統之源，或此等源之組合。作為一個實例，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的相機電話或視訊電話，如在圖1B之實例中所說明。然而，本發明中所描述之技術一般可適用於視訊寫碼，且可應用於無線及/或有線應用。
經俘獲、預先俘獲或電腦產生之視訊可同視訊編碼器20編碼。可經由源裝置12之輸出介面22將經編碼視訊資料直接傳輸至目的地裝置14。經編碼視訊資料亦可(或替代地)儲存至儲存裝置31上用於稍後由目的地裝置14或其他裝置存取，用於解碼及/或播放。圖1A及圖1B 中所說明之視訊編碼器20可包含圖2A中說明之視訊編碼器20、圖2B中說明之視訊編碼器23或本文中描述之任一其他視訊編碼器。
在圖1A之實例中，目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地裝置14之輸入介面28可經由鏈路16及/或自儲存裝置31接收經編碼視訊資料。經由鏈路16傳遞或在儲存裝置31上提供之經編碼視訊資料可包括由視訊編碼器20產生之多種語法元素，用於由諸如視訊解碼器30之視訊解碼器在解碼視訊資料處理程序中使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。圖1A及圖1B中說明之視訊解碼器30可包含圖3A中說明之視訊解碼器30、圖3B中說明之視訊解碼器33或本文中描述之任一其他視訊解碼器。
顯示裝置32可與目的地裝置14整合或在目的地裝置14之外部。在一些實例中，目的地裝置14可包括整合式顯示裝置且亦經組態以與外部顯示裝置介接。在其他實例中，目的地裝置14可為顯示裝置。一般而言，顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
在相關態樣中，圖1B展示一實例視訊編碼及解碼系統10'，其中源模組12及目的地模組14在裝置11或裝置11之部分上。裝置11可為電話手機，諸如，「智慧型」電話或類似者。裝置11可包括與源模組12及目的地模組14操作性通信之可選控制器/處理器裝置13。圖1B之系統10'可進一步包括在視訊編碼器20與輸出介面22之間的視訊處理單元21。在一些實施中，視訊處理單元21為分開的單元，如在圖1B中所說明；然而，在其他實施中，視訊處理單元21可實施為視訊編碼器20及/或處理器/控制器裝置13之一部分。系統10'亦可包括一可選追蹤 器29，其可追蹤視訊序列中感興趣之目標。待追蹤的感興趣之目標可藉由結合本發明之一或多個態樣描述的技術來分段。在相關態樣中，追蹤可由顯示裝置32單獨或與追蹤器29一起執行。圖1B之系統10'及其組件另外類似於圖1A之系統10及其組件。
視訊編碼器20及視訊解碼器30可根據諸如HEVC標準之視訊壓縮標準操作，且可符合HEVC測試模型(HM)。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4第10部分AVC)或此等標準之擴展來操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
雖未在圖1A及圖1B之實例中展示，但視訊編碼器20及視訊解碼器30可各與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置在共同資料串流或分開的資料串流中的音訊及視訊兩者之編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵守ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器執行硬體中之該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中的組合式編碼器/解碼器(編碼解碼器)之部分。
視訊寫碼處理程序
如以上簡要地提到，視頻編碼器20編碼視訊資料。視訊資料可包含一或多個圖像。圖像中之每一者為形成視訊之部分的靜態影像。在一些情況下，圖像可被稱作視訊「圖框」。當視頻編碼器20編碼視訊資料時，視頻編碼器20可產生位元串流。位元串流可包括形成視訊資料之經寫碼表示之一連串位元。位元串流可包括經寫碼圖像及相關聯之資料。經寫碼圖像為圖像之經寫碼表示。
為了產生位元串流，視訊編碼器20可對視訊資料中之每一圖像執行編碼操作。當視訊編碼器20對圖像執行編碼操作時，視訊編碼器20可產生一系列經寫碼圖像及相關聯之資料。相關聯之資料可包括視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、自適應參數集(APS)及其他語法結構。SPS可含有適用於零或多個圖像序列之參數。PPS可含有適用於零或多個圖像之參數。APS可含有適用於零或多個圖像之參數。APS中之參數可為比PPS中之參數更可能改變的參數。
為了產生經寫碼圖像，視訊編碼器20可將圖像分割成相等大小之視訊區塊。視訊區塊可為樣本之二維陣列。視訊區塊中之每一者與樹型區塊相關聯。在一些情況下，樹型區塊可被稱作最大寫碼單元(LCU)。HEVC之樹型區塊可廣泛地類似於諸如H.264/AVC的先前標準之巨集區塊。然而，樹型區塊未必限於特定大小，且可包括一或多個寫碼單元(CU)。視訊編碼器20可使用四分樹分割來將樹型區塊之視訊區塊分割成與CU相關聯之視訊區塊(因此名為「樹型區塊」)。
在一些實例中，視頻編碼器20可將一圖像分割成複數個切片。切片中之每一者可包括整數數目個CU。在一些情況下，一切片包含整數數目個樹型區塊。在其它情況下，切片之邊界可在樹型區塊內。
作為對圖像執行編碼操作之部分，視訊編碼器20可對圖像之每一切片執行編碼操作。當視訊編碼器20對切片執行編碼操作時，視訊 編碼器20可產生與切片相關聯之經編碼資料。與切片相關聯之經編碼資料可被稱作「經寫碼切片」。
為了產生經寫碼切片，視訊編碼器20可對切片中之每一樹型區塊執行編碼操作。當視訊編碼器20對樹型區塊執行編碼操作時，視訊編碼器20可產生經寫碼樹型區塊。經寫碼樹型區塊可包含表示樹型區塊的經編碼型式之資料。
當視訊編碼器20產生經譯碼切片時，視訊編碼器20可根據光柵掃描次序對切片中之樹型區塊執行編碼操作(例如，編碼)。舉例而言，視訊編碼器20可按如下次序來編碼切片之樹型區塊：跨切片中的樹型區塊之最頂列自左至右進行，接著跨樹型區塊之下一較低列自左至右進行，以此類推，直至視訊編碼器20已編碼切片中的樹型區塊中之每一者。
作為根據光柵掃描次序編碼樹型區塊之結果，可已編碼在給定樹型區塊之上方及左邊的樹型區塊，但尚未編碼在給定樹型區塊之下方及右邊的樹型區塊。因此，當編碼給定樹型區塊時，視訊編碼器20可能能夠存取藉由編碼在給定樹型區塊之上方及左邊的樹型區塊而產生之資訊。然而，當編碼給定樹型區塊時，視訊編碼器20可能不能夠存取藉由編碼在給定樹型區塊之下方及右邊的樹型區塊而產生之資訊。
為了產生經寫碼樹型區塊，視訊編碼器20可對樹型區塊之視訊區塊遞歸地執行四分樹分割以將視訊區塊劃分成逐漸更小之視訊區塊。較小視訊區塊中之每一者可與不同CU相關聯。舉例而言，視訊編碼器20可將樹型區塊之視訊區塊分割成四個相等大小之子區塊，將該等子區塊中之一或多者分割成四個相等大小之子子區塊，等等。經分割之CU可為視訊區塊經分割成與其他CU相關聯之視訊區塊的CU。未分割之CU可為視訊區塊未被分割成與其他CU相關聯之視訊區塊的 CU。
位元串流中之一或多個語法元素可指示視訊編碼器20可分割樹型區塊之視訊區塊的最大次數。CU之視訊區塊在形狀上可為正方形。CU之視訊區塊的大小(例如，CU之大小)範圍可自8×8個像素直至具有最大64×64個像素或更大的樹型區塊之視訊區塊之大小(即，樹型區塊之大小)。
視訊編碼器20可根據z掃描次序對樹型區塊之每一CU執行編碼操作(例如，編碼)。換言之，視訊編碼器20可將左上CU、右上CU、左下CU及接著右下CU按彼次序編碼。當視訊編碼器20對經分割之CU執行編碼操作時，視訊編碼器20可根據z掃描次序編碼與經分割之CU之視訊區塊之子區塊相關聯的CU。換言之，視訊編碼器20可將與左上子區塊相關聯之CU、與右上子區塊相關聯之CU、與左下子區塊相關聯之CU及接著編碼與右下子區塊相關聯之CU按彼次序編碼。
作為z掃描次序編碼樹型區塊之CU的結果，可已編碼在給定CU之上方、上方且在左邊、上方且在右邊、左邊及下方且在左邊的CU。尚未編碼在給定CU之下方且在右邊之CU。因此，當編碼給定CU時，視訊編碼器20可能能夠存取藉由編碼鄰接給定CU之一些CU而產生的資訊。然而，當編碼給定CU時，視訊編碼器20可能不能夠存取藉由編碼鄰接給定CU之其他CU而產生的資訊。
當視訊編碼器20編碼未分割之CU時，視訊編碼器20可產生用於CU之一或多個預測單元(PU)。CU的PU中之每一者可與CU之視訊區塊內的不同視訊區塊相關聯。視訊編碼器20可產生用於CU之每一PU的經預測視訊區塊。PU之經預測視訊區塊可為樣本之區塊。視訊編碼器20可使用框內預測或框間預測產生PU之經預測視訊區塊。
當視訊編碼器20使用框內預測產生PU之經預測視訊區塊時，視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之經預測 視訊區塊。若視訊編碼器20使用框內預測產生CU的PU之經預測視訊區塊，則CU為經幀內預測之CU。當視訊編碼器20使用框間預測產生PU之經預測視訊區塊時，視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU之經預測視訊區塊。若視訊編碼器20使用框間預測產生CU的PU之經預測視訊區塊，則CU為經框間預測之CU。
此外，當視訊編碼器20使用幀間預測產生PU之經預測視訊區塊時，視訊編碼器20可產生用於PU之運動資訊。用於PU之運動資訊可指示PU之一或多個參考區塊。PU之每一參考區塊可為參考圖像內之視訊區塊。參考圖像可為不同於與PU相關聯之圖像的圖像。在一些情況下，PU之參考區塊亦可被稱作PU之「參考樣本」。視訊編碼器20可基於PU之參考區塊產生PU之經預測視訊區塊。
在視訊編碼器20產生用於CU之一或多個PU的經預測視訊區塊後，視訊編碼器20可基於用於CU之PU的經預測視訊區塊產生CU之殘餘資料。CU之殘餘資料可指示用於CU之PU的經預測視訊區塊中的樣本與CU之原始視訊區塊之間的差異。
此外，作為對未分割之CU執行編碼操作之部分，視訊編碼器20可對CU之殘餘資料執行遞歸四分樹分割以將CU之殘餘資料分割成與CU之變換單元(TU)相關聯的一或多個殘餘資料區塊(即，殘餘視訊區塊)。CU之每一TU可與不同殘餘視訊區塊相關聯。
視訊編碼器20可將一或多個變換應用至與TU相關聯之殘餘視訊區塊以產生與TU相關聯之變換係數區塊(例如，變換係數之區塊)。在概念上，變換係數區塊可為變換係數之二維(2D)矩陣。
在產生變換係數區塊之後，視頻編碼器20可對所述變換係數區塊執行量化處理程序。量化大體指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之處理程序。量化處理程 序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。
視訊編碼器20可使每一CU與量化參數(QP)值相關聯。與CU相關聯之QP值可判定視訊編碼器20如何量化與CU相關聯之變換係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之變換係數區塊的量化之程度。
在視訊編碼器20量化變換係數區塊之後，視訊編碼器20可產生表示經量化之變換係數區塊中的變換係數之語法元素集合。視訊編碼器20可將諸如上下文自適應性二進位算術寫碼(CABAC)運算之熵編碼操作應用於此等語法元素中之一些。亦可使用諸如內容自適應性可變長度寫碼(CAVLC)、機率區間分割熵(PIPE)寫碼或其他二進位算術寫碼之其他熵寫碼技術。
由視訊編碼器20產生之位元串流可包括一系列網路抽象層(NAL)單元。NAL單元中之每一者可為含有NAL單元中的資料之類型之指示及含有資料之位元組的語法結構。舉例而言，NAL單元可含有表示視訊參數集、序列參數集、圖像參數集、經譯碼切片、補充增強資訊(SEI)、存取單元分隔符、填充資料或另一類型之資料的資料。NAL單元中之資料可包括各種語法結構。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。該位元串流可包含由視訊編碼器20編碼的視訊資料之經寫碼表示。當視訊解碼器30接收到位元串流時，視訊解碼器30可對該位元串流執行剖析運算。當視訊解碼器30執行剖析運算時，視訊解碼器30可自位元串流提取語法元素。視訊解碼器30可基於自位元串流提取之語法元素，重建構視訊資料之圖像。基於語法元素重建構視訊資料之處理程序可與由視訊編碼器20執行以產生語法元素之處理程序大體互逆。
在視訊解碼器30提取與CU相關聯之語法元素之後，視訊解碼器30可基於該等語法元素產生用於CU之PU的經預測視訊區塊。此外，視訊解碼器30可反量化與CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換以重建構與CU之TU相關聯的殘餘視訊區塊。在產生經預測視訊區塊且重建構殘餘視訊區塊後，視頻解碼器30可基於經預測視訊區塊及殘餘視訊區塊重建構CU之視訊區塊。以此方式，視訊解碼器30可基於位元串流中之語法元素，重建構CU之視訊區塊。
視訊編碼器
圖2A為說明可實施根據本發明中描述之態樣的技術之視訊編碼器之一實例之方塊圖。視訊編碼器20可經組態以處理視訊圖框之單層，諸如，針對HEVC。另外，視訊編碼器20可經組態以執行本發明之技術中的任何者或全部。作為一個實例，預測處理單元100可經組態以執行本發明中描述的技術中之任何者或全部。在另一實施例中，視訊編碼器20包括可選層間預測單元128，其經組態以執行本發明中描述的技術中之任何者或全部。在其他實施例中，層間預測可由預測處理單元100(例如，框間預測單元121及/或框內預測單元126)執行，在該情況下，可省略層間預測單元128。然而，本發明之態樣不受如此限制。在一些實例中，本發明中描述之技術可在視訊編碼器20之各種組件間共用。在一些實例中，另外或替代地，處理器(未圖示)可經組態以執行本發明中描述的技術中之任何者或全部。
出於解釋之目的，本發明描述在HEVC寫碼之情況下的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。圖2A中描繪之實例係針對單層編碼解碼器。然而，如將關於圖2B進一步描述，可重複視訊編碼器20之一些或全部以用於多層編碼解碼器之處理。
視訊編碼器20可執行視訊切片內的視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中之任一者。
在圖2A之實例中，視訊編碼器20包括複數個功能組件。視訊編碼器20之功能組件包括一預測處理單元100、一殘餘產生單元102、一變換處理單元104、一量化單元106、一反量化單元108、一反變換單元110、一重建構單元112、一濾波器單元113、一經解碼圖像緩衝器114及一熵編碼單元116。預測處理單元100包括一框間預測單元121、一運動估計單元122、一運動補償單元124、一框內預測單元126及一層間預測單元128。在其他實例中，視訊編碼器20可包括較多、較少或不同的功能組件。此外，運動估計單元122與運動補償單元124可高度整合，但出於解釋之目的而在圖2A之實例中分開來表示。
視訊編碼器20可接收視訊資料。視頻編碼器20可自各種源接收視訊資料。舉例而言，視訊編碼器20可自視訊源18(例如，圖1A或圖1B中所展示)或另一源接收視訊資料。視訊資料可表示一系列圖像。為了編碼視訊資料，視訊編碼器20可對圖片中之每一者執行編碼操作。作為對圖像執行編碼操作之部分，視訊編碼器20可對圖像之每一切片執行編碼操作。作為對切片執行編碼操作之部分，視訊編碼器20可對切片中之樹型區塊執行編碼操作。
作為對樹型區塊執行編碼操作之部分，預測處理單元100可對樹型區塊的視訊區塊執行四分樹分割以將該視訊區塊劃分成逐漸更小之視訊區塊。較小視訊區塊中之每一者可與不同CU相關聯。舉例而言，預測處理單元100可將樹型區塊之視訊區塊分割成四個相等大小 之子區塊，將該等子區塊中之一或多者分割成四個相等大小之子子區塊，等等。
與CU相關聯的視訊區塊之大小範圍可自8×8個樣本直至具有最大64×64個樣本或更大的樹型區塊之大小。在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊就垂直維度及水平維度而言之樣本尺寸，例如，16×16樣本或16乘16樣本。一般而言，16×16視訊區塊在垂直方向上具有十六個樣本(y=16)且在水平方向上具有十六個樣本(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。
此外，作為對樹型區塊執行編碼操作之部分，預測處理單元100可產生用於該樹型區塊之階層式四分樹資料結構。舉例而言，樹型區塊可對應於四分樹資料結構之根節點。若預測處理單元100將樹型區塊之視訊區塊分割成四個子區塊，則該根節點在該四分樹資料結構中具有四個子節點。該等子節點中之每一者對應於與子區塊中之一者相關聯的CU。若預測處理單元100將子區塊中之一者分割成四個子子區塊，則對應於與子區塊相關聯之CU的節點可具有四個子節點，其中之每一者對應於與子子區塊中之一者相關聯的CU。
四分樹資料結構之每一節點可含有用於對應的樹型區塊或CU之語法資料(例如，語法元素)。舉例而言，四分樹中之節點可包括分裂旗標，其指示對應於該節點的CU之視訊區塊是否被分割(例如，分裂)成四個子區塊。用於CU之語法元素可經遞歸地定義，且可取決於CU之視訊區塊是否分裂成子區塊。視訊區塊未分割之CU可對應於四分樹資料結構中之葉節點。經寫碼樹型區塊可包括基於用於對應的樹型區塊之四分樹資料結構的資料。
視訊編碼器20可對樹型區塊中之每一未分割之CU執行編碼操作。當視訊編碼器20對未分割之CU執行編碼操作時，視訊編碼器20 產生表示未分割之CU的經編碼表示之資料。
作為對CU執行編碼操作之部分，預測處理單元100可在該CU之一或多個PU間分割CU之視訊區塊。視訊編碼器20及視訊解碼器30可支援各種PU大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小，及在2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或類似大小之對稱PU大小中的框間預測。視訊編碼器20及視訊解碼器30亦可支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。在一些實例中，預測處理單元100可執行幾何分割以沿並不按直角與CU之視訊區塊之側相交的邊界來在CU之PU間分割CU之視訊區塊。
框間預測單元121可對CU之每一PU執行框間預測。框間預測可提供時間壓縮。為了對PU執行框間預測，運動估計單元122可產生用於PU之運動資訊。運動補償單元124可基於運動資訊及不同於與CU相關聯之圖像的圖像(例如，參考圖像)之經解碼樣本產生PU之經預測視訊區塊。在本發明中，由運動補償單元124產生之經預測視訊區塊可被稱作經幀間預測視訊區塊。
切片可為I切片、P切片或B切片。運動估計單元122及運動補償單元124可取決於PU處於I切片、P切片或是B切片中而對CU之PU執行不同操作。在I切片中，所有PU經框內預測。因此，若PU在I切片中，則運動估計單元122及運動補償單元124不對PU執行框間預測。
若PU在P切片中，則含有該PU之圖像與被稱作「清單0」的參考圖像之清單相關聯。清單0中的參考圖像中之每一者含有可用於其他圖像之框間預測的樣本。當運動估計單元122關於P切片中之PU執行運動估計操作時，運動估計單元122可搜尋清單0中之參考圖像以找出用於PU之參考區塊。PU之參考塊可為最緊密對應於PU之視訊區塊中的樣本之一組樣本，例如，樣本之區塊。運動估計單元122可使用多 種量度來判定參考圖像中之一組樣本對應於PU之視訊區塊中的樣本之緊密程度。舉例而言，運動估計單元122可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度來判定參考圖像中之一組樣本對應於對應於PU之視訊區塊中的樣本之緊密程度。
在識別出P切片中的PU之參考區塊之後，運動估計單元122可產生指示清單0中含有參考區塊之參考圖像之參考索引及指示PU與參考區塊之間的空間位移之運動向量。在各種實例中，運動估計單元122可以變化之精確度產生運動向量。舉例而言，運動估計單元122可以四分之一樣本精確度、八分之一樣本精確度或其它分數樣本精確度產生運動向量。在分數樣本精確度之情況下，參考區塊值可自參考圖像中之整數位置樣本值內插。運動估計單元122可將參考索引及運動向量作為PU之運動資訊輸出。運動補償單元124可基於由PU之運動資訊識別的參考區塊產生PU之經預測視訊區塊。
若PU在B切片中，則含有PU之圖像可與被稱作「清單0」及「清單1」之兩個參考圖像清單相關聯。在一些實例中，含有B切片之圖像可與為清單0與清單1之組合的清單組合相關聯。
此外，若PU在B切片中，則運動估計單元122可針對PU執行單向預測或雙向預測。當運動估計單元122針對PU執行單向預測時，運動估計單元122可搜尋清單0或清單1之參考圖像以找出用於PU之參考區塊。運動估計單元122可接著產生指示清單0或清單1中含有參考區塊之參考圖像之參考索引及指示PU與參考區塊之間的空間位移之運動向量。運動估計單元122可輸出參考索引、預測方向指示符及運動向量，作為用於PU之運動資訊。預測方向指示符可指示參考索引指示清單0或是清單1中之參考圖像。運動補償單元124可基於由PU之運動資訊指示的參考區塊產生PU之經預測視訊區塊。
當運動估計單元122針對PU執行雙向預測時，運動估計單元122 可在清單0中搜尋參考圖像以找出用於PU之參考區塊，且亦可在清單1中搜尋參考圖像以找出用於PU之另一參考區塊。運動估計單元122可接著產生指示清單0或清單1中含有參考區塊之參考圖像之參考索引及指示參考區塊與PU之間的空間位移之運動向量。運動估計單元122可將PU之參考索引及運動向量作為PU之運動資訊輸出。運動補償單元124可基於由PU之運動資訊指示的參考區塊產生PU之經預測視訊區塊。
在一些情況下，運動估計單元122不將PU的運動資訊之完整集合輸出至熵編碼單元116。相反地，運動估計單元122可參照另一PU之運動資訊來傳訊一PU之運動資訊。舉例而言，運動估計單元122可判定PU之運動資訊充分類似於相鄰PU之運動資訊。在此實例中，運動估計單元122可在與PU相關聯之語法結構中指示對視訊解碼器30指示PU具有與相鄰PU相同的運動資訊之值。在另一實例中，運動估計單元122可在與PU相關聯之語法結構中識別相鄰PU及運動向量差(MVD)。運動向量差指示PU之運動向量與指示之相鄰PU的運動向量之間的差。視訊解碼器30可使用指示之相鄰PU的運動向量及運動向量差來判定PU之運動向量。藉由在傳訊第二PU之運動資訊時參照第一PU之運動資訊，視訊編碼器20可能能夠使用較少位元信號第二PU之運動資訊。
如以下參看圖8進一步論述，預測處理單元100可經組態以藉由執行圖8中所說明之方法來寫碼(例如，編碼或解碼)PU(或任何其他參考層及/或增強層區塊或視訊單元)。舉例而言，框間預測單元121(例如，經由運動估計單元122及/或運動補償單元124)、框內預測單元126或層間預測單元128可經組態以一起或分開來執行圖8中所說明之方法。
作為對CU執行編碼操作之部分，框內預測單元126可對CU之PU 執行框內預測。框內預測可提供空間壓縮。當框內預測單元126對PU執行幀內預測時，框內預測單元126可基於同一圖像中的其他PU之經解碼樣本來產生用於PU之預測資料。用於PU之預測資料可包括經預測視訊區塊及各種語法元素。框內預測單元126可對I切片中、P切片及B切片中之PU執行框內預測。
為了對PU執行框內預測，框內預測單元126可使用多個框內預測模式來產生用於PU的預測資料之多個集合。當框內預測單元126使用框內預測模式產生用於PU之一組預測資料時，框內預測單元126可在與框內預測模式相關聯之方向及/或梯度上將樣本跨PU之視訊區塊自相鄰PU之視訊區塊擴展。對於PU、CU及樹型區塊，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測單元126可取決於PU之大小而使用各種數目個框內預測模式，例如，33個方向框內預測模式。
預測處理單元100可自由運動補償單元124針對PU產生之預測資料或由框內預測單元126針對PU產生之預測資料當中選擇用於PU之預測資料。在一些實例中，預測處理單元100基於預測資料之集合的速率/失真量度而選擇用於PU之預測資料。
若預測處理單元100選擇由框內預測單元126產生之預測資料，則預測處理單元100可傳訊用以產生用於PU之預測資料的框內預測模式，例如，選定框內預測模式。預測處理單元100可以各種方式傳訊選定框內預測模式。舉例而言，選定框內預測模式與相鄰PU之框內預測模式相同可為可能的。換言之，相鄰PU之框內預測模式可為用於當前PU之最可能模式。因此，預測處理單元100可產生以指示選定框內預測模式與相鄰PU之框內預測模式相同的語法元素。
如上文所論述，視訊編碼器20可包括層間預測單元128。層間預測單元128經組態以使用在SVC中可用之一或多個不同層(例如，基礎 層或參考層)預測當前區塊(例如，EL中之當前區塊)。此預測可被稱作層間預測。層間預測單元128利用預測方法減少層間冗餘，藉此改良寫碼效率且減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中的同置型區塊之重建構預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊預測增強層中之運動。層間殘餘預測使用基礎層之殘餘預測增強層之殘餘。以下更詳細地論述層間預測方案中之每一者。
在預測處理單元100選擇用於CU之PU的預測資料後，殘餘產生單元102可藉由自CU之視訊區塊減去(例如，由減號指示)CU之PU的經預測視訊區塊產生用於CU之殘餘資料。CU之殘餘資料可包括對應於CU之視訊區塊中的樣本之不同樣本分量的2D殘餘視訊區塊。舉例而言，殘餘資料可包括對應於CU之PU的經預測視訊區塊中的樣本之亮度分量與CU之原始視訊區塊中的樣本之亮度分量之間的差之殘餘視訊區塊。此外，CU之殘餘資料可包括對應於CU之PU的經預測視訊區塊中的樣本之色度分量與CU之原始視訊區塊中的樣本之色度分量之間的差之殘餘視訊區塊。
預測處理單元100可執行四分樹分割以將CU之殘餘視訊區塊分割成子區塊。每一未劃分殘餘視訊區塊可與CU之不同TU相關聯。與CU之TU相關聯的殘餘視訊區塊之大小及位置可或可不基於與CU之PU相關聯的視訊區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與殘餘視訊區塊中的每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個應用至與TU相關聯之殘餘視訊區塊針對CU中之每一TU產生一或多個變換係數。變換係數區塊中之每一者可為變換係數之2D矩陣。變換處理單元104可將各種變換應用至與TU相關聯之殘餘視訊區塊。舉例而言，變換處理單元104可將 離散餘弦變換(DCT)、方向變換或概念上類似的變換應用至與TU相關聯之殘餘視訊區塊。
在變換處理單元104產生與TU相關聯之變換係數區塊後，量化單元106可量化變換係數區塊中之變換係數。量化單元106可基於與CU相關聯之QP值而量化與CU之TU相關聯的變換係數區塊。
視訊編碼器20可以各種方式使QP值與CU相關聯。舉例而言，視訊編碼器20可對與CU相關聯之樹型區塊執行速率失真分析。在速率-失真分析中，視訊編碼器20可藉由對樹型區塊多次執行編碼操作而產生樹型區塊之多個經寫碼表示。當視訊編碼器20產生樹型區塊之不同經編碼表示時，視訊編碼器20可使不同QP值與CU相關聯。當給定QP值與具有最低位元速率及失真量度的樹型區塊之經寫碼表示中的CU相關聯時，視訊編碼器20可傳訊該給定QP值與CU相關聯。
反量化單元108及反變換單元110可分別將反量化及反變換應用於變換係數區塊，以自變換係數區塊重建構殘餘視訊區塊。重建構單元112可將經重建構之殘餘視訊區塊添加至來自由預測處理單元100產生的一或多個經預測視訊區塊之對應的樣本以產生與TU相關聯的經重建構之視訊區塊。藉由以此方式重建構用於CU之每一TU的視訊區塊，視訊編碼器20可重建構CU之視訊區塊。
在重建構單元112重建構CU之視訊區塊後，濾波器單元113可執行解區塊操作以減少與CU相關聯之視訊區塊中的區塊假影。在執行了該一或多個解區塊操作後，濾波器單元113可將CU之經重建構之視訊區塊儲存在經解碼圖像緩衝器114中。運動估計單元122及運動補償單元124可使用含有經重建構之視訊區塊的參考圖像對隨後圖像之PU執行框間預測。此外，框內預測單元126可使用經解碼圖像緩衝器114中的經重建構之視訊區塊來對與CU處於相同圖像中的其它PU執行框內預測。
熵編碼單元116可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元116可自量化單元106接收變換係數區塊，且可自預測處理單元100接收語法元素。當熵編碼單元116接收到資料時，熵編碼單元116可執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，視訊編碼器20可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法的上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作或另一類型之熵編碼操作。熵編碼單元116可輸出包括經熵編碼資料之位元串流。
作為對資料執行熵編碼操作之部分，熵編碼單元116可選擇上下文模型。若熵編碼單元116正執行CABAC操作，則上下文模型可指示特定二進位具有特定值的機率之估計。在CABAC之情況下，術語「二進位」用以指語法元素的二進位化之型式之位元。
多層視訊編碼器
圖2B為說明可實施根據本發明中描述之態樣的技術之多層視訊編碼器23(亦被簡稱作視訊編碼器23)之一實例之方塊圖。視訊編碼器23可經配置以處理多層視訊圖框，例如，用於SHVC及多視圖寫碼。另外，視訊編碼器23可經組態以執行本發明之技術中的任何者或全部。
視訊編碼器23包括視訊編碼器20A及視訊編碼器20B，其中之每一者可經組態為視訊編碼器20，且可執行以上關於視訊編碼器20描述之功能。另外，如由參考數字之再使用所指示，視訊編碼器20A及20B可包括如視訊編碼器20的系統及子系統中之至少一些。雖然將視訊編碼器23說明為包括兩個視訊編碼器20A及20B，但視訊編碼器23不受如此限制，且可包括任何數目個視訊編碼器20層。在一些實施例中，視訊編碼器23可針對存取單元中之每一圖像或圖框包括一視訊編 碼器20。舉例而言，包括五個圖像之存取單元可由包括五個編碼器層之視訊編碼器處理或編碼。在一些實施例中，視訊編碼器23可包括比存取單元中之圖框多的編碼器層。在一些此等情況下，當處理一些存取單元時，視訊編碼器層中之一些可不在作用中。
除了視訊編碼器20A及20B外，視訊編碼器23可包括一重新取樣單元90。在一些情況下，該重新取樣單元90可增加取樣接收之視訊圖框的基礎層以(例如)創造增強層。重新取樣單元90可增加取樣與圖框之接收之基礎層相關聯的特定資訊，而非其他資訊。舉例而言，重新取樣單元90可增加取樣基礎層之像素的空間大小或數目，但切片之數目或圖像次序計數可保持恆定。在一些情況下，重新取樣單元90可不處理接收之視訊及/或可為可選的。舉例而言，在一些情況下，預測處理單元100可執行增加取樣。在一些實施例中，重新取樣單元90經組態以增加取樣層，且重新組織、重新定義、修改或調整一或多個切片以遵守一組切片邊界規則及/或光柵掃描規則。雖然主要描述為增加取樣基礎層或存取單元中之較低層，但在一些情況下，重新取樣單元90可減少取樣層。舉例而言，若在視訊之串流期間頻寬減小，則可減少取樣圖框，而非增加取樣。
重新取樣單元90可經組態以自較低層編碼器(例如，視訊編碼器20A)之經解碼圖像緩衝器114接收圖像或圖框(或與圖像相關聯之圖像資訊)及增加取樣圖像(或接收之圖像資訊)。此經增加取樣圖像可接著提供至較高層編碼器(例如，視訊編碼器20B)之預測處理單元100，該較高層編碼器經組態以編碼與較低層編碼器相同的存取單元中之圖像。在一些情況下，較高層編碼器為自較低層編碼器移除之一個層。在其他情況下，在圖2B之層0視訊編碼器與層1編碼器之間可存在一或多個較高層編碼器。
在一些情況下，可省略或繞過重新取樣單元90。在此等情況 下，來自視訊編碼器20A之經解碼圖像緩衝器114的圖像可直接提供(或至少不提供至重新取樣單元90)至視訊編碼器20B之預測處理單元100。舉例而言，若提供至視訊編碼器20B之視訊資料與來自視訊編碼器20A之經解碼圖像緩衝器114的參考圖像具有相同的大小或解析度，則可在無任何重新取樣之情況下將參考圖像提供至視訊編碼器20B。
在一些實施例中，視訊編碼器23使用減少取樣單元94減少取樣待提供至較低層編碼器之視訊資料(在將該視訊資料提供至視訊編碼器20A前)。替代地，減少取樣單元94可為能夠增加取樣或減少取樣視訊資料之重新取樣單元90。在又其他實施例中，可省略減少取樣單元94。
如圖2B中所說明，視訊編碼器23可進一步包括多工器98或mux。mux 98可自視訊編碼器23輸出組合之位元串流。可藉由自視訊編碼器20A及20B中之每一者取得位元串流來創造組合之位元串流，且在給定時間輸出交替的該位元串流。而在一些情況下，可一次一個位元地交替來自兩個(或在兩個以上視訊編碼器層之情況下，兩個以上)位元串流之位元，在許多情況下，不同地組合位元串流。舉例而言，可藉由一次一個區塊地交替選定位元串流來創造輸出位元串流。在另一實例中，可藉由自視訊編碼器20A及20B中之每一者輸出非1：1比率的區塊來創造輸出位元串流。舉例而言，可針對自視訊編碼器20A輸出之每一區塊，自視訊編碼器20B輸出兩個區塊。在一些實施例中，可預先程式化來自mux 98之輸出串流。在其他實施例中，mux 98可基於自在視訊編碼器23外部之系統(諸如，自在包括源裝置12之源裝置上的處理器)接收的控制信號組合來自視訊編碼器20A、20B之位元串流。可基於來自視訊源18的視訊之解析度或位元速率、基於鏈路16之頻寬、基於與一使用者相關聯之一訂用(例如，一付費訂用相對於一免 費訂用)或基於用於判定自視訊編碼器23輸出的所要的解析度之任何其他因素來產生控制信號。
視訊解碼器
圖3A為說明可實施根據本發明中描述之態樣的技術之視訊解碼器之一實例之方塊圖。視訊解碼器30可經組態以處理視訊圖框之單一層，諸如，針對HEVC。另外，視訊解碼器30可經組態以執行本發明之技術中的任何者或全部。舉一實例而言，運動補償單元162及/或框內預測單元164可經組態以執行本發明中描述之技術中的任何者或全部。在一個實施例中，視訊解碼器30可視情況包括層間預測單元166，層間預測單元166經組態以執行本發明中描述之技術中的任何者或全部。在其他實施例中，層間預測可由預測處理單位152(例如，運動補償單元162及/或框內預測單元164)執行，在該情況下，可省略層間預測單元166。然而，本發明之態樣不受如此限制。在一些實例中，本發明中描述之技術可在視訊解碼器30之各種組件間共用。在一些實例中，另外或替代地，一處理器(未圖示)可經組態以執行本發明中描述的技術中之任何者或全部。
出於解釋之目的，本發明描述在HEVC寫碼之情況下的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。圖3A中描繪之實例係針對單層編碼解碼器。然而，如將關於圖3B進一步描述，可重複視訊解碼器30之一些或全部以用於多層編碼解碼器之處理。
在圖3A之實例中視訊解碼器30包括複數個功能組件。視訊解碼器30之功能組件包括一熵解碼單元150、一預測處理單元152、一反量化單元154、一反變換單元156、一重建構單元158、一濾波器單元159及一經解碼圖像緩衝器160。預測處理單元152包括一運動補償單元162、一框內預測單元164及一層間預測單元166。在一些實例中，視 訊解碼器30可執行大體與關於圖2A之視訊編碼器20描述之編碼操作(pass)互逆的解碼操作。在其他實例中，視訊解碼器30可包括較多、較少或不同的功能組件。
視訊解碼器30可接收包含經編碼視訊資料之位元串流。位元串流可包括多個語法元素。當視訊解碼器30接收到位元串流時，熵解碼單元150可對該位元串流執行剖析操作。作為對位元串流執行剖析操作之結果，熵解碼單元150可自該位元串流提取語法元素。作為執行剖析操作之部分，熵解碼單元150可熵解碼位元串流中之經熵編碼語法元素。預測處理單元152、反量化單元154反變換單元156重建構單元158及濾波器單元159可執行重建構操作，重建構操作基於自位元串流提取之語法元素產生經解碼視訊資料。
如上文所論述，位元串流可包含一系列NAL單元。位元串流之NAL單元可包括視訊參數集NAL單元、序列參數集NAL單元、圖像參數集NAL單元、SEI NAL單元等等。作為對位元串流執行剖析操作之部分，熵解碼單元150可執行剖析操作，該剖析操作提取且熵解碼來自序列參數集NAL單元之序列參數集、來自圖像參數集NAL單元之圖像參數集、來自SEI NAL單元之SEI資料等等。
此外，位元串流之NAL單元可包括經寫碼切片NAL單元。作為對位元串流執行剖析操作之部分，熵解碼單元150可執行剖析操作，該剖析操作提取且熵解碼來自經寫碼切片NAL單元之經寫碼切片。經寫碼切片中之每一者可包括切片標頭及切片資料。切片標頭可含有係關於切片之語法元素。切片標頭中之語法元素可包括識別與含有該切片之圖像相關聯的圖像參數集之語法元素。熵解碼單元150可對經寫碼切片標頭中之語法元素執行熵解碼操作(諸如，CABAC解碼操作)，以恢復切片標頭。
作為從經寫碼切片NAL單元提取切片資料之部分，熵解碼單元 150可執行從切片資料中之經譯碼CU提取語法元素的剖析操作。提取之語法元素可包括與變換係數區塊相關聯之語法元素。熵解碼單元150可接著對語法元素中之一些執行CABAC解碼操作。
在熵解碼單元150對未分割之CU執行剖析操作後，視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重建構操作，視訊解碼器30可重建構與CU相關聯之殘餘視訊區塊。
作為對TU執行重建構操作之部分，反量化單元154可反量化(例如，解量化)與TU相關聯之變換係數區塊。反量化單元154可以類似於針對HEVC提議或由H.264解碼標準定義之反量化處理程序的方式來反量化變換係數區塊。反量化單元154可使用由視訊編碼器20針對變換係數區塊之CU計算的量化參數QP來判定量化程度，且同樣地，判定反量化單元154應用的反量化之程度。
在反量化單元154反量化變換係數區塊後，反變換單元156可產生用於與變換係數區塊相關聯之TU的殘餘視訊區塊。反變換單元156可將反變換應用至變換係數區塊以便產生用於TU之殘餘視訊區塊。舉例而言，反變換單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反方向變換或另一反變換應用於變換係數區塊。在一些實例中，反變換單元156可基於來自視訊編碼器20之傳訊而判定應用於變換係數區塊之反變換。在此等實例中，反變換單元156可基於在四分樹之根節點處的傳訊之變換判定用於與變換係數區塊相關聯之樹型區塊的反變換。在其他實例中，反變換單元156可自一或多個寫碼特性(例如，區塊大小、寫碼模式或類似者)推斷反變換。在一些實例中，反變換單元156可應用級聯之反變換。
在一些實例中，運動補償單元162可藉由基於內插濾波器執行內 插而改進PU的經預測視訊區塊。用於將用於以子樣本精確度進行運動補償的內插濾波器之識別符可包括在語法元素中。運動補償單元162可使用由視訊編碼器20在產生PU之經預測視訊區塊期間使用的相同內插濾波器來計算參考區塊之子整數樣本的內插值。運動補償單元162可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生經預測視訊區塊。
如以下參看圖8進一步論述，預測處理單元152可藉由執行圖8中說明之方法寫碼(例如，編碼或解碼)PU(或任何其他參考層及/或增強層區塊或視訊單元)。舉例而言，運動補償單元162、框內預測單元164或層間預測單元166可經組態以一起或分開來執行圖8中說明之方法。
若PU係使用框內預測編碼，則框內預測單元164可執行框內預測以產生用於PU之經預測視訊區塊。舉例而言，框內預測單元164可基於位元串流中之語法元素判定用於PU之框內預測模式。位元串流可包括框內預測單元164可用以判定PU之框內預測模式的語法元素。
在一些情況下，語法元素可指示框內預測單元164將使用另一PU之框內預測模式來判定當前PU之框內預測模式。舉例而言，當前PU之框內預測模式與相鄰PU之框內預測模式相同可為可能的。換言之，相鄰PU之框內預測模式可為用於當前PU之最可能模式。因此，在此實例中，位元串流可包括小語法元素，該小語法元素指示PU之框內預測模式與相鄰PU之框內預測模式相同。框內預測單元164可接著使用框內預測模式來基於空間相鄰PU之視訊區塊產生用於PU之預測資料(例如，預測樣本)。
如上文所論述，視訊解碼器30亦可包括層間預測單元166。層間預測單元166經組態以使用在SVC中可用之一或多個不同層(例如，基礎層或參考層)預測當前區塊(例如，EL中之當前區塊)。此預測可被 稱作層間預測。層間預測單元166利用預測方法減少層間冗餘，藉此改良寫碼效率且減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中的同置型區塊之重建構預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊預測增強層中之運動。層間殘餘預測使用基礎層之殘餘預測增強層之殘餘。以下更詳細地論述層間預測方案中之每一者。
重建構單元158可使用與CU之TU相關聯的殘餘視訊區塊及CU之PU的經預測視訊區塊(例如，適用的框內預測資料或框間預測資料)來重建構CU之視訊區塊。因此，視訊解碼器30可基於位元串流中之語法元素而產生經預測視訊區塊及殘餘視訊區塊，且可基於經預測視訊區塊及殘餘視訊區塊而產生視訊區塊。
在重建構單元158重建構CU之視訊區塊後，濾波器單元159可執行解區塊操作以減少與CU相關聯之區塊假影。在濾波器單元159執行解區塊操作以減少與CU相關聯之區塊假影後，視訊解碼器30可將CU之視訊區塊儲存在經解碼圖像緩衝器160中。經解碼圖像緩衝器160可提供用於隨後運動補償、框內預測及在顯示裝置(諸如，圖1A或圖1B之顯示裝置32)上呈現之參考圖像。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器160中之視訊區塊對其它CU之PU執行框內預測或框間預測操作。
多層解碼器
圖3B為說明可實施根據本發明中描述之態樣的技術之多層視訊解碼器33(亦被簡稱作視訊解碼器33)之一實例之方塊圖。視訊解碼器33可經配置以處理多層視訊圖框，例如，用於SHVC及多視圖寫碼。另外，視訊解碼器33可經組態以執行本發明之技術中的任何者或全部。
視訊解碼器33包括視訊解碼器30A及視訊解碼器30B，其中之每一者可經組態為視訊解碼器30，且可執行以上關於視訊解碼器30描述之功能。另外，如由參考數字之再使用指示，視訊解碼器30A及30B可包括系統及子系統中之至少一些，作為視訊解碼器30。雖然將視訊解碼器33說明為包括兩個視訊解碼器30A及30B，但視訊解碼器33不受如此限制，且可包括任何數目個視訊解碼器30層。在一些實施例中，視訊解碼器33可包括用於存取單元中之每一圖像或圖框的視訊解碼器30。舉例而言，包括五個圖像之存取單元可由包括五個解碼器層之視訊解碼器處理或解碼。在一些實施例中，視訊解碼器33可包括比存取單元中之圖框多的解碼器層。在一些此等情況下，當處理一些存取單元時，視訊解碼器層中之一些可不在作用中。
除了視訊解碼器30A及30B外，視訊解碼器33可包括一增加取樣單元92。在一些實施例中，增加取樣單元92可增加取樣接收之視訊圖框的基礎層以創造待添加至用於圖框或存取單元之參考圖像清單的增強型層。此增強型層可儲存於經解碼圖像緩衝器160中。在一些實施例中，增加取樣單元92可包括關於圖2A之重新取樣單元90描述的實施例中之一些或全部。在一些實施例中，增加取樣單元92經組態以增加取樣層，且重新組織、重新定義、修改或調整一或多個切片以遵守一組切片邊界規則及/或光柵掃描規則。在一些情況下，增加取樣單元92可為經組態以增加取樣及/或減少取樣接收之視訊圖框之層的重新取樣單元。
增加取樣單元92可經組態以自較低層解碼器(例如，視訊解碼器30A)之經解碼圖像緩衝器160接收圖像或圖框(或與圖像相關聯之圖像資訊)及增加取樣圖像(或接收之圖像資訊)。此經增加取樣圖像可接著提供至較高層解碼器(例如，視訊解碼器30B)之預測處理單元152，該較高層解碼器經組態以解碼與較低層解碼器相同的存取單元中之圖 像。在一些情況下，較高層解碼器為自較低層解碼器移除之一個層。在其他情況下，在圖3B之層0解碼器與層1解碼器之間可存在一或多個較高層解碼器。
在一些情況下，可省略或繞過增加取樣單元92。在此等情況下，來自視訊解碼器30A之經解碼圖像緩衝器160的圖像可直接提供(或至少不提供至增加取樣單元92)至視訊解碼器30B之預測處理單元152。舉例而言，若提供至視訊編碼器30B之視訊資料與來自視訊解碼器30A之經解碼圖像緩衝器160的參考圖像具有相同的大小或解析度，則可在無增加取樣之情況下將參考圖像提供至視訊解碼器30B。另外，在一些實施例中，增加取樣單元92可為經組態以增加取樣或減少取樣自視訊解碼器30A之經解碼圖像緩衝器160接收的參考圖像之重新取樣單元90。
如圖3B中所說明，視訊解碼器33可進一步包括一解多工器99或demux。demux 99可將經編碼視訊位元串流分裂成多個位元串流，其中由demux 99輸出之每一位元串流經提供至不同視訊解碼器30A及30B。可藉由接收一位元串流來創造多個位元串流，且視訊解碼器30A及30B中之每一者在給定時間接收位元串流之一部分。雖然在一些情況下，在視訊解碼器中之每一者(例如，在圖3B之實例中，視訊解碼器30A及30B)之間，來自在demux 99處接收的位元串流之位元一次可與一個位元交替，但在許多情況下，不同地劃分位元串流。舉例而言，可藉由交替哪一視訊解碼器一次一個區塊地接收位元串流來劃分位元串流。在另一實例中，可按區塊對視訊解碼器30A及30B中之每一者的非1：1比率來劃分位元串流。舉例而言，可針對提供至視訊解碼器30A之每一區塊將兩個區塊提供至視訊解碼器30B。在一些實施例中，可預先程式化由demux 99進行的位元串流之劃分。在其他實施例中，demux 99可基於自在視訊解碼器33外部之系統(諸如，自包 括目的地裝置14之目的地裝置上的處理器)接收的控制信號劃分位元串流。可基於來自輸入介面28的視訊之解析度或位元速率、基於鏈路16之頻寬、基於與使用者相關聯之訂用(例如，付費訂用對免費訂用)或基於用於判定可由視訊解碼器33獲得的解析度之任何其他因素產生控制信號。
框內隨機存取點(IRAP)圖像
一些視訊寫碼方案可貫穿位元串流提供隨機存取點，使得可自此隨機存取點中之任一者開始解碼位元串流，而不需要解碼在此等隨機存取點前之任何圖像。在此等視訊寫碼方案中，可不使用在隨機存取點前之任何圖像正確地解碼按輸出次序在隨機存取點後之所有圖像(例如，包括在與提供隨機存取點之圖像相同的存取單元中之彼等圖像)。舉例而言，即使在傳輸期間或在解碼期間失去位元串流之一部分，解碼器仍可恢復自下一個隨機存取點開始的解碼位元串流。對隨機存取之支援可有助於(例如)動態串流服務、搜尋操作、頻道切換等。
在一些寫碼方案中，此等隨機存取點可由被稱作框內隨機存取點(IRAP)圖像之圖像提供。舉例而言，存取單元(「auA」)中含有之增強層(「layerA」)中的隨機存取點(例如，由增強層IRAP圖像提供)可提供具體層的隨機存取，使得對於layerA的具有在處於layerB中且按解碼次序在auA前之存取單元(「auB」)中含有之一隨機存取點(或auA中含有之一隨機存取點)的每一參考層(「layerB」)(例如，參考層為用以預測layerA之層)，在按輸出次序在auB後之layerA中的圖像(包括位於auB中之彼等圖像)可正確地解碼，而不需要解碼在auB前之layerA中的任何圖像。
IRAP圖像可使用框內預測來寫碼(例如，不參考其他圖像來寫碼)，且可包括(例如)IDR圖像、CRA圖像及BLA圖像。當位元串流中 存在IDR圖像時，按解碼次序在IDR圖像前之所有圖像不由按解碼次序在IDR圖像後之圖像用於預測。當在位元串流中存在CRA圖像時，在CRA圖像後之圖像可或可不將按解碼次序在CRA圖像前之圖像用於預測。按解碼次序在CRA圖像後但使用按解碼次序在CRA圖像前之圖像的圖像可被稱作隨機存取經跳過前置(RASL)圖像。按解碼次序在IRAP圖像後且按輸出次序在IRAP圖像前的另一類型之圖像為隨機存取可解碼前置(RADL)圖像，其可不含有對按解碼次序在IRAP圖像前之任何圖像的參考。若在CRA圖像前之圖像不可用，則RASL圖像可由解碼器拋棄。BLA圖像對解碼器指示在BLA圖像前之圖像可能不對解碼器可用(例如，因為兩個位元串流經拼接在一起且BLA圖像為按解碼次序的第二位元串流之第一圖像)。含有為IRAP圖像之基礎層圖像(例如，具有層ID值0之圖像)的存取單元(例如，由與跨多個層之相同輸出時間相關聯的所有經寫碼圖像組成之圖像群組)可被稱作IRAP存取單元。
IRAP圖像之跨層對準
在SVC中，可能不需要跨不同層對準(例如，在同一存取單元中含有)IRAP圖像。舉例而言，若需要對準IRAP圖像，則含有至少一IRAP圖像之任一存取單元將僅含有IRAP圖像。另一方面，若不需要對準IRAP圖像，則在單一存取單元中，一個圖像(例如，在第一層中)可為IRAP圖像，且另一圖像(例如，在第二層中)可為非IRAP圖像。在位元串流中具有此等非對準之IRAP圖像可提供一些優勢。舉例而言，在兩層位元串流中，若在基礎層中存在比在增強層中多之IRAP圖像，則在廣播及多播應用中，可達成低調入延遲及高寫碼效率。
在一些視訊寫碼方案中，圖像次序計數(POC)可用以追蹤顯示經解碼圖像之相對次序。無論在於位元串流中處理某些類型之圖像何時，此等寫碼方案中之一些可使POC值被重設(例如，設定至零或設 定至在位元串流中傳訊之某一值)。舉例而言，可重設某些IRAP圖像之POC值，從而使按解碼次序在彼等IRAP圖像前的其他圖像之POC值亦被重設。當不需要跨不同層對準IRAP圖像時，此可成問題。舉例而言，當一個圖像(「picA」)為IRAP圖像且同一存取單元中之另一圖像(「picB」)並非IRAP圖像時，在含有picA之層中的歸因於picA為IRAP圖像而重設的圖像(「picC」)之POC值可與在含有picB之層中的未重設的圖像(「picD」)之POC值不同，其中picC與picD在同一存取單元中。此使picC及picD具有不同POC值，即使其屬於同一存取單元(例如，同一輸出時間)。因此，在此實例中，用於導出picC及picD之POC值的導出處理程序可經修改以產生與POC值及存取單元之定義一致的POC值。
圖像次序計數(POC)
如上文所論述，對於一特定經寫碼圖像的圖像次序計數(POC)之值(例如，HEVC中之PicOrderCntVal)指示在圖像輸出處理程序中的特定經寫碼圖像相對於在同一經寫碼視訊序列中之其他圖像的相對次序。在一些實施例中，POC包含最低有效位元(LSB)及最高有效位元(MSB)，且可藉由串接MSB與LSB來獲得POC。在其他實施例中，可藉由將MSB值與LSB值相加來獲得POC。LSB可在切片標頭中傳訊，且MSB可由編碼器或解碼器基於當前圖像之NAL單元類型及按解碼次序一或多個先前圖像之MSB及LSB計算，該一或多個先前圖像(1)並非RASL或RADL圖像，(2)不可拋棄(例如，標記為「不可拋棄」之圖像，其指示無其他圖像取決於其，藉此允許將其丟棄以滿足頻寬約束)，(3)並非子層非參考圖像(例如，不用於由同一時間子層或同一層中之其他圖像參考的圖像)，(4)具有等於值0之時間ID(例如，時間子層ID)。在(1)-(4)中描述之此圖像可在本文中被稱作POC錨定圖像。類似地，具有大於值0之時間ID值的圖像、RASL或RADL圖像、可拋棄 圖像或子層非參考圖像可被稱作非POC錨定圖像。POC錨定圖像可進一步包括編碼器及/或解碼器可不選取以自位元串流移除(例如，以滿足頻寬約束)的圖像。POC錨定圖像可進一步包括不同於編碼器及/或解碼器可經組態以自位元串流移除(例如，以滿足頻寬約束)的圖像之類型的任何圖像。非POC錨定圖像可包括並非POC錨定圖像之任一圖像。
當當前圖像為(1)具有等於值1之NoRaslOutputFlag(例如，指示若設定至值1將不輸出RASL圖像且指示若設定至值0將輸出RASL圖像之旗標)的IRAP圖像，或(2)為位元串流之第一圖像的CRA圖像時，推斷POC MSB之值等於之0。如以上所描述，在多層位元串流(例如，具有一個以上層之SHVC或MV-HEVC位元串流)中，可存在一或多個圖像為IRAP圖像且一或多個其他圖像為非IRAP圖像之存取單元(AU)，且此等AU可被稱作「未對準之IRAP AU」。當解碼含有未對準之IRAP AU的位元串流時，基於在位元串流中傳訊之POC LSB值導出的POC將違反存取單元中之所有圖像應具有相同POC值的位元串流一致性要求係可能的。
在一些實施例中，可使用POC重設旗標(例如，poc_reset_flag)重設圖像之POC，使得甚至當未對準之IRAP AU存在於位元串流中時，仍調整當前圖像及DPB中之圖像的POC值，使得AU中的的所有圖像之POC相同。
在一些實施例中，替代單一POC重設旗標，可使用兩個旗標：POC MSB重設旗標(例如，poc_msb_reset_flag)及POC LSB重設旗標(例如，poc_lsb_reset_flag)。前者(亦即，poc_msb_reset_flag)重設POC之MSB，且後者(亦即，poc-lsb_reset_flag)重設POC之LSB。此等旗標中之兩者皆可在切片標頭中傳訊。
舉例而言，若一特定圖像具有POC值233，且POC之MSB及LSB 分別構成1個位元及7個位元，則MSB將為「1」(例如，具有值128)且LSB將為「1101001」(例如，具有值105)。因此，僅當POC之MSB經重設(例如，回應於處理具有值1之poc_msb_reset_flag)時，POC值變為105，及僅當LSB經重設(例如，回應於處理具有值1之poc_lsb_reset_flag)時，POC值變為128。若MSB及LSB兩者皆經重設(例如，回應於處理poc_msb_reset_flag及poc_lsb_reset_flag，各具有值1)，POC值變為0。
在一些實施例中，兩個旗標(例如，poc_msb_reset_flag及poc_lsb_reset_flag)可由兩位元POC重設指示符替換。舉例而言，兩位元POC重設指示符可具有4個可能值(例如，0-3)，其中0指示無重設，1指示MSB重設，2指示MSB及LSB重設，且3用於抗錯性(例如，指示關於另一POC重設之某物，諸如，POC重設ID、POC重設週期ID等)。
POC值之重設
參看圖4至圖7，將描述重設在未對準之IRAP AU中之POC值(例如，LSB及MSB)的動機。如以上所描述，在一些寫碼方案中，某些一致性約束可指定單一AU中之所有經寫碼圖像的POC應相同。在無POC值之適當重設的情況下，位元串流中的未對準之IRAP AU可產生違反此等一致性約束之POC值。
圖4展示包括增強層(EL)410及基礎層(BL)420之多層位元串流400。EL 410包括EL圖像412至418，且BL包括BL圖像422至428。多層位元串流400進一步包括存取單元(AU)430至460。AU 430包括EL圖像412及BL圖像422，AU 440包括EL圖像414及BL圖像424，AU 450包括EL圖像416及BL圖像426，且AU 460包括EL圖像418及BL圖像428。在圖4之實例中，EL圖像414為IDR圖像，且AU 440中之對應的BL圖像424為後置圖像(例如，非IRAP圖像)，且因此，AU 440是一未對準 之IRAP AU。在一些實施例中，若圖像為不在基礎層中之IDR圖像，則在給定圖像處執行MSB重設。此IDR圖像可具有非零POC LSB值。
圖5展示表500，其說明可關於圖4之多層位元串流400傳訊或導出之POC值。如圖5中所展示，EL 410中的POC之MSB在EL圖像414處重設，而BL 420中的POC之MSB未經重設。因此，若在未對準之IRAP AU 440中之BL圖像424處不在BL 420中執行重設，則AU 440至460中的BL圖像與EL圖像之POC值將不匹配(亦即，等效)，如由一致性約束指定。在具有及無重設之情況下的POC值之差在圖5中以粗體突出顯示。
圖6展示包括增強層(EL)610及基礎層(BL)620之多層位元串流600。EL 610包括EL圖像612至618，且BL包括BL圖像622至628。多層位元串流600進一步包括存取單元(AU)630至660。AU 630包括EL圖像612及BL圖像622，AU 640包括EL圖像614及BL圖像624，AU 650包括EL圖像616及BL圖像626，且AU 660包括EL圖像618及BL圖像628。在圖6之實例中，BL圖像624為IDR圖像，且AU 640中之對應的EL圖像614為後置圖像(例如，非IRAP圖像)，且因此，AU 640為未對準之IRAP AU。在一些實施例中，若圖像為基礎層中之IDR圖像，則針對一給定圖像執行MSB重設及LSB重設。舉例而言，位元串流可包括應重設此BL IDR圖像之POC MSB及POC LSB的指示。替代地，解碼器可在於位元串流無應執行POC重設之任何指示之情況下執行此BL IDR圖像之POC MSB及POC LSB的重設。
圖7展示表700，其說明可關於圖6之多層位元串流600傳訊或導出之POC值。如圖7中所展示，BL 620中的POC之MSB及LSB在BL圖像624處重設，而EL 610中的POC之MSB或LSB皆未經重設。因此，若在未對準之IRAP AU 640中之EL圖像614處不在EL 610中執行POC之MSB及LSB的重設，則AU 640至660中的BL圖像與EL圖像之POC值 將不匹配，如由一致性約束指定。在具有及無重設之情況下的POC值之差在圖7中以粗體突出顯示。
本文中描述之實施例不限於圖4及圖6中說明之實例位元串流組態，且本文中描述之技術可擴展至具有任何數目個層、存取單元及圖像的任何多層位元串流。又，在圖4至圖7中說明之實例中，使用七個位元表示POC之LSB。然而，本文中描述之技術可擴展至具有任何形式之POC值表示的情境。
先前圖像之重設及重設圖像之損失
當在一特定圖像處執行MSB重設或LSB重設時，亦基於在該特定圖像處執行之重設而重設同一層中按解碼次序在該特定圖像前之其他圖像。舉例而言，在圖6之實例中，EL圖像614具有POC值241(例如，「1110001」之LSB+「1」之MSB，其為113+128)。當在EL圖像614處執行MSB及LSB重設時，EL圖像614之POC值變為0，且亦基於EL圖像614之原始POC值241重設EL 610中按解碼次序在EL圖像614前之EL圖像612。舉例而言，藉由自EL圖像612的預先重設之POC值(其為240(例如，「1110000」之LSB+「1」之MSB，其為112+128))減去EL圖像614的預先重設之POC值(其為值241)來計算EL圖像612之新POC值。因此，在重設後，根據將在EL圖像614前輸出EL圖像612之事實，EL圖像612之POC值變為-1，其中較小POC值表示按輸出次序之較早位置。如圖7中所展示，因此調整用於隨後AU 650及660的傳訊之LSB值(例如，分別至值1及值2)，其中假定在EL圖像614處執行重設。
然而，即使在位元串流中(例如，在切片標頭中)傳訊以上描述的MSB及/或LSB之適當POC重設，使得解碼器可處理信號且因此執行POC重設，若傳訊此POC重設之圖像在位元串流之傳輸期間丟失或自位元串流移除以便滿足頻寬約束，則仍可不去恰當地執行意欲在特定 圖像處執行之POC重設。
舉例而言，在圖6之實例中，若EL圖像614不可為解碼器所用，則解碼器將不知曉(亦即，將不判定)重設在AU 640處之EL 610中的POC之MSB及LSB。因此，按解碼次序在不可用之EL圖像614前的任何圖像之POC值將仍具有其原始、預先重設之POC值，此係由於在EL圖像614處之重設不發生(例如，不執行重設操作)。另一方面，按解碼次序在不可用EL圖像614後的圖像之POC值將已經判定或傳訊，如同實際上發生重設(亦即，執行了重設操作)。因此，在圖7之實例中，EL圖像612、616及618將分別具有POC值240、1及2，若給定EL圖像612按輸出次序在EL圖像616及618前，則其將不正確。因此，甚至當傳訊POC重設之圖像變得不可用時，導致正確POC值之寫碼方法仍為所要的。
POC重設週期ID
在一些實施例中，使用POC重設週期ID識別每一POC重設週期(例如，開始於POC重設且在下一個POC重設前立即結束之週期)。位元串流一致性約束可要求用於兩個時間上連續(例如，按解碼次序)之POC重設週期的POC重設週期ID不同。POC重設週期中之每一圖像可與POC重設週期之POC重設週期ID相關聯。使用POC重設週期ID，寫碼器可能能夠確保跨多個層對準POC值，即使POC重設AU中之一或多個圖像丟失。
將POC值用作錨定資訊
在一些實施例中，指派至經解碼圖像之POC值可用作錨定資訊。舉例而言，指派至特定圖像之POC值可用以計算按解碼次序在該特定圖像後的另一圖像之POC值(例如，MSB、LSB或兩者)之至少一部分。在此情況下，不需要明確地傳訊使用先前傳訊之資訊計算的POC值之部分，藉此導致位元節省。
然而，指派至經解碼圖像之POC值可並非靜態，且可當調用POC重設處理程序時加以更新。POC值之此可變本質可致使POC值不太適用於用作用於其他處理器或位元串流中之其他圖像的錨定資訊。因此，若位元串流調用可更改與經解碼圖像相關聯之POC值的諸如POC重設之處理程序，則當使用POC值時說明此等處理程序之改良式寫碼方案為需要的。
在POC重設時輸出DPB中之圖像
在一些實施中，位元串流約束可要求對於任一POC重設週期，應在與POC重設週期相關聯之POC重設圖像(例如，具有重設與其相關聯之POC的指示之圖像)或按解碼次序在POC重設圖像後之任何圖像前輸出在POC重設週期前之所有圖像。為了滿足此位元串流約束，當調用POC重設(例如，由與POC重設圖像相關聯之POC重設指示符指示)時，寫碼器可輸出DPB中在POC重設圖像前解碼之所有圖像。
然而，無論在何時調用POC重設(無論在寫碼器處理POC重設圖像的何時)，輸出DPB中之所有較早圖像將導致輸出次序一致解碼器中的圖像之不正確輸出次序，因為不存在按解碼次序在POC重設圖像後之圖像必定按輸出次序在按解碼次序在POC重設圖像前之所有圖像後的保證。舉例而言，按解碼次序在POC重設圖像後之圖像必須先於按輸出次序在POC重設圖像前解碼的圖像中之一者。
舉例而言，若圖像A為POC重設圖像，圖像B為按解碼次序在圖像A前之圖像，且圖像C為按解碼次序在圖像A後之圖像，則恰當的解碼次序將為圖像B、圖像A及圖像C。若圖像C將在圖像A前輸出(圖像A將在圖像B前輸出)，則恰當的輸出次序將為圖像C、圖像A及圖像B。若將根據以上實施例輸出DPB中之所有圖像，則寫碼器將解碼圖像B且將其儲存在DPB中，解碼圖像A，且在認識到圖像A為POC重設圖像後輸出DPB中之圖像B。然而，根據以上描述之恰當輸出次序， 在圖像C前輸出圖像B將不正確。
POC重設及SEI訊息
在一些現有寫碼方案中，若干SEI訊息之語義將不與針對多層視訊寫碼提議之POC重設處理程序相容，且導致在將SEI消息應用至位元串流中的不明確性。舉例而言，在HEVC規範之版本1中，將按使得SEI訊息中之許多者取決於POC之方式來對其定義。當將實施擴展至多層情況時，介紹重設POC之概念。結果，在許多情況下，致使現有SEI訊息不正確或不明確的，尤其在SEI訊息正定義POC之方式方面。因此，需要包括用於與POC重設之概念相容的SEI訊息之經更新語義之改良的寫碼方案。
回饋訊息中之POC資訊
在一些實施中，將POC資訊用於識別回饋訊息中之圖像並不清楚。舉例而言，許多系統使用識別圖像之回饋訊息。舉例而言，在源與接收器之間的會話中，若一些圖像丟失，則使用圖像之POC識別丟失之圖像。此POC資訊可在回饋訊息中傳輸。在POC重設有可能之情況下，除了正識別的圖像之POC外，回饋訊息中包括之POC資訊可能亦需要包括關於圖像屬於的POC重設週期之資訊。舉例而言，多個圖像可具有同一POC，且系統可能不能夠正確地識別彼等圖像，除非對系統給予關於圖像屬於的POC重設週期之資訊。因此，需要指示正在回饋消息中識別的圖像之POC重設週期之改良的系統。
傳訊POC MSB循環
在一些實施中，傳訊POC LSB，且使用當前圖像之NAL單元類型及按解碼次序在當前圖像前的圖像之LSB及/或MSB來計算POC MSB。在其他實施中，在CRA及BLA圖像之切片標頭擴展中傳訊POC MSB資訊以改良POC之導出之抗錯性。然而，在一些情況下，將傳訊之POC MSB用於計算僅用於CRA及BLA圖像之POC值(其中 NoRaslOutputFlag等於值1)將導致跨多個層不對準之POC值。因此，需要改良POC值之跨層對準的改良的寫碼方案。
實例及實施
以下將描述可用以解決以上描述之某些問題的若干方法。可獨立地應用此等方法中之一些，且其中之一些可組合地應用。此外，以下亦提供可用以實施本文中描述的方法中之一或多者之實例語法及語義。當再現HEVC規範之某些部分以說明可經併入以實施本文中描述的方法中之一或多者之添加及刪除時，按斜體展示此等修改。
傳訊用於POC導出之值
在本發明之一些實施例中，針對在其POC MSB及/或POC LSB應被重設之圖像後的一或多個圖像，傳訊含有用於正確POC導出之資訊的SEI消息。舉例而言，SEI訊息可與在將重設其POC MSB、POC LSB或兩者之另一圖像picB後的圖像picA相關聯。因此，甚至當picB完全丟失時，與picA相關聯之SEI訊息可用以導出用於同一層中之其他圖像的正確POC值。
在本發明之一些實施例中，在處於其POC MSB及/或POC LSB應被重設之圖像後的一或多個圖像之切片標頭中傳訊用於正確POC導出之資訊。舉例而言，資訊可包括於在將重設其POC MSB、POC LSB或兩者之另一圖像picB後的圖像picA之切片標頭中。因此，甚至當picB完全丟失時，包括於picA之切片標頭中的資訊可用以導出用於同一層中之其他圖像的正確POC值。
在本發明之一些重設實施例中，在圖像之切片標頭中傳訊及/或作為與圖像相關聯之SEI訊息傳訊的資訊(其在本文中可被稱作POC導出資訊)可包括：POC重設類型，其指示是否應藉由重設POC值之最高有效位元(MSB)及最低有效位元(LSB)兩者或藉由僅重設POC值之MSB來重設在同一層中的先前POC重設圖像(例如，將執行POC重設 之圖像)之POC值；POC重設值，其指示丟失或移除的亦在POC導出資訊與之相關聯的圖像前之圖像之POC值；及POC重設ID，其識別POC導出資訊經提供之POC重設。舉例而言，若傳訊之POC重設具有POC重設ID值1且具有POC重設ID 1之另一POC重設已經執行，則解碼器可跳過關於一特定圖像傳訊之POC重設。
關於POC重設圖像之輸出次序約束
在本發明之一些實施例中，添加位元串流約束使得按解碼次序在POC重設圖像後之圖像不應按輸出次序在按解碼次序在POC重設圖像前之另一圖像前。在此等實施例中，寫碼器可判定等可適用之此位元串流約束，且遵照位元串流約束使得經寫碼位元串流遵守位元串流約束。
舉例而言，在傳訊關於當前圖像之POC重設前，寫碼器可判定將在按解碼次序在當前圖像前之任一其他圖像前輸出按解碼次序在當前圖像後之任一圖像。若寫碼器判定將在按解碼次序在當前圖像前之任一其他圖像前輸出按解碼次序在當前圖像後之任一圖像，則寫碼器可避免傳訊與當前圖像相關聯之POC重設，以確保經寫碼位元串流遵守位元串流約束。
替代地，在判定將傳訊關於當前圖像之POC重設後，寫碼器可確保將不在按解碼次序在當前圖像前之任一圖像前輸出按解碼次序在當前圖像後之圖像。舉例而言，若在位元串流中在當前圖像後之任一圖像將在按解碼次序在當前圖像前之任一圖像前輸出，則寫碼器可避免寫碼該圖像(或使該圖像被提供)，以確保經寫碼位元串流遵守位元串流約束。
POC MSB循環
在本發明之一些實施例中，寫碼器可傳訊可被稱作POC MSB循環之偏移值。在一個實例中，POC MSB循環可指示先前經寫碼圖像 之POC MSB與當前圖像之POC MSB之間的差。在此實例中，寫碼器可使用POC MSB循環更新在POC MSB循環與之相關聯的圖像前的圖像之POC值。在另一實例中，POC MSB循環可與POC MSB循環與之相關聯的圖像之POC MSB相同。因此，當傳訊與一特定圖像相關聯的POC MSB循環時，可基於傳訊之POC MSB循環計算該特定圖像之POC MSB。
具有CRA及BLA圖像的POC MSB循環之傳訊
在本發明之一些實施例中，對於CRA及BLA圖像，相對於同一層中之先前POC重設圖像或同一層中之先前IDR圖像(無論哪一者較靠近)判定傳訊之POC MSB循環的值。若二者皆不存在(例如，意謂該CRA/BLA圖像為層中之第一CRA/BLA圖像)，則CRA/BLA圖像之POC MSB循環可為在POC MSB循環值之允許範圍中的任一值。
POC重設圖像中之POC MSB循環
在本發明之一些實施例中，當一特定層中之CRA或BLA圖像亦為POC重設圖像時，接著使用POC MSB循環之傳訊值更新特定層中之DPB中的所有圖像之POC值。若CRA或BLA圖像亦為POC重設圖像，則CRA或BLA圖像之MSB可為零。當特定層中之CRA或BLA圖像並非POC重設圖像時，使用POC MSB循環之傳訊值計算CRA或BLA圖像之POC。
在本發明之一些實施例中，可針對IDR圖像傳訊POC MSB循環。當一特定層中之一IDR圖像亦為一POC重設圖像時，則使用POC MSB循環之傳訊值更新該特定層中之DPB中的所有圖像之POC值。當特定層中之IDR圖像並非一POC重設圖像時，使用POC MSB循環之傳訊值計算IDR圖像之POC。
圖8為說明根據本發明之一實施例的用於寫碼視訊資訊之方法800之流程圖。圖8中說明之步驟可由一編碼器(例如，如在圖2A或圖 2B中展示之視訊編碼器)、一解碼器(例如，如在圖3A或圖3B中展示之視訊解碼器)或任一其他組件執行。為了方便起見，將方法800描述為由寫碼器執行，該寫碼器可為編碼器、解碼器或另一組件。
方法800開始於區塊801。在區塊805，寫碼器判定視訊層中之當前圖像是否為POC重設圖像。若寫碼器判定當前圖像並非一POC重設圖像，則方法800繼續進行至區塊810。另一方面，若寫碼器判定當前圖像為一POC重設圖像，則方法800繼續進行至區塊815。
在區塊810，寫碼器基於與當前圖像相關聯之偏移判定當前圖像之POC。該偏移可指示當前圖像之POC MSB與同一層中的另一先前經解碼圖像之POC MSB之間的差。在區塊815，寫碼器基於與當前圖像相關聯之偏移更新DPB中之在與當前圖像相同之層中的所有圖像之POC。舉例而言，寫碼器可藉由自DPB中之每一圖像之POC減去一值來更新DPB中的所有圖像之POC。在一個實例中，可基於與當前圖像相關聯之偏移判定減去之值。在另一實例中，減去之值可為在無POC重設之情況下當前圖像之POC將成為之值。方法800結束於820。
如以上所論述，可使用圖2A之視訊編碼器20、圖2B之視訊編碼器23、圖3A之視訊解碼器30或圖3B之視訊解碼器33的其中一或多個組件(例如，層間預測單元128及/或層間預測單元166)實施本發明中論述的技術中之任何者，諸如判定當前圖像是否為POC重設圖像，基於與當前圖像相關聯之偏移判定當前圖像之POC，及基於與當前圖像相關聯之偏移更新DPB中的所有圖像之POC。
在方法800中，可移除(例如，不執行)、修改圖8中展示的區塊中之一或多者，及/或可切換執行方法之次序。舉例而言，雖然圖8中展示區塊810，但可移除區塊810，且若寫碼器判定當前圖像並非POC重設，則方法800可在不執行任何額外操作之情況下結束。替代地，可移除區塊815，且若寫碼器判定圖像為POC重設圖像，則方法800可在 不執行任何額外操作之情況下結束。因此，本發明之實施例不限於圖8中展示之實例或不受到圖8中展示之實例限制，且可在不脫離本發明之精神的情況下實施其他變化。
傳訊POC MSB循環之存在
在本發明之一些實施例中，可在VPS中傳訊指定是否針對CRA及BLA圖像傳訊POC MSB循環(例如，在切片標頭中)之旗標或語法元素。POC MSB循環之傳訊可基於VPS中包括之旗標或語法元素。可基於VPS中包括之旗標或語法元素進行是否傳訊POC MSB循環之判定。
IRAP圖像中之POC MSB循環
在一些實施中，寫碼器可執行POC重設以對準未對準之AU中的POC(例如，同一AU中之IRAP圖像及非IRAP圖像)。在此情況下，可將poc_reset_idc設定至大於值0之值，以指示將執行POC重設。然而，若與CRA或BLA圖像一起傳訊POC MSB循環，則可能不需要此POC重設，如以上所描述。
在本發明之一些實施例中，當針對具有一特定nal_unit_type值(例如，IDR、CRA、BLA等)之IRAP圖像傳訊POC MSB循環且AU含有具有等於值0之nuh_layer_id的一非IRAP圖像及具有與IRAP圖像相同的nal_unit_type值之至少一個IRAP時，與AU相關聯(例如，與非IRAP圖像或IRAP圖像相關聯)之poc_reset_idc可經設定等於值0或設定至大於值0，藉此致使移除以上描述之位元串流約束。
逐個靜態層POC
在本發明之一些實施例中，已調用指定在任何POC重設處理程序前的經解碼圖像之POC值之一額外POC。此POC可被稱作逐層POC。可在不使用來自其他層中之圖像之額外資訊的情況下自在圖像、切片標頭或同一層中之其他圖像中傳訊之資訊計算此逐層POC之值。逐層POC可用於可能需要靜態POC值之任何處理程序，靜態POC值不受用 於圖像識別之其他程序(例如，POC重設)影響。舉例而言，此等處理程序可將逐層POC用於在參考圖像集解碼中之圖像識別，用於在SEI訊息之解碼中之圖像識別，及用於對解碼圖像之任何後處理。當使用逐層POC時，在執行POC重設時，不需要減小DPB中的較早圖像之POC值。
在本發明之一些實施例中，為了實施逐層POC，在POC重設圖像中傳訊逐層POC之最低有效位元(LSB)，或無論在何時poc_reset_idc之值不等於值0。此LSB資訊可用以導出POC及逐層POC兩者。可在IRAP圖像之切片標頭擴展中傳訊POC之最高有效位元。此MSB資訊可用以導出POC及逐層POC兩者。
在本發明之一些實施例中，對於可使用與POC有關之資訊的任何處理程序，將POC用於(例如，以保持與HEVC之單層版本之回溯相容性)基礎層，且將逐層POC用於其他層。
回饋訊息中之POC重設週期ID
在本發明之一些實施例中，當在SHVC或MV-HEVC資料檔之情況下操作時，除了POC值及層ID外，亦在用於識別最新經解碼圖像之回饋消息中傳訊最新經解碼圖像之POC重設週期ID。編碼器可接著唯一地識別先前經編碼圖像。舉例而言，當前經解碼圖像可具有在其參考圖像集(RPS)中之參考圖像，但解碼器可能不能夠存取該參考圖像(例如，歸因於傳輸期間之損失)。在此實例中，解碼器可將請求編碼器重新發送參考圖像之回饋訊息發送至編碼器。回饋訊息可包括與參考圖像相關聯之POC值及與參考圖像相關聯之POC重設週期，且編碼器可使用POC值及POC重設週期識別參考圖像。舉例而言，在接收到具有POC值及POC重設週期ID之回饋訊息後，若對應於傳訊之POC值的最新經解碼圖像恰巧在與最新經編碼圖像不同的POC重設週期中，則傳訊之POC重設週期ID將用以向回追蹤至正確的POC重設週期，從 而針對兩個POC重設週期之間存在之每一POC重設週期加上POC差量值。
實例實施#1
以下提供以上描述的實施例中之一或多者之實例實施。以下按斜體指示的對語法、語義及解碼處理程序之改變係關於在MV-HEVC WD6中提供之內容。此等改變實施本申請案中描述之各種實施例。以下使用之參考數字(例如，子條款5.8、章節8.1等)指MV-HEVC WD6中之章節。
數學關係之添加
在一個實施例中，將以下關係併入至子條款5.8內：
對切片解碼處理程序之改變
在一個實施例中，對章節8.1一般解碼處理程序進行以下改變。
- 當NoClrasOutputFlag等於1時，對於自0至vps_max_layer_id(包括性)之所有值i，設定變數LayerInitializedFlag[i]等於0，且對於自0至vps_max_layer_id(包括性)之所有值i，設定變數FirstPicInLayerDecodedFlag[i]等於0。
對8.3.1.用於圖像次序計數之解碼處理程序的改變 8.3.1圖像次序計數之解碼處理程序
此處理程序之輸出為PicOrderCntVal--當前圖像之圖像次序計數。
使用圖像次序計數識別圖像，用於導出在合併模式中之運動參數及運動向量預測，及用於解碼器一致性檢查(見子條款11)。
每一經寫碼圖像與一圖像次序計數變數(表示為PicOrderCntVal)相關聯。
當當前圖像並非具有等於1之NoRaslOutputFlag的IRAP圖像時，如下導出變數prevPicOrderCntLsb及prevPicOrderCntMsb：
- 令prevTid0Pic為按解碼次序之先前圖像，其具有等於0之TemporalId且其並非RASL圖像、RADL圖像或子層非參考圖像，且令PrevPicOrderCnt[nuh_layer_id]為prevTid0Pic之PicOrderCntVal。
- 設定變數prevPicOrderCntLsb等於PrevPicOrderCnt[nuh_layer_id]及(MaxPicOrderCntLsb-1)。
- 設定變數prevPicOrderCntMsb等於PrevPicOrderCnt[nuh_layer_id]-prevPicOrderCntLsb。
如下導出當前圖像之變數PicOrderCntMsb：
- 若當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像，則設定PicOrderCntMsb等於0。
- 否則，如下導出PicOrderCntMsb：
如下導出PicOrderCntVal：PicOrderCntVal = PicOrderCntMsb + slice_pic_order_cnt_lsb
註1-由於針對IDR圖像推斷slice_pic_order_cnt_lsb為0且prevPicOrderCntLsb及prevPicOrderCntMsb皆設定為等於0，因此所有IDR圖像將具有等於0之PicOrderCntVal。
PicOrderCntVal之值應在-231 to 231-1(包括性)之範圍中。在一個CVS中，用於任何兩個經寫碼圖像之PicOrderCntVal值不應相同。
如下指定函數PicOrderCnt(picX)：PicOrderCnt(picX) = 圖像picX之PicOrderCntVal
如下指定函數DiffPicOrderCnt(picA,picB)：DiffPicOrderCnt(picA, picB) = PicOrderCnt(picA) - PicOrderCnt(picB)
位元串流不應含有導致不在-215至215-1(包括性)之範圍中的在解碼處理程序中使用之DiffPicOrderCnt(picA,picB)之值的資料。
註2-令X為當前圖像且Y及Z為同一CVS中之兩個其他圖像，當DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)皆為正或皆為負時，將Y及Z視為在自X之同一輸出次序方向上。
SEI訊息之語義之修改
在一個實施例中，如下修改子條款D.3.4：pan_scan_rect_persistence_flag指定全螢幕(pan-scan)矩形SEI訊息之持久性。
pan_scan_rect_persistence_flag等於0指定全螢幕矩形資訊僅應用於當前經解碼圖像。
令picA為當前圖像。pan_scan_rect_persistence_flag等於1指定全螢幕矩形資訊持續按輸出次序，直至以下條件中之任一者為真：
- 新的CVS開始。
- 位元串流結束。
- 輸出在含有具有pan_scan_rect_id之相同值的全螢幕矩形SEI 訊息之存取單元中之圖像picB，其PicOrderCnt(picB)大於PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
在一個實施例中，如下修改子條款D.3.8：當執行隨機存取以開始自與恢復點SEI訊息相關聯之存取單元的解碼時，解碼器操作，如同相關聯之圖像為位元串流中按解碼次序第一個圖像，且在PicOrderCntVal之導出中使用之變數PrevPicOrderCnt[nuh_layer_id]經設定為等於0。
註2-當HRD資訊存在於位元串流中時，緩衝週期SEI訊息應與相關聯於恢復點SEI訊息之存取單元相關聯，以便建立隨機存取後的HRD緩衝器模型之初始化。
由與恢復點SEI訊息相關聯之圖像或由按解碼次序在此圖像後之任一圖像參考的任一SPS或PPS RBSP應可在其啟動前用於解碼處理程序，不管該解碼處理程序開始於位元串流之開頭或是開始於按解碼次序與恢復點SEI訊息相關聯之存取單元。
recovery_poc_cnt指定按輸出次序經解碼圖像之恢復點。若在CVS中存在按解碼次序在當前圖像(亦即，與當前SEI訊息相關聯之圖像)picA後之圖像picB且PicOrderCnt(picB)等於PicOrderCnt(picA)加recovery_poc_cnt之值，其中PicOrderCnt(picA)及PicOrderCnt(picB)分別為緊接在調用了用於針對picB之圖像次序計數之解碼過程後的picA及picB之PicOrderCntVal值，圖像picB被稱作恢復點圖像。否則，其PicOrderCnt(picC)大於PicOrderCnt(picA)加recovery_poc_cnt之值的按輸出次序之第一圖像picC被稱作恢復點圖像，其中PicOrderCnt(picA)及PicOrderCnt(picC)分別為緊接在調用了用於針對picC之圖像次序計數之解碼處理程序後的picA及picC之 PicOrderCntVal值。恢復點圖像按解碼次序不應在當前圖像之前。開始於恢復點圖像之輸出次序位置，指示按輸出次序之所有經解碼圖像在內容上正確或大致正確。recovery_poc_cnt之值應在-MaxPicOrderCntLsb/2至MaxPicOrderCntLsb/2-1(包括性)之範圍中。
在一個實施例中，如下修改子條款D.3.11：漸進式改進片段開始SEI訊息指定由當前圖像及當前圖像之品質改進之一連串一或多個隨後圖像組成的按解碼次序一組連續經寫碼圖像之開始，而非不斷移動之場景的表示。
令picA為當前圖像。連續經寫碼圖像的標記之集合繼續，直至以下條件中之一者為真：
- 新的CVS開始。
- 位元串流結束。
- pic_order_cnt_delta大於0且待解碼的屬於圖像picB之下一個切片之PicOrderCntVal(亦即，PicOrderCnt(picB))大於PicOrderCnt(picA)加pic_order_cnt_delta，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
- 解碼具有與在此SEI訊息中之progressive_refinement_id相同的progressive_refinement_id之漸進式改進片段結束SEI訊息。
在連續圖像的標記之集合內的圖像之解碼次序應與其輸出次序相同。
progressive_refinement_id指定用於漸進式改進操作之識別號。progressive_refinement_id應在0至232-2(包括性)之範圍中。
可如由應用判定來使用在0至255(包括性)之範圍中及在512至231-1(包括性)之範圍中的progressive_refinement_id之值。保留在256至511(包括性)之範圍中及在231至232-2(包括性)之範圍中的 progressive_refinement_id之值，用於由ITU-T | ISO/IEC之未來使用。遇到在256至511(包括性)之範圍中及在231至232-2(包括性)之範圍中的progressive_refinement_id之值之解碼器應將其忽略。
pic_order_cnt_delta指定在連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像，如下：
- 若pic_order_cnt_delta等於0，則連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為以下圖像：
- 若CVS含有按解碼次序在當前圖像後且與具有相同progressive_refinement_id之漸進式改進片段結束SEI訊息的一或多個圖像，則連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為此等圖像中按解碼次序之第一者。
- 否則，連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為CVS中按解碼次序之最後一個圖像。
- 否則，連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為以下圖像：
- 若CVS含有按解碼次序在當前圖像後且與具有相同progressive_refinement_id之漸進式改進片段結束SEI訊息相關聯且在CVS中之任一圖像picC(其PicOrderCnt(picC)大於PicOrderCnt(picA)加pic_order_cnt_delta)前的一或多個圖像，則連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為此等圖像中按解碼次序之第一者，其中PicOrderCnt(picC)及PicOrderCnt(picA)分別為緊接在調用了用於針對picC之圖像次序計數之解碼處理程序後的picC及picA之PicOrderCntVal值。
- 否則，若CVS含有按解碼次序在當前圖像後之一或多個圖像picD(其PicOrderCnt(picD)大於PicOrderCnt(picA)加pic_order_cnt_delta)，則連續經寫碼圖像的標記之集合中的按解碼次 序之最後一個圖像為在此等圖像中按解碼次序之第一者前的最後一個圖像，其中PicOrderCnt(picD)及PicOrderCnt(picA)分別為緊接在調用了用於針對picD之圖像次序計數之解碼處理程序後的picD及picA之PicOrderCntVal值。
- 否則，連續經寫碼圖像的標記之集合中的按解碼次序之最後一個圖像為CVS中按解碼次序之最後一個圖像。
pic_order_cnt_delta之值應在0至256(包括性)之範圍中。
在一個實施例中，如下修改子條款D.3.13：film_grain_characteristics_persistence_flag指定軟片粒特性SEI訊息之持久性。
film_grain_characteristics_persistence_flag等於0指定軟片粒特性SEI訊息僅應用於當前經解碼圖像。
令picA為當前圖像。film_grain_characteristics_persistence_flag等於1指定軟片粒特性SEI訊息持續按輸出次序，直至以下條件中之任一者為真：
- 新的CVS開始。
- 位元串流結束。
- 輸出在含有軟片粒特性SEI訊息之存取單元中之圖像picB，其PicOrderCnt(picB)大於PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
在一個實施例中，如下修改子條款D.3.14：tone_map_persistence_flag指定色調映射資訊SEI訊息之持久性。
tone_map_persistence_flag等於0指定色調映射資訊僅應用於當前經解碼圖像。
令picA為當前圖像。tone_map_persistence_flag等於1指定色調映射資訊持續按輸出次序，直至以下條件中之任一者為真：
- 新的CVS開始。
- 輸出在含有具有tone_map_id之相同值的色調映射資訊SEI訊息之存取單元中之圖像picB，其PicOrderCnt(picB)大於PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
在一個實施例中，如下修改子條款D.3.16：frame_packing_arrangement_persistence_flag指定圖框填充配置SEI訊息之持久性。
frame_packing_arrangement_persistence_flag等於0指定圖框填充配置SEI訊息僅應用於當前經解碼圖框。
令picA為當前圖像。frame_packing_arrangement_persistence_flag等於1指定圖框填充配置SEI訊息持續按輸出次序，直至以下條件中之任一者為真：
- 新的CVS開始。
- 位元串流結束。
- 輸出在含有具有frame_packing_arrangement_id之相同值的圖框填充配置SEI訊息之存取單元中之圖像picB，其PicOrderCnt(picB)大於PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
在一個實施例中，如下修改子條款D.3.17：display_orientation_persistence_flag指定顯示定向SEI訊息之持久性。
display_orientation_persistence_flag等於0指定顯示定向SEI訊息僅應用於當前經解碼圖像。
令picA為當前圖像。display_orientation_persistence_flag等於1指定顯示定向SEI訊息按輸出次序持續，直至以下條件中之一或多者為真：
- 新的CVS開始。
- 位元串流結束。
- 輸出在含有顯示定向SEI訊息之存取單元中之圖像picB，其PicOrderCnt(picB)大於PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB及picA之PicOrderCntVal值。
在子條款D.3.18中指定的圖像資訊SEI訊息之結構之語義由以下替換：圖像資訊SEI訊息之結構提供用於一列項目之資訊，該等項目中之一些對應於由一系列圖像組成之目標圖像集合，該一系列圖像開始於當前圖像，直至CVS中按解碼次序之最後一個圖像，或當前POC重設週期中按解碼次序之最後一個圖像(無論哪一者較早)。
圖像資訊SEI訊息之結構中的第一項對應於當前圖像。當在目標圖像集合中存在具有等於如下指定之變數entryPicOrderCnt[i]的PicOrderCntVal時，項i對應於目標圖像集合中之一圖像。目標圖像集合中對應於圖像資訊SEI訊息之結構中的項目的圖像之解碼次序對應於該列項目中的i之增大值。
目標圖像集合中具有等於entryPicOrderCnt[i](對於在0至num_entries_in_sop_minus1(包括性)之範圍中的任何i)之任一圖像picB應對應於該列項目中之一項，其中PicOrderCntVal為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picB之 PicOrderCntVal之值。
圖像資訊SEI訊息之結構不應存在於作用中SPS具有等於1之long_term_ref_pics_present_flag或等於0之num_short_term_ref_pic_sets的CVS中。
圖像資訊SEI訊息之結構不應存在於具有大於0之TemporalId或含有RASL、RADL或子層非參考圖像的任一存取單元中。目標圖像集合中對應於不同於在圖像資訊SEI訊息之結構中描述的第一項之一項的任一圖像不應為IRAP圖像。
sop_seq_parameter_set_id指示且應等於作用中SPS之sps_seq_parameter_set_id值。sop_seq_parameter_set_id之值應在0至15(包括性)之範圍中。
num_entries_in_sop_minus1加1指定在圖像資訊SEI訊息之結構中的項目之數目。num_entries_in_sop_minus1應在0至1023(包括性)之範圍中。
sop_vcl_nut[i]，當第i項對應於目標圖像集合中之一圖像時，指示且應等於對應於第i項的圖像之nal_unit_type值。
sop_temporal_id[i]，當第i項對應於目標圖像集合中之一圖像時，指示且應等於對應於第i項的圖像之TemporalId值。保留sop_temporal_id[i]之值7用於由ITU-T | ISO/IEC未來使用，且不應存在於遵守本說明書之此版本的位元串流中。解碼器應忽略含有sop_temporal_id[i]之值7的圖像資訊SEI訊息之結構。
sop_short_term_rps_idx[i]，當第i項對應於目標圖像集合中之一圖像時，指示且應等於至作用中SPS中包括的候選短期RPS之清單的索引--由對應於第i項之圖像使用的候選短期的RPS之索引，用於導出短期參考圖像集。sop_short_term_rps_idx[i]應在0至num_short_term_ref_pic_sets-1(包括性)之範圍中。
sop_poc_delta[i]用以針對在圖像資訊SEI訊息之結構中描述之第i項指定變數entryPicOrderCnt[i]之值。sop_poc_delta[i]應在(-MaxPicOrderCntLsb)/2+1至MaxPicOrderCntLsb/2-1(包括性)之範圍中。
如下導出變數entryPicOrderCnt[i]：entryPicOrderCnt[0] = PicOrderCnt(currPic) for(i = 1; i <= num_entries_in_sop_minus1; i++) entryPicOrderCnt[i] = entryPicOrderCnt[i - 1] + sop_poc_delta[i]
其中currPic為當前圖像。
在一個實施例中，如下修改子條款D.3.24：區域再新資訊SEI訊息指示當前SEI訊息應用於之切片區段是否屬於當前圖像之經再新區域(如下所定義)。
並非IRAP存取單元且含有恢復點SEI訊息之存取單元被稱作逐步解碼再新(GDR)，且其對應的圖像被稱作GDR圖像。對應於指示之恢復點圖像的存取單元被稱作恢復點存取單元。
若在CVS中存在按解碼次序在GDR圖像picA後之圖像picB且PicOrderCnt(picB)等於PicOrderCnt(picA)加恢復點SEI訊息中的recovery_poc_cnt之值，則令變數lastPicInSet為恢復點圖像，其中PicOrderCnt(picA)及PicOrderCnt(picB)分別為緊接在調用了用於針對picB之圖像次序計數之解碼處理程序後的picA及picB之PicOrderCntVal值。否則，令lastPicInSet為按輸出次序緊接在恢復點圖像之前的圖像。圖像lastPicInSet按解碼次序不應在GDR圖像之前。
語法函數之添加
在一個實施例中，如下指定more_data_in_slice_segment_header_extension( )：
- 若(slice_segment_header( )語法結構中之當前位置)-(緊跟在slice_segment_header_extension_length後之位置)小於(slice_segment_header_extension_length * 8)，則more_data_in_slice_segment_header_extension( )之轉回值等於「真」。
- 否則，more_data_in_slice_segment_header_extension( )之轉回值等於「假」。
兩個定義之添加
在一個實施例中，將以下定義添加至子條款F.3：圖像次序計數(POC)重設週期：按解碼次序之一連串存取單元，其開始於具有等於1或2之poc_reset_idc及poc_reset_period_id之特定值的存取單元且包括具有相同poc_reset_period_id值或具有等於0之poc_reset_idc的所有存取單元。
圖像次序計數(POC)重設圖像： 為POC重設週期之層之按解碼次序的第一圖像之圖像。
視訊參數集擴展語法及語義
vps_poc_msb_present_flag 等於0指定語法元素poc_msb_val不存在於參照VPS的切片之切片片段標頭中。vps_poc_msb_present_flag等於1指定語法元素poc_msb_val可存在於參照VPS的切片之切片片段標頭 中。
當vps_poc_msb_present_flag之值等於0時，poc_reset_info_present_flag應等於0。
對NAL單元標頭語義之改變
在一個實施例中，將以下導出添加至NAL單元標頭語義之語義：如下導出變數CraOrBlaPicFlag：CraOrBlaPicFlag = (nal_unit_type = = BLA_W_LP | | nal_unit_type = = BLA_N_LP | | nal_unit_type = = BLA_W_RADL | | nal_unit_type = = CRA_NUT)
圖像參數集RBSP語法及語義
pps_extension_flag等於0指定無pps_extension_data_flag語法元素存在於PPS RBSP語法結構中。當slice_segment_header_extension_present_flag等於0時，pps_extension_flag在遵守本說明書之此版本之位元串流中應等於0，保留pps_extension_flag之值1，用於由ITU-T | ISO/IEC未來使用，且解碼器應忽略PPS NAL單元中在pps_extension_flag之值1後的所有資料。
poc_reset_info_present_flag等於0指定語法元素poc_reset_idc不存在於參照PPS的切片之切片片段標頭中。poc_reset_info_present_flag 等於1指定語法元素poc_reset_idc存在於參照PPS的切片之切片片段標頭中。
pps_extension2_flag等於0指定無pps_extension_data_flag語法元素存在於PPS RBSP語法結構中。pps_extension2_flag在遵守本說明書之此版本之位元串流中應等於0。保留pps_extension2_flag之值1，用於由ITU-T | ISO/IEC未來使用。解碼器應忽略PPS NAL單元中在pps_extension2_flag之值1後的所有資料。
1.1.1一般切片片段標頭語法及語義
表3. slice_segment_header( )之實例語法(***：經移除)
替代地，使用不同數目個位元(例如，經寫碼為u(14))傳訊poc_reset_period_id。
當存在時，切片片段標頭語法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、num_long_term_sps、num_long_term_pics、slice_temporal_mvp_enabled_flag、discardable_flag、cross_layer_bla_flag、inter_layer_pred_enabled_flag、num_inter_layer_ref_pics_minus1、poc_reset_idc、poc_reset_pic_id、full_poc_reset_flag、poc_lsb_val及poc_msb_val之值應在經寫碼圖像之所有切片片段標頭中相同。當存在時，對於每一可能i值，切片片段標頭語法元素lt_idx_sps[i]、poc_lsb_lt[i]、used_by_curr_pic_lt_flag[i]、delta_poc_msb_present_flag[i]、delta_poc_msb_cycle_lt[i]及inter_layer_pred_layer_idc[i]之值應在經寫碼圖像之所有切片片段標頭中相同。
(***經移除：poc_reset_flag等於1指定當前圖像的導出之圖像次序計數等於0。poc_reset_flag等於0指定當前圖像的導出之圖像次序計數可或可不等於0。當不存在時，推斷poc_reset_flag之值等於0。
註-當poc_reset_flag在基礎層圖像中等於1時，取決於應用了子條款8.3.1或是子條款F.8.3.1之解碼處理程序，不同地導出PicOrderCntVal。此外，當具有等於1之poc_reset_flag的基礎層圖像為根據子條款8.3.1或F.8.3.1之prevTid0Pic時，在子條款8.3.1及F.8.3.1中不同地導出變數prevPicOrderCntLsb。為了避免在子條款8.3.1或F.8.3.1中不正確地更新PicOrderCntMsb，當prevTid0Pic為具有等於1之poc_reset_flag的基礎層圖像，且對於藉由子條款8.3.1或F.8.3.1中之一者導出之prevPicOrderCntLsb，以下條件中之任一者為真時， prevTid0Pic之pic_order_cnt_lsb的值應使得對於藉由子條款8.3.1或F.8.3.1中之另一者導出之prevPicOrderCntLsb，同一條件亦為真。
- (slice_pic_order_cnt_lsb < prevPicOrderCntLsb) && ((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb / 2))
- (slice_pic_order_cnt_lsb > prevPicOrderCntLsb) && ((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb / 2))***)
poc_reset_idc等於0指定當前圖像的圖像次序計數值之最高有效位元及最低有效位元皆不重設。poc_reset_idc等於1指定僅可重設當前圖像的圖像次序計數值之最高有效位元。poc_reset_idc等於2指定可重設當前圖像的圖像次序計數值之最高有效位元及最低有效位元兩者。poc_reset_idc等於3指定可重設當前圖像的圖像次序計數值之僅最高有效位元或最高有效位元及最低有效位元兩者，且傳訊額外圖像次序計數資訊。當不存在時，推斷poc_reset_idc之值等於0。
以下約束適用為位元串流一致性之要求：
- 對於RASL圖像、RADL圖像、子層非參考圖像、具有大於0之TemporalId的圖像或具有等於1之discardable_flag的圖像，poc_reset_idc之值不應等於1或2。
- 存取單元中的所有圖像之poc_reset_idc之值應相同。
- 當存取單元中具有等於0之nuh_layer_id的該圖像為具有特定nal_unit_type值之IRAP圖像時且在同一存取單元中具有不同nal_unit_type值之至少一個其他圖像時，則對於存取單元中之所有圖像，poc_reset_idc之值應等於1或2。
- 當在存取單元中存在具有大於0之nuh_layer_id且為具有特定nal_unit_type值之IDR圖像的至少一個圖像且在同一存取單元中存在具有不同nal_unit_type值之至少一個其他圖像時，對於存取單元中之所有圖像，poc_reset_idc之值應等於1或2。
- CRA或BLA圖像之poc_reset_idc之值應小於3。
- 當存取單元中具有等於0之nuh_layer_id之圖像為IDR圖像且在同一存取單元中存在至少一個非IDR圖像時，對於該存取單元中之所有圖像，poc_reset_idc之值應等於2。
- 當存取單元中具有等於0之nuh_layer_id之圖像並非IDR圖像時，對於存取單元中之任一圖像，poc_reset_idc之值不應等於2。
存取單元之poc_reset_idc之值為存取單元中的圖像之poc_reset_idc之值。
poc_reset_period_id識別POC重設週期。在同一層中應不存在具有相同等於1或2之poc_reset_period_id及poc_reset_idc值之按解碼次序連續的兩個圖像。當不存在時，如下推斷poc_reset_period_id之值：
- 若具有存在於切片片段標頭中之poc_reset_period_id的先前圖像picA存在於與當前圖像相同之位元串流層中，則推斷poc_reset_period_id之值等於picA之poc_reset_period_id之值。
- 否則，推斷poc_reset_period_id之值等於0。
註-層中之多個圖像具有相同poc_reset_period_id值及具有等於1或2之poc_reset_idc不受禁止，除非此等圖像出現在按解碼次序之兩個連續存取單元中。為了使此等兩個圖像出現在位元串流中之可能性最小化(歸因於圖像損失、位元串流提取、搜尋或拼接操作)，編碼器應針對每一POC重設週期將poc_reset_period_id之值設定為隨機值(經受以上指定之約束)。
以下約束適用為位元串流一致性之要求：
- 一個POC重設週期不應包括具有等於1或2之poc_reset_idc的一個以上存取單元。
- 具有等於1或2之poc_reset_idc的存取單元應為POC重設週期中之第一存取單元。
- 按解碼次序在POC重設圖像後之圖像按輸出次序不應在按解碼次序在POC重設圖像前之另一圖像前。
full_poc_reset_flag等於1指定當同一層中按解碼次序之先前圖像不屬於同一POC重設週期時，重設當前圖像之圖像次序計數值之最高有效位元及最低有效位元兩者。full_poc_reset_flag等於0指定當同一層中按解碼次序之先前圖像不屬於同一POC重設週期時，重設當前圖像之圖像次序計數值之僅最高有效位元。
poc_lsb_val指定可用以導出當前圖像之圖像次序計數的值。poc_lsb_val語法元素之長度為log2_max_pic_order_cnt_lsb_minus4+4個位元。
當poc_reset_idc等於3且在與當前圖像相同之層中、具有等於1或2之poc_reset_idc且屬於同一POC重設週期的按解碼次序之先前圖像picA存在於位元串流中時，picA應為與在與當前圖像相同之層中的按解碼次序之先前圖像相同的圖像，其非RASL圖像、RADL圖像或子層非參考圖像，且其具有等於0之TemporalId及等於0之discardable_flag，且當前圖像之poc_lsb_val之值應等於picA之slice_pic_order_cnt_lsb之值。
poc_msb_val 指定當前圖像之圖像次序計數值的最高有效位元之值，當前圖像為CRA或BLA圖像。poc_msb_val之值亦用以導出用以減小在與當前圖像相同之層中的先前經解碼圖像之圖像次序計數值。poc_msb_val之值應在0至2 32-log2_max_pic_order_cnt_lsb_minus4-4 (包括性)之範圍中。poc_msb_val之值應等於當前圖像之圖像次序計數的最高有效位元之值與同一層中的先前POC重設圖像或同一層中之先前IDR圖像(無論哪一者按解碼次序更靠近當前圖像)之間的差。若兩個圖像皆不存在，則poc_msb_val之值可為允許範圍中之任一值。
針對具有等於0之nuh_layer_id之經寫碼圖像的解碼處理程序
在一個實施例中，如下改變本說明書之子條款8.1.1：
- 對子條款8.2、8.3、8.3.1、8.3.2、8.3.3、8.3.4、8.4、8.5、8.6及8.7之參考分別由對子條款F.8.2、F.8.3、F.8.3.1、F.8.3.2、F.8.3.3、F.8.3.4、F.8.4、F.8.5、F.8.6及F.8.7之參考替換。
- 在子條款之末尾，添加如下提供之第5項：
1.當FirstPicInLayerDecodedFlag[0]等於0時，將FirstPicInLayerDecodedFlag[0]設定為等於1。
用於開始具有大於0之nuh_layer_id之經寫碼圖像之解碼的解碼處理程序
在此子條款中提及之每一圖像為完全經寫碼圖像。
對於當前圖像CurrPic，解碼處理程序如下操作：
1.在子條款F.8.2中指定NAL單元之解碼。
2.在子條款F.8.3中之處理程序指定在切片片段層及以上中的使用語法元素之以下解碼處理程序：
- 在子條款F.8.3.1中導出係關於圖像次序計數之變數及函數。此需要僅針對圖像之第一切片片段來調用。PicOrderCntVal應在存取單元內保持不變為位元串流一致性之要求。
- 調用子條款F.8.3.2中的對於RPS之解碼處理程序，其中僅可將具有等於CurrPic之nuh_layer_id的nuh_layer_id之參考圖像標記為「未用於參考」或「用於長期參考」，且不標記具有不同nuh_layer_id值之任一圖像。此需要僅針對圖像之第一切片片段來調用。
- 當FirstPicInLayerDecodedFlag[nuh_layer_id]等於0時，調用在子條款F.8.1.5中指定的用於產生不可用參考圖像之解碼處理程序，其需要僅針對圖像之第一切片片段來調用。
- 當FirstPicInLayerDecodedFlag[nuh_layer_id]不等於0且當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像時，調用在子條款 F.8.3.3中指定的用於產生不可用參考圖像之解碼處理程序，其需要僅針對圖像之第一切片片段來調用。
用於圖像次序計數之解碼處理程序
此處理程序之輸出為PicOrderCntVal--當前圖像之圖像次序計數。
使用圖像次序計數識別圖像，用於導出在合併模式中之運動參數及運動向量預測，及用於解碼器一致性檢查(見子條款C.5)。
每一經寫碼圖像與一圖像次序計數變數(表示為PicOrderCntVal)相關聯。
(***經移除：若FirstPicInLayerDecodedFlag[nuh_layer_id]等於0或當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像，則將變數PicOrderCntMsb設定為等於0。否則，如下導出PicOrderCntMsb：
- 設定變數prevPicOrderCntLsb等於PrevPicOrderCnt[nuh_layer_id]&(MaxPicOrderCntLsb-1).
- 設定變數prevPicOrderCntMsb等於PrevPicOrderCnt[nuh_layer_id]-prevPicOrderCntLsb.
- 如下導出PicOrderCntMsb：
PicOrderCntMsb = prevPicOrderCntMsb
如下導出PicOrderCntVal：PicOrderCntVal = PicOrderCntMsb + slice_pic_order_cnt_lsb
當poc_reset_flag等於1時，以下步驟按列出之次序應用：
- 在DPB中且屬於與當前圖像相同之層的每一圖像之PicOrderCntVal按PicOrderCntVal減小。
- PrevPicOrderCnt[nuh_layer_id]按PicOrderCntVal減小。
- 將PicOrderCntVal設定為等於0。
當當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId時，設定PrevPicOrderCnt[nuh_layer_id]等於PicOrderCntVal。***)
若FirstPicInLayerDecodedFlag[nuh_layer_id]等於1且當前圖像為POC重設圖像，則以下適用：
- 如下導出變數pocMsbDelta、pocLsbDelta及DeltaPocVal：
- 在DPB中且屬於與當前圖像相同之層的每一圖像之PicOrderCntVal按DeltaPocVal減小。
- 如下導出當前圖像之PicOrderCntVal：
- 如下導出PrevPicOrderCnt[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevPicOrderCnt[nuh_layer_id]等於PicOrderCntVal。
- 否則當poc_reset_idc等於3時，設定PrevPicOrderCnt[nuh_layer_id]等於full_poc_reset_flag？0：poc_lsb_val。
否則，以下適用：
- 如下導出當前圖像之PicOrderCntVal：
- 如下導出PrevPicOrderCnt[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevPicOrderCnt[nuh_layer_id]等於PicOrderCntVal。
- 否則，當FirstPicInLayerDecodedFlag[nuh_layer_id]等於0且poc_reset_idc等於3時，設定PrevPicOrderCnt[nuh_layer_id]等於full_poc_reset_flag？0：poc_lsb_val。
PicOrderCntVal之值應在-231至231-1(包括性)之範圍中。在一個CVS中，同一層中任何兩個經寫碼圖像之PicOrderCntVal值不應相同。
如下指定函數PicOrderCnt(picX)：PicOrderCnt(picX) = PicOrderCntVal of the picture picX
如下指定函數DiffPicOrderCnt(picA,picB)：DiffPicOrderCnt(picA, picB) = PicOrderCnt(picA) - PicOrderCnt(picB)
位元串流不應含有導致不在-215至215-1(包括性)之範圍中的在解碼處理程序中使用之DiffPicOrderCnt(picA,picB)之值的資料。
註-令X為當前圖像且Y及Z為同一序列中之兩個其他圖像，當DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)皆為正或皆為負時，將Y及Z視為在自X之同一輸出次序方向上。
輸出次序DPB之操作 C.5.2.2來自DPB的圖像之輸出及移除
當當前圖像並非當前層中之圖像0時，在當前圖像(亦即，圖像n)之解碼前但在剖析當前圖像之第一切片之切片標頭後且在調用圖像次序計數的解碼處理程序前的自DPB輸出及移除當前層中之圖像在自CPB移除當前圖像之第一解碼單元時瞬時地發生，且如下進行：
- 當當前圖像之poc_reset_idc大於0且當前存取單元為POC重設週期中之第一存取單元時，DPB中不屬於當前存取單元且經標記為「需要用於輸出」之所有圖像經按PicOrderCntVal值之升序輸出，其開始於所有圖像中具有最小PicOrderCntVal值之圖像，不包括DPB中在當前存取單元中之圖像，且具有相同PicOrderCntVal值之圖像經按nuh_layer_id值之升序輸出。當輸出一圖像時，使用在用於該圖像之作用中SPS中指定的一致性裁剪窗對其裁剪，輸出經裁剪圖像，且將該圖像標記為「不需要用於輸出」。
- 調用用於圖像次序計數及RPS之解碼處理程序。當使用在條款2至10中指定之解碼處理程序解碼遵守在附錄A中指定的資料檔中之一或多者之CVS時，經調用的針對圖像次序計數及RPS之解碼處理程序分別如在子條款8.3.1及8.3.2中所指定。當使用在附錄F及附錄G或H中指定之解碼處理程序解碼遵守在附錄G或H中指定的資料檔中之一或多者之CVS時，經調用的針對圖像次序計數及RPS之解碼處理程序分別如在子條款F.8.3.1及F.8.3.2中所指定。
- 若當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像或當前存取單元中之基礎層圖像為具有等於1之NoRaslOutputFlag的IRAP圖像且NoClrasOutputFlag等於1，則應用以下定序步驟：
1.如下針對測試中之解碼器導出變數NoOutputOfPriorPicsFlag：
- 若當前圖像為具有等於1之NoRaslOutputFlag的CRA圖像，則設定NoOutputOfPriorPicsFlag等於1(與no_output_of_prior_pics_flag之值無關)。
- 否則，若當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像，且當解碼當前層中之先前圖像時，針對當前層自作用中SPS導出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]之值不同於分別自對於當前層在作用中之SPS導出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]之值，則NoOutputOfPriorPicsFlag可(但不應)由測試中之解碼器設定至1，其與no_output_of_prior_pics_flag之值無關。
註-雖然設定NoOutputOfPriorPicsFlag等於no_output_of_prior_pics_flag在此等條件下為較佳的，但允許測試中之解碼器在此情況下將NoOutputOfPriorPicsFlag設定至1。
- 否則，若當前圖像為具有等於1之NoRaslOutputFlag的IRAP圖像，則設定NoOutputOfPriorPicsFlag等於no_output_of_prior_pics_flag。
- 否則(當前圖像並非具有等於1之NoRaslOutputFlag的IRAP圖像，當前存取單元中之基礎層圖像為具有等於1之NoRaslOutputFlag的IRAP圖像，且NoClrasOutputFlag等於1)，設定NoOutputOfPriorPicsFlag等於1。
2.如下針對HRD應用針對測試中之解碼器導出的NoOutputOfPriorPicsFlag之值：
- 若NoOutputOfPriorPicsFlag等於1，則清空子DPB中之所有圖像儲存緩衝器，而不輸出其含有之圖像，且設定子DPB充滿度等於0。
- 否則(NoOutputOfPriorPicsFlag等於0)，清空含有經標記為「不需要用於輸出」及「未用於參考」之圖像的所有圖像儲存緩衝器(無輸出)，且藉由重複調用在子條款C.5.2.4中指定之「提昇」處理程序來清空子DPB中之所有非空圖像儲存緩衝器，且設定子DPB充滿度等於0。
- 否則，清空含有在當前層中之圖像且經標記為「不需要用於輸出」及「未用於參考」之所有圖像儲存緩衝器(無輸出)。用於經清空之每一圖像儲存緩衝器，將子DPB充滿度減小一。當以下條件中之一或多者為真時，重複調用在子條款C.5.2.4中指定之「提昇」處理程序(***經移除：同時針對經清空之每一額外圖像儲存緩衝器，將子DPB充滿度進一步減小一***)，直至以下條件中無一者為真：
- 含有在DPB中經標記為「需要用於輸出」之至少一個經解碼圖像的存取單元之數目大於MaxNumReorderPics。
- MaxLatencyIncreasePlus1不等於0且存在含有在DPB中經標記為「需要用於輸出」之至少一個經解碼圖像的至少一個存取單元，該經解碼圖像的相關聯之變數PicLatencyCount大於或等於MaxLatencyPictures。
- 在子DPB中的當前層中的圖像之數目大於或等於MaxDecPicBufferingMinus1+1。
C.5.2.3圖像解碼、標記、額外提昇及儲存
在此子條款中指定之處理程序在自CPB移除圖像n之最後一個解碼單元時瞬時地發生。
如下更新PicOutputFlag：
- 若當前存取單元不含有在目標輸出層處之圖像且alt_output_layer_flag等於1，則以下定序步驟適用：
- 清單nonOutputLayerPictures為存取單元的具有等於1之PicOutputFlag且具有包括於TargetDecLayerIdList中之nuh_layer_id值且不在目標輸出層上的圖像之清單。
- 自清單nonOutputLayerPictures移除清單nonOutputLayerPictures當中具有最高nuh_layer_id值之圖像。
- 將包括在清單nonOutputLayerPictures中之每一圖像的PicOutputFlag設定為等於0。
- 否則，將不包括在目標輸出層中之圖像的PicOutputFlag設定為等於0。
當當前圖像具有等於1之PicOutputFlag時，對於子DPB中之當前層中經標記為「需要用於輸出」且按輸出次序在當前圖像後的每一圖像，將相關聯之變數PicLatencyCount設定為等於PicLatencyCount+1。
將當前圖像視為在解碼了圖像之最後一個解碼單元後解碼。將當前經解碼圖像儲存於子DPB中之一空圖像儲存緩衝器中，且以下適用：
- 若當前經解碼圖像具有等於1之PicOutputFlag，則將其標記為「需要用於輸出」且將其相關聯之變數PicLatencyCount設定為等於0。
- 否則(當前經解碼圖像具有等於0之PicOutputFlag)，將其標記為「不需要用於輸出」。
將當前經解碼圖像標記為「用於短期參考」。
當以下條件中之一或多者為真時，重複調用在子條款C.5.2.4中指定之「提昇」處理程序，直至以下條件中無一者為真：
- 含有在DPB中經標記為「需要用於輸出」之至少一個經解碼圖像的存取單元之數目大於MaxNumReorderPics。
- MaxLatencyIncreasePlus1不等於0且存在含有在DPB中經標記為「需要用於輸出」之至少一個經解碼圖像的至少一個存取單元，該經解碼圖像的相關聯之變數PicLatencyCount大於或等於MaxLatencyPictures。
C.5.2.4「提昇」處理程序
「提昇」處理程序由以下定序步驟組成：
1.將首先用於輸出之該或該等圖像選擇為在DPB中經標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值之圖像。
2.此等圖像中之每一者經使用在用於圖像之作用中SPS中指定的一致性裁剪窗按nuh_layer_id升序裁剪，輸出經裁剪之圖像，且將該圖像標記為「不需要用於輸出」。
3.含有經標記為「未用於參考」之一圖像且為經裁剪且輸出的圖像中之一者之每一圖像儲存緩衝器經清空，且將相關聯之子DPB的充滿度減小一。
實例實施#2
以下提供之實例實施類似於以上描述之實例實施#1，其中無POC重設且另外包括針對所有圖像定義之逐層POC。在以上實例實施#1中建議之所有技術可適用，惟以下再現之技術除外。以斜體突出顯示在此實例實施中提議之改變。
對片段標頭語法及語義之改變
poc_lsb_val指定可用以導出當前圖像之圖像次序計數或逐層圖像次序計數之值。poc_lsb_val語法元素之長度為log2_max_pic_order_cnt_lsb_minus4+4個位元。
當poc_reset_idc等於3且在與當前圖像相同之層中、具有等於1或2之poc_reset_idc且屬於同一POC重設週期的按解碼次序之先前圖像 picA存在於位元串流中時，picA應為與在與當前圖像相同之層中的按解碼次序之先前圖像相同的圖像，其非RASL圖像、RADL圖像或子層非參考圖像，且其具有等於0之TemporalId及等於0之discardable_flag，且當前圖像之poc_lsb_val之值應等於picA之slice_pic_order_cnt_lsb之值。
C.1.1.1對用於圖像次序計數的圖像次序計數解碼處理程序之解碼處理程序之改變
此處理程序之輸出為PicOrderCntVal(當前圖像之圖像次序計數)及LayerWisePicOrderCntVal(當前圖像之逐層圖像次序計數)。
使用圖像次序計數識別圖像，用於導出在合併模式中之運動參數及運動向量預測，及用於解碼器一致性檢查(見子條款C.5)。
每一經寫碼圖像與表示為PicOrderCntVal之一圖像次序計數變數及表示為LayerWisePicOrderCntVal之一逐層圖像次序計數變數相關聯。
若FirstPicInLayerDecodedFlag[nuh_layer_id]等於1且當前圖像為POC重設圖像，則以下適用：
- 如下導出變數pocLsbVal、lwPocMsb及lwPocLsb：
- 將在DPB中且屬於與當前圖像相同之層的每一圖像之PicOrderCntVal減小DeltaPocVal。
- 如下導出當前圖像之PicOrderCntVal：
- 如下導出PrevPicOrderCnt[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevPicOrderCnt[nuh_layer_id]等於PicOrderCntVal。
- 否則當poc_reset_idc等於3時，設定 PrevPicOrderCnt[nuh_layer_id]等於full_poc_reset_flag？0：poc_lsb_val。
- 如下導出PrevLwPicOrderCnt[nuh_layer_id]及PrevLwPicOrderCntReset[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevLwPicOrderCnt[nuh_layer_id]等於LayerWisePicOrderCntVal且設定PrevLwPicOrderCntReset[nuh_layer_id]等於LayerWisePicOrderCntVal。
否則，以下適用：
- 如下導出當前圖像之PicOrderCntVal：
- 如下導出當前圖像之LayerWisePicOrderCntVal：
- 如下導出PrevPicOrderCnt[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevPicOrderCnt[nuh_layer_id]等於PicOrderCntVal。
- 否則，當FirstPicInLayerDecodedFlag[nuh_layer_id]等於0且poc_reset_idc等於3時，設定PrevPicOrderCnt[nuh_layer_id]等於full_poc_reset_flag？0：poc_lsb_val。
- 如下導出PrevLwPicOrderCnt[nuh_layer_id]之值：
- 若當前圖像並非RASL圖像、RADL圖像或子層非參考圖像且當前圖像具有等於0之TemporalId及等於0之discardable_flag，則設定PrevLwPicOrderCnt[nuh_layer_id]等於LayerWisePicOrderCntVal。
PicOrderCntVal之值應在-231至231-1(包括性)之範圍中。在一個CVS中，同一層中任何兩個經寫碼圖像之PicOrderCntVal值不應相同。
LayerWisePicOrderCntVal之值應在-2 31 至2 31 -1(包括性)之範圍中。任何兩個經寫碼圖像之LayerWisePicOrderCntVal值在具有相同nuh_layer_id值之一連串圖像內不應相同，該一連串圖像按解碼次序 開始於含有具有等於1之NoClrasOutputFlag之IRAP圖像的存取單元(包括性)，直至位元串流之末尾或含有具有等於1之NoClrasOutputFlag之IRAP圖像的下一個存取單元(不包括)，無論哪一者按解碼次序較早。
如下指定函數LayerWisePicOrderCnt(picX)：LayerWisePicOrderCnt(picX) = LayerWisePicOrderCntVal of the picture picX
如下指定函數DiffPicOrderCnt(picA,picB)：DiffPicOrderCnt(picA, picB) = LayerWisePicOrderCnt(picA) - LayerWisePicOrderCnt(picB)
位元串流不應含有導致不在-215至215-1(包括性)之範圍中的在解碼處理程序中使用之DiffPicOrderCnt(picA,picB)之值的資料。
註-令X為當前圖像且Y及Z為同一序列中之兩個其他圖像，當DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)皆為正或皆為負時，將Y及Z視為在自X之同一輸出次序方向上。
其他考慮
可使用多種不同技術及技藝中之任何者來表示本文中揭示之資訊及信號。舉例而言，貫穿以上描述可能提及之資料、指令、命令、資訊、信號、位元、符號及碼片可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合表示。
結合本文中揭示之實施例描述的各種說明性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以了描述。將此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以變化之方式實施所描述功能性， 但此等實施決策不應被解譯為造成對本發明之範疇的脫離。
因此，本文中描述之技術可以硬體、軟體、韌體或其任何組合實施。此等技術可實施於多種裝置中之任何者中，諸如，通用電腦、無線通信裝置手機或具有多種用途(包括在無線通信裝置手機及其他裝置中之應用)之積體電路裝置。可將描述為模組或組件之任何特徵一起實施於整合式邏輯裝置中或分開來實施為離散但可互操作之邏輯裝置。若以軟體實施，則該等技術可至少部分由包含包括當經執行時執行以上描述的方法中之一或多者之指令之程式碼的電腦可讀資料儲存媒體實現。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非依電性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。該等技術另外或替代地可至少部分由電腦可讀通信媒體實現，該電腦可讀通信媒體攜載或傳遞呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。
程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中所描述的技術中之任何者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如，一DSP與一微處理器之組合、複數個微處理器、一或多個微處理器結合DSP核心或任何其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構、前述結構之任何組合或適合於實施本 文中描述之技術的任何其他結構或設備中之任一者。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組，或併入於組合之視訊編碼器-解碼器(編碼解碼器)中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。各種組件、模組或單元在本發明中描述以強調經組態以執行所揭示技術之裝置的功能態樣，但未必需要由不同硬體單元來實現。相反地，如上所述，各種單元可與合適的軟體及/或韌體一起組合在編碼解碼器硬體單元中或由互操作硬體單元之集合提供，硬體單元包括如上文所描述之一或多個處理器。
已描述了本發明之各種實施例。此等及其他實施例在以下申請專利範圍之範疇內。
800‧‧‧用於寫碼視訊資訊之方法

Claims (31)

  1. 一種設備，其經組態以寫碼視訊資訊，該設備包含：一記憶體單元，其經組態以儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊；及一處理器，其與該記憶體單元通信，該處理器經組態以：處理與該當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一圖像次序計數(POC)之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
  2. 如請求項1之設備，其中該處理器經進一步組態以基於該第一偏移判定該當前圖像之該第二POC之該等MSB。
  3. 如請求項1之設備，其中該當前圖像為一清潔隨機存取(CRA)圖像或一斷鏈存取(BLA)圖像中之一者。
  4. 如請求項1之設備，其中該先前圖像為指示一POC重設的一POC重設圖像或一瞬時解碼器再新(IDR)圖像中之一者，該先前圖像為按解碼次序較靠近該當前圖像之該圖像。
  5. 如請求項1之設備，其中該處理器經進一步組態以：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該第一偏移，更新一經解碼圖像緩衝器(DPB)中在該第一視訊層中的所有圖像之POC值。
  6. 如請求項1之設備，其中該處理器經進一步組態以：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像不與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該第一偏移計算該當前圖像之一POC值。
  7. 如請求項1之設備，其中與該第一視訊層相關聯之一視訊參數集包括指示該第一偏移是否在與該當前圖像相關聯之一位元串流中傳訊之一旗標或語法元素。
  8. 如請求項1之設備，其中該當前圖像為一瞬時解碼器再新(IDR)圖像。
  9. 如請求項1之設備，其中該設備包含一編碼器，且其中該處理器經組態以至少部分藉由在一位元串流中傳訊與該當前圖像相關聯之該第一偏移來處理與該當前圖像相關聯之該第一偏移，且其中該處理器經進一步組態以在該位元串流中編碼該視訊資訊。
  10. 如請求項1之設備，其中該設備包含一解碼器，其中該處理器經組態以至少部分藉由在一位元串流中接收與該當前圖像相關聯之該第一偏移來處理與該當前圖像相關聯之該第一偏移，且其中該處理器經進一步組態以解碼該位元串流中之該視訊資訊。
  11. 如請求項1之設備，其中該設備包含選自由以下各者中之一或多者組成之一群組的一裝置：一電腦、一筆記型電腦、一膝上型電腦、一平板電腦、一機上盒、一電話手機、一智慧型手機、一智慧型平板、一電視、一相機、一顯示裝置、一數位媒體播放器、一視訊遊戲主機及一車載電腦。
  12. 一種寫碼視訊資訊之方法，該方法包含：處理與一第一視訊層中之一當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一圖像次序計數(POC)之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
  13. 如請求項13之方法，其進一步包含基於該第一偏移判定該當前 圖像之該第二POC之該等MSB。
  14. 如請求項13之方法，其中該當前圖像為一清潔隨機存取(CRA)圖像或一斷鏈存取(BLA)圖像中之一者。
  15. 如請求項13之方法，其中該先前圖像為指示一POC重設的一POC重設圖像或一瞬時解碼器再新(IDR)圖像中之一者，該先前圖像為按解碼次序較靠近該當前圖像之該圖像。
  16. 如請求項13之方法，其進一步包含：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該第一偏移，更新一經解碼圖像緩衝器(DPB)中在該第一視訊層中的所有圖像之POC值。
  17. 如請求項13之方法，其進一步包含：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像不與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該POC MSB循環計算該當前圖像之一POC值。
  18. 如請求項13之方法，其中與該第一視訊層相關聯之一視訊參數集包括指示該POC MSB循環是否在與該當前圖像相關聯之一位元串流中傳訊之一旗標或語法元素。
  19. 如請求項13之方法，其中該當前圖像為一瞬時解碼器再新(IDR)圖像。
  20. 一種非暫時性電腦可讀媒體，其包含當經執行時使一設備執行包含以下操作之一處理程序的程式碼：儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊；及處理與該當前圖像相關聯之一第一偏移，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當 前圖像前的一先前圖像之一第一圖像次序計數(POC)之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
  21. 如請求項22之電腦可讀媒體，其中該處理程序進一步包含基於該第一偏移判定該當前圖像之該第二POC之該等MSB。
  22. 如請求項22之電腦可讀媒體，其中該處理程序進一步包含：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該第一偏移，更新一經解碼圖像緩衝器(DPB)中在該第一視訊層中的所有圖像之POC值。
  23. 如請求項22之電腦可讀媒體，其中該處理程序進一步包含：判定該當前圖像是否與一POC重設相關聯；及基於該當前圖像不與一POC重設相關聯之一判定，基於與該當前圖像相關聯之該POC MSB循環計算該當前圖像之一POC值。
  24. 一種經組態以寫碼視訊資訊的視訊寫碼裝置，該視訊寫碼裝置包含：用於儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊之構件；及用於處理與該當前圖像相關聯之一第一偏移之構件，該第一偏移指示在以下兩者之間的一差異：(a)該第一視訊層中按解碼次序在該當前圖像前的一先前圖像之一第一圖像次序計數(POC)之最高有效位元(MSB)，與(b)該當前圖像之一第二POC之MSB。
  25. 如請求項26之視訊寫碼裝置，其中該處理程序進一步包含基於該第一偏移判定該當前圖像之該第二POC之該等MSB。
  26. 如請求項26之視訊寫碼裝置，其進一步包含：用於判定該當前圖像是否與一POC重設相關聯之構件；及用於基於該當前圖像與一POC重設相關聯之一判定基於與該當 前圖像相關聯之該第一偏移更新一經解碼圖像緩衝器(DPB)中在該第一視訊層中的所有圖像之POC值之構件。
  27. 如請求項26之視訊寫碼裝置，其進一步包含：用於判定該當前圖像是否與一POC重設相關聯之構件；及用於基於該當前圖像不與一POC重設相關聯之一判定基於與該當前圖像相關聯之該POC MSB循環計算該當前圖像之一POC值之構件。
  28. 一種設備，其經組態以寫碼視訊資訊，該設備包含：一記憶體單元，其經組態以儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊；及一處理器，其與該記憶體單元通信，該處理器經組態以：判定按解碼次序在該當前圖像後之至少一個圖像是否將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出；及基於按解碼次序在該當前圖像後之至少一個圖像將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出的一判定，避免指示與該當前圖像相關聯之一POC重設。
  29. 一種寫碼視訊資訊之方法，該方法包含：判定按解碼次序在一視訊層中之一當前圖像後的至少一個圖像是否將在該視訊層中按解碼次序在該當前圖像前之至少一個其他圖像前輸出；及基於按解碼次序在該當前圖像後之至少一個圖像將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出的一判定，避免指示與該當前圖像相關聯之一POC重設。
  30. 一種非暫時性電腦可讀媒體，其包含當經執行時使一設備執行包含以下操作之一處理程序的程式碼：儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊； 判定按解碼次序在該當前圖像後之至少一個圖像是否將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出；及基於按解碼次序在該當前圖像後之至少一個圖像將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出的一判定，避免指示與該當前圖像相關聯之一POC重設。
  31. 一種經組態以寫碼視訊資訊的視訊寫碼裝置，該視訊寫碼裝置包含：用於儲存與具有一當前圖像之一第一視訊層相關聯的視訊資訊之構件；用於判定按解碼次序在該當前圖像後之至少一個圖像是否將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出之構件；及用於基於按解碼次序在該當前圖像後之至少一個圖像將在按解碼次序在該當前圖像前之至少一個其他圖像前輸出的一判定避免指示與該當前圖像相關聯之一POC重設之構件。
TW103144672A 2013-12-19 2014-12-19 用於視訊資訊之可擴展寫碼之裝置及方法 TWI645716B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361918630P 2013-12-19 2013-12-19
US61/918,630 2013-12-19
US14/575,788 2014-12-18
US14/575,788 US9854270B2 (en) 2013-12-19 2014-12-18 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
TW201536038A true TW201536038A (zh) 2015-09-16
TWI645716B TWI645716B (zh) 2018-12-21

Family

ID=53401548

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103144672A TWI645716B (zh) 2013-12-19 2014-12-19 用於視訊資訊之可擴展寫碼之裝置及方法

Country Status (10)

Country Link
US (1) US9854270B2 (zh)
EP (1) EP3085097B1 (zh)
JP (1) JP6517213B2 (zh)
KR (1) KR102294250B1 (zh)
CN (1) CN105830447B (zh)
BR (1) BR112016014227B1 (zh)
CA (1) CA2930328C (zh)
ES (1) ES2854274T3 (zh)
TW (1) TWI645716B (zh)
WO (1) WO2015095706A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
US11048624B2 (en) 2017-04-25 2021-06-29 Samsung Electronics Co., Ltd. Methods for multi-stream garbage collection
US11048411B2 (en) 2016-10-26 2021-06-29 Samsung Electronics Co., Ltd. Method of consolidating data streams for multi-stream enabled SSDs
US11194710B2 (en) 2017-04-25 2021-12-07 Samsung Electronics Co., Ltd. Garbage collection—automatic data placement

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2750387B1 (en) 2011-09-22 2019-06-19 LG Electronics Inc. Video decoding method and video decoding apparatus
EP2901688B1 (en) * 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
MX352400B (es) * 2013-07-12 2017-11-23 Sony Corp Dispositivo de reproducción, método de reproducción y medio de grabación.
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10869032B1 (en) 2016-11-04 2020-12-15 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
US10484701B1 (en) 2016-11-08 2019-11-19 Amazon Technologies, Inc. Rendition switch indicator
EP3823273A1 (en) 2016-11-17 2021-05-19 Intel Corporation Spherical rotation for encoding wide view video
US10264265B1 (en) 2016-12-05 2019-04-16 Amazon Technologies, Inc. Compression encoding of images
US10681382B1 (en) * 2016-12-20 2020-06-09 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
US10271055B2 (en) 2017-04-21 2019-04-23 Zenimax Media Inc. Systems and methods for deferred post-processes in video encoding
WO2020094078A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position dependent storage of motion information
KR102603980B1 (ko) * 2018-12-27 2023-11-20 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더, 및 대응하는 방법들
KR20200110213A (ko) 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
EP3928522A4 (en) * 2019-03-12 2022-04-06 Huawei Technologies Co., Ltd. DISTRIBUTED DECODING REFRESH DESIGN IN VIDEO CODING
JP7443398B2 (ja) * 2019-05-06 2024-03-05 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 漸次復号リフレッシュのための仮想参照デコーダ
EP3957067A4 (en) * 2019-05-06 2022-06-22 Huawei Technologies Co., Ltd. OUTPUT OF PREVIOUS FRAMES FOR FRAMES FROM A NEW VIDEO SEQUENCE ENCODED IN A VIDEO CODING
US11166038B2 (en) * 2019-06-20 2021-11-02 Tencent America LLC Method for support of scalability with adaptive picture resolution
CN112118454B (zh) * 2019-06-20 2023-02-24 腾讯美国有限责任公司 视频解码方法、设备和计算机可读存储介质
JPWO2020255771A1 (zh) * 2019-06-20 2020-12-24
CN110619193B (zh) * 2019-08-20 2022-02-15 许遥 提供网络图片的方法、装置、服务器及存储介质
KR20220058961A (ko) * 2019-09-24 2022-05-10 후아웨이 테크놀러지 컴퍼니 리미티드 멀티레이어 비디오 비트스트림의 액세스 유닛 내 혼합 irap 및 비-irap 영상 지원
MX2022003561A (es) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Gestión de mensajes de sei de anidamiento escalable.
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
US20230345051A1 (en) * 2020-06-10 2023-10-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Miscellaneous signaling concepts for multi-layer video bitstreams and for output timing derivation
US11895336B2 (en) * 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY159176A (en) * 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
JP5947405B2 (ja) * 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
KR102219907B1 (ko) * 2012-04-23 2021-02-25 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9813705B2 (en) * 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048411B2 (en) 2016-10-26 2021-06-29 Samsung Electronics Co., Ltd. Method of consolidating data streams for multi-stream enabled SSDs
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
US11048624B2 (en) 2017-04-25 2021-06-29 Samsung Electronics Co., Ltd. Methods for multi-stream garbage collection
US11194710B2 (en) 2017-04-25 2021-12-07 Samsung Electronics Co., Ltd. Garbage collection—automatic data placement
US11630767B2 (en) 2017-04-25 2023-04-18 Samsung Electronics Co., Ltd. Garbage collection—automatic data placement

Also Published As

Publication number Publication date
KR102294250B1 (ko) 2021-08-25
BR112016014227B1 (pt) 2023-05-16
CA2930328A1 (en) 2015-06-25
EP3085097B1 (en) 2020-11-18
JP2017507517A (ja) 2017-03-16
WO2015095706A1 (en) 2015-06-25
BR112016014227A2 (pt) 2017-08-08
US20150181233A1 (en) 2015-06-25
JP6517213B2 (ja) 2019-05-22
CA2930328C (en) 2022-06-14
ES2854274T3 (es) 2021-09-21
EP3085097A1 (en) 2016-10-26
CN105830447A (zh) 2016-08-03
TWI645716B (zh) 2018-12-21
US9854270B2 (en) 2017-12-26
KR20160099686A (ko) 2016-08-22
CN105830447B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
TWI645716B (zh) 用於視訊資訊之可擴展寫碼之裝置及方法
US10212435B2 (en) Device and method for scalable coding of video information
KR102142836B1 (ko) 다중 계층 비트스트림들에 대한 픽처 플러싱 및 디코딩된 픽처 버퍼 파라미터 추론
US9860540B2 (en) Inference of nooutputofpriorpicsflag in video coding
US11388441B2 (en) Derivation of SPS temporal ID nesting information for multi-layer bitstreams
US9832481B2 (en) Support of base layer of a different codec in multi-layer video coding
US9848199B2 (en) Device and method for scalable coding of video information
JP6312838B2 (ja) マルチレイヤコード化においてレイヤ間参照ピクチャセット（ＲＰＳ）をコード化し、ビットストリーム終端（ＥｏＢ）ネットワークアクセスレイヤ（ＮＡＬ）単位をコード化するための方法
JP2017507546A (ja) マルチレイヤコード化において参照ピクチャセット（ｒｐｓ）をコード化するための方法
NZ719895B2 (en) Improved inference of nooutputofpriorpicsflag in video coding