TWI615021B - 對多層視訊寫碼之層間預測信令之最佳化 - Google Patents

對多層視訊寫碼之層間預測信令之最佳化 Download PDF

Info

Publication number
TWI615021B
TWI615021B TW103122729A TW103122729A TWI615021B TW I615021 B TWI615021 B TW I615021B TW 103122729 A TW103122729 A TW 103122729A TW 103122729 A TW103122729 A TW 103122729A TW I615021 B TWI615021 B TW I615021B
Authority
TW
Taiwan
Prior art keywords
layer
image
layers
video
inter
Prior art date
Application number
TW103122729A
Other languages
English (en)
Other versions
TW201509174A (zh
Inventor
陳建樂
陳盈
王益魁
克里序納坎斯 拉帕卡
伏努 亨利
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201509174A publication Critical patent/TW201509174A/zh
Application granted granted Critical
Publication of TWI615021B publication Critical patent/TWI615021B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種寫碼視訊資料之方法包括接收視訊資訊之一或多個層。每一層可包括至少一圖像。該方法可包括：判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。該方法可進一步包括：判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。基於直接參考層之該數目等於作用中參考層圖像之該數目，該方法可進一步包括：抑制在與一視訊參數集(VPS)、一序列參數集(SPS)或一圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。另外或替代地，基於直接參考層之該數目等於作用中參考層圖像之該數目，該方法可包括：將用於與一視訊參數集(VPS)、一序列參數集(SPS)或一圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。

Description

對多層視訊寫碼之層間預測信令之最佳化
本發明大體而言係關於視訊寫碼及壓縮，且詳言之係關於可調式視訊寫碼(SVC)、多視圖視訊寫碼及3D視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊片段(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，該等視訊區塊亦可稱為樹型區塊、寫碼單元(CU)及/或寫碼節點。使 用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)片段中的視訊區塊。圖像之框間寫碼(P或B)片段中之視訊區塊可使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本之時間預測。可將圖像稱為圖框，且可將參考圖像稱為參考圖框。
空間或時間預測產生用於待被寫碼之區塊的預測性區塊。殘餘資料表示待被寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為達成進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可加以量化之殘餘變換係數。經量化之變換係數可最初配置成二維陣列且被掃描以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
根據一些實施例，經組態以編碼視訊資訊之裝置包括處理器與記憶體。記憶體可經組態以儲存視訊資訊之一或多個層(例如，視圖)，每一層包含至少一圖像。處理器與記憶體通信。處理器可經組態以判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。處理器可經進一步組態以判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。處理器可經進一步組態以判定直接參考層之該數目是否等於作用中參考層圖像之該數目。處理器可經進一步組態以：基於直接參考層之該數目等於作用中參考層圖像之該數目，抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
在一些實施例中，處理器可經進一步組態以處理在片段標頭或 圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符。處理器可經進一步組態以處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。在一些實施例中，處理器可經組態以藉由至少產生指示符來處理該指示符。
在一些實施例中，處理器經組態以藉由在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或其任何組合中之一者中發信該指示符來處理該指示符。
在一些實施例中，處理器經組態以藉由抑制包括用於在任何視訊片段之片段標頭中進行層間參考圖像資訊發信的任何另外之語法元素來抑制進一步發信層間參考圖像資訊。該等直接參考層圖像可包含用於每一時間子層內之每一層的在視訊參數集中所指定之層中之圖像。
在一些實施例中，裝置進一步包含包含記憶體及處理器之以下各者中的至少一者：數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話及視訊電傳會議器件。
在另一實施例中，經組態以解碼視訊資訊之裝置包括處理器及記憶體。記憶體可經組態以儲存視訊資訊之一或多個層(例如，視圖)，每一層包含至少一圖像。處理器與記憶體通信。處理器可經組態以判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。處理器可經進一步組態以判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。處理器可經進一步組態以判定直接參考層之該數目是否等於作用中參考層圖像之該數目。處理器可經進一步組態以：基於直接參考層之該數目等於作用中參考層圖像之該數 目，將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。
在一些實施例中，處理器可經進一步組態以處理在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符。處理器可經進一步組態以處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。在一些實施例中，處理器可經組態以藉由至少接收指示符來處理該指示符。
在一些實施例中，處理器經組態以藉由接收視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)或其任何組合中之一者內的指示符來處理該指示符。
在一些實施例中，處理器經組態以在不接收用於在任何視訊片段之片段標頭中進行層間發信的語法元素之情況下，將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。該等直接參考層圖像可包含用於每一時間子層內之每一層的在視訊參數集中所指定之層中之圖像。
裝置可進一步包含包含記憶體及處理器之以下各者中的至少一者：數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話及視訊電傳會議器件。
在另一實施例中，編碼視訊資訊之方法包括：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目；判定與該一或多個層中之 該至少一圖像相關聯的直接參考層之一數目；判定直接參考層之該數目是否等於作用中參考層圖像之該數目；及基於直接參考層之該數目等於作用中參考層圖像之該數目，抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。該編碼方法可進一步包括：產生在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符；及產生在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。
在另一實施例中，解碼視訊資訊之方法包括：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目；判定直接參考層之該數目是否等於作用中參考層圖像之該數目；及基於直接參考層之該數目等於作用中參考層圖像之該數目，將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。該解碼方法可進一步包括：接收在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符；及接收在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。
在另一實施例中，視訊寫碼裝置可包括：用於儲存視訊資訊之一或多個層的構件，每一層包含至少一圖像；用於判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目的構件；用於判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目的構件；用於判定直接參考層之該數目是否等於作用中參考層圖像之該 數目的構件；及基於直接參考層之該數目等於作用中參考層圖像之該數目，將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集的構件。
在另一實施例中，非暫時性電腦可讀媒體，其上儲存有在執行時使裝置進行以下操作之程式碼：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目；判定直接參考層之該數目是否等於作用中參考層圖像之該數目；及基於直接參考層之該數目等於作用中參考層圖像之該數目，將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
400‧‧‧可擴充性
402‧‧‧時間維度
404‧‧‧空間可擴充性(S)
406‧‧‧SNR(Q)層
408‧‧‧立方體
410‧‧‧最低空間
412‧‧‧品質
414‧‧‧最低時間層級
500‧‧‧SVC寫碼結構
502‧‧‧時間基礎層(層0)
504‧‧‧較高時間層級(層1)
506‧‧‧層2
508‧‧‧層3
510‧‧‧層4
600‧‧‧存取單元
700‧‧‧用於編碼視訊資料之實例方法
800‧‧‧用於解碼視訊資料之實例方法
900‧‧‧用於編碼視訊資料之實例方法
1000‧‧‧用於解碼視訊資料之實例方法
圖1為說明實例視訊編碼及解碼系統之方塊圖，該視訊編碼及解碼系統可利用根據本發明中所描述之態樣之技術。
圖2為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明之中所描述之態樣之技術。
圖3為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。
圖4為根據本發明之態樣之方塊圖，其說明在三個不同維度中之可擴充性。
圖5為根據本發明之態樣之方塊圖，其說明可調式視訊寫碼(SVC)位元流之實例結構。
圖6為根據本發明之態樣之方塊圖，其說明位元流中之實例SVC存取單元。
圖7說明根據一實施例之用於編碼視訊資料之實例方法。
圖8說明根據一實施例之用於解碼視訊資料之方法。
圖9說明根據一實施例之用於編碼視訊資料之實例方法。
圖10說明根據一實施例之用於解碼視訊資料之方法。
本發明中所描述之技術大體而言係關於可調式視訊寫碼(SVC)及/或多視圖/3D視訊寫碼。舉例而言，該等技術可係關於高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展，及可與高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展一起使用或在高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展內使用。在SVC中，可存在視訊資訊之多個層。位於視訊資訊之最底下層級處或位於最低層級處的層可充當基礎層(BL)或參考層(RL)，且位於視訊資訊之最頂部層級處或位於最高層級處的層可充當增強型層(EL)。「增強型層」可被視為與「增強層」同義，且此等術語可互換使用。在BL與EL之間的層可充當EL及/或RL。例如，一給定層對於位於該給定層下面(例如，先於該給定層)之層(諸如，基礎層或任何介入之增強層)而言可為EL。另外，該給定層亦可充當位於該給定層上面(例如，後起於該給定層)之增強層的參考層。在基礎層(例如，具有(例如)層識別(ID)集或等於「1」之最低層)與頂層(或最高層)之間的任何給定層可由相對於該給定層而言之較高層用作層間預測之參考且可將低於該給定層之層用作層間預測之參考而加以判定。
僅出於說明之目的，可關於僅包括兩個層(例如，諸如參考層之較低層級層及諸如增強型層之較高層級層)之實例來描述本發明中所描述之技術。應理解，本發明中所描述之實例亦可擴展至具有多個基礎層或參考層及增強層之實例。另外，出於解釋容易性，以下揭示內容主要使用術語「圖框」或「區塊」。然而，此等術語並不意謂為限 定性的。舉例而言，可將下文所描述之技術與諸如區塊(例如，CU、PU、TU、巨集區塊等)、片段、圖像等之不同視訊單元一起使用。
HEVC擴展之層間預測(ILP)大體具有關於在片段標頭中發信層間參考圖像資訊的問題及缺點。舉例而言，對於非基礎層圖像而言，只要直接參考層之數目大於0，便需要在片段標頭中發信層間參考圖像資訊。一參考層構成對一給定增強層之直接參考層(基於該給定增強層利用該參考層以用於進行層間預測)。然而，對於許多典型情境而言，可能無需逐片段地改變層間參考圖像資訊(例如，層間參考圖像資訊可隨片段標頭不同而保持相同)及/或對在片段標頭中發信任何層間參考圖像資訊可能無任何需要。在此等情形中，片段標頭中之用於層間預測的發信位元變得無必要且此等發信位元之包括降低了寫碼效率。在典型多視圖視訊寫碼情境中，此等情形包括其中如在視訊參數集(VPS)所指定之在層間參考圖像集(RPS)中的直接參考層圖像可皆被用於層間預測且該等直接參考層圖像可皆被插入至當前圖像之至少一參考圖像清單中。另外或替代地，當直接參考層之數目等於與視訊資訊相關聯之作用中參考層圖像的數目時，無需發信層間預測。
在一些實施例中，提供支援兩個或兩個以上層但提供低寫碼(例如，解碼、編碼)複雜度之系統及方法。本文中所描述之技術亦適用於HEVC之多視圖或3DV擴展及基於任何其他寫碼框架(例如，H.264/AVC)之類似可調式、多視圖及/或3DV寫碼情境(因為層亦可被視為視圖或視圖之紋理或深度部分)。
為降低關於具有兩個或兩個以上層之視訊資訊的寫碼複雜度，可判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。可判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。可判定直接參考層之該數目是否等於作用中參考層圖像之該數目。基於直接參考層之該數目等於作用中參考層圖像之該數目，可 抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
在一些實施例中，視訊編碼器可處理在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符。視訊編碼器亦可處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。視訊編碼器可藉由在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或其任何組合中之一者中發信該等指示符來處理該等指示符。在一些實施例中，視訊編碼器可藉由抑制包括用於在任何視訊片段之片段標頭中進行層間發信的任何另外之語法元素來抑制進一步發信層間參考圖像資訊。
在一些實施例中，可判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。可判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。可判定直接參考層之該數目是否等於作用中參考層圖像之該數目。基於直接參考層之該數目等於作用中參考層圖像之該數目，可將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。在一些實施例中，可接收在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之該數目的第一指示符。在一些實施例中，可接收在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指定直接參考層之該數目的第二指示符。
另外，視訊解碼器可藉由接收視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或其任何組合中之一者內的指示符來處理該指示符。在一些實施例中，視訊解碼器可在不接收用於在任何視訊片段之片段標頭中進行層間發信的任何另外之語法元素之情況下，將用 於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。
視訊寫碼標準
本文中所描述之某些實施例係關於用於在進階視訊編解碼器之上下文中進行可調式視訊寫碼(諸如，HEVC(高效率視訊寫碼))的層間預測。更具體言之，本發明係關於用於在可調式視訊寫碼(SVC)、HEVC之多視圖視訊寫碼及/或3D視訊寫碼擴展中達成層間預測之改良之效能的系統及方法。在以下描述中，描述了與某些實施例有關之H.264/AVC技術；亦論述了HEVC標準及有關技術。雖然本文中在HEVC及/或H.264標準之上下文中描述了某些實施例，但一般熟習此項技術者可瞭解，本文中所揭示之系統及方法可適用於任何合適之視訊寫碼標準。舉例而言，本文中所揭示之實施例可適用於以下標準中之一或多者：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦已知為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)。
可使用可調式視訊寫碼(SVC)來提供品質(亦稱為信雜(SNR))可擴充性、空間可擴充性及/或時間可擴充性。舉例而言，在一個實施例中，參考層(例如，基礎層)包括足以以第一品質等級來顯示視訊的視訊資訊且增強層包括關於參考層之額外視訊資訊使得參考層及增強層一同包括足以以高於第一等級之第二品質等級(例如，較少雜訊、較大解析度、較好之圖框速率等)來顯示視訊的視訊資訊。增強型層可具有不同於基礎層之空間解析度。舉例而言，EL與BL之間的空間縱橫比可為1.0、1.5、2.0或其他不同比。換言之，EL之空間縱橫可等於BL之空間縱橫的1.0、1.5或2.0倍。在一些實例中，EL之比例因子可 大於BL。舉例而言，EL中之圖像大小可大於BL中之圖像大小。以此方式，EL之空間解析度大於BL之空間解析度可為有可能的(雖然非為限制)。
在H.264之SVC擴展中，可使用為SVC所提供之不同層來執行當前區塊之預測。可將此預測稱為層間預測。可在SVC中利用層間預測方法以便減少層間冗餘。層間預測之一些實例可包括層間框內預測、層間運動預測、層間模式預測及層間殘餘預測。層間框內預測使用基礎層中之同置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動來預測增強層中之運動。層間模式預測基於基礎層中之模式來預測增強層中之模式。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。
下文中參看隨附圖式來更完整地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應將其解釋為限於貫穿本發明所呈現之任何特定結構或功能。相反，提供此等態樣使得本發明將為詳盡且完整的，且將向熟習此項技術者充分地傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋本文中所揭示之新穎系統、裝置及方法之任何態樣，而不管該態樣係獨立於本發明之任何其他態樣而實施或是與本發明之任何其他態樣相組合來實施。舉例而言，可使用本文中所闡述之任何數目個態樣來實施一裝置或可實踐一方法。另外，本發明之範疇意欲涵蓋除本文中所闡述的本發明之各種態樣之外或不同於本文中所闡述的本發明之各種態樣的使用其他結構、功能性或結構與功能性加以實踐之此裝置或方法。應理解，可藉由一請求項之一或多個要素來體現本文中所揭示之任何態樣。
雖然本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇內。雖然提及較佳態樣之一些益處及優點，但本發明之 範疇並不意欲限於特定益處、用途或目標。相反，本發明之態樣意欲廣泛適用於不同無線技術、系統組態、網路及傳輸協定，其中一些藉由實例在諸圖中且在較佳態樣之以下描述中加以說明。實施方式及圖式僅說明本發明而非限制本發明，本發明之範疇由所附申請專利範圍及其均等物來界定。
圖1為說明實例視訊編碼及解碼系統之方塊圖，該視訊編碼及解碼系統可利用根據本發明中所描述之態樣之技術。如圖1中所示，系統10包括源器件12，該源器件提供待由目的地器件14在稍後之時間解碼的經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，該等器件包括桌上型電腦、筆記型(例如，膝上型)電腦、平板型電腦、機上盒、諸如所謂之「智慧型」電話之電話手機、所謂之「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。另外，在一些實施例中，系統10可實施於單一器件中。舉例而言，任何此單一器件(包括電話手機)可包含源器件12與目的地器件14兩者以及電腦可讀媒體16。在一些狀況下，可裝備源器件12及目的地器件14以用於達成無線通信。
目的地器件14可經由電腦可讀媒體16來接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14的任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含一用以使得源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體(諸如，射頻(RF)頻譜或一或多個實體傳輸線)。通信媒體可形成基於封包之網路(諸如，區 域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、開關、基地台，或可對促進自源器件12至目的地器件14之通信有用的其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至一儲存器件。類似地，可藉由輸入介面自儲存器件來存取經編碼資料。儲存器件可包括多種分散式或局部存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另外之實例中，儲存媒體可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載而自儲存媒體存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於視訊寫碼而支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應性串流(DASH))、被編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態成支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實施例中，無線通信器件(諸如，蜂巢式電話)可包含源器件12(包括視訊源18、視訊編碼器20及輸出介面22)。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實施例中，無線通信器件(諸如，蜂巢式電話)可包含目的地器件14(包括輸入介面28、視訊解碼器30及顯示器件32)。舉例而言，在一些狀況下，單一無線通信器件可包含源器件12與目的地器件14兩者。根據本發明，源器件12之視訊編碼器20可經組態以應用用於遵照多個標準或標準擴展來寫碼包括視訊資料之位元流的技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。
圖1之所說明之系統10僅為一個實例。可藉由任何數位視訊編碼及/或解碼器件來執行用於判定當前區塊之運動向量預測值之候選清單中之候選者的技術。雖然大體藉由視訊編碼器件來執行本發明之技術，但亦可藉由視訊編碼器/解碼器(通常被稱為「CODEC」)來執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等寫碼器件之實例，其中源器件12產生供傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質上對稱之方式操作使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸(例如，用於視訊串流、視訊播放、視訊廣播或視訊電話)。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另外之替代例，視訊源18可產生基於電腦圖形之資料以作為源視訊、或直播視訊、存檔視訊及電腦產生之視訊的 組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂之攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視訊寫碼，且可被應用於無線及/或有線應用。在每一狀況下，可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資訊可接著藉由輸出介面22而被輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括：暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬磁碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。舉例而言，在一些實施例(其中源器件12及目的地器件14經實施為諸如無線手機之單一器件)中，電腦可讀媒體16可包括任何儲存媒體。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件14(例如，經由網路傳輸、直接有線通信等)。類似地，媒體製造設施(諸如，光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且製造含有該經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦可由視訊解碼器30使用且包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據一視訊寫碼標準(諸如，高效率視訊寫碼(HEVC)標準)來操作，且可遵照HEVC測試模型(HM)。 替代地，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(替代地被稱為MPEG-4部分10進階視訊寫碼(AVC))之其他專屬或工業標準或此等標準之擴展來操作。然而，本發明之技術並不限於任何特定寫碼標準，包括(但不限於)上文所列舉之標準中的任一者。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料流或分開之資料流中之音訊與視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地在軟體中實施時，一器件可將軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。一包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型(稱為HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC來假設視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本與色度樣本兩者之樹型區塊或最大寫碼單元(LCU)序列。位元流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。一片段包括按寫碼次序之諸多連續樹型區塊。可將一視訊圖框或圖像分割成一或多個片段。每一樹型區塊可根據四分樹(quadtree)而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將一CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
四分樹資料結構之每一節點可為對應之CU提供語法資料。舉例而言，四分樹中之節點可包括分裂旗標，其指示是否將對應於該節點之CU分裂成子CU。可遞迴地定義CU之語法元素，且CU之語法元素可取決於該CU是否被分裂成子CU。若一CU未經進一步分裂，則將該CU稱為葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，仍亦將葉CU之四個子CU稱為葉CU。舉例而言，若一16×16大小之CU未經進一步分裂，則四個8×8子CU將亦被稱為葉CU，儘管該16×16 CU從未經分裂。
除CU不具有大小差別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將一樹型區塊分裂成四個子節點(亦稱為子CU)，且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱為四分樹之葉節點的最終未分裂子節點包含一寫碼節點，該寫碼節點亦稱為葉CU。與經寫碼位元流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱為最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指代HEVC之上下文中的CU、PU或TU中之任一者或其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨 集區塊及其子區塊)。
一CU包括一寫碼節點及與該寫碼節點相關聯的若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小且形狀必須為正方形。CU之大小可在自8×8像素直至具有最大64×64像素或大於64×64像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU係被跳過或是經直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU可分割成形狀為非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹CU至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU進行變換，該等變換對於不同CU而言可為不同的。通常基於在針對已分割LCU所定義之給定CU內的PU之大小來對TU設定大小，儘管可能並非總是此狀況。TU通常為與PU相同之大小或小於PU。在一些實例中，可使用已知為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分成若干較小單元。可將RQT之葉節點稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
一葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可被包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於該PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素 精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱為TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示一葉CU是否被分裂成四個變換單元。接著，可將每一變換單元進一步分裂為另外之子TU。當TU未加以進一步分裂時，可將其稱為葉TU。大體而言，為達成框內寫碼，屬於一葉CU之所有葉TU共用相同之框內預測模式。亦即，大體應用相同之框內預測模式以計算一葉CU之所有TU的預測值。為達成框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可大於或小於PU。為達成框內寫碼，一PU可與同一CU之一對應葉TU同置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(稱為殘餘四分樹(RQT))相關聯。亦即，葉CU可包括一指示該葉CU如何被分割為TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱為葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一片段可包括描述用於該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。 視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而大小不同。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分係由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，舉例而言，「2N×nU」指代水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸(例如，16×16像素或16乘16像素)。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊大體在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊在水平方向上與在垂直方向上可能未必具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算用於CU之TU的殘餘資料。該等PU可包含描述在空間域(亦稱為像素域)中產生預測性像素資料之方法或模式的語法資料，且該等TU可包含在將變換(例如，離散餘弦變換(DCT)、整數變換、子波變換或概念上類似之變換)應用於殘餘視訊資料之後在變換域中之係數。該殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且 接著變換該等TU以產生CU之變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化係意欲具有其最廣之普通意義的廣義術語。在一個實施例中，量化指代如下之程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供另外之壓縮。量化程序可減少與一些或所有該等係數相關聯之位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描該等變換係數，從而自包括該等經量化之變換係數的二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可加以熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。
為執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能係關於(例如)符號之相鄰值是否為非零。為執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號而使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於被指派給符號之上下文。
視訊編碼器20可進一步(例如)在圖框標頭、區塊標頭、片段標頭或GOP標頭中將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之諸多圖框，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
圖2為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。視訊編碼器20可經組態以執行本發明之技術中之任一者或全部。舉例而言，可在視訊編碼器20之各種組件之中共用本發明中所描述之技術(包括下文關於圖7及圖8所描述之方法)。在一些實例中，除上述情況之外或代替上述情況的係，一處理器(未圖示)可經組態以執行本發明中所描述之技術中之任一者或全部。
視訊編碼器20可執行視訊片段內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除一給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內的當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括一解區塊濾波器(圖2中未圖示)以濾波區塊邊界從而自重建構之視訊移除成塊 性假影。若需要，解區塊濾波器將通常濾波求和器62之輸出。亦可使用除解區塊濾波器之外的額外濾波器(迴路中或迴路後)。出於簡潔性未展示此等濾波器，但若需要，則此等濾波器可濾波求和器50之輸出(作為迴路中濾波器)。
在編碼程序期間，視訊編碼器20接收待被寫碼之視訊圖框或片段。可將該圖框或片段劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於在一或多個參考圖框中之一或多個區塊來執行接收之視訊區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地相對於在與待被寫碼之區塊相同之圖框或片段中的一或多個相鄰區塊來執行接收之視訊區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可最初將一圖框或片段分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生一指示將LCU分割成子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果來選擇該等寫碼模式中之一者(框內或框間)，且將所得框內寫碼區塊或框間寫碼區塊提供至求和器50以產生殘餘區塊資料及提供至求和器62以重建構供用作參考圖框之經編碼區塊。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可經高度整合，但為概念目的而分開地予以說明。由運動估計單元42執行之運動估計為產生運動 向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內之預測性區塊(相對於在該當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊而言)的位移。預測性區塊為被發現與待被寫碼之區塊在像素差方面緊密匹配之區塊，可藉由絕對差總和(SAD)、平方差總和(SSD)或其他不同量度來判定像素差。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像的次整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行關於全像素位置及分率像素位置之運動搜尋且輸出具有分率像素精度之運動向量。
運動估計單元42計算框間寫碼片段中之視訊區塊之PU的運動向量(藉由比較該PU之位置與參考圖像之預測性區塊之位置)。可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇參考圖像，該清單0及該清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。再次，在一些實例中，運動估計單元42及運動補償單元44可在功能上被整合。在接收當前視訊區塊之PU的運動向量後，運動補償單元44即可在參考圖像清單中之一者中定位該運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42可關於明度分量執行運動估計，且運動補償單元44可將基於明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元 40亦可產生與該等視訊區塊及該視訊片段相關聯之語法元素以供由視訊解碼器30用於解碼該視訊片段之該等視訊區塊。
框內預測單元46可框內預測或計算當前區塊，以作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，如上文所描述。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在分開之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用針對各種所測試之框內預測模式的速率-失真分析來計算速率-失真值，且在所測試之模式之中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體判定經編碼區塊與原始、未編碼區塊(其被編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在針對一區塊來選擇框內預測模式之後，框內預測單元46可將指示針對該區塊所選擇之框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選之框內預測模式的資訊。視訊編碼器20可在所傳輸之位元流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱為碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料來形成一殘餘視訊區塊。求和器50表示執行此減 法運算之(多個)組件。變換處理單元52將變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用子波變換、整數變換、子頻帶變換或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。變換可將殘餘資訊自像素值域轉換至變換域(諸如，頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元率。量化程序可減少與一些或所有該等係數相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化之變換係數之矩陣的掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元流傳輸至另一器件(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊(例如，以供稍後用作參考區塊)。運動補償單元44可藉由將該殘餘區塊加至參考圖框記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算供用於運動估計之次整數像素值。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生的經運動補償之預測區塊以產生供儲存於參考圖框記憶體64中之經重建構之視訊區塊。可由運動估計單元42及運動補償單元44將該經重建構之 視訊區塊用作一參考區塊以框間寫碼在一隨後之視訊圖框中之區塊。
圖3為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。視訊解碼器30可經組態以執行本發明之技術中之任一者或全部，包括下文關於圖7及圖8所描述之方法。作為一個實例，運動補償單元72及/或框內預測單元74可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣並未如此受限。在一些實例中，可在視訊解碼器30之各種組件之中共用本發明中所描述之技術。在一些實例中，除上述情況之外或代替上述情況的係，一處理器(未圖示)可經組態以執行本發明中所描述之技術中之任一者或全部。
在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體與關於視訊編碼器20(圖2)所描述之編碼遍次互反的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量來產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符來產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一經編碼視訊位元流，該經編碼視訊位元流表示一經編碼視訊片段之視訊區塊及相關聯之語法元素。視訊解碼器30之熵解碼單元70熵解碼該位元流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊片段層級及/或視訊區塊層級處接收語法元素。
當視訊片段經寫碼為框內寫碼(I)片段時，框內預測單元74可基於所發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的 資料而產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(例如，B、P或GPB)片段時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊片段之視訊區塊的預測性區塊。可自位於參考圖像清單中之一者內的參考圖像中之一者來產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖框記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊片段之視訊區塊的預測資訊，且使用該預測資訊來產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用一些接收之語法元素來判定用以寫碼視訊片段之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如，B片段、P片段或GPB片段)、片段之參考圖像清單中之一或多者的建構資訊、片段之每一經框間編碼之視訊區塊的運動向量、片段之每一經框間寫碼之視訊區塊的框間預測狀態及用以解碼當前視訊片段中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自接收之語法元素來判定由視訊編碼器20所使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(例如，解量化)被提供於位元流中且由熵解碼單元70解碼的經量化之變換係數。反量化程序可包括將藉由視訊解碼器30計算之量化參數QPY用於視訊片段中之每一視訊區塊以判定量化程度及同樣地應加以應用之反量化的程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72所產生之對應預測性區塊求和來形成經解碼視訊區塊。求和器80表示執行此加法運算之(多個)組件。若需要，亦可應用解區塊濾波器以對經解碼區塊濾波以便移除成塊性假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)來使像素轉變平滑，或在其他方面改良視訊品質。一給定圖框或圖像中之經解碼視訊區塊接著被儲存於參考圖框記憶體82中，該參考圖框記憶體儲存用於隨後之運動補償的參考圖像。參考圖框記憶體82亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。
HEVC中之運動補償
如上文所提及，HEVC為下一代視訊寫碼標準。一般而言，HEVC遵循先前視訊寫碼標準之框架。可使HEVC之運動補償迴路保持為與H.264/AVC中之運動補償迴路相同，亦即，當前圖框之重建構
Figure TWI615021BD00001
等於經解量化之係數r加上時間預測P：
Figure TWI615021BD00002
其中P指示針對P圖框或片段之單向預測或針對B圖框或片段之雙向預測。
HEVC中之運動補償單元可不同於先前視訊寫碼標準中之運動補償單元。事實上，在HEVC中不存在先前視訊寫碼標準中之巨集區塊的概念。實情為，巨集區塊概念被基於一般四分樹方案之高度靈活之階層結構所代替。在此方案內，定義三種類型之區塊(亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU))。CU係區域分裂之基本單元。CU係類似於巨集區塊之概念，但CU並不限制最大大小且CU可允許遞歸地分裂成四個相等大小之CU以改良內容自適應性。PU係框間/框內預測之基本單元且PU可含有單一PU內之多個任意形狀之分區以 有效地寫碼不規則影像圖案。TU係變換之基本單元。可獨立於PU來定義TU；然而，TU之大小受限於該TU所屬之CU。將區塊結構以此方式分成三種不同概念允許每一區塊結構根據其作用而被最佳化，從而產生改良之寫碼效率。
可調式視訊寫碼
圖4中展示在不同維度中之可擴充性400之實例。在該實例中，在三個維度402、404、406中啟用可擴充性。在時間維度402中，可藉由時間可擴充性(T)來支援(例如)具有7.5Hz、15Hz或30Hz之圖框速率。當支援空間可擴充性(S)404時，啟用不同解析度(諸如，QCIF、CIF及4CIF)。對於每一特定空間解析度及圖框速率而言，可添加SNR(Q)層406以改良圖像品質。可將來自每一層402、404、406之位元流一同多工至單一位元流中。一旦視訊內容已以此可調方式加以編碼，便可使用提取器工具以根據應用要求來調適實際所傳遞之內容，該等應用要求係取決於(例如)用戶端或傳輸頻道。在圖4中所示之實例中，每一立方體408含有具有相同圖框速率(時間層級)、空間解析度及SNR層之圖像。可藉由在任何維度402、404、406中添加彼等立方體408(圖像)來達成較好之表示。當存在所啟用之兩個、三個或甚至更多可擴充性時，支援組合之可擴充性。
根據SVC規範，具有最低空間410及品質412層之圖像係與H.264/AVC相容，且處於最低時間層級414之圖像形成時間基礎層，其可藉由處於較高時間層級之圖像而得到增強。除H.264/AVC相容層之外，亦可添加若干空間及/或SNR增強層以提供空間及/或品質可擴充性。SNR可擴充性406亦被稱為品質可擴充性。每一空間404或SNR 406增強層自身可為時間上可調的，其具有與H.264/AVC相容層相同之時間可擴充性結構。對於一個空間或SNR增強層而言，空間或SNR增強層所依賴之較低層亦稱為彼特定空間或SNR增強層之基礎層。
圖5中展示SVC寫碼結構500之實例。具有最低空間及品質層之圖像(層0 502及層1 504中之圖像，其具有QCIF解析度)係與H.264/AVC相容。其中，最低時間層級之彼等圖像形成時間基礎層，如在圖5之層0 502中所示。此時間基礎層(層0)502可藉由較高時間層級(層1)504之圖像而得到增強。除H.264/AVC相容層504之外，亦可添加若干空間及/或SNR增強層506、508、510以提供空間及/或品質可擴充性。例如，增強層可為具有與層2506相同之解析度的CIF表示。在該實例中，層3 508為SNR增強層。如該實例中所示，每一空間或SNR增強層自身可為時間上可調的，其具有與H.264/AVC相容層相同之時間可擴充性結構。又，增強層可增強空間解析度與圖框速率兩者。舉例而言，層4 510提供4CIF增強層，其進一步將圖框速率自15Hz增加至30Hz。
如圖6中所示，同一時間執行個體中之經寫碼片段在位元流次序方面係連續的且在SVC之上下文中形成一個存取單元600。彼等SVC存取單元600接著遵循解碼次序，該解碼次序可不同於顯示次序且(例如)由時間預測關係來決定。
大體而言，層間紋理預測指代其中使用經重建構之基礎層像素值來預測增強層中之像素值的狀況。「框內BL模式」及「層間參考圖像」係用以進行層間紋理預測之兩種做法。
術語(經寫碼)圖像、存取單元(AU)、內部隨機存取點(IRAP)AU、經寫碼視訊序列(CVS)及位元流為具有廣普通意義之廣義術語。在一些實施例中，此等術語指代以下內容。經寫碼圖像係與SVC中之層表示、MVC中之視圖分量及MVC+D中之紋理或深度視圖分量等效。如在SVC及MVC中，存取單元(AU)由與相同輸出時間相關聯之所有經寫碼圖像及其關聯之非VCL NAL單元組成。IRAP存取單元為其中所有經寫碼圖像為IRAP圖像之存取單元。經寫碼視訊序列(CVS) 為存取單元序列，其按解碼次序由以下各者組成：一具有等於1之NoRaslOutputFlag的IRAP存取單元；接著為零個或零個以上之存取單元(非為具有等於1之NoRaslOutputFlag的IRAP存取單元)，包括所有隨後之存取單元一直到但不包括為具有等於1之NoRaslOutputFlag之IRAP存取單元的任何隨後之存取單元。位元流為位元序列(呈NAL單元流或位元組流之形式)，其形成一或多個CVS之表示。位元流中之第一AU為IRAP AU。
層間RPS之發信及導出
一種層間參考圖像集(RPS)發信及導出之方法被設計成具有以下目的。可基於圖像層級語法(例如，可在片段標頭中發信圖像層級語法)來導出層間RPS子集。可使用該層間RPS子集來偵測用於層間圖像參考之圖像的損耗。可使用序列層級指示來減少典型用戶案例之圖像層級發信附加項。舉例而言，在SHVC中，通常在用於寫碼一圖像之層間預測中僅使用一個參考層圖像。因此，將具有最高層id之參考層用於層間預測，因此未在任何片段標頭中明確發信層間參考圖像資訊。
在MV-HEVC及SHVC中，可如下提供語法及語義。
MV-HEVC及SHVC中之視訊參數集擴展語法及語義
Figure TWI615021BD00003
在表1之此實例中，等於1之max_one_active_ref_layer_flag可指定或指示針對CVS中之每一圖像而將至多一個圖像用於層間預測。又，等於0之max_one_active_ref_layer_flag可指定或指示可針對CVS中之每一圖像而將一個以上之圖像用於層間預測。
一般片段區段標頭語法
在下表2之實例中，等於1之inter_layer_pred_enabled_flag可指定或指示可將層間預測用於當前圖像之解碼中。又，等於0之inter_layer_pred_enabled_flag可指定或指示不將層間預測用於當前圖像之解碼中。當位元流中不存在inter_layer_pred_enabled_flag時或當未在位元流中發信inter_layer_pred_enabled_flag之值時，可由解碼器推斷inter_layer_pred_enabled_flag之值等於0。
在表2之實例中，num_inter_layer_ref_pics_minus1+1可指定或指示可用於當前圖像之解碼中以用於達成層間預測的圖像之數目。num_inter_layer_ref_pics_minus1語法元素之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]-1)位元。num_inter_layer_ref_pics_minus1之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
Figure TWI615021BD00004
可如以下程式碼中所示來導出變量NumActiveRefLayerPics：if(nuh_layer_id==0 || NumDirectRefLayers[nuh_layer_id]==0 ||
Figure TWI615021BD00005
經寫碼圖像之所有片段可具有NumActiveRefLayerPics之相同值。
在表2之實例中，inter_layer_pred_layer_idc[i]可指定或指示變量RefPicLayerId[i]，該變量表示可由當前圖像使用以用於達成層間預測之第i圖像的nuh_layer_id。語法元素inter_layer_pred_layer_idc[i]之長度為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]))位元。inter_layer_pred_layer_idc[i]之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。當位元流中不存在inter_layer_pred_layer_idc[i]時或當未在位元流中發信inter_layer_pred_layer_idc[i]之值時，可由解碼器推斷inter_layer_pred_layer_idc[i]之值等於0。當i大於0時，inter_layer_pred_layer_idc[i]可大於inter_layer_pred_layer_idc[i-1]。
可如下導出變量RefPicLayerId[i](其中i之每一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)：for(i=0；i<NumActiveRefLayerPics；i++)
RefPicLayerId[i]=RefLayerId[nuh_layer_id][inter_layer_pred_layer_idc[i]]圖像之所有片段可具有inter_layer_pred_layer_idc[i](其中i之每 一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)之相同值。
在一些實施中，位元流一致性之要求為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，以下兩個條件中之任一者應為真。第一條件為max_sublayer_for_ilp_plus1[LayerIdInVps[RefPicLayerId[i]]]之值大於TemporalId。第二條件為max_sublayer_for_ilp_plus1[LayerIdInVps[RefPicLayerId[i]]]及TemporalId之值均等於0，且當前存取單元中具有等於RefPicLayerId[i]之nuh_layer_id的圖像為IRAP圖像。
在一些實施中，位元流一致性之要求為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，SamplePredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]或MotionPredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]之值等於1。
在表2之實例中，等於1之inter_layer_sample_pred_only_flag可指定或指示未將層間預測用於當前圖像之解碼中。又，等於0之inter_layer_sample_pred_only_flag可指定或指示可將層間預測用於當前圖像之解碼中。當位元流中不存在inter_layer_sample_pred_only_flag時或當未在位元流中發信inter_layer_sample_pred_only_flag之值時，可由解碼器推斷inter_layer_sample_pred_only_flag之值等於0。
可如下導出變量InterRefEnabledInRPLFlag。若NumSamplePredRefLayers[nuh_layer_id]大於0且NumActiveRefLayerPics大於0，則可將InterRefEnabledInRPLFlag設定成等於！inter_layer_sample_pred_only_flag。若非如此，則可將 InterRefEnabledInRPLFlag設定成等於1。
MV-HEVC及SHVC中之用於層間預測(ILP)的語法及語義具有某些問題及缺點。舉例而言，對於非基礎層圖像而言，只要NumDirectRefLayers[nuh_layer_id]大於0，便總是需要在片段標頭中發信層間預測。然而，對於各種典型情境而言，不需要改變逐片段地改變層間預測。因此，不需要在片段標頭中發信任何層間預測。因此，在此等情形中，被利用以在片段標頭中發信層間預測的位元變得無必要。此等情境包括在典型多視圖視訊寫碼情境中當如在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內所指定之在層間RPS中的直接參考層圖像皆被用於層間預測且皆被插入至當前圖像之至少一參考圖像清單中時。此等情境(其中被利用以在片段標頭中發信層間預測之位元係無必要的)亦可包括或替代地包括其中NumDirectRefLayers[nuh_layer_id]之值等於NumActiveRefLayerPics之值的情境。當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，無需發信inter_layer_pred_layer_idc[i]。
在一些實施例中，以下技術提供用以解決上文所描述之問題及缺點且避免片段標頭中之不必要發信的機制。此等技術產生改良之寫碼效率及減少之計算資源要求。
在一些實施例中，該等技術包括：接收視訊資訊之一或多個層，每一層包含至少一圖像。該等技術可包括：處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指示符，該指示符指示與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的所有直接參考層圖像是否被添加至層間參考圖像集。該等技術可包括：基於該指示符(例如，若該指示符指示所有關聯之直接參考層圖像被添加至層間參考圖像集)，抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少 一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。舉例而言，該等技術包括：提供及/或處理在視訊參數集(VPS)中之關於所有直接參考層圖像是否被添加至層間參考圖像集(RPS)的指示，使得對於參考VPS或與VPS相關聯之任何片段而言，參考具有此指示之VPS(例如，與之相關聯)的所有視訊片段被添加至層間參考圖像集。舉例而言，參考VPS或與VPS相關聯之視訊片段不包括用於在任何視訊片段之片段標頭中進行層間發信的任何另外之語法元素。替代地，視訊參數集中之指示所有直接參考層圖像是否被添加至層間RPS的指示可存在於SPS或PPS中。因此，對於參考SPS或PPS(例如，與之相關聯)之任何及所有片段而言所有直接參考層圖像被添加至層間RPS的約束類似地適用。另外，可針對MV-HEVC而引入所有直接參考層圖像被添加至層間RPS的約束，使得該約束可總是適用。在此狀況下，發信所有直接參考層圖像被添加至層間RPS的約束可為強制性的。
在一些實施例中，該等技術包括：接收視訊資訊之一或多個層，每一層包含至少一圖像。該等技術可進一步包括：判定與該一或多個層中之一者相關聯的直接參考層之數目。該等技術可進一步包括：當直接參考層之數目等於與視訊資訊相關聯之作用中參考層圖像的數目時，抑制發信層間預測。舉例而言，當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，不發信inter_layer_pred_layer_idc[i]。
一些實施例包括對各種HEVC標準及草案中所提供之某些語法及語義元素的修改(諸如，添加及刪除)。舉例而言，下文描述對MV-HEVC WD4及SHVC WD2之添加及刪除。另外，未提及或在其他方面經指示為被添加或移除的一些部分係與或可與MV-HEVC WD3及SHVC WD1中之部分相同。
視訊參數集擴展語法及語義(第一組實施例)
在第一組實施例之一些中，語法可對應於下文在表3中所示之語法。
Figure TWI615021BD00006
在表3之實例中，等於1之all_dep_layer_used_flag可指定或指示，對於參考VPS之每一圖像而言，當前圖像之所有直接參考層圖像(當必要時加以重取樣)(其可由VPS語法指定)被添加至層間參考圖像集。舉例而言，在一些實施例中，一種寫碼視訊資訊之方法包括：接收視訊資訊之一或多個層，每一層包含至少一圖像；處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指示符(諸如，all_dep_layer_used_flag)，該指示符指示與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)相關聯的所有直接參考層圖像是否被添加至層間參考圖像集；及基於該指示符(例如，若all_dep_layer_used_flag等於1)，抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
另外，等於0之all_dep_layer_used_flag可指定或指示對於參考VPS之圖像而言可將或可不將當前圖像之所有直接參考層圖像(當必要時加以重取樣)(其由VPS語法指定)添加至層間參考圖像集。舉例而言，在一些實施例中，一種寫碼視訊資訊之方法包括：處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指示符(諸如，all_dep_layer_used_flag)，該指示符指示與視訊參數 集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的所有直接參考層圖像是否被添加至層間參考圖像集；及若該指示符不指示與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的所有直接參考層圖像被添加至層間參考圖像集(例如，若all_dep_layer_used_flag等於0)，則不抑制與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)相關聯的任何視訊片段中進一步發信層間參考圖像資訊。換言之，若all_dep_layer_used_flag具有0之值，則可在與VPS、SPS或PPS中之至少一者相關聯的任何視訊片段中發信層間參考圖像資訊。舉例而言，若all_dep_layer_used_flag等於0，則對於參考VPS之圖像而言可將或可不將當前圖像之所有直接參考層圖像添加至層間參考圖像集。
在表3及表4之實例中，等於1之max_one_active_ref_layer_flag可指定或指示對於CVS中之每一圖像而言將至多一個圖像用於層間預測。又，等於0之max_one_active_ref_layer_flag可指定或指示對於CVS中之每一圖像而言可將一個以上之圖像用於層間預測。
在表3及表4之實例中，等於1之highest_dep_layer_used_flag可指定或指示對於使用層間預測之每一圖像而言僅將具有nuh_layer_id之最高值的依賴層用於層間預測。又，等於0之highest_dep_layer_used_flag可指定或指示對於每一圖像而言可將或可不將任何依賴層用於層間預測。當位元流中不存在highest_dep_layer_used_flag時或當未在位元流中發信highest_dep_layer_used_flag之值時，可由解碼器推斷highest_dep_layer_used_flag之值等於0。
在第一組實施例之其他實施例中，語法可對應於下文在表4中所示之語法。
Figure TWI615021BD00007
在第一組實施例之又其他者中，語法可對應於下文在表5中所示之語法。
Figure TWI615021BD00008
在表5之實例中，selective_dep_layer_idc可取如表6中所指示之值。
Figure TWI615021BD00009
一般片段區段標頭語法及語義(第二組實施例)
在第二組實施例之一些中，語法可對應於下文在表7中所示之語法。
在表7及表8之實例中，等於1之inter_layer_pred_enabled_flag可指定或指示可將層間預測用於當前圖像之解碼中。又，等於0之inter_layer_pred_enabled_flag可指定或指示不將層間預測用於當前圖像之解碼中。當位元流中不存在inter_layer_pred_enabled_flag時或當未在位元流中發信inter_layer_pred_enabled_flag之值時，可由解碼器推斷inter_layer_pred_enabled_flag之值等於 all_dep_layer_used_flag之值。
Figure TWI615021BD00010
在表7及表8之實例中，num_inter_layer_ref_pics_minus1+1可指定或指示可用於當前圖像之解碼中以用於達成層間預測的圖像之數目。num_inter_layer_ref_pics_minus1語法元素之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]-1)位元。num_inter_layer_ref_pics_minus1之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
在表7及表8之實例中，可如下導出變量NumActiveRefLayerPics：
Figure TWI615021BD00011
Figure TWI615021BD00012
NumActiveRefLayerPics=num_inter_layer_ref_pics_minus1+1經寫碼圖像之所有片段可具有NumActiveRefLayerPics之相同值。
在表7及表8之實例中，inter_layer_pred_layer_idc[i]可指定或指示變量RefPicLayerId[i]，該變量表示可由當前圖像使用以用於達成層間預測之第i圖像的nuh_layer_id。語法元素inter_layer_pred_layer_idc[i]之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]))位元。inter_layer_pred_layer_idc[i]之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
當位元流中不存在inter_layer_pred_layer_idc[i]時或當未在位元流中發信inter_layer_pred_layer_idc[i]之值時，可由解碼器如下推斷inter_layer_pred_layer_idc[i]之值：
Figure TWI615021BD00013
}
當i大於0時，inter_layer_pred_layer_idc[i]可大於inter_layer_pred_layer_idc[i-1]。
可如下導出變量RefPicLayerId[i](其中i之每一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)：
Figure TWI615021BD00014
圖像之所有片段可具有inter_layer_pred_layer_idc[i](其中i之每一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)之相同值。
在第二組實施例之其他實施例中，語法可對應於下文在表8中所示之語法。
Figure TWI615021BD00015
在一些實施例中，位元流一致性之要求可為，對於在0至 NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，以下兩個條件中之任一者應為真。第一條件為max_sublayer_for_ilp_plus1[LayerIdInVps[RefPicLayerId[i]]]之值大於TemporalId。第二條件為max_sublayer_for_ilp_plus1[LayerIdInVps[RefPicLayerId[i]]]及TemporalId之值均等於0，且當前存取單元中具有等於RefPicLayerId[i]之nuh_layer_id的圖像為IRAP圖像。
在一些實施例中，位元流一致性之要求可為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，SamplePredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]或MotionPredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]之值應等於1。
在第二組實施例之其他實施例中，語法可對應於下文在表9中所示之語法。
Figure TWI615021BD00016
一般片段區段標頭語法及語義(第三組實施例)
在第三組實施例中，可針對在片段標頭中發信參考層圖像(RLP) 索引而添加一條件以避免在參考層圖像之作用中數目與參考層圖像之總數目相同的狀況下發送資訊。舉例而言，在一些實施例中，一種寫碼視訊資訊之方法可包括：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層中之一者相關聯的直接參考層之數目；及當直接參考層之數目等於與視訊資訊相關聯之作用中參考層圖像的數目時，抑制發信層間參考圖像資訊。該方法可進一步包括：至少部分地基於該判定來寫碼該視訊資訊。
在第三組實施例之一些中，語法可對應於下文在表10中所示之語法。
Figure TWI615021BD00017
在表10之實例中，inter_layer_pred_layer_idc[i]可指定或指示變量RefPicLayerId[i]，該變量表示可由當前圖像使用以用於達成層間預測之第i圖像的nuh_layer_id。語法元素inter_layer_pred_layer_idc[i]之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]))位元。inter_layer_pred_layer_idc[i]之值可在0至 NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
當位元流中不存在inter_layer_pred_layer_idc[i]時或當未在位元流中發信inter_layer_pred_layer_idc[i]之值時，可由解碼器如下推斷inter_layer_pred_layer_idc[i]之值：
Figure TWI615021BD00018
一般片段區段標頭語法及語義(第四組實施例)
在第四組實施例之一些中，可發信語法highest_ref_layer_active_flag以指示來自參考層且具有nuh_layer_id之最高值的圖像是否總是被包括於層間參考圖像集中。舉例而言，當highest_ref_layer_active_flag等於1且層間參考圖像集為非空時，來自參考層且具有nuh_layer_id之最高值的圖像可總是作為第一條目而存在於層間參考圖像集中。
在此等實施例中，即使當具有nuh_layer_id之最高值的圖像被包括於層間參考圖像集中時(例如，如由highest_ref_layer_active_flag所指示)，仍可將來自其他參考層之圖像添加至層間參考圖像集中。
在第四組實施例之一些中，語法可對應於下文在表11中所示之語法。
Figure TWI615021BD00019
在表11及表12之實例中，等於1之all_ref_layers_active_flag可指定或指示對於參考VPS之每一圖像而言由VPS指定之所有直接參考層的圖像係存在於同一存取單元中且被包括於層間參考圖像集中。又，等於0之all_dep_layer_used_flag可指定或指示以上限制可適用或可不適用。
在表11及表12之實例中，等於1之highest_ref_layer_active_flag可指定或指示具有參考VPS之當前圖像之nuh_layer_id之最高值的直接參考層圖像被包括於層間參考圖像集中。又，等於0之highest_ref_layer_active_flag可指定或指示以上限制可適用或可不適用。當位元流中不存在highest_ref_layer_active_flag時或當未在位元流中發信highest_ref_layer_active_flag之值時，可由解碼器推斷highest_ref_layer_active_flag之值為0。
在第四組實施例之一些中，語法可對應於下文在表12中所示之語法。
在表12之實例中，num_inter_layer_ref_pics_minus1+1可指定或指示可用於當前圖像之解碼中以用於達成層間預測的圖像之數目。num_inter_layer_ref_pics_minus1語法元素之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]-1)位元。num_inter_layer_ref_pics_minus1之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及 NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
Figure TWI615021BD00020
可如下導出變量NumActiveRefLayerPics：
Figure TWI615021BD00021
經寫碼圖像之所有片段可具有NumActiveRefLayerPics之相同值。
在表12之實例中，inter_layer_pred_layer_idc[i]可指定或指示變量RefPicLayerId[i]，該變量表示可由當前圖像使用以用於達成層間預測之第i圖像的nuh_layer_id。語法元素inter_layer_pred_layer_idc[i]之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]))位元。inter_layer_pred_layer_idc[i]之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
當NumActiveRefLayerPics大於0時，以下內容可適用以用於推斷inter_layer_pred_layer_idc[i]之值：
Figure TWI615021BD00022
當i大於0時，inter_layer_pred_layer_idc[i]可小於inter_layer_pred_layer_idc[i-1]。
可如下導出變量RefPicLayerId[i](其中i之每一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)及ActiveMotionPredRefLayerId[j](其中j之每一值係在0至NumActiveMotionPredRefLayers-1(包括0及NumActiveMotionPredRefLayers-1)之範圍中)：
Figure TWI615021BD00023
Figure TWI615021BD00024
圖像之所有片段可具有inter_layer_pred_layer_idc[i](其中i之每一值係在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)之相同值。
在一些實施例中，位元流一致性之要求可為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，以下兩個條件中之任一者為真。第一條件為max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]]之值大於TemporalId。第二條件為max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]]及TemporalId之值均等於0，且當前存取單元中具有等於RefPicLayerId[i]之nuh_layer_id的圖像為IRAP圖像。
在一些實施例中，位元流一致性之要求可為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，SamplePredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]或MotionPredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]之值等於1。
一般片段區段標頭語法及語義(第五組實施例)
在第五組實施例中，VPS語法設計可與上文所論述之第四組實施例的VPS語法設計相同。然而，在第五組實施例中，inter_layer_pred_layer_idc[i]之值的次序可為不同。舉例而言，在第五組實施例中，當highest_ref_layer_active_flag等於1時，此圖像可總 是作為最後條目而存在於層間參考圖像集中。類似於第四組實施例，即使當具有nuh_layer_id之最高值的圖像被包括於層間參考圖像集中時(例如，如由highest_ref_layer_active_flag所指示)，仍可將來自其他參考層之圖像添加至層間參考圖像集中。
在第五組實施例之一些中，語法可對應於下文在表13中所示之語法。
Figure TWI615021BD00025
在表13之實例中，num_inter_layer_ref_pics_minus1+1可指定或指示可用於當前圖像之解碼中以用於達成層間預測的圖像之數目。num_inter_layer_ref_pics_minus1語法元素之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]-1)位元。num_inter_layer_ref_pics_minus1之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
可如下導出變量NumActiveRefLayerPics：if(nuh_layer_id==0||NumDirectRefLayers[nuh_layer_id]==0)
Figure TWI615021BD00026
經寫碼圖像之所有片段可具有NumActiveRefLayerPics之相同值。
在表13之實例中，inter_layer_pred_layer_idc[i]可指定或指示變量RefPicLayerId[i]，該變量表示可由當前圖像使用以用於達成層間預測之第i圖像的nuh_layer_id。語法元素inter_layer_pred_layer_idc[i]之長度可為Ceil(Log2(NumDirectRefLayers[nuh_layer_id]))位元。inter_layer_pred_layer_idc[i]之值可在0至NumDirectRefLayers[nuh_layer_id]-1(包括0及NumDirectRefLayers[nuh_layer_id]-1)之範圍中。
當NumActiveRefLayerPics大於0時，以下內容可適用以用於推斷inter_layer_pred_layer_idc[i]之值：
Figure TWI615021BD00027
Figure TWI615021BD00028
當i大於0時，inter_layer_pred_layer_idc[i]可大於inter_layer_pred_layer_idc[i-1]。
可如下導出變量RefPicLayerId[i](其中i之每一值在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)、NumActiveMotionPredRefLayers及ActiveMotionPredRefLayerId[j](其中j之每一值在0至NumActiveMotionPredRefLayers-1(包括0及NumActiveMotionPredRefLayers-1)之範圍中)：
Figure TWI615021BD00029
圖像之所有片段可具有inter_layer_pred_layer_idc[i](其中i之每一值在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中)之相同值。
在一些實施例中，位元流一致性之要求可為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，以下兩個條件中之任一者可為真。第一條件為max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]] 之值大於TemporalId。第二條件為max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]]及TemporalId之值均等於0，且當前存取單元中具有等於RefPicLayerId[i]之nuh_layer_id的圖像為IRAP圖像。
在一些實施例中，位元流一致性之要求可為，對於在0至NumActiveRefLayerPics-1(包括0及NumActiveRefLayerPics-1)之範圍中的i之每一值而言，SamplePredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]或MotionPredEnabledFlag[nuh_layer_id][RefPicLayerId[i]]之值等於1。
圖7說明根據一實例實施例之用於編碼視訊資料之實例方法700。舉例而言，可藉由視訊編碼器20之一或多個組件來執行方法700。在一些實施例中，可使用其他組件來實施本文中所描述之步驟中之一或多者。
在區塊702處，可接收視訊資訊之一或多個層。每一層可包括至少一圖像。
在區塊704處，可處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指示符，該指示符指示與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的所有直接參考層圖像是否被添加至層間參考圖像集。舉例而言，可將視訊參數集(VPS)中之關於所有直接參考層圖像是否被添加至層間參考圖像集(RPS)的指示引入至VPS中，使得參考具有此指示(其指定或指示添加了所有依賴層圖像)之VPS的任何片段不含有用於在片段標頭中進行層間發信的任何另外之語法元素。替代地，該指示可存在於SPS及/或PPS中。因此，對於參考SPS或PPS(例如，與之相關聯)之任何及所有片段而言所有直接參考層圖像被添加至層間RPS的約束類似地適用。另外，可針對MV-HEVC而引入所有直接參考層圖像被 添加至層間RPS的約束，使得該約束可總是適用。在一些實施例中，可處理諸如all_dep_layer_used_flag之指示符以指定或指示對於參考VPS之每一圖像而言當前圖像之所有直接參考層圖像(其可由VPS語法指定)是否被添加至層間參考圖像集。
在區塊706處，可評估指示符之值。基於該指示符(例如，若該指示符不指示所有關聯之直接參考層圖像被添加至層間參考圖像集)，方法700可結束。舉例而言，若諸如all_dep_layer_used_flag之指示符等於0，則對於參考VPS之圖像而言可將或可不將當前圖像之所有直接參考層圖像(其由VPS語法指定)添加至層間參考圖像集。舉例而言，在一些實施例中，基於該指示符(例如，若all_dep_layer_used_flag等於0)，則該方法可包括：不抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
在區塊708處，基於該指示符(例如，若該指示符指示所有關聯之直接參考層圖像被添加至層間參考圖像集)，方法700可包括抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。舉例而言，在一些實施例中，基於該指示符(例如，若all_dep_layer_used_flag等於1)，方法700可包括抑制與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
圖8說明根據一實例實施例之用於解碼視訊資料之實例方法800。舉例而言，可藉由視訊解碼器30之一或多個組件來執行方法800。在一些實施例中，可使用其他組件來實施本文中所描述之步驟中之一或多者。
在區塊802處，可接收視訊資訊之一或多個層。每一層可包括至 少一圖像。
在區塊804處，可處理在視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者內的指示符，該指示符指示與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的所有直接參考層圖像是否被添加至層間參考圖像集。舉例而言，可在VPS內接收視訊參數集(VPS)中的所有直接參考層圖像是否被添加至層間參考圖像集(RPS)的指示。在此指示之情況下，在不接收用於在任何視訊片段之片段標頭中進行層間發信的語法元素之情況下，與VPS相關聯之所有片段被添加至層間參考圖像集。替代地，可在SPS內或在PPS內接收該指示。因此，對於參考SPS或PPS(例如，與之相關聯)之任何及所有片段而言所有直接參考層圖像被添加至層間RPS的約束類似地適用。另外，可針對MV-HEVC而引入所有直接參考層圖像被添加至層間RPS的約束，使得該約束可總是適用。在一些實施例中，可處理諸如all_dep_layer_used_flag之指示符，其指定或指示對於參考VPS之每一圖像而言當前圖像之所有直接參考層圖像(其可由VPS語法指定)是否被添加至層間參考圖像集。
在區塊806處，可評估指示符之值。若未由該指示符加以指示，則方法800可結束。舉例而言，若諸如all_dep_layer_used_flag之指示符等於0，則對於參考VPS之圖像而言可將或可不將當前圖像之所有直接參考層圖像(其可由VPS語法指定)添加至層間參考圖像集。舉例而言，在一些實施例中，若由該指示符加以指示(例如，若all_dep_layer_used_flag等於0)，則該方法可包括：不抑制與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)相關聯的任何視訊片段中進一步發信層間參考圖像資訊。
在區塊808處，若由該指示符加以指示，則方法800可包括：將用於與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集 (PPS)相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。舉例而言，在一些實施例中，若由該指示符加以指示(例如，若all_dep_layer_used_flag等於1)，則方法800可包括：將用於與至少一視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。
圖9說明根據另一實施例之用於編碼視訊資料之實例方法900。舉例而言，可藉由視訊編碼器20之一或多個組件來執行方法900。在一些實施例中，可使用其他組件來實施本文中所描述之步驟中之一或多者。
在區塊902處，可接收視訊資訊之一或多個層。每一層可包括至少一圖像。
在區塊904處，可判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。舉例而言，可產生在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之數目的第一指示符。在區塊906處，可判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。舉例而言，可產生在視訊參數集(VPS)、序列參數集(SPS)或PPS中之至少一者內的指定直接參考層之數目的第二指示符。
在區塊908處，方法900可包括：判定直接參考層之該數目是否等於作用中參考層圖像之該數目。基於直接參考層之數目等於作用中參考層圖像之數目，在區塊910處，方法900可包括：抑制在與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段中進一步發信層間參考圖像資訊。舉例而言，當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，方法900可包括抑制發信層間參考圖像資訊。詳言之，在一些實施例 中，當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，不發信inter_layer_pred_layer_idc[i]。
圖10說明根據一實施例之用於解碼視訊資料之實例方法1000。舉例而言，可藉由視訊解碼器30之一或多個組件來執行方法1000。在一些實施例中，可使用其他組件來實施本文中所描述之步驟中之一或多者。
在區塊1002處，可接收視訊資訊之一或多個層。每一層可包括至少一圖像。
在區塊1004處，可判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目。舉例而言，可接收在片段標頭或圖像參數集(PPS)中之至少一者內的指定作用中參考層圖像之數目的第一指示符。在區塊1006處，可判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目。舉例而言，可接收在視訊參數集(VPS)、序列參數集(SPS)或PPS中之至少一者內的指定直接參考層之數目的第二指示符。
在區塊1008處，方法1000可包括：判定直接參考層之該數目是否等於作用中參考層圖像之該數目。基於直接參考層之數目等於作用中參考層圖像之數目，在區塊1010處，方法1000可包括：將用於與視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)中之至少一者相關聯的任何視訊片段的所有直接參考層圖像添加至層間參考圖像集。舉例而言，當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，方法1000可判定層間參考圖像資訊。詳言之，在一些實施例中，當NumDirectRefLayers[nuh_layer_id]等於NumActiveRefLayerPics時，藉由解碼器來判定inter_layer_pred_layer_idc[i]。
應認識到，取決於實例，可以一不同序列來執行、可添加、合 併或完全省去本文中所描述之技術中之任一者的某些動作或事件(例如，並非所有所描述之動作或事件對於實踐該等技術而言皆為必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器來同時而非依序地執行動作或事件。
在一或多個實例中，可在硬體、軟體、韌體或其任何組合中實施所描述之功能。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸，且由基於硬體之處理單元予以執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於：(1)非暫時性的有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以以指令或資料結構之形式來儲存所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是改為有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位 影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用，術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。相反，如上文所描述，各種單元可經組合於編解碼器硬體單元中或藉由互操作之硬體單元之集合結合合適之軟體及/或韌體來提供，該等硬體單元包括如上文所描述之一或多個處理器。已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
900‧‧‧用於編碼視訊資料之實例方法

Claims (14)

  1. 一種用於編碼視訊資訊之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資訊之一或多個層，每一層包含至少一圖像；及一處理器，其操作地耦接至該記憶體且經組態以：判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目，直接參考層之該數目指示含有該至少一圖像之一層可利用於層間預測之多個層之一數目；判定直接參考層之該數目是否等於作用中參考層圖像之該數目；基於直接參考層之該數目等於作用中參考層圖像之該數目之該判定，抑制在與該一或多層之該至少一圖像相關聯的一視訊片段中進一步發信層間參考圖像資訊；及基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定，在與該一或多層之該至少一圖像相關聯的一視訊片段中發信層間參考圖像資訊。
  2. 如請求項1之裝置，其中該處理器經組態以抑制包括任何另外之語法元素，該語法元素指定可由用於層間預測之該至少一圖像使用之一圖像之一層識別之一可變代表(representative)。
  3. 如請求項1之裝置，其中該等作用中參考層圖像包含用於每一時間子層內之每一層的在該視訊參數集中所指定之多個層中之多個圖像。
  4. 如請求項1之裝置，該裝置進一步包含一器件，該器件包含該記憶體及該處理器，該器件包含以下各者中的至少一者：一數位電視、一數位直播系統、一無線廣播系統、一個人數位助理(PDA)、一膝上型或一桌上型電腦、一數位攝影機、一數位記錄器件、一數位媒體播放器、一視訊遊戲器件、一視訊遊戲控制台、一蜂巢式或一衛星無線電電話或一視訊電傳會議器件。
  5. 一種用於解碼視訊資訊之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資訊之一或多個層，每一層包含至少一圖像；及一處理器，其操作地耦接至該記憶體且經組態以：判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目，直接參考層之該數目指示含有該至少一圖像之一層可利用於層間預測之多個層之一數目；判定直接參考層之該數目不等於作用中參考層圖像之該數目；及基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定，接收一語法元素，該語法元素指定可由用於層間預測之該一或多個層之該至少一圖像使用之一圖像之一層識別之一可變代表。
  6. 如請求項5之裝置，其中該等作用中參考層圖像包含用於每一時間子層內之每一層的在該視訊參數集中所指定之多個層中之多個圖像。
  7. 如請求項5之裝置，該裝置進一步包含一器件，該器件包含該記 憶體及該處理器，該器件包含以下各者中的至少一者：一數位電視、一數位直播系統、一無線廣播系統、一個人數位助理(PDA)、一膝上型或一桌上型電腦、一數位攝影機、一數位記錄器件、一數位媒體播放器、一視訊遊戲器件、一視訊遊戲控制台、一蜂巢式或一衛星無線電電話或一視訊電傳會議器件。
  8. 一種編碼視訊資訊之方法，該方法包含：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一者相關聯的作用中參考層圖像之一數目，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目，直接參考層之該數目指示含有該至少一圖像之一層可利用於層間預測之多個層之一數目；判定直接參考層之該數目是否等於作用中參考層圖像之該數目；及基於直接參考層之該數目等於作用中參考層圖像之該數目之該判定，抑制在與該一或多個層之該至少一圖像相關聯的一視訊片段中進一步發信層間參考圖像資訊，或基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定，在與該一或多層之該至少一圖像相關聯的一視訊片段中發信層間參考圖像資訊。
  9. 如請求項8之方法，其中該抑制進一步發信層間參考圖像資訊包含抑制包括任何另外之語法元素，該語法元素指定可由用於層間預測之該至少一圖像使用之一圖像之一層識別之一可變代表。
  10. 如請求項8之方法，其中該等作用中參考層圖像包含用於每一時 間子層內之每一層的在該視訊參數集中所指定之多個層中之多個圖像。
  11. 一種解碼視訊資訊之方法，該方法包含：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目，直接參考層之該數目指示含有該至少一圖像之一層可利用於層間預測之多個層之一數目；判定直接參考層之該數目等於作用中參考層圖像之該數目；及基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定，接收一語法元素，該語法元素指定可由用於層間預測之該一或多個層之該至少一圖像使用之一圖像之一層識別之一可變代表。
  12. 如請求項11之方法，其中該等作用中參考層圖像包含用於每一時間子層內之每一層的在該視訊參數集中所指定之多個層中之多個圖像。
  13. 一種視訊寫碼裝置，其包含：用於儲存視訊資訊之一或多個層的構件，每一層包含至少一圖像；用於判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目的構件，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；用於判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目的構件，直接參考層之該數目指示含有該至少一 圖像之一層可利用於層間預測之多個層之一數目；用於判定直接參考層之該數目不等於作用中參考層圖像之該數目的構件；及用於基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定而接收一語法元素之構件，該語法元素指定可由用於層間預測之該至少一圖像使用之一圖像之一層識別之一可變代表。
  14. 一種上面儲存有程式碼的非暫時性電腦可讀媒體，該程式碼在執行時使一裝置：接收視訊資訊之一或多個層，每一層包含至少一圖像；判定與該一或多個層之至少一圖像相關聯的作用中參考層圖像之一數目，作用中參考層圖像之該數目指示該至少一圖像可利用於層間預測之多個圖像之一數目；判定與該一或多個層中之該至少一圖像相關聯的直接參考層之一數目，直接參考層之該數目指示含有該至少一圖像之一層可利用於層間預測之多個層之一數目；判定直接參考層之該數目等於作用中參考層圖像之該數目；及基於直接參考層之該數目不等於作用中參考層圖像之該數目之該判定，接收一語法元素，該語法元素指定可由用於層間預測之該一或多個層之該至少一圖像使用之一圖像之一層識別之一可變代表。
TW103122729A 2013-07-02 2014-07-01 對多層視訊寫碼之層間預測信令之最佳化 TWI615021B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361842326P 2013-07-02 2013-07-02
US61/842,326 2013-07-02
US201361845299P 2013-07-11 2013-07-11
US61/845,299 2013-07-11
US14/318,230 2014-06-27
US14/318,230 US9756335B2 (en) 2013-07-02 2014-06-27 Optimizations on inter-layer prediction signalling for multi-layer video coding

Publications (2)

Publication Number Publication Date
TW201509174A TW201509174A (zh) 2015-03-01
TWI615021B true TWI615021B (zh) 2018-02-11

Family

ID=52132814

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103122729A TWI615021B (zh) 2013-07-02 2014-07-01 對多層視訊寫碼之層間預測信令之最佳化
TW103122728A TWI618396B (zh) 2013-07-02 2014-07-01 對多層視訊寫碼之層間預測信令之最佳化

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103122728A TWI618396B (zh) 2013-07-02 2014-07-01 對多層視訊寫碼之層間預測信令之最佳化

Country Status (9)

Country Link
US (2) US9756335B2 (zh)
EP (2) EP3017602A1 (zh)
JP (2) JP2016526848A (zh)
KR (2) KR101821067B1 (zh)
CN (2) CN105340276A (zh)
BR (2) BR112015032977B8 (zh)
MX (2) MX352910B (zh)
TW (2) TWI615021B (zh)
WO (2) WO2015002891A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6182719B2 (ja) * 2012-06-29 2017-08-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 符号化装置および符号化方法
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US9756335B2 (en) 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
CN105210370B (zh) * 2013-07-10 2019-04-12 夏普株式会社 运动图像解码装置
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
CN105379273B (zh) * 2013-07-14 2019-03-15 夏普株式会社 对来自比特流的视频进行解码的方法和设备
WO2015052942A1 (en) * 2013-10-11 2015-04-16 Sharp Kabushiki Kaisha Signaling information for coding
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
WO2015147427A1 (ko) * 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN105463276B (zh) * 2015-12-21 2017-04-26 东睦新材料集团股份有限公司 一种具有致密化表面的铝基粉末冶金零件的制备方法
CN107770601B (zh) * 2016-08-16 2021-04-02 上海交通大学 一种面向多媒体内容组件个性化呈现的方法及系统
CN110100440B (zh) * 2016-12-22 2023-04-25 株式会社Kt 一种用于对视频进行解码、编码的方法
US10552218B2 (en) * 2017-01-06 2020-02-04 Microsoft Technology Licensing, Llc Dynamic context of tasks
HUE065468T2 (hu) * 2019-07-08 2024-05-28 Huawei Tech Co Ltd Több képméret és megfelelõségi ablak kezelése referenciaképek újra-mintavételezéséhez a videókódolásban
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
US11310492B2 (en) 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11178418B2 (en) * 2019-09-27 2021-11-16 Tencent America LLC Method and apparatus for efficient signaling of picture size and partitioning information in video bitstream
JP7482220B2 (ja) * 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
EP4062634A4 (en) 2019-12-26 2022-12-28 ByteDance Inc. LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS
CN114902567A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 视频编解码中的子图像信令
EP4074052A4 (en) 2020-01-09 2023-05-31 ByteDance Inc. PROCESSING OF FILLER DATA UNITS IN VIDEO STREAMS
JP2021117379A (ja) * 2020-01-27 2021-08-10 株式会社ジャパンディスプレイ 電子機器
WO2021164736A1 (en) * 2020-02-19 2021-08-26 Mediatek Inc. Constraints for inter-layer referencing
CN111372083B (zh) * 2020-03-19 2023-03-31 宁波大学 一种基于层间处理的shvc视频加密方法
US11431998B2 (en) * 2020-05-22 2022-08-30 Tencent America LLC Systems and methods for decoding based on inferred video parameter sets

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200708109A (en) * 2005-04-13 2007-02-16 Nokia Corp Method, device and system for effectively coding and decoding of video data
TW200910967A (en) * 2007-08-27 2009-03-01 Univ Nat Chiao Tung Low complexity macroblock mode decision and motion search method for scalable video coding with combined coarse granular scalability (CGS) and temporal scalability
WO2013055681A1 (en) * 2011-10-10 2013-04-18 Qualcomm Incorporated Efficient signaling of reference picture sets
WO2013062470A1 (en) * 2011-10-24 2013-05-02 Telefonaktiebolaget L M Ericsson (Publ) Reference picture marking

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519908A (ja) * 2001-02-27 2004-07-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｍｐｅｇ４ビデオデータを符号化する方法及び装置
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
CN101288311B (zh) 2005-10-12 2011-05-11 汤姆森特许公司 用于可分级视频编码和解码中的加权预测的方法和装置
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US8446956B2 (en) * 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
KR20070074453A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
CN105847781B (zh) * 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
WO2012173440A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
CN108391135B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
EP2732626A1 (en) * 2011-07-15 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
WO2013162450A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US20140140406A1 (en) * 2012-11-16 2014-05-22 General Instrument Corporation Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
WO2014109609A1 (ko) 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US10368089B2 (en) 2013-01-23 2019-07-30 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
JP6352248B2 (ja) 2013-04-04 2018-07-04 シャープ株式会社 画像復号装置、および画像符号化装置
US9351009B2 (en) * 2013-04-05 2016-05-24 Sharp Kabushiki Kaisha Marking pictures for inter-layer prediction
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
KR20160021222A (ko) * 2013-06-18 2016-02-24 브이아이디 스케일, 인크. Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
WO2015006281A2 (en) * 2013-07-09 2015-01-15 Sony Corporation High level syntax improvement on inter-layer prediction for shvc/mv-hevc
CN105210370B (zh) * 2013-07-10 2019-04-12 夏普株式会社 运动图像解码装置
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
CN105379273B (zh) * 2013-07-14 2019-03-15 夏普株式会社 对来自比特流的视频进行解码的方法和设备
WO2015052942A1 (en) 2013-10-11 2015-04-16 Sharp Kabushiki Kaisha Signaling information for coding
US9681145B2 (en) 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200708109A (en) * 2005-04-13 2007-02-16 Nokia Corp Method, device and system for effectively coding and decoding of video data
TW200910967A (en) * 2007-08-27 2009-03-01 Univ Nat Chiao Tung Low complexity macroblock mode decision and motion search method for scalable video coding with combined coarse granular scalability (CGS) and temporal scalability
WO2013055681A1 (en) * 2011-10-10 2013-04-18 Qualcomm Incorporated Efficient signaling of reference picture sets
WO2013062470A1 (en) * 2011-10-24 2013-05-02 Telefonaktiebolaget L M Ericsson (Publ) Reference picture marking

Also Published As

Publication number Publication date
MX352910B (es) 2017-12-13
EP3017601B1 (en) 2020-03-18
MX2015017309A (es) 2016-03-11
CN105340276A (zh) 2016-02-17
TW201509171A (zh) 2015-03-01
BR112015032977A2 (zh) 2017-07-25
JP2016526848A (ja) 2016-09-05
BR112015032832A2 (pt) 2017-07-25
TWI618396B (zh) 2018-03-11
KR101821067B1 (ko) 2018-01-22
MX2015017304A (es) 2016-03-11
CN105432085A (zh) 2016-03-23
US20150010050A1 (en) 2015-01-08
TW201509174A (zh) 2015-03-01
US9756335B2 (en) 2017-09-05
WO2015002891A1 (en) 2015-01-08
BR112015032977B1 (pt) 2023-04-11
US9648326B2 (en) 2017-05-09
JP2016527785A (ja) 2016-09-08
US20150010051A1 (en) 2015-01-08
EP3017601A1 (en) 2016-05-11
KR20160026981A (ko) 2016-03-09
EP3017602A1 (en) 2016-05-11
JP6285024B2 (ja) 2018-02-28
BR112015032977B8 (pt) 2023-10-24
KR20160030174A (ko) 2016-03-16
WO2015002887A1 (en) 2015-01-08
MX353372B (es) 2018-01-10
CN105432085B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
TWI615021B (zh) 對多層視訊寫碼之層間預測信令之最佳化
TWI633780B (zh) 高效率視訊寫碼擴展中之目標輸出層之選擇
US9813719B2 (en) Signaling HRD parameters for bitstream partitions
TW202037163A (zh) 改善的子劃分內預測
JP6158422B2 (ja) アラインされていないｉｒａｐピクチャを含み得るマルチレイヤビットストリームのクロスレイヤｐｏｃアラインメント
KR102221569B1 (ko) 멀티-계층 비디오 코딩에서의 크로스 계층 픽처 타입 정렬의 표시
JP6352391B2 (ja) Ｓｈｖｃのための複数のベースレイヤ参照ピクチャ
JP6363190B2 (ja) Ｖｐｓ内のビットレート情報およびピクチャレート情報のシグナリング
KR20200037462A (ko) 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
KR20160135761A (ko) 멀티-계층 비디오 코딩에 대한 poc 값 설계
KR20140139571A (ko) 비디오 코딩을 위한 계층간 텍스처 예측
JP2016518764A (ja) マルチレイヤビデオコーディングにおけるクロスレイヤ位置合わせ