TW201503665A - 於多層視訊寫碼中關於層間預測類型之處理位元流限制 - Google Patents

於多層視訊寫碼中關於層間預測類型之處理位元流限制 Download PDF

Info

Publication number
TW201503665A
TW201503665A TW103120101A TW103120101A TW201503665A TW 201503665 A TW201503665 A TW 201503665A TW 103120101 A TW103120101 A TW 103120101A TW 103120101 A TW103120101 A TW 103120101A TW 201503665 A TW201503665 A TW 201503665A
Authority
TW
Taiwan
Prior art keywords
image
video
layer
inter
enabled
Prior art date
Application number
TW103120101A
Other languages
English (en)
Other versions
TWI594621B (zh
Inventor
Vadim Seregin
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201503665A publication Critical patent/TW201503665A/zh
Application granted granted Critical
Publication of TWI594621B publication Critical patent/TWI594621B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用於寫碼視訊資訊之一裝置可包括計算硬體，該計算硬體經組態以：在一當前圖像將使用至少層間運動預測(ILMP)加以預測時：處理與該當前圖像相關聯之一同置參考索引值，其中該同置參考索引值指示用於使用層間預測(ILP)來預測該當前圖像的一第一參考圖像；及判定由該同置參考索引值指示之該第一參考圖像針對ILMP是否啟用；及在該當前圖像將使用至少層間樣本預測(ILSP)加以預測時：處理與該當前圖像中之一區塊相關聯之一參考索引值，其中該參考索引值指示用於使用ILP來預測該當前圖像中之該區塊的一第二參考圖像；及判定由該參考索引值指示之該第二參考圖像針對ILSP是否啟用。

Description

於多層視訊寫碼中關於層間預測類型之處理位元流限制
本發明係關於視訊寫碼及壓縮之領域。詳言之，本發明係關於可調式視訊寫碼(SVC)，包括用於進階視訊寫碼(AVC)之SVC以及用於高效率視訊寫碼(HEVC)之SVC(其亦稱為可調式HEVC(SHVC))。本發明亦係關於3D視訊寫碼，諸如HEVC之多視圖延伸(稱為MV-HEVC)。各種實施例係關於用於獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣及用於關於層間預測類型之處理位元流限制的系統及方法。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的視訊寫碼技術。視訊器件 可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊片段(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱為樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)片段中的視訊區塊。圖像之框間寫碼(P或B)片段中之視訊區塊可使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本之時間預測。可將圖像稱為圖框，且可將參考圖像稱為參考圖框。
空間或時間預測引起待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述關於可調式視訊寫碼(SVC)之技術。下文所描述之各種技術提供用於獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣的方法及器件。下文所描述之各種技術提供用於關於層間預測類型之處理位元流限制的方法及器件。
根據某些態樣之用於寫碼視訊資訊的裝置包括記憶體及計算硬體。記憶體單元經組態以儲存視訊資訊。計算硬體經組態以：識別待 使用至少一類型之層間預測(ILP)加以預測的當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)中之一或多者；及控制：(1)可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目及(2)可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目，其中計算硬體經組態以獨立於可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目來控制可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目。
根據某些態樣之用於寫碼視訊資訊的裝置包括記憶體及計算硬體。記憶體單元經組態以儲存視訊資訊。計算硬體經組態以：識別待使用至少一類型之層間預測(ILP)加以預測的當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者；在當前圖像將使用至少ILMP加以預測時：處理與當前圖像相關聯之同置參考索引值，其中該同置參考索引值指示用於使用ILMP來預測當前圖像之第一參考圖像；及判定由同置參考索引值指示之第一參考圖像針對ILMP是否啟用；及在當前圖像將使用至少ILSP加以預測時：處理與當前圖像中之區塊相關聯的參考索引值，其中該參考索引值指示用於使用ILSP來預測當前圖像中之該區塊的第二參考圖像；及判定由參考索引值指示之第二參考圖像針對ILSP是否啟用。
在隨附圖式及以下描述中陳述一或多個實例之細節，該等隨附圖式及該描述並不意欲限定本文中所描述之發明性概念的完整範疇。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧通信頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
20A‧‧‧視訊編碼器
20B‧‧‧視訊編碼器
21‧‧‧多層視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
30A‧‧‧視訊解碼器
30B‧‧‧視訊解碼器
31‧‧‧多層視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
66‧‧‧層間預測單元
70‧‧‧熵解碼單元
71‧‧‧模式選擇單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
75‧‧‧層間預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體/解碼圖像緩衝器
90‧‧‧重取樣單元
92‧‧‧升取樣單元
94‧‧‧降取樣單元
99‧‧‧解多工器
貫穿該等圖式，可再使用參考數字來指示被參考元件之間的對應性。提供該等圖式以說明本文中所描述之實例實施例且該等圖式並不意欲限定本發明之範疇。
圖1為說明實例視訊編碼及解碼系統之方塊圖，該視訊編碼及解碼系統可利用根據本發明中所描述之態樣之技術。
圖2A為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。
圖2B為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。
圖3A為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。
圖3B為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。
圖4為根據本發明之態樣之流程圖，其說明用於獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣之實例方法。
圖5為流程圖，其說明用於關於層間預測類型之處理位元流限制的實例方法。
本發明中所描述之技術大體而言係關於可調式視訊寫碼(SHVC、SVC)及多視圖/3D視訊寫碼(例如，多視圖寫碼+深度(MVC+D))。舉例而言，該等技術可關於高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC，有時稱為SHVC)延伸，及可與高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC，有時稱為SHVC)延伸一起使用或在高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC，有時稱為SHVC)延伸內使用。在SHVC、SVC延伸中，可存在視訊資訊之多個層。位於視訊資訊之最低層級處之層可充當基礎層(BL)或參考層(RL)，且位於視訊資訊之最頂部(或最高層)處的層可充當增強型層(EL)。「增強型層」有時被稱為「增強層」，且此等術語可互換使用。基礎層有時被稱為「參考層」，且此等術語亦可互換使用。在基礎層與頂層之間的所有層可充當額外 EL及/或參考層。舉例而言，一給定層對於位於該給定層下面(例如，先於該給定層)之層(諸如，基礎層或任何介入之增強層)而言可為EL。進一步，該給定層亦可充當位於該給定層上面(例如，後起於該給定層)之一或多個增強層的RL。在基礎層(例如，具有(例如)層識別(ID)集或等於「1」之最低層)與頂層(或最高層)中間的任何層可由高於該給定層之層用作層間預測之參考且可將低於該給定層之層用作層間預測之參考。舉例而言，可將低於該給定層之層用作層間預測之參考來判定給定層。
出於簡單性，僅就兩個層來呈現實例：BL及EL；然而，應充分理解，下文所描述之思想及實施例亦適用於具有多個層之狀況。另外，出於解釋容易性，常使用術語「圖框」或「區塊」。然而，此等術語並不意謂為限定性的。舉例而言，可將下文所描述之技術與多種視訊單元(包括(但不限於)像素、區塊(例如，CU、PU、TU、巨集區塊等)、圖塊、圖框、圖像等)中之任一者一起使用。
視訊寫碼
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦已知為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)與多視圖寫碼+深度(MVC+D)延伸)。最新HEVC草案規範(且在下文中稱為HEVC WD10)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。亦正由JCT-3V開發HEVC之多視圖延伸(即，MV-HEVC)。MV-HEVC之新近工作草案(WD)(下文中為WD3)可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip獲得。亦正由JCT-VC開發HEVC之可調式延伸(命名為SHVC)。SHVC之新近工作草案(WD)(且在下文中稱為SHVC WD2)可自 http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v1.zip獲得。
在SVC及SHVC中，視訊資訊可被提供作為多個層。位於最底部層級處之層可僅充當基礎層(BL)且位於最頂部層級處之層可充當增強層(EL)。在頂層與底層之間的所有層可充當增強層與參考層兩者。舉例而言，中間的層對於位於其下面之層而言可為EL，且同時對於位於其上面之層而言可作為RL。出於描述之簡單性，吾人可在說明下文所描述之技術中假定存在兩個層(BL及EL)。然而，本文中所描述之所有技術亦適用於具有多個(兩個以上)層之狀況。
可調式視訊寫碼(SVC)可用以提供品質(亦稱為信雜(SNR))可擴充性、空間可擴充性及/或時間可擴充性。舉例而言，在一個實施例中，參考層(例如，基礎層)包括足以以第一品質等級來顯示視訊的視訊資訊且增強層包括相對於參考層之額外視訊資訊使得參考層及增強層一同包括足以以高於第一等級之第二品質等級(例如，較少雜訊、較大解析度、較好之圖框速率等)來顯示視訊的視訊資訊。增強型層可具有不同於基礎層之空間解析度。舉例而言，EL與BL之間的空間縱橫比可為1.0、1.5、2.0或其他不同比。換言之，EL之空間縱橫可等於BL之空間縱橫的1.0、1.5或2.0倍。在一些實例中，EL之縮放因數可大於BL。舉例而言，EL中之圖像大小可大於BL中之圖像大小。以此方式，有可能(雖然非為限定)EL之空間解析度大於BL之空間解析度。
在SVC(其對於H.264而言指代SVC延伸且對於H.265而言指代SHVC延伸(如上文所論述))中，可使用為SVC所提供之不同層來執行當前區塊之預測。可將此預測稱為層間預測。可在SVC中利用層間預測方法以便減少層間冗餘。層間預測之一些實例可包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中之同 置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊(包括運動向量)來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。
概述
在SHVC中，可將層間預測(ILP)中所使用之層間參考圖像(ILRP)用於層間運動預測(ILMP)、層間樣本預測(ILSP)或兩者。可將ILRP被用於之ILP的類型稱為層間預測類型(例如，ILMP、ILSP或兩者)。對於僅用於ILSP之參考圖像而言，若參考層圖像具有不同於當前圖像之圖像大小，則參考層圖像應予以樣本重取樣以產生ILRP，但未予以運動重取樣，因為未使用運動資訊。對於僅用於ILMP之參考圖像而言，若參考層圖像具有不同於當前圖像之圖像大小，則參考層圖像應予以運動重取樣以產生ILRP，但未予以樣本重取樣，因為未使用來自參考層圖像之樣本。對於用於ILSP與ILMP兩者之參考圖像而言，若參考圖像具有不同於當前圖像之大小，則參考層圖像應予以樣本重取樣及運動重取樣。
在SHVC工作草案(WD)之早期版本中，若參考層圖像具有不同於當前圖像之大小，則調用重取樣過程以導出層間參考圖像而不檢查參考層圖像之層間預測類型(例如，ILMP、ILSP或兩者)。此可導致樣本重取樣一僅用於ILMP之ILRP(即使不需要來自該ILRP之樣本)。此外，在一些SHVC設定檔中，可將可被重取樣以用於解碼任何特定圖像的層間參考圖像之數目限定於某一數目(例如，1)。然而，在計數重取樣圖像之數目中未分開地考慮該兩個重取樣過程(例如，樣本重取樣及運動重取樣)。因此，若針對僅用於層間運動預測之圖像來調用樣本重取樣過程，則當解碼特定圖像時可不再針對用於層間樣本預測之另一圖像來調用樣本重取樣過程。因此，有利之舉將為：不樣本重取樣僅用於ILMP之ILRP且亦不將僅用於ILMP之ILRP的樣本重取樣 計入關於針對特定圖像而被重取樣之ILRP之數目的限度。在另一實例中，若針對僅用於ILSP之圖像來調用運動重取樣過程，則當解碼特定圖像時可不再針對用於ILMP之另一圖像來調用運動重取樣過程。亦有利之舉將為：不運動重取樣僅用於ILSP之ILRP且亦不將僅用於ILSP之ILRP的運動重取樣計入關於針對特定圖像而被重取樣之ILRP之數目的限度。為促進論述，關於針對特定圖像而被重取樣之ILRP之數目的限度亦可被稱為「重取樣圖像計數」。
為解決此等及其他挑戰，該等技術可避免針對僅用於層間運動預測之層間參考圖像來調用重取樣過程。該等技術亦可不將僅用於層間運動預測之層間參考圖像計入重取樣圖像計數(即使當ILRP具有不同於當前圖像之圖像大小時)。
在某些實施例中，該等技術可關於對重取樣圖像之數目的限制而與用於層間樣本預測之層間參考圖像分開地來計數用於層間運動預測之層間參考圖像。舉例而言，該等技術可針對用於ILMP之ILRP而具有一重取樣圖像計數，且針對用於ILSP之ILRP而具有另一重取樣圖像計數。
另外，該等技術亦可提供及/或關於層間預測類型之處理位元流限制。舉例而言，該等技術可提供及/或處理同置參考索引(例如，collocated_ref_idx)可僅指代用於至少ILMP之ILRP的位元流限制。該等技術亦可提供及/或處理參考索引(例如，ref_idx)可僅指代用於至少ILSP之ILRP的位元流限制。可使用一或多個旗標來實施該等位元流限制。
下文中參看隨附圖式來更完整地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應被理解為限於貫穿本發明所呈現之任何特定結構或功能。相反，提供此等態樣使得本發明將為詳盡且完整的，且將向熟習此項技術者充分地傳達本 發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋本文中所揭示之新穎系統、裝置及方法之任何態樣，而不管該態樣係獨立於本發明之任何其他態樣而實施或是與本發明之任何其他態樣組合地加以實施。舉例而言，可使用本文中所陳述之任何數目個態樣來實施一裝置或可實踐一方法。另外，本發明之範疇意欲涵蓋除本文中所陳述的本發明之各種態樣之外或不同於本文中所陳述的本發明之各種態樣的使用其他結構、功能性或結構與功能性加以實踐之此裝置或方法。應理解，可藉由請求項之一或多個要素來體現本文中所揭示之任何態樣。
雖然本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇內。雖然提及較佳態樣之一些益處及優勢，但本發明之範疇並不意欲限於特定益處、用途或目標。相反，本發明之態樣意欲廣泛適用於不同無線技術、系統組態、網路及傳輸協定，其中一些藉由實例在諸圖中且在較佳態樣之以下描述中加以說明。實施方式及圖式僅僅說明本發明而非限定本發明，本發明之範疇由所附申請專利範圍及其均等物來定義。
視訊寫碼系統
圖1為說明一實例視訊寫碼系統10之方塊圖，該視訊寫碼系統可利用根據本發明中所描述之態樣之技術。如本文中所描述使用，術語「視訊寫碼器」一般地指代視訊編碼器與視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般地指代視訊編碼及視訊解碼。
如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。目的地器件14可解碼由源器件12產生之經編碼視訊資料。源器件12可經由通信頻道16將視訊資料提供至目的地器件14，該通信頻道可包括電腦可讀儲存媒體或其他通信頻道。 源器件12及目的地器件14可包括一廣泛範圍之器件，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂之「智慧」電話、所謂之「智慧」平板)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦、視訊串流器件或其類似者。可裝備源器件12及目的地器件14以用於達成無線通信。
目的地器件14可經由通信頻道16來接收待解碼之經編碼視訊資料。通信頻道16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14的一種類型之媒體或器件。舉例而言，通信頻道16可包含一用以使得源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含無線或有線通信媒體(諸如射頻(RF)頻譜或一或多個實體傳輸線)。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、開關、基地台，或可對促進自源器件12至目的地器件14之通信有用的其他設備。
在一些實施例中，可將經編碼資料自輸出介面22輸出至一儲存器件。在此等實例中，頻道16可對應於一儲存由源器件12產生之經編碼視訊資料的儲存器件或電腦可讀儲存媒體。舉例而言，目的地器件14可經由磁碟存取或卡存取來存取電腦可讀儲存媒體。類似地，可藉由輸入介面28自電腦可讀儲存媒體來存取經編碼資料。電腦可讀儲存媒體可包括多種分散式或局部存取式資料儲存媒體(諸如，硬驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存視訊資料之其他數位儲存媒體)中的任一者。電腦可讀儲存媒體可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載而自電腦可 讀儲存媒體來存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取被儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等)或兩者之組合。經編碼視訊資料自電腦可讀儲存媒體之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術可應用除無線應用或設定之外的應用或設定。可將該等技術應用於視訊寫碼而支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應性串流(DASH))、被編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實施例中，系統10可經組態成支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。源器件12之視訊編碼器20可經組態以應用用於寫碼位元流(包括符合多個標準或標準延伸之視訊資料)之技術。在其他實施例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視 訊的視訊饋送介面。視訊源18可產生基於電腦圖形之資料以作為源視訊，或直播視訊、封存視訊及經電腦產生之視訊的組合。在一些實施例中，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂的攝影機電話或視訊電話。可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資訊可藉由輸出介面22而被輸出至通信頻道16，該通信頻道可包括電腦可讀儲存媒體，如上文所論述。
電腦可讀儲存媒體可包括：暫態無線廣播或有線網路傳輸；或儲存媒體(例如，非暫時性儲存媒體)，諸如硬磁碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。網路伺服器(未圖示)可自源器件12接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件14(例如，經由網路傳輸)。媒體製造設施(諸如，光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且製造含有該經編碼視訊資料之光碟。因此，通信頻道16可被理解為包括各種形式之一或多個電腦可讀儲存媒體。
目的地器件14之輸入介面28可自通信頻道16接收資訊。通信頻道16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊可由視訊解碼器30使用且包括描述區塊及其他寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包括多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據一視訊寫碼標準(諸如，目前正在發展之高效率視訊寫碼(HEVC)標準)進行操作，且可符合HEVC測試模型(HM)。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG- 4，第10部分，進階視訊寫碼(AVC))或此等標準之延伸而操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。雖然未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料流或獨立資料流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
圖1僅僅為一實例且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料可自本端記憶體加以擷取、經由網路加以串流或其類似者。編碼器件可編碼資料並將資料儲存至記憶體，及/或解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，編碼及解碼係由彼此不通信之器件來執行，但該等器件僅編碼至記憶體之資料及/或擷取及解碼來自記憶體之資料。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地在軟體中實施時，一器件可將用於軟體之指令儲存於非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。一包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準及其延伸之開發且版本1已最後定下來。HEVC標準化努力係基於視訊寫碼器件之演進模型(稱作HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC假設視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本與色度樣本兩者之樹型區塊或最大寫碼單元(LCU)序列。位元流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之諸多連續樹型區塊。可將視訊圖框或圖像分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於子CU中之一者。
該四分樹資料結構中之每一節點可為該對應CU提供語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示是否將對應於該節點之CU分裂成子CU。可遞迴地定義CU之語法元素，且該等語法元素可取決於是否將該CU分裂成子CU。若一CU未經進一步分裂，則其被稱為葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，一葉CU之四個子CU亦將被稱為葉CU。舉例而言，若一16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱為葉CU，儘管該16×16 CU從未經分裂。
除CU不具有大小差別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將一樹型區塊分裂為四個子節點(亦稱為子CU)，且每一子節點又可為上代節點且可被分裂為另外四個子節點。被稱為四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫 碼節點亦被稱為葉CU。與經寫碼位元流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱為最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指代HEVC之上下文中的CU、PU或TU中之任一者或其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯的若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小可在自8×8像素直至具有最大64×64像素或大於64×64像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU係被跳過或是經直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU進行變換，該等變換對於不同CU而言可為不同的。通常基於在針對已分割LCU所定義之給定CU內的PU之大小來對TU設定大小，儘管可能並非總是此狀況。TU通常為與PU相同之大小或小於PU。在一些實例中，可使用稱作「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分成若干較小單元。可將RQT之葉節點稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
一葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括關於預測之資料。舉例而言，當PU經框 內模式編碼時，PU之資料可被包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於該PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱為TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示一葉CU是否被分裂為四個變換單元。接著，可將每一變換單元進一步分裂為進一步之子TU。當TU未被進一步分裂時，可將其稱為葉TU。大體而言，為達成框內寫碼，屬於一葉CU之所有葉TU共用相同之框內預測模式。亦即，大體應用相同之框內預測模式以計算一葉CU之所有TU的預測值。為達成框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限定於PU之大小。因此，TU可大於或小於PU。為達成框內寫碼，一PU可與用於同一CU之一對應葉TU同置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(稱為殘餘四分樹(RQT))相關聯。亦即，葉CU可包括一指示該葉CU如何被分割為TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱為葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體 包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分係由「n」繼之以「U(上)」、「D(下)」、「L(左)」或「R(右)」之指示來指示。因此，舉例而言，「2N×nU」指代水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸及水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊大體在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU進行框內預測或框間預測寫碼之後，視訊編碼器20可計算用於CU之TU的殘餘資料。該等PU可包含描述在空間域(亦 稱為像素域)中產生預測性像素資料之方法或模式的語法資料，且該等TU可包含在將變換(例如，離散正弦變換(DST)、離散餘弦變換(DCT)、整數變換、子波變換或概念上類似之變換)應用於殘餘視訊資料之後在變換域中之係數。該殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化係意欲具有其最廣之普通意義的廣義術語。在一個實施例中，量化指代如下之過程：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。量化過程可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描該等變換係數，從而自包括該等經量化之變換係數的二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可加以熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。
為執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能係關於(例如)符號之相鄰值是否為非 零。為執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於被指派給符號之上下文。
視訊編碼器20可進一步(例如)在圖框標頭、區塊標頭、圖塊標頭或GOP標頭中將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之諸多圖框，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
視訊編碼器
圖2A為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。視訊編碼器20可經組態以處理視訊位元流之單一層(諸如，用於HEVC)。進一步，視訊編碼器20可經組態以執行本發明之技術中之任一者或全部，包括(但不限於)獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣之方法、關於層間預測類型之處理位元流限制的方法，及上下文關於圖4至圖5予以更詳細描述之相關過程。作為一個實例，層間預測單元66(當提供時)可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣並未如此受限。在一些實例中，可在視訊編碼器20之各種組件當中共用本發明中所描述之技術。在一些實例中，另外或替代地，一處理器(未圖示)可經組態以執行本發明中所描述之技術中之任一者或全部。
出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。圖2A之編碼器20說明編解碼器之單一層。然而，如將關於圖2B予以進一步 描述，視訊編碼器20中之一些或全部可經複製以用於根據多層編解碼器進行處理。
視訊編碼器20可執行視訊圖塊內之視訊區塊的框內預測、框間預測及層間預測(有時稱為框內寫碼、框間寫碼或層間寫碼)。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。層間寫碼依賴於在基於同一視訊寫碼序列內之不同層內之視訊的預測。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖2A中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2A之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46、層間預測單元66及分割單元48。參考圖框記憶體64可包括解碼圖像緩衝器。解碼圖像緩衝器為具有其普通意義之廣義術語，且在一些實施例中指代參考圖框之受視訊編解碼器管理的資料結構。
為達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括一解區塊濾波器(圖2A中未圖示)以濾波區塊邊界從而自重建構之視訊移除成塊性假影。若需要，解區塊濾波器將通常濾波求和器62之輸出。亦可使用除解區塊濾波器之外的額外濾波器(迴路中或迴路後)。出於簡潔性未展示此等濾波器，但若需要，則此等濾波器可濾波求和器50之輸出(作為迴路中濾波器)。
在編碼過程期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊分割為多個視訊區塊。運動估計單元42及運動 補償單元44執行接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行接收之視訊區塊相對於在與待寫碼之區塊相同之圖框或圖塊中的一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可最初將一圖框或圖塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化等)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生一指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果來選擇該等寫碼模式(框內預測模式、框間預測模式或層間預測模式)中之一者，且將所得框內寫碼區塊、框間寫碼區塊或層間寫碼區塊提供至求和器50以產生殘餘區塊資料及提供至求和器62以重建構供用作參考圖框之經編碼區塊。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可經高度整合，但為概念目的而分開地予以說明。由運動估計單元42執行之運動估計為產生運動向量之過程，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內之預測性區塊(關於在該當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊而言)的位移。預測性區塊為依據像素差被發現緊密地匹配待寫碼之區塊的區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中， 視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像的次整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行關於全像素位置及分率像素位置之運動搜尋且輸出具有分率像素精確度之運動向量。
運動估計單元42計算框間寫碼圖塊中之視訊區塊之PU的運動向量(藉由比較該PU之位置與參考圖像之預測性區塊之位置)。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。在一些實例中，運動估計單元42及運動補償單元44可在功能上被整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44即可在參考圖像清單中之一者中定位該運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。在一些實施例中，運動估計單元42可關於明度分量來執行運動估計，且運動補償單元44可將基於明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40可產生與該等視訊區塊及該視訊圖塊相關聯之語法元素以供視訊解碼器30用於解碼該視訊圖塊之該等視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測單元46可框內預測或計算當前區塊。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在分開之編碼遍次期間 使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用針對各種所測試之框內預測模式的速率-失真分析來計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體判定經編碼區塊與原始、未編碼區塊(其被編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在針對一區塊來選擇框內預測模式之後，框內預測單元46可將指示針對該區塊所選擇之框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選之框內預測模式的資訊。視訊編碼器20可在所傳輸之位元流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱為碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20可包括層間預測單元66。層間預測單元66經組態以使用可用於SVC中之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中之當前區塊)。可將此預測稱為層間預測。層間預測單元66利用預測方法以減少層間冗餘，藉此改良寫碼效率及減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中之同置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強 層之殘餘。當基礎層及增強層具有不同空間解析度時，可由層間預測單元66執行空間運動向量縮放及/或層間位置映射(使用時間縮放功能)，如下文予以更詳細描述。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。舉例而言，亦可使用離散正弦變換(DST)、子波變換、整數變換、子頻帶變換或其他類型之變換。
變換處理單元52可將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域變換至轉換域(諸如，頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元率。量化過程可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化之變換係數之矩陣的掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元流傳輸至另一器件(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊(例如，以供稍後用作參考區塊)。運動補償 單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算供用於運動估計之次整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊以產生供儲存於參考圖框記憶體64中的經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以框間寫碼一隨後視訊圖框中之區塊。
多層視訊編碼器
圖2B為說明多層視訊編碼器21之實例之方塊圖，該多層視訊編碼器可實施根據本發明中所描述之態樣之技術。視訊編碼器21可經組態以處理多層視訊圖框(諸如，用於SHVC及多視圖寫碼)。進一步，視訊編碼器21可經組態以執行本發明之技術中之任一者或全部。
視訊編碼器21包括視訊編碼器20A及視訊編碼器20B，該等視訊編碼器中之每一者可被組態為圖2A之視訊編碼器20且可執行上文關於視訊編碼器20所描述之功能。進一步，如藉由參考數字之再使用所指示，視訊編碼器20A及20B可將系統及子系統中之至少一些包括作為視訊編碼器20。雖然視訊編碼器21被說明為包括兩個視訊編碼器20A及20B，但視訊編碼器21並不受限於此且可包括任何數目之視訊編碼器20層。在一些實施例中，視訊編碼器21可包括一用於存取單元中之每一圖像或圖框的視訊編碼器20。舉例而言，可藉由一包括五個編碼器層之視訊編碼器來處理或編碼一包括五個圖像之存取單元。在一些實施例中，視訊編碼器21可包括多於存取單元中之圖框的編碼器層。在一些此等狀況下，當處理一些存取單元時，視訊編碼器層中之一些可停用。
除視訊編碼器20A及20B之外，視訊編碼器21亦可包括重取樣單元90。在一些狀況下，重取樣單元90可升取樣接收之視訊圖框的基礎 層以(例如)產生增強層。重取樣單元90可升取樣與一圖框之接收之基礎層相關聯的特定資訊，但不升取樣其他資訊。舉例而言，重取樣單元90可升取樣基礎層之空間大小或像素數目，但圖塊之數目或圖像次序計數可保持不變。在一些狀況下，重取樣單元90可不處理接收之視訊及/或可為任選的。舉例而言，在一些狀況下，模式選擇單元40可執行升取樣。在一些實施例中，重取樣單元90經組態成升取樣一層且重組織、重定義、修改或調整一或多個圖塊以遵從一組圖塊邊界規則及/或光柵掃描規則。雖然主要被描述為升取樣基礎層或存取單元中之較低層，但在一些狀況下，重取樣單元90可降取樣一層。舉例而言，若在視訊之串流期間頻寬被減小，則可降取樣而非升取樣一圖框。重取樣單元90亦可經進一步組態以執行剪切及/或整墊操作。
重取樣單元90可經組態以自較低層編碼器(例如，視訊編碼器20A)之解碼圖像緩衝器114接收一圖像或圖框(或與該圖像相關聯之圖像資訊)及升取樣該圖像(或接收之圖像資訊)。此升取樣之圖像可接著被提供至較高層編碼器(例如，視訊編碼器20B)之模式選擇單元40，該較高層編碼器經組態以編碼在與較低層編碼器相同之存取單元中的圖像。在一些狀況下，較高層編碼器為自較低層編碼器移除之一個層。在其他狀況下，在圖2B之層0視訊編碼器與層1編碼器之間可存在一或多個較高層編碼器。
在一些狀況下，可省略或繞過重取樣單元90。在此等狀況下，可直接或至少在不提供至重取樣單元90、視訊編碼器20B之模式選擇單元40的情況下提供來自視訊編碼器20A之解碼圖像緩衝器64的圖像。舉例而言，若被提供至視訊編碼器20B之視訊資料與來自視訊編碼器20A之解碼圖像緩衝器64的參考圖像具有相同大小或解析度，則可將參考圖像提供至視訊編碼器20B而不進行任何重取樣。
在一些實施例中，在將視訊資料提供至視訊編碼器20A之前，視 訊編碼器21使用降取樣單元94來降取樣待提供至較低層編碼器之視訊資料。替代地，降取樣單元94可為能夠升取樣或降取樣視訊資料之重取樣單元90。在又其他實施例中，可省略降取樣單元94。
如圖2B中所說明，視訊編碼器21可進一步包括多工器98或mux。Mux 98可輸出來自視訊編碼器21之經組合之位元流。可藉由自視訊編碼器20A及20B中之每一者取得位元流且交替在一給定時間輸出哪一位元流來產生該經組合之位元流。雖然在一些狀況下來自兩個(或兩個以上，在兩個以上之視訊編碼器層的狀況下)位元流之位元可一次一個位元加以交替，但在許多狀況下該等位元流係以不同方式加以組合。舉例而言，可藉由一次一個區塊交替所選位元流來產生輸出位元流。在另一實例中，可藉由自視訊編碼器20A及20B中之每一者輸出非1：1比率之區塊來產生輸出位元流。例如，可針對自視訊編碼器20A輸出之每一區塊而自視訊編碼器20B輸出兩個區塊。在一些實施例中，來自mux 98之輸出串流可經預先程式化。在其他實施例中，mux 98可基於自位於視訊編碼器21外部之系統(諸如，自位於源器件12上之處理器)接收的控制信號而組合來自視訊編碼器20A、20B之位元流。可基於來自視訊源18之視訊的解析度或位元率、基於頻道16之頻寬、基於與使用者相關聯之訂購(例如，付費訂購對免費訂購)或基於用於判定自視訊編碼器21所要之解析度輸出的任何其他因素來產生該控制信號。
視訊解碼器
圖3A為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。視訊解碼器30可經組態以處理視訊位元流之單一層(諸如，用於HEVC)。進一步，視訊解碼器30可經組態以執行本發明之技術中之任一者或全部，包括(但不限於)獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣之方法、關於 層間預測類型之處理位元流限制的方法，及上下文關於圖4至圖5予以更詳細描述之相關過程。作為一個實例，層間預測單元75可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣並未如此受限。在一些實例中，可在視訊解碼器30之各種組件當中共用本發明中所描述之技術。在一些實例中，另外或替代地，一處理器(未圖示)可經組態以執行本發明中所描述之技術中之任一者或全部。
出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。圖3A之解碼器30說明編解碼器之單一層。然而，如將關於圖3B予以進一步描述，視訊解碼器30中之一些或全部可經複製以用於根據多層編解碼器進行處理。
在圖3A之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、層間預測單元75、反量化單元76、反變換單元78、參考圖框記憶體82及求和器80。在一些實施例中，運動補償單元72及/或框內預測單元74可經組態以執行層間預測，在該狀況下，可省略層間預測單元75。在一些實例中，視訊解碼器30可執行大體與關於視訊編碼器20(圖2A)所描述之編碼遍次互反的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量來產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符來產生預測資料。參考圖框記憶體82可包括解碼圖像緩衝器。解碼圖像緩衝器為具有其普通意義之廣義術語，且在一些實施例中指代參考圖框之受視訊編解碼器管理的資料結構。
在解碼過程期間，視訊解碼器30自視訊編碼器20接收一經編碼視訊位元流，該經編碼視訊位元流表示一經編碼視訊圖塊之視訊區塊及相關聯之語法元素。視訊解碼器30之熵解碼單元70熵解碼該位元流以產生量化之係數、運動向量或框內預測模式指示符及其他語法元 素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於所發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(例如，B、P或GPB)圖塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素來產生用於當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內之參考圖像中的一者來產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖框記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊來產生用於正解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中的一些來判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、用於圖塊之參考圖像清單中之一或多者的建構資訊、用於圖塊之每一框間編碼視訊區塊的運動向量、用於圖塊之每一框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自接收之語法元素來判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
視訊解碼器30亦可包括層間預測單元75。層間預測單元75經組 態以使用可用於SVC中之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中之當前區塊)。可將此預測稱為層間預測。層間預測單元75利用若干預測方法以減少層間冗餘，藉此改良寫碼效率及減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中之同置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。當基礎層與增強層具有不同空間解析度時，可由層間預測單元75執行空間運動向量縮放及/或層間位置映射(使用時間縮放功能)，如下文予以更詳細描述。
反量化單元76反量化(例如，解量化)被提供於位元流中且由熵解碼單元70解碼的經量化之變換係數。反量化過程可包括將藉由視訊解碼器30計算之量化參數QPY用於視訊圖塊中之每一視訊區塊以判定量化程度及同樣地應加以應用之反量化的程度。
反變換單元78將反變換(例如，反DCT、反DST、反整數變換或概念上類似之反變換過程)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72所產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此加法運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除成塊性假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。一給定圖框或圖像中之經解碼視訊區塊接著被儲存於參考圖框記憶體82中，該參考圖框記憶體儲存用於隨後之運動補償的參考圖像。參考圖框記憶體 82亦儲存供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上的經解碼視訊。
多層解碼器
圖3B為說明多層視訊解碼器31之實例之方塊圖，該多層視訊解碼器可實施根據本發明中所描述之態樣之技術。視訊解碼器31可經組態以處理多層視訊圖框(諸如，用於SHVC及多視圖寫碼)。進一步，視訊解碼器31可經組態以執行本發明之技術中之任一者或全部。
視訊解碼器31包括視訊解碼器30A及視訊解碼器30B，該等視訊解碼器中之每一者可被組態為圖3A之視訊解碼器30且可執行上文關於視訊解碼器30所描述之功能。進一步，如藉由參考數字之再使用所指示，視訊解碼器30A及30B可將系統及子系統中之至少一些包括作為視訊解碼器30。雖然視訊解碼器31被說明為包括兩個視訊編碼器30A及30B，但視訊解碼器31並不受限於此且可包括任何數目之視訊解碼器30層。在一些實施例中，視訊解碼器31可包括一用於存取單元中之每一圖像或圖框的視訊解碼器30。舉例而言，可藉由一包括五個解碼器層之視訊解碼器來處理或解碼一包括五個圖像之存取單元。在一些實施例中，視訊解碼器31可包括多於存取單元中之圖框的解碼器層。在一些此等狀況下，當處理一些存取單元時，視訊解碼器層中之一些可停用。
除視訊解碼器30A及30B之外，視訊解碼器31亦可包括升取樣單元92。在一些實施例中，升取樣單元92可升取樣一接收之視訊圖框之基礎層以產生待加至圖框或存取單元之參考圖像清單的增強型層。此增強型層可儲存於參考圖框記憶體82中(例如，位於其之解碼圖像緩衝器等中)。在一些實施例中，升取樣單元92可包括關於圖2A之重取樣單元90所描述之實施例中的一些或全部。在一些實施例中，升取樣單元92經組態成升取樣一層且重組織、重定義、修改或調整一或多個 圖塊以遵從一組圖塊邊界規則及/或光柵掃描規則。在一些狀況下，升取樣單元92可為一經組態成升取樣及/或降取樣一接收之視訊圖框之層的重取樣單元。
升取樣單元92可經組態以自較低層解碼器(例如，視訊解碼器30A)之解碼圖像緩衝器82接收一圖像或圖框(或與該圖像相關聯之圖像資訊)及升取樣該圖像(或接收之圖像資訊)。此升取樣之圖像可接著被提供至較高層解碼器(例如，視訊解碼器30B)之模式選擇單元71，該較高層解碼器經組態以解碼在與較低層解碼器相同之存取單元中的圖像。在一些狀況下，較高層解碼器為自較低層解碼器移除之一個層。在其他狀況下，在圖3B之層0解碼器與層1解碼器之間可存在一或多個較高層解碼器。
在一些狀況下，可省略或繞過升取樣單元92。在此等狀況下，可直接或至少在不被提供至升取樣單元92、視訊解碼器30B之模式選擇單元71的情況下提供來自視訊解碼器30A之解碼圖像緩衝器82的圖像。舉例而言，若被提供至視訊解碼器30B之視訊資料與來自視訊解碼器30A之解碼圖像緩衝器82的參考圖像具有相同大小或解析度，則可將參考圖像提供至視訊解碼器30B而不進行升取樣。進一步，在一些實施例中，升取樣單元92可為一經組態以升取樣或降取樣自視訊解碼器30A之解碼圖像緩衝器82接收之參考圖像的重取樣單元90。
如圖3B中所說明，視訊解碼器31可進一步包括解多工器99或demux。demux 99可將經編碼視訊位元流分裂成多個位元流，其中由demux 99輸出之每一位元流被提供至一不同視訊解碼器30A及30B。可藉由接收一位元流來產生多個位元流且視訊解碼器30A及30B中之每一者在一給定時間接收該位元流之一部分。雖然在一些狀況下來自demux 99處接收之位元流的位元可在視訊解碼器(例如，在圖3B之實例中的視訊解碼器30A及30B)中之每一者之間一次一個位元加以交 替，但在許多狀況下該位元流係以不同方式加以劃分。舉例而言，可藉由一次一個區塊交替哪一視訊解碼器接收位元流來劃分位元流。在另一實例中，可藉由至視訊解碼器30A及30B中之每一者的非1：1比率之區塊來劃分位元流。例如，可針對被提供至視訊解碼器30A之每一區塊而將兩個區塊提供至視訊解碼器30B。在一些實施例中，位元流藉由demux 99所進行之劃分可經預先程式化。在其他實施例中，demux 99可基於自位於視訊解碼器31外部之系統(諸如，自位於目的地器件14上之處理器)接收的控制信號來劃分位元流。可基於來自輸入介面28之視訊的解析度或位元率、基於頻道16之頻寬、基於與使用者相關聯之訂購(例如，付費訂購對免費訂購)或基於用於判定可藉由視訊解碼器31獲得之解析度的任何其他因素來產生該控制信號。
參考層類型
在MV-HEVC及SHVC之實施中，存在一指定可將何層用於層間預測的direct_dependency_flag語法元素。等於0之direct_dependency_flag[i][j]指定具有索引j之層對於具有索引i之層而言非為直接參考層。等於1之direct_dependency_flag[i][j]指定具有索引j之層對於具有索引i之層而言可為直接參考層。當對於在0至vps_max_layers_minus1之範圍中的i及j而言不存在direct_dependency_flag[i][j]時，推斷其等於0。
另外，可應用兩種類型之層間預測：層間運動預測、層間樣本預測或兩者。為指定何層間預測類型可用於某一特定層，發信direct_dependency_type。
direct_dependency_type[i][j]用以導出變量NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]及MotionPredEnabledFlag[i][j]。變量NumSamplePredRefLayers[i]可指代可被用於針對具有索引i之層之 樣本預測的參考層之數目。變量NumMotionPredRefLayers[i]可指代可被用於針對具有索引i之層之運動預測的參考層之數目。變量SamplePredEnabledFlag[i][j]可指代使用具有索引j之層進行的樣本預測針對具有索引i之層是否啟用。變量MotionPredEnabledFlag[i][j]可指代使用具有索引j之層進行的運動預測針對具有索引i之層是否啟用。在位元流中，direct_dependency_type[i][j]應在0至2(包括0及2)之範圍中。雖然direct_dependency_type[i][j]之值應在0至2(包括0及2)之範圍中，但解碼器應允許在3至232-2(包括3及232-2)之範圍中的direct_dependency_type[i][j]值出現於語法中。
如下所述地導出變量NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]、MotionPredEnabledFlag[i][j]、NumDirectRefLayers[i]、RefLayerId[i][j]、MotionPredRefLayerId[i][j]及SamplePredRefLayerId[i][j]：
關於藉由重取樣而被用於層間參考之圖像之數目的限制
在一個SHVC實施中，將需要被重取樣以用於解碼任何特定圖像之層間參考圖像的數目限定為高達一。舉例而言，當參考與增強層具有不同圖像大小時，調用重取樣過程。
然而，對被重取樣之層間參考圖像的數目具有限定可產生諸如以下各者之問題：
‧當解碼當前圖像時，僅用於層間運動預測(非用於樣本預測)之圖像在其具有不同於當前圖像之空間解析度時亦被重取樣。然而，此圖像之重取樣可不必要地浪費計算資源。
‧若在解碼當前圖像時存在僅用於層間運動預測之圖像，則根據藉由重取樣而被用於層間參考之圖像的數目不能大於一的限制沒有用於層間樣本預測之其他圖像可被樣本重取樣。換言之，當存在此圖像時，若不存在具有與當前圖像相同解析度之其他較低層圖像，則即使存在具有一不同空間解析度之另一低層圖像，樣本之層間預測仍不能被用於當前圖像。
‧對於經指示為未被用於層緊樣本預測或經指示為未被用於層間運動預測的某些直接參考層之圖像而言遺漏了位元流符合性限制。
‧用於層間參考之圖像被包括至初始參考圖像清單(在參考圖像清單修改命令之前)中而未在經指示用於該等圖像之不同層間預測類型之間產生差異，此項為次最佳的。
‧發信於圖塊標頭中之collocated_ref_idx及發信於區塊(例如，CU、PU等)層級處之參考索引的寫碼可不必要地使用更多位元。
多層視訊寫碼中之層間預測類型
為解決此等及其他挑戰，根據某些態樣之技術可獨立地控制待被重取樣以用於層間運動預測之參考圖像的數目及待被重取樣以用於層間樣本預測之參考圖像的數目。該等技術亦可提供及/或關於層間 預測類型之處理位元流限制。更具體言之，該等技術可提供及/或處理同置參考索引(例如，collocated_ref_idx)可僅指代用於至少ILMP之ILRP的位元流限制。該等技術亦可提供及/或處理參考索引(例如，ref_idx)可僅指代用於至少ILSP之ILRP的位元流限制。
以此方式，當解碼當前圖像時，僅用於ILMP中之ILRP無需被樣本重取樣。又，僅用於ILMP中之ILRP不必防止另一ILRP用於ILP中。舉例而言，用於ILSP中之ILRP可被樣本重取樣且用於ILP中。此可導致更準確預測及更有效寫碼。舉例而言，可使用一或多種ILP類型(例如，在以上實例中為ILSP)。另外，可藉由避免調用不必要之重取樣過程來降低計算複雜性。下文描述關於該等技術之某些細節。
經指示為未被用於層間樣本預測之圖像
根據某些態樣，該等技術可自重取樣過程排除層間參考圖像(若該層間參考圖像經指示為僅用於層間運動預測)。對於此類型之圖像而言，無需將樣本(像素)資訊儲存於記憶體中。
另外，經指示為僅用於層間運動預測的層間參考圖像未被計數為需要樣本重取樣過程之圖像，因為樣本將不被用於框間預測目的。因此，對於當前圖像而言，可將具有一不同空間解析度之另一低層圖像用於樣本之層間預測。
此外，可未由發信於區塊(例如，CU、PU等)層級處之參考索引來引用經指示為未被用於層間樣本預測的圖像。舉例而言，此圖像不能被用於框間預測。
此外，可調整用於參考索引發信中之參考圖像的總數目(僅包括可用於框間預測之圖像)，使得發信於區塊(例如，CU、PU等)層級中之參考索引可使用較少位元。
經指示為未被用於層間運動預測之圖像
根據某些態樣，對於經指示為未被用於層間運動預測(例如，經 指示為僅用於層間樣本預測)之圖像而言，不需要導出運動資訊且此圖像不能被用於時間運動向量(TMVP)導出。舉例而言，在TMVP導出中，不能將此圖像用作同置圖像。並且可不儲存此圖像之運動資訊。
可暗示(例如)由collocated_ref_idx語法元素定義之同置圖像不能為一經指示為未被用於層間運動預測之圖像。換言之，collocated_red_idx不應指向僅用於層間樣本預測或根本不被用於層間預測的較低層圖像。
另外，可調整用以定義collocated_ref_idx範圍之參考圖像的總數目以僅包括可用於TMVP導出之圖像，使得collocated_ref_idx之發信可使用較少位元。
代替不將此類型之參考圖像用作同置圖像的做法，可將預設運動資訊指派給僅層間樣本預測圖像。預設運動資訊可至少包括預測模式、運動向量、參考索引及參考圖像圖像次序計數(POC)。舉例而言，可將框內預測模式(其不指定運動資訊)指派用於僅層間樣本預測圖像。在此狀況下，若此圖像被用作同置圖像(歸因於正指派之框內預測模式)，則無TMVP可被導出。因此，可指派預設運動資訊。
關於樣本重取樣及運動重取樣之層間圖像之數目的分開限制
在一個實施例中，與層間樣本預測分開地來將用於層間運動預測之層間參考圖像計入關於重取樣圖像之數目的限制。在SHVC之早期版本中，僅可使用一個重取樣圖像；不分開地計數樣本重取樣圖像及運動重取樣圖像；且結果，在一些狀況下可僅使用一種ILP類型(例如，僅ILMP或僅ILSP)，如上文所提及。若分開地計數樣本重取樣圖像及運動重取樣圖像，則可應用高達一個樣本重取樣且可應用高達一個運動重取樣。
在另一實施例中，可以一不同數目來分開地限制及/或限定樣本重取樣之層間圖像的數目與運動重取樣之層間圖像的數目。舉例而 言，可限制使用一個樣本重取樣之層間圖像及兩個運動重取樣之層間圖像。
可如以下實例中所示來實施上文所提及之技術。在SHVC之早期版本的上下文中提供該等實例。以斜體字來指示自SHVC之早期版本的改變。在某些實施例中，該等技術可不將僅用於層間運動預測之圖像計入重取樣之圖像數目。
實例1
表1-實例1
在實例1中，與樣本重取樣過程分開地來呼叫運動重取樣過程，其中ILRP僅用於ILMP。在此實例中，當將ILRP圖像用於ILMP與ILSP兩者時，經由樣本重取樣過程來調用運動重取樣過程。實例2中提供一替代描述。在上下文之實例與描述中，呈斜體字之部分可指示SHVC之早期版本的改變。下劃線中之部分可指示僅特定用於SHVC且不存在於MV-HEVC中的部分。
實例2
在實例2中，提供一替代描述，其中取決於ILRP是否被用於ILMP及/或ILSP來獨立地呼叫兩個過程(例如，運動重取樣及樣本重取樣)。運動重取樣過程之調用在部分G.8.1.4中自樣本重取樣而被移除且移至一分開部分G.8.1.5(例如)以便改良說明書文字之可讀性。
位元流限制
如上文所解釋，該等技術亦可提供及/或關於層間預測類型之處理位元流限制。術語或表達「位元流限制」為意欲具有其最廣之普通意義的廣義術語及/或表達。在一個實施例中，位元流限制可指代編碼器或解碼器應遵循以順從某一標準的規則。舉例而言，符合某一標準之位元流不應含有違犯該限制之元素(例如，語法元素)。在限制違犯之狀況下，位元流被視為不符合且可不藉由解碼器加以解碼。
更具體言之，該等技術可提供及/或處理同置參考索引(例如，collocated_ref_idx)可僅指代用於至少ILMP之ILRP的位元流限制。該等技術亦可提供及/或處理參考索引(例如，ref_idx)可僅指代用於至少ILSP之ILRP的位元流限制。在一些實施例中，可如下定義該等位元流限制。舉例而言，
‧collocated_ref_idx指定用於時間運動向量預測之同置圖像的參 考索引。
- 當slice_type等於P時或當slice_type等於B且collocated_from_l0等於1時，collocated_ref_idx指代清單0中之圖像，且collocated_ref_idx之值應在0至num_ref_idx_l0_active_minus1(包括0及num_ref_idx_l0_active_minus1)之範圍中。
- 當slice_type等於B且collocated_from_l0等於0時，collocated_ref_idx指代清單1中之圖像，且collocated_ref_idx之值應在0至num_ref_idx_l1_active_minus1(包括0及num_ref_idx_l1_active_minus1)之範圍中。
- 位元流符合性之要求係：由collocated_ref_idx引用之圖像對於一經寫碼圖像之所有圖塊而言應相同。
- 假設refLayerId為由collocated_ref_idx引用之圖像之nuh_layer_id的值，且currLayerId為當前圖像之nuh_layer_id之值。位元流符合性之要求係MotionPredEnabledFlag[currLayerId][refLayerId] 應等於1。
‧ref_idx_l0[x0][y0]指定用於當前預測單元之清單0參考圖像索引。陣列索引x0,y0指定被考慮之預測區塊之左上明度樣本相對於圖像之左上明度樣本的位置(x0,y0)。
- 當不存在ref_idx_l0[x0][y0]時，推斷其等於0。
- 假設refLayerId為由ref_idx_l0[x0][y0]引用之圖像之nuh_layer_id的值，且currLayerId為當前圖像之nuh_layer_id之值。位元流符合性之要求係SamplePredEnabledFlag[currLayerId][refLayerId]應等於1。
- ref_idx_l1[x0][y0]具有與ref_idx_l0相同之語義，其中l0及清單0分別由l1及清單1來代替。
下文參看圖4及圖5來解釋關於該等技術之某些細節。貫穿本發明所使用之各種術語為具有其普通意義之廣義術語。另外，在一些實施例中，某些術語係關於以下視訊概念。圖像可指代視訊圖像，如在當前標準(例如，HEVC、SHVC)中使用彼術語。可藉由計算硬體來實施關於圖4及圖5所描述之方法。在一些實施例中，計算硬體可包括包含電腦硬體之一或多個計算器件。
用於獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣之方法
圖4為根據本發明之態樣之流程圖，其說明用於獨立控制層間運動預測參考重取樣及層間樣本預測參考重取樣之實例方法。取決於實施例，可藉由編碼器(例如，如圖2A、圖2B等中所示之編碼器)、解碼器(例如，如圖3A、圖3B等中所示之解碼器)或任何其他組件來執行過程400。過程400之區塊係關於圖3B中之解碼器31來描述的，但可藉由其他組件(諸如，如上文所提及之編碼器)來執行過程400。取決於實施例，解碼器31之層1視訊解碼器30B及/或解碼器31之層0解碼器 30A可執行過程400。關於圖4所描述之所有實施例可分開地或彼此組合地加以實施。上文解釋了關於過程400之某些細節。
過程400始於區塊401處。解碼器31可包括一用於儲存視訊資訊之記憶體(例如，參考圖框記憶體82)。
在區塊402處，解碼器31識別待使用至少一類型之層間預測(ILP)加以預測的當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)中之一或多者。
在區塊403處，解碼器31控制：(1)可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目及(2)可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目。可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目可獨立於可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目加以控制。舉例而言，解碼器31可獨立於可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目來控制可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目。
術語或表達「獨立受控」、「獨立控制」或其變化為意欲具有其最廣之普通意義之廣義術語及/或表達。為促進論述，將在以下描述中使用術語或表達「獨立控制」。在一個實施例中，獨立控制可指代在不影響或設定可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目的情況下影響或設定可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目。
在另一實施例中，獨立控制可指代對可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目及可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目具有分開之限定。取決於實施例，關於可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目與可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目的限定可為相同或不同。在又一實施例中，獨立控制可指代不將可被重取樣(例如，樣本 重取樣、運動重取樣或兩者)且用以使用ILMP來預測當前圖像的圖像計入關於可被重取樣且用以使用ILP來預測當前圖像的圖像之數目的限度。
在一些實施例中，可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目與可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目係相同的(例如，兩者等於1)。在其他實施例中，可被重取樣且用以使用ILMP來預測當前圖像的圖像之數目與可被重取樣且用以使用ILSP來預測當前圖像的圖像之數目係不同的。
在某些實施例中，解碼器31使用至少一重取樣圖像來預測當前圖像。取決於實施例，該至少一重取樣圖像可用以使用ILMP、ILSP或兩者來預測當前圖像。
過程400結束於區塊404處。取決於實施例，可在過程400中添加及/或省略區塊，且取決於實施例可按不同次序來執行過程400之區塊。可分開地或以其任何組合來實施關於本發明中之重取樣所描述的任何特徵及/或實施例。舉例而言，可以與結合圖5所描述之任何特徵及/或實施例的任何組合來實施結合圖4所描述之任何特徵及/或實施例，且反之亦然。
用於關於層間預測類型之處理位元流限制的方法
圖5為流程圖，其說明用於關於層間預測類型之處理位元流限制的實例方法。取決於實施例，可藉由編碼器(例如，如圖2A、圖2B等中所示之編碼器)、解碼器(例如，如圖3A、圖3B等中所示之解碼器)或任何其他組件來執行過程500。過程500之區塊係關於圖3B中之編碼器21來描述的，但可藉由其他組件(諸如，如上文所提及之解碼器)來執行過程500。取決於實施例，編碼器21之層1視訊編碼器20B及/或編碼器21之層0編碼器20A可執行過程500。關於圖5所描述之所有實施例可分開地或彼此組合地加以實施。上文解釋了關於過程500之某 些細節(例如，關於圖4)。
過程500始於區塊501處。編碼器21可包括一用於儲存視訊資訊之記憶體(例如，參考圖框記憶體82)。
在區塊502處，編碼器21識別待使用至少一類型之層間預測(ILP)加以預測的當前圖像。ILP類型可包括層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者。
在區塊503處，在當前圖像將使用至少ILMP加以預測時，編碼器21處理與當前圖像相關聯之同置參考索引值，其中該同置參考索引值指示用於使用ILP來預測當前圖像之第一參考圖像。在一些實施例中，同置參考索引值可指代同置參考索引之值。在某些實施例中，同置參考索引亦可被稱為同置參考索引值。
在區塊504處，編碼器21判定由同置參考索引值指示之第一參考圖像針對ILMP是否啟用。舉例而言，在當前圖像將使用至少ILMP加以預測時，編碼器21可判定第一參考圖像針對ILMP是否啟用。在一些實施例中，編碼器21藉由判定用於第一參考圖像之運動預測啟用旗標的值來判定第一參考圖像針對ILMP是否啟用。舉例而言，當運動預測啟用旗標值等於1時，編碼器21可判定第一參考圖像針對ILMP啟用。在另一實例中，當運動預測啟用旗標值等於0時，編碼器21可判定第一參考圖像針對ILMP不啟用。在其他實施例中，運動預測啟用旗標值之其他值可用以判定第一參考圖像針對ILMP是否啟用(例如，等於2、3等)。
在區塊505處，在當前圖像將使用至少ILSP加以預測時，編碼器21處理與當前圖像中之區塊相關聯之參考索引值，其中該參考索引值指示用於使用ILP來預測當前圖像中之該區塊的第二參考圖像。在一些實施例中，參考索引值可指代參考索引之值。在某些實施例中，參考索引亦可被稱為參考索引值。
在區塊506處，編碼器21判定由參考索引值指示之第二參考圖像針對ILSP是否啟用。舉例而言，在當前圖像將使用至少ILSP加以預測時，編碼器21可判定第二參考圖像針對ILSP是否啟用。在一些實施例中，編碼器21藉由判定用於第一參考圖像之樣本預測啟用旗標的值來判定第二參考圖像針對ILMP是否啟用。舉例而言，當樣本預測啟用旗標值等於1時，編碼器21可判定第二參考圖像針對ILSP啟用。在另一實例中，當樣本預測啟用旗標值等於0時，編碼器21可判定第二參考圖像針對ILSP不啟用。在其他實施例中，樣本預測啟用旗標值之其他值可用以判定第二參考圖像針對ILSP是否啟用(例如，等於2、3等)。
在某些實施例中，編碼器21在第一參考圖像針對ILMP啟用時在位元流中發信同置參考索引值，或在第二參考圖像針對ILSP啟用時在位元流中發信參考索引值，或以上兩者。舉例而言，編碼器21僅發信指示針對ILMP啟用之參考圖像的同置參考索引值。或者，編碼器21發信指示針對ILSP啟用之參考圖像的參考索引值。或者，編碼器21可完成以上兩項。以此方式，可在位元流中僅發信參考對應之參考圖像類型(例如，針對同置參考索引啟用之ILMP、針對參考索引啟用之ILSP等)的索引值。
在一些實施例中，第一參考圖像與第二參考圖像可為相同的。舉例而言，可將參考圖像用於ILMP與ILSP兩者(例如，具有運動資訊與樣本兩者)。
過程500結束於區塊507處。取決於實施例，可在過程500中添加及/或省略區塊，且取決於實施例可按不同次序來執行過程500之區塊。可分開地或以其任何組合來實施關於本發明中之重取樣所描述的任何特徵及/或實施例。舉例而言，可以與結合圖4所描述之任何特徵及/或實施例的任何組合來實施結合圖5所描述之任何特徵及/或實施 例，且反之亦然。
參考圖像清單中之層間圖像次序
在一個實施中，三種類型之層間圖像係有可能的。僅運動層間圖像、僅樣本層間預測及兩者一起。所有此等類型之圖像被包括至層間參考圖像集中。然而，具有此等類型之圖像可未同等地促成寫碼效率。舉例而言，用於層間樣本預測之圖像可比僅用於層間運動預測之圖像重要。因此，與僅用於層間運動預測之圖像相比，具有用於層間樣本預測之圖像的較小參考索引可為有利的。
在一個實施例中，建議將僅用於層間運動預測之圖像置於參考圖像集之結尾且將初始層間參考圖像清單置於用於層間樣本預測之圖像後面。因此，在參考圖像清單(在所有時間參考圖像後面)中及在層間參考圖像集中的次序可藉由將圖像劃分成兩個子集而為如下：用於層間樣本預測之圖像、僅用於層間運動預測之圖像。類似於以上兩個部分，替代地，在參考圖像清單(在所有時間參考圖像後面)中及在層間參考圖像集中的次序可藉由將圖像劃分成三個子集而為如下：用於層間樣本及運動預測之圖像、僅用於層間樣本預測之圖像及僅用於層間運動預測之圖像。另外，在每一子集中，可按層間圖像之nuh_layer_id的下降次序來完成排序。替代地，次序可遵循用於層間預測之參考層的明確發信次序，該明確發信次序可在VPS中或別處發信。
對於上文所描述之二子集狀況而言，可指派另一類型之參考圖像集。舉例而言，樣本層間參考圖像集可包括僅用於層間樣本預測或用於層間樣本預測及層間運動預測兩者的圖像，且運動層間參考圖像集可包括僅用於層間運動預測之圖像。另外，可應用排序且可將運動層間參考圖像集置於在樣本層間參考圖像集後面的初始參考圖像清單中。類似地，對於三子集狀況而言，當將用於層間預測之圖像置於初 始參考圖像清單中時，可應用以下新的層間參考圖像集及排序：樣本及運動層間參考圖像集、僅樣本層間參考圖像集及僅運動層間參考圖像集。類似於該等子集，在每一新的層間參考圖像集中，可按層間圖像之nuh_layer_id的下降次序來完成圖像排序。
參考索引發信
該等技術可提供發信PU層級之參考索引及圖塊層級之同置參考索引的最佳化。舉例而言，可調整用於參考索引發信中之參考圖像的總數目(僅包括可用於框間預測之圖像)，使得於區塊(例如，CU、PU等)層級發信之參考索引可使用較少位元。另外，可調整用以定義collocated_ref_idx範圍之參考圖像的總數目以僅包括可用於TMVP導出之圖像，使得collocatcd_ref_idx之發信可使用較少位元。
在一些實施例中，如下所述地導出變量NumOnlySampleRefIdxLX及NumOnlyMotionRefIdxLX(其中X等於0及1)：
1. PU參考發信
在一個實施例中，ref_idx_l0[x0][y0]指定用於當前預測單元之清單0參考圖像索引。陣列索引x0、y0指定被考慮之預測區塊之左上 明度樣本相對於圖像之左上明度樣本的位置(x0,y0)。ref_idx_l1[x0][y0]具有與ref_idx_l0相同之語義，其中l0及清單0分別由l1及清單1替換。在某些實施例中，可如下所述地自SHVC之早期版本改變寫碼過程(改變以粗體及斜體字指示)：
如下調整ref_idx_lX[x0][y0，其中X等於0及1：
2.同置參考索引發信
在一個實施例中，collocated_ref_idx指定用於時間運動向量預測之同置圖像的參考索引。
當slice_type等於P時或當slice_type等於B且collocated_from_l0等 於1時，collocated_ref_idx指代清單0中之圖像，且collocated_ref_idx之值應在0至num_ref_idx_l0_active_minus1-NumOnlySampleRefIdxL0(包括0及num_ref_idx_l0_active_minus1-NumOnlySampleRefIdxL0)之範圍中。
當slice_type等於B且collocated_from_l0等於0時，collocated_ref_idx指代清單1中之圖像，且collocated_ref_idx之值應在0至num_ref_idx_l1_active_minus1-NumOnlySampleRefIdxL1(包括0及num_ref_idx_l1_active_minus1-NumOnlySampleRefIdxL1)之範圍中。
位元流符合性之要求係：對於一經寫碼圖像之所有圖塊而言，由collocated_ref_idx引用之圖像應為相同。
如下調整collocated_ref_idx：
其中X等於collocated_from_l0。
術語
雖然以上揭示內容已描述特定實施例，但許多變化係可能的。舉例而言，如上文所提及，可將以上技術應用於3D視訊編碼。在3D視訊之一些實施例中，參考層(例如，基礎層)包括足以顯示視訊之第一視圖的視訊資訊且增強層包括相對於參考層之額外視訊資訊使得參考層與增強層一同包括足以顯示視訊之第二視圖的視訊資訊。此等兩個視圖可用以產生立體影像。如上文所論述，根據本發明之態樣，當編碼或解碼增強層中之視訊單元時，來自參考層之運動資訊可用以識 別額外隱式假設。此可為3D視訊位元流提供更大之寫碼效率。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或實踐皆係必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時而非順序地執行。
本文中所揭示之資訊及信號可使用多種不同的技藝及技術中之任一者來表示。舉例而言，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示可貫穿以上描述所引用之資料、指令、命令、資訊、信號、位元、符號及碼片。
結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，上文已大體在功能性方面描述了各種說明性組件、區塊、模組、電路及步驟。此功能性經實施為硬體或是軟體取決於特定應用及強加於整個系統之設計限制而定。熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，但不應將此等實施決策解釋為導致背離本發明之範疇。
可以硬體、軟體、韌體或其任何組合來實施本文中所描述之技術。該等技術可實施於多種器件中之任一者中，諸如通用電腦、無線通信器件聽筒或積體電路器件，其具有包括在無線通信器件聽筒及其他器件中之應用的多種用途。描述為模組或組件之任何特徵可一起實施於整合邏輯器件中或分開地實施為離散但可共同操作之邏輯器件。若以軟體實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體來實現，該程式碼包括在被執行時執行上文所述之方法中之一或多者的指令。電腦可讀取資料儲存媒體可形成電腦程式產品之部分，該電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體 或資料儲存媒體，諸如隨機存取記憶體(RAM)(諸如同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、FLASH記憶體、磁性或光學資料儲存媒體，及其類似者。另外或替代地，可至少部分地藉由電腦可讀通信媒體來實現該等技術，該電腦可讀通信媒體載運或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行之程式碼(諸如，所傳播之信號或波)。
程式碼可由處理器執行，該處理器可包括一或多個處理器，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效之整合或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可為微處理器，但在替代例中，處理器可為任何習知之處理器、控制器、微控制器或狀態機。處理器亦可經實施為計算器件之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。因此，如本文中所使用，術語「處理器」可指代上述結構中之任一者、上述結構之任一組合，或適合於實施本文中所描述之技術之任何其他結構或裝置。另外，在一些態樣中，本文中所描述之功能性可提供於為編碼及解碼而組態之專用軟體模組或硬體模組內，或併入於經組合之視訊編碼器-解碼器(CODEC)中。
本文中所論述之寫碼技術可為實例視訊編碼及解碼系統中之實施例。系統包括一源器件，該源器件提供待在較遲時間由目的地器件解碼之經編碼視訊資料。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含一廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂之「智慧」電話)、所謂之「智 慧」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些實例中，可裝備源器件及目的地器件以用於達成無線通信。
目的地器件可經由電腦可讀媒體來接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含一用以使得源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件的通信媒體。可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多條實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、開關、基地台，或可對促進自源器件至目的地器件之通信有用的任何其他設備。
在一些實例中，可將經編碼資料自輸出介面輸出至一儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或局部存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在進一步之實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之經編碼視訊的另一中間儲存器件。目的地器件可經由串流或下載而自儲存器件來存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料 連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件的傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應性串流(DASH))、被編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，系統可組態成支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在一個實例中，源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件可與外部顯示器件建立介面，而非包括整合式顯示器件。
以上實例系統僅僅為一個實例。可藉由任何數位視訊編碼及/或解碼器件來執行用於並行處理視訊資料之技術。雖然通常藉由視訊編碼器件來執行本發明之技術，但亦可藉由視訊編碼器/解碼器(通常被稱為「CODEC」)來執行該等技術。另外，亦可藉由視訊預處理器來執行本發明之技術。源器件及目的地器件僅僅為此等寫碼器件之實例，其中源器件產生供傳輸至目的地器件之經寫碼視訊資料。在一些實例中，源器件及目的地器件可以實質上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸(例如，用於視訊串流、視訊播 放、視訊廣播或視訊電話)。
視訊源可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為進一步替代例，視訊源可產生基於電腦圖形之資料以作為源視訊、或直播視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源為視訊攝影機，則源器件及目的器件可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可藉由視訊編碼器來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資訊可接著藉由輸出介面而被輸出至電腦可讀媒體上。
如所註釋，電腦可讀媒體可包括：暫時性媒體，諸如無線廣播或有線網路傳輸)；或儲存媒體(例如，非暫時性儲存媒體)，諸如硬磁碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件(例如，經由網路傳輸)。類似地，媒體製造設施(諸如，光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且製造含有該經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可被理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊，該語法資訊亦由視訊解碼器使用且包括描述區塊及其他寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一 類型之顯示器件。已描述本發明之各種實施例。此等及其他實施例係在以下申請專利範圍之範疇內。
已描述本發明之各種實施例。此等及其他實施例係在以下申請專利範圍之範疇內。

Claims (29)

  1. 一種經組態以寫碼視訊資訊之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資訊；及計算硬體，其操作地耦接至該記憶體且經組態以：識別待使用至少一類型之層間預測(ILP)加以預測的一當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者；在該當前圖像將使用至少ILMP加以預測時：處理與該當前圖像相關聯之一同置參考索引值，其中該同置參考索引值指示用於使用ILP來預測該當前圖像的一第一參考圖像；判定由該同置參考索引值指示之該第一參考圖像針對ILMP是否啟用；及在該當前圖像將使用至少ILSP加以預測時：處理與該當前圖像中之一區塊相關聯之一參考索引值，其中該參考索引值指示用於使用ILP來預測該當前圖像中之該區塊的一第二參考圖像；及判定由該參考索引值指示之該第二參考圖像針對ILSP是否啟用。
  2. 如請求項1之裝置，其中該計算硬體經組態以藉由判定用於該第一參考圖像之運動預測啟用旗標的一值來判定該第一參考圖像針對ILMP是否啟用。
  3. 如請求項2之裝置，其中該計算硬體經進一步組態以在該運動預測啟用旗標值等於1時判定該第一參考圖像針對ILMP啟用。
  4. 如請求項2之裝置，其中該計算硬體經進一步組態以在該運動預 測啟用旗標值等於0時判定該第一參考圖像針對ILMP不啟用。
  5. 如請求項1之裝置，其中該計算硬體經組態以藉由判定用於該第二參考圖像之樣本預測啟用旗標的一值來判定該第二參考圖像針對ILSP是否啟用。
  6. 如請求項5之裝置，其中該計算硬體經進一步組態以在該樣本預測啟用旗標值等於1時判定該第二參考圖像針對ILSP啟用。
  7. 如請求項5之裝置，其中該計算硬體經進一步組態以在該樣本預測啟用旗標值等於0時判定該第二參考圖像針對ILSP不啟用。
  8. 如請求項1之裝置，其中該計算硬體經進一步組態以在該第一參考圖像針對ILMP啟用時在一位元流中發信該同置參考索引值，或在該第二參考圖像針對ILSP啟用時在該位元流中發信該參考索引值，或以上兩者。
  9. 如請求項1之裝置，其中該計算硬體經進一步組態以在一位元流中接收該同置參考索引或該參考索引。
  10. 如請求項1之裝置，其中該計算硬體經進一步組態以在該第一參考圖像針對ILMP啟用時在一位元流中編碼該同置參考索引值，或在該第二參考圖像針對ILSP啟用時在該位元流中編碼該參考索引值，或以上兩者。
  11. 如請求項1之裝置，其中該計算硬體經進一步組態以在一位元流中解碼該同置參考索引或該參考索引。
  12. 如請求項1之裝置，其中該裝置係選自由以下各者中之一或多者組成的一群：一桌上型電腦、一筆記型電腦、一膝上型電腦、一平板電腦、一機上盒、一電話手機、一智慧型電話、一智慧型平板、一電視、一攝影機、一顯示器件、一數位媒體播放器、一視訊遊戲控制台及一視訊串流器件。
  13. 一種寫碼視訊資訊之方法，該方法包含： 識別待使用至少一類型之層間預測(ILP)加以預測的一當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者；在該當前圖像將使用至少ILMP加以預測時：處理與該當前圖像相關聯之一同置參考索引值，其中該同置參考索引值指示用於使用ILP來預測該當前圖像的一第一參考圖像；及判定由該同置參考索引值指示之該第一參考圖像針對ILMP是否啟用；及在該當前圖像將使用至少ILSP加以預測時：處理與該當前圖像中之一區塊相關聯之一參考索引值，其中該參考索引值指示用於使用ILP來預測該當前圖像中之該區塊的一第二參考圖像；及判定由該參考索引值指示之該第二參考圖像針對ILSP是否啟用。
  14. 如請求項13之方法，其中該判定該第一參考圖像針對ILMP是否啟用包含判定用於該第一參考圖像之運動預測啟用旗標的一值。
  15. 如請求項14之方法，其進一步包含在該運動預測啟用旗標值等於1時判定該第一參考圖像針對ILMP啟用。
  16. 如請求項14之方法，其進一步包含在該運動預測啟用旗標值等於0時判定該第一參考圖像針對ILMP不啟用。
  17. 如請求項13之方法，其中該判定該第二參考圖像針對ILSP是否啟用包含判定用於該第二參考圖像之樣本預測啟用旗標的一值。
  18. 如請求項17之方法，其進一步包含在該樣本預測啟用旗標值等 於1時判定該第二參考圖像針對ILSP啟用。
  19. 如請求項17之方法，其進一步包含在該樣本預測啟用旗標值等於0時判定該第二參考圖像針對ILSP不啟用。
  20. 如請求項13之方法，其進一步包含在該第一參考圖像針對ILMP啟用時在一位元流中發信該同置參考索引值，或在該第二參考圖像針對ILSP啟用時在該位元流中發信該參考索引值，或以上兩者。
  21. 如請求項13之方法，其進一步包含在一位元流中接收該同置參考索引或該參考索引。
  22. 如請求項13之方法，其進一步包含在該第一參考圖像針對ILMP啟用時在一位元流中編碼該同置參考索引值，或在該第二參考圖像針對ILSP啟用時在該位元流中編碼該參考索引值，或以上兩者。
  23. 如請求項13之方法，其進一步包含在一位元流中解碼該同置參考索引或該參考索引。
  24. 一種包含指令之非暫時性電腦可讀媒體，該等指令在執行於包含電腦硬體之一處理器上時使該處理器：識別待使用至少一類型之層間預測(ILP)加以預測的一當前圖像，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者；在該當前圖像將使用至少ILMP加以預測時：處理與該當前圖像相關聯之一同置參考索引值，其中該同置參考索引值指示用於使用ILP來預測該當前圖像的一第一參考圖像；及判定由該同置參考索引值指示之該第一參考圖像針對ILMP是否啟用；及 在該當前圖像將使用至少ILSP加以預測時：處理與該當前圖像中之一區塊相關聯之一參考索引值，其中該參考索引值指示用於使用ILP來預測該當前圖像中之該區塊的一第二參考圖像；及判定由該參考索引值指示之該第二參考圖像針對ILSP是否啟用。
  25. 如請求項24之電腦可讀媒體，其進一步包含使該處理器藉由判定用於該第一參考圖像之運動預測啟用旗標的一值來判定該第一參考圖像針對ILMP是否啟用的指令。
  26. 如請求項24之電腦可讀媒體，其進一步包含使該處理器藉由判定用於該第二參考圖像之樣本預測啟用旗標的一值來判定該第二參考圖像針對ILSP是否啟用的指令。
  27. 一種經組態以寫碼視訊資訊之裝置，該裝置包含：用於儲存視訊資訊的構件；用於識別待使用至少一類型之層間預測(ILP)加以預測的一當前圖像的構件，該類型之ILP包含層間運動預測(ILMP)或層間樣本預測(ILSP)或兩者；用於在該當前圖像將使用至少ILMP加以預測時處理與該當前圖像相關聯之一同置參考索引值的構件，其中該同置參考索引值指示用於使用ILP來預測該當前圖像的一第一參考圖像，用於處理該同置參考索引值的該構件經進一步組態以判定由該同置參考索引值指示之該第一參考圖像針對ILMP是否啟用；及用於在該當前圖像將使用至少ILSP加以預測時處理與該當前圖像中之一區塊相關聯之一參考索引值的構件，其中該參考索引值指示用於使用ILP來預測該當前圖像中之該區塊的一第二參 考圖像，用於處理該參考索引值的該構件經進一步組態以判定由該參考索引值指示之該第二參考圖像針對ILSP是否啟用。
  28. 如請求項27之裝置，其中用於判定該第一參考圖像針對ILMP是否啟用的該構件經組態以藉由判定用於該第一參考圖像之運動預測啟用旗標的一值來判定該第一參考圖像針對ILMP是否啟用。
  29. 如請求項27之裝置，其中用於判定該第二參考圖像針對ILSP是否啟用的該構件經組態以藉由判定用於該第二參考圖像之樣本預測啟用旗標的一值來判定該第二參考圖像針對ILSP是否啟用。
TW103120101A 2013-06-11 2014-06-10 於多層視訊寫碼中關於層間預測類型之處理位元流限制 TWI594621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361833836P 2013-06-11 2013-06-11
US201361859702P 2013-07-29 2013-07-29
US14/298,555 US9432667B2 (en) 2013-06-11 2014-06-06 Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding

Publications (2)

Publication Number Publication Date
TW201503665A true TW201503665A (zh) 2015-01-16
TWI594621B TWI594621B (zh) 2017-08-01

Family

ID=52005455

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103120101A TWI594621B (zh) 2013-06-11 2014-06-10 於多層視訊寫碼中關於層間預測類型之處理位元流限制
TW103120098A TWI594622B (zh) 2013-06-11 2014-06-10 多層視訊寫碼中之層間預測類型

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103120098A TWI594622B (zh) 2013-06-11 2014-06-10 多層視訊寫碼中之層間預測類型

Country Status (9)

Country Link
US (2) US9509999B2 (zh)
EP (2) EP3008904A1 (zh)
JP (2) JP6388929B2 (zh)
KR (2) KR102323931B1 (zh)
CN (2) CN105247867B (zh)
BR (2) BR112015030986B1 (zh)
CA (2) CA2910969C (zh)
TW (2) TWI594621B (zh)
WO (2) WO2014200894A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI610564B (zh) * 2015-03-18 2018-01-01 英特爾公司 用於接收端顯示器之靜態圖框影像品質改善技術

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR20150075042A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150110294A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
WO2020103942A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block temporal motion vector prediction
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
EP4262208A3 (en) * 2019-02-20 2024-01-17 Beijing Dajia Internet Information Technology Co., Ltd. Constrained motion vector derivation for long-term reference pictures in video coding
CN113875246A (zh) 2019-05-12 2021-12-31 北京字节跳动网络技术有限公司 用于参考图片重采样的信令
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
WO2021036977A1 (en) 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Clipping in reference picture resampling
WO2021052491A1 (en) * 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
US11418813B2 (en) * 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11310492B2 (en) * 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
CN114424553A (zh) * 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
WO2021073488A1 (en) 2019-10-13 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Interplay between reference picture resampling and video coding tools
JP7394985B2 (ja) 2019-10-23 2023-12-08 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
JP2023506220A (ja) 2019-12-12 2023-02-15 エルジー エレクトロニクス インコーポレイティド ループフィルタリングを制御するための映像コーディング装置及び方法
US20230007266A1 (en) * 2019-12-12 2023-01-05 Lg Electronics Inc. Apparatus and method for coding image on basis of signaling of information for filtering
KR20220123018A (ko) * 2019-12-30 2022-09-05 알리바바 그룹 홀딩 리미티드 가상 경계의 시그널링 및 랩 어라운드 움직임 보상을 위한 방법
CN115176466A (zh) 2020-02-14 2022-10-11 抖音视界有限公司 视频比特流中的子图片信息信令

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
JP5112332B2 (ja) * 2006-01-05 2013-01-09 トムソン ライセンシング インターレイヤ動き予測方法
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR101352978B1 (ko) * 2006-01-16 2014-01-28 고려대학교 산학협력단 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
CN102547277B (zh) * 2007-01-18 2014-12-03 弗劳恩霍夫应用研究促进协会 产生质量可缩放视频数据流的设备及其方法
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8204125B2 (en) * 2007-11-28 2012-06-19 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
US8938011B2 (en) * 2010-01-27 2015-01-20 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
CN105847781B (zh) * 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US9088800B2 (en) * 2011-03-04 2015-07-21 Vixs Systems, Inc General video decoding device for decoding multilayer video and methods for use therewith
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP6110410B2 (ja) * 2012-01-31 2017-04-05 ヴィド スケール インコーポレイテッド スケーラブルな高効率ビデオコーディング（ｈｅｖｃ）のための参照ピクチャセット（ｒｐｓ）シグナリング
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI610564B (zh) * 2015-03-18 2018-01-01 英特爾公司 用於接收端顯示器之靜態圖框影像品質改善技術

Also Published As

Publication number Publication date
BR112015031009B1 (pt) 2022-12-13
JP6224236B2 (ja) 2017-11-01
US20140362910A1 (en) 2014-12-11
US9509999B2 (en) 2016-11-29
KR20160019904A (ko) 2016-02-22
CA2910964A1 (en) 2014-12-18
BR112015030986A2 (zh) 2017-07-25
KR20160019068A (ko) 2016-02-18
TWI594621B (zh) 2017-08-01
JP6388929B2 (ja) 2018-09-12
EP3008901A1 (en) 2016-04-20
EP3008904A1 (en) 2016-04-20
US20140362902A1 (en) 2014-12-11
JP2016524877A (ja) 2016-08-18
CA2910964C (en) 2018-05-29
TW201511529A (zh) 2015-03-16
BR112015030986B1 (pt) 2023-04-11
US9432667B2 (en) 2016-08-30
KR102323931B1 (ko) 2021-11-08
KR102323932B1 (ko) 2021-11-08
CA2910969A1 (en) 2014-12-18
JP2016524876A (ja) 2016-08-18
CN105474647A (zh) 2016-04-06
CN105247867B (zh) 2018-12-18
TWI594622B (zh) 2017-08-01
CN105247867A (zh) 2016-01-13
CN105474647B (zh) 2019-02-22
BR112015031009A2 (zh) 2017-07-25
WO2014200894A1 (en) 2014-12-18
CA2910969C (en) 2017-10-17
WO2014200899A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
TWI594621B (zh) 於多層視訊寫碼中關於層間預測類型之處理位元流限制
JP6321139B2 (ja) Ｓｈｖｃにおいて再サンプリングプロセスを条件付きで呼び出すこと
KR101810312B1 (ko) 스케일링 팩터를 사용하는 리샘플링
US11438609B2 (en) Inter-layer picture signaling and related processes
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
US10075729B2 (en) Signaling of view ID bit depth in parameter sets
JP6367309B2 (ja) 映像情報のスケーラブルコーディングのためのデバイス及び方法
TW201448573A (zh) 用於可縮放視訊寫碼之空間運動向量縮放
US9762920B2 (en) Dynamic range control of intermediate data in resampling process