TW201429263A - 基於高效率視訊寫碼之視訊資訊之可縮放寫碼之裝置及方法 - Google Patents

基於高效率視訊寫碼之視訊資訊之可縮放寫碼之裝置及方法 Download PDF

Info

Publication number
TW201429263A
TW201429263A TW102145970A TW102145970A TW201429263A TW 201429263 A TW201429263 A TW 201429263A TW 102145970 A TW102145970 A TW 102145970A TW 102145970 A TW102145970 A TW 102145970A TW 201429263 A TW201429263 A TW 201429263A
Authority
TW
Taiwan
Prior art keywords
block
base layer
video
layer
prediction
Prior art date
Application number
TW102145970A
Other languages
English (en)
Other versions
TWI535273B (zh
Inventor
Vadim Seregin
Ying Chen
jian-le Chen
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201429263A publication Critical patent/TW201429263A/zh
Application granted granted Critical
Publication of TWI535273B publication Critical patent/TWI535273B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種經組態以寫碼視訊資訊之設備包括一記憶體單元及一與該記憶體單元通信之處理器。該記憶體單元經組態以儲存與一具有第一區塊之增強層及一具有第二區塊之基礎層相關聯的視訊資訊，該基礎層中之第二區塊對應於該增強層中之第一區塊。該處理器經組態以基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊。第二區塊之至少一部分位於基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。該處理器可編碼或解碼視訊資訊。

Description

基於高效率視訊寫碼之視訊資訊之可縮放寫碼之裝置及方法
本發明係關於視訊寫碼及壓縮、基於高效率視訊寫碼(HEVC)之可縮放寫碼及基於HEVC之多視圖及3DV(三維視訊)寫碼的領域。
數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲主機、蜂巢式或衛星無線電電話、視訊電話會議裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊裝置可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊圖塊(例如，視訊圖框、視訊圖框之一部分等)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於在相同圖像中之相鄰區塊中之參考樣本的空間預測來 編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於在相同圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本之時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測產生待寫碼區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊間之差的殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進行另外之壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵編碼以達成甚至更多壓縮。
可縮放視訊寫碼(SVC)係指其中使用基礎層(BL)(有時稱作參考層(RL))及一或多個可縮放增強層(EL)之視訊寫碼。對於SVC而言，基礎層可攜載具有基礎品質位準之視訊資料。一或多個增強層可攜載額外視訊資料以支援較高之空間、時間及/或信雜比SNR位準。可相對於一先前編碼層來界定增強層。舉例而言，底層可充當BL，而頂層可充當EL。中間層可充當EL抑或RL，或充當EL與RL兩者。舉例而言，位於中間的層對於位於其下方之層(諸如，基礎層或任何介入增強層)而言可為EL，且同時可充當位於其上方之一或多個增強層的RL。類似地，在HEVC標準之多視圖或3D擴展中，可存在多個視圖，且可利用一個視圖之資訊來寫碼(例如，編碼或解碼)另一視圖之資訊(例如，運動估計、運動向量預測及/或其他冗餘)。
在HEVC擴展中，增強層或另一視圖中之當前區塊可使用基礎層或視圖中之對應區塊加以預測。舉例而言，當前區塊之語法元素、運 動資訊(例如，運動向量)或模式資訊(例如，框內模式)可基於基礎層中之對應區塊。舉例而言，可將基礎層運動向量(MV)用作增強層合併模式/AMVP候選者清單中之候選者。候選者清單係待由寫碼器用來預測當前區塊之空間及時間運動向量預測子之陣列。舉例而言，視訊編碼器可編碼並傳達關於一已知(或可知)之運動向量之運動向量差(MVD)，而非編碼並傳達運動向量自身。在H.264/AVC中，已知之運動向量(其可與MVD一起用來界定當前運動向量)可由所謂之運動向量預測子(MVP)來界定，該MVP係作為與相鄰區塊相關聯之運動向量之中值而導出。然而，更進階之MVP技術可允許視訊編碼器選擇根據哪一相鄰者來界定MVP。
然而，例如，當經寫碼圖框大小係大於可能顯示於裝置上之實際圖框大小時，或當基礎層係藉由另一視訊標準(諸如，AVC或MPEG2)而寫碼時，基礎層之對應區塊可位於基礎層圖框外部。在此等情形中，不能使用對應區塊之資訊來預測增強層或視圖中之當前區塊，此係因為不存在可用於對應區塊之資訊。換言之，不能使用來自基礎層或視圖之資訊來寫碼不對應於基礎層圖像之實際圖框大小或經寫碼圖框大小內之區域的增強層或視圖部分，且因此可降低寫碼效率。藉由允許使用自基礎層或視圖導出之資訊來預測增強層或視圖之此等部分，本發明中所描述之技術可改良寫碼效率及/或降低與寫碼視訊資料之方法相關聯的計算複雜性。
本發明之系統、方法及裝置各自具有若干創新態樣，該等態樣皆不單獨負責實現本文中所揭示之所要屬性。
在一個實施例中，一經組態以寫碼視訊資訊之設備包括一記憶體單元及一與該記憶體單元通信之處理器。該記憶體單元經組態以儲存與一具有第一區塊之增強層及一具有第二區塊之基礎層相關聯的視訊資訊，該基礎層中之第二區塊對應於該增強層中之第一區塊。該處 理器經組態以基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊。第二區塊之至少一部分位於基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。自基礎層中之第二區塊導出的資訊可包括對應於最接近第二區塊之相鄰區塊的資訊。可藉由將第二區塊之座標資訊截割至基礎層之參考區域之範圍(例如，在水平與垂直兩方面)來定位該相鄰區塊。或者，可在進行位置映射程序以判定基礎層之第二區塊之前首先將第一區塊之座標資訊截割至基礎層之當前經解碼或經裁剪圖像之範圍。在第二區塊(或其一部分)經判定為位於基礎層之參考區域外部的狀況下，可針對第一區塊而停用語法元素及殘餘資訊之層間預測，或替代性地，可將預設之語法值用於第一區塊之層間預測。在另一實施例中，可將相鄰區塊之語法值用於第一區塊之層間預測。增強層之最小寫碼單元(SCU)大小可經組態成與基礎層之SCU不同。增強層之每一圖像邊界的邊界填補(padding)大小可經組態成與基礎層之每一對應之圖像邊界的邊界填補大小不同。
在另一實施例中，一種編碼視訊資訊之方法包括：接收與基礎層及增強層相關聯之視訊資訊；及基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊，該基礎層中之第二區塊對應於該增強層中之第一區塊；及基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊，該基礎層中之第二區塊對應於該增強層中之第一區塊。第二區塊之至少一部分位於基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。自基礎層中之第二區塊導出的資訊可包括對應於最接近第二區塊之相鄰區塊的資訊。可藉由將第二區塊之座標資訊截割至基礎層之參考區域之範圍(例如，在水平與垂直兩方面)來定位該相鄰區塊。或者，可在進行位置映射程序以判定基礎層之第二區塊之前首先將第一區塊之座標資訊截割至基礎層之當前經解碼或經裁剪圖像之範圍。 在第二區塊(或其一部分)經判定為位於基礎層之參考區域外部的狀況下，可針對第一區塊而停用語法元素及殘餘資訊之層間預測，或替代性地，可將預設之語法值用於第一區塊之層間預測。在另一實施例中，可將相鄰區塊之語法值用於第一區塊之層間預測。增強層之最小寫碼單元(SCU)大小可經組態成與基礎層之SCU不同。增強層之每一圖像邊界的邊界填補大小可經組態成與基礎層之每一對應之圖像邊界的邊界填補大小不同。
在另一實施例中，一種解碼視訊資訊之方法包括：接收自一經編碼視訊位元串流所提取之語法元素，其中該等語法元素包含與一具有第一區塊之增強層及一具有第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊，其中該第二區塊之至少一部分位於該基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。自基礎層中之第二區塊導出的資訊可包括對應於最接近第二區塊之相鄰區塊的資訊。可藉由將第二區塊之座標資訊截割至基礎層之參考區域之範圍(例如，在水平與垂直兩方面)來定位該相鄰區塊。或者，可在進行位置映射程序以判定基礎層之第二區塊之前首先將第一區塊之座標資訊截割至基礎層之當前經解碼或經裁剪圖像之範圍。在第二區塊(或其一部分)經判定為位於基礎層之參考區域外部的狀況下，可針對第一區塊而停用語法元素及殘餘資訊之層間預測，或替代性地，可將預設之語法值用於第一區塊之層間預測。在另一實施例中，可將相鄰區塊之語法值用於第一區塊之層間預測。增強層之最小寫碼單元(SCU)大小可經組態成與基礎層之SCU不同。增強層之每一圖像邊界的邊界填補大小可經組態成與基礎層之每一對應之圖像邊界的邊界填補大小不同。
在另一實施例中，一穩定式電腦可讀媒體包括程式碼，該程式碼在執行時使設備執行以下步驟：儲存與一具有第一區塊之增強層及 一具有第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊，其中第二區塊之至少一部分位於基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。
在另一實施例中，一經組態以寫碼視訊資訊之視訊寫碼裝置包括：用於儲存與一具有第一區塊之增強層及一具有第二區塊之基礎層相關聯之視訊資訊的構件，該第二區塊對應於該第一區塊；及用於基於自基礎層中之第二區塊導出的資訊藉由層間預測來預測增強層中之第一區塊的構件，其中第二區塊之至少一部分位於基礎層之參考區域外部，該參考區域可供用於第一區塊之層間預測。
10‧‧‧視訊寫碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧通道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
100‧‧‧預測單元
102‧‧‧殘餘產生單元
104‧‧‧變換單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換單元
112‧‧‧重建構單元
113‧‧‧濾波單元
114‧‧‧解碼圖像緩衝器
116‧‧‧熵編碼單元
121‧‧‧框間預測單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測單元
150‧‧‧熵解碼單元
152‧‧‧預測單元
154‧‧‧反量化單元
156‧‧‧反變換單元
158‧‧‧重建構單元
160‧‧‧解碼圖像緩衝器
162‧‧‧運動補償單元
164‧‧‧框內預測單元
400‧‧‧增強層
412‧‧‧實際圖框大小
414‧‧‧虛線
416‧‧‧經寫碼圖框大小
418‧‧‧區域
420‧‧‧區域
422‧‧‧增強層最小寫碼單元(SCU)
430‧‧‧基礎層
432‧‧‧基礎層SCU
434‧‧‧白色矩形
436‧‧‧虛線
500‧‧‧用於寫碼視訊資訊之實例方法
圖1為說明視訊編碼及解碼系統之實例之方塊圖，該視訊編碼及解碼系統可利用根據本發明中所描述之態樣之技術。
圖2為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。
圖3為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。
圖4為說明基礎層及增強層中之各種圖框之圖。
圖5為說明根據本發明之一個實施例之一種寫碼視訊資訊之方法的流程圖。
本文中所描述之某些實施例係關於在進階之視訊編碼解碼器(諸如，HEVC(高效率視訊寫碼))之內容脈絡中用於可縮放視訊寫碼的層間預測。更具體言之，本發明係關於用於在HEVC之可縮放視訊寫碼(SVC)擴展中改良層間預測之效能的系統及方法。
在以下之描述中，描述了與某些實施例相關之H.264/AVC技術； 亦論述了HEVC標準及相關技術。雖然本文中在HEVC及/或H.264標準之內容脈絡中來描述某些實施例，但一般熟習此項技術者可瞭解，本文中所揭示之系統及方法可適用於任何合適之視訊寫碼標準。舉例而言，本文中所揭示之實施例可適用於以下標準中之一或多者：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)。
僅為了說明之目的，藉由僅包括兩個層(例如，諸如基礎層之較低層級之層，及諸如增強層之較高層級之層)之實例來描述本文中所揭示之某些實施例。應理解，此等實例可適用於包括多個基礎層及/或增強層之組態。另外，為了解釋之容易性，以下揭示內容包括關於某些實施例之術語「圖框」或「區塊」。然而，此等術語並不意謂具限制性。舉例而言，可將下文所描述之技術與任何合適之視訊單元(諸如，區塊(例如，CU、PU、TU、巨集區塊等)、圖塊、圖框等)一起使用。
HEVC大體上在許多方面遵循先前視訊寫碼標準之構架。HEVC中之預測單元與某些先前視訊寫碼標準中之預測單元(例如，巨集區塊)不同。事實上，巨集區塊之概念並不像在某些先前視訊寫碼標準中所理解一般存在於HEVC中。巨集區塊係由基於四分樹方案之階層式結構來替代，該四分樹方案可提供高靈活性以及其他可能之益處。舉例而言，在HEVC方案內，界定三種區塊類型，亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU)。CU可係指區域分裂之基本單元。可將CU視為類似於巨集區塊之概念，但CU並不限制最大大小且可允許遞歸分裂成四個相等大小之CU以改良內容自適應性。可將PU視為框間/框內預測之基本單元且PU可在單一PU內含有多個任意形狀 之分割區以有效地寫碼不規則影像圖案。可將TU視為變換之基本單元。可獨立於PU來界定TU；然而，TU之大小可受限於其所屬之CU。將區塊結構以此方式分成三種不同概念可允許每一者根據其作用而被最佳化，從而可導致改良之寫碼效率。
視訊寫碼標準
數位影像(諸如，視訊影像、TV影像、靜態影像或由視訊記錄器或電腦所產生之影像)可由按多個水平及垂直行配置之像素組成。單一影像中之像素的數目通常為數萬個。每一像素通常含有明度及色度資訊。在不壓縮的情況下，待自影像編碼器傳遞至影像解碼器之資訊的數量係如此龐大，以致於其使即時影像傳輸不可能實現。為了減少待傳輸之資訊的量，已開發了若干不同壓縮方法(諸如，JPEG、MPEG及H.263標準)。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)，以上各者皆以全文引用之方式而併入本文。
另外，正由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發一種新型視訊寫碼標準(即，高效率視訊寫碼(HEVC))。HEVC之新近草案可於2013年8月9日起自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得，該草案係以全文引用之方式而併入本文。HEVC草案10之完整引用係Bross等人之題為「High Efficiency Video Coding(HEVC)Text Specification Draft 10」的文件JCTVC-L1003(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第12次會議：瑞士日內瓦，2013年 1月14日至2013年1月23日)。
下文中參看隨附圖式來更充分地描述新穎系統、設備及方法之各種態樣。然而，本發明可以許多不同形式體現且不應解釋為受限於貫穿本發明所呈現之任何特定結構或功能。相反，提供此等態樣使得本發明將為詳盡且完整的，且將向熟習此項技術者充分地傳遞本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋本文中所揭示之新穎系統、設備及方法之任何態樣，而不管該態樣係獨立於本發明之任何其他態樣而實施或是與本發明之任何其他態樣相組合來實施。舉例而言，可使用本文中所闡述之任一數目之態樣實施一設備或實踐一方法。另外，本發明之範疇意欲涵蓋使用除了本文中所闡述之本發明之各種態樣以外或不同於本文中所闡述之本發明之各種態樣的其他結構、功能性或結構及功能性加以實踐的此設備或方法。應理解，可藉由技術方案之一或多個元件來體現本文中所揭示之任何態樣。
雖然本文中描述了特定態樣，但此等態樣之許多變化及排列係在本發明之範疇內。雖然提及了較佳態樣之一些益處及優點，但本發明之範疇並不意欲受限於特定益處、用途或目標。相反，本發明之態樣意欲廣泛適用於不同無線技術、系統組態、網路及傳輸協定，以上各者中之一些以舉例方式說明於諸圖中及較佳態樣之以下描述中。該詳細描述及該等圖式僅僅說明本發明而非限制本發明，本發明之範疇係由附加之申請專利範圍及其等效物來界定。
附圖說明實例。由附圖中之參考數字指示的元件對應於由以下描述中之相同參考數字指示的元件。
視訊寫碼系統
圖1為說明一實例視訊寫碼系統10之方塊圖，該視訊寫碼系統10可利用根據本發明中所描述之態樣之技術。如本文中所描述使用，術 語「視訊寫碼器」泛指視訊編碼器與視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可泛指視訊編碼及視訊解碼。
如圖1中所示，視訊寫碼系統10包括源裝置12及目的地裝置14。源裝置12產生經編碼視訊資料。目的地裝置14可解碼由源裝置12所產生之經編碼視訊資料。源裝置12及目的地裝置14可包含廣泛範圍之裝置，該等裝置包括桌上型電腦、筆記型(例如，膝上型等)電腦、平板型電腦、機上盒、諸如所謂之「智慧型」手機之電話手機、所謂之「智慧型」板(pad)、電視、相機、顯示裝置、數位媒體播放器、視訊遊戲主機、車載電腦或其類似者。在一些實例中，源裝置12及目的地裝置14可經配備以進行無線通信。
目的地裝置14可經由通道16而自源裝置12接收經編碼視訊資料。通道16可包含能夠將經編碼視訊資料自源裝置12移至目的地裝置14之任何類型之媒體或裝置。在一個實例中，通道16可包含一使得源裝置12能夠即時將經編碼視訊資料直接傳輸至目的地裝置14的通信媒體。在此實例中，源裝置12可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地裝置14。通信媒體可包含無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台，或促進自源裝置12至目的地裝置14之通信的其他設備。
在另一實例中，通道16可對應於儲存由源裝置12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地裝置14可經由磁碟存取或卡存取來存取該儲存媒體。該儲存媒體可包括多種本端存取之資料儲存媒體，諸如，藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適之數位儲存媒體。在另外之實例中， 通道16可包括儲存由源裝置12所產生之經編碼視訊的檔案伺服器或另一中間儲存裝置。在此實例中，目的地裝置14可經由串流或下載來存取被儲存於檔案伺服器或其他中間儲存裝置處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地裝置14之類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站等)、FTP伺服器、網路附接儲存(NAS)裝置及本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接等)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。來自檔案伺服器之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術並不限於無線應用或設定。可將該等技術應用於視訊寫碼，以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路(例如，經由HTTP之動態自適應性串流(DASH)等))、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸，從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源裝置12中，視訊源18可包括諸如以下各者之源：視訊俘獲裝置，例如，視訊攝影機；含有先前俘獲之視訊資料的視訊存檔；用以自視訊內容提供者接收視訊資料之視訊饋入介面；及/或用於產生視訊資料之電腦圖形系統；或此等源之組合。
視訊編碼器20可經組態以編碼經俘獲、經預先俘獲或經電腦產 生之視訊資料。經編碼視訊資料可經由源裝置12之輸出介面22而直接傳輸至目的地裝置14。經編碼視訊資料亦可被儲存至儲存媒體或檔案伺服器上以供目的地裝置14稍後存取以進行解碼及/或播放。
在圖1之實例中，目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地裝置14之輸入介面28經由通道16來接收經編碼視訊資料。經編碼視訊資料可包括由視訊編碼器20產生之表示視訊資料的多種語法元素。該等語法元素可描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理。可將此等語法元素與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器處之經編碼視訊資料包括在一起。
顯示裝置32可與目的地裝置14整合或可位於目的地裝置14外部。在一些實例中，目的地裝置14可包括一整合之顯示裝置且亦可經組態以與外部顯示裝置介面連接。在其他實例中，目的地裝置14可為顯示裝置。一般而言，顯示裝置32向使用者顯示經解碼視訊資料。顯示裝置32可包含諸如以下各者之多種顯示裝置中之任一者：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30可根據一視訊壓縮標準(諸如，目前正在開發之高效率視訊寫碼(HEVC)標準)來操作，且可遵照HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(或者被稱作MPEG-4部分10進階視訊寫碼(AVC))之其他專屬或工業標準或此等標準之擴展來操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
雖然在圖1之實例中未展示，但視訊編碼器20及視訊解碼器30可 各自與音訊編碼器及解碼器整合，且可包括適當之MUX-DEMUX單元或其他硬體及軟體，以處置共同之資料串流或分開之資料串流中之音訊與視訊兩者的編碼。若適用，在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
再一次，圖1僅僅為一實例，且本發明之技術可應用於未必包括編碼裝置與解碼裝置間之任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，可自本端記憶體擷取資料，經由網路串流傳輸資料，或其類似情況。編碼裝置可編碼資料並將資料儲存至記憶體，及/或解碼裝置可自記憶體擷取資料並解碼資料。在許多實例中，編碼及解碼係由彼此不通信而僅編碼資料至記憶體及/或擷取及解碼來自記憶體之資料之裝置來執行。
視訊編碼器20及視訊解碼器30各自可經實施為諸如以下各者之多種合適電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。當該等技術部分地在軟體中實施時，一裝置可將軟體之指令儲存於合適之穩定式電腦可讀儲存媒體中且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可被包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(CODEC)的部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如，蜂巢式電話)。
如上文簡要地提及，視訊編碼器20編碼視訊資料。視訊資料可包含一或多個圖像。該等圖像中之每一者為形成視訊之部分的靜態影像。在一些例子中，可將圖像稱作視訊「圖框」。當視訊編碼器20編 碼視訊資料時，視訊編碼器20可產生位元串流。該位元串流可包括形成視訊資料之經寫碼表示的位元序列。該位元串流可包括經寫碼圖像及相關聯的資料。經寫碼圖像為圖像之經寫碼表示。
為了產生位元串流，視訊編碼器20可對視訊資料中之每一圖像執行編碼操作。當視訊編碼器20對圖像執行編碼操作時，視訊編碼器20可產生一系列經寫碼圖像及相關聯的資料。該相關聯的資料可包括序列參數集、圖像參數集、調適參數集及其他語法結構。序列參數集(SPS)可含有適用於零或零個以上圖像序列之參數。圖像參數集(PPS)可含有適用於零或零個以上圖像之參數。調適參數集(APS)可含有適用於零或零個以上圖像之參數。APS中之參數可為比PPS中之參數更有可能改變的參數。
為了產生經寫碼圖像，視訊編碼器20可將一圖像分割成大小相等之視訊區塊。視訊區塊可為樣本之二維陣列。該等視訊區塊中之每一者與一樹型區塊相關聯。在一些例子中，可將樹型區塊稱作最大寫碼單元(LCU)。HEVC之樹型區塊可寬泛地類似於諸如H.264/AVC之先前標準的巨集區塊。然而，樹型區塊未必限於特定大小且可包括一或多個寫碼單元(CU)。視訊編碼器20可使用四分樹分割以將樹型區塊之視訊區塊分割成與CU相關聯之視訊區塊，因此名為「樹型區塊」。
在一些實例中，視訊編碼器20可將一圖像分割成複數個圖塊。該等圖塊中之每一者可包括整數數目個CU。在一些例子中，一圖塊包含整數數目個樹型區塊。在其他例子中，圖塊之邊界可在樹型區塊內。
作為對圖像執行編碼操作的部分，視訊編碼器20可對該圖像之每一圖塊執行編碼操作。當視訊編碼器20對圖塊執行編碼操作時，視訊編碼器20可產生與該圖塊相關聯之經編碼資料。可將與圖塊相關聯之經編碼資料稱作「經寫碼圖塊」。
為了產生經寫碼圖塊，視訊編碼器20可對圖塊中之每一樹型區塊執行編碼操作。當視訊編碼器20對樹型區塊執行編碼操作時，視訊編碼器20可產生經寫碼樹型區塊。該經寫碼樹型區塊可包含表示樹型區塊之經編碼型式的資料。
當視訊編碼器20產生經寫碼圖塊時，視訊編碼器20可根據光柵掃描次序對圖塊中之樹型區塊執行編碼操作(亦即，編碼)。換言之，視訊編碼器20可以自左至右跨越圖塊中之最頂部列的樹型區塊，接著自左至右跨越較低下一列的樹型區塊等等的次序來編碼該圖塊之樹型區塊，直至視訊編碼器20已編碼該圖塊中之樹型區塊中的每一者。
作為根據光柵掃描次序來編碼樹型區塊的結果，位於一給定樹型區塊之上方及左邊的樹型區塊可已被編碼，但位於該給定樹型區塊之下方及右邊的樹型區塊卻尚未被編碼。因此，視訊編碼器20可能能夠在編碼給定樹型區塊時存取藉由編碼位於該給定樹型區塊之上方及左邊之樹型區塊所產生的資訊。然而，視訊編碼器20可能不能夠在編碼給定樹型區塊時存取藉由編碼位於該給定樹型區塊之下方及右邊之樹型區塊所產生的資訊。
為了產生經寫碼樹型區塊，視訊編碼器20可遞歸地對樹型區塊之視訊區塊執行四分樹分割，以將該視訊區塊劃分成逐漸變小之視訊區塊。該等較小之視訊區塊中之每一者可與一不同CU相關聯。舉例而言，視訊編碼器20可將樹型區塊之視訊區塊分割成四個大小相等之子區塊，將該等子區塊中之一或多者分割成四個大小相等之子子區塊，等等。經分割之CU可為其視訊區塊被分割成與其他CU相關聯之視訊區塊的CU。非經分割之CU可為其視訊區塊未被分割成與其他CU相關聯之視訊區塊的CU。
位元串流中之一或多個語法元素可指示視訊編碼器20可分割樹型區塊之視訊區塊的最大次數。CU之視訊區塊的形狀可為正方形。 CU之視訊區塊之大小(亦即，CU之大小)的範圍可自8×8像素直至具有64×64像素或更大之最大值的樹型區塊之視訊區塊之大小(亦即，樹型區塊之大小)。
視訊編碼器20可根據z掃描次序對樹型區塊之每一CU執行編碼操作(亦即，編碼)。換言之，視訊編碼器20可以左上、右上、左下及接著右下之次序來編碼CU。當視訊編碼器20對一經分割CU執行編碼操作時，視訊編碼器20可根據z掃描次序來編碼與該經分割CU之視訊區塊之子區塊相關聯的CU。換言之，視訊編碼器20可以左上、右上、左下及接著右下之次序來編碼與子區塊相關聯之CU。
作為根據z掃描次序來編碼樹型區塊之CU的結果，位於一給定CU之上方、左上、右上、左邊及左下的CU可已被編碼。位於該給定CU之右下的CU卻尚未被編碼。因此，視訊編碼器20可能能夠在編碼給定CU時存取藉由編碼與該給定CU相鄰之一些CU所產生的資訊。然而，視訊編碼器20可能不能夠在編碼給定CU時存取藉由編碼與該給定CU相鄰之其他CU所產生的資訊。
當視訊編碼器20編碼一非經分割CU時，視訊編碼器20可產生用於該CU之一或多個預測單元(PU)。該CU之PU中之每一者可與該CU之視訊區塊內的一不同視訊區塊相關聯。視訊編碼器20可產生一用於CU之每一PU的經預測視訊區塊。PU之經預測視訊區塊可為樣本區塊。視訊編碼器20可使用框內預測或框間預測來產生用於PU之經預測視訊區塊。
當視訊編碼器20使用框內預測來產生一PU之經預測視訊區塊時，視訊編碼器20可基於與該PU相關聯之圖像之經解碼樣本來產生該PU之經預測視訊區塊。若視訊編碼器20使用框內預測來產生一CU之PU之經預測視訊區塊，則該CU為經框內預測CU。當視訊編碼器20使用框間預測來產生PU之經預測視訊區塊時，視訊編碼器20可基於 不同於與該PU相關聯之圖像的一或多個圖像之經解碼樣本來產生該PU之經預測視訊區塊。若視訊編碼器20使用框間預測來產生一CU之PU之經預測視訊區塊，則該CU為經框間預測CU。
此外，當視訊編碼器20使用框間預測來產生一PU之經預測視訊區塊時，視訊編碼器20可產生該PU之運動資訊。PU之運動資訊可指示PU之一或多個參考區塊。PU之每一參考區塊可為參考圖像內之視訊區塊。該參考圖像可為不同於與PU相關聯之圖像的圖像。在一些例子中，亦可將PU之參考區塊稱作PU之「參考樣本」。視訊編碼器20可基於PU之參考區塊來產生該PU之經預測視訊區塊。
在視訊編碼器20產生一CU之一或多個PU之經預測視訊區塊之後，視訊編碼器20可基於該CU之PU之經預測視訊區塊來產生該CU之殘餘資料。CU之殘餘資料可指示CU之PU之經預測視訊區塊與CU之原始視訊區塊中之樣本之間的差。
此外，作為對非經分割CU執行編碼操作的部分，視訊編碼器20可對CU之殘餘資料執行遞歸四分樹分割以將CU之殘餘資料分割成與CU之變換單元(TU)相關聯之一或多個殘餘資料區塊(亦即，殘餘視訊區塊)。CU之每一TU可與一不同之殘餘視訊區塊相關聯。
視訊寫碼器20可將一或多種變換應用於與TU相關聯之殘餘視訊區塊以產生與TU相關聯之變換係數區塊(亦即，變換係數之區塊)。概念上，變換係數區塊可為變換係數之二維(2D)矩陣。
在產生變換係數區塊之後，視訊編碼器20可對該變換係數區塊執行量化程序。量化大體係指如下程序：將變換係數量化以可能地減少用以表示變.換係數之資料之量，從而提供進一步壓縮。量化程序可減少與變換係數中之一些或所有相關聯之位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。
視訊編碼器20可使每一CU與量化參數(QP)值相關聯。與CU相關聯之QP值可判定視訊編碼器20如何量化與CU相關聯之變換係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整被應用於與CU相關聯之變換係數區塊的量化程度。
在視訊編碼器20量化變換係數區塊之後，視訊編碼器20可產生若干組語法元素，該等語法元素表示經量化之變換係數區塊中的變換係數。視訊編碼器20可將諸如上下文自適應性二進位算術寫碼(CABAC)操作之熵編碼操作應用於此等語法元素中之一些語法元素。亦可使用其他熵寫碼技術，諸如內容自適應性可變長度寫碼(CAVLC)、機率區間分割熵(PIPE)寫碼或其他二進位算術寫碼。
由視訊編碼器20產生之位元串流可包括一系列網路抽象層(NAL)單元。該等NAL單元中之每一者可為一語法結構，其含有NAL單元中之資料之類型的指示及含有該資料之位元組。舉例而言，NAL單元可含有表示以下各者之資料：序列參數集、圖像參數集、經寫碼圖塊、補充增強資訊(SEI)、存取單元定界符、填充資料，或另一類型之資料。NAL單元中之資料可包括各種語法結構。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。該位元串流可包括由視訊編碼器20編碼之視訊資料之經寫碼表示。當視訊解碼器30接收到位元串流時，視訊解碼器30可對位元串流執行剖析操作。當視訊解碼器30執行剖析操作時，視訊解碼器30可自位元串流提取語法元素。視訊解碼器30可基於自位元串流提取之語法元素來重建構視訊資料之圖像。用以基於語法元素來重建構視訊資料的程序可大體上與由視訊編碼器20執行之用以產生語法元素的程序互反。
在視訊解碼器30提取到與CU相關聯之語法元素之後，視訊解碼器30可基於該等語法元素來產生CU之PU之經預測視訊區塊。另外，視訊解碼器30可反量化與CU之TU相關聯的變換係數區塊。視訊解碼 器30可對變換係數區塊執行反變換以重建構與CU之TU相關聯的殘餘視訊區塊。在產生經預測視訊區塊及重建構殘餘視訊區塊之後，視訊解碼器30可基於該等經預測視訊區塊及該等殘餘視訊區塊來重建構CU之視訊區塊。以此方式，視訊解碼器30可基於位元串流中之語法元素來重建構CU之視訊區塊。
視訊編碼器
圖2為說明視訊編碼器之實例之方塊圖，該視訊編碼器可實施根據本發明中所描述之態樣之技術。視訊編碼器20可經組態以執行本發明之技術中之任一者或全部。作為一個實例，預測單元100可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣並未如此受限。在一些實例中，本發明中所描述之技術可分擔在視訊編碼器20之各種組件中。在一些實例中，額外地或替代性地，一處理器(未圖示)可經組態以執行本發明中所描述之技術中之任一者或全部。
為了解釋之目的，本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中之任一者。
在圖2之實例中，視訊編碼器20包括複數個功能組件。視訊編碼器20之功能組件包括預測單元100、殘餘產生單元102、變換單元104、量化單元106、反量化單元108、反變換單元110、重建構單元112、濾波單元113、解碼圖像緩衝器114及熵編碼單元116。預測單元 100包括框間預測單元121、運動估計單元122、運動補償單元124及框內預測單元126。在其他實例中，視訊編碼器20可包括更多、更少或不同之功能組件。此外，運動估計單元122及運動補償單元124可經高度整合，但為解釋之目的而在圖2之實例中被分開表示。
視訊編碼器20可接收視訊資料。視訊編碼器20可自各種源接收視訊資料。舉例而言，視訊編碼器20可自視訊源18(圖1)或另一源接收視訊資料。視訊資料可表示一系列圖像。為了編碼視訊資料，視訊編碼器20可對該等圖像中之每一者執行編碼操作。作為對圖像執行編碼操作的部分，視訊編碼器20可對該圖像之每一圖塊執行編碼操作。作為對圖塊執行編碼操作的部分，視訊編碼器20可對圖塊中之樹型區塊執行編碼操作。
作為對樹型區塊執行編碼操作的部分，預測單元100可對樹型區塊之視訊區塊執行四分樹分割以將視訊區塊劃分成逐漸變小之視訊區塊。該等較小之視訊區塊中之每一者可與一不同CU相關聯。舉例而言，預測單元100可將樹型區塊之視訊區塊分割成四個大小相等之子區塊，將該等子區塊中之一或多者分割成四個大小相等之子子區塊，等等。
與CU相關聯之視訊區塊之大小的範圍可自8×8樣本直至具有64×64樣本或更大之最大值的樹型區塊之大小。在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之樣本尺寸，例如，16×16樣本或16乘16樣本。一般而言，16×16視訊區塊在垂直方向上具有16個樣本(y=16)且在水平方向上具有16個樣本(x=16)。同樣地，N×N區塊大體在垂直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。
此外，作為對樹型區塊執行編碼操作的部分，預測單元100可產生該樹型區塊之階層式四分樹資料結構。舉例而言，樹型區塊可對應 於四分樹資料結構之根節點。若預測單元100將樹型區塊之視訊區塊分割成四個子區塊，則根節點在四分樹資料結構中具有四個子節點。該等子節點中之每一者對應於與該等子區塊中之一者相關聯的CU。若預測單元100將該等子區塊中之一者分割成四個子子區塊，則對應於與該子區塊相關聯之CU的節點可具有四個子節點，該等子節點中之每一者對應於與該等子子區塊中之一者相關聯的CU。
四分樹資料結構之每一節點可含有用於對應之樹型區塊或CU的語法資料(例如，語法元素)。舉例而言，四分樹中之節點可包括一分裂旗標，該分裂旗標指示對應於該節點之CU之視訊區塊是否被分割(亦即，分裂)成四個子區塊。可遞歸地界定CU之語法元素，且該等語法元素可取決於CU之視訊區塊是否被分裂成子區塊。視訊區塊未被分割之CU可對應於四分樹資料結構中之葉節點。經寫碼樹型區塊可包括基於對應樹型區塊之四分樹資料結構的資料。
視訊編碼器20可對樹型區塊之每一非經分割CU執行編碼操作。當視訊編碼器20對非經分割CU執行編碼操作時，視訊編碼器20產生表示該非經分割CU之經編碼表示的資料。
作為對CU執行編碼操作的部分，預測單元100可在CU之一或多個PU間分割CU之視訊區塊。視訊編碼器20及視訊解碼器30可支援各種PU大小。假定特定CU之大小為2N×2N，視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小，及以2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或其類似者之對稱PU大小進行的框間預測。視訊編碼器20及視訊解碼器30亦可支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行的不對稱分割。在一些實例中，預測單元100可執行幾何分割以沿不按直角與CU之視訊區塊之邊相交的邊界在CU之PU間分割CU之視訊區塊。
框間預測單元121可對CU之每一PU執行框間預測。框間預測可 提供時間壓縮。為了對PU執行框間預測，運動估計單元122可產生PU之運動資訊。運動補償單元124可基於運動資訊及不同於與CU相關聯之圖像的圖像(亦即，參考圖像)之經解碼樣本而產生PU之經預測視訊區塊。在本發明中，可將由運動補償單元124產生之經預測視訊區塊稱作經框間預測視訊區塊。
圖塊可為I圖塊、P圖塊或B圖塊。運動估計單元122及運動補償單元124可取決於PU是位於I圖塊、P圖塊或是B圖塊中而針對CU之PU執行不同操作。在I圖塊中，所有PU被框內預測。因此，若PU位於I圖塊中，則運動估計單元122及運動補償單元124不對PU執行框間預測。
若PU位於P圖塊中，則含有PU之圖像與參考圖像之清單(稱作「清單0」)相關聯。清單0中之參考圖像中之每一者含有可用於其他圖像之框間預測的樣本。當運動估計單元122關於P圖塊中之PU來執行運動估計操作時，運動估計單元122可搜尋清單0中之參考圖像以找到PU之參考區塊。PU之參考區塊可為最密切地對應於PU之視訊區塊中之樣本的一組樣本(例如，樣本區塊)。運動估計單元122可使用多種量度來判定參考圖像中之一組樣本對應於PU之視訊區塊中之樣本的密切程度。舉例而言，運動估計單元122可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來判定參考圖像中之一組樣本對應於PU之視訊區塊中之樣本的密切程度。
在識別P圖塊中之PU之參考區塊之後，運動估計單元122可產生一指示清單0中之含有參考區塊之參考圖像的參考索引及一指示PU與參考區塊間之空間位移的運動向量。在各種實例中，運動估計單元122可產生具有不同精確度的運動向量。舉例而言，運動估計單元122可以四分之一樣本精度、八分之一樣本精度或其他分率樣本精度來產生運動向量。在分率樣本精度之狀況下，可自參考圖像中之整數位置 樣本值來內插參考區塊值。運動估計單元122可輸出參考索引及運動向量以作為PU之運動資訊。運動補償單元124可基於由PU之運動資訊識別的參考區塊來產生PU之經預測視訊區塊。
若PU位於B圖塊中，則含有該PU之圖像可與參考圖像之兩個清單(稱作「清單0」及「清單1」)相關聯。在一些實例中，含有B圖塊之圖像可與一清單組合(其為清單0及清單1之組合)相關聯。
此外，若PU位於B圖塊中，則運動估計單元122可針對PU來執行單向預測或雙向預測。當運動估計單元122針對PU來執行單向預測時，運動估計單元122可搜尋清單0或清單1之參考圖像以找到PU之參考區塊。運動估計單元122可接著產生一指示清單0或清單1中之含有參考區塊之參考圖像的參考索引及一指示PU與參考區塊間之空間位移的運動向量。運動估計單元122可輸出參考索引、預測方向指示符及運動向量以作為PU之運動資訊。預測方向指示符可指示參考索引指示清單0中之參考圖像抑或清單1中之參考圖像。運動補償單元124可基於由PU之運動資訊指示的參考區塊來產生PU之經預測視訊區塊。
當運動估計單元122針對PU來執行雙向預測時，運動估計單元122可搜尋清單0中之參考圖像以找到PU之參考區塊，且亦可搜尋清單1中之參考圖像以找到PU之另一參考區塊。運動估計單元122可接著產生指示清單0及清單1中之含有參考區塊之參考圖像的參考索引及指示參考區塊與PU間之空間位移的運動向量。運動估計單元122可輸出PU之參考索引及運動向量以作為PU之運動資訊。運動補償單元124可基於由PU之運動資訊指示的參考區塊來產生PU之經預測視訊區塊。
如下文參看圖5進一步論述，預測單元100(例如，經由框間預測單元121)可經組態以藉由執行圖5中說明之步驟來預測EL中之當前區 塊，該當前區塊在BL中不具有可用之對應區塊。
在一些例子中，運動估計單元122並不將PU之一組完整的運動資訊輸出至熵編碼單元116。相反，運動估計單元122可參考另一PU之運動資訊來發信一PU之運動資訊。舉例而言，運動估計單元122可判定PU之運動資訊充分類似於一相鄰PU之運動資訊。在此實例中，運動估計單元122可在與該PU相關聯之語法結構中指示一值，該值向視訊解碼器30指示該PU具有與該相鄰PU相同之運動資訊。在另一實例中，運動估計單元122可在與PU相關聯之語法結構中識別相鄰PU及運動向量差(MVD)。該運動向量差指示PU之運動向量與所指示之相鄰PU之運動向量之間的差。視訊解碼器30可使用所指示之相鄰PU之運動向量及運動向量差來判定該PU之運動向量。藉由在發信第二PU之運動資訊時參考第一PU之運動資訊，視訊編碼器20可能能夠使用較少位元來發信第二PU之運動資訊。
作為對CU執行編碼操作的部分，框內預測單元126可對CU之PU執行框內預測。框內預測可提供空間壓縮。當框內預測單元126對PU執行框內預測時，框內預測單元126可基於相同圖像中之其他PU之經解碼樣本來產生PU之預測資料。PU之預測資料可包括經預測視訊區塊及各種語法元素。框內預測單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測單元126可使用多種框內預測模式來產生PU之多組預測資料。當框內預測單元126使用一框內預測模式來產生PU之一組預測資料時，框內預測單元126可在與該框內預測模式相關聯之方向及/或梯度上使來自相鄰PU之視訊區塊的樣本擴展跨越PU之視訊區塊。假定PU、CU及樹型區塊之左-右、頂-底編碼次序，相鄰PU可位於PU之上方、右上、左上或左邊。框內預測單元126可取決於PU之大小而使用各種數目之框內預測模式(例如，33種定 向框內預測模式)。
預測單元100可從由運動補償單元124針對PU產生之預測資料或由框內預測單元126針對PU產生之預測資料當中選擇PU之預測資料。在一些實例中，預測單元100基於該等組預測資料之速率/失真量度來選擇PU之預測資料。
若預測單元100選擇由框內預測單元126產生之預測資料，則預測單元100可發信用以產生PU之預測資料的框內預測模式(亦即，所選之框內預測模式)。預測單元100可以各種方式來發信所選之框內預測模式。舉例而言，所選之框內預測模式很有可能與相鄰PU之框內預測模式相同。換言之，相鄰PU之框內預測模式可為當前PU之最有可能模式。因此，預測單元100可產生一語法元素以指示所選之框內預測模式與相鄰PU之框內預測模式相同。
在預測單元100選擇CU之PU的預測資料之後，殘餘產生單元102可藉由自CU之視訊區塊減去CU之PU之經預測視訊區塊來產生CU之殘餘資料。CU之殘餘資料可包括2D殘餘視訊區塊，該等2D殘餘視訊區塊對應於CU之視訊區塊中之樣本的不同樣本分量。舉例而言，殘餘資料可包括一殘餘視訊區塊，該殘餘視訊區塊對應於CU之PU之經預測視訊區塊中的樣本之明度分量與CU之原始視訊區塊中的樣本之明度分量之間的差。另外，CU之殘餘資料可包括殘餘視訊區塊，該等殘餘視訊區塊對應於CU之PU之經預測視訊區塊中的樣本之色度分量與CU之原始視訊區塊中的樣本之色度分量之間的差。
預測單元100可執行四分樹分割以將CU之殘餘視訊區塊分割為子區塊。每一未劃分之殘餘視訊區塊可與CU之一不同TU相關聯。與CU之TU相關聯之殘餘視訊區塊的大小及位置可能或可能不基於與CU之PU相關聯之視訊區塊的大小及位置。稱為「殘餘四分樹」(RQT)之四分樹結構可包括與殘餘視訊區塊中之每一者相關聯的節點。CU之TU 可對應於RQT之葉節點。
變換單元104可針對CU之每一TU而藉由將一或多種變換應用於與該TU相關聯之殘餘視訊區塊來產生一或多個變換係數區塊。該等變換係數區塊中之每一者可為變換係數之2D矩陣。變換單元104可將各種變換應用於與TU相關聯之殘餘視訊區塊。舉例而言，變換單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於與TU相關聯之殘餘視訊區塊。
在變換單元104產生與TU相關聯之變換係數區塊之後，量化單元106可量化該變換係數區塊中之變換係數。量化單元106可基於與CU相關聯之QP值來量化與CU之TU相關聯的變換係數區塊。
視訊編碼器20可以各種方式使QP值與CU相關聯。舉例而言，視訊編碼器20可對與CU相關聯之樹型區塊執行速率-失真分析。在速率-失真分析中，視訊編碼器20可藉由對樹型區塊執行編碼操作多次來產生樹型區塊之多個經寫碼表示。當視訊編碼器20產生樹型區塊之不同經編碼表示時，視訊編碼器20可使不同QP值與CU相關聯。當在樹型區塊之具有最低位元率及失真量度之經寫碼表示中給定QP值與CU相關聯時，視訊編碼器20可發信該給定QP值與該CU相關聯。
反量化單元108及反變換單元110可分別將反量化及反變換應用於變換係數區塊，以自該變換係數區塊重建構殘餘視訊區塊。重建構單元112可將經重建構之殘餘視訊區塊加至來自由預測單元100產生之一或多個經預測視訊區塊之對應樣本，以產生與TU相關聯之經重建構之視訊區塊。藉由以此方式重建構CU之每一TU的視訊區塊，視訊編碼器20可重建構CU之視訊區塊。
在重建構單元112重建構CU之視訊區塊之後，濾波單元113可執行解區塊操作以減少與CU相關聯之視訊區塊中的方塊假影。在執行了一或多個解區塊操作之後，濾波單元113可將CU之經重建構之視訊 區塊儲存於解碼圖像緩衝器114中。運動估計單元122及運動補償單元124可使用一含有經重建構之視訊區塊的參考圖像對後續圖像之PU執行框間預測。另外，框內預測單元126可使用解碼圖像緩衝器114中之經重建構之視訊區塊對與該CU在相同圖像中的其他PU執行框內預測。
熵編碼單元116可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元116可自量化單元106接收變換係數區塊且可自預測單元100接收語法元素。當熵編碼單元116接收到資料時，熵編碼單元116可執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，視訊編碼器20可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作或另一類型之熵編碼操作。熵編碼單元116可輸出一包括經熵編碼資料之位元串流。
作為對資料執行熵編碼操作的部分，熵編碼單元116可選擇上下文模型。若熵編碼單元116正執行CABAC操作，則上下文模型可指示對特定位元子(bin)具有特定值之機率的估計。在CABAC之內容脈絡中，術語「位元子」用來指語法元素之二進位型式之位元。
視訊解碼器
圖3為說明視訊解碼器之實例之方塊圖，該視訊解碼器可實施根據本發明中所描述之態樣之技術。視訊解碼器30可經組態以執行本發明之技術中之任一者或全部。作為一個實例，運動補償單元162及/或框內預測單元164可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣並未如此受限。在一些實例中，本發明中所描述之技術可分擔在視訊解碼器30之各種組件中。在一些實例中，額外或替代性地，一處理器(未圖示)可經組態以執行本發明中所 描述之技術中之任一者或全部。
在圖3之實例中，視訊解碼器30包括複數個功能組件。視訊解碼器30之功能組件包括熵解碼單元150、預測單元152、反量化單元154、反變換單元156、重建構單元158、濾波單元159及解碼圖像緩衝器160。預測單元152包括運動補償單元162及框內預測單元164。在一些實例中，視訊解碼器30可執行大體與關於圖2之視訊編碼器20所描述之編碼遍次相應的解碼遍次。在其他實例中，視訊解碼器30可包括更多、更少或不同之功能組件。
視訊解碼器30可接收一包含經編碼視訊資料之位元串流。該位元串流可包括複數個語法元素。當視訊解碼器30接收到位元串流時，熵解碼單元150可對位元串流執行剖析操作。作為對位元串流執行剖析操作的結果，熵解碼單元150可自位元串流提取語法元素。作為執行剖析操作的部分，熵解碼單元150可熵解碼位元串流中之經熵編碼語法元素。預測單元152、反量化單元154、反變換單元156、重建構單元158及濾波單元159可基於自位元串流所提取之語法元素來執行產生經解碼視訊資料之重建構操作。
如上文所論述，位元串流可包含一系列NAL單元。位元串流之NAL單元可包括序列參數集NAL單元、圖像參數集NAL單元、SEI NAL單元等等。作為對位元串流執行剖析操作的部分，熵解碼單元150可執行自序列參數集NAL單元提取並熵解碼序列參數集、自圖像參數集NAL單元提取並熵解碼圖像參數集、自SEI NAL單元提取並熵解碼SEI資料等等的剖析操作。
另外，位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為對位元串流執行剖析操作的部分，熵解碼單元150可執行自經寫碼圖塊NAL單元提取並熵解碼經寫碼圖塊的剖析操作。該等經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法 元素。圖塊標頭中之語法元素可包括一識別與含有該圖塊之圖像相關聯之圖像參數集的語法元素。熵解碼單元150可對經寫碼圖塊標頭中之語法元素執行諸如CABAC解碼操作之熵解碼操作以恢復圖塊標頭。
作為自經寫碼圖塊NAL單元提取圖塊資料的部分，熵解碼單元150可執行自圖塊資料中之經寫碼CU提取語法元素的剖析操作。所提取之語法元素可包括與變換係數區塊相關聯之語法元素。熵解碼單元150可接著對該等語法元素中之一些語法元素執行CABAC解碼操作。
在熵解碼單元150對非經分割CU執行剖析操作之後，視訊解碼器30可對非經分割CU執行重建構操作。為了對非經分割CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU來執行重建構操作，視訊解碼器30可重建構與該CU相關聯之殘餘視訊區塊。
作為對TU執行重建構操作的部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之變換係數區塊。反量化單元154可以類似於針對HEVC所提議或由H.264解碼標準所界定之反量化程序的方式來反量化變換係數區塊。反量化單元154可使用由視訊編碼器20針對變換係數區塊之CU所計算的量化參數QP來判定量化之程度且同樣地判定供反量化單元154應用之反量化之程度。
在反量化單元154反量化變換係數區塊之後，反變換單元156可產生與變換係數區塊相關聯之TU之殘餘視訊區塊。反變換單元156可將反變換應用於變換係數區塊以便產生TU之殘餘視訊區塊。舉例而言，反變換單元156可將反DCT、反整數變換、反卡忽南-拉維變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於變換係數區塊。在一些實例中，反變換單元156可基於來自視訊編碼器20之發信來判定待應用於變換係數區塊之反變換。在此等實例中，反變換單元 156可基於在與變換係數區塊相關聯之樹型區塊之四分樹之根節點處所發信之變換來判定反變換。在其他實例中，反變換單元156可自一或多個寫碼特性(諸如，區塊大小、寫碼模式或其類似者)來推斷反變換。在一些實例中，反變換單元156可應用級聯反變換。
在一些實例中，運動補償單元162可藉由基於內插濾波器來執行內插而改進PU之經預測視訊區塊。待用於具有子樣本精度的運動補償之內插濾波器的識別符可被包括於語法元素中。運動補償單元162可使用由視訊編碼器20在產生PU之經預測視訊區塊期間所使用之相同內插濾波器來計算參考區塊之次整數樣本之內插值。運動補償單元162可根據所接收之語法資訊來判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生經預測視訊區塊。
若PU係使用框內預測而編碼，則框內預測單元164可執行框內預測以產生PU之經預測視訊區塊。舉例而言，框內預測單元164可基於位元串流中之語法元素來判定PU之框內預測模式。位元串流可包括框內預測單元164可用來判定PU之框內預測模式的語法元素。
在一些例子中，語法元素可指示框內預測單元164將使用另一PU之框內預測模式來判定當前PU之框內預測模式。舉例而言，當前PU之框內預測模式可很有可能與相鄰PU之框內預測模式相同。換言之，相鄰PU之框內預測模式可為當前PU之最有可能模式。因此，在此實例中，位元串流可包括一小語法元素，該語法元素指示PU之框內預測模式與相鄰PU之框內預測模式相同。框內預測單元164可接著使用該框內預測模式基於空間相鄰PU之視訊區塊來產生PU之預測資料(例如，經預測樣本)。
如下文參看圖5進一步論述，預測單元152可經組態以藉由執行圖5中所說明之步驟來預測EL中之當前區塊，該當前區塊在BL中不具有可用之對應區塊。
重建構單元158可使用與CU之TU相關聯之殘餘視訊區塊及CU之PU之經預測視訊區塊(亦即，在適用時，框內預測資料抑或框間預測資料)，以重建構CU之視訊區塊。因此，視訊解碼器30可基於位元串流中之語法元素來產生經預測視訊區塊及殘餘視訊區塊，且可基於該經預測視訊區塊及該殘餘視訊區塊來產生視訊區塊。
在重建構單元158重建構CU之視訊區塊之後，濾波單元159可執行解區塊操作以減少與CU相關聯之方塊假影。在濾波單元159執行解區塊操作以減少與CU相關聯之方塊假影之後，視訊解碼器30可將CU之視訊區塊儲存於解碼圖像緩衝器160中。解碼圖像緩衝器160可提供用於後續之運動補償、框內預測及在顯示裝置(諸如圖1之顯示裝置32)上的呈現的參考圖像。例如，視訊解碼器30可基於解碼圖像緩衝器160中之視訊區塊來對其他CU之PU執行框內預測操作或框間預測操作。
在HEVC擴展之實施例中，可使用基礎層之對應區塊來預測增強層或另一視圖語法(諸如運動場或框內模式)。舉例而言，可將基礎層運動向量(MV)用作增強層合併模式/AMVP(進階運動向量預測)候選者清單中之候選者。然而，可存在當基礎層之對應或共置區塊位於基礎層圖框外部時的情形。此可在經寫碼圖框大小係大於可能顯示於裝置上之實際圖框大小時發生。
舉例而言，此情形可在增強圖像之邊界填補大小係大於基礎層圖像之邊界填補大小時發生。基礎層及增強層之不同之邊界填補大小可由特定編碼器設定引入。其亦可歸因於基礎層及增強層之不同的最小寫碼單元(SCU)大小。由於在HEVC中實際經寫碼圖框大小與SCU大小對準(圖框大小為SCU之整數倍)，所以若增強層之SCU係大於基礎層之SCU，則不存在用於基礎層圖框之一些部分的語法資訊。如圖4中所示，增強層SCU 422及基礎層SCU 432之不同大小可導致增強層 400之一部分在基礎層430中不具有藉以擷取運動資訊或像素資訊以用於層間預測的對應區域。在另一實例中，當藉由另一視訊標準(例如，AVC或MPEG2)來寫碼基礎層時，可發生基礎層資訊之不可用性。
在3D-HEVC中，當將視差向量應用於邊界區塊以定位參考視圖中之區塊時，對應區塊可落在該參考視圖之視圖分量的邊界外部。
本發明大體係針對SVC擴展。本發明亦對多視圖視訊寫碼(MVC)有效，其中該等視圖中之一者充當本描述中之增強層。
圖4說明增強層400及基礎層430之各種圖框。白色矩形432表示基礎層圖像之實際圖框大小(例如，經裁剪以配合裝置之顯示器大小)。基礎層之經寫碼圖框大小以虛線436展示於圖4之底部，且增強層之經寫碼圖框大小以虛線416展示於圖4之頂部。亦在增強層之實際圖框大小412與經寫碼圖框大小416之間以虛線414展示了經升取樣之基礎層之經寫碼圖框大小。區域418表示經升取樣之基礎層之實際圖框大小與經寫碼圖框大小之間的區域，且區域420表示經升取樣之基礎層之經寫碼圖框大小與增強層之經寫碼圖框大小之間的區域。
通常，為了達成層間預測，可自對應之子區塊或像素位置獲得基礎層資訊(包括運動向量(MV)及其他語法元素)，且該基礎層資訊可用以預測當前區塊(例如，在增強層中)。此對應之子區塊或像素位置可位於當前增強層CU或PU內部或外部。舉例而言，子區塊或像素位置可為中心或隅角子區塊或像素位置。若此對應之子區塊或像素位置位於在基礎層圖框外部之不可用區域中，則需要界定用於此狀況之SVC或MVC編碼解碼器行為。舉例而言，本文中所使用之「對應區塊」(或子區塊或像素位置)可指共置區塊、相鄰區塊或由寫碼器(例如，編碼器或解碼器)判定之任何其他區塊。
如上文所提及，增強層區域可能在基礎層中不具有可用於層間 預測之對應區域。舉例而言，增強層之經寫碼圖框之右下邊緣(亦即，圖4中之區域420)在基礎層中不具有可藉以獲得運動資訊以用於層間預測的對應區域。因此，此等邊緣部分不能藉由自其在基礎層中之對應部分所獲得的資訊而加以寫碼，且因此不能使用習知之層間預測技術。
BL中之參考區塊之不可用性
可藉由將子區塊隅角或像素位置之座標與圖框大小相比較來檢查對應之子區塊或像素位置是否位於基礎層圖框外部。舉例而言，若子區塊之右下隅角之座標係在基礎層之圖框大小(或根據BL與EL之空間比率而被升取樣之BL之圖框大小)之範圍外，則將對應之子區塊視為不可用於預測EL中之當前區塊。本文中所論述之技術中之一或多者可用以對在BL中不具有可用之對應區塊(例如，不具有可用之BL語法)的此等區塊執行層間預測。
在一個實施例中，在視圖間/層間運動預測期間，識別EL中之當前區塊之左上位置P0及右下位置P1(其對應於參考/基礎視圖/層中之位置Q0及Q1)。若Q0或Q1係位於參考/基礎視圖/層之圖像外部，則將對應區塊視為不可用，且其不被用於層間/視圖間運動預測。在此狀況下，可停用其他語法元素或殘餘資訊之層間/視圖間預測。在另一實施例中，僅當Q0與Q1兩者皆位於參考/基礎視圖/層之圖像外部時才將基礎層/參考視圖區塊視為不可用。
在又一實施例中，代替EL中之當前區塊之左上位置及右下位置，當前區塊係藉由區塊之右上位置及左下位置來識別，且因此基於右上位置及左下位置之映射位置來判定BL中之參考區塊的可用性。
在又一實施例中，可藉由區塊之最左像素與最右像素之水平座標X1及Xr及最上像素與最下像素之垂直座標Y1及Yr來識別當前區塊。在將此等座標映射至基礎/參考層/視圖中之對應座標之後，若該等值 (例如，水平座標及垂直座標)中之任一者超過圖像邊界，則將基礎層/參考視圖中之對應區塊視為不可用。此處，圖像邊界可指實際圖框或經寫碼圖框之邊界，如圖4中所說明。
對於某一語法元素(或所有語法元素)而言，當前區塊之基礎層/參考視圖中的映射位置可取決於當前區塊之特定座標的映射位置。當當前區塊之特定座標的映射位置超過基礎/參考層/視圖邊界時，將基礎層/參考視圖區塊視為不可用。區塊之特定座標可指向區塊之左上、右下、中心、右上、左下位置。區塊之特定座標對於所有語法元素而言可為相同位置，或其可能對於不同語法元素而言為不同位置。
參考區域
即使當基礎層/參考視圖中之映射位置係在基礎層/參考視圖之圖像內時，若其位於基礎層/參考視圖之參考區域外部，則仍將其視為位於不可用區域中，且將藉由此位置識別之區塊視為不可用。在一個實施例中，將參考區域界定為基礎層/參考視圖之圖像內的藉以預測當前層/視圖(例如，可供用於層間或視圖間預測)的矩形區域。來自位於參考區域外部之圖像之像素或區塊的資訊未被用於層間/視圖間預測。本文中所使用之基礎層/參考視圖之「圖像」可指經裁剪用於顯示之基礎層圖像，該圖像由圖4之底部的白色矩形434說明。或者，該術語可指基礎層之經寫碼(例如，經解碼)圖像，該圖像藉由圖4之底部的虛線436說明。
定位最接近之可用區塊
在一個實施例中，當區塊或像素位置被映射至基礎/參考層/視圖之不可用區塊，或經識別為位於參考區域之左/右及/或頂/底邊界外部時，可將最接近不可用之參考區域(亦即，對應區塊)之右/左及/或底/頂邊界的可用區塊之資訊用於層間/視圖間預測。一種定位此最接近之可用區塊的方法係藉由將對應之基礎/參考層/視圖位置之座標截割 至基礎層/參考層之參考區域大小之範圍中，其中參考區域可為經解碼之基礎層圖像(436)或經裁剪之基礎層圖像(434)，如圖4中所描繪。然而，參考區域並不限於圖4中所描繪之彼等區域，且可為由寫碼器針對增強層或增強層中之特定區塊指定的區域。
舉例而言，可將對應之基礎/參考層/視圖位置之水平座標截割至在0與(reference_region_width-1)之間的範圍，且可將對應之基礎/參考層/視圖位置之垂直座標截割至在0與(reference_region_height-1)之間的範圍。藉由截割對應之基礎/參考層/視圖位置之座標，可定位最接近之可用參考區塊，且對應於此區塊之資訊(例如，像素資訊或運動資訊)可用以預測增強層中之當前區塊。
圖5說明根據本發明之一個實施例之用於寫碼視訊資訊之實例方法500。可藉由視訊編碼器20或視訊解碼器30之一或多個組件來執行方法500，該一或多個組件包括(但不限於)框間預測單元121、運動補償單元162。在一些實施例中，其他組件可用以實施本文中所描述之步驟中之一或多者。舉例而言，方法500可用以執行關於圖4所描述之動作中之一或多者。雖然將方法500之步驟描述為由寫碼器執行，但可藉由編碼器(例如，視訊編碼器20)或解碼器(例如，視訊解碼器30)來執行此等步驟。
方法500始於步驟505處，(例如)以用於寫碼增強層中之當前區塊。在步驟510處，寫碼器檢查對應區塊是否不可用。舉例而言，對應區塊可為增強層中之當前區塊的共置區塊、共置區塊之相鄰區塊或由寫碼器判定之任何其他區塊。本文中所描述之各種可用性檢查技術中之任一者可用以判定此對應區塊是否不可用。若判定對應區塊不可用(步驟510處之是)，則寫碼器基於基礎層之對應區塊來導出資訊(步驟515)。舉例而言，如本文中所論述，可藉由寫碼器來定位相鄰區塊且可導出與該相鄰區塊相關聯之資訊以供在層間預測中使用。基於所 導出之資訊，執行層間預測以預測增強層中之當前區塊(步驟520)。舉例而言，如上文所論述，圖2之視訊編碼器20之預測單元100或圖2之視訊解碼器30之預測單元152可執行此預測。方法500結束於步驟525處。
語法元素及殘餘資訊
在一個實施例中，若區塊被映射至基礎/參考層/視圖之不可用區塊或經識別為位於參考區域之左/右及/或頂/底邊界外部，則可針對此區塊而停用對於語法元素及/或殘餘資訊之層間預測。或者，並非停用此區塊之層間預測，可將預設之語法值用於層間預測。舉例而言，可使用零運動場(例如，MV等於零且參考索引等於零)，且可將框內模式設定至DC預測方向。
在另一實施例中，可用相鄰之可用區塊之語法元素來代替不可用之對應區塊之語法元素。在使用相鄰之可用區塊之資訊的狀況下，尤其在基礎層圖框被插入至參考圖像清單中的情況下，可壓縮用於不可用之子區塊的運動場(例如，基於如HEVC中之16×16大小)。
最小寫碼單元(SCU)大小
可限制增強層及基礎層之SCU大小以避免層間語法預測之不可用區域。舉例而言，增強層之SCU大小可經組態成小於或等於基礎層之SCU大小。另外，可在界定關於SCU大小之限制時考慮到空間可縮放性縱橫比。
圖像邊界填補大小
可限制增強層及基礎層之圖像邊界填補大小以避免層間語法預測之不可用區域。舉例而言，增強層之填補大小可經組態成小於或等於基礎層之填補大小。更具體言之，可使每一圖像邊界之填補大小(亦即，增強層圖像中之左、頂、右及底邊界)小於或等於基礎層圖像中之彼等填補大小。另外，可在針對空間可縮放性狀況來界定關於圖 像邊界填補大小之限制時考慮到解析度比率。
運動場資訊之可用性
在視圖間/層間運動預測期間，若增強層區塊之右下隅角係位於圖像外部，則將運動場視為不可用。如本文中所使用之圖像可指經解碼之基礎層圖像或經裁剪之基礎層圖像，如圖4中所說明。在此狀況下，即使對應之基礎層區塊位於基礎層圖像內部，仍可將運動場視為不可用。或者，在另一實施例中，若增強層區塊之代表性部分係位於圖像外部，但對應於增強層區塊之該代表性部分的基礎層區塊係位於基礎層圖像內部，則可將來自基礎層區塊(若必要，根據可縮放性比率而縮放)之運動場指派用於該增強層區塊。
運動場資訊之可用性
在另一實施例中，代替區塊之右下隅角，可將位於區塊內部之其他點或任何子區塊用作代表性點。舉例而言，可使用基礎層或增強層區塊之中心點，或可使用基礎層或增強層區塊之中心4×4子區塊中的一者。若此代表性點或子區塊係位於對應之BL或EL圖像外部，則可應用本發明中所描述之技術中之一者。此處之圖像可為經解碼圖像或經裁剪圖像。
在位置映射之前截割座標
在一個實施例中，可在進行位置映射程序以判定基礎/參考層/視圖中之對應區塊的位置之前將範圍限制應用於當前增強層圖像中之位置。舉例而言，可在進行位置映射程序以獲得基礎/參考層/視圖中之對應位置之前將當前位置之座標截割至當前經解碼圖像之圖像大小範圍中。在另一實例中，可在進行位置映射程序以獲得基礎/參考層/視圖中之對應位置之前將當前位置之座標截割至當前經裁剪圖像之圖像大小範圍中。
經裁剪圖像及經解碼圖像
在更詳細視圖中，可將位於圖框外部之區域劃分為兩個部分：第一部分(例如，圖4中之區域418)，其與基礎層圖框之擴展部分相關(歸因於與圖4中所示之基礎層SCU 432之大小對準)；及在圖4上用影線展示之第二部分(例如，圖4中之區域420)，其在基礎層圖框中不具有任何對應部分。
可將上文所描述之技術應用於區域418與420兩者。或者，因為可自擴展之基礎層圖框(亦即，基礎層之經寫碼圖框436)獲得資訊，所以可將區域418視為可用，且因此僅可將本發明中所描述之技術應用於區域420。
在一個實施例中，可直接根據基礎/參考層/視圖圖像中之映射位置來檢查區塊之不可用性。如圖4中所示，可使用之一種技術係將基礎/參考層/視圖圖像之實際圖框大小內的任何映射位置視為可用且將超過實際圖框大小之部分視為不可用。或者，可將在基礎/參考層/視圖圖像之經寫碼圖框大小內的任何映射位置視為可用，且可將超過經寫碼圖框大小之部分視為不可用。
其他應用
在以上描述中，雖然將運動層間預測用作實例，但相同原理及技術亦適用於其他語法元素，諸如框內模式、預測模式、分裂旗標、跳過旗標等等。
替代性地或額外地，可將上文所提及之方法應用於層間像素預測(包括BL內或紋理BL預測、層間殘餘預測、差域框內預測、差域框間預測等)。舉例而言，對於位於不可用區域中之彼等區塊或區塊之部分而言，可停用層間像素預測，或可藉由預設值(例如，0或(1<<(位元深度-1)))來初始化像素，其中位元深度可為8、10、12位元等等。
或者，可使用相鄰之可用像素來填補像素。像素填補方法(例如) 可為與用於內插之像素填補方法相同的方法。然而，需要被擴展之該數目的像素可與用於內插目的所需之彼等像素不同。在無限制的情況下，其他像素填補方法亦係適用的。
對於層間像素預測狀況而言，可逐像素地進行以上所提及之不可用性檢查方法。亦即，對於每一像素而言，將其在基礎/參考層/視圖圖像中之共置位置用於藉由上文所提及之規則來檢查可用性。當像素被映射至基礎/參考層/視圖之不可用位置時，將最接近經映射位置之右/左及/或底/頂邊界之可用位置的像素用於層間/視圖間預測。
如圖4中所示，對準基礎層及增強層的具有座標(0,0)之左上隅角。然而，可將該解決方案應用於不存在此隅角對準之情形中。在此情形中，存在位於增強層圖框外部之來自左上邊的另一不可用區域(其類似於圖4上所示之右下對應物)。
可使用多種不同技藝及技術中之任一者來表示資訊及信號。舉例而言，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示可貫穿以上描述所引用之資料、指令、命令、資訊、信號、位元、符號及碼片。
結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、單元、模組、電路及演算法步驟可經實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，上文已大體在功能性方面描述了各種說明性組件、區塊、單元、模組、電路及步驟。此功能性經實施為硬體或是軟體取決於特定應用及強加於整個系統之設計約束而定。熟習此項技術者可針對每一特定應用而以變化之方式來實施所描述之功能性，但此等實施決策不應解釋為導致背離本發明之範疇。
可將本文中所描述之技術實施於硬體、軟體、韌體或其任何組合中。可將此等技術實施於諸如以下各者之多種裝置中之任一者中： 通用電腦、無線通訊裝置手機或具有多種用途(包括在無線通信裝置手機及其他裝置中之應用)之積體電路裝置。可將被描述為單元、模組或組件之任何特徵一同實施於整合之邏輯裝置中或分開地實施為離散但可互操作之邏輯裝置。若實施於軟體中，則可至少部分地藉由電腦可讀資料儲存媒體來實現該等技術，該電腦可讀資料儲存媒體包含包括指令之程式碼，該程式碼在加以執行時執行上文所描述之方法中之一或多者。電腦可讀資料儲存媒體可形成電腦程式產品之部分，該電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(RAM)(諸如同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、FLASH記憶體、磁性或光學資料儲存媒體，及其類似者。額外地或替代性地，可至少部分地藉由電腦可讀通信媒體來實現該等技術，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行之程式碼(諸如傳播之信號或波)。
程式碼可由處理器執行，該處理器可包括一或多個處理器，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效之整合或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知之處理器、控制器、微控制器或狀態機。亦可將處理器實施為計算裝置之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任一其他此組態。因此，如本文中所使用，術語「處理器」可指上述結構中之任一者、上述結構之任一組合，或適合於實施本文中所描述之技術之任何其他結構或設備。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於 編碼及解碼之專用軟體模組或硬體模組內，或併入於組合式視訊編碼器-解碼器(CODEC)中。又，可將該等技術完全地實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種裝置或設備中，該等裝置或設備包括無線手機、積體電路(IC)或一組IC(例如，晶片組)。本發明中描述了各種組件、模組或單元以強調經組態以執行所揭示之技術之裝置的功能態樣，但其未必需要藉由不同硬體單元來實現。相反，如上文所描述，各種單元可經組合於編碼解碼器硬體單元中或由包括如上文所描述之一或多個處理器的互操作之硬體單元之集合結合合適之軟體及/或韌體來提供。
已描述本發明之各種實施例。此等及其他實施例係在以下申請專利範圍之範疇內。
500‧‧‧用於寫碼視訊資訊之實例方法

Claims (36)

  1. 一種經組態以寫碼視訊資訊之設備，其包含：一記憶體單元，其經組態以儲存與一具有一第一區塊之增強層及一具有一第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及一與該記憶體單元通信之處理器，該處理器經組態以基於自該基礎層中之該第二區塊導出的資訊藉由層間預測來預測該增強層中之該第一區塊，其中該第二區塊之至少一部分位於該基礎層之一參考區域外部，該參考區域可供用於該第一區塊之該層間預測。
  2. 如請求項1之設備，其中自該第二區塊導出之該資訊包括對應於一最接近該第二區塊之相鄰區塊的資訊，該相鄰區塊位於該基礎層之該參考區域內部。
  3. 如請求項2之設備，其中該相鄰區塊係藉由將該第二區塊之座標資訊截割至該基礎層之該參考區域之一範圍來定位。
  4. 如請求項1之設備，其中在進行一位置映射程序以判定該基礎層之該第二區塊之前，該第一區塊之座標資訊首先被截割至一當前經解碼或經裁剪圖像之一範圍。
  5. 如請求項1之設備，其中該參考區域進一步包括該基礎層之一經解碼圖像及該基礎層之一經裁剪圖像中的一者。
  6. 如請求項1之設備，其中在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，針對該第一區塊而停用語法元素及殘餘資訊之層間預測。
  7. 如請求項1之設備，其中在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，預設之語法值被用於該第一區塊 之該層間預測。
  8. 如請求項2之設備，其中在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，該相鄰區塊之語法值被用於該第一區塊之該層間預測。
  9. 如請求項1之設備，其中該增強層之一最小寫碼單元(SCU)大小係與該基礎層之一SCU大小不同。
  10. 如請求項1之設備，其中該增強層之每一圖像邊界之一邊界填補大小係與該基礎層之每一對應圖像邊界之一邊界填補大小不同。
  11. 一種編碼視訊資訊之方法，該方法包含：接收與一具有一第一區塊之增強層及一具有一第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及基於自該基礎層中之該第二區塊導出的資訊藉由層間預測來預測該增強層中之該第一區塊，其中該第二區塊之至少一部分位於該基礎層之一參考區域外部，該參考區域可供用於該第一區塊之該層間預測。
  12. 如請求項11之方法，其中自該第二區塊導出之該資訊包括對應於一最接近該第二區塊之相鄰區塊的資訊，該相鄰區塊位於該基礎層之該參考區域內部。
  13. 如請求項12之方法，其進一步包含：藉由將該第二區塊之座標資訊截割至該基礎層之該參考區域之一範圍來定位該相鄰區塊。
  14. 如請求項11之方法，其進一步包含：將該第一區塊之座標資訊截割至一當前經解碼或經裁剪圖像之一範圍；及基於該第一區塊之該經截割之座標資訊來進行一位置映射程 序以判定該基礎層之該第二區塊。
  15. 如請求項11之方法，其中該參考區域進一步包括一經解碼圖像及一經裁剪圖像中之一者。
  16. 如請求項11之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，針對該第一區塊而停用語法元素及殘餘資訊之層間預測。
  17. 如請求項11之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，將預設之語法值用於該第一區塊之該層間預測。
  18. 如請求項12之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，將該相鄰區塊之語法值用於該第一區塊之該層間預測。
  19. 如請求項11之方法，其中該增強層之一最小寫碼單元(SCU)大小係與該基礎層之一SCU大小不同。
  20. 如請求項11之方法，其中該增強層之每一圖像邊界之一邊界填補大小係與該基礎層之每一對應圖像邊界之一邊界填補大小不同。
  21. 一種解碼視訊資訊之方法，該方法包含：接收自一經編碼視訊位元串流所提取之語法元素，其中該等語法元素包含與一具有一第一區塊之增強層及一具有一第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及基於自該基礎層中之該第二區塊導出的資訊藉由層間預測來預測該增強層中之該第一區塊， 其中該第二區塊之至少一部分位於該基礎層之一參考區域外部，該參考區域可供用於該第一區塊之該層間預測。
  22. 如請求項21之方法，其中自該第二區塊導出之該資訊包括對應於一最接近該第二區塊之相鄰區塊的資訊，該相鄰區塊位於該基礎層之該參考區域內部。
  23. 如請求項22之方法，其進一步包含：藉由將該第二區塊之座標資訊截割至該基礎層之該參考區域之一範圍來定位該相鄰區塊。
  24. 如請求項21之方法，其進一步包含：將該第一區塊之座標資訊截割至一當前經解碼或經裁剪圖像之一範圍；及基於該第一區塊之該經截割之座標資訊來進行一位置映射程序以判定該基礎層之該第二區塊。
  25. 如請求項21之方法，其中該參考區域進一步包含一經解碼圖像及一經裁剪圖像中之一者。
  26. 如請求項21之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，針對該第一區塊而停用語法元素及殘餘資訊之層間預測。
  27. 如請求項21之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，將預設之語法值用於該第一區塊之該層間預測。
  28. 如請求項22之方法，其進一步包含：在該第二區塊經判定為位於該基礎層之該參考區域外部的一狀況下，將該相鄰區塊之語法值用於該第一區塊之該層間預測。
  29. 如請求項21之方法，其中該增強層之一最小寫碼單元(SCU)大小係與該基礎層之一SCU大小不同。
  30. 如請求項21之方法，其中該增強層之每一圖像邊界之一邊界填補大小係與每一之一邊界填補大小不同。
  31. 一種穩定式電腦可讀媒體，其包含程式碼，該程式碼在執行時使一設備執行以下步驟：儲存與一具有一第一區塊之增強層及一具有一第二區塊之基礎層相關聯的視訊資訊，該第二區塊對應於該第一區塊；及基於自該基礎層中之該第二區塊導出的資訊藉由層間預測來預測該增強層中之該第一區塊，其中該第二區塊之至少一部分位於該基礎層之一參考區域外部，該參考區域可供用於該第一區塊之該層間預測。
  32. 如請求項31之媒體，其中自該第二區塊導出之該資訊包括對應於一最接近該第二區塊之相鄰區塊的資訊，該相鄰區塊位於該基礎層之該參考區域內部。
  33. 如請求項32之媒體，其中該設備進一步經組態以：藉由將該第二區塊之座標資訊截割至該基礎層之該參考區域之一範圍來定位該相鄰區塊。
  34. 一種經組態以寫碼視訊資訊之視訊寫碼裝置，該視訊寫碼裝置包含：用於儲存與一具有一第一區塊之增強層及一具有一第二區塊之基礎層相關聯之視訊資訊的構件，該第二區塊對應於該第一區塊；及用於基於自該基礎層中之該第二區塊導出的資訊藉由層間預測來預測該增強層中之該第一區塊的構件，其中該第二區塊之至少一部分位於該基礎層之一參考區域外 部，該參考區域可供用於該第一區塊之該層間預測。
  35. 如請求項34之裝置，其中自該第二區塊導出之該資訊包括對應於一最接近該第二區塊之相鄰區塊的資訊，該相鄰區塊位於該基礎層之該參考區域內部。
  36. 如請求項35之裝置，其進一步包含：用於藉由將該第二區塊之座標資訊截割至該基礎層之該參考區域之一範圍來定位該相鄰區塊的構件。
TW102145970A 2012-12-12 2013-12-12 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體 TWI535273B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261736481P 2012-12-12 2012-12-12
US201361767183P 2013-02-20 2013-02-20
US14/049,649 US9648319B2 (en) 2012-12-12 2013-10-09 Device and method for scalable coding of video information based on high efficiency video coding

Publications (2)

Publication Number Publication Date
TW201429263A true TW201429263A (zh) 2014-07-16
TWI535273B TWI535273B (zh) 2016-05-21

Family

ID=50880949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102145970A TWI535273B (zh) 2012-12-12 2013-12-12 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體

Country Status (13)

Country Link
US (1) US9648319B2 (zh)
EP (1) EP2932718B1 (zh)
JP (1) JP6430394B2 (zh)
KR (1) KR101861906B1 (zh)
CN (1) CN104919797B (zh)
AP (1) AP2015008516A0 (zh)
EC (1) ECSP15029651A (zh)
ES (1) ES2711954T3 (zh)
HU (1) HUE042712T2 (zh)
MA (1) MA38178B1 (zh)
SA (1) SA515360542B1 (zh)
TW (1) TWI535273B (zh)
WO (1) WO2014093079A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073115A1 (en) * 2013-04-05 2016-03-10 Samsung Electronics Co., Ltd. Method for determining inter-prediction candidate for interlayer decoding and encoding method and apparatus
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US10321162B2 (en) * 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019135447A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US11265551B2 (en) * 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
WO2020231953A1 (en) * 2019-05-10 2020-11-19 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for video coding with triangle prediction
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
KR20220070530A (ko) * 2019-10-10 2022-05-31 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 삼각형 분할을 이용한 비디오 코딩을 위한 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9201640A (nl) 1992-09-22 1994-04-18 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een digitaal signaal, en encoder en decoder voor toepassing in het systeem volgens de uitvinding.
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100704626B1 (ko) * 2005-02-07 2007-04-09 삼성전자주식회사 다 계층 기반의 모션 벡터를 압축하는 방법 및 장치
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
JP4321484B2 (ja) * 2005-04-12 2009-08-26 日本ビクター株式会社 空間スケーラブル符号化方法、空間スケーラブル符号化装置、空間スケーラブル符号化プログラム、空間スケーラブル復号化方法、空間スケーラブル復号化装置及び空間スケーラブル復号化プログラム
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
EP2077038B1 (en) 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8428125B2 (en) 2006-12-22 2013-04-23 Qualcomm Incorporated Techniques for content adaptive video frame slicing and non-uniform access unit coding
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
DE102007049351A1 (de) 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US20120314767A1 (en) 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
CA2839274A1 (en) 2011-06-30 2013-01-03 Vidyo, Inc. Motion prediction in scalable video coding
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
EP2810443B1 (en) 2012-02-01 2021-03-31 Nokia Technologies Oy Method and apparatus for video coding

Also Published As

Publication number Publication date
KR101861906B1 (ko) 2018-05-28
TWI535273B (zh) 2016-05-21
JP6430394B2 (ja) 2018-11-28
KR20150096421A (ko) 2015-08-24
CN104919797A (zh) 2015-09-16
US9648319B2 (en) 2017-05-09
WO2014093079A1 (en) 2014-06-19
EP2932718B1 (en) 2018-11-28
JP2016503982A (ja) 2016-02-08
CN104919797B (zh) 2018-08-24
ECSP15029651A (es) 2016-01-29
EP2932718A1 (en) 2015-10-21
MA38178B1 (fr) 2017-10-31
AP2015008516A0 (en) 2015-06-30
SA515360542B1 (ar) 2017-11-27
ES2711954T3 (es) 2019-05-08
HUE042712T2 (hu) 2019-07-29
US20140161179A1 (en) 2014-06-12
MA38178A1 (fr) 2016-05-31

Similar Documents

Publication Publication Date Title
KR102140361B1 (ko) 멀티 계층 코딩에서의 컨포먼스 윈도우 정보
US9560358B2 (en) Device and method for scalable coding of video information
TWI532369B (zh) 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
KR102314587B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
US9584808B2 (en) Device and method for scalable coding of video information
JP6513684B2 (ja) マルチレイヤビデオコーディングにおける異なるコーデックのベースレイヤのサポート
TWI504239B (zh) 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣
JP2017502610A (ja) Ｈｅｖｃマルチレイヤ拡張における非ｈｅｖｃベースレイヤのサポート
US20150016502A1 (en) Device and method for scalable coding of video information
US20150016500A1 (en) Device and method for scalable coding of video information
JP2016518771A (ja) 映像情報のスケーラブルコーディングのためのデバイス及び方法
US10194146B2 (en) Device and method for scalable coding of video information
JP2018511238A (ja) 高速レートひずみ最適量子化