TWI504239B - 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣 - Google Patents

針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣 Download PDF

Info

Publication number
TWI504239B
TWI504239B TW102136090A TW102136090A TWI504239B TW I504239 B TWI504239 B TW I504239B TW 102136090 A TW102136090 A TW 102136090A TW 102136090 A TW102136090 A TW 102136090A TW I504239 B TWI504239 B TW I504239B
Authority
TW
Taiwan
Prior art keywords
layer
block
inter
image
video
Prior art date
Application number
TW102136090A
Other languages
English (en)
Other versions
TW201424398A (zh
Inventor
Ying Chen
Vadim Seregin
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201424398A publication Critical patent/TW201424398A/zh
Application granted granted Critical
Publication of TWI504239B publication Critical patent/TWI504239B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Description

針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣
本發明係關於視訊寫碼及壓縮、基於高效率視訊寫碼(HEVC)之可縮放寫碼及基於HEVC之多視圖與3DV寫碼的領域。
數位視訊能力可併入至廣泛範圍的器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件，數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及類似者。數位視訊器件實施視訊壓縮技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階式視訊寫碼(AVC)第10部分、目前在開發中之高效率視訊寫碼(HEVC)標準定義之標準及此類標準之擴展中描述的技術。該等視訊器件可藉由實施此等視訊寫碼技術，更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框、視訊圖框之一部分等)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。可使用相關於一圖像中之相鄰區塊中之參考樣本的空間預測來編碼同一圖像之經框內 寫碼(I)圖塊中的視訊區塊。圖像之經框間編碼(P或B)圖塊中之視訊區塊可使用相關於同一圖像中之相鄰區塊中之參考樣本的空間預測或相關於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致用於區塊之預測性區塊經寫碼。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘變換係數，可接著量化殘餘變換係數。可掃描最初按二維陣列排列之經量化變換係數以便產生變換係數之一維向量，且可應用熵編碼以達成甚至更多壓縮。
可縮放視訊寫碼(SVC)指使用有時被稱作參考層(RL)之基層(BL)及一或多個可縮放增強層(EL)的視訊寫碼。對於SVC，基層可載運具有基本品質等級之視訊資料。該一或多個增強層可載運額外視訊資料以支援較高空間、時間及/或信號對雜訊SNR位準。可相對於先前編碼之層定義增強層。
舉例而言，底層可充當BL，而頂層可充當EL。中間層可充當EL或RL，或兩者。舉例而言，在中間的層可為針對在其下之層(諸如，基層或任何介入增強層)的EL，且同時充當針對在其上之一或多個增強層的RL。
在HEVC擴展中，增強層中之當前區塊可使用基層中之對應的區塊來預測。舉例而言，當前區塊之語法元素、運動資訊(例如，運動向量)或模式資訊(例如，框內模式)可基於基層中之對應的區塊。舉例而言，基層中之圖像的運動向量可用以預測該當前區塊之運動向量。
然而，基層與增強層可具有不同解析度。當該等兩個層具有不同空間解析度時，可不易於由HEVC寫碼單元級設計存取一些資訊(例如，基層之運動場)。藉由在兩個層具有不同空間解析度時促進可縮放視訊寫碼中之層間運動預測，本發明中描述之技術可在不顯著修改HEVC之區塊級模組的情況下改良寫碼效率。
本發明之系統、方法及器件各自具有若干創新態樣，該等態樣中無任何單一態樣單獨地負責本文中所揭示的合乎需要之屬性。
在一實施例中，一種經組態以寫碼視訊資訊之裝置包括一記憶體單元及與該記憶體單元通信之一處理器。該記憶體單元經組態以儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度。該視訊資訊包括與該第一層相關聯之至少運動場資訊。該處理器經組態以升頻取樣與該第一層相關聯之該運動場資訊。該處理器進一步將包括與該第一層之一經升頻取樣之紋理圖像相關聯的該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單。該處理器可進一步經組態以基於該層間參考圖像之該經升頻取樣之運動場資訊預測該第二層的至少一部分。在一實施例中，視訊編碼器或解碼器可將該層間參考圖像之一部分用作待用於時間運動向量預測(TMVP)的一同置型圖像。在一實施例中，該運動場資訊之該升頻取樣可包含將一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式及一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
在一實施例中，分開來針對該第一層之該層間參考圖像中的每一4×4區塊執行該運動場升頻取樣，且導出多達兩個向量，每一向量與一參考索引相關聯。在另一實施例中，分開來針對該第一層之該層間參考圖像中的每一16×16區塊執行該運動場升頻取樣，且結合升頻 取樣該運動場資訊而導出多達兩個運動向量，每一向量與一參考指標相關聯。
在一實施例中，對於該第二層中之每一N×N區塊，將該N×N區塊之一中心位置映射至對應於該第一層中之一N×N區塊的一唯一位置，且自與該第一層中之該N×N區塊相關聯的該經升頻取樣之運動場資訊導出該第二層中之該N×N區塊的運動場資訊。在一實施例中，N可為至少16。在一實施例中，該第二層中之每一N×N區塊具有在該層間參考圖像中之一特定同置型N×N區塊，且該特定N×N區塊具有在該第一層中之一同置型區塊，自其針對該特定N×N區塊升頻取樣該運動場資訊。在一實施例中，已基於HEVC運動壓縮而壓縮該第一層之該運動場資訊。在一實施例中，首先在該第二層中決定具有一中心位置之像素樣本(例如，針對該增強層中之該當前區塊)，且接著將其映射至該第一層中之對應的位置(例如，層間、視圖間或參考圖像)。在另一實施例中，首先針對該第一層中之對應的區塊決定具有一中心位置的像素樣本，且接著將其映射至該第二層。
在一實施例中，藉由等於該第二空間解析度之於該第一空間解析度之比率的比率對該第一層之所有N×N區塊升頻取樣。在該運動場資訊經升頻取樣且與含有該經升頻取樣區塊之虛擬圖像相關聯之後，該第二層(例如，增強層)中的每一N×N區塊之中心位置直接用以將該區塊映射至該虛擬圖像中之對應的區塊。含有該中心位置之該對應的經升頻取樣區塊之運動資訊之全集合再用於該第二層中的該N×N區塊。在另一實施例中，該第二層中的該N×N區塊之任何位置(例如，角落)用以將該區塊映射至該基層圖像或該經升頻取樣圖像。在一實施例中，當一N×N區塊與該第一層中的多個經升頻取樣區塊對準時，可進一步應用參考索引選擇及運動向量選擇。
在一實施例中，若一第一層區塊之初始預測模式為框內，則在 該第一層之升頻取樣之後，針對該第一層區塊保持該框內模式，且並不針對框內區塊升頻取樣運動場。在另一實施例中，不管該初始第一層預測模式，在升頻取樣之後，將框間預測模式連同該升頻取樣運動場資訊指派至每一區塊。在另一實施例中，在將運動場資訊及預測模式資訊指派至一經升頻取樣區塊過程中考慮相鄰區塊之預測模式。舉例而言，在一實施例中，即使該第一層中之一特定區塊為框內區塊，若該特定區塊之大部分相鄰區塊具有框間預測模式，則亦針對該特定區塊指派框間預測模式。
在另一實施例中，一種編碼視訊資訊之方法包括：接收與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；升頻取樣與該第一層相關聯之該運動場資訊；及在一位元流中發信與該第二層相聯之至少一語法元素。該方法可進一步包括：將包括與該第一層之一經升頻取樣之紋理圖像相關聯的該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單。該方法亦可包括基於該層間參考圖像之該經升頻取樣之運動場資訊預測該第二層的至少一部分。
在另一實施例中，一種解碼視訊資訊之方法包括：接收自一經編碼視訊位元流提取之語法元素，其中該等語法元素包含與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；及升頻取樣與該第一層相關聯之該運動場資訊。該方法可進一步包括：添加包括與該第一層之一經升頻取樣之紋理圖像相關聯的該經升頻取樣之運動場資訊之一層間參考圖像。該方法亦可包括基於該層間參考圖像之該經升頻取樣之運動場資訊預測該第二層的至少一部分。
在另一實施例中，一種非暫時性電腦可讀媒體包括程式碼，其當執行時，使一裝置：儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；及升頻取樣與該第一層相關聯之該運動場資訊。可進一步使該裝置將包括與該第一層之一經升頻取樣之紋理圖像相關聯的該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單。可進一步使該裝置基於該層間參考圖像之該經升頻取樣之運動場資訊預測該第二層的至少一部分。
在另一實施例中，一種經組態以寫碼視訊資訊之視訊寫碼器件包括：用於儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊之構件，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；及用於升頻取樣與該第一層相聯之該運動場資訊之構件。該器件可進一步包含用於將包括與該第一層之一經升頻取樣之紋理圖像相關聯的該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單之構件。該器件可進一步包含用於基於該層間參考圖像之該經升頻取樣之運動場資訊預測該第二層的至少一部分之構件。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測模組
102‧‧‧殘餘產生模組
104‧‧‧變換模組
106‧‧‧量化模組
108‧‧‧反量化模組
110‧‧‧反變換模組
112‧‧‧重建構模組
113‧‧‧濾波器模組
114‧‧‧經解碼圖像緩衝器
116‧‧‧熵編碼模組
121‧‧‧框間預測模組
122‧‧‧運動估計模組
124‧‧‧運動補償模組
126‧‧‧框內預測模組
130‧‧‧升頻取樣模組
150‧‧‧熵解碼模組
152‧‧‧預測模組
154‧‧‧反量化模組
156‧‧‧反變換模組
158‧‧‧重建構模組
159‧‧‧濾波器模組
16O‧‧‧經解碼圖像緩衝器
162‧‧‧運動補償模組
164‧‧‧框內預測模組
170‧‧‧升頻取樣模組
400‧‧‧圖
401、402、403‧‧‧存取單元
411、412、413‧‧‧視圖
421、422、423‧‧‧經寫碼圖像
500‧‧‧圖
501、502、503‧‧‧存取單元
511、512、513‧‧‧視圖
521、522、523、524‧‧‧經寫碼圖像
531、532‧‧‧箭頭
600‧‧‧圖
601‧‧‧前一圖像群組(GOP)
602‧‧‧當前GOP
603‧‧‧下一GOP
611、612‧‧‧圖像
621、622、623、624、625、626、627‧‧‧圖像
628‧‧‧圖像
631、632‧‧‧圖像
641、642‧‧‧箭頭
700‧‧‧圖
701、702‧‧‧圖像
703‧‧‧當前圖像
704、705‧‧‧圖像
706‧‧‧基本視圖/基層圖像
710‧‧‧當前視圖/層
720‧‧‧參考視圖/層/基本視圖/基層
800‧‧‧圖
802‧‧‧經升頻取樣之基層圖像
804‧‧‧經升頻取樣區塊
806‧‧‧當前層
808‧‧‧區塊
810‧‧‧區塊
900‧‧‧用於寫碼視訊資訊之實例方法
圖1為說明可利用根據本發明中描述之態樣之技術的視訊編碼及解碼系統之一實例之方塊圖。
圖2為說明可實施根據本發明中描述之態樣之技術的視訊編碼器之一實例之方塊圖。
圖3為說明可實施根據本發明中描述之態樣之技術的視訊解碼器之一實例之方塊圖。
圖4為說明時間優先寫碼之樣本圖。
圖5為說明多視圖視訊寫碼(MVC)時間及視圖間預測結構之樣本圖。
圖6為說明清潔隨機存取(CRA)圖像及前置圖像之樣本圖。
圖7為使用HEVC設計的視圖/層間運動預測之一實例。
圖8為說明運動場升頻取樣之一實例。
圖9為說明用於寫碼視訊資訊之方法之流程圖。
本文中所描述之某些實施例係關於進階視訊編解碼器之情況下的用於可縮放視訊寫碼之層間預測，諸如，HEVC(高效率視訊寫碼)。更特定言之，本發明係關於用於HEVC之可縮放視訊寫碼(SVC)擴展中的層間預測之改良之效能的系統及方法。在以下描述中，描述與某些實施例有關之H.264/AVC技術；亦論述HEVC標準及有關技術。雖然本文中在HEVC及/或H.264標準之上下文中描述某些實施例，但一般熟習此項技術者可瞭解，本文中所揭示之系統及方法可適用於任一合適的視訊寫碼標準。舉例而言，本文中所揭示之實施例可適用於下列標準中的一者或多者：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual，及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
僅出於說明之目的，用包括僅僅兩個層(例如，諸如基層之較低級層，及諸如增強層之較高級層)的實例描述本文中所揭示之某些實施例。應理解，此等實例可適用於包括多個基層及/或增強層的組態。另外，為易於解釋，以下揭示內容參照某些實施例包括術語「圖框」或「區塊」。然而，此等術語並不意謂為限制性的。舉例而言，下文描述之技術可供任何合適的視訊單元使用，諸如，區塊(例如， CU、PU、TU、巨集區塊等)、圖塊、圖框等。
HEVC在許多態樣中大體遵循先前視訊寫碼標準之構架。HEVC中的預測之單元與某些先前視訊寫碼標準中的預測之單元不同(例如，巨集區塊)。實際上，巨集區塊之概念並非如某些先前視訊寫碼標準中所理解的存在於HEVC中。巨集區塊由階層式結構基於四分樹方案替換，此可除其他可能益處之外提供高可撓性。舉例而言，在HEVC方案內，定義了三種類型區塊，亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU)。CU可指區域分裂之基本單元。CU可視為類似於巨集區塊之概念，但其並不限制最大大小，且可允許遞歸分裂成四個相等大小的CU，以改良內容自適應性。PU可視為框間/框內預測之基本單元，且其可在單一PU中含有多個任意形狀分割區，以有效地寫碼不規則影像圖案。TU可視為變換之基本單元。其可獨立於PU進行定義；然而，其大小可限於TU所屬之CU。區塊結構至三個不同概念之此分離可允許每一者根據其角色而最佳化，此可導致改良之寫碼效率。
視訊寫碼標準
諸如視訊影像、TV影像、靜態影像或由視訊記錄器或電腦產生的影像之數位影像可由排列成水平線及垂直線的像素構成。單一影像中的像素之數目通常上萬個。每一像素通常含有亮度及色度資訊。在無壓縮之情況下，待自影像編碼器傳達至影像解碼器之資訊的數量如此巨大，使得其致使即時影像傳輸不可能。為減少待傳輸之資訊的量，已開發許多不同壓縮方法，諸如，JPEG、MPEG及H.263標準。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展，其皆被以引用的方 式全部併入。
另外，新視訊寫碼標準，(即，高效率視訊寫碼(HEVC))正由ITU-T視訊寫碼專業團體(VCEG)與ISO/IEC動畫專業團體(MPEG)的關於視訊寫碼之聯合協作小組(JCT-VC)開發。HEVC之最近草案可自2013年8月9日起自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得，該草案被以引用的方式全部併入。HEVC草案10之完全引用為ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合協作小組(JCT-VC)於2013年1月14日至2013年1月23日在瑞士日內瓦召開之第12次會議上Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 10」的文件JCTVC-L1003。
在下文中參考隨附圖式更全面地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以各種不同形式體現，且不應解釋為限於本發明通篇呈現之任一特定結構或功能。相反地，此等態樣經提供使得本發明將透徹且完整，並將向熟習此項技術者充分傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋本文中所揭示之新穎系統、裝置及方法的任何態樣，不管是獨立於本發明之任何其他態樣實施或是結合本發明之任何其他態樣實施。舉例而言，可使用本文中闡明之任何數目個態樣實施裝置或實踐方法。另外，本發明之範疇意欲涵蓋使用其他結構、功能性或除本文中闡明之本發明之各種態樣外或不同於本文中闡明之本發明之各種態樣的結構及功能性實踐之此裝置或方法。應理解，本文中所揭示之任何態樣可藉由申請專利範圍之一或多個要素實施。
儘管本文中描述了特定態樣，但此等態樣之許多變化及置換屬於本發明之範疇內。儘管提及較佳態樣之一些益處及優點，但本發明之範疇並不意欲限於特定益處、用途或目標。相反地，本發明之態樣 意欲廣泛地適用於不同無線技術、系統組態、網路及傳輸協定，其中一些借助於實例而於諸圖中及較佳態樣之以下描述中進行說明。實施方式及圖式僅說明本發明，而非限制性的，本發明之範疇由所附申請專利範圍及其等效物界定。
附圖說明實例。附圖中藉由參考數字指示之元件對應於以下描述中由相同參考數字指示之元件。
視訊寫碼系統
圖1為說明可利用根據本發明中描述之態樣之技術的一實例視訊寫碼系統10之方塊圖。如本文中所描述的而使用之術語「視訊寫碼器」一般指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般指視訊編碼及視訊解碼。
如圖1中所示，視訊寫碼系統10包括一源器件12及一目的地器件14。源器件12產生經編碼視訊資料。目的地器件14可解碼藉由源器件12產生的經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、筆記型電腦(例如，膝上型電腦等)、平板電腦、機上盒、諸如所謂的「智慧型」手機之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、車內電腦或類似者。在一些實例中，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一實例中，頻道16可包含使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。在此實例中，源器件12可根據一通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。通信媒體可包含無線或有線通信媒體(諸如，射頻(RF)頻譜)或一或多個實體 傳輸線。通信媒體可形成諸如區域網路之基於封包的網路、廣域網路或諸如網際網路之全球網路的部分。通信媒體可包括促進自源器件12至目的地器件14之通信的路由器、交換器、基地台或其他設備。
在另一實例中，頻道16可對應於儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可經由磁碟存取或卡存取來存取儲存媒體。該儲存媒體可包括多種本端存取之資料儲存媒體，諸如，Blu-ray光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。在再一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14之一類伺服器。實例檔案伺服器包括網站伺服器(例如，用於網站等)、FTP伺服器、網路附接式儲存(NAS)器件及本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接等)、有線連接(例如，DSL、電纜數據機等)或兩者之組合。來自檔案伺服器的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)(例如，經由HTTP之動態自適應性串流(DASH)等)、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸，以支援諸如視訊串流、視訊播放、視訊廣 播及/或視訊電話之應用。
在圖1之實例中，源器件12包括一視訊源18、視訊編碼器20及一輸出介面22。在某些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括一來源，諸如，視訊俘獲器件(例如，視訊攝影機)、含有先前俘獲之視訊資料之視訊存檔、自視訊內容提供者接收視訊資料之視訊饋入介面及/或用於產生視訊資料之電腦圖形系統或此等來源之組合。
視訊編碼器20可經組態以編碼已俘獲的、預俘獲的或電腦產生的視訊資料。經編碼視訊資料可經由源器件12之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可儲存於儲存媒體或檔案伺服器上，以供稍後由目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括一輸入介面28、一視訊解碼器30及一顯示器件32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由頻道16接收經編碼視訊資料。該經編碼視訊資料可包括由視訊編碼器20產生的表示視訊資料之多種語法元素。該等語法元素可描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上的經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合或可在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦可經組態以與外部顯示器件介面連接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32將經解碼視訊資料對使用者顯示。顯示器件32可包含多種顯示器件中的任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準操作，諸如，目前在開發中之高效率視訊寫碼(HEVC)標準，且可符合HEVC測試模型(HM)。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準操作，諸如，ITU-T H.264標準(替代地被稱作MPEG-4，進階式視訊寫碼(AVC)第10部分)，或此等標準之擴展。然而，本發明之技術不限於任一特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管未展示於圖1之實例中，但視訊編碼器20及視訊解碼器30可各與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元，或其他硬體及軟體，以在共用資料流或單獨資料流中處置音訊及視訊兩者之編碼。若可適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。
再次，圖1僅為一實例，且本發明之技術可應用於未必包括編碼與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料可自本端記憶體擷取，經由網路串流，或類似者。編碼器件可編碼資料且將其儲存至記憶體，及/或解碼器件可自記憶體擷取資料且解碼資料。在許多實例中，編碼及解碼由彼此並不通信而僅將資料編碼至記憶體及/或自記憶體擷取資料且解碼資料之器件執行。
視訊編碼器20及視訊解碼器30中之每一者可實施為多種合適電路中的任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。當該技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可使用一或多個處理器在硬體中執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任 一者可整合為各別器件中的組合式編碼器/解碼器(編解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
如上文簡要提及，視訊編碼器20編碼視訊資料。視訊資料可包含一或多個圖像。該等圖像中之每一者為形成視訊之部分的靜態影像。在一些情況下，圖像可被稱作視訊「圖框」。當視訊編碼器20編碼視訊資料時，視訊編碼器20可產生位元流。該位元流可包括形成視訊資料之經寫碼表示的一連串位元。位元流可包括經寫碼圖像及相關聯之資料。經寫碼圖像為圖像之經寫碼表示。
為產生位元流，視訊編碼器20可對視訊資料中之每一圖像執行編碼操作。當視訊編碼器20對該等圖像執行編碼操作時，視訊編碼器20可產生一系列經寫碼圖像及相關聯之資料。該相關聯之資料可包括序列參數集合、圖像參數集合、調適參數集合及其他語法結構。序列參數集合(SPS)可含有適用於零或多個圖像序列之參數。圖像參數集合(PPS)可含有適用於零或多個圖像之參數。調適參數集合(APS)可含有適用於零或多個圖像之參數。APS中之參數可為比PPS中之參數更可能改變的參數。
為產生經寫碼圖像，視訊編碼器20可將圖像分割成相等大小之視訊區塊。視訊區塊可為二維樣本陣列。視訊區塊中之每一者與一樹型區塊相關聯。在一些情況下，樹型區塊可被稱作最大寫碼單元(LCU)。HEVC之樹型區塊可廣泛類似於先前標準(諸如，H.264/AVC)之巨集區塊。然而，樹型區塊不必限於特定大小且可包括一或多個寫碼單元(CU)。視訊編碼器20可使用四分樹分割，以將樹型區塊之視訊區塊分割成與CU相關聯的視訊區塊，因此名稱為「樹型區塊」。
在一些實例中，視訊編碼器20可將圖像分割成複數個圖塊。該等圖塊中之每一者可包括整數數目個CU。在一些情況下，圖塊包含 整數數目個樹型區塊。在其他情況中，圖塊之邊界可在樹型區塊內。
作為對圖像執行編碼操作之部分，視訊編碼器20可對該圖像之每一圖塊執行編碼操作。當視訊編碼器20對圖塊執行編碼操作時，視訊編碼器20可產生與該圖塊相關聯之經編碼資料。與該圖塊相關聯之經編碼資料可被稱作「經寫碼圖塊」。
為了產生經寫碼圖塊，視訊編碼器20可對圖塊中之每一樹型區塊執行編碼操作。當視訊編碼器20對樹型區塊執行編碼操作時，視訊編碼器20可產生經寫碼樹型區塊。該經寫碼樹型區塊可包含表示該樹型區塊之經編碼型式的資料。
當視訊編碼器20產生經寫碼圖塊時，視訊編碼器20可根據光柵掃描次序對該圖塊中之樹型區塊執行編碼操作(亦即，編碼)。換言之，視訊編碼器20可以在該圖塊中之最高列樹型區塊上自左至右前進、接著在下一較低列樹型區塊自左至右前進等等直至視訊編碼器20已編碼該圖塊之該等樹型區塊中的每一者之次序編碼該圖塊之該等樹型區塊。
作為根據光柵掃描次序編碼樹型區塊之結果，可已編碼給定樹型區塊之上方及左側的樹型區塊，但尚未編碼給定樹型區塊之下方及右側的樹型區塊。因此，視訊編碼器20可能能夠在編碼該給定樹型區塊時存取藉由編碼給定樹型區塊上方及左側之樹型區塊而產生的資訊。然而，視訊編碼器20可能不能夠在編碼該給定樹型區塊時存取藉由編碼該給定樹型區塊下方及右側之樹型區塊而產生的資訊。
為了產生經寫碼樹型區塊，視訊編碼器20可對樹型區塊之視訊區塊遞歸地執行四分樹分割，以將視訊區塊分成逐漸更小的視訊區塊。該等較小視訊區塊中之每一者可與不同CU相關。舉例而言，視訊編碼器20可將樹型區塊之視訊區塊分割成四個相等大小之子區塊，將該等子區塊中之一或多者分割成四個相等大小之子子區塊等等。經 分割之CU可為視訊區塊被分割成與其他CU相關聯之視訊區塊的CU。未分割之CU可為視訊區塊未被分割成與其他CU相關聯之視訊區塊的CU。
位元流中之一或多個語法元素可指示視訊編碼器20可分割樹型區塊之視訊區塊的最大次數。CU之視訊區塊可在形狀上為正方形。CU之視訊區塊的大小(亦即，CU之大小)可範圍自8×8個像素直至具有最多64×64個像素或更多的樹型區塊之視訊區塊的大小(亦即，樹型區塊的大小)。
視訊編碼器20可根據z型掃描次序對樹型區塊之每一CU執行編碼操作(亦即，編碼)。換言之，視訊編碼器20可將左上CU、右上CU、左下CU且接著右下CU按彼次序編碼。當視訊編碼器20對經分割之CU執行編碼操作時，視訊編碼器20可根據z型掃描次序編碼與經分割之CU之視訊區塊之子區塊相關聯的CU。換言之，視訊編碼器20可將與左上子區塊相關聯之CU、與右上子區塊相關聯之CU、與左下子區塊相關聯之CU且接著與右下子區塊相關聯之CU按彼次序編碼。
作為根據z型掃描次序編碼樹型區塊之CU的結果，可已編碼給定CU之上方、左上方、右上方、左側及左下方的CU。尚未編碼給定CU之右下方的CU。因此，視訊編碼器20可能能夠在編碼給定CU時存取藉由編碼鄰接給定CU之一些CU而產生的資訊。然而，視訊編碼器20可能不能夠在編碼給定CU時存取藉由編碼鄰接給定CU之其他CU而產生的資訊。
當視訊編碼器20編碼未分割之CU時，視訊編碼器20可產生針對CU之一或多個預測單元(PU)。CU之PU中的每一者可與CU之視訊區塊內的不同視訊區塊相關聯。視訊編碼器20可產生針對CU之每一PU的預測之視訊區塊。PU之預測之視訊區塊可為樣本之區塊。視訊編碼器20可使用框內預測或框間預測產生針對PU的預測之視訊區塊。
當視訊編碼器20使用框內預測產生PU之預測之視訊區塊時，視訊編碼器20可基於與該PU相關聯的圖像之經解碼樣本產生該PU的預測之視訊區塊。若視訊編碼器20使用框內預測產生CU之PU的預測之視訊區塊，則該CU為經框內預測之CU。當視訊編碼器20使用框間預測產生PU之預測之視訊區塊時，視訊編碼器20可基於除與該PU相關聯之圖像之外的一或多個圖像之經解碼樣本產生該PU的預測之視訊區塊。若視訊編碼器20使用框間預測產生CU之PU的預測之視訊區塊，則該CU為經框間預測之CU。
此外，當視訊編碼器20使用框間預測產生針對PU之預測之視訊區塊時，視訊編碼器20可產生用於該PU之運動資訊。用於該PU之運動資訊可指示該PU之一或多個參考區塊。該PU之每一參考區塊可為參考圖像內之視訊區塊。該參考圖像可為除與該PU相關聯之圖像之外的圖像。在一些情況下，PU之參考區塊亦可被稱作PU之「參考樣本」。視訊編碼器20可基於該PU之參考區塊而產生針對該PU的預測之視訊區塊。
在視訊編碼器20產生針對CU之一或多個PU的預測之視訊區塊之後，視訊編碼器20可基於針對該CU之該等PU的該預測之視訊區塊產生用於該CU之殘餘資料。用於該CU之該殘餘資料可指示針對該CU之該等PU的該預測之視訊區塊與該CU之原始視訊區塊之間的差異。
此外，作為對未分割之CU執行編碼操作的部分，視訊編碼器20可對該CU之殘餘資料執行遞歸四分樹分割，以將該CU之殘餘資料分割成與該CU之變換單元(TU)相關聯的殘餘資料之一或多個區塊(亦即，殘餘視訊區塊)。CU之每一TU可與一不同殘餘視訊區塊相關聯。
視訊編碼器20可將一或多個變換應用至與TU相關聯之殘餘視訊區塊，以產生與TU相關聯之變換係數區塊(亦即，變換係數之區塊)。概念上，變換係數區塊可為變換係數之二維(2D)矩陣。
在產生變換係數區塊之後，視訊編碼器20可對變換係數區塊執行量化過程。量化大體上指將變換係數量化以可能地減少用以表示變換係數之資料的量從而提供進一步壓縮之過程。量化過程可減小與變換係數中之一些或全部相關聯的位元深度。舉例而言，n 位元變換係數可在量化期間向下捨入至m 位元變換係數，其中n 大於m 。
視訊編碼器20可將每一CU與量化參數(QP)值相關聯。與CU相關之QP值可判定視訊編碼器20如何量化與CU相關聯之變換係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用於與CU相關之變換係數區塊的量化之程度。
在視訊編碼器20量化變換係數區塊之後，視訊編碼器20可產生表示經量化變換係數區塊中之變換係數的語法元素之集合。視訊編碼器20可將熵編碼操作(諸如，上下文自適應性二.進位算術寫碼(CABAC)操作)應用於此等語法元素中之一些。亦可使用諸如內容自適應性可變長度寫碼(CAVLC)、機率區間分割熵(PIPE)寫碼或其他二進位算術寫碼之其他熵寫碼技術。
由視訊編碼器20產生之位元流可包括一系列網路抽象層(NAL)單元。NAL單元中之每一者可為含有NAL單元中之資料類型之指示的語法結構及含有該資料之位元組。舉例而言，NAL單元可含有表示序列參數集合、圖像參數集合、經寫碼圖塊、補充增強資訊(SEI)、存取單元分隔符號、填料資料或另一類型之資料的資料。NAL單元中之資料可包括各種語法結構。
視訊解碼器30可接收由視訊編碼器20產生之位元流。該位元流可包括由視訊編碼器20編碼之視訊資料的經寫碼表示。當視訊解碼器30接收該位元流時，視訊解碼器30可對該位元流執行剖析操作。當視訊解碼器30執行剖析操作時，視訊解碼器30可自該位元流提取語法元素。視訊解碼器30可基於自該位元流提取之語法元素重建構視訊資料 之圖像。基於該等語法元素重建構視訊資料之過程可大體與由視訊編碼器20執行以產生語法元素之過程互逆。
在視訊解碼器30提取與CU相關聯之語法元素之後，視訊解碼器30可基於該等語法元素產生針對CU之PU的預測之視訊區塊。另外，視訊解碼器30可反量化與CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換以重建構與CU之TU相關聯的殘餘視訊區塊。在產生預測之視訊區塊且重建構殘餘視訊區塊之後，視訊解碼器30可基於預測之視訊區塊及殘餘視訊區塊重建構CU之視訊區塊。以此方式，視訊解碼器30可基於位元流中之語法元素重建構CU之視訊區塊。
視訊編碼器
圖2為說明可實施根據本發明中描述之態樣之技術的視訊編碼器之一實例之方塊圖。視訊編碼器20可經組態以執行本發明之技術中的任何者或全部。作為一實例，框間預測模組121及升頻取樣模組130可經組態以執行本發明中描述之技術中的任何者或全部。然而，本發明之態樣不受如此限制。在一些實例中，本發明中描述之技術可在視訊編碼器20之各種組件間共用。在一些實例中，另外或代替地，一處理器(未圖示)可經組態以執行本發明中描述之技術中的任何者或全部。
出於解釋之目的，本發明描述在HEVC寫碼之情況下的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20可執行視訊圖塊內之視訊區塊的框內及框間寫碼。框內寫碼依賴於空間預測來減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測來減少或移除視訊序列之鄰近圖框或圖像內的視訊中之時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中的任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之寫碼模式中的任一者。
在圖2之實例中，視訊編碼器20包括複數個功能組件。視訊編碼器20之功能組件包括一預測模組100、一殘餘產生模組102、一變換模組104、一量化模組106、一反量化模組108、一反變換模組110、一重建構模組112、一濾波器模組113、一經解碼圖像緩衝器114及一熵編碼模組116。預測模組100包括一框間預測模組121、運動估計模組122、一運動補償模組124、一框內預測模組126及一升頻取樣模組130。在其他實例中，視訊編碼器20可包括更多、更少或不同的功能組件。此外，運動估計模組122及運動補償模組124可高度整合，但出於解釋之目的而分開來表示於圖2之實例中。
視訊編碼器20可接收視訊資料。視訊編碼器20可自各種源接收視訊資料。舉例而言，視訊編碼器20可自視訊源18(圖1)或另一來源接收視訊資料。視訊資料可表示一系列圖像。為編碼該視訊資料，視訊編碼器20可對該等圖像中之每一者執行編碼操作。作為對圖像執行編碼操作的部分，視訊編碼器20可對圖像之每一圖塊執行編碼操作。作為對圖塊執行編碼操作之部分，視訊編碼器20可對圖塊中之樹型區塊執行編碼操作。
作為對樹型區塊執行編碼操作之部分，預測模組100可對樹型區塊之視訊區塊執行四分樹分割，以將視訊區塊分成逐漸更小之視訊區塊。該等較小視訊區塊中之每一者可與不同CU相關聯。舉例而言，預測模組100可將樹型區塊之視訊區塊分割成四個相等大小的子區塊，將該等子區塊中之一或多者分割成四個相等大小的子子區塊等等。
與CU相關聯之視訊區塊的大小可範圍自8×8個樣本直至具有最多64×64個樣本或更多之樹型區塊的大小。在本發明中，「N×N」與「N乘N」可互換使用，以指視訊區塊就垂直及水平尺寸而言之樣本尺寸，例如，16×16個樣本或16乘16個樣本。一般而言，16×16個視訊區 塊在垂直方向上具有十六個樣本(y=16)，且在水平方向上具有十六個樣本(x=16)。同樣的，N×N區塊大體在垂直方向上具有N個樣本，且在水平方向上具有N個樣本，其中N表示非負整數值。
此外，作為對樹型區塊執行編碼操作之部分，預測模組100可產生針對樹型區塊之階層式四分樹資料結構。舉例而言，樹型區塊可對應於四分樹資料結構之根節點。若預測模組100將樹型區塊之視訊區塊分割成四個子區塊，則根節點具有四分樹資料結構中之四個子節點。該等子節點中之每一者對應於與子區塊中之一者相關聯的CU。若預測模組100將該等子區塊中之一者分割成四個子子區塊，則對應於與該子區塊相關聯之CU的節點可具有四個子節點，該等子節點中之每一者對應於與該等子子區塊中之一者相關聯的CU。
四分樹資料結構之每一節點可含有用於對應的樹型區塊或CU之語法資料(例如，語法元素)。舉例而言，四分樹中之節點可包括分裂旗標，其指示對應於該節點之CU的視訊區塊是否經分割(亦即，分裂)成四個子區塊。用於CU之語法元素可遞歸地定義，且可取決於CU之視訊區塊是否被分裂成子區塊。其視訊區塊未分割的CU可對應於四分樹資料結構中之葉節點。經寫碼樹型區塊可包括用於對應的樹型區塊的基於四分樹資料結構之資料。
視訊編碼器20可對樹型區塊之每一未分割之CU執行編碼操作。當視訊編碼器20對未分割之CU執行編碼操作時，視訊編碼器20產生表示該未分割之CU之經編碼表示的資料。
作為對CU執行編碼操作之部分，預測模組100可在CU之一或多個PU間分割CU之視訊區塊。視訊編碼器20及視訊解碼器30可支援各種PU大小。假定一特定CU之大小為2N×2N，視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小，及在2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或類似者之對稱PU大小中的框間預 測。視訊編碼器20及視訊解碼器30亦可支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。在一些實例中，預測模組100可執行幾何分割，以按直角沿著不與CU之視訊區塊之邊會合的邊界在CU之PU間分割CU之視訊區塊。
框間預測模組121可對CU之每一PU執行框間預測。框間預測可提供時間壓縮。為對PU執行框間預測，運動估計模組122可產生用於PU之運動資訊。運動補償模組124可基於除與CU相關聯之圖像外的圖像(亦即，參考圖像)之運動資訊及經解碼樣本產生用於PU之預測之視訊區塊。在本發明中，藉由運動補償模組124產生的預測之視訊區塊可被稱作經框間預測之視訊區塊。
圖塊可為I圖塊、P圖塊或B圖塊。運動估計模組122及運動補償模組124可視PU在I圖塊、P圖塊或是B圖塊中而針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則運動估計模組122及運動補償模組124並不對PU執行框間預測。
若PU位於P圖塊中，則含有該PU之圖像與被稱作「清單0」之一參考圖像清單相關聯。清單0中之參考圖像中的每一者含有可用於其他圖像之框間預測的樣本。當運動估計模組122關於P圖塊中之PU執行運動估計操作時，運動估計模組122可在清單0中之參考圖像中搜尋以找到用於PU之參考區塊。PU之參考區塊可為最緊密對應於PU之視訊區塊中之樣本的一組樣本(例如，樣本之區塊)。運動估計模組122可使用多種量度判定參考圖像中之一組樣本對應於PU之視訊區塊中的樣本之緊密程度。舉例而言，運動估計模組122可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定參考圖像中之一組樣本對應於PU之視訊區塊中的樣本之緊密程度。
在識別P圖塊中之PU的參考區塊之後，運動估計模組122可產生指示清單0中含有參考區塊之參考圖像之參考索引，及指示PU與參考 區塊之間的空間位移之運動向量。在各種實例中，運動估計模組122可以不同精確度程度產生運動向量。舉例而言，運動估計模組122可以四分之一樣本精確度、八分之一樣本精確度或其他分數樣本精確度產生運動向量。在分數樣本精確度之情況下，參考區塊值可自整數位置樣本值內插於參考圖像中。運動估計模組122可輸出參考索引及運動向量，作為PU之運動資訊。運動補償模組124可基於藉由PU之運動資訊識別的參考區塊而產生PU之預測之視訊區塊。
若PU在B圖塊中，則含有PU之圖像可與被稱作「清單0」及「清單1」之兩個參考圖像清單相關聯。在一些實例中，含有B圖塊之圖像可與為清單0與清單1之組合的清單組合相關聯。
此外，若PU位於B圖塊中，則運動估計模組122可針對PU執行單向預測或雙向預測。當運動估計模組122針對PU執行單向預測時，運動估計模組122可在清單0或清單1之參考圖像中搜尋以找到用於PU的參考區塊。運動估計模組122可接著產生指示清單0或清單1中含有參考區塊之參考圖像之參考索引，及指示PU與參考區塊之間的空間位移之運動向量。運動估計模組122可輸出參考索引、預測方向指示符及運動向量，作為PU之運動資訊。預測方向指示符可指示參考索引指示清單0或是清單1中之參考圖像。運動補償模組124可基於藉由PU之運動資訊指示的參考區塊產生PU之預測之視訊區塊。
當運動估計模組122針對PU執行雙向預測時，運動估計模組122可在清單0之參考圖像中搜尋以找到用於PU的參考區塊，且亦可在清單1之參考圖像中搜尋以找到用於PU之另一參考區塊。運動估計模組122可接著產生指示清單0及清單1中含有參考區塊之參考圖像之參考索引，及指示參考區塊與PU之間的空間位移之運動向量。運動估計模組122可輸出PU之參考索引及運動向量，作為PU之運動資訊。運動補償模組124可基於藉由PU之運動資訊指示的參考區塊產生PU之預測 之視訊區塊。
在一些情況下，運動估計模組122並不將用於PU之完全運動資訊集合輸出至熵編碼模組116。相反地，運動估計模組122可參考另一PU之運動資訊發信一PU之運動資訊。舉例而言，運動估計模組122可判定PU之運動資訊充分類似於相鄰PU之運動資訊。在此實例中，運動估計模組122可指示在與該PU相關之語法結構中的向視訊解碼器30指示該PU具有與相鄰PU相同的運動資訊之值。在另一實例中，運動估計模組122可識別在與該PU相關之語法結構中的相鄰PU及運動向量差(MVD)。運動向量差指示PU之運動向量與指示之相鄰PU之運動向量之間的差。視訊解碼器30可使用指示之相鄰PU之運動向量及運動向量差來判定PU之運動向量。藉由在發信第二PU之運動資訊時參考第一PU之運動資訊，視訊編碼器20可能能夠使用較少位元發信第二PU之運動資訊。
作為對CU執行編碼操作之部分，框內預測模組126可對CU之PU執行框內預測。框內預測可提供空間壓縮。當框內預測模組126對PU執行框內預測時，框內預測模組126可基於同一圖像中之其他PU的經解碼樣本而產生用於該PU之預測資料。用於該PU之預測資料可包括預測之視訊區塊及各種語法元素。框內預測模組126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測模組126可使用多個框內預測模式產生用於該PU之多組預測資料。當框內預測模組126使用框內預測模式產生用於該PU之一組預測資料時，框內預測模組126可在與框內預測模式相關聯之方向及/或梯度上跨該PU之視訊區塊自相鄰PU之視訊區塊延伸樣本。假定針對PU、CU及樹型區塊的自左至右、自上至下編碼次序，相鄰PU可在該PU之上方、右上方、左上方或左側。框內預測模組126可視PU之大小而定使用各種數目個框內預測模式，例 如，33個方向框內預測模式。
預測模組100可在由運動補償模組124產生的用於PU之預測資料或由框內預測模組126產生的用於PU之預測資料中間選擇用於PU之預測資料。在一些實例中，預測模組100基於該等組預測資料之速率/失真量度而選擇用於PU之預測資料。
若預測模組100選擇由框內預測模組126產生之預測資料，則預測模組100可發信用以產生用於PU之預測資料的框內預測模式，亦即，選定框內預測模式。預測模組100可以各種方式發信選定框內預測模式。舉例而言，選定框內預測模式可能與相鄰PU之框內預測模式相同。換言之，相鄰PU之框內預測模式可為針對當前PU最可能的模式。因此，預測模組100可產生指示選定框內預測模式與相鄰PU之框內預測模式相同的語法元素。
如下文參看圖9進一步論述，由預測模組100執行的預測可至少部分基於基本視圖/基層之經升頻取樣之運動場資訊(例如，由升頻取樣模組130判定)。另外，預測模組100亦可執行涉及預測當前(例如，增強)視圖/層之其他步驟，諸如，將經升頻取樣之運動場資訊與基本視圖/基層的經升頻取樣之紋理圖像相關聯及/或將框間預測參考圖像添加至用於框間預測之參考圖像清單，此等在下文中參看圖9更詳細地描述。
在預測模組100選擇了用於CU之PU的預測資料之後，殘餘產生模組102可藉由自CU之視訊區塊減去CU之PU的預測之視訊區塊產生用於CU之殘餘資料。CU之殘餘資料可包括對應於CU之視訊區塊中的樣本之不同樣本分量的2D殘餘視訊區塊。舉例而言，殘餘資料可包括對應於CU之PU之預測之視訊區塊中的樣本之亮度分量與CU之原始視訊區塊中的樣本之亮度分量之間的差之殘餘視訊區塊。另外，CU之殘餘資料可包括對應於CU之PU之預測之視訊區塊中的樣本之色度 分量與CU之原始視訊區塊中的樣本之色度分量之間的差之殘餘視訊區塊。
預測模組100可執行四分樹分割以將CU之殘餘視訊區塊分割成子區塊。每一未劃分之殘餘視訊區塊可與CU之一不同TU相關聯。與CU之TU相關聯的殘餘視訊區塊之大小及位置可或可不基於與CU之PU相關聯的視訊區塊之大小及位置。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與殘餘視訊區塊中之每一者相關的節點。CU之TU可對應於RQT之葉節點。
變換模組104可藉由將一或多個變換應用於與TU相關之殘餘視訊區塊而產生針對CU之每一TU的一或多個變換係數區塊。變換係數區塊中之每一者可為變換係數之2D矩陣。變換模組104可將各種變換應用於與TU相關聯之殘餘視訊區塊。舉例而言，變換模組104可將離散餘弦變換(DCT)、方向變換或概念上類似的變換應用於與TU相關聯之殘餘視訊區塊。
在變換模組104產生與TU相關聯之變換係數區塊之後，量化模組106可量化該變換係數區塊中之變換係數。量化模組106可基於與CU相關聯之QP值而量化與CU之TU相關聯的變換係數區塊。
視訊編碼器20可以各種方式將QP值與CU相關聯。舉例而言，視訊編碼器20可對與CU相關聯之樹型區塊執行速率-失真分析。在速率-失真分析中，視訊編碼器20可藉由多次對樹型區塊執行編碼操作而產生樹型區塊之多個經寫碼表示。視訊編碼器20可在視訊編碼器20產生樹型區塊之不同經編碼表示時將不同QP值與CU相關聯。視訊編碼器20可在給定QP值在具有最低位元率及失真度量之樹型區塊的經寫碼表示中與CU相關聯時發信該給定QP值與CU相關聯。
反量化模組108及反變換模組110可分別將反量化及反變換應用於變換係數區塊，以自變換係數區塊重建構殘餘視訊區塊。重建構模組 112可將經重建構殘餘視訊區塊添加至由預測模組100產生的一或多個預測之視訊區塊中的對應的樣本，以產生與TU相關聯的經重建構視訊區塊。藉由以此方式重建構針對CU之每一TU的視訊區塊，視訊編碼器20可重建構CU之視訊區塊。
在重建構模組112重建構CU之視訊區塊之後，濾波器模組113可執行解區塊操作以減少與CU相關聯之視訊區塊中的區塊假影。在執行一或多個解區塊操作之後，濾波器模組113可將CU之經重建構視訊區塊儲存於經解碼圖像緩衝器114中。運動估計模組122及運動補償模組124可使用含有經重建構視訊區塊之參考圖像對後續圖像之PU執行框間預測。另外，框內預測模組126可使用經解碼圖像緩衝器114中的經重建構視訊區塊對與CU相同之圖像中的其他PU執行框內預測。
熵編碼模組116可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼模組116可自量化模組106接收變換係數區塊，且可自預測模組100接收語法元素。當熵編碼模組116接收資料時，熵編碼模組116可執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，視訊編碼器20可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率間隔分割熵(PIPE)寫碼操作或另一類型之熵編碼操作。熵編碼模組116可輸出包括經熵編碼之資料的位元流。
作為對資料執行熵編碼操作的部分，熵編碼模組116可選擇上下文模型。若熵編碼模組116正在執行CABAC操作，則上下文模型可指示對具有特定值之特定位元子的機率之估計。在CABAC之情況下，術語「位元子(bin)」用以指語法元素之二進位化型式的位元。
升頻取樣模組130可縮放或再取樣視訊資料(包括，諸如預測模式資訊及/或運動場資訊之像素及非像素資訊)，以增加空間解析度。在 一些實施例中，基本視圖/基層之視訊資料可經升頻取樣以匹配增強視圖/增強層之空間解析度。升頻取樣模組130亦可與視訊編碼器20之一或多個其他功能組件協調，以在將基層圖像插入至參考圖像清單之前升頻取樣基層圖像的基本視圖/基層視訊資料。
視訊解碼器
圖3為說明可實施根據本發明中描述之態樣之技術的視訊解碼器之一實例之方塊圖。視訊解碼器30可經組態以執行本發明之技術中的任何者或全部。作為一實例，運動補償模組162及升頻取樣模組170可經組態以執行本發明中描述之技術中的任何者或全部。然而，本發明之態樣不受如此限制。在一些實例中，本發明中描述之技術可共用於視訊解碼器30之各種組件中。在一些實例中，另外或代替，處理器(未圖示)可經組態以執行本發明中描述之技術中的任何者或全部。
在圖3之實例中，視訊解碼器30包括複數個功能組件。視訊解碼器30之功能組件包括熵解碼模組150、預測模組152、反量化模組154、反變換模組156、重建構模組158、濾波器模組159及經解碼圖像緩衝器160。預測模組152包括運動補償模組162、框內預測模組164，及升頻取樣模組170。在一些實例中，視訊解碼器30可執行大體上與關於圖2之視訊編碼器20描述的編碼遍次互逆之解碼遍次。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能組件。
視訊解碼器30可接收包含經編碼視訊資料的位元流。位元流可包括複數個語法元素。當視訊解碼器30接收位元流時，熵解碼模組150可對位元流執行剖析操作。作為對位元流執行剖析操作之結果，熵解碼模組150可自該位元流提取語法元素。作為執行剖析操作的部分，熵解碼模組150可熵解碼位元流中的經熵編碼之語法元素。預測模組152、反量化模組154、反變換模組156、重建構模組158及濾波器模組159可基於自該位元流提取之語法元素而執行產生經解碼視訊資 料的重建構操作。
如上文所論述，位元流可包含一系列NAL單元。位元流之NAL單元可包括序列參數集合NAL單元、圖像參數集合NAL單元、SEI NAL單元等等。作為對位元流執行剖析操作之部分，熵解碼模組150可執行提取且熵解碼來自序列參數集合NAL單元之序列參數集合、來自圖像參數集合NAL單元之圖像參數集合、來自SEI NAL單元之SEI資料等等的剖析操作。
另外，位元流之NAL單元可包括經寫碼圖塊NAL單元。作為對位元流執行剖析操作之部分，熵解碼模組150可執行提取且熵解碼來自經寫碼圖塊NAL單元之經寫碼圖塊的剖析操作。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有與圖塊有關之語法元素。圖塊標頭中的語法元素可包括識別與含有該圖塊之圖像相關聯的圖像參數集合之語法元素。熵解碼模組150可對經寫碼圖塊標頭中之語法元素執行熵解碼操作(諸如，CABAC解碼操作)，以恢復該圖塊標頭。
作為自經寫碼圖塊NAL單元提取圖塊資料之部分，熵解碼模組150可執行提取來自圖塊資料中之經寫碼CU之語法元素的剖析操作。經提取之語法元素可包括與變換係數區塊相關聯的語法元素。接著，熵解碼模組150可對一些語法元素執行CABAC解碼操作。
在熵解碼模組150對未分割之CU執行剖析操作之後，視訊解碼器30可對未分割之CU執行重建構操作。為對未分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重建構操作，視訊解碼器30可重建構與CU相關聯之殘餘視訊區塊。
作為對TU執行重建構操作之部分，反量化模組154可反量化(亦即，去量化)與TU相關聯之變換係數區塊。反量化模組154可以類似 於針對HEVC提出或由H.264解碼標準定義的反量化過程之方式反量化變換係數區塊。反量化模組154可使用由視訊編碼器20針對變換係數區塊之CU計算的量化參數QP判定量化之程度，及同樣的，反量化模組154應用的反量化之程度。
在反量化模組154反量化變換係數區塊之後，反變換模組156可產生針對與變換係數區塊相關聯之TU的殘餘視訊區塊。反變換模組156可將反變換應用於變換係數區塊，以便產生針對TU的殘餘視訊區塊。舉例而言，反變換模組156可將反DCT、反整數變換、反卡忽南-拉維變換(KLT)、反旋轉變換、反方向變換或另一反變換應用於變換係數區塊。在一些實例中，反變換模組156可基於自視訊編碼器20之發信而判定應用於變換係數區塊的反變換。在此等實例中，反變換模組156可基於針對與變換係數區塊相關聯之樹型區塊的四分樹之根節點處的經發信之變換而判定反變換。在其他實例中，反變換模組156可自一或多個寫碼特性(諸如，區塊大小、寫碼模式，或類似者)推斷反變換。在一些實例中，反變換模組156可應用級聯反變換。
在一些實例中，運動補償模組162可藉由執行基於內插濾波器之內插而改進PU的預測之視訊區塊。用於待用於具有子樣本精確度之運動補償的內插濾波器之識別符可包括於語法元素中。運動補償模組162可在產生PU之預測之視訊區塊期間使用與由視訊編碼器20所使用相同的內插濾波器，以計算用於參考區塊之子整數樣本的內插值。運動補償模組162可根據所接收的語法資訊判定由視訊編碼器20使用之內插濾波器，且使用內插濾波器產生預測之視訊區塊。
若PU係使用框內預測編碼，則框內預測模組164可執行框內預測以產生針對該PU的預測之視訊區塊。舉例而言，框內預測模組164可基於位元流中之語法元素判定用於該PU之框內預測模式。位元流可包括框內預測模組164可用以判定PU之框內預測模式的語法元素。
在一些情況下，語法元素可指示框內預測模組164將使用另一PU之框內預測模式判定當前PU之框內預測模式。舉例而言，當前PU之框內預測模式可能與相鄰PU之框內預測模式相同。換言之，相鄰PU之框內預測模式可為用於當前PU的最可能模式。因此，在此實例中，位元流可包括指示該PU之框內預測模式與相鄰PU之框內預測模式相同的小語法元素。框內預測模組164可接著基於在空間上相鄰之PU的視訊區塊使用框內預測模式產生用於該PU之預測資料(例如，經預測之樣本)。
如上文所論述，由預測模組152執行之預測可至少部分基於基本視圖/基層的經升頻取樣之運動場資訊。另外，預測模組152亦可執行預測當前(例如，增強)視圖/層所涉及之其他步驟，諸如，將經升頻取樣之運動場資訊與基本視圖/基層之經升頻取樣之紋理圖像相關聯，及/或將框間預測參考圖像添加至用於框間預測之參考圖像清單，此在下文中參看圖9更詳細地進行描述。
升頻取樣模組170可縮放或再取樣視訊資料(包括諸如預測模式資訊及/或運動場資訊之像素及非像素資訊)，以增加空間解析度。在一些實施例中，基本視圖/基層之視訊資料可經升頻取樣以匹配增強視圖/增強層之空間解析度。升頻取樣模組170亦可與視訊解碼器30之一或多個其他功能組件協調，以在將基層圖像插入至參考圖像清單之前升頻取樣基層圖像之基本視圖/基層視訊資料。
重建構模組158可使用與CU之TU相關聯的殘餘視訊區塊及CU之PU的預測之視訊區塊(亦即，適用的框內預測資料或框間預測資料)重建構CU之視訊區塊。因此，視訊解碼器30可基於位元流中之語法元素產生預測之視訊區塊及殘餘視訊區塊，且可基於預測之視訊區塊及殘餘視訊區塊產生視訊區塊。
在重建構模組158重建構CU之視訊區塊之後，濾波器模組159可 執行解區塊操作以減少與CU相關聯之區塊假影。在濾波器模組159執行解區塊操作以減少與CU相關聯之區塊假影之後，視訊解碼器30可將CU之視訊區塊儲存於經解碼圖像緩衝器160中。經解碼圖像緩衝器160可提供參考圖像，以供後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器160中之視訊區塊對其他CU之PU執行框內預測或框間預測操作。
多視圖視訊寫碼
多視圖視訊寫碼(MVC)為H.264/AVC之擴展。典型MVC解碼次序(例如，位元流次序)展示於圖4中。圖400包括存取單元401、402及403；視圖411、412及413；及經寫碼圖像421、422及423。為了簡潔起見，並未標註圖4中所示之所有存取單元、視圖及經寫碼圖像。圖4中所示之解碼次序排列被稱作時間優先寫碼。每一存取單元(例如，垂直行T0、T1、……、T8)經定義含有針對一輸出時間執行個體的所有視圖(例如，S0、S1、……、S7)之經寫碼圖像。存取單元之解碼次序可不等同於輸出或顯示次序。
用於多視圖視訊寫碼之典型MVC預測(包括每一視圖內之圖像間預測及視圖間預測兩者)結構展示於圖5中。圖500包括存取單元501、502及503；視圖511、512及513；及經寫碼圖像521、522、523及524。為了簡潔起見，並未標註圖5中所示之所有存取單元、視圖及物件。預測由箭頭(例如，箭頭531及532)指示，其中每一所指向之物件將相關聯的指向自之物件用於預測參考。在MVC中，不均等運動補償支援視圖間預測。不均等運動補償使用H.264/AVC運動補償之語法，但允許不同視圖中之圖像(例如，不同列S0、……、S7等)被用作參考圖像。
多個視圖之寫碼亦由MVC支援。MVC之一優點在於，MVC編碼器可將兩個以上視圖作為3D視訊輸入，且MVC解碼器可解碼此多視 圖表示。因此，具有MVC解碼器之顯現器可期望具有兩個以上視圖之3D視訊內容。
在MVC中，在同一存取單元(例如，具有相同時間執行個體)中之圖像間允許視圖間預測。當在非基本視圖中之一者中寫碼圖像時，若一圖像在不同視圖中但具有相同時間執行個體，則可將其添加至參考圖像清單內。可將視圖間預測參考圖像置於參考圖像清單之任何位置中，正如任一框間預測參考圖像一樣。
HEVC技術
1.參考圖像清單建構
通常，用於B圖像之第一或第二參考圖像清單的參考圖像清單建構包括兩個步驟：(1)參考圖像清單初始化，及(2)參考圖像清單重排序(修改)。參考圖像清單初始化為基於POC(圖像次序計數，與圖像之顯示次序對準)值之次序將參考圖像記憶體(亦被稱為經解碼圖像緩衝器或DPB)中之參考圖像置入清單內之顯式機制。參考圖像清單重排序機制可將在參考圖像清單初始化期間置於該清單中之圖像的位置修改成任何新位置，或在參考圖像記憶體中之任一參考圖像並不存在於經初始化之清單中的情況下將該圖像置於任何位置中。
在參考圖像清單重排序/修改之後，可將一些圖像置放於清單下方極遠的位置中。然而，若圖像之位置超過清單之有效參考圖像的數目，則該圖像不被視為最終參考圖像清單之項。可針對每一清單在圖塊標頭中發信有效參考圖像之數目。在構建參考圖像清單之後(例如，RefPicList0及RefPicList1，若可用)，可使用參考索引識別任何參考圖像清單中之圖像。
2. TMVP
時間運動向量預測(TMVP)用以改良HEVC之寫碼效率。TMVP存取經解碼圖像緩衝器中(更特定言之，參考圖像清單中)之圖框的運動 向量。
在經框間預測之圖塊中，當針對整個經寫碼視訊序列啟用TMVP時(例如，序列參數集合中之sps_temporal_mvp_enable_flag經設定至1)，在圖塊標頭中發信slice_temporal_mvp_enable_flag以指示是否針對當前圖塊啟用TMVP。當針對當前圖塊啟用TMVP時，若當前圖像為B圖塊，則在圖塊標頭中發信collocated_from_10_flag以指示同置型圖像來自RefPicList0或是RefPicList1。
在識別參考圖像清單之後，使用在圖塊標頭中發信之collocated_ref--idx識別清單中之圖像。接著，藉由檢查同置型圖像而識別同置型預測單元(PU)。使用含有此PU之寫碼單元(CU)的右下方PU的運動或在含有此PU之CU之中心PU內的右下方PU的運動。
3. HEVC中之隨機存取
存在可由HEVC中之網路抽象層(NAL)單元類型識別的四個圖像類型。此等為瞬時解碼再新(IDR)圖像、清潔隨機存取(CRA)圖像、時間層存取(TLA)圖像，及並非IDR、CRA或TLA圖像之經寫碼圖像。
IDR及經寫碼圖像為類似於H.264/AVC規範中所使用之圖像類型的圖像類型。CRA及TLA圖像類型為HEVC中的新型，且不可用於H.264/AVC規範中。CRA圖像為以比插入IDR圖像有效率的方式促進自視訊序列中間的任何隨機存取點開始之解碼的圖像類型。在HEVC中，開始於此等CRA圖像之位元流亦為一致位元流。TLA圖像為可用以指示有效時間層切換點的圖像類型。以下章節進一步詳細描述CRA及TLA圖像。
在諸如廣播及串流之視訊應用程式中，使用者常希望在不同頻道之間切換，且以最小延遲跳至視訊廣播或流之特定部分。此特徵係藉由在視訊位元流中具有規則間隔之隨機存取圖像而實現。指定於H.264/AVC及HEVC兩者中之IDR圖像可用於隨機存取。然而，由於 IDR圖像開始經寫碼視訊序列，且始終清潔經解碼圖像緩衝器(DPB)，因此按解碼次序在IDR之後的圖像不能將先於IDR圖像解碼之圖像用作參考。因此，用於隨機存取的依賴於IDR圖像之位元流可具有顯著較低寫碼效率(例如，6%)。為了改良寫碼效率，HEVC中之CRA圖像允許按解碼次序在CRA圖像之後但按輸出次序在其之前的圖像將在CRA圖像前解碼之圖像用作參考。
圍繞CRA圖像之一典型預測結構展示於圖6中。圖600說明前一圖像群組(GOP)601、當前GOP 602及下一GOP 603。在圖600中，圖像611及612屬於前一GOP 601，圖像621-628屬於當前GOP 602，且圖像631及632屬於下一GOP 603。如結合圖5所論述，預測由箭頭(例如，箭頭641及642)指示，其中每一所指向之圖像將相關聯的指向自之圖像用於預測參考。POC為24的CRA圖像(亦即，圖像628)屬於當前GOP 602，其含有按解碼次序在CRA圖像之後但按輸出次序在CRA圖像之前的其他圖像621-627(POC為17至23)。此等圖像(例如，圖像621-627)叫作CRA圖像(例如，圖像628)之前置圖像，且可在解碼自當前CRA圖像前之IDR或CRA圖像開始的情況下進行正確地解碼。然而，當自此CRA圖像之隨機存取發生時，不能正確地解碼前置圖像；因此，通常在隨機存取解碼期間拋棄此等前置圖像。
為防止錯誤自視解碼開始處而定可能不可用之參考圖像傳播，按解碼次序及輸出次序兩者在CRA圖像之後的下一GOP 603中之所有圖像(如圖6中所示)不將按解碼次序或輸出次序先於CRA圖像的任一圖像(其包括前置圖像)用作參考。
類似隨機存取功能性藉由恢復點SEI訊息而於H.264/AVC中得以支援。H.264/AVC解碼器實施可或可不支援該功能性。在HEVC中，開始於CRA圖像的位元流被視為一致位元流。當位元流開始於CRA圖像時，CRA圖像之前置圖像可指不可用參考圖像，且因此不能正確地 解碼。然而，HEVC指定不輸出開始CRA圖像之前置圖像，因此名稱為「清潔隨機存取」。為了位元流一致性要求的建立，HEVC指定解碼過程以產生用於未輸出之前置圖像之解碼的不可用參考圖像。然而，一致解碼器實施未必遵循彼解碼過程，只要與自位元流之開始執行解碼過程時相比其可產生相同的輸出。
在HEVC中，一致位元流可完全不含有IDR圖像，且因此可含有經寫碼視訊序列或經不完全寫碼視訊序列之一子集。
除IDR及CRA圖像之外，亦存在其他類型隨機存取點圖像，例如，BLA。對於隨機存取點圖像之主要類型中的每一者，取決於隨機存取點圖像可潛在地由系統處理的方式，可存在子類型。隨機存取點圖像之每一子類型可具有不同NAL單元類型。
4. HEVC中之運動壓縮
為使解碼器能夠以需要較小經解碼圖像緩衝器(DPB)之方式實施，在HEVC中引入運動壓縮，以按圖像之每一區塊(若呈16×16區塊光柵掃描次序)假設含有用於RefPicList0之相同第一運動向量(若可用)及用於RefPicList1之相同第二運動向量(若可用)的方式壓縮運動場。運動壓縮適用於所有時間參考圖像，使得可顯著減小DPB大小。
在本發明中，16×16區塊中之每一者被稱作「對準之16×16區塊」。然而，在當前HEVC規範中，按在存取在對準之16×16區塊內部的任何4×4區塊時使用在對準之16×16區塊內的左上角區塊之運動向量的方式即時進行運動場。當前HEVC規範下的此設計需要CU級過程來即時處置運動壓縮，智慧型解碼器可在圖像級中進行此。
JCT-3V中之MV-HEVC
為將上述HEVC概念實施至多視圖HEVC(MV-HEVC)，可能需要HEVC之多視圖擴展、寫碼單元級或較低級改變。
1. MV-HEVC中之隨機存取
HEVC之隨機存取概念擴展至多視圖及3DV擴展。隨機存取點存取單元以及隨機存取視圖組件之詳細定義描述於MV-HEVC工作草案規範JCT3V-A1004中，其被以引用的方式全部併入。另外，隨機存取點存取單元以及隨機存取視圖組件之詳細定義亦在MV-HEVC工作草案規範中：JCT3V-A1004(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於3D視訊寫碼擴展開發聯合協作小組於2012年7月16日至20日在瑞典斯德哥爾摩召開之第1次會議上Gerhard Tech、Krzysztof Wegner、Ying Chen、Miska Hannuksela之「MV-HEVC Working Draft 1」，其被以引用的方式全部併入)。
視圖組件是否為隨機存取點取決於該視圖組件之NAL單元類型。若類型屬於用於隨機存取點圖像之HEVC基本規範中定義的類型，則當前視圖組件為隨機存取點視圖組件(或為簡單起見，當前視圖之隨機存取點圖像)。
隨機存取功能性僅以與HEVC基本規範中類似地停用或約束時間維度中之某些預測(因此，針對單一視圖)的方式而適用於時間預測。然而，用於隨機存取點視圖組件的視圖間預測仍係可能且典型的，以改良寫碼效率，此類似於H.264/MVC中的錨圖像。隨機存取點(RAP)視圖組件在其使用視圖間預測的情況下可為P或B圖像。
如下所述，此概念可擴展至HEVC或「朝向HEVC」多標準編解碼器的可縮放擴展。
2.視圖間參考圖像集合
視圖間參考圖像集合可基於在視訊參數集合(VPS)中發信之視圖相依性而建立。對於當前圖像，在同一存取單元中且屬於相依視圖(在VPS中發信)之圖像形成視圖間參考圖像集合。視圖間參考圖像集合中的圖像可用以添加至當前圖像之參考圖像清單內。
基於僅高階語法(僅HLS)之HEVC的可縮放寫碼
在僅HLS之HEVC中，若兩個空間層具有相同空間解析度，則可類似於MV-HEVC而支援僅HLS之HEVC，其中甚至在同置型圖像來自不同視圖時亦啟用TMVP。注意，將基層圖像(在可能的升頻取樣/濾波之後)作為參考圖像清單中之參考圖像添加。
層間/視圖間運動預測
藉由當前HEVC設計，可藉由將參考圖像清單中之參考層/視圖圖像用作同置型圖像而啟用層間/視圖間運動預測。圖7中展示使用HEVC設計之視圖間/層間運動預測的一實例。圖700說明當前視圖/層710(例如，增強層)中的圖像701-703及參考視圖/層720(例如，基層)中的圖像704-706。當前圖像703具有等於當前視圖710中之POC0的POC。將基本視圖/基層圖像706作為同置型圖像而發信(藉由圖塊標頭中之語法元素)，且將此圖像中之同置型區塊的運動向量(表示為MV)用作候選以預測當前預測單元(PU)之運動向量(例如，預測之MV)。在此情況下，基本視圖/基層720中之圖像706不僅在參考圖像清單中，且亦作為同置型圖像而在參考圖像清單中(例如，RefPicListX[collocated_ref_idx]，其中X等於collocated_from_10_flag)。
然而，在多視圖情況中，同置型PU可藉由使用不均等向量而非使用HEVC中定義之方法來定位。在另一實施例中，可明顯地對不均等向量執行視圖間運動預測，因此就存取該同置型PU而言，按與HEVC中相同的方式。
具有不同空間解析度之多個層
以下實施例描述在兩個層具有不同空間解析度而無寫碼單元級或低級改變時支援可縮放視訊寫碼中之層間運動預測之器件、系統及方法。
在一實施例中，基本視圖/基層圖像之運動場經升頻取樣且與基 本視圖/基層之經升頻取樣之紋理圖像相關聯，使得包括紋理(亦即，樣本像素)及運動向量兩者的層間參考圖像可藉由HEVC時間運動向量預測設計明顯地使用，而無任何修改。舉例而言，基本視圖/基層圖像之運動場可為一組運動向量，其中每一運動向量對應於基本視圖/基層圖像中之一像素。可在將層間參考圖像添加至參考圖像集合或參考圖像清單內之前在圖像級執行運動場升頻取樣。舉例而言，經升頻取樣之運動場可儲存於與經升頻取樣之紋理圖像相關聯之層間參考圖像中。此等層間參考圖像可包括作為規則時間參考圖像之所有必要資訊，且因此可將此等層間參考圖像添加至參考圖像清單且用於增強視圖/增強層之框間預測。可將層間參考圖像添加至一或多個參考清單或替換一或多個參考清單中之另一圖像。在一實施例中，運動場之升頻取樣匹配基本視圖/基層圖像之升頻取樣，使得根據相同空間縱橫比對兩者升頻取樣。
運動場升頻取樣亦可包括寫碼樹、寫碼單元及預測單元升頻取樣，使得經升頻取樣之寫碼樹、寫碼單元及預測單元符合HEVC設計。運動場升頻取樣亦可包括模式之升頻取樣(例如，框內/框間，框內預測模式)，使得經升頻取樣之模式以符合HEVC設計的方式與寫碼單元相關聯。換言之，模式亦與基本視圖/基層之經升頻取樣之紋理圖像相關聯。
可執行運動場升頻取樣，使得分開來執行目標層間參考圖像之每一4×4區塊，且導出多達兩個運動向量，每一運動向量與一參考索引相關聯。替代地，可執行升頻取樣，使得分開來執行目標層間參考圖像之每一16×16區塊，且導出多達兩個運動向量，每一運動向量與一參考索引相關聯。
對於圖像之每一當前N×N(例如，N等於4或16，或大體任何大小)區塊，該區塊之中心位置被映射至基層圖像之唯一位置，且覆蓋該映 射位置的基層之N×N區塊之運動資訊直接用以導出運動資訊。可首先在當前圖框(例如，EL)中決定具有中心位置的此像素樣本，且將此像素樣本映射至層間/視圖間區塊或參考圖像中之對應的或同置型位置。替代地，可針對層間/視圖間之對應的或同置型區塊決定具有中心位置之像素樣本，且將該像素樣本映射至當前(例如，EL)區塊。視空間解析度而定，此等兩個方法可導致不同的運動場映射。
當使用16×16時，運動場已如HEVC中所描述地壓縮至16×16之粒度，使得每一16×16最大具有對應於RefPicListX(其中X等於0或1)之一運動向量。在一實施例中，在中心像素之映射期間，當經映射像素位置在子像素位置中時，其被捨入至右下方整數樣本位置。經映射中心像素可針對垂直及水平分量兩者進一步移位1。在一實施例中，選擇當前N×N區塊之任何位置(例如，區塊之任何角落)以將其映射至基層圖像。替代地，可選擇在當前N×N區塊之外的任何位置以將其映射至基層圖像。
在另一實施例中，用等於兩個層之空間解析度比的比率升頻取樣所有基層N×N區塊。舉例而言，若N等於4，且比率為1.5，則在經升頻取樣之結構(例如，圖8之圖800中所示的經升頻取樣之基層圖像802)中，每一經升頻取樣區塊804(例如，6×6區塊)含有運動資訊之全集合，且最大含有對應於RefPicListX(其中X等於0或1)之一運動向量。在升頻取樣基層運動結構之後，對於圖像之每一當前N×N區塊，中心位置直接用於含有經升頻取樣區塊(例如，6×6區塊)之虛擬圖像中。含有中心位置之經升頻取樣區塊的運動資訊之全集合再用於當前N×N區塊(例如，圖8中所示之當前層806中的區塊808)。在圖8之當前層806中，虛線指示經升頻取樣6×6區塊(例如，區塊804)之邊緣將所處之處。在一實施例中，選擇當前N×N區塊之任何位置(例如，區塊之任何角落)以將其經映射至基層圖像。當N×N區塊可與來自基層的 多個經升頻取樣區塊(例如，圖8中所示之區塊810)對準時，可進一步應用參考索引選擇及運動向量選擇。
在另一實施例中，在運動場映射期間，可設定基層區塊之預測模式及相鄰區塊之預測模式，使得對於經升頻取樣圖框中之任何區塊，已知該區塊屬於經框內預測之預測單元或是經框間預測之預測單元。
在一實施例中，若基層區塊之初始預測模式為框內，則在基層升頻取樣之後，保持該框內模式，且並不針對框內區塊升頻取樣運動場。寫碼器可檢查基層區塊之預測模式是否為框內預測模式。舉例而言，圖2之視訊編碼器20的預測模組100可執行此檢查。若判定為基層區塊之預測模式為框內，則可跳過運動場資訊之升頻取樣。另一方面，若判定為基層區塊之預測模式並非為框內，則升頻取樣基層區塊之運動場(例如，藉由圖2之視訊編碼器20的升頻取樣模組130)，且至少部分基於基層區塊之經升頻取樣之運動場判定當前區塊的預測之值。如上文所論述，可由圖2之視訊編碼器20的預測模組100執行當前區塊之預測之值的判定。
替代地，與初始基層預測模式無關，在基層升頻取樣之後，針對具有經升頻取樣之運動場的所有區塊指派框間預測模式。在一些實施例中，與基層預測模式無關，升頻取樣基層區塊之運動場(例如，藉由圖2之視訊編碼器20的升頻取樣模組130)。在此等實施例中，可將框間預測模式指派至具有經升頻取樣之運動場的所有區塊。至少部分基於基層區塊之經升頻取樣之運動場，可判定當前區塊的預測之值。當前區塊之預測之值的判定可由圖2之視訊編碼器20的預測模組100執行。
在運動場升頻取樣期間，在指派運動場之前，除當前區塊預測模式之外，亦可考慮相鄰區塊預測模式。可將該預測模式轉換至為與 相鄰區塊相關聯之最常見模式的預測模式。
在一些實施例中，與經升頻取樣之運動場相關聯之經升頻取樣視訊區塊的預測模式可基於在空間上鄰近該經升頻取樣視訊區塊之至少一個相鄰視訊區塊的預測模式判定。舉例而言，若當前區塊為框內區塊，但其周圍相鄰區塊的大部分具有框間預測模式，則當前區塊之模式可設定為框間，且針對此當前區塊指派經升頻取樣之運動場。在另一實例中，若相鄰區塊中之至少一者為經框間預測之區塊，則當前區塊預測模式可亦設定為經框間預測之區塊，且亦指派經升頻取樣之運動場。至少部分基於基層區塊之經升頻取樣之運動場，可判定當前區塊的預測之值。如上文所論述，當前區塊之預測模式及預測之值的判定可由圖2之視訊編碼器20的預測模組100執行。
在一替代例中，另外，若經升頻取樣圖像中之當前區塊對應於(原始圖像中)經框內寫碼之區塊的至少一像素，則該當前區塊被視為經框內寫碼。
根據一實施例的用於寫碼視訊資訊之一實例方法900說明於圖9中。方法900可由視訊編碼器20或視訊解碼器30之一或多個組件執行，包括(但不限於)框間預測模組121、升頻取樣模組130、運動補償模組162或升頻取樣模組170。在一些實施例中，其他組件可用以實施本文中所描述之步驟中的一或多者。舉例而言，方法900可用以執行關於圖4至圖8描述之動作中的一或多者。儘管將方法900之步驟描述為由寫碼器執行，但此等步驟可由編碼器(例如，視訊編碼器20)或解碼器(例如，視訊解碼器30)執行。
方法900開始於步驟901。在步驟905，升頻取樣與第一層(例如，基層)相關聯之運動場資訊。運動場資訊可包括(例如)與特定第一層相關聯之一組運動向量，且亦可包括框間方向、參考索引或與運動估計相關之任何其他資訊。本文中所描述之升頻取樣可為縮放、再取樣或 任何其他類似技術。舉例而言，運動場資訊之升頻取樣可匹配第一層之紋理圖像的升頻取樣，使得兩者根據相同空間縱橫比進行升頻取樣。
在步驟910，寫碼器添加包括與第一層之經升頻取樣之紋理圖像相關聯的經升頻取樣之運動場資訊之層間參考圖像。層間參考圖像可僅添加至參考圖像清單或替換參考圖像清單中的現有參考圖像。
在步驟915，寫碼器基於層間參考圖像之經升頻取樣之運動場資訊預測第二層的至少一部分。舉例而言，寫碼器可將層間參考圖像用於時間運動向量預測(TMVP)。舉例而言，可使用添加至參考圖像清單之層間參考圖像來預測第二層中的一特定寫碼單元或預測單元。方法900結束於步驟920。
在上述描述中，可已將區塊結構用作一實例。然而，可對像素使用本文中描述之技術、器件及方法，且代替利用與相鄰區塊相關聯之資訊，可利用相鄰像素。
實施
存在用於在當前層中之一區塊對應於基層中之多個區塊時導出參考索引及運動向量資訊的額外技術。在當前N×N區塊與來自基層的多個經升頻取樣區塊同置時，如下文論述，可使用若干方法中之任何一或多者。
1.參考索引轉換
由於基層參考圖像清單及增強層參考圖像清單未必相同(就每一項之POC值而言)，因此若基層之參考索引rIdxB與增強層之參考索引rIdxE對應於具有相同POC值的圖像，則基層之參考索引rIdxB經轉換成增強層之參考索引rIdxE。若rIdxE不存在，則基層區塊被視為不可用於特定RefPicList0或RefPicList1方向。
亦可在將基層處的與RefPicListX(其中X等於0或1)有關之參考索 引轉換至增強層處的與RefPicListY(其中Y等於1-X)有關之參考索引時執行類似操作。
在另一實施例中，若rIdxE不存在，則可基於POC距離，針對基層區塊中的待縮放至之MV選擇時間參考圖像(例如，具有最小參考索引)。另外，可將rIdxB轉換至基層中的對於EL有效之另一參考索引。另外，可對位元流強加編碼器約束以避免此問題。
在另一實施例中，若基層區塊為雙向，且參考索引rIdxB中之一者無效，則可將MV轉換至具有一有效參考索引的單向，而非使整個運動場不可用。
在以下描述中，參考索引可被視為已經轉換。
2.基於框間方向之選擇
在一實施例中，就MV選擇而言之優先權可藉由框間方向預定義。舉例而言，若當前圖塊類型為B圖塊，則可將優先權給予具有雙向MV之區塊，意謂經雙向預測之區塊具有被選擇以預測當前N×N區塊的更好機會。
3.基於位置優先權之選擇
在另一實施例中，就方向而言之優先權可預定義，例如(i)首先上方，接著左側；(II)首先下方，接著右側；或(III)首先上方，接著右側。首先選擇在第一方向邊界與當前N×N區塊相交的所有經升頻取樣區塊。接著，接下來選擇在第二方向邊界與當前N×N區塊相交的該等經升頻取樣區塊。運動資訊之全集合經設定為當前N×N區塊之運動資訊。
4.基於時間距離之選擇
在一實施例中，在經升頻取樣區塊中，具有POC距離最接近當前圖像之參考圖像的經升頻取樣區塊經選擇以提供N×N區塊的運動資訊之全集合。可分開來針對每一預測方向(對應於RefPicList0或 RefPicList 1)進行此操作。
在另一實施例中，若存在含有指具有最近POC距離之相同參考圖像的一參考索引之多個經升頻取樣區塊，則可應用以下操作以進一步導出運動向量：(1)導出運動向量之平均值，作為最終運動向量；(2)導出運動向量之中數，作為最終運動向量。在一實施例中，僅針對中數操作選擇多達3個運動向量。
5.虛擬運動向量產生
在另一實施例中，當一經升頻取樣區塊含有對應於RefPicListX(其中X等於0或1)之參考索引及MV，但無對應於RefPicListY(其中Y等於1-X)之可用參考索引，而另一區塊含有對應於RefPicListY之參考索引及MV時，此等兩個區塊之運動向量可用以形成經雙向預測之運動資訊的全集合。
另外，當一經升頻取樣區塊含有對應於RefPicListX(其中X等於0或1)，但無對應於RefPicListY(其中Y等於1-X)之可用參考索引，而另一區塊含有對應於RefPicListX的參考索引(refIdxXB)及MV，但對應於與RefPicListY中之一參考圖像相同的圖像時，另一區塊之運動向量用以形成經雙向預測的運動資訊之全集合，其中refIdxXB轉換成refIdxYB'，其對應於藉由RefPicListX中之refIdxXB識別的圖像。
可使用多種不同技術中之任一者來表示本文中所揭示之資訊及信號。舉例而言，可由電壓、電流、電磁波、磁場或磁性粒子、光場或光學粒子或其任何組合來表示可貫穿以上描述提及之資料、指令、命令、資訊、信號、位元、符號及碼片。
結合本文中所揭示之實施例而描述的各種說明性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，上文已大體在其功能性方面描述了各種說明性組件、區塊、模組、電路及步驟。此功能性實施 為硬體或是軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以變化之方式實施所描述之功能性，但不應將此等實施決策解釋為造成背離本發明之範疇。
本文中描述之技術可以硬體、軟體、韌體或其任何組合實施。此等技術可實施於多種器件中之任一者中，諸如，通用電腦、無線通信器件手機或具有包括在無線通信器件手機及其他器件中之應用的多個用途之積體電路器件。描述為模組或組件之任何特徵可一起實施於整合式邏輯器件中，或作為離散但可交互操作之邏輯器件分開來實施。若以軟體實施，則該等技術可至少部分由包含程式碼之電腦可讀資料儲存媒體來實現，該等程式碼包括在經執行時執行上述方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，其可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)(諸如，同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。另外或替代地，該等技術可至少部分藉由電腦可讀通信媒體(諸如，經傳播之信號或波)實現，該電腦可讀通信媒體以指令或資料結構之形式載運或傳送程式碼且可由電腦存取、讀取及/或執行。
程式碼可由處理器執行，處理器可包括一或多個處理器，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中描述之技術中的任一者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如，一DSP與一微處理器之組合、複數個微處理器、一或多 個微處理器結合一DSP核心或任何其他此組態。因此，如本文所使用之術語「處理器」可指前述結構中的任一者、前述結構之任何組合或適用於實施本文中所描述之技術的任何其他結構或裝置。另外，在一些態樣中，本文中所描述之功能性可提供於經組態以用於編碼及解碼的專用軟體模組或硬體模組內，或併入於組合式視訊編碼器解碼器(CODEC)中。又，該等技術可充分實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛的多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣，但未必需要藉由不同硬體單元來實現。相反地，如上所述，可將各種單元組合於編解碼器硬體單元中，或可由互操作性硬體單元(包括如上所述之一或多個處理器)之集合結合合適的軟體及/或韌體來提供各種單元。
已描述本發明之各種實施例。此等及其他實施例在以下申請專利範圍之範疇內。
900‧‧‧用於寫碼視訊資訊之實例方法

Claims (44)

  1. 一種經組態以寫碼視訊資訊的裝置，其包含：一記憶體單元，其經組態以儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；及一處理器，其與該記憶體單元通信，該處理器經組態以：升頻取樣與該第一層之一紋理圖像相關聯之該運動場資訊；將包括該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單，其中該經升頻取樣之運動場資訊與一經升頻之紋理圖像相關聯，該經升頻之紋理圖像對應該第一層之該紋理圖像；判定對應該層間參考圖像之一第二部分的該第一層之該紋理圖像之一第一部分是否經框內寫碼；基於該第一部分係經框內寫碼之一判定，提供該層間參考圖像之該第二部分係經框內寫碼之一指示；及基於包括該經升頻取樣之運動場資訊之該層間參考圖像之預測該第二層。
  2. 如請求項1之裝置，其中該層間參考圖像被用作用於判定被使用以用於預測該第二層之一運動向量之一同置型圖像。
  3. 如請求項1之裝置，其中該運動場升頻取樣係針對該第一層中之每一4×4區塊分開來執行。
  4. 如請求項1之裝置，其中對於該第二層中之每一N×N區塊，一中心位置經映射至對應於該第一層中之一N×N區塊的一唯一位置， 且該第二層中的該N×N區塊之運動場資訊係自與該第一層中之該N×N區塊相關聯的該經升頻取樣之運動場資訊導出，其中N可為至少16，其中該第二層中的每一N×N區塊具有在該層間參考圖像中的一特定同置型N×N區塊，該特定N×N區塊具有在該第一層中之一同置型區塊，該運動場資訊係針對該特定N×N區塊而升頻取樣自該同置型區塊。
  5. 如請求項4之裝置，其中該第一層之該運動場資訊已基於HEVC運動壓縮而壓縮。
  6. 如請求項1之裝置，其中該運動場資訊之該升頻取樣包含：將一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式或一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
  7. 如請求項1之裝置，其中該處理器經進一步組態以結合升頻取樣該運動場資訊而導出多達兩個運動向量，每一運動向量與一參考索引相關聯。
  8. 如請求項1之裝置，其中框間預測模式係經指派給該層間參考圖像中的一或多個區塊。
  9. 如請求項1之裝置，其中該第一層之所有N×N區塊係以等於該第二空間解析度之於該第一空間解析度之一比率的一比率而升頻取樣。
  10. 如請求項4之裝置，其中若該第一層中之一同置型區塊為一框內區塊且該同置型區塊之大部分相鄰區塊具有框間預測模式，則該層間參考圖像中之一特定區塊經指派一框間預測模式。
  11. 如請求項4之裝置，其中若該第一層中的該特定區塊之該同置型區塊為一框內區塊，則該層間參考圖像中之一特定區塊不具有可用之運動場資訊。
  12. 如請求項4之裝置，其中若該第一層中的該特定區塊之該同置型區塊具有屬於該第一層中的經框內寫碼之一區塊之至少一像素，則該層間參考圖像中之一特定區塊不具有可用之運動場資訊。
  13. 一種編碼視訊資訊之方法，該方法包含：接收與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；升頻取樣與該第一層之一紋理圖像相關聯之該運動場資訊；將包括該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單，其中該經升頻取樣之運動場資訊與一經升頻之紋理圖像相關聯，該經升頻之紋理圖像對應該第一層之該紋理圖像；判定對應該層間參考圖像之一第二部分的該第一層之該紋理圖像之一第一部分是否經框內寫碼；基於該第一部分係經框內寫碼之一判定，提供該層間參考圖像之該第二部分係經框內寫碼之一指示；基於包括該經升頻取樣之運動場資訊之該層間參考圖像之預測該第二層；及在一位元流中發信與該第二層相關聯之至少一語法元素。
  14. 如請求項13之方法，其中該層間參考圖像被用作用於判定被使用以用於預測該第二層之一運動向量之一同置型圖像。
  15. 如請求項13之方法，其中該運動場升頻取樣係針對該第一層中之每一4×4區塊分開來執行。
  16. 如請求項13之方法，其中對於該第二層中之每一N×N區塊，一中 心位置經映射至對應於該第一層中之一N×N區塊的一唯一位置，且該第二層中的該N×N區塊之運動場資訊係自與該第一層中之該N×N區塊相關聯的該經升頻取樣之運動場資訊導出，其中N可為至少16，其中該第二層中的每一N×N區塊具有在該層間參考圖像中的一特定同置型N×N區塊，該特定N×N區塊具有在該第一層中之一同置型區塊，該運動場資訊係針對該特定N×N區塊而升頻取樣自該同置型區塊。
  17. 如請求項13之方法，其中該第一層之該運動場資訊已基於HEVC運動壓縮而壓縮。
  18. 如請求項13之方法，其中該運動場資訊之該升頻取樣包含：將一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式或一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
  19. 如請求項13之方法，其進一步包含結合升頻取樣該運動場資訊而導出多達兩個運動向量，每一運動向量與一參考索引相關聯。
  20. 如請求項13之方法，其中框間預測模式經指派給該層間參考圖像中的一或多個區塊。
  21. 如請求項13之方法，其中該第一層之所有N×N區塊係以等於該第二空間解析度之於該第一空間解析度之一比率的一比率而升頻取樣。
  22. 如請求項16之方法，其中若該第一層中之一同置型區塊為一框內區塊且該同置型區塊之大部分相鄰區塊具有框間預測模式，則該層間參考圖像中之一特定區塊經指派一框間預測模式。
  23. 如請求項16之方法，其中若該第一層中的該特定區塊之該同置型區塊為一框內區塊，則該層間參考圖像中之一特定區塊不具 有可用之運動場資訊。
  24. 如請求項16之方法，其中若該第一層中的該特定區塊之該同置型區塊具有屬於該第一層中的經框內寫碼之一區塊之至少一像素，則該層間參考圖像中之一特定區塊不具有可用之運動場資訊。
  25. 一種解碼視訊資訊之方法，該方法包含：接收自一經編碼視訊位元流提取之語法元素，其中該等語法元素包含與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；升頻取樣與該第一層之一紋理圖像相關聯之該運動場資訊；將包括該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單，其中該經升頻取樣之運動場資訊與一經升頻之紋理圖像相關聯，該經升頻之紋理圖像對應該第一層之該紋理圖像；判定對應該層間參考圖像之一第二部分的該第一層之該紋理圖像之一第一部分是否經框內寫碼；基於該第一部分係經框內寫碼之一判定，提供該層間參考圖像之該第二部分係經框內寫碼之一指示；及基於包括該經升頻取樣之運動場資訊之該層間參考圖像預測該第二層。
  26. 如請求項25之方法，其中該層間參考圖像被用作用於判定被使用以用於預測該第二層之一運動向量之一同置型圖像。
  27. 如請求項25之方法，其中該運動場升頻取樣係針對該第一層中之每一4×4區塊分開來執行。
  28. 如請求項25之方法，其中對於該第二層中之每一N×N區塊，一中心位置經映射至對應於該第一層中之一N×N區塊的一唯一位置，且該第二層中的該N×N區塊之運動場資訊係自與該第一層中之該N×N區塊相關聯的該經升頻取樣之運動場資訊導出，其中N可為至少16，其中該第二層中的每一N×N區塊具有在該層間參考圖像中的一特定同置型N×N區塊，該特定N×N區塊具有在該第一層中之一同置型區塊，該運動場資訊係針對該特定N×N區塊而升頻取樣自該同置型區塊。
  29. 如請求項25之方法，其中該第一層之該運動場資訊已基於HEVC運動壓縮而壓縮。
  30. 如請求項25之方法，其中該運動場資訊之該升頻取樣包含：將一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式或一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
  31. 如請求項25之方法，其進一步包含結合升頻取樣該運動場資訊而導出多達兩個運動向量，每一運動向量與一參考索引相關聯。
  32. 如請求項25之方法，其中框間預測模式經指派給該層間參考圖像中的一或多個區塊。
  33. 如請求項25之方法，其中該第一層之所有N×N區塊係以等於該第二空間解析度之於該第一空間解析度之一比率的一比率而升頻取樣。
  34. 如請求項28之方法，其中若該第一層中之一同置型區塊為一框內區塊且該同置型區塊之大部分相鄰區塊具有框間預測模式，則該層間參考圖像中之一特定區塊經指派一框間預測模式。
  35. 如請求項28之方法，其中若該第一層中的該特定區塊之該同置 型區塊為一框內區塊，則該層間參考圖像中之一特定區塊不具有可用之運動場資訊。
  36. 如請求項28之方法，其中若該第一層中的該特定區塊之該同置型區塊具有屬於該第一層中的經框內寫碼之一區塊之至少一像素，則該層間參考圖像中之一特定區塊不具有可用之運動場資訊。
  37. 一種非暫時性電腦可讀媒體，其包含當經執行時使一裝置進行以下操作之程式碼：儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；升頻取樣與該第一層之一紋理圖像相關聯之該運動場資訊；將包括該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單，其中該經升頻取樣之運動場資訊與一經升頻之紋理圖像相關聯，該經升頻之紋理圖像對應該第一層之該紋理圖像；判定對應該層間參考圖像之一第二部分的該第一層之該紋理圖像之一第一部分是否經框內寫碼；基於該第一部分係經框內寫碼之一判定，提供該層間參考圖像之該第二部分係經框內寫碼之一指示；及基於包括該經升頻取樣之運動場資訊之該層間參考圖像預測該第二層。
  38. 如請求項37之媒體，其中該層間參考圖像被用作用於判定被使用以用於預測該第二層之一運動向量之一同置型圖像。
  39. 如請求項37之媒體，其中該運動場資訊之該升頻取樣包含：將 一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式或一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
  40. 如請求項37之媒體，其中在該第一層中之一特定區塊為一框內區塊的一情況下，若該特定區塊之大部分相鄰區塊具有框間預測模式，則針對該特定區塊指派框間預測模式。
  41. 一種視訊寫碼器件，其經組態以寫碼視訊資訊，該視訊寫碼器件包含：用於儲存與具有一第一空間解析度之一第一層及具有一第二空間解析度之一對應的第二層相關聯之視訊資訊之構件，其中該第一空間解析度小於該第二空間解析度，該視訊資訊包括與該第一層相關聯之至少運動場資訊；用於升頻取樣與該第一層之一紋理圖像相關聯之該運動場資訊之構件；用於將包括該經升頻取樣之運動場資訊之一層間參考圖像添加至一參考圖像清單之構件，其中該經升頻取樣之運動場資訊與一經升頻之紋理圖像相關聯，該經升頻之紋理圖像對應該第一層之該紋理圖像；用於判定對應該層間參考圖像之一第二部分的該第一層之該紋理圖像之一第一部分是否經框內寫碼之構件；用於基於該第一部分係經框內寫碼之一判定以提供該層間參考圖像之該第二部分係經框內寫碼之一指示之構件；及用於基於包括該經升頻取樣之運動場資訊之該層間參考圖像預測該第二層之構件。
  42. 如請求項41之器件，其中該層間參考圖像被用作用於判定被使用以用於預測該第二層之一運動向量之一同置型圖像。
  43. 如請求項41之器件，其中該運動場資訊之該升頻取樣包含：將一寫碼樹、一寫碼單元、一預測單元、一模式、一框內模式、一框間模式或一框內預測模式中之至少一者與該經升頻取樣之紋理圖像相關聯。
  44. 如請求項41之器件，其中在該第一層中之一特定區塊為一框內區塊的一情況下，若該特定區塊之大部分相鄰區塊具有框間預測模式，則針對該特定區塊指派框間預測模式。
TW102136090A 2012-10-05 2013-10-04 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣 TWI504239B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261710635P 2012-10-05 2012-10-05
US201261711715P 2012-10-09 2012-10-09
US201261737674P 2012-12-14 2012-12-14
US14/043,706 US10375405B2 (en) 2012-10-05 2013-10-01 Motion field upsampling for scalable coding based on high efficiency video coding

Publications (2)

Publication Number Publication Date
TW201424398A TW201424398A (zh) 2014-06-16
TWI504239B true TWI504239B (zh) 2015-10-11

Family

ID=50432656

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136090A TWI504239B (zh) 2012-10-05 2013-10-04 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣

Country Status (9)

Country Link
US (1) US10375405B2 (zh)
EP (1) EP2904805B1 (zh)
JP (1) JP6352271B2 (zh)
KR (1) KR102142737B1 (zh)
CN (1) CN104685880B (zh)
ES (1) ES2914950T3 (zh)
HU (1) HUE058800T2 (zh)
TW (1) TWI504239B (zh)
WO (1) WO2014055631A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN105187824A (zh) 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
EP3183878B1 (en) * 2014-08-20 2019-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
KR102390073B1 (ko) * 2015-06-08 2022-04-25 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
CN108141599B (zh) * 2015-09-23 2022-01-18 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
EP3808086A1 (en) * 2018-08-14 2021-04-21 Huawei Technologies Co., Ltd. Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
MX2021015641A (es) * 2019-06-21 2022-02-03 Ericsson Telefon Ab L M Indicacion de cambio ascendente de capa de codificacion de video.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200833124A (en) * 2006-11-30 2008-08-01 Lsi Corp Memory reduced H264/MPEG-4 AVC codec
US20090103615A1 (en) * 2006-05-05 2009-04-23 Edouard Francois Simplified Inter-layer Motion Prediction for Scalable Video Coding
TW201132131A (en) * 2009-10-30 2011-09-16 Qualcomm Inc Global motion parameter estimation using block-based motion vectors

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060063608A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
CN101147399B (zh) 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
US8494042B2 (en) * 2006-01-09 2013-07-23 Lg Electronics Inc. Inter-layer prediction method for video signal
KR20070074451A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
US7643560B2 (en) 2006-10-23 2010-01-05 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
US7742532B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for applying de-blocking filter to a video signal
WO2008071037A1 (en) 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
KR101345090B1 (ko) 2006-12-14 2013-12-26 톰슨 라이센싱 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치
CN101796841B (zh) * 2007-06-27 2012-07-18 汤姆逊许可公司 用增强层残差预测对视频数据编码/解码的方法和设备
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101345287B1 (ko) * 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
GB2483294B (en) * 2010-09-03 2013-01-02 Canon Kk Method and device for motion estimation of video data coded according to a scalable coding structure
US9025660B2 (en) 2011-03-04 2015-05-05 Vixs Systems, Inc. Video decoder with general video decoding device and methods for use therewith
US20130003833A1 (en) 2011-06-30 2013-01-03 Vidyo Inc. Scalable Video Coding Techniques
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
US20130195186A1 (en) * 2012-02-01 2013-08-01 Futurewei Technologies, Inc. Scalable Video Coding Extensions for High Efficiency Video Coding
WO2013145021A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 画像復号方法及び画像復号装置
US9584805B2 (en) * 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
WO2014008402A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer dependency and priority signaling design for scalable video coding
TWI637625B (zh) 2012-08-29 2018-10-01 Ｖｉｄ衡器股份有限公司 可調整視訊編碼移動向量預測的方法及裝置
SG11201500316PA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer intra mode prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103615A1 (en) * 2006-05-05 2009-04-23 Edouard Francois Simplified Inter-layer Motion Prediction for Scalable Video Coding
TW200833124A (en) * 2006-11-30 2008-08-01 Lsi Corp Memory reduced H264/MPEG-4 AVC codec
TW201132131A (en) * 2009-10-30 2011-09-16 Qualcomm Inc Global motion parameter estimation using block-based motion vectors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONG D ET AL: "Scalability Support in HEVC", 2012 IEEE International Symposium on Circuits and Systems(ISCAS), May 20-23, 2012, Seoul, Korea, Page(s):890-893 *

Also Published As

Publication number Publication date
HUE058800T2 (hu) 2022-09-28
EP2904805B1 (en) 2022-05-04
US20140098881A1 (en) 2014-04-10
CN104685880A (zh) 2015-06-03
ES2914950T3 (es) 2022-06-17
KR20150065841A (ko) 2015-06-15
US10375405B2 (en) 2019-08-06
KR102142737B1 (ko) 2020-08-07
WO2014055631A3 (en) 2014-12-31
CN104685880B (zh) 2019-08-06
WO2014055631A2 (en) 2014-04-10
JP6352271B2 (ja) 2018-07-04
EP2904805A2 (en) 2015-08-12
TW201424398A (zh) 2014-06-16
JP2015532553A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
KR102140361B1 (ko) 멀티 계층 코딩에서의 컨포먼스 윈도우 정보
JP6096217B2 (ja) ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング
TWI504239B (zh) 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣
JP6591424B2 (ja) Ｈｅｖｃマルチレイヤ拡張における非ｈｅｖｃベースレイヤのサポート
JP6193494B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
KR102314587B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
TW201440502A (zh) 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法
TW201340724A (zh) 視訊寫碼中之像差向量預測
US9674522B2 (en) Device and method for scalable coding of video information
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
US20150016500A1 (en) Device and method for scalable coding of video information
US20150016502A1 (en) Device and method for scalable coding of video information
US10194146B2 (en) Device and method for scalable coding of video information
JP2018511238A (ja) 高速レートひずみ最適量子化