TWI606716B - 多層視訊編碼編解碼器架構 - Google Patents

多層視訊編碼編解碼器架構 Download PDF

Info

Publication number
TWI606716B
TWI606716B TW102124530A TW102124530A TWI606716B TW I606716 B TWI606716 B TW I606716B TW 102124530 A TW102124530 A TW 102124530A TW 102124530 A TW102124530 A TW 102124530A TW I606716 B TWI606716 B TW I606716B
Authority
TW
Taiwan
Prior art keywords
image
scalability
scalable
layer process
layer
Prior art date
Application number
TW102124530A
Other languages
English (en)
Other versions
TW201424387A (zh
Inventor
葉言
喬治 麥克萊倫
何永
修小玉
何玉文
董傑
坎 巴爾
柳恩
Original Assignee
Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｄ衡器股份有限公司 filed Critical Ｖｉｄ衡器股份有限公司
Publication of TW201424387A publication Critical patent/TW201424387A/zh
Application granted granted Critical
Publication of TWI606716B publication Critical patent/TWI606716B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)

Description

多層視訊編碼編解碼器架構
相關申請的交叉引用 本申請要求2012年07月09日提交的美國臨時專利申請No.61/699,356和2012年12月06日提交的美國臨時專利申請No.61/734,264的權益，所述申請的內容以引用的方式結合於此。
[01]近年來，多媒體技術和移動通信經歷了巨大的發展並在商業上取得了成功。無線通信技術顯著增長了無線頻寬，並改善了對移動用戶的服務品質。例如，與第二代（2G）及/或第三代（3G）相比，第三代合作夥伴計畫（3GPP）長期演進（LTE）標準改善了服務品質。 [02]由於無線網路上高頻寬的可應用性，在有線網路上可用的視訊和多媒體內容可以使得用戶期望對來自各種具有不同大小、品質及/或連接能力的移動裝置的內容的等效按需存取。 為使各種類型的視訊內容在網路上可用，可以使用一種或多種視訊編碼和壓縮機制。視訊編碼系統可以用於壓縮數位視訊信號，例如，來減小所述信號的儲存需求及/或傳輸頻寬。基於一種或多種視訊編碼標準的各種類型的視訊壓縮技術可以被使用。所述標準可包括例如H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2、以及H.264/MPEG-4部分10 AVC、高效視訊編碼（HEVC)等等。視訊編碼標準的擴展（如H.264（可分級（scalable）視訊編碼（SVC））及/或可分級HEVC）可以被使用。所提供的可分級編碼機制存在缺點且不完善。
[03]提供了用於實施視訊編碼系統（VCS）的系統、方法和手段。包括例如基礎層（BL）編碼器、增強層（EL）編碼器、層間預測（ILP）處理和管理單元等的VCS可被配置成接收視訊信號。該視訊信號可以包括一個或多個層（如基礎層（BL）及/或一個或多個增強層（EL））。VCS可例如使用圖像級層間預測過程將BL圖像處理成層間參考（ILR）圖像。處理後的ILR圖像可以是非共位（non-collocated）的ILR圖像。 [04]將BL圖像處理成ILR圖像可以包括將BL圖像格式化成適用於對當前EL圖像進行預測的格式。該格式可依賴於BL編解碼器與EL編解碼器間的可分級性的類型。BL編解碼器與EL編解碼器間的可分級性的類型可以包括以下中的一者或多者：空間可分級性、色度格式可分級性、品質可分級性、空間可分級性、視圖可分級性或位深可分級性。格式化可包括以下中的一者或多者：上採樣、去雜訊、恢復、或重定向、視差補償或逆色調映射。 [05]VCS可選擇經處理的ILR圖像或增強層（EL）參考圖像中的一者或兩者。所選擇的參考圖像可包括EL參考圖像或ILR圖像中的一者。多個所選擇的參考圖像可對應於公共時間實例。 [06]VCS可使用所選擇的ILR圖像或EL參考圖像中的一者或多者來預測當前EL圖像。VCS可將被處理過的ILR圖像儲存到EL解碼圖像緩衝（DPB）中。VCS可從BL中提取BL資訊。所述BL資訊可以包括BL模式資訊或BL運動資訊中的一者或多者。VCS可基於包括所提取的BL資訊的資訊來處理BL圖像。VCS可將BL資訊從第一格式轉換為第二格式，並在EL編碼中使用轉換後的BL資訊。所述第一格式可以與BL編解碼器相關，以及所述第二格式可以與EL編解碼器相關，且所述第一格式不同於所述第二格式。 VCS可將ILP資訊封包化（packetize），並發送所述ILP資訊，例如，經由網路抽象層（NAL）單元。ILP資訊可包括例如上採樣濾波器資訊、一個或多個上採樣係數、一個或多個去雜訊係數、一個或多個視差補償參數、一個或多個逆色調映射參數等。
[24]現在將參照各個附圖描述示例性實施方式的詳細描述。雖然該描述提供了可能實施的詳細示例，但應當注意的是，細節是示例性的，並且不以任何方式限制本申請的範圍。此外，附圖可以示出流程圖，其旨在是示例性的。可使用其他實施方式。在適當的情況下，消息的順序可被改變。如果不需要，則消息可被省略，並且可增加附加的流。 [25]可分級視訊編碼可改善在異構網路上對在具有不同能力的裝置上運行的視訊應用的體驗品質。可分級視訊編碼可以最高表示（例如，時間解析度、空間解析度、品質等等）對信號編碼一次，但依賴於用戶端裝置上運行的某些應用所需的特定速率和表示來賦能從視訊流的子集進行解碼。與不可分級的解決方案相比，可分級視訊編碼可節省頻寬及/或記憶體。國際視訊標準（如MPEG-2視訊、H.263、MPEG4視覺、H.264等）可以具有支援可分級性模式的工具及/或配置檔。 [26]第1圖是示出基於塊的混合可分級視訊編碼系統的示例的圖。可通過對輸入視訊信號進行下採樣來產生可由層1（例如，基礎層）表示的空間/時間信號解析度。合適的量化器（例如，Q1）的設置可導致特定品質等級的基礎資訊。可以是更高層解析度等級中的一者或多者（例如，所有）的近似的基礎層重建Y1可以在對隨後的層進行編碼/解碼中被使用，例如，以更有效地對隨後的更高層進行編碼。上採樣單元1010及/或1012可對基礎層重建信號執行上採樣以達到層2的解析度。可遍及每一層（例如，1,2…N）來執行下採樣和上採樣。下採樣率和上採樣率可根據兩個給定層間的可分級性的維度而不同。 [27]如第1圖所示，對於任意給定的較高層n（2≤n≤N），可通過從當前層n信號中減去經上採樣的較低層信號（例如，層n-1信號）來產生差分信號。所獲取的差分信號可被編碼。如果由兩層（例如，n1和n2）表示的視訊信號具有相同的空間解析度，對應的下採樣和上採樣操作可以被旁路。可在不使用任何來自更高層的解碼資訊的情況下，對任意給定的層n（1≤n≤N）或多個層進行解碼。如第1圖的系統所採用的，依賴於對除基礎層外的層的殘差分信號（例如，兩層間的差分信號）的編碼可導致視覺偽像（artifact）。所述視覺偽像可能是由於對殘差分信號進行量化和標準化以限制其動態範圍的期望，及/或在殘差的編碼期間執行的附加量化。一個或多個較高層編碼器可採用運動估計及/或運動補償預測作為編碼模式。在殘差分信號中的運動估計及/或運動補償可與常規運動估計不同，並且，例如，可更易於產生視覺偽像。更複雜的殘差量化、和在對殘差分信號進行量化和標準化以限制其動態範圍的期望與在所述殘差的編碼期間執行的附加量化之間的聯合量化可被利用，並可增加系統複雜度，例如，以使所述視覺偽像最小化。第1圖的系統可以不考慮其他層間預測模式，這會限制其能實現的壓縮效率等級。 [28]可分級視訊編碼（SVC）是H.264的擴展，其可以賦能部分位元串流的傳輸和解碼，例如以提供具有較低時間或空間解析度或者降低的保真度的視訊服務，同時在給定部分位元串流的速率的情況下，保持重建品質（例如，較高的重建品質）。SVC可包括單環路解碼(這規定SVC解碼器在正被解碼的層處建立一個運動補償環路)，而在其他更低層處不建立運動補償環路。例如，如果位元串流包括2層：層1（例如，基礎層）和層2（例如，增強層）。解碼器可通過設置解碼圖像緩衝和運動補償預測（例如，針對層1而不針對層2；層2可依賴於層1）來重建層2視訊。SVC可以不需要來自將被全部重建的更低層的參考圖像，這可降低計算複雜度和解碼器利用的記憶體。通過被約束的層間紋理預測可實現單環路解碼。對於給定層中的塊（例如，當前塊），如果對應的低層塊以內模式被編碼（例如，受限制的內預測），可利用來自更低層的空間紋理預測。當更低層塊以內模式被編碼時，其可以被重建，而不需要運動補償操作和解碼圖像緩衝。SVC可利用附加的層間預測技術，例如，運動向量預測、殘差預測、模式預測等。SVC的單環路解碼特徵可降低計算複雜度及/或解碼器所利用的記憶體。單環路解碼可例如通過強烈依賴於塊級層間預測實施來實現滿意的性能而增加實施複雜度。編碼器設計和計算複雜度可以被增加，以使可以實現期望的性能，例如，以補償通過施加單環路解碼約束而導致的性能損失。具有足夠性能的SVC可能不支援交錯（interlaced）內容的可分級編碼，這會影響其在廣播工業的應用。 [29]多視圖視訊編碼（MVC）是H.264的示例擴展，其可以提供視圖可分級性。視圖可分級性意味著基礎層位元串流可被解碼以重建常規的2D視訊，而附加的增強層可被解碼以重建相同視訊信號的其他視圖表示。當一個或多個視圖（例如，所有視圖）被合併在一起並由合適的3D顯示器顯示時，用戶可以合適的深度感體驗3D視訊。第2圖是示出使用MVC對具有左視圖（例如，層1）和右視圖（例如，層2）的立體視訊進行編碼的示例預測結構的圖。如第2圖中的示例所示，可以用IBBP預測結構對左視圖視訊編碼。可以用PBBB預測結構對右視圖視訊編碼。例如，在右視圖中，與左視圖中的第一I圖像2002的第一共位圖像可以被編碼為P圖像2004。右視圖中其他圖像中的每一者可以被編碼為B圖像，例如，使用來自右視圖中的時間參考的第一預測和來自左視圖中的層間參考的第二預測。MVC可能不支持單環路解碼。例如如第2圖所示，右視圖（例如，層2）視訊的解碼可能需要左視圖（例如，層1）中的全部圖像可用，其可在兩個視圖/層中支持運動補償環路。 [30]MVC可包括（例如，僅包括）高級語法變化，並且不包括對H.264/AVC的塊級變化。例如，由於底層MVC編碼器/解碼器邏輯可以保持相同並且可被複製，切片（slice）級/圖像級的參考圖像（例如，僅參考圖像）可被正確配置以賦能MVC。MVC可通過擴展第2圖的示例來支持多於兩個的視圖的編碼，以在多個視圖之間執行層間預測。 [31]運動圖像專家組（MPEG）訊框相容（MFC）編碼可以被用作編碼技術。3D內容可以是包括一個或多個視圖（如左視圖和右視圖）的立體3D視訊。可通過將兩個視圖打包/多工成一個訊框、使用編解碼器（例如，H.264/AVC）壓縮以及傳送被打包的視訊來實現立體3D內容分發。在接收機側，在解碼之後，訊框可以被拆封並被顯示為兩個視圖。所述視圖可在時域及/或空間域中被多工。當所述視圖在空間域中被多工時，所述兩個視圖可在空間上按照因數（例如，因數2）來被下採樣，並按照各種排列（arrangement）被打包，例如，以保持相同的圖像大小。舉例來說，圖像可被排列有圖像的左半部分上的下採樣後的左視圖，以及圖像的右半部分上的下採樣後的右視圖。其他排列可以包括上和下（top-and-bottom）、逐行、棋盤格等等。用於實現訊框相容3D視訊的特定排列可由訊框打包排列SEI資訊來傳達。空間下採樣可導致視圖中的混淆現象以及降低視覺品質和3D視訊的用戶體驗。焦點可以被放在提供對訊框相容（例如，被打包為同一訊框的兩個視圖）基礎層視訊的可分級擴展，及/或為改善的3D體驗提供一個或多個增強層以恢復全解析度視圖。雖然其在提供3D視訊分發方面是適合的，但賦能全解析度MFC的底層技術可與空間可分級性技術相關。 [32]可提供HEVC的可分級增強。標準可分級性可指當用一種標準（例如H.264/AVC或MPEG2）對基礎層進行編碼，同時可用另一標準（例如HEVC標準）對一個或多個增強層進行編碼時的可分級性的類型。標準可分級性可提供對使用之前的標準編碼的舊有內容的向後相容性，並且可以使用一個或多個增強層提高舊有內容的品質。 [33]可提供3D視訊編碼（3DV）。3DV可提供一個或多個不同的視圖可分級性，其可以裸眼立體（autostereoscopic）應用為目標。裸眼立體顯示和應用可以允許人們體驗3D，而無需笨重的眼鏡。為了在沒有眼鏡的情況下實現良好的3D體驗，可以採用多於兩個的視圖。對多於兩個的視圖（例如，9個視圖或10個視圖）進行編碼會很昂貴。3DV可採用對具有相對較大視差的少量視圖（例如，2或3個視圖）一起編碼、及/或對具有一個或多個可以提供視圖的深度資訊的深度圖的少量視圖進行編碼的混合方式。這可被稱為多視圖加深度（MVD）。在顯示器側，編碼後的視圖和深度圖可以被解碼。使用視圖合成技術利用解碼後的視圖和它們的深度圖來生成其餘視圖。3DV可利用多種實現方式來對視圖和深度圖編碼，例如，採用不同標準的組合對其編碼，例如但不限於H.264/AVC、MVC、HEVC等等。3DV可用一種標準（例如，H.264/AVC）對基礎層編碼，而用另一種標準（例如，HEVC）對一個或多個增強層編碼。 [34]表1提供了不同類型的可分級性和可以支持他們的對應的標準的示例。位深可分級性和色度格式可分級性可與主要由專業視訊應用使用的視訊格式（如高於8位元視訊和高於YUV4:2:0的色度採樣格式）相關聯。可提供縱橫比可分級性。
表1
[35]可分級視訊編碼可提供與使用基礎層位元串流的第一視訊參數集相關聯的第一視訊品質等級。可分級視訊編碼可提供與使用一個或多個增強層位元串流的一個或多個增強型參數集相關聯的一個或多個更高品質等級。視訊參數集可包括空間解析度、訊框速率、重建視訊品質（例如，以SNR、PSNR、VQM、視覺品質等的形式）、3D能力（例如，具有兩個或更多個視圖）、亮度和色度位深、色度格式和底層單層編碼標準中的一者或多者。如表1所示，不同的使用情況可能需要不同類型的可分級性。如此處討論的，可分級編碼架構可提供可被配置成支援一種或多種可分級性（如表1所列出的分級性）的公共結構。可分級編碼架構可以最小的配置工作量（effort）來靈活地支持不同的可分級性。可分級編碼架構可包括至少一種不需要改變塊級操作的較佳的操作模式，以使在可分級編碼系統中最大限度地重新使用編碼邏輯（例如，編碼及/或解碼邏輯）。例如，可提供基於圖像級層間處理和管理單元的可分級編碼架構，其中可在圖像級執行層間預測。 [36]第3圖是兩層可分級視訊編碼器的示例架構的圖。舉例來說，通過可實現空間可分級性的下採樣過程，增強層視訊輸入和基礎層視訊輸入可彼此對應。如第3圖所示，可使用下採樣器3002對增強層視訊進行下採樣。基礎層編碼器3006（例如，本示例中的HEVC編碼器）可逐塊對基礎層視訊輸入進行編碼，並生成基礎層位元串流。第5圖是示出可被用作第3圖中的基礎層編碼器的示例基於塊的單層視訊編碼器的圖。如第5圖所示，單層編碼器可使用如空間預測5020（如被稱為內預測）及/或時間預測5022（例如，被稱為間預測及/或運動補償預測）的技術來實現有效壓縮，及/或預測輸入視訊信號。編碼器可具有能選擇最合適的預測形式的模式判定邏輯5002。編碼器判定邏輯可以基於速率和失真考慮的組合。編碼器可分別使用轉換單元5004和量化單元5006來轉換和量化預測殘差（例如，輸入信號與預測信號間的差分信號）。被量化的殘差和模式資訊（如內或間預測）以及預測資訊（例如，移動向量、參考圖像索引、內預測模式等等）可以在熵編碼器5008被進一步壓縮，並被打包成輸出視訊位元串流。編碼器還可通過對被量化的殘差施加逆量化（如使用逆量化單元5010）和逆轉換（例如，使用逆轉換器5012）以獲取重建殘差，來生成重建視訊信號。編碼器可把重建視訊信號添加回至預測信號5014。重建視訊信號可通過環路濾波處理5016（例如，使用去塊濾波器、採樣適應偏移及/或適應環路濾波器），並被儲存在參考圖像儲存庫（store）5018中，以用於預測將來的視訊信號。 [37]術語參考圖像儲存庫在這裏可與術語解碼圖像緩衝或DPB替換使用。第6圖是示例基於塊的單層解碼器的框圖，該基於塊的單層解碼器可接收由第5圖的編碼器產生的視訊位元串流，並可以重建待被顯示的視訊信號。在視訊解碼器處，位元串流可以由熵解碼器6002解析。殘差係數可以被逆量化（例如，使用逆量化單元6004）和逆轉換（例如，使用逆轉換單元6006）以獲得重建殘差。可利用編碼模式和預測資訊來獲得預測信號。可使用空間預測6010及/或時間預測6008來完成這一步驟。預測信號和重建殘差可以被疊加在一起以得到重建視訊。此外，重建視訊可通過環路濾波（例如，使用環路濾波器6014）。然後，重建視訊可被儲存在參考圖像儲存庫6012中，以被顯示及/或被用於解碼將來的視訊信號。 [38]如在第3圖的示例可分級編碼器中示出的，在增強層，增強層（EL）編碼器3004可採用更高空間解析度（及/或其他視訊參數的更高值）的EL輸入視訊信號。EL編碼器3004可以與基礎層視訊編碼器3006基本相似的方式產生EL位元串流，例如，利用空間及/或時間預測來實現壓縮。附加的預測形式（此處被稱為層間預測（ILP）（例如，第3圖中陰影箭頭所指示的））可在增強編碼器處可用以改善其編碼性能。不像基於在當前增強層中的編碼視訊信號來得出預測信號的空間和時間預測，層間預測可基於來自基礎層（及/或當在可分級系統中存在多於兩個的層時的其他更低層）的編碼視訊信號來得出預測信號。在可分級系統中，可存在至少兩種形式的層間預測，即圖像級ILP和塊級ILP。此處討論圖像級ILP和塊級ILP。位元串流多工器（例如，第3圖中的MUX 3014）可將基礎層和增強層位元串流合併在一起，以產生一個可分級的位元串流。 [39]第4圖是2-層可分級視訊解碼器的示例架構的框圖。第4圖的2-層可分級視訊解碼器架構可對應於第3圖的可分級編碼器。例如，解多工器（例如，DEMUX 4002）可將可分級位元串流分為基礎層和增強層位元串流。基礎層解碼器4006可對基礎層位元串流解碼並重建基礎層視訊。增強層解碼器4004可對增強層位元串流解碼。增強層解碼器可使用來自當前層的資訊及/或來自一個或多個相關（dependent）層（如基礎層）的資訊進行上述步驟。例如，來自一個或多個相關層的所述資訊可通過層間處理，這在使用圖像級ILP及/或塊級ILP時可以被實現。雖然第3圖和第4圖中未示出，在MUX 3014處，附加ILP資訊可與基礎層和增強層位元串流一起被多工。ILP資訊可由DEMUX 4002解多工。 [40]第7圖是支援圖像級ILP的兩層可分級編碼系統的示例。第7圖中的BL編碼器7006（如HEVC編碼器）可使用空間及/或時間預測的組合來對BL視訊輸入編碼，例如但不限於參考第5圖所討論的。BL編碼器可建立用於儲存重建的圖像的基礎層DPB 7010，以例如通過時間運動補償預測來執行對輸入視訊信號的預測。在增強層中，EL編碼器7004可以以與BL編碼器7006基本上相似的方式運行。可提供參考圖像以供EL編碼器對輸入EL視訊進行預測的增強層DPB 7008可包括來自當前增強層的參考圖像及/或來自一個或多個相關層的DPB（例如，第7圖所示的BL DPB 7010）的參考圖像。來自BL DPB的參考圖像可在被用於預測EL視訊之前由層間預測處理和管理單元7012進行處理。層間預測處理和管理單元7012可在使用來自BL DPB 7010的圖像預測EL視訊之前先對其進行處理。ILP處理和管理單元7012可將儲存在BL DPB 7010中的一個或多個參考圖像處理成適用於增強層視訊的預測的格式。ILP處理和管理單元7012可管理處理後的參考圖像，並適應性地決定哪些被處理的圖像可以被用作由EL編碼器7004進行的對EL視訊的預測。 [41]ILP處理和管理單元可將儲存在BL DPB中的參考圖像處理成適用於增強層視訊的預測的格式。處理的本質可以基於BL與EL間的可分級性的類型。例如，如果BL視訊和EL視訊具有不同的空間解析度，所述處理可涉及上採樣，以對準BL和EL空間解析度。所述處理可傳達在上採樣過程中使用的參數。例如，ILP處理和管理單元7012可建立預定義的上採樣濾波器集合。ILP處理和管理單元7012可選擇預定義的上採樣濾波器中的一者或多者來對BL DPB中的圖像進行上採樣，並且可以在位元串流中發送一個或多個對應的濾波器索引。例如，解碼器可執行相同的上採樣過程。ILP處理和管理單元可得出（例如，適應地得出）有益於使用的一個或多個上採樣濾波器（例如，在意義上是，經上採樣的參考可以用於更有效地預測EL視訊，並產生更良好的速率失真特性）。當使用適應上採樣濾波器時，濾波器係數和濾波器分接頭（tap）的大小可被包括在位元串流中。 [42]在另一個SNR或品質可分級性的示例中，BL視訊和EL視訊可以具有相同的解析度。BL視訊可用較粗量化（例如，較低位元速率和較低品質）編碼，然而EL視訊可用較細量化（例如，較高位元速率和較高品質）編碼。ILP處理和管理單元7012可對BL DPB 7010中的參考圖像執行去雜訊及/或圖像恢復類型的操作。所述去雜訊或恢復操作可包括但不限於適應濾波器（例如，基於最小二乘或LS技術）、採樣適應偏移（SAO）（例如，可被HEVC支持）及/或以減小量化雜訊為目標的其他類型的去雜訊濾波器。在去雜訊或恢復操作中使用的相應參數可被用信號發送至解碼器。所述去雜訊或恢復技術可與上採樣過程合併，以改善對於空間可分級性情況的預測效率。如第7圖所示，編碼的EL位元串流、編碼的BL位元串流和ILP資訊可被多工（如MUX 7014）成可分級HEVC位元串流。 [43]作為視圖可分級性的示例，BL視訊和EL視訊可代表立體3D視訊的兩個視圖。BL視訊可代表一個視圖而EL視訊可代表另一個補充視圖。ILP處理和管理單元可對BL DPB中的參考圖像施加視差補償，以使其成為對於EL視訊的有效預測信號。對於執行相同的視差補償處理的解碼器，在視差補償期間使用的參數（例如，在使用仿射變換的情況下的仿射變換參數，及/或在使用翹曲（warp）的情況下的翹曲參數）可以在位元串流中被用信號發送。 [44]表2示出了ILP處理和管理單元可以執行的功能的示例和特定功能可以被使用所針對的對應的可分級性類型的列表。
表2
[45]ILP處理和管理單元可管理處理後的參考圖像，並可決定（例如，適應地決定）哪些參考圖像可被用作由EL編碼器進行的預測。ILP處理和管理單元可確定有多少處理後的ILP圖像和哪些處理後的ILP圖像可被用於當前增強層圖像的預測。第9圖是示出使用對增強層編碼賦能的時間預測和層間預測的兩層系統的示例的圖。對於時間預測，第9圖中的預測結構可被稱為分層B預測。對於EL圖像，其參考圖像可以是時域中的參考圖像、BL中其共位的圖像及/或共位的BL圖像的時間參考圖像的組合。例如，圖像EL2 9006可根據時間參考（如EL0 9004及/或EL4 9008）及/或層間參考（BL2 9010，BL0 9002，BL4 9012）被預測。層間參考的集合（BL2，BL0，BL4）可在被用於預測EL2圖像9006前先由ILP處理和管理單元處理。如此處所述，ILP處理可將BL參考圖像處理成適用於EL的格式（如合適的空間解析度，位深等），及/或例如通過對基礎層圖像施加去雜訊及/或恢復來改善ILP參考的預測品質。 [46]處理後的ILP參考圖像可提供有效的預測信號。從增強層中的多個參考中進行選擇可能會引起問題。例如，在塊級，用於指示哪個或哪些參考圖像可以被選擇以獲得一個或多個預測信號的信令開銷會增大。因為可以對擴展的參考圖像集合執行運動估計，所以編碼複雜度也會增大。參考圖像選擇和管理可提供有效的可分級編碼，而不增加複雜度。 [47]第10圖是示例ILP處理和管理單元的圖。在時間實例“t”，基礎層共位圖像BLt 1054和來自BL DPB 1056的其參考圖像BLt-1、BLt-2和BLt+1可被處理以成為ILPt、ILPt-1、ILPt-2和ILPt+1。這些ILP參考和時間參考ELt-1、ELt-2和ELt+1可以由ILP管理單元1064檢查。可以選擇一個子集。在第10圖的示例中，被選擇的參考圖像可包括非共位的層間參考圖像（如ILPt+1 1070）。對於其他示例，所選擇的參考圖像可包括對應於相同時間實例的多於一個的參考圖像（如，ILPt+1 1070和ELt+1 1068）。 [48]例如，ILP管理單元1064可在當前EL圖像（ELt）與時間和層間參考的合併集（ELt-1，ELt-2，ELt+1，ILPt，ILPt-1，ILPt-2，ILPt+1）中的一個或多個參考之間執行運動估計（例如，整數圖元運動估計）。ILP管理單元1014可收集當前圖像與被檢查的一個或多個參考圖像間的運動估計失真（如，平方誤差的和，均方誤差，及/或絕對轉換失真的和）。ILP管理單元1064可選擇導致運動估計失真低於預定義的閾值的參考圖像的子集。ILP處理和管理單元1064可按照失真增加的順序選擇參考圖像的子集，直到選出預定義數量的參考。可採用多通道編碼來執行ILP管理操作。例如，第一編碼通道可用於獲取適合於選擇參考圖像的子集的視訊編碼統計，而一個或多個隨後的編碼通道可被用於對當前EL圖像編碼，直到編碼性能（如，依據其速率失真特性）被認為符合要求。如第10圖所示，當確定要使用哪些參考圖像時，ILP管理單元1064可將增強層視訊作為其的一個輸入。 [49]執行圖像級ILP可允許底層低級編碼和解碼邏輯保持與在單層非可分級的系統中使用的那些基本上相同。例如，如第7圖所示，增強層編碼器（如HEVC編碼器）可以以與基礎層編碼器（如HEVC編碼器）基本上相同的方式運行，可能的例外是在圖像或切片級進行最小的重新配置（例如，以包括層間參考圖像）。ILP處理和管理單元可賦能可分級編碼。ILP處理和管理單元可在系統中作為附加塊運行。許多應用都非常期望這種特性，因為單層編碼器和解碼器設計可被最大限度地重新使用，因此顯著降低實施複雜度。 [50]第7圖中的EL編碼器7004可將在ILP處理和ILP管理期間使用的各種參數用信號發送給第8圖中的EL解碼器8004，以能夠構建和使用相同的層間參考。這些資訊（在此處被稱為ILP資訊）可作為可分級位元串流的一部分被發送。如第7圖所示，ILP處理和管理單元7012可將ILP資訊從包括BL和EL視訊的編碼視訊資料的封包中單獨封包化。可從視訊封包中單獨發送ILP資訊，來以獨立的方式實施ILP處理和管理單元並降低實施複雜度。例如，在HEVC和H.264中，網路抽象層（NAL）單元可以被作為封包化單元。對於使用HEVC和H.264作為底層單層編解碼器的可分級系統，ILP處理和管理單元可以在單獨的NAL單元中發送ILP資訊。在第7圖中，MUX 7014可對用EL位元串流和BL位元串流攜帶ILP資訊的NAL單元進行多工。例如，如第8圖所示，DEMUX單元8002可接收包括NAL單元的可分級位元串流，所述NAL單元對應於BL編碼切片/圖像、EL編碼切片/圖像以及ILP資訊。DEMUX單元可對位元串流進行解多工，並向BL解碼器發送對應於BL編碼切片/圖像的NAL單元，向EL解碼器發送對應於EL編碼切片/圖像的NAL單元，以及向ILP處理和管理單元發送對應於ILP資訊的NAL單元。 [51]可分級視訊編碼系統可在HEVC中使用適應參數集（APS）來傳達ILP處理和管理單元所需的ILP資訊。APS封包可以是單獨的NAL單元，例如具有特定的nal_單元_類型（nal_unit_typ）。APS NAL單元可包括在單層編碼中使用的編碼參數，如適應環路濾波（ALF）參數及/或去塊濾波器參數。每個APS NAL單元可被分配一個aps_id，其可由編碼切片使用以識別從哪個APS獲取這些編碼參數。HEVC中的APS語法可包括1位元標誌，aps_擴展_標誌（aps_extension_flag）。例如，當aps_extension_flag被設置為1時，隨後可以是附加的APS資料。此處所公開的可分級系統可攜帶作為APS擴展的一部分的ILP資訊。ILP資訊可包括ILP處理參數（例如，在空間可分級性被賦能的情況下的上採樣濾波器，在視圖可分級性被賦能的情況下的視差補償參數，在位深可分級性被賦能的情況下的逆色調映射參數等等）。ILP資訊可包括ILP管理參數。ILP管理參數可指定時間參考及/或層間參考的子集來預測當前EL圖像，可與其他參考圖像信令進行合併。ILP管理參數可能不是APS擴展的一部分，且可以作為切片片段標頭的一部分被用信號發送。 [52]層間處理可從基礎層DPB中得出重建的紋理，並應用高級濾波技術，以及在層間處理期間可依賴於來自基礎層位元串流的某個模式和運動資訊，例如，以改善增強層中的編碼效率。ILP可利用超過來自BL DPB的重建的紋理資料的基礎層資訊。可提供內模式相關方向濾波器（IMDDF）。例如，內編碼基礎層塊的內預測模式可用於選擇合適的方向濾波器，所述方向濾波器在增強層編碼期間被用來進行層間預測前先被應用到基礎層重建圖像。可提供運動場映射（MFM）。來自基礎層位元串流的塊運動資訊（例如，其可包括參考圖像索引和運動向量）可被映射以形成針對ILR圖像的“虛擬”運動場。所映射的虛擬運動場可被用於例如通過由HEVC支持的時間運動向量預測（TMVP）來預測增強層運動。 [53]來自基礎層位元串流的模式和運動資訊是否可用取決於BL解碼器的特定實施。例如，如果第8圖中的可分級解碼系統使用HEVC的ASIC實施作為其BL解碼器，BL解碼器可能不通過開放應用程式介面（API）向ILP處理和管理單元提供模式和運動資訊。當來自基礎層的附加的模式和運動資訊（例如，如第8圖中的點劃線所示）不可用時，高級ILP處理可被禁用。 [54]標準可分級性可允許BL編解碼器和EL編解碼器（如第7圖和第8圖中的編解碼器）是不同的編解碼器。例如，BL編解碼器可使用H.264/AVC標準而EL編解碼器可使用HEVC標準。當BL和EL編解碼器不同時，對EL編解碼器有用的某個資訊可不自動存在於BL編解碼器中。例如，HEVC標準可利用參考圖像集（PRS）來實現DPB管理。在H.264/AVC標準中，可以由滑動窗DPB管理和儲存管理命令選項（MMCO）的組合提供類似於RPS的功能性。如果EL編解碼器根據例如此處所述的一種或多種實施執行層間RPS預測，並且如果BL編解碼器因其基於H.264/AVC而不產生RPS資訊，就不能以直接的方式應用層間RPS預測。在一些情況下，例如，如果BL編解碼器使用不同於EL編解碼器的標準，對EL編解碼器有用的一種或多種類型的資訊可能是不可用的。 [55]例如，由於實施限制，基礎層（BL）視訊位元串流資訊可變得不可用，及/或不具有用於有效的EL視訊編碼的合適的格式。此處所述的實施可包括增強型ILP處理和管理單元。所述增強型ILP單元可執行附加功能，以改善編碼效率及/或提供對可分級編碼系統的最大設計靈活性。 [56]可提供增強型ILP單元。可利用增強型ILP單元來在不降低可分級編碼效率的情況下克服限制（如，實施限制）。增強型ILP單元可將儲存在BL DPB中的參考圖像處理為適合於對增強層視訊進行預測的格式。增強型ILP單元可管理處理後的參考圖像及/或決定（例如，適應地決定）哪些處理後的圖像將被用作由EL編碼器進行的對EL視訊的預測。增強型ILP單元可從基礎層位元串流中提取可被用於層間預測的模式和運動資訊。例如，增強型ILP單元可使用被提取的模式和運動資訊來將儲存在BL DPB中的參考圖像處理為適合於對增強層視訊進行預測的格式。增強型ILP單元可將來自基礎層位元串流的資訊轉化為將在增強層編碼中使用的合適的格式。例如，增強型ILP單元可將在H.264/AVC BL編解碼器中使用的滑動窗DPB管理和MMCO轉化為將由EL中的HEVC編解碼器使用的RPS。 [57]第12圖是示出使用增強型ILP單元1202的可分級解碼系統的示例的圖。如第12圖所示，增強型ILP單元1202可執行一個或多個功能，例如包括對資訊進行處理、管理、提取或轉化。增強型ILP單元1202可利用BL重建圖像，並根據由位元串流解多工器（DEMUX）提供的ILP資訊來應用層間處理技術，以生成處理後的BL重建圖像。如果BL解碼器1212不能提供用於層間處理的資訊，（例如，BL解碼器1212提供重建的BL圖像但不提供BL位元串流的模式和運動資訊），增強型ILP單元1202可得出該資訊（例如，通過增強型ILP單元的提取功能，例如，如此處所述）。一個或多個處理後的BL重建圖像可被插入到EL DPB 1214中，以進行增強層編碼。 [58]增強型ILP單元1202可利用DEMUX 1216提供的ILP資訊，並可確定所述一個或多個處理後的BL重建圖像中的哪些可被插入到EL DPB 1214中。增強型ILP單元可確定處理後的BL重建圖像的順序。BL資訊可能不具有用於增強型ILP單元（例如，用於增強型ILP單元的管理功能）的合適的格式。例如，如果BL位元串流使用不同於由EL編解碼器使用的標準的標準來被編碼，BL資訊可能不具有合適的格式。如果BL資訊不具有用於增強型ILP單元1202的合適的格式，增強型ILP單元1202可將BL資訊重新格式化及/或轉化為合適的格式（例如，通過增強型ILP單元1202的轉化功能，例如此處所述的）。如第5圖中的示例所示，增強型ILP單元1202可利用經轉化的BL資訊來執行合適的參考圖像緩衝管理。 [59]增強型ILP單元1202可提取BL資訊。例如，如果BL視訊資訊能夠由增強型ILP單元（例如，對於增強型ILP單元的處理功能）使用，但所述BL視訊資訊不可從BL解碼器獲得，則增強型ILP單元可以解析BL位元串流並提取所述資訊（例如，例如但不限於BL模式和運動資訊）。所解析和提取出的資訊可被增強型ILP單元使用（例如，被增強型ILP單元的處理功能所使用）。例如，BL模式資訊可包括但不限於：基礎層塊是間編碼的還是內編碼的，對於內編碼的基礎層塊的定向內預測模式等。BL運動資訊可包括但不限於：基礎層塊劃分、基礎層塊預測方向資訊（例如，單向預測或雙向預測）、基礎層塊運動向量、基礎層塊參考圖像索引等等。 [60]增強型ILP單元可轉化BL資訊。例如，如果BL視訊資訊不具有將由增強層編碼使用的合適的格式，則增強型ILP單元可將BL視訊資訊重新格式化和轉化為適用於增強層編碼的格式。例如，當可分級系統（例如，第7圖和第8圖中所示例的）使用不同的BL和EL編解碼器時，增強型ILP單元可重新格式化和轉化BL資訊。當可分級系統中使用混合編解碼器時，增強型ILP單元可將來自BL編解碼器的資訊轉化和準備成將由EL編解碼器使用的合適的格式。例如，當增強層編解碼器使用HEVC時，基於來自H.264/AVC基礎層編解碼器的滑動窗和MMCO命令的DPB管理資訊可被轉化為用於EL編碼的RPS。增強型ILP單元可將來自任意BL編解碼器的BL資訊重新格式化並轉化為可由任意增強層編解碼器使用的資訊。如第12圖所示，增強型ILP單元的輸出可包括例如處理後的BL圖像，所述處理後的BL圖像可被插入到EL解碼圖像緩衝（DPB）1214中，以進行有效的層間預測。增強型ILP單元可輸出BL模式和運動資訊，經轉化的RPS資訊等。 [61]增強型ILP單元1202可提供可用於實現有效可分級視訊編碼的資訊，例如當這種附加資訊不容易從基礎層編解碼器中獲得時。增強型ILP單元1202可被設計用於使單層編解碼器實施的使用最大化。增強型ILP單元1202可在BL編解碼器與EL編解碼器間提供無縫且有效的介面，例如，通過吸收單層編解碼器實施無法執行的功能。例如，增強型ILP單元1202可允許有效的可分級編碼，而不影響基礎層和增強層編解碼器的較低級的功能（例如，內預測、間預測、轉換、量化、逆轉換、逆量化、環路濾波、塊重建等等）。可在具有高編碼效率和能支援混合編解碼器架構（例如，基礎層編碼器及/或解碼器以及增強層編碼器及/或解碼器可採用不同的編解碼器）的可分級系統中使用增強型ILP單元1202。增強型ILP單元可降低實施成本並保持可分級編碼效率。 [62]參考第3圖和第4圖，塊級ILP可被用於進一步改善可分級編碼性能。雖然塊級ILP可能需要增強層編碼器和解碼器具有和基礎層編碼器和解碼器不同的底層邏輯（例如，以附加編碼模式、針對演算法編碼的附加環境（context）等的形式），但是塊級ILP可允許編碼器基於速率失真考慮從擴展的操作模式集合中做選擇。附加的選擇可表現在以更高可分級編碼性能的形式。例如，視訊編碼標準可以是具有第5圖和第6圖所示的框圖的混合的基於塊的視訊編碼系統。 [63]在HEVC的情況下，視訊塊在被用於預測時可被稱為預測單元（PU），在被用作編碼單元時可被稱為編碼樹塊（CTB），以及在被用於轉換和逆轉換時可被稱為轉換單元（TU）。HEVC可使用基於四元樹（QT）的分區（partitioning）。因為基礎層和增強層視訊信號是相關的，對應的塊編碼模式和大小（包括但不限於PU、TU和CTB）也是相關的。增強層編碼器和解碼器可利用所述相關來改善增強層中的QT分裂的編碼、PU、TU和CTB模式及/或大小。這可減小信令開銷。當在兩層之間賦能空間可分級性時，可首先應用塊大小調整。例如，如果EL視訊和BL視訊的空間比率是2:1時（例如，EL視訊在每個維度中是2倍那麼大），則基礎層PU、TU和CTB的大小在被用於預測增強層塊大小前可在每個維度中乘以因數2。基礎層塊模式及/或大小可被用作附加的二進位演算法編碼器的環境，以對增強層塊模式及/或大小進行編碼。視訊編碼系統可將得出的塊（例如，PU、TU或者CTB）資訊（例如，模式及/或大小）分配給圖像級層間參考圖像。視訊編碼裝置可使用這些得出的塊資訊來預測在層（例如EL層）處的塊。 [64]當在同一時間實例t，針對基礎層和增強層圖像及/或切片賦能運動補償預測時，來自基礎層的運動向量可被用於預測增強層中的運動向量。例如，當空間可分級性被賦能時，來自基礎層的運動向量可以被適當地分級。例如，如第11圖所示，在同一時間實例t，在BL 1102中，可在時間實例（t-1）利用運動向量MVa 1106從BL參考預測水平散列的塊1104。如果在時間實例（t-1）1108從EL參考預測出，EL中的分級水平散列的塊可以具有其值接近於R*MVa的運動向量，其中R可以是空間分級比率。對於EL中垂直散列的塊1110，對應的基礎層垂直散列的塊1112可從時間實例（t-2）1114利用運動向量MVb來預測。如果在時間實例（t-2）1116從EL參考預測出，EL中的分級垂直散列的塊可以具有其值基本上接近於R*MVb的運動向量。當視圖可分級性被賦能時，代表第一視圖的來自基礎層的運動向量可被翹曲及/或仿射變換，以補償視圖偏差，以使它們能與代表第二視圖的增強層中的運動向量最大限度地相關。為了利用層間運動向量間的這種強相關性，分級基礎層運動向量（或在視圖可分級性的情況下被翹曲/轉換的運動向量）可被用作運動向量預測者，以減少增強層運動向量編碼位元。 [65]塊級層間預測可涉及根據基礎層殘差預測增強層中的殘差分信號。例如，殘差預測可以在從增強層殘差中減去來自基礎層的塊殘差（例如，如果需要，在被上採樣成合適的維度之後）的情況下被執行，以進一步減少增強層殘差能量和對其進行編碼所需的位元數。可使用塊級層間預測技術來以類似於在SVC中所使用的方式對EL紋理（例如，圖元值）編碼。在以上討論的可分級系統中，可以圖像級ILP的形式提供紋理預測。 [66]用於多層視訊編碼的可分級架構（例如，靈活的可分級架構）可被重配置為支援表1所列的不同類型的可分級性中的任意一者。例如，一個操作模式可集中於圖像級ILP。例如，ILP處理和管理單元可處理基礎層參考圖像，使得基礎層參考圖像集可以具有合適的格式，並可以為增強層視訊編碼提供準確和有效的預測信號。例如，ILP處理和管理單元可從時間參考和處理後的層間參考的組合中選擇子集，以實現任意良好的速率、失真及/或計算複雜度的權衡。例如，ILP處理和管理單元可將ILP資訊封包化成單獨的NAL單元，使得可以以對基礎和增強層編碼器和解碼器操作最小的干擾來執行層間預測操作。圖像級ILP的包含物可以通過允許可分級系統在基礎層和增強層處最大限度地重新使用單層編碼器和解碼器邏輯來降低實施複雜度。 [67]第13A圖是在其中可以實施一個或多個公開的實施方式的示例通信系統100的圖。通信系統100可以是向多個無線用戶提供內容（例如語音、資料、視訊、消息發送、廣播等）的多重存取系統。通信系統100可以使多個無線用戶能夠通過系統資源（包括無線頻寬）的共用來存取這些內容。例如，通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取（CDMA），分時多重存取（TDMA），分頻多重存取（FDMA），正交FDMA（OFDMA），單載波FMDA（SC-FDMA）等。 [68]如第13A圖所示，通信系統100可以包括無線發射/接收單元（WTRU）102a、102b、102c、及/或102d（其通常或整體上被稱為WTRU 102），無線電存取網路（RAN）103/104/105，核心網路106/107/109，公共交換電話網路（PSTN）108、網際網路110和其他網路112。不過應該理解的是，公開的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是被配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號，並可以包括無線發射/接收單元（WTRU）、移動站、固定或者移動用戶單元、傳呼機、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、上網本、個人電腦、無線感測器、消費電子產品等等。 [69]通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是被配置為與WTRU 102a、102b、102c、102d中的至少一個無線有無線介面以便於存取一個或者多個通信網路（例如核心網路106/107/109、網際網路110及/或網路112）的任何類型的裝置。作為示例，基地台114a、114b可以是基地台收發台（BTS）、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點（AP）、無線路由器等等。雖然基地台114a、114b的每一個被描述為單獨的元件，但是應該理解的是，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。 [70]基地台114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等。基地台114a及/或基地台114b可以被配置為在特定地理區域內傳送及/或接收無線信號，該區域可以被稱為胞元（未顯示）。胞元還可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在一種實施方式中，基地台114a可以使用多輸入多輸出（MIMO）技術，因此可以將多個收發器用於胞元的每一個扇區。 [71]基地台114a、114b可以通過空中介面115/116/117與WTRU 102a、102b、102c、102d中的一個或者多個通信，該空中介面115/116/117可以是任何合適的無線通信鏈路（例如，射頻（RF）、微波、紅外（IR）、紫外（UV）、可見光等）。可以使用任何合適的無線電存取技術（RAT）來建立空中介面115/116/117。 [72]更具體地，如上所述，通信系統100可以是多重存取系統，並可以使用一種或者多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施例如通用移動電信系統（UMTS）陸地無線電存取（UTRA）的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）的通信協定。HSPA可以包括高速下行鏈路封包存取（HSDPA）及/或高速上行鏈路封包存取（HSUPA）。 [73]在一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如演進型UMTS陸地無線電存取（E-UTRA）的無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面115/116/117。 [74]在一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如IEEE802.16（即，全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000（IS-2000）、暫行標準95（IS-95）、暫行標準856（IS-856）、全球移動通信系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等等的無線電技術。 [75]第13A圖中的基地台114b可以是無線路由器、家用節點B、家用e節點B或者存取點，例如，並且可以使用任何適當的RAT以便於局部區域中的無線連接，例如商業場所、住宅、車輛、校園等等。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線局域網路（WLAN）。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.15的無線電技術來建立無線個人區域網路（WPAN）。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂巢的RAT（例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等）來建立微微胞元或毫微微胞元。如第13A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106/107/109而存取網路際網路110。 [76]RAN 103/104/105可以與核心網路106/107/109通信，所述核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或多個提供語音、資料、應用及/或網際網路協定語音（VoIP）服務等的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等、及/或執行高級安全功能，例如用戶認證。雖然圖13A中未示出，應該理解的是，RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外，核心網路106/107/109還可以與使用GSM無線電技術的RAN（未示出）通信。 [77]核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互聯電腦網路和裝置系統，所述協定例如有TCP/IP網際協定組中的傳輸控制協定（TCP）、用戶資料報協定（UDP）和網際協定（IP）。網路112可以包括被其他服務提供商擁有及/或營運的有線或無線通信網路。例如，網路112可以包括連接到一個或多個RAN的核心網路，該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。 [78]通信系統100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第13A圖中示出的WTRU 102c可被配置為與可以使用基於蜂巢的無線電技術的基地台114a通信，以及與可以使用IEEE 802無線電技術的基地台114b通信。 [79]第13B圖是示例WTRU 102的系統圖。如第13B圖所示，WTRU 102可以包括處理器118、收發器120、發射/接收元件122、揚聲器/麥克風124、數字鍵盤126、顯示器/觸摸板128、不可移除記憶體130、可移除記憶體132、電源134、全球定位系統（GPS）晶片組136和其他週邊設備138。應該理解的是，在保持與實施方式一致時，WTRU 102可以包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點（諸如但不侷限於收發台（BTS）、節點B、站點控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道和代理節點等），可以包括第13B圖所描述的和這裏描述的元件中的一些或每個。 [80]處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器（DSP）、多個微處理器、與DSP核相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可編程閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能夠運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，所述收發器120可耦合到發射/接收元件122。雖然第13B圖描述了處理器118和收發器120是單獨的部件，但是應該理解的是，處理器118和收發器120可以一起被整合在電子封裝或晶片中。 [81]發射/接收元件122可以被配置為通過空中介面115/116/117將信號傳送到基地台（例如，基地台114a），或從基地台（例如，基地台114a）接收信號。例如，在一種實施方式中，發射/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在一種實施方式中，發射/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的發射器/檢測器。在另一種實施方式中，發射/接收元件122可以被配置為傳送和接收RF和光信號兩者。應當理解，發射/接收元件122可以被配置為傳送及/或接收無線信號的任何組合。 [82]另外，雖然發射/接收元件122在第13B圖中被描述為單個元件，但是WTRU 102可以包括任意數量的發射/接收元件122。更具體的，WTRU 102可以使用MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於通過空中介面115/116/117傳送和接收無線信號的兩個或更多個發射/接收元件122（例如，多個天線）。 [83]收發器120可以被配置為調變要由發射/接收元件122傳送的信號及/或解調由發射/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括用於使得WTRU 102能夠經由多個RAT（例如UTRA和IEEE 802.11）通信的多個收發器。 [84]WTRU 102的處理器118可以耦合到下述設備，並且可以從下述設備中接收用戶輸入資料：揚聲器/麥克風124、數字鍵盤126及/或顯示器/觸摸板128（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器118還可以輸出用戶資料到揚聲器/麥克風124、數字鍵盤126及/或顯示器/觸摸板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊，並且可以儲存資料到任何類型的適當的記憶體中，所述記憶體例如不可移除記憶體130及/或可移除記憶體132。不可移除記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或任何其他類型的記憶體儲存裝置。可移除記憶體132可以包括用戶身份模組（SIM）卡、記憶棒、安全數位（SD）記憶卡等等。在一個實施方式中，處理器118可以從在物理上沒有位於WTRU 102上（例如位於伺服器或家用電腦（未示出）上）的記憶體存取資訊，並且可以將資料儲存在該記憶體中。 [85]處理器118可以從電源134接收電力，並且可以被配置為分發及/或控制到WTRU 102中的其他部件的電力。電源134可以是給WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或更多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等等），太陽能電池，燃料電池等等。 [86]處理器118還可以耦合到GPS晶片組136，所述GPS晶片組136可以被配置為提供關於WTRU 102的當前位置的位置資訊（例如，經度和緯度）。WTRU 102可以通過空中介面115/116/117從基地台（例如，基地台114a、114b）接收加上或取代GPS晶片組136資訊之位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的定時來確定其位置。應當理解，在保持實施方式的一致性時，WTRU 102可以通過任何適當的位置確定方法來獲得位置資訊。 [87]處理器118還可以耦合到其他週邊設備138，所述週邊設備138可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊設備138可以包括加速計、電子羅盤、衛星收發器、數位相機（用於照片或視訊）、通用串列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。 [88]第13C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述，RAN 103可使用UTRA無線電技術以通過空中介面115與WTRU 102a、102b、102c通信。RAN 103還可以與核心網路106通信。如第13C圖所示，RAN 103可以包括節點B 140a、140b、140c，所述節點B 140a、140b、140c的每一個可以包括一個或多個用於通過空中介面115與WTRU 102a、102b、102c通信的收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元（未顯示）關聯。RAN 103還可以包括RNC 142a、142b。應當理解的是，在保持實施方式的一致性時，RAN 103可以包括任意數量的節點B和RNC。 [89]如第13C圖所示，節點B 140a、140b可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面與各自的RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置為控制與其連接的各個節點B 140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置為執行或支援其他功能，例如外環功率控制、負載控制、准入控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。 [90]第13C圖中所示的核心網路106可以包括媒體閘道（MGW）144、移動交換中心（MSC）146、服務GPRS支援節點（SGSN）148、及/或閘道GPRS支持節點（GGSN）。儘管前述元件的每一個被描述為核心網路106的一部分，應當理解的是，這些元件中的任何一個可以被除核心網路營運商以外的實體擁有及/或營運。 [91]RAN 103中的RNC 142a可以經由IuCS介面連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到電路交換網路（例如PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。 [92]RAN 103中的RNC 142a還可以經由IuPS介面連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路（例如網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。 [93]如上所述，核心網路106還可以連接至網路112，該網路112可以包括由其他服務提供商擁有及/或營運的其他有線或無線網路。 [94]第13D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述，RAN 104可使用E-UTRA無線電技術以通過空中介面116與WTRU 102a、102b、102c通信。RAN 104還可以與核心網路107通信。 [95]RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，在保持與各種實施方式的一致性的同時，RAN 104可以包括任意數量的e節點B。e節點B 160a、160b、160c的每一個可包括一個或多個用於通過空中介面116與WTRU 102a、102b、102c通信的收發器。在一種實施方式中，e節點B 160a、160b、160c可以實施MIMO技術。因此，e節點B 160a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從該WTRU 102a接收無線信號。 [96]e節點B 160a、160b、160c的每一個可以與特定胞元關聯（未顯示），並可以被配置為處理無線電資源管理決策、切換決策、在上行鏈路及/或下行鏈路中的用戶排程等等。如第13D圖所示，e節點B 160a、160b、160c可以通過X2介面相互通信。 [97]第13D圖中所示的核心網路107可以包括移動性管理閘道（MME）162、服務閘道164及/或封包資料網路（PDN）閘道166。雖然前述元件的每一個被描述為核心網路107的一部分，應當理解的是，這些元件中的任意一個可以由除了核心網路營運商之外的實體擁有及/或營運。 [98]MME 162可以經由S1介面連接到RAN 104中的e節點B 160a、160b、160c的每一個，並可以作為控制節點。例如，MME 162可以負責認證WTRU 102a、102b、102c的用戶、承載啟動/解除啟動、在WTRU 102a、102b、102c的初始附著期間選擇特定服務閘道等等。MME 162還可以提供控制平面功能，以用於在RAN 104與使用例如GSM或者WCDMA的其他無線電技術的其他RAN（未顯示）之間切換。 [99]服務閘道164可以經由S1介面連接到RAN 104中的eNB 160a、160b、160c的每一個。服務閘道164通常可以路由和轉發通往/來自WTRU 102a、102b、102c的用戶資料封包。服務閘道164還可以執行其他功能，例如在e節點B間切換期間錨定用戶平面、當下行鏈路資料對於WTRU 102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。 [100]服務閘道164還可以連接到PDN閘道166，該PDN閘道166可以向WTRU 102a、102b、102c提供到封包交換網路（例如網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。 [101]核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到電路交換網路（例如PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如，核心網路107可以包括IP閘道（例如IP多媒體子系統（IMS）伺服器），或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供商擁有及/或營運的其他有線或無線網路。 [102]第13E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術通過空中介面117與WTRU 102a、102b、102c進行通信的存取服務網路（ASN）。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的通信鏈路可以被定義為參考點。 [103]如第13E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，在保持與實施方式的一致性的同時，RAN 105可以包括任意數量的基地台和ASN閘道。基地台180a、180b、180c的每一個可以與RAN 105中特定胞元（未示出）關聯，並可以包括一個或多個用於通過空中介面117與WTRU 102a、102b、102c通信的收發器。在一個實施方式中，基地台180a、180b、180c可以實施MIMO技術。因此，基地台180a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從其接收無線信號。基地台180a、180b、180c還可以提供移動性管理功能，例如切換（handoff）觸發、隧道建立、無線電資源管理，訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚集點，並且可以負責傳呼、用戶簡檔（profile）的緩衝、到核心網路109的路由等等。 [104]WTRU 102a、102b、102c與RAN 105之間的空中介面117可以被定義為實施802.16規範的R1參考點。另外，WTRU 102a、102b、102c的每一個可以與核心網路109建立邏輯介面（未顯示）。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機（host）配置管理及/或移動性管理。 [105]基地台180a、180b、180c的每一個之間的通信鏈路可以被定義為包括便於WTRU切換和基地台間資料轉移的協定的R8參考點。基地台180a、180b、180c與ASN閘道182之間的通信鏈路可以被定義為R6參考點。R6參考點可以包括用於便於基於與WTRU 102a、102b、102c的每一個關聯的移動性事件的移動性管理的協定。 [106]如第13E圖所示，RAN 105可以連接至核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為包括例如便於資料轉移和移動性管理能力的協定的R3參考點。核心網路109可以包括移動IP本地代理（MIP-HA）184，認證、授權、計費（AAA）伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的一部分，應當理解的是，這些元件中的任意一個可以由除核心網路營運商以外的實體擁有及/或營運。 [107]MIP-HA可以負責IP位址管理，並可以使得WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供對封包交換網路（例如網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。AAA伺服器186可以負責用戶認證和支援用戶服務。閘道188可便於與其他網路互通。例如，閘道188可以向WTRU 102a、102b、102c提供對電路交換網路（例如PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。此外，閘道188可以向WTRU 102a、102b、102c提供對網路112的存取，該網路112可以包括由其他服務提供商擁有及/或營運的其他有線或無線網路。 [108]儘管未在第13E圖中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105與其他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 105與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括便於本地核心網路與被訪問核心網路之間的互通的協定。 [109]本領域的普通技術人員可理解，每個特徵或元素可以單獨使用或與其他特徵和元素進行組合使用。此外，此處描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀媒體的示例包括電信號（通過有線或無線連接傳送）和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體儲存裝置、例如內部硬碟和可移除磁片的磁媒體、磁光媒體和例如CD-ROM磁片和數位多用途碟片（DVD）的光媒體。與軟體關聯的處理器可以被用於實施在WTRU、WTRU、終端、基地台、RNC或任何主電腦中使用的射頻收發器。 [110]儘管使用2-層可分級系統進行了描述，但本領域的技術人員可以將這裏討論的架構擴展成多層可分級視訊編碼系統。此外，儘管HEVC常被用作樣本單層編解碼器，但系統可以較少地依賴於底層單層視訊編解碼器本身，並且可以與任意其他單層編解碼器合併。本領域的普通技術人員將能認識到，每個特徵或元素能夠被單獨使用，或與其他特徵和元素進行任意組合。 此處描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀媒體的示例包括電信號（通過有線或無線連接傳送）和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶裝置、例如內部硬碟和可移除磁片的磁媒體、磁光媒體和例如CD-ROM磁片和數位多用途碟片（DVD）的光媒體。與軟體關聯的處理器可以被用於實施在WTRU、WTRU、終端、基地台、RNC或任何主電腦中使用的射頻收發器。
1010、1012．．．上採樣單元
SVC．．．可分級視訊編碼
MVC．．．多視圖視訊編碼
2002．．．I圖像
2004．．．P圖像
3002、7002．．．下採樣器
3004、7004．．．增強層(EL)編碼器
3006、7006．．．基礎層(BL)編碼器
3008、7008、4010、1214、8008．．．增強層解碼圖像緩衝(EL DPB)
3010、4012、7010、8010、1056．．．基礎層解碼圖像緩衝(BL DPB)
3014、7014．．．多工器(MUX)
ILP．．．層間預測
4002、8002、1216．．．解多工器(DEMUX)
4004、8006．．．增強層(BL)解碼器
4006、8004．．．基礎層(EL)解碼器
5002．．．模式判定邏輯
5004．．．轉換單元
5006．．．量化單元
5008．．．熵編碼器
5010．．．逆量化單元
5012．．．逆轉換器
5014．．．預測信號
5016、6014．．．環路濾波器
5018、6012．．．參考圖像儲存庫
5020、6010．．．空間預測
5022、6008．．．時間預測
6002．．．熵解碼器
6004．．．逆量化單元
6006．．．逆轉換單元
7012、8012．．．層間預測處理和管理單元
9002．．．BL0
9006．．．EL2
9004．．．EL0
9008．．．EL4
9010．．．BL2
9012．．．BL4
1054．．．基礎層共位圖像BLt
BLt-1、BLt-2、BLt+1．．．參考圖像
ELt-1、ELt-2、ELt+1．．．時間參考
1064．．．ILP管理單元
1068．．．ELt+1
1070．．．層間參考圖像ILPt+1
1102．．．基礎層(BL)
1104、1110、1112．．．塊
1106．．．運動向量MVa
t．．．時間實例
1108．．．時間實例(t-1)
1114、1116．．．時間實例(t-2)
1202．．．增強型ILP單元
1212．．．BL解碼器
100．．．通信系統
102a、102b、102c、102d．．．無線發射/接收單元(WTRU)
103、104、105．．．無線電存取網路(RAN)
106、107、109．．．核心網路
108．．．公共交換電話網路(PSTN)
110．．．網際網路
112．．．網路
114a、114b、180a、180b、180c．．．基地台
115、116、117．．．空中介面
118．．．處理器
120．．．收發器
122．．．發射/接收元件
124．．．揚聲器/麥克風
126．．．數字鍵盤
128．．．顯示器/觸摸板
130．．．不可移除記憶體
132．．．可移除記憶體
134．．．電源
136．．．全球定位系統(GPS)晶片組
138．．．週邊設備
140a、140b、140c．．．節點B
142a、142b．．．無線電網路控制器(RNC)
Iub、Iur、IuCS、IuPS、X2、S1．．．介面
144．．．媒體閘道(MGW)
146．．．移動交換中心(MSC)
148．．．服務GPRS支援節點(SGSN)
150．．．閘道GPRS支持節點(GGSN)
160a、160b、160c．．．e節點B
162．．．移動性管理閘道(MME)
164．．．服務閘道
166．．．封包資料網路(PDN)閘道
182．．．存取服務網路(ASN)閘道
186．．．認證、授權、計費(AAA)伺服器
188．．．閘道
184．．．移動IP本地代理(MIP-HA)
[07]從以下以示例方式給出的描述並結合附圖可以獲得更詳細的理解。 [08]第1圖是示出可分級視訊編碼系統的圖。 [09]第2圖是示出使用多視圖視訊編碼（MVC）來對立體視訊（例如具有左視圖和右視圖）進行編碼的預測結構的示例的圖； [10]第3圖是示出2-層可分級視訊編碼器的架構的示例的圖。 [11]第4圖是示出2-層可分級視訊解碼器的架構的示例的圖。 [12]第5圖是示出基於塊的單層視訊編碼器的示例的圖。 [13]第6圖是示出基於塊的單層視訊解碼器的示例的圖。 [14]第7圖是示出支援圖像級層間預測（ILP）的兩層可分級編碼系統的示例的圖。 [15]第8圖是示出支援圖像級ILP的兩層可分級解碼系統的示例的圖。 [16]第9圖是示出使用針對增強層編碼賦能的時間預測和層間預測的兩層系統的示例的圖。 [17]第10圖是示出ILP處理和管理單元的示例的圖。 [18]第11圖示出了使用層間運動向量預測的示例預測結構。 [19]第12圖是示出了可以使用增強型ILP處理和管理單元的可分級編碼系統的示例的圖。 [20]第13A圖是可以實施一個或多個公開的實施方式的示例通信系統的系統圖。 [21]第13B圖是可以在第13A圖所示的通信系統中使用的示例無線發射/接收單元（WTRU）的系統圖。 [22]第13C圖是可以在第13A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖。 [23]第13D圖是可以在第13A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。 第13E圖是可以在第13A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
1202．．．增強型ILP單元
1212．．．BL解碼器
1214．．．增強層解碼圖像緩衝(EL DPB)
1216．．．解多工器(DEMUX)

Claims (32)

  1. 一種視訊編碼方法，該視訊編碼方法包括：接收一視訊信號，該視訊信號包括至少一基礎層(BL)及一增強層(EL)；從該BL重建一BL圖像；基於該視訊信號來確定使該EL連結該BL的一第一可分級型式及使該EL連結該BL的一第二可分級型式；基於該第一可分級型式而確定用於將所重建的BL圖像處理成一層間參考(ILR)圖像的一第一圖像級層間過程；基於該第二可分級型式而確定用於將所重建的BL圖像處理成該ILR圖像的一第二圖像級層間過程；在所重建的BL圖像上執行該第一圖像級層間過程及該第二圖像級層間過程，以產生該ILR圖像；以及回應於該ILR圖像被包括於關聯於一當前EL圖像之一參考圖像集中的一確定，使用該ILR圖像而預測該當前EL圖像。
  2. 如申請專利範圍第1項所述的方法，其中該參考圖像集更包括一參考EL圖像，且預測該當前EL圖像包括使用該ILR圖像以及該參考EL圖像。
  3. 如申請專利範圍第1項所述的方法，其中預測該當前EL圖像更包括：使用該ILR圖像而預測該當前EL圖像的一第一部份；以及使用一參考EL圖像而預測該當前EL圖像的一第二部份。
  4. 如申請專利範圍第1項所述的方法，該方法更包括：接收封包化層間預測(ILP)資訊，其中該第一圖像級層間過程及該第二圖像級層間過程是基於該封包化ILP資訊而被執行。
  5. 如申請專利範圍第4項所述的方法，其中該封包化ILP資訊包括上採樣濾波器資訊、去雜訊資訊、視差補償參數的其中之一或更多、或逆色調映射參數的其中之一或更多的至少其中之一。
  6. 如申請專利範圍第5項所述的方法，回應於該第一可分級型式或該第二可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，從該封包化ILP資訊提取該上採用濾波器資訊，其中該第一圖像級層間過程是因應該第一可分級型式包含空間可分級性或色度格式可分級性的至少其中之一的一確定，並使用該所提取上採樣濾波器資訊而被執行，而該第二圖像級層間過程是因應該第二可分級型式包含空間可分級性或色度格式可分級性的至少其中之一的一確定，並使用該所提取上採樣濾波器資訊而被執行。
  7. 如申請專利範圍第5項所述的方法，該方法更包括回應於該可分級型式包括位元深度可分級性的一確定，從該封包化ILP資訊提取逆色調映射參數的該其中之一或更多，其中該第一圖像級層間過程是因應該第一可分級型式包含位元深度可分級性的一確定，並使用逆色調映射參數的該所提取的其中之一或更多而被執行，而該第一圖像級層間過程是因應該第二可分級型式包含位元深度可分級性的一確定，並使用逆色調映射參數的該所提取的其中之一或更多而被執行。
  8. 如申請專利範圍第4項所述的方法，其中該封包化ILP資訊是經由一單獨的網路抽象層(NAL)單元從攜帶BL資訊或EL資訊之一NAL而被接收。
  9. 如申請專利範圍第1項所述的方法，其中該第一圖像級層間過程及該第二圖像級層間過程被執行作為用於將所重建的BL圖像處理成該ILR圖像 的一合併圖像級層間過程。
  10. 如申請專利範圍第1項所述的方法，其中回應於該第一可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，該第一圖像級層間過程是被確定包括上採樣，而回應於該第二可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，該第二圖像級層間過程是被確定包括上採樣。
  11. 如申請專利範圍第1項所述的方法，其中回應於該第一可分級型式包括品質可分級性、空間可分級性、視圖可分級性、標準可分級性或縱橫比可分級性的至少其中之一的一確定，該第一圖像級層間過程被確定為包括去雜訊，而回應於該第二可分級型式包括品質可分級性、空間可分級性、視圖可分級性、標準可分級性或縱橫比可分級性的至少其中之一的一確定，該第二圖像級層間過程被確定為包括去雜訊。
  12. 如申請專利範圍第1項所述的方法，其中，回應於該第一可分級型式包括視圖可分級性的一確定，該第一圖像級層間過程是被確定為包括視差補償，而回應於該第二可分級型式包括視圖可分級性的一確定，該第二圖像級層間過程是被確定為包括視差補償。
  13. 如申請專利範圍第1項所述的方法，其中，回應於該第一可分級型式包括位元深度可分級性的一確定，該第一圖像級層間過程是被確定為包括逆色調映射，而回應於該第二可分級型式包括位元深度可分級性的一確定，該第二圖像級層間過程是被確定為包括逆色調映射。
  14. 如申請專利範圍第1項所述的方法，其中，回應於該第一可分級型式包括位元深度可分級性的一確定，該第一圖像級層間過程是被確定為包括上採樣，而回應於該第二可分級型式包括位元深度可分級性的一確定，該 第二圖像級層間過程是被確定為包括逆色調映射。
  15. 如申請專利範圍第1項所述的方法，更包括儲存該ILR圖像於一EL解碼圖像緩衝(DPB)中。
  16. 如申請專利範圍第1項所述的方法，其中該ILR圖像包括一非共位ILR圖像。
  17. 一種視訊編碼系統，包括：一處理器，被編程以：接收一視訊信號，該視訊信號包括至少一基礎層(BL)及一增強層(EL)；從該BL重建一BL圖像；基於該視訊信號來確定使該EL連結該BL的一第一可分級型式及使該EL連結該BL的一第二可分級型式；基於該第一可分級型式而確定用於將所重建的BL圖像處理成一層間參考(ILR)圖像的一第一圖像級層間過程；基於該第二可分級型式而確定用於將所重建的BL圖像處理成該ILR圖像的一第二圖像級層間過程；在所重建的BL圖像上執行該第一圖像級層間過程及該第二圖像級層間過程，以產生該ILR圖像；以及回應於該ILR圖像被包括於關聯於一當前EL圖像之一參考圖像集中的一確定，使用該ILR圖像而預測該當前EL圖像。
  18. 如申請專利範圍第17項所述的系統，其中該參考圖像集更包括一參考EL圖像，且預測該當前EL圖像包括使用該ILR圖像以及該參考EL圖像。
  19. 如申請專利範圍第17項所述的系統，其中預測該當前EL圖像更包括： 使用該ILR圖像而預測該當前EL圖像的一第一部份；以及使用一參考EL圖像而預測該當前EL圖像的一第二部份。
  20. 如申請專利範圍第17項所述的系統，該處理器更被配置以：接收封包化層間預測(ILP)資訊，其中該第一圖像級層間過程及該第二圖像級層間過程是基於該封包化ILP資訊而被執行。
  21. 如申請專利範圍第20項所述的系統，其中該封包化ILP資訊包括上採樣濾波器資訊、去雜訊資訊、視差補償參數的其中之一或更多、或逆色調映射參數的其中之一或更多的至少其中之一。
  22. 如申請專利範圍第21項所述的系統，該處理器更被配置以回應於該第一可分級型式或該第二可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，從該視訊信號提取該上採用濾波器資訊，其中該第一圖像級層間過程是因應該第一可分級型式包含空間可分級性或色度格式可分級性的至少其中之一的一確定，並使用該所提取上採樣濾波器資訊而被執行，而該第二圖像級層間過程是因應該第二可分級型式包含空間可分級性或色度格式可分級性的至少其中之一的一確定，並使用該所提取上採樣濾波器資訊而被執行。
  23. 如申請專利範圍第21項所述的系統，該處理器更被配置以回應於該第一可分級型式或該第二可分級型式包括位元深度可分級性的一確定，從該視訊信號提取逆色調映射參數的該其中之一或更多，其中該第一圖像級層間過程是因應該第一可分級型式包含位元深度可分級性的一確定，並使用逆色調映射參數的該所提取的其中之一或更多而被執行，而該第二圖像級層間過程是因應該第二可分級型式包含位元深度可分級性的一確定，並使用逆色調映射參數的該所提取的其中之一或更多而被執行。
  24. 如申請專利範圍第20項所述的系統，其中處理器更被編程以經由一單獨的網路抽象層(NAL)單元從攜帶BL資訊或EL資訊之一NAL而接收該封包化ILP資訊。
  25. 如申請專利範圍第17項所述的系統，其中該第一圖像級層間過程及該第二圖像級層間過程被執行作為用於將所重建的BL圖像處理成該ILR圖像的一合併圖像級層間過程。
  26. 如申請專利範圍第17項所述的系統，其中回應於該第一可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，該第一圖像級層間過程是被確定包括上採樣，而回應於該第二可分級型式包括空間可分級性或色度格式可分級性的至少其中之一的一確定，該第二圖像級層間過程是被確定包括上採樣。
  27. 如申請專利範圍第17項所述的系統，其中回應於該第一可分級型式包括品質可分級性、空間可分級性、視圖可分級性、標準可分級性或縱橫比可分級性的至少其中之一的一確定，該第一圖像級層間過程被確定為包括去雜訊，而回應於該第二可分級型式包括品質可分級性、空間可分級性、視圖可分級性、標準可分級性或縱橫比可分級性的至少其中之一的一確定，該第二圖像級層間過程被確定為包括去雜訊。
  28. 如申請專利範圍第17項所述的系統，其中，回應於該第一可分級型式包括視圖可分級性的一確定，該第一圖像級層間過程是被確定為包括視差補償，而回應於該第二可分級型式包括視圖可分級性的一確定，該第二圖像級層間過程是被確定為包括視差補償。
  29. 如申請專利範圍第17項所述的系統，其中，回應於該第一可分級型式包括位元深度可分級性的一確定，該第一圖像級層間過程是被確定為包括 逆色調映射，而回應於該第二可分級型式包括位元深度可分級性的一確定，該第二圖像級層間過程是被確定為包括逆色調映射。
  30. 如申請專利範圍第17項所述的系統，其中，回應於該第一可分級型式包括位元深度可分級性的一確定，該第一圖像級層間過程是被確定為包括上採樣，而回應於該第二可分級型式包括位元深度可分級性的一確定，該第二圖像級層間過程是被確定為包括逆色調映射。
  31. 如申請專利範圍第17項所述的系統，該處理器更被編程以儲存該ILR圖像於一EL解碼圖像緩衝(DPB)中。
  32. 如申請專利範圍第17項所述的系統，其中該ILR圖像包括一非共位ILR圖像。
TW102124530A 2012-07-09 2013-07-09 多層視訊編碼編解碼器架構 TWI606716B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261669356P 2012-07-09 2012-07-09
US201261734264P 2012-12-06 2012-12-06

Publications (2)

Publication Number Publication Date
TW201424387A TW201424387A (zh) 2014-06-16
TWI606716B true TWI606716B (zh) 2017-11-21

Family

ID=48833069

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106127382A TWI649999B (zh) 2012-07-09 2013-07-09 視訊編碼方法及視訊編碼系統
TW102124530A TWI606716B (zh) 2012-07-09 2013-07-09 多層視訊編碼編解碼器架構

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106127382A TWI649999B (zh) 2012-07-09 2013-07-09 視訊編碼方法及視訊編碼系統

Country Status (17)

Country Link
US (4) US9998764B2 (zh)
EP (2) EP3407608A1 (zh)
JP (5) JP2015523815A (zh)
KR (4) KR20150029745A (zh)
CN (2) CN110035286B (zh)
AU (2) AU2013288832B2 (zh)
BR (1) BR112015000480B1 (zh)
CA (1) CA2878807C (zh)
HK (1) HK1204515A1 (zh)
IL (1) IL236629A0 (zh)
IN (1) IN2015DN00191A (zh)
MX (2) MX361767B (zh)
MY (1) MY172999A (zh)
RU (1) RU2616549C2 (zh)
SG (2) SG10201700161UA (zh)
TW (2) TWI649999B (zh)
WO (1) WO2014011595A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2911397A1 (en) * 2012-09-28 2015-08-26 Intel Corporation Inter-layer pixel sample prediction
US9936215B2 (en) 2012-10-04 2018-04-03 Vid Scale, Inc. Reference picture set mapping for standard scalable video coding
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US10321130B2 (en) 2013-01-07 2019-06-11 Vid Scale, Inc. Enhanced deblocking filters for video coding
KR102273025B1 (ko) * 2013-03-06 2021-07-05 삼성전자주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
US9324161B2 (en) * 2013-03-13 2016-04-26 Disney Enterprises, Inc. Content-aware image compression method
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
EP3410715A1 (en) 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
BR112015026244B1 (pt) * 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
KR101595397B1 (ko) * 2013-07-26 2016-02-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US9818422B2 (en) * 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
WO2015031891A2 (en) * 2013-08-30 2015-03-05 ARRIS Enterprises, Inc Multipass encoder with heterogeneous codecs
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
EP3090549A1 (en) 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
KR102185245B1 (ko) * 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
US10681372B2 (en) * 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
WO2017020021A1 (en) * 2015-07-29 2017-02-02 Vid Scale, Inc. Scalable high efficiency video coding to high efficiency video coding transcoding
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US20190356926A1 (en) * 2017-02-03 2019-11-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
CN107800649A (zh) * 2017-10-29 2018-03-13 湖州师范学院 一种增强的基于路径的虚拟光网络映射方法
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
KR102039711B1 (ko) * 2018-03-13 2019-11-01 삼성전자주식회사 팬-아웃 부품 패키지
US10764588B2 (en) * 2018-08-10 2020-09-01 Apple Inc. Deep quality enhancement of adaptive downscaled coding for image compression
KR102022648B1 (ko) 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
CN110113604B (zh) * 2019-04-26 2021-03-30 电子科技大学 一种图像分层编码方法
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
CN111190577B (zh) * 2019-12-19 2023-03-31 贠学文 一种对工具包统一管理并实现轻量级mvc的框架构建方法
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备
US11677934B2 (en) * 2021-09-24 2023-06-13 Apple Inc. Encoding and decoding video content
CN117956168A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像编解码方法和装置

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7715477B2 (en) * 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100703740B1 (ko) * 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100763178B1 (ko) 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US7303668B2 (en) * 2005-05-23 2007-12-04 Chin-Tuan Liao Filtering device
FR2889778A1 (fr) 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US8345755B2 (en) 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8170116B2 (en) 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
KR100781525B1 (ko) * 2006-04-06 2007-12-03 삼성전자주식회사 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
WO2008010932A2 (en) 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
JP2008078979A (ja) * 2006-09-21 2008-04-03 Victor Co Of Japan Ltd 動画像階層符号量割当装置、階層符号化装置、階層符号量割当プログラム及び階層符号化プログラム
CN101888559B (zh) * 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
BRPI0720806B1 (pt) 2007-01-18 2023-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Corrente de dados de vídeo de qualidade escalonável
US8737474B2 (en) 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
JP5534521B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
US8867616B2 (en) * 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
US20120033040A1 (en) * 2009-04-20 2012-02-09 Dolby Laboratories Licensing Corporation Filter Selection for Video Pre-Processing in Video Applications
JP5059062B2 (ja) 2009-07-08 2012-10-24 シャープ株式会社 通信システム、移動局装置および基地局装置
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US20120063517A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for hierarchical picture encoding and decoding
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
AU2012225513B2 (en) * 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
US9253233B2 (en) * 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
KR101652928B1 (ko) 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
CN108377393A (zh) * 2012-03-22 2018-08-07 联发科技股份有限公司 编码视频数据的方法以及装置
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
WO2013158293A1 (en) * 2012-04-19 2013-10-24 Vid Scale, Inc. System and method for error-resilient video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN104429075B (zh) * 2012-07-09 2017-10-31 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
JP5961761B2 (ja) * 2012-08-29 2016-08-02 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動きベクトルの予測の方法および装置
WO2014038905A2 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US20140069969A1 (en) 2012-09-11 2014-03-13 Christopher Yannis Bosch Delivery System
US9554133B2 (en) * 2012-09-18 2017-01-24 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
EP4221217B1 (en) * 2012-09-26 2024-09-18 Sun Patent Trust Image decoding method and image decoding apparatus
EP3748969B1 (en) * 2012-09-27 2024-01-03 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding standard scalability
US9706199B2 (en) * 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
TW201424397A (zh) * 2012-09-28 2014-06-16 Samsung Electronics Co Ltd 可調式視訊解碼、編碼方法及其裝置與非暫時性電腦可讀記錄體
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
CN104904202A (zh) * 2012-09-28 2015-09-09 三星电子株式会社 用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行并行视频解码的方法和设备
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
CN104704835B (zh) * 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9723321B2 (en) * 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
CA2908853C (en) * 2013-04-08 2019-01-15 Arris Technology, Inc. Signaling for addition or removal of layers in video coding
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
MX360655B (es) * 2014-05-21 2018-11-12 Arris Entpr Llc Gestión individual de memorias intermedias en transporte de video escalable.
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
EP3453178A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction

Also Published As

Publication number Publication date
US11012717B2 (en) 2021-05-18
JP2023166011A (ja) 2023-11-17
US20180131967A1 (en) 2018-05-10
US11627340B2 (en) 2023-04-11
KR20210129266A (ko) 2021-10-27
KR20200038564A (ko) 2020-04-13
CN104429071A (zh) 2015-03-18
KR20150029745A (ko) 2015-03-18
US20140010294A1 (en) 2014-01-09
JP2019208279A (ja) 2019-12-05
CA2878807A1 (en) 2014-01-16
US20200059671A1 (en) 2020-02-20
EP2870757A1 (en) 2015-05-13
BR112015000480A2 (pt) 2017-08-08
CA2878807C (en) 2018-06-12
SG10201700161UA (en) 2017-03-30
JP2015523815A (ja) 2015-08-13
AU2017200225B2 (en) 2019-04-04
MX344952B (es) 2017-01-12
JP2017225171A (ja) 2017-12-21
BR112015000480B1 (pt) 2023-02-07
IL236629A0 (en) 2015-02-26
JP2022023856A (ja) 2022-02-08
IN2015DN00191A (zh) 2015-06-12
MY172999A (en) 2019-12-18
HK1204515A1 (zh) 2015-11-20
TW201424387A (zh) 2014-06-16
US9998764B2 (en) 2018-06-12
AU2017200225A1 (en) 2017-02-02
AU2013288832B2 (en) 2016-10-13
US10484717B2 (en) 2019-11-19
CN104429071B (zh) 2019-01-18
TW201820863A (zh) 2018-06-01
EP3407608A1 (en) 2018-11-28
TWI649999B (zh) 2019-02-01
CN110035286B (zh) 2021-11-12
MX2015000265A (es) 2015-08-14
CN110035286A (zh) 2019-07-19
AU2013288832A1 (en) 2015-02-05
RU2015103915A (ru) 2016-08-27
RU2616549C2 (ru) 2017-04-17
SG11201500129UA (en) 2015-02-27
JP6574223B2 (ja) 2019-09-11
WO2014011595A1 (en) 2014-01-16
US20210250619A1 (en) 2021-08-12
KR20180112099A (ko) 2018-10-11
MX361767B (es) 2018-12-17

Similar Documents

Publication Publication Date Title
TWI606716B (zh) 多層視訊編碼編解碼器架構
JP6212212B2 (ja) Ｈｅｖｃ拡張のための高レベル構文
TWI616087B (zh) 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
JP2018174566A (ja) 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
US20140010291A1 (en) Layer Dependency and Priority Signaling Design for Scalable Video Coding
TW201431351A (zh) 可調整視訊編碼的移動資訊傳訊
TW201427426A (zh) 視訊編碼邊緣導向處理方法及裝置