TWI649999B - 視訊編碼方法及視訊編碼系統 - Google Patents

視訊編碼方法及視訊編碼系統 Download PDF

Info

Publication number
TWI649999B
TWI649999B TW106127382A TW106127382A TWI649999B TW I649999 B TWI649999 B TW I649999B TW 106127382 A TW106127382 A TW 106127382A TW 106127382 A TW106127382 A TW 106127382A TW I649999 B TWI649999 B TW I649999B
Authority
TW
Taiwan
Prior art keywords
image
layer
scalability
ilr
ilp
Prior art date
Application number
TW106127382A
Other languages
English (en)
Other versions
TW201820863A (zh
Inventor
葉言
喬治 麥克萊倫
何永
修小玉
何玉文
董傑
坎 巴爾
柳恩
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW201820863A publication Critical patent/TW201820863A/zh
Application granted granted Critical
Publication of TWI649999B publication Critical patent/TWI649999B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

提供了用於實施視訊編碼系統(VCS)的系統、方法和手段。所述VCS可以被配置為接收視訊信號，所述視訊信號可包括一個或多個層(例如，基礎層(BL)及/或一個或多個增強層(EL))。所述VCS可以被配置為例如使用圖像級層間預測過程將BL圖像處理為層間參考(ILR)圖像。VCS可以被配置為選擇處理後的ILR圖像或增強層(EL)參考圖像中的一者或兩者。所選擇的參考圖像可以包括EL參考圖像或ILR圖像中的一者。VCS可以被配置為使用所選擇的ILR圖像或EL參考圖像中的一者或多者來預測目前EL圖像。VCS可以被配置為將處理後的ILR圖像儲存在EL解碼圖像緩衝(DPB)中。

Description

視訊編碼方法及視訊編碼系統
相關申請案的交叉引用
本申請案要求2012年07月09日提交的美國臨時專利申請案No.61/699,356和2012年12月06日申請的美國臨時專利申請案No.61/734,264的權益，所述申請案的內容以引用的方式結合於此。
近年來，多媒體技術和行動通信經歷了巨大的發展並在商業上取得了成功。無線通信技術顯著增長了無線頻寬，並改善了對行動用戶的服務品質。例如，與第二代(2G)及/或第三代(3G)相比，第三代合作夥伴計畫(3GPP)長期演進(LTE)標準改善了服務品質。
由於無線網路上高頻寬的可應用性，在有線網路上可用的視訊和多媒體內容可以使得使用者期望對來自各種具有不同大小、品質及/或連接能力的行動裝置的內容的等效按需存取。
為使各種類型的視訊內容在網路上可用，可以使用一種或多種視訊編碼和壓縮機制。視訊編碼系統可以用於壓縮數位視訊信號，例如，來減小所述信號的儲存需求及/或傳輸頻寬。基於一種或多種視訊編碼標準的各種類型的視訊壓縮技術可以被使用。所述標準可包括例如H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2、以及H.264/MPEG-4部分10 AVC、高效視訊編碼(HEVC)等等。視訊編碼標準的擴展(如H.264(可分級(scalable)視訊編碼(SVC))及/或可分級HEVC)可以被使用。所提供的可分級編碼機制存在缺點且不完善。
提供了用於實施視訊編碼系統(VCS)的系統、方法和手段。包括例如基礎層(BL)編碼器、增強層(EL)編碼器、層間預測(ILP)處理和管理單元等的VCS可被配置成接收視訊信號。該視訊信號可以包括一個或多個層(如基礎層(BL)及/或一個或多個增強層(EL))。VCS可例如使用圖像級層間預測過程將BL圖像處理成層間參考(ILR)圖像。處理後的ILR圖像可以是非共位(non-collocated)的ILR圖像。
將BL圖像處理成ILR圖像可以包括將BL圖像格式化為適用於對目前EL圖像進行預測的格式。該格式可依賴於BL編解碼器與EL編解碼器間的可分級性的類型。BL編解碼器與EL編解碼器間的可分級性的類型可以包括以下中的一者或多者：空間可分級性、色度格式可分級性、品質可分級性、空間可分級性、視圖可分級性或位元度可分級性。格式化可包括以下中的一者或多者：升取樣、去雜訊、恢復、或重定向、視差補償或逆色調映射。
VCS可選擇經處理的ILR圖像或增強層(EL)參考圖像中的一者或兩者。所選擇的參考圖像可包括EL參考圖像或ILR圖像中的一者。多個所選擇的參考圖像可對應於公共時間實例。
VCS可使用所選擇的ILR圖像或EL參考圖像中的一者或多者來預測目前EL圖像。VCS可將被處理過的ILR圖像儲存到EL解碼圖像緩衝(DPB)中。VCS可從BL中擷取BL資訊。所述BL資訊可以包括BL模式資訊或BL運動資訊中的一者或多者。VCS可基於包括所擷取的BL資訊的資訊來處理BL圖像。VCS可將BL資訊從第一格式轉換為第二格式，並在EL編碼中使用轉換後的BL資訊。所述第一格式可以與BL編解碼器相關，以及所述第二格式可以與EL編解碼器相關，且所述第一格式不同於所述第二格式。
VCS可將ILP資訊分封化(packetize)、並發送所述ILP資訊，例如，經由網路抽象層(NAL)單元。ILP資訊可包括例如升取樣濾波器資訊、一個或多個升取樣係數、一個或多個去雜訊係數、一個或多個視差補償參數、一個或多個逆色調映射參數等。
1010、1012‧‧‧升取樣單元
SVC‧‧‧可分級視訊編碼
MVC‧‧‧多視圖視訊編碼
2002‧‧‧I圖像
2004‧‧‧P圖像
3002、7002‧‧‧降取樣器
3004、7004‧‧‧增強層(EL)編碼器
3006、7006‧‧‧基礎層(BL)編碼器
3008、7008、4010、1214、8008‧‧‧增強層解碼圖像緩衝(EL DPB)
3010、4012、7010、8010、1056‧‧‧基礎層解碼圖像緩衝(BL DPB)
3014、7014‧‧‧多工器(MUX)
ILP‧‧‧層間預測
4002、8002、1216‧‧‧解多工器(DEMUX)
4004、8006‧‧‧增強層(BL)解碼器
4006、8004‧‧‧基礎層(EL)解碼器
5002‧‧‧模式判定邏輯
5004‧‧‧轉換單元
5006‧‧‧量化單元
5008‧‧‧熵編碼器
5010‧‧‧逆量化單元
5012‧‧‧逆轉換器
5014‧‧‧預測信號
5016、6014‧‧‧環路濾波器
5018、6012‧‧‧參考圖像儲存庫
5020、6010‧‧‧空間預測
5022、6008‧‧‧時間預測
6002‧‧‧熵解碼器
6004‧‧‧逆量化單元
6006‧‧‧逆轉換單元
7012、8012‧‧‧層間預測處理和管理單元
9002‧‧‧BL0
9006‧‧‧EL2
9004‧‧‧EL0
9008‧‧‧EL4
9010‧‧‧BL2
9012‧‧‧BL4
1054‧‧‧基礎層共位圖像BLt
BLt-1、BLt-2、BLt+1‧‧‧參考圖像
ELt-1、ELt-2、ELt+1‧‧‧時間參考
1064‧‧‧ILP管理單元
1068‧‧‧ELt+1
1070‧‧‧層間參考圖像ILPt+1
1102‧‧‧基礎層(BL)
1104、1110、1112‧‧‧塊
1106‧‧‧運動向量MVa
t‧‧‧時間實例
1108‧‧‧時間實例(t-1)
1114、1116‧‧‧時間實例(t-2)
1202‧‧‧增強型ILP單元
1212‧‧‧BL解碼器
100‧‧‧通信系統
102a、102b、102c、102d‧‧‧無線傳輸/接收單元(WTRU)
103、104、105‧‧‧無線電存取網路(RAN)
106、107、109‧‧‧核心網路
108‧‧‧公共交換電話網路(PSTN)
110‧‧‧網際網路
112‧‧‧網路
114a、114b、180a、180b、180c‧‧‧基地台
115、116、117‧‧‧空中介面
118‧‧‧處理器
120‧‧‧收發器
122‧‧‧傳輸/接收元件
124‧‧‧揚聲器/麥克風
126‧‧‧小鍵盤
128‧‧‧顯示器/觸控板
130‧‧‧非可移記憶體
132‧‧‧可移記憶體
134‧‧‧電源
136‧‧‧全球定位系統(GPS)晶片組
138‧‧‧週邊設備
140a、140b、140c‧‧‧節點B
142a、142b‧‧‧無線電網路控制器(RNC)
Iub、Iur、IuCS、IuPS、X2、S1‧‧‧介面
144‧‧‧媒體閘道(MGW)
146‧‧‧行動交換中心(MSC)
148‧‧‧服務GPRS支援節點(SGSN)
150‧‧‧閘道GPRS支持節點(GGSN)
160a、160b、160c‧‧‧e節點B
162‧‧‧行動性管理閘道(MME)
164‧‧‧服務閘道
166‧‧‧封包資料網路(PDN)閘道
182‧‧‧存取服務網路(ASN)閘道
186‧‧‧認證、授權、計費(AAA)伺服器
188‧‧‧閘道
184‧‧‧行動IP本地代理(MIP-HA)
從以下以示例方式給出的描述並結合附圖可以獲得更詳細的理解。
第1圖是示出可分級視訊編碼系統的圖。
第2圖是示出使用多視圖視訊編碼(MVC)來對立體視訊(例如具有左視圖和右視圖)進行編碼的預測結構的示例的圖；第3圖是示出2-層可分級視訊編碼器的架構的示例的圖。
第4圖是示出2-層可分級視訊解碼器的架構的示例的圖。
第5圖是示出基於塊的單層視訊編碼器的示例的圖。
第6圖是示出基於塊的單層視訊解碼器的示例的圖。
第7圖是示出支援圖像級層間預測(ILP)的兩層可分級編碼系統的示例的圖。
第8圖是示出支援圖像級ILP的兩層可分級解碼系統的示例的圖。
第9圖是示出使用針對增強層編碼賦能的時間預測和層間預測的兩層系統的示例的圖。
第10圖是示出ILP處理和管理單元的示例的圖。
第11圖示出了使用層間運動向量預測的示例預測結構。
第12圖是示出了可以使用增強型ILP處理和管理單元的可分級編碼系統的示例的圖。
第13A圖是可以實施一個或多個揭露的實施方式的示例通信系統的系統圖。
第13B圖是可以在第13A圖所示的通信系統中使用的示例 無線傳輸/接收單元(WTRU)的系統圖。
第13C圖是可以在第13A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖。
第13D圖是可以在第13A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
第13E圖是可以在第13A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
現在將參照各個附圖描述示例性實施方式的詳細描述。雖然該描述提供了可能實施的詳細示例，但應當注意的是，細節是示例性的，並且不以任何方式限制本申請案的範圍。此外，附圖可以示出流程圖，其旨在是示例性的。可使用其他實施方式。在適當的情況下，訊息的順序可被改變。如果不需要，則訊息可被省略，並且可增加附加的流。
可分級視訊編碼可改善在異質網路上對在具有不同能力的裝置上運行的視訊應用的體驗品質。可分級視訊編碼可以最高表示(例如，時間解析度、空間解析度、品質等等)對信號編碼一次，但依賴於用戶端裝置上運行的某些應用所需的特定速率和表示來賦能從視訊流的子集進行解碼。與不可分級的解決方案相比，可分級視訊編碼可節省頻寬及/或記憶體。國際視訊標準(如MPEG-2視訊、H.263、MPEG4視覺、H.264等)可以具有支援可分級性模式的工具及/或配置檔。
第1圖是示出基於塊的混合可分級視訊編碼系統的示例的圖。可藉由對輸入視訊信號進行降取樣來產生可由層1(例如，基礎層)表示的空間/時間信號解析度。合適的量化器(例如，Q1)的設置可導致特定品質等級的基礎資訊。可以是更高層解析度等級中的一者或多者(例如，所有)的近似的基礎層重建Y1可以在對隨後的層進行編碼/解碼中被使用，例如，以更有效地對隨後的更高層進行編碼。升取樣單元1010及/或1012可 對基礎層重建信號執行升取樣以達到層2的解析度。可遍及每一層(例如，1,2...N)來執行降取樣和升取樣。降取樣率和升取樣率可根據兩個給定層間的可分級性的維度而不同。
如第1圖所示，對於任意給定的較高層n(2nN)，可藉由從目前層n信號中減去經升取樣的較低層信號(例如，層n-1信號)來產生差分信號。所獲取的差分信號可被編碼。如果由兩層(例如，n1和n2)表示的視訊信號具有相同的空間解析度，對應的降取樣和升取樣操作可以被旁路。可在不使用任何來自更高層的解碼資訊的情況下，對任意給定的層n(1nN)或多個層進行解碼。如第1圖的系統所採用的，依賴於對除基礎層外的層的殘差分信號(例如，兩層間的差分信號)的編碼可導致視覺偽像(artifact)。所述視覺偽像可能是由於對殘差分信號進行量化和標準化以限制其動態範圍的期望，及/或在殘差的編碼期間執行的附加量化。一個或多個較高層編碼器可採用運動估計及/或運動補償預測作為編碼模式。在殘差分信號中的運動估計及/或運動補償可與常規運動估計不同，並且，例如，可更易於產生視覺偽像。更複雜的殘差量化、和在對殘差分信號進行量化和標準化以限制其動態範圍的期望與在所述殘差的編碼期間執行的附加量化之間的聯合量化可被利用，並可增加系統複雜度，例如，以使所述視覺偽像最小化。第1圖的系統可以不考慮其他層間預測模式，這會限制其能實現的壓縮效率等級。
可分級視訊編碼(SVC)是H.264的擴展，其可以賦能部分位元串流的傳輸和解碼，例如以提供具有較低時間或空間解析度或者降低的保真度的視訊服務，同時在給定部分位元串流的速率的情況下，保持重建品質(例如，較高的重建品質)。SVC可包括單環路解碼(這規定SVC解碼器在正被解碼的層處建立一個運動補償環路)，而在其他更低層處不建立運動補償環路。例如，如果位元串流包括2層：層1(例如，基礎層)和層2(例如，增強層)。解碼器可藉由設置解碼圖像緩衝和運動補償預測(例 如，針對層1而不針對層2；層2可依賴於層1)來重建層2視訊。SVC可以不需要來自將被全部重建的更低層的參考圖像，這可降低計算複雜度和解碼器利用的記憶體。通過被約束的層間紋理預測可實現單環路解碼。對於給定層中的塊(例如，目前塊)，如果對應的低層塊以內模式被編碼(例如，受限制的內預測)，可利用來自更低層的空間紋理預測。當更低層塊以內模式被編碼時，其可以被重建，而不需要運動補償操作和解碼圖像緩衝。SVC可利用附加的層間預測技術，例如，運動向量預測、殘差預測、模式預測等。SVC的單環路解碼特徵可降低計算複雜度及/或解碼器所利用的記憶體。單環路解碼可例如通過強烈依賴於塊級層間預測實施來實現滿意的性能而增加實施複雜度。編碼器設計和計算複雜度可以被增加，以使可以實現期望的性能，例如，以補償藉由施加單環路解碼約束而導致的性能損失。具有足夠性能的SVC可能不支援交錯(interlaced)內容的可分級編碼，這會影響其在廣播工業的應用。
多視圖視訊編碼(MVC)是H.264的示例擴展，其可以提供視圖可分級性。視圖可分級性意味著基礎層位元串流可被解碼以重建常規的2D視訊，而附加的增強層可被解碼以重建相同視訊信號的其他視圖表示。當一個或多個視圖(例如，所有視圖)被合併在一起並由合適的3D顯示器顯示時，使用者可以合適的深度感體驗3D視訊。第2圖是示出使用MVC對具有左視圖(例如，層1)和右視圖(例如，層2)的立體視訊進行編碼的示例預測結構的圖。如第2圖中的示例所示，可以用IBBP預測結構對左視圖視訊編碼。可以用PBBB預測結構對右視圖視訊編碼。例如，在右視圖中，與左視圖中的第一I圖像2002的第一共位圖像可以被編碼為P圖像2004。右視圖中其他圖像中的每一者可以被編碼為B圖像，例如，使用來自右視圖中的時間參考的第一預測和來自左視圖中的層間參考的第二預測。MVC可能不支持單環路解碼。例如如第2圖所示，右視圖(例如，層2)視訊的解碼可能需要左視圖(例如，層1)中的全部圖像可用，其可在兩個視圖/層中支持 運動補償環路。
MVC可包括(例如，僅包括)高級語法變化，並且不包括對H.264/AVC的塊級變化。例如，由於底層MVC編碼器/解碼器邏輯可以保持相同並且可被複製，切片(slice)級/圖像級的參考圖像(例如，僅參考圖像)可被正確配置以賦能MVC。MVC可藉由擴展第2圖的示例來支持多於兩個的視圖的編碼，以在多個視圖之間執行層間預測。
運動圖像專家組(MPEG)訊框相容(MFC)編碼可以被用作編碼技術。3D內容可以是包括一個或多個視圖(如左視圖和右視圖)的立體3D視訊。可藉由將兩個視圖打包/多工成一個訊框、使用編解碼器(例如，H.264/AVC)壓縮以及傳送被打包的視訊來實現立體3D內容分發。在接收機側，在解碼之後，訊框可以被拆封並被顯示為兩個視圖。所述視圖可在時域及/或空間域中被多工。當所述視圖在空間域中被多工時，所述兩個視圖可在空間上按照因數(例如，因數2)來被降取樣，並按照各種排列(arrangement)被打包，例如，以保持相同的圖像大小。舉例來說，圖像可被排列有圖像的左半部分上的降取樣後的左視圖，以及圖像的右半部分上的降取樣後的右視圖。其他排列可以包括上和下(top-and-bottom)、逐行、棋盤格等等。用於實現訊框相容3D視訊的特定排列可由訊框打包排列SEI資訊來傳達。空間降取樣可導致視圖中的混淆現象以及降低視覺品質和3D視訊的使用者體驗。焦點可以被放在提供對訊框相容(例如，被打包為同一訊框的兩個視圖)基礎層視訊的可分級擴展，及/或為改善的3D體驗提供一個或多個增強層以恢復全解析度視圖。雖然其在提供3D視訊分發方面是適合的，但賦能全解析度MFC的底層技術可與空間可分級性技術相關。
可提供HEVC的可分級增強。標準可分級性可指當用一種標準(例如H.264/AVC或MPEG2)對基礎層進行編碼，同時可用另一標準(例如HEVC標準)對一個或多個增強層進行編碼時的可分級性的類型。標準可分級性可提供對使用之前的標準編碼的舊有內容的向後相容性，並且可以 使用一個或多個增強層提高舊有內容的品質。
可提供3D視訊編碼(3DV)。3DV可提供一個或多個不同的視圖可分級性，其可以裸眼立體(autostereoscopic)應用為目標。裸眼立體顯示和應用可以允許人們體驗3D，而無需笨重的眼鏡。為了在沒有眼鏡的情況下實現良好的3D體驗，可以採用多於兩個的視圖。對多於兩個的視圖(例如，9個視圖或10個視圖)進行編碼會很昂貴。3DV可採用對具有相對較大視差的少量視圖(例如，2或3個視圖)一起編碼、及/或對具有一個或多個可以提供視圖的深度資訊的深度圖的少量視圖進行編碼的混合方式。這可被稱為多視圖加深度(MVD)。在顯示器側，編碼後的視圖和深度圖可以被解碼。使用視圖合成技術利用解碼後的視圖和它們的深度圖來產生其餘視圖。3DV可利用多種實現方式來對視圖和深度圖編碼，例如，採用不同標準的組合對其編碼，例如但不限於H.264/AVC、MVC、HEVC等等。3DV可用一種標準(例如，H.264/AVC)對基礎層編碼，而用另一種標準(例如，HEVC)對一個或多個增強層編碼。
表1提供了不同類型的可分級性和可以支持他們的對應的標準的示例。位元度可分級性和色度格式可分級性可與主要由專業視訊應用使用的視訊格式(如高於8位元視訊和高於YUV4：2：0的色度採樣格式)相關聯。可提供縱橫比可分級性。
可分級視訊編碼可提供與使用基礎層位元串流的第一視訊參數集相關聯的第一視訊品質等級。可分級視訊編碼可提供與使用一個或多個增強層位元串流的一個或多個增強型參數集相關聯的一個或多個更高品質等級。視訊參數集可包括空間解析度、訊框速率、重建視訊品質(例如，以SNR、PSNR、VQM、視覺品質等的形式)、3D能力(例如，具有兩個或更多個視圖)、亮度和色度位元度、色度格式和底層單層編碼標準中的一者或多者。如表1所示，不同的使用情況可能需要不同類型的可分級性。如此處討論的，可分級編碼架構可提供可被配置成支援一種或多種可分級性(如表1所列出的分級性)的公共結構。可分級編碼架構可以最小的配置工作量(effort)來靈活地支持不同的可分級性。可分級編碼架構可包括至少一種不需要改變塊級操作的較佳的操作模式，以使在可分級編碼系統中最大限度地重新使用編碼邏輯(例如，編碼及/或解碼邏輯)。例如，可提供基於圖像級層間處理和管理單元的可分級編碼架構，其中可在圖像級執行層間預測。
第3圖是兩層可分級視訊編碼器的示例架構的圖。舉例來說，通過可實現空間可分級性的降取樣過程，增強層視訊輸入和基礎層視訊輸入可彼此對應。如第3圖所示，可使用降取樣器3002對增強層視訊進行降取樣。基礎層編碼器3006(例如，本示例中的HEVC編碼器)可逐塊對基礎層視訊輸入進行編碼，並產生基礎層位元串流。第5圖是示出可被用作第3圖中的基礎層編碼器的示例基於塊的單層視訊編碼器的圖。如第5圖所示，單層編碼器可使用如空間預測5020(如被稱為內預測)及/或時間預測 5022(例如，被稱為間預測及/或運動補償預測)的技術來實現有效壓縮，及/或預測輸入視訊信號。編碼器可具有能選擇最合適的預測形式的模式判定邏輯5002。編碼器判定邏輯可以基於速率和失真考慮的組合。編碼器可分別使用轉換單元5004和量化單元5006來轉換和量化預測殘差(例如，輸入信號與預測信號間的差分信號)。被量化的殘差和模式資訊(如內或間預測)以及預測資訊(例如，移動向量、參考圖像索引、內預測模式等等)可以在熵編碼器5008被進一步壓縮，並被打包成輸出視訊位元串流。編碼器還可藉由對被量化的殘差施加逆量化(如使用逆量化單元5010)和逆轉換(例如，使用逆轉換器5012)以獲取重建殘差，來產生重建視訊信號。編碼器可把重建視訊信號添加回至預測信號5014。重建視訊信號可通過環路濾波處理5016(例如，使用去塊濾波器、採樣適應偏移及/或適應環路濾波器)，並被儲存在參考圖像儲存庫(store)5018中，以用於預測將來的視訊信號。
術語參考圖像儲存庫在這裏可與術語解碼圖像緩衝或DPB替換使用。第6圖是示例基於塊的單層解碼器的方塊圖，該基於塊的單層解碼器可接收由第5圖的編碼器產生的視訊位元串流，並可以重建待被顯示的視訊信號。在視訊解碼器處，位元串流可以由熵解碼器6002解析。殘差係數可以被逆量化(例如，使用逆量化單元6004)和逆轉換(例如，使用逆轉換單元6006)以獲得重建殘差。可利用編碼模式和預測資訊來獲得預測信號。可使用空間預測6010及/或時間預測6008來完成這一步驟。預測信號和重建殘差可以被疊加在一起以得到重建視訊。此外，重建視訊可通過環路濾波(例如，使用環路濾波器6014)。然後，重建視訊可被儲存在參考圖像儲存庫6012中，以被顯示及/或被用於解碼將來的視訊信號。
如在第3圖的示例可分級編碼器中示出的，在增強層，增強層(EL)編碼器3004可採用更高空間解析度(及/或其他視訊參數的更高值)的EL輸入視訊信號。EL編碼器3004可以與基礎層視訊編碼器3006基本相似 的方式產生EL位元串流，例如，利用空間及/或時間預測來實現壓縮。附加的預測形式(此處被稱為層間預測(ILP)(例如，第3圖中陰影箭頭所指示的))可在增強編碼器處可用以改善其編碼性能。不像基於在目前增強層中的編碼視訊信號來得出預測信號的空間和時間預測，層間預測可基於來自基礎層(及/或當在可分級系統中存在多於兩個的層時的其他更低層)的編碼視訊信號來得出預測信號。在可分級系統中，可存在至少兩種形式的層間預測，即圖像級ILP和塊級ILP。此處討論圖像級ILP和塊級ILP。位元串流多工器(例如，第3圖中的MUX 3014)可將基礎層和增強層位元串流合併在一起，以產生一個可分級的位元串流。
第4圖是2-層可分級視訊解碼器的示例架構的方塊圖。第4圖的2-層可分級視訊解碼器架構可對應於第3圖的可分級編碼器。例如，解多工器(例如，DEMUX 4002)可將可分級位元串流分為基礎層和增強層位元串流。基礎層解碼器4006可對基礎層位元串流解碼並重建基礎層視訊。增強層解碼器4004可對增強層位元串流解碼。增強層解碼器可使用來自目前層的資訊及/或來自一個或多個相關(dependent)層(如基礎層)的資訊進行上述步驟。例如，來自一個或多個相關層的所述資訊可通過層間處理，這在使用圖像級ILP及/或塊級ILP時可以被實現。雖然第3圖和第4圖中未示出，在MUX 3014處，附加ILP資訊可與基礎層和增強層位元串流一起被多工。ILP資訊可由DEMUX 4002解多工。
第7圖是支援圖像級ILP的兩層可分級編碼系統的示例。第7圖中的BL編碼器7006(如HEVC編碼器)可使用空間及/或時間預測的組合來對BL視訊輸入編碼，例如但不限於參考第5圖所討論的。BL編碼器可建立用於儲存重建的圖像的基礎層DPB 7010，以例如通過時間運動補償預測來執行對輸入視訊信號的預測。在增強層中，EL編碼器7004可以以與BL編碼器7006基本上相似的方式運行。可提供參考圖像以供EL編碼器對輸入EL視訊進行預測的增強層DPB 7008可包括來自目前增強層的參考圖像及/或 來自一個或多個相關層的DPB(例如，第7圖所示的BL DPB 7010)的參考圖像。來自BL DPB的參考圖像可在被用於預測EL視訊之前由層間預測處理和管理單元7012進行處理。層間預測處理和管理單元7012可在使用來自BL DPB 7010的圖像預測EL視訊之前先對其進行處理。ILP處理和管理單元7012可將儲存在BL DPB 7010中的一個或多個參考圖像處理成適用於增強層視訊的預測的格式。ILP處理和管理單元7012可管理處理後的參考圖像，並適應性地決定哪些被處理的圖像可以被用作由EL編碼器7004進行的對EL視訊的預測。
ILP處理和管理單元可將儲存在BL DPB中的參考圖像處理成適用於增強層視訊的預測的格式。處理的本質可以基於BL與EL間的可分級性的類型。例如，如果BL視訊和EL視訊具有不同的空間解析度，所述處理可涉及升取樣，以對準BL和EL空間解析度。所述處理可傳達在升取樣過程中使用的參數。例如，ILP處理和管理單元7012可建立預定義的升取樣濾波器集合。ILP處理和管理單元7012可選擇預定義的升取樣濾波器中的一者或多者來對BL DPB中的圖像進行升取樣，並且可以在位元串流中發送一個或多個對應的濾波器索引。例如，解碼器可執行相同的升取樣過程。ILP處理和管理單元可得出(例如，適應地得出)有益於使用的一個或多個升取樣濾波器(例如，在意義上是，經升取樣的參考可以用於更有效地預測EL視訊，並產生更良好的速率失真特性)。當使用適應升取樣濾波器時，濾波器係數和濾波器分接頭(tap)的大小可被包括在位元串流中。
在另一個SNR或品質可分級性的示例中，BL視訊和EL視訊可以具有相同的解析度。BL視訊可用較粗量化(例如，較低位元速率和較低品質)編碼，然而EL視訊可用較細量化(例如，較高位元速率和較高品質)編碼。ILP處理和管理單元7012可對BL DPB 7010中的參考圖像執行去雜訊及/或圖像恢復類型的操作。所述去雜訊或恢復操作可包括但不限於適應濾波器(例如，基於最小二乘或LS技術)、採樣適應偏移(SAO)(例 如，可被HEVC支持)及/或以減小量化雜訊為目標的其他類型的去雜訊濾波器。在去雜訊或恢復操作中使用的相應參數可被用信號發送至解碼器。所述去雜訊或恢復技術可與升取樣過程合併，以改善對於空間可分級性情況的預測效率。如第7圖所示，編碼的EL位元串流、編碼的BL位元串流和ILP資訊可被多工(如MUX 7014)成可分級HEVC位元串流。
作為視圖可分級性的示例，BL視訊和EL視訊可代表立體3D視訊的兩個視圖。BL視訊可代表一個視圖而EL視訊可代表另一個補充視圖。ILP處理和管理單元可對BL DPB中的參考圖像施加視差補償，以使其成為對於EL視訊的有效預測信號。對於執行相同的視差補償處理的解碼器，在視差補償期間使用的參數(例如，在使用仿射變換的情況下的仿射變換參數，及/或在使用翹曲(warp)的情況下的翹曲參數)可以在位元串流中被用信號發送。
表2示出了ILP處理和管理單元可以執行的功能的示例和特定功能可以被使用所針對的對應的可分級性類型的列表。
ILP處理和管理單元可管理處理後的參考圖像，並可決定(例如，適應地決定)哪些參考圖像可被用作由EL編碼器進行的預測。ILP處理和管理單元可確定有多少處理後的ILP圖像和哪些處理後的ILP圖像可 被用於目前增強層圖像的預測。第9圖是示出使用對增強層編碼賦能的時間預測和層間預測的兩層系統的示例的圖。對於時間預測，第9圖中的預測結構可被稱為分層B預測。對於EL圖像，其參考圖像可以是時域中的參考圖像、BL中其共位的圖像及/或共位的BL圖像的時間參考圖像的組合。例如，圖像EL2 9006可根據時間參考(如EL0 9004及/或EL4 9008)及/或層間參考(BL2 9010，BL0 9002，BL4 9012)被預測。層間參考的集合(BL2，BL0，BL4)可在被用於預測EL2圖像9006前先由ILP處理和管理單元處理。如此處所述，ILP處理可將BL參考圖像處理成適用於EL的格式(如合適的空間解析度，位元度等)，及/或例如通過對基礎層圖像施加去雜訊及/或恢復來改善ILP參考的預測品質。
處理後的ILP參考圖像可提供有效的預測信號。從增強層中的多個參考中進行選擇可能會引起問題。例如，在塊級，用於指示哪個或哪些參考圖像可以被選擇以獲得一個或多個預測信號的信令開銷會增大。因為可以對擴展的參考圖像集合執行運動估計，所以編碼複雜度也會增大。參考圖像選擇和管理可提供有效的可分級編碼，而不增加複雜度。
第10圖是示例ILP處理和管理單元的圖。在時間實例“t”，基礎層共位圖像BLt 1054和來自BL DPB 1056的其參考圖像BLt-1、BLt-2和BLt+1可被處理以成為ILPt、ILPt-1、ILPt-2和ILPt+1。這些ILP參考和時間參考ELt-1、ELt-2和ELt+1可以由ILP管理單元1064檢查。可以選擇一個子集。在第10圖的示例中，被選擇的參考圖像可包括非共位的層間參考圖像(如ILPt+1 1070)。對於其他示例，所選擇的參考圖像可包括對應於相同時間實例的多於一個的參考圖像(如，ILPt+1 1070和ELt+1 1068)。
例如，ILP管理單元1064可在目前EL圖像(ELt)與時間和層間參考的合併集(ELt-1，ELt-2，ELt+1，ILPt，ILPt-1，ILPt-2，ILPt+1)中的一個或多個參考之間執行運動估計(例如，整數圖元運動估計)。ILP管理單元1014可收集目前圖像與被檢查的一個或多個參考圖像間的運動估 計失真(如，平方誤差的和，均方誤差，及/或絕對轉換失真的和)。ILP管理單元1064可選擇導致運動估計失真低於預定義的閾值的參考圖像的子集。ILP處理和管理單元1064可按照失真增加的順序選擇參考圖像的子集，直到選出預定義數量的參考。可採用多通道編碼來執行ILP管理操作。例如，第一編碼通道可用於獲取適合於選擇參考圖像的子集的視訊編碼統計，而一個或多個隨後的編碼通道可被用於對目前EL圖像編碼，直到編碼性能(如，依據其速率失真特性)被認為符合要求。如第10圖所示，當確定要使用哪些參考圖像時，ILP管理單元1064可將增強層視訊作為其的一個輸入。
執行圖像級ILP可允許底層低級編碼和解碼邏輯保持與在單層非可分級的系統中使用的那些基本上相同。例如，如第7圖所示，增強層編碼器(如HEVC編碼器)可以以與基礎層編碼器(如HEVC編碼器)基本上相同的方式運行，可能的例外是在圖像或切片級進行最小的重新配置(例如，以包括層間參考圖像)。ILP處理和管理單元可賦能可分級編碼。ILP處理和管理單元可在系統中作為附加塊運行。許多應用都非常期望這種特性，因為單層編碼器和解碼器設計可被最大限度地重新使用，因此顯著降低實施複雜度。
第7圖中的EL編碼器7004可將在ILP處理和ILP管理期間使用的各種參數用信號發送給第8圖中的EL解碼器8004，以能夠構建和使用相同的層間參考。這些資訊(在此處被稱為ILP資訊)可作為可分級位元串流的一部分被發送。如第7圖所示，ILP處理和管理單元7012可將ILP資訊從包括BL和EL視訊的編碼視訊資料的封包中單獨分封化。可從視訊封包中單獨發送ILP資訊，來以獨立的方式實施ILP處理和管理單元並降低實施複雜度。例如，在HEVC和H.264中，網路抽象層(NAL)單元可以被作為分封化單元。對於使用HEVC和H.264作為底層單層編解碼器的可分級系統，ILP處理和管理單元可以在單獨的NAL單元中發送ILP資訊。在第7圖中，MUX 7014可對用EL位元串流和BL位元串流攜帶ILP資訊的NAL單元進行多工。例如，如第8圖所示，DEMUX單元8002可接收包括NAL單元的可分級位元串流，所述NAL單元對應於BL編碼切片/圖像、EL編碼切片/圖像以及ILP資訊。DEMUX單元可對位元串流進行解多工、並向BL解碼器發送對應於BL編碼切片/圖像的NAL單元、向EL解碼器發送對應於EL編碼切片/圖像的NAL單元、以及向ILP處理和管理單元發送對應於ILP資訊的NAL單元。
可分級視訊編碼系統可在HEVC中使用適應參數集(APS)來傳達ILP處理和管理單元所需的ILP資訊。APS封包可以是單獨的NAL單元，例如具有特定的nal_單元_類型(nal_unit_typ)。APS NAL單元可包括在單層編碼中使用的編碼參數，如適應環路濾波(ALF)參數及/或去塊濾波器參數。每個APS NAL單元可被分配一個aps_id，其可由編碼切片使用以識別從哪個APS獲取這些編碼參數。HEVC中的APS語法可包括1位元標誌，aps_擴展_標誌(aps_extension_flag)。例如，當aps_extension_flag被設置為1時，隨後可以是附加的APS資料。此處所揭露的可分級系統可攜帶作為APS擴展的一部分的ILP資訊。ILP資訊可包括ILP處理參數(例如，在空間可分級性被賦能的情況下的升取樣濾波器，在視圖可分級性被賦能的情況下的視差補償參數，在位元度可分級性被賦能的情況下的逆色調映射參數等等)。ILP資訊可包括ILP管理參數。ILP管理參數可指定時間參考及/或層間參考的子集來預測目前EL圖像，可與其他參考圖像信令進行合併。ILP管理參數可能不是APS擴展的一部分，且可以作為切片片段標頭的一部分被用信號發送。
層間處理可從基礎層DPB中得出重建的紋理，並應用高級濾波技術，以及在層間處理期間可依賴於來自基礎層位元串流的某個模式和運動資訊，例如，以改善增強層中的編碼效率。ILP可利用超過來自BL DPB的重建的紋理資料的基礎層資訊。可提供內模式相關方向濾波器(IMDDF)。例如，內編碼基礎層塊的內預測模式可用於選擇合適的方向 濾波器，所述方向濾波器在增強層編碼期間被用來進行層間預測前先被應用到基礎層重建圖像。可提供運動場映射(MFM)。來自基礎層位元串流的塊運動資訊(例如，其可包括參考圖像索引和運動向量)可被映射以形成針對ILR圖像的“虛擬”運動場。所映射的虛擬運動場可被用於例如通過由HEVC支持的時間運動向量預測(TMVP)來預測增強層運動。
來自基礎層位元串流的模式和運動資訊是否可用取決於BL解碼器的特定實施。例如，如果第8圖中的可分級解碼系統使用HEVC的ASIC實施作為其BL解碼器，BL解碼器可能不通過開放應用程式介面(API)向ILP處理和管理單元提供模式和運動資訊。當來自基礎層的附加的模式和運動資訊(例如，如第8圖中的點劃線所示)不可用時，高級ILP處理可被禁用。
標準可分級性可允許BL編解碼器和EL編解碼器(如第7圖和第8圖中的編解碼器)是不同的編解碼器。例如，BL編解碼器可使用H.264/AVC標準而EL編解碼器可使用HEVC標準。當BL和EL編解碼器不同時，對EL編解碼器有用的某個資訊可不自動存在於BL編解碼器中。例如，HEVC標準可利用參考圖像集(PRS)來實現DPB管理。在H.264/AVC標準中，可以由滑動窗DPB管理和儲存管理命令選項(MMCO)的組合提供類似於RPS的功能性。如果EL編解碼器根據例如此處所述的一種或多種實施執行層間RPS預測，並且如果BL編解碼器因其基於H.264/AVC而不產生RPS資訊，就不能以直接的方式應用層間RPS預測。在一些情況下，例如，如果BL編解碼器使用不同於EL編解碼器的標準，對EL編解碼器有用的一種或多種類型的資訊可能是不可用的。
例如，由於實施限制，基礎層(BL)視訊位元串流資訊可變得不可用，及/或不具有用於有效的EL視訊編碼的合適的格式。此處所述的實施可包括增強型ILP處理和管理單元。所述增強型ILP單元可執行附加功能，以改善編碼效率及/或提供對可分級編碼系統的最大設計靈活性。
可提供增強型ILP單元。可利用增強型ILP單元來在不降低可分級編碼效率的情況下克服限制(如，實施限制)。增強型ILP單元可將儲存在BL DPB中的參考圖像處理為適合於對增強層視訊進行預測的格式。增強型ILP單元可管理處理後的參考圖像及/或決定(例如，適應地決定)哪些處理後的圖像將被用作由EL編碼器進行的對EL視訊的預測。增強型ILP單元可從基礎層位元串流中擷取可被用於層間預測的模式和運動資訊。例如，增強型ILP單元可使用被擷取的模式和運動資訊來將儲存在BL DPB中的參考圖像處理為適合於對增強層視訊進行預測的格式。增強型ILP單元可將來自基礎層位元串流的資訊轉化為將在增強層編碼中使用的合適的格式。例如，增強型ILP單元可將在H.264/AVC BL編解碼器中使用的滑動窗DPB管理和MMCO轉化為將由EL中的HEVC編解碼器使用的RPS。
第12圖是示出使用增強型ILP單元1202的可分級解碼系統的示例的圖。如第12圖所示，增強型ILP單元1202可執行一個或多個功能，例如包括對資訊進行處理、管理、擷取或轉化。增強型ILP單元1202可利用BL重建圖像，並根據由位元串流解多工器(DEMUX)提供的ILP資訊來應用層間處理技術，以產生處理後的BL重建圖像。如果BL解碼器1212不能提供用於層間處理的資訊，(例如，BL解碼器1212提供重建的BL圖像但不提供BL位元串流的模式和運動資訊)，增強型ILP單元1202可得出該資訊(例如，通過增強型ILP單元的擷取功能，例如，如此處所述)。一個或多個處理後的BL重建圖像可被插入到EL DPB 1214中，以進行增強層編碼。
增強型ILP單元1202可利用DEMUX 1216提供的ILP資訊，並可確定所述一個或多個處理後的BL重建圖像中的哪些可被插入到EL DPB 1214中。增強型ILP單元可確定處理後的BL重建圖像的順序。BL資訊可能不具有用於增強型ILP單元(例如，用於增強型ILP單元的管理功能)的合適的格式。例如，如果BL位元串流使用不同於由EL編解碼器使用的標準的標準來被編碼，BL資訊可能不具有合適的格式。如果BL資訊不具有用 於增強型ILP單元1202的合適的格式，增強型ILP單元1202可將BL資訊重新格式化及/或轉化為合適的格式(例如，通過增強型ILP單元1202的轉化功能，例如此處所述的)。如第5圖中的示例所示，增強型ILP單元1202可利用經轉化的BL資訊來執行合適的參考圖像緩衝管理。
增強型ILP單元1202可擷取BL資訊。例如，如果BL視訊資訊能夠由增強型ILP單元(例如，對於增強型ILP單元的處理功能)使用，但所述BL視訊資訊不可從BL解碼器獲得，則增強型ILP單元可以解析BL位元串流並擷取所述資訊(例如，例如但不限於BL模式和運動資訊)。所解析和擷取出的資訊可被增強型ILP單元使用(例如，被增強型ILP單元的處理功能所使用)。例如，BL模式資訊可包括但不限於：基礎層塊是間編碼的還是內編碼的，對於內編碼的基礎層塊的定向內預測模式等。BL運動資訊可包括但不限於：基礎層塊劃分、基礎層塊預測方向資訊(例如，單向預測或雙向預測)、基礎層塊運動向量、基礎層塊參考圖像索引等等。
增強型ILP單元可轉化BL資訊。例如，如果BL視訊資訊不具有將由增強層編碼使用的合適的格式，則增強型ILP單元可將BL視訊資訊重新格式化和轉化為適用於增強層編碼的格式。例如，當可分級系統(例如，第7圖和第8圖中所示例的)使用不同的BL和EL編解碼器時，增強型ILP單元可重新格式化和轉化BL資訊。當可分級系統中使用混合編解碼器時，增強型ILP單元可將來自BL編解碼器的資訊轉化和準備成將由EL編解碼器使用的合適的格式。例如，當增強層編解碼器使用HEVC時，基於來自H.264/AVC基礎層編解碼器的滑動窗和MMCO命令的DPB管理資訊可被轉化為用於EL編碼的RPS。增強型ILP單元可將來自任意BL編解碼器的BL資訊重新格式化並轉化為可由任意增強層編解碼器使用的資訊。如第12圖所示，增強型ILP單元的輸出可包括例如處理後的BL圖像，所述處理後的BL圖像可被插入到EL解碼圖像緩衝(DPB)1214中，以進行有效的層間預測。增強型ILP單元可輸出BL模式和運動資訊，經轉化的RPS資訊等。
增強型ILP單元1202可提供可用於實現有效可分級視訊編碼的資訊，例如當這種附加資訊不容易從基礎層編解碼器中獲得時。增強型ILP單元1202可被設計用於使單層編解碼器實施的使用最大化。增強型ILP單元1202可在BL編解碼器與EL編解碼器間提供無縫且有效的介面，例如，通過吸收單層編解碼器實施無法執行的功能。例如，增強型ILP單元1202可允許有效的可分級編碼，而不影響基礎層和增強層編解碼器的較低級的功能(例如，內預測、間預測、轉換、量化、逆轉換、逆量化、環路濾波、塊重建等等)。可在具有高編碼效率和能支援混合編解碼器架構(例如，基礎層編碼器及/或解碼器以及增強層編碼器及/或解碼器可採用不同的編解碼器)的可分級系統中使用增強型ILP單元1202。增強型ILP單元可降低實施成本並保持可分級編碼效率。
參考第3圖和第4圖，塊級ILP可被用於進一步改善可分級編碼性能。雖然塊級ILP可能需要增強層編碼器和解碼器具有和基礎層編碼器和解碼器不同的底層邏輯(例如，以附加編碼模式、針對演算法編碼的附加環境(context)等的形式)，但是塊級ILP可允許編碼器基於速率失真考慮從擴展的操作模式集合中做選擇。附加的選擇可表現在以更高可分級編碼性能的形式。例如，視訊編碼標準可以是具有第5圖和第6圖所示的方塊圖的混合的基於塊的視訊編碼系統。
在HEVC的情況下，視訊塊在被用於預測時可被稱為預測單元(PU)，在被用作編碼單元時可被稱為編碼樹塊(CTB)，以及在被用於轉換和逆轉換時可被稱為轉換單元(TU)。HEVC可使用基於四元樹(QT)的分區(partitioning)。因為基礎層和增強層視訊信號是相關的，對應的塊編碼模式和大小(包括但不限於PU、TU和CTB)也是相關的。增強層編碼器和解碼器可利用所述相關來改善增強層中的QT分裂的編碼、PU、TU和CTB模式及/或大小。這可減小信令開銷。當在兩層之間賦能空間可分級性時，可首先應用塊大小調整。例如，如果EL視訊和BL視訊的空間比率是2：1 時(例如，EL視訊在每個維度中是2倍那麼大)，則基礎層PU、TU和CTB的大小在被用於預測增強層塊大小前可在每個維度中乘以因數2。基礎層塊模式及/或大小可被用作附加的二進位演算法編碼器的環境，以對增強層塊模式及/或大小進行編碼。視訊編碼系統可將得出的塊(例如，PU、TU或者CTB)資訊(例如，模式及/或大小)分配給圖像級層間參考圖像。視訊編碼裝置可使用這些得出的塊資訊來預測在層(例如EL層)處的塊。
當在同一時間實例t，針對基礎層和增強層圖像及/或切片賦能運動補償預測時，來自基礎層的運動向量可被用於預測增強層中的運動向量。例如，當空間可分級性被賦能時，來自基礎層的運動向量可以被適當地分級。例如，如第11圖所示，在同一時間實例t，在BL 1102中，可在時間實例(t-1)利用運動向量MVa 1106從BL參考預測水平散列的塊1104。如果在時間實例(t-1)1108從EL參考預測出，EL中的分級水平散列的塊可以具有其值接近於R*MVa的運動向量，其中R可以是空間分級比率。對於EL中垂直散列的塊1110，對應的基礎層垂直散列的塊1112可從時間實例(t-2)1114利用運動向量MVb來預測。如果在時間實例(t-2)1116從EL參考預測出，EL中的分級垂直散列的塊可以具有其值基本上接近於R*MVb的運動向量。當視圖可分級性被賦能時，代表第一視圖的來自基礎層的運動向量可被翹曲及/或仿射變換，以補償視圖偏差，以使它們能與代表第二視圖的增強層中的運動向量最大限度地相關。為了利用層間運動向量間的這種強相關性，分級基礎層運動向量(或在視圖可分級性的情況下被翹曲/轉換的運動向量)可被用作運動向量預測者，以減少增強層運動向量編碼位元。
塊級層間預測可涉及根據基礎層殘差預測增強層中的殘差分信號。例如，殘差預測可以在從增強層殘差中減去來自基礎層的塊殘差(例如，如果需要，在被升取樣成合適的維度之後)的情況下被執行，以進一步減少增強層殘差能量和對其進行編碼所需的位元數。可使用塊級層間預測技術來以類似於在SVC中所使用的方式對EL紋理(例如，圖元值) 編碼。在以上討論的可分級系統中，可以圖像級ILP的形式提供紋理預測。
用於多層視訊編碼的可分級架構(例如，靈活的可分級架構)可被重配置為支援表1所列的不同類型的可分級性中的任意一者。例如，一個操作模式可集中於圖像級ILP。例如，ILP處理和管理單元可處理基礎層參考圖像，使得基礎層參考圖像集可以具有合適的格式，並可以為增強層視訊編碼提供準確和有效的預測信號。例如，ILP處理和管理單元可從時間參考和處理後的層間參考的組合中選擇子集，以實現任意良好的速率、失真及/或計算複雜度的權衡。例如，ILP處理和管理單元可將ILP資訊分封化成單獨的NAL單元，使得可以以對基礎和增強層編碼器和解碼器操作最小的干擾來執行層間預測操作。圖像級ILP的包含物可以通過允許可分級系統在基礎層和增強層處最大限度地重新使用單層編碼器和解碼器邏輯來降低實施複雜度。
第13A圖是在其中可以實施一個或多個揭露的實施方式的示例通信系統100的圖。通信系統100可以是向多個無線使用者提供內容(例如語音、資料、視訊、訊息發送、廣播等)的多重存取系統。通信系統100可以使多個無線使用者能夠通過系統資源(包括無線頻寬)的共用來存取這些內容。例如，通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取(CDMA)，分時多重存取(TDMA)，分頻多重存取(FDMA)，正交FDMA(OFDMA)，單載波FMDA(SC-FDMA)等。
如第13A圖所示，通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、及/或102d(其通常或整體上被稱為WTRU 102)，無線電存取網路(RAN)103/104/105，核心網路106/107/109，公共交換電話網路(PSTN)108、網際網路110和其他網路112。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是被配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，WTRU 102a、 102b、102c、102d可以被配置為傳送及/或接收無線信號，並可以包括無線傳輸/接收單元(WTRU)、行動站、固定或者行動用戶單元、傳呼機、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、上網本、個人電腦、無線感測器、消費電子產品等等。
通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是被配置為與WTRU 102a、102b、102c、102d中的至少一個無線有無線介面以便於存取一個或者多個通信網路(例如核心網路106/107/109、網際網路110及/或網路112)的任何類型的裝置。作為示例，基地台114a、114b可以是基地台收發台(BTS)、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點(AP)、無線路由器等等。雖然基地台114a、114b的每一個被描述為單獨的元件，但是應該理解的是，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105還可以包括其他基地台及/或網路元件(未顯示)，例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等。基地台114a及/或基地台114b可以被配置為在特定地理區域內傳送及/或接收無線信號，該區域可以被稱為胞元(未顯示)。胞元還可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在一種實施方式中，基地台114a可以使用多輸入多輸出(MIMO)技術，因此可以將多個收發器用於胞元的每一個扇區。
基地台114a、114b可以通過空中介面115/116/117與WTRU 102a、102b、102c、102d中的一個或者多個通信，該空中介面115/116/117可以是任何合適的無線通信鏈路(例如，射頻(RF)、微波、紅外(IR)、紫外(UV)、可見光等)。可以使用任何合適的無線電存取技術(RAT)來建立空中介面115/116/117。
更具體地，如上所述，通信系統100可以是多重存取系統，並可以使用一種或者多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施例如通用行動電信系統(UMTS)陸地無線電存取(UTRA)的無線電技術，其可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)的通信協定。HSPA可以包括高速下行鏈路封包存取(HSDPA)及/或高速上行鏈路封包存取(HSUPA)。
在一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如演進型UMTS陸地無線電存取(E-UTRA)的無線電技術，其可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115/116/117。
在一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如IEEE802.16(即，全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000(IS-2000)、暫行標準95(IS-95)、暫行標準856(IS-856)、全球行動通信系統(GSM)、用於GSM演進的增強型資料速率(EDGE)、GSM EDGE(GERAN)等等的無線電技術。
第13A圖中的基地台114b可以是無線路由器、家用節點B、家用e節點B或者存取點，例如，並且可以使用任何適當的RAT以便於局部區域中的無線連接，例如商業場所、住宅、車輛、校園等等。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線局域網路(WLAN)。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.15的無線電技術來建立無線個人區域網路(WPAN)。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂巢的RAT(例如，WCDMA，CDMA2000，GSM，LTE， LTE-A等)來建立微微胞元或毫微微胞元。如第13A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106/107/109而存取網路際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，所述核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或多個提供語音、資料、應用及/或網際網路協定語音(VoIP)服務等的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等、及/或執行高級安全功能，例如使用者認證。雖然圖13A中未示出，應該理解的是，RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外，核心網路106/107/109還可以與使用GSM無線電技術的RAN(未示出)通信。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互聯電腦網路和裝置系統，所述協定例如有TCP/IP網際協定組中的傳輸控制協定(TCP)、使用者資料報協定(UDP)和網際協定(IP)。網路112可以包括被其他服務提供商擁有及/或操作的有線或無線通信網路。例如，網路112可以包括連接到一個或多個RAN的核心網路，該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第13A圖中示出的WTRU 102c可被配置為與可以使用基於蜂巢的無線電技術的基地台114a通信，以及與可以使用IEEE 802無線電技術的基地台114b通信。
第13B圖是示例WTRU 102的系統圖。如第13B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136和其他週邊設備138。應該理解的是，在保持與實施方式一致時，WTRU 102可以包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點(諸如但不侷限於收發台(BTS)、節點B、站點控制器、存取點(AP)、家用節點B、演進型家用節點B(e節點B)、家用演進型節點B(HeNB)、家用演進型節點B閘道和代理節點等)，可以包括第13B圖所描述的和這裏描述的元件中的一些或每個。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器(DSP)、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可編程閘陣列(FPGA)電路、任何其他類型的積體電路(IC)、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能夠運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，所述收發器120可耦合到傳輸/接收元件122。雖然第13B圖描述了處理器118和收發器120是單獨的元件，但是應該理解的是，處理器118和收發器120可以一起被整合在電子封裝或晶片中。
傳輸/接收元件122可以被配置為通過空中介面115/116/117將信號傳送到基地台(例如，基地台114a)，或從基地台(例如，基地台114a)接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的放射器/偵測器。在另一種實施方式中，傳輸/接收元件122可以被配置為傳送和接收RF和光信號兩者。應當理解，傳輸/接收元件122可以被配置為傳送及/或接收 無線信號的任何組合。
另外，雖然傳輸/接收元件122在第13B圖中被描述為單一元件，但是WTRU 102可以包括任意數量的傳輸/接收元件122。更具體的，WTRU 102可以使用MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於經由空中介面115/116/117傳送和接收無線信號的兩個或更多個傳輸/接收元件122(例如，多個天線)。
收發器120可以被配置為調變要由傳輸/接收元件122傳送的信號及/或解調由傳輸/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括用於使WTRU 102能夠經由多個RAT(例如UTRA和IEEE 802.11)通信的多個收發器。
WTRU 102的處理器118可以耦合到下述裝置、並且可以從下述裝置中接收使用者輸入資料：揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128(例如，液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)。處理器118還可以輸出使用者資料到揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，所述記憶體例如非可移記憶體130及/或可移記憶體132。非可移記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或任何其他類型的記憶體儲存裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在一個實施方式中，處理器118可以從在偵測上沒有位於WTRU 102上(例如位於伺服器或家用電腦(未示出)上)的記憶體存取資訊、並且可以將資料儲存在該記憶體中。
處理器118可以從電源134接收電力、並且可以被配置為分發及/或控制到WTRU 102中的其他元件的電力。電源134可以是給WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或更多個乾電池 (例如，鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)，太陽能電池，燃料電池等等。
處理器118還可以耦合到GPS晶片組136，所述GPS晶片組136可以被配置為提供關於WTRU 102的目前位置的位置資訊(例如，經度和緯度)。WTRU 102可以經由空中介面115/116/117以從基地台(例如，基地台114a、114b)接收加上或取代GPS晶片組136資訊之位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的定時來確定其位置。應當理解，在保持實施方式的一致性時，WTRU 102可以用任何適當的位置確定方法來獲得位置資訊。
處理器118還可以耦合到其他週邊設備138，所述週邊設備138可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊設備138可以包括加速計、電子羅盤、衛星收發器、數位相機(用於照片或視訊)、通用串列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第13C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述，RAN 103可使用UTRA無線電技術以經由空中介面115而與WTRU102a、102b、102c通信。RAN 103還可以與核心網路106通信。如第13C圖所示，RAN 103可以包括節點B 140a、140b、140c，所述節點B140a、140b、140c的每一個可以包括用於經由空中介面115以與WTRU 102a、102b、102c通信的一個或多個收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元(未顯示)關聯。RAN 103還可以包括RNC 142a、142b。應當理解的是，在保持實施方式的一致性時，RAN 103可以包括任意數量的節點B和RNC。
如第13C圖所示，節點B 140a、140b可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經 由Iub介面與各自的RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置為控制與其連接的各個節點B140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置為執行或支援其他功能，例如外環功率控制、負載控制、准入控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第13C圖中所示的核心網路106可以包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支持節點(GGSN)。儘管前述元件的每一個被描述為核心網路106的一部分，應當理解的是，這些元件中的任何一個可以被除核心網路營運商以外的實體擁有及/或操作。
RAN 103中的RNC 142a可以經由IuCS介面連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144可以向WTRU102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。
RAN 103中的RNC 142a還可以經由IuPS介面連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
如上所述，核心網路106還可以連接至網路112，該網路112可以包括由其他服務提供商擁有及/或操作的其他有線或無線網路。
第13D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述，RAN 104可使用E-UTRA無線電技術以經由空中介面116而與WTRU 102a、102b、102c通信。RAN 104還可以與核心網路107通信。
RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，在保持與各種實施方式的一致性的同時，RAN 104可以包括任意數量的e節點B。e節點B 160a、160b、160c的每一個可包括用於經由空中介面116 以與WTRU 102a、102b、102c通信的一個或多個收發器。在一種實施方式中，e節點B160a、160b、160c可以實施MIMO技術。因此，e節點B 160a例如可以使用多個天線以向WTRU 102a傳送無線信號、以及從該WTRU 102a接收無線信號。
e節點B 160a、160b、160c的每一個可以與特定胞元關聯(未顯示)、並可以被配置為處理無線電資源管理決策、切換決策、在上行鏈路及/或下行鏈路中的使用者排程等等。如第13D圖所示，e節點B 160a、160b、160c可以經由X2介面相互通信。
第13D圖中所示的核心網路107可以包括行動性管理閘道(MME)162、服務閘道164及/或封包資料網路(PDN)閘道166。雖然前述元件的每一個被描述為核心網路107的一部分，應當理解的是，這些元件中的任意一個可以由除了核心網路營運商之外的實體擁有及/或操作。
MME 162可以經由S1介面連接到RAN 104中的e節點B 160a、160b、160c的每一個，並可以作為控制節點。例如，MME 162可以負責認證WTRU102a、102b、102c的使用者、承載啟動/停用、在WTRU 102a、102b、102c的初始附著期間選擇特定服務閘道等等。MME 162還可以提供控制平面功能，以用於在RAN 104與使用例如GSM或者WCDMA的其他無線電技術的其他RAN(未顯示)之間切換。
服務閘道164可以經由S1介面連接到RAN 104中的eNB 160a、160b、160c的每一個。服務閘道164通常可以路由和轉發通往/來自WTRU102a、102b、102c的使用者資料封包。服務閘道164還可以執行其他功能，例如在e節點B間切換期間錨定使用者平面、當下行鏈路資料對於WTRU102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。
服務閘道164還可以連接到PDN閘道166，該PDN閘道166可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的 存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如，核心網路107可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)，或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供商擁有及/或操作的其他有線或無線網路。
第13E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術以經由空中介面117而與WTRU102a、102b、102c進行通信的存取服務網路(ASN)。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的通信鏈路可以被定義為參考點。
如第13E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，在保持與實施方式的一致性的同時，RAN 105可以包括任意數量的基地台和ASN閘道。基地台180a、180b、180c的每一個可以與RAN 105中特定胞元(未示出)關聯，並可以包括用於經由空中介面117以與WTRU 102a、102b、102c通信的一個或多個收發器。在一個實施方式中，基地台180a、180b、180c可以實施MIMO技術。因此，基地台180a例如可以使用多個天線以向WTRU 102a傳送無線信號、以及從其接收無線信號。基地台180a、180b、180c還可以提供行動性管理功能，例如切換(handoff)觸發、隧道建立、無線電資源管理，訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚合點、並且可以負責傳呼、使用者設定檔(profile)的快取、到核心網路109的路由等等。
WTRU 102a、102b、102c與RAN 105之間的空中介面117可以被定義為實施802.16規範的R1參考點。另外，WTRU 102a、102b、102c 的每一個可以與核心網路109建立邏輯介面(未顯示)。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機(host)配置管理及/或行動性管理。
基地台180a、180b、180c的每一個之間的通信鏈路可以被定義為包括便於WTRU切換和基地台間資料轉移的協定的R8參考點。基地台180a、180b、180c與ASN閘道182之間的通信鏈路可以被定義為R6參考點。R6參考點可以包括用於便於基於與WTRU 102a、102b、102c的每一個關聯的行動性事件的行動性管理的協定。
如第13E圖所示，RAN 105可以連接至核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為包括例如便於資料轉移和行動性管理能力的協定的R3參考點。核心網路109可以包括行動IP本地代理(MIP-HA)184，認證、授權、計費(AAA)伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的一部分，應當理解的是，這些元件中的任一個可以由除核心網路營運商以外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理、並可以使WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU102a、102b、102c提供對封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。AAA伺服器186可以負責使用者認證和支援使用者服務。閘道188可便於與其他網路互通。例如，閘道188可以向WTRU 102a、102b、102c提供對電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。此外，閘道188可以向WTRU 102a、102b、102c提供對網路112的存取，該網路112可以包括由其他服務提供商擁有及/或操作的其他有線或無線網路。
儘管未在第13E圖中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105與其 他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 105與其他ASN之間的WTRU 102a、102b、102c的行動性的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括便於本地核心網路與被訪問核心網路之間的互通的協定。
本領域中具有通常知識者可理解，每個特徵或元素可以單獨使用或與其他特徵和元素進行組合使用。此外，此處描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀媒體的示例包括電信號(經由有線或無線連接傳送)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體儲存裝置、例如內部硬碟和可移磁片的磁性媒體、磁光媒體和例如CD-ROM磁片和數位多功能碟片(DVD)的光媒體。與軟體關聯的處理器可以被用於實施在WTRU、WTRU、終端、基地台、RNC或任何主電腦中使用的射頻收發器。
儘管使用2-層可分級系統進行了描述，但本領域中具有通常知識者可以將這裏討論的架構擴展成多層可分級視訊編碼系統。此外，儘管HEVC常被用作樣本單層編解碼器，但系統可以較少地依賴於底層單層視訊編解碼器本身，並且可以與任意其他單層編解碼器合併。本領域中具有通常知識者將能認識到，每個特徵或元素能夠被單獨使用，或與其他特徵和元素進行任何組合。
此處描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀媒體的示例包括電信號(經由有線或無線連接傳送)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶裝置、例如內部硬碟和可移磁片的磁性媒體、磁光媒體和例如CD-ROM磁片和數位多用途碟片(DVD)的光學媒 體。與軟體關聯的處理器可以被用於實施在WTRU、WTRU、終端、基地台、RNC或任何主電腦中使用的射頻收發器。

Claims (15)

  1. 一種視訊編碼方法，包括：接收一視訊信號，該視訊信號包括一基礎層(BL)及一增強層(EL)；基於該視訊信號，確定使該EL與該BL相關的一可分級性類型；從該BL重建一BL圖像；基於該可分級性類型，確定一圖像級層間過程，以將該重建的BL圖像處理成一層間參考(ILR)圖像；對該重建的BL圖像執行該確定的圖像級層間過程以產生該ILR圖像；以及回應於與一目前EL圖像關聯的一參考圖像集包括一參考EL圖像以及該ILR圖像的一確定，使用該ILR圖像來預測該目前EL圖像的一第一部分、以及使用該參考EL圖像來預測該目前EL圖像的一第二部分。
  2. 如申請專利範圍第1項所述的方法，更包括儲存該ILR圖像於一EL解碼圖像緩衝(DPB)中。
  3. 如申請專利範圍第1項所述的方法，其中該ILR圖像包括一非共位ILR圖像。
  4. 如申請專利範圍第1項所述的方法，該方法更包括：基於該視訊信號，確定使該EL與該BL相關的一第二可分級性類型；基於該第二可分級性類型，確定一第二圖像級層間過程以將該重建的BL圖像處理成該ILR圖像；以及對該重建的BL圖像執行該第二圖像級層間過程以產生該ILR圖像。
  5. 如申請專利範圍第1項所述的方法，該方法更包括：基於該視訊信號，確定使該EL與該BL相關的一第二可分級性類型；基於該可分級性類型與該第二可分級性類型，確定一合併圖像級層間過程以將該重建的BL圖像處理成該ILR圖像，其中對該重建的BL圖像執行該確定的圖像級層間過程以產生該ILR圖像包括對該重建的BL圖像執行該合併圖像級層間過程以產生該ILR圖像。
  6. 如申請專利範圍第1項所述的方法，其中，回應於該可分級性類型包括一空間可分級性或一色度格式可分級性中的至少其中之一的一確定，該圖像級層間過程被確定以包括升取樣。
  7. 如申請專利範圍第1項所述的方法，其中，回應於該可分級性類型包括一位元度可分級性的一確定，該圖像級層間過程被確定以包括逆色調映射。
  8. 如申請專利範圍第1項所述的方法，其中，回應於該可分級性類型包括一位元度可分級性及一空間可分級性的一確定，該圖像級層間過程被確定以包括升取樣及逆色調映射。
  9. 如申請專利範圍第1項所述的方法，該方法更包括：接收一分封化層間預測(ILP)資訊，其中該確定的圖像級層間過程是基於該分封化ILP資訊而被執行。
  10. 如申請專利範圍第9項所述的方法，其中該分封化ILP資訊包括一升取樣濾波器資訊、一去雜訊資訊、多個視差補償參數中的一者或多者、或多個逆色調映射參數中的一者或多者的至少其中之一。
  11. 如申請專利範圍第10項所述的方法，更包括：回應於該可分級性類型包括一空間可分級性或一色度格式可分級性中的至少其中之一的一確定，從該分封化ILP資訊擷取該升取樣濾波器資訊，其中該確定的圖像級層間過程是使用該擷取的升取樣濾波器資訊而被執行。
  12. 如申請專利範圍第10項所述的方法，該方法更包括：回應於該可分級性類型包括一位元度可分級性的一確定，從該分封化ILP資訊擷取該多個逆色調映射參數中的該一者或多者，其中該確定的圖像級層間過程是使用該多個逆色調映射參數中所擷取的一者或多者而被執行。
  13. 如申請專利範圍第9項所述的方法，其中該分封化ILP資訊是經由一單獨的網路抽象層(NAL)單元而從攜帶一BL資訊或一EL資訊的一NAL而被接收。
  14. 如申請專利範圍第1項所述的方法，其中該目前EL圖像及該ILR圖像與一第一格式相關聯，且該重建的BL圖像與一第二格式相關聯。
  15. 一種視訊編碼系統，包括：一處理器，被配置以：接收一視訊信號，該視訊信號包括一基礎層(BL)及一增強層(EL)；基於該視訊信號，確定使該EL與該BL相關的一可分級性類型；從該BL重建一BL圖像；基於該可分級性類型，確定一圖像級層間過程，以將該重建的BL圖像處理成一層間參考(ILR)圖像；對該重建的BL圖像執行該確定的圖像級層間過程以產生該ILR圖像；以及回應於與一目前EL圖像相關聯的一參考圖像集包括一參考EL圖像以及該ILR圖像的一確定，使用該ILR圖像來預測該目前EL圖像的一第一部分，並使用該參考EL圖像來預測該目前EL圖像的一第二部分。
TW106127382A 2012-07-09 2013-07-09 視訊編碼方法及視訊編碼系統 TWI649999B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261669356P 2012-07-09 2012-07-09
US61/669,356 2012-07-09
US201261734264P 2012-12-06 2012-12-06
US61/734,264 2012-12-06

Publications (2)

Publication Number Publication Date
TW201820863A TW201820863A (zh) 2018-06-01
TWI649999B true TWI649999B (zh) 2019-02-01

Family

ID=48833069

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102124530A TWI606716B (zh) 2012-07-09 2013-07-09 多層視訊編碼編解碼器架構
TW106127382A TWI649999B (zh) 2012-07-09 2013-07-09 視訊編碼方法及視訊編碼系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102124530A TWI606716B (zh) 2012-07-09 2013-07-09 多層視訊編碼編解碼器架構

Country Status (17)

Country Link
US (4) US9998764B2 (zh)
EP (2) EP2870757A1 (zh)
JP (5) JP2015523815A (zh)
KR (4) KR20180112099A (zh)
CN (2) CN110035286B (zh)
AU (2) AU2013288832B2 (zh)
BR (1) BR112015000480B1 (zh)
CA (1) CA2878807C (zh)
HK (1) HK1204515A1 (zh)
IL (1) IL236629A0 (zh)
IN (1) IN2015DN00191A (zh)
MX (2) MX361767B (zh)
MY (1) MY172999A (zh)
RU (1) RU2616549C2 (zh)
SG (2) SG11201500129UA (zh)
TW (2) TWI606716B (zh)
WO (1) WO2014011595A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2873487A1 (en) * 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
EP2870757A1 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
KR20150038249A (ko) * 2012-09-28 2015-04-08 인텔 코포레이션 계층간 화소 샘플 예측
US9936215B2 (en) 2012-10-04 2018-04-03 Vid Scale, Inc. Reference picture set mapping for standard scalable video coding
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US10321130B2 (en) 2013-01-07 2019-06-11 Vid Scale, Inc. Enhanced deblocking filters for video coding
US10034008B2 (en) * 2013-03-06 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
US9324161B2 (en) * 2013-03-13 2016-04-26 Disney Enterprises, Inc. Content-aware image compression method
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
EP3410715A1 (en) 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
MX354337B (es) 2013-04-15 2018-02-27 Rossato Luca Codificación y decodificación de señal compatible con versiones anteriores híbrida.
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
KR101595397B1 (ko) * 2013-07-26 2016-02-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US20150063469A1 (en) * 2013-08-30 2015-03-05 Arris Enterprises, Inc. Multipass encoder with heterogeneous codecs
US9818422B2 (en) * 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
WO2015058395A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
US9819947B2 (en) 2014-01-02 2017-11-14 Vid Scale, Inc. Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content
WO2015131325A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015131326A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
CN105706450B (zh) * 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
US9591254B2 (en) 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
WO2017020021A1 (en) * 2015-07-29 2017-02-02 Vid Scale, Inc. Scalable high efficiency video coding to high efficiency video coding transcoding
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
JP7178907B2 (ja) * 2017-02-03 2022-11-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
CN107800649A (zh) * 2017-10-29 2018-03-13 湖州师范学院 一种增强的基于路径的虚拟光网络映射方法
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
KR102039711B1 (ko) * 2018-03-13 2019-11-01 삼성전자주식회사 팬-아웃 부품 패키지
US10764588B2 (en) * 2018-08-10 2020-09-01 Apple Inc. Deep quality enhancement of adaptive downscaled coding for image compression
KR102022648B1 (ko) 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
CN110113604B (zh) * 2019-04-26 2021-03-30 电子科技大学 一种图像分层编码方法
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
CN111190577B (zh) * 2019-12-19 2023-03-31 贠学文 一种对工具包统一管理并实现轻量级mvc的框架构建方法
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备
US11677934B2 (en) * 2021-09-24 2023-06-13 Apple Inc. Encoding and decoding video content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195900A1 (en) * 2004-03-04 2005-09-08 Samsung Electronics Co., Ltd. Video encoding and decoding methods and systems for video streaming service
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20070223575A1 (en) * 2006-03-27 2007-09-27 Nokia Corporation Reference picture marking in scalable video encoding and decoding
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100703740B1 (ko) * 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7303668B2 (en) * 2005-05-23 2007-12-04 Chin-Tuan Liao Filtering device
FR2889778A1 (fr) 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
JP4950206B2 (ja) * 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法
WO2007100187A1 (en) 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
JP2008078979A (ja) * 2006-09-21 2008-04-03 Victor Co Of Japan Ltd 動画像階層符号量割当装置、階層符号化装置、階層符号量割当プログラム及び階層符号化プログラム
RU2387094C1 (ru) * 2006-11-09 2010-04-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования/декодирования видеосигнала
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
DE602007010835D1 (de) * 2007-01-18 2011-01-05 Fraunhofer Ges Forschung Qualitätsskalierbarer videodatenstrom
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
JP5534521B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
CN101420609B (zh) 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
US8867616B2 (en) * 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
CN102450009B (zh) * 2009-04-20 2015-07-22 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
JP5059062B2 (ja) 2009-07-08 2012-10-24 シャープ株式会社 通信システム、移動局装置および基地局装置
CN103155568B (zh) * 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的系统和方法
JP5612214B2 (ja) * 2010-09-14 2014-10-22 サムスン エレクトロニクス カンパニー リミテッド 階層的映像符号化及び復号化のための方法及び装置
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
AU2012225513B2 (en) * 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
US9253233B2 (en) * 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
AU2013215198A1 (en) 2012-01-31 2014-08-28 Vid Scale, Inc. Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC)
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
WO2013139250A1 (en) * 2012-03-22 2013-09-26 Mediatek Inc. Method and apparatus of scalable video coding
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
US9191671B2 (en) * 2012-04-19 2015-11-17 Vid Scale, Inc. System and method for error-resilient video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
EP2870757A1 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
CN104429075B (zh) * 2012-07-09 2017-10-31 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
MX341900B (es) * 2012-08-29 2016-09-07 Vid Scale Inc Metodo y aparato de prediccion de vector de movimiento para codificacion de video escalable.
JP6055098B2 (ja) * 2012-09-09 2016-12-27 エルジー エレクトロニクス インコーポレイティド 映像復号方法及びそれを利用する装置
US20140069969A1 (en) 2012-09-11 2014-03-13 Christopher Yannis Bosch Delivery System
WO2014047134A1 (en) * 2012-09-18 2014-03-27 Vid Scale, Inc. Region of interest video coding using tiles and tile groups
AU2013322008B2 (en) * 2012-09-26 2016-10-27 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
MY201898A (en) * 2012-09-27 2024-03-22 Dolby Laboratories Licensing Corp Inter-layer reference picture processing for coding-standard scalability
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US20150237376A1 (en) * 2012-09-28 2015-08-20 Samsung Electronics Co., Ltd. Method for sao compensation for encoding inter-layer prediction error and apparatus therefor
EP2901688B1 (en) * 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
KR20140052831A (ko) * 2012-09-28 2014-05-07 삼성전자주식회사 참조 픽처 정보를 이용한 병렬 처리 비디오 부호화 방법 및 장치, 병렬 처리 비디오 복호화 방법 및 장치
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10178410B2 (en) * 2012-10-03 2019-01-08 Mediatek Inc. Method and apparatus of motion information management in video coding
WO2014058210A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
MX349993B (es) * 2013-04-08 2017-08-22 Arris Entpr Llc Gestion de memoria intermedia individual en codificacion de video.
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
EP3989585A1 (en) * 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
US9819947B2 (en) * 2014-01-02 2017-11-14 Vid Scale, Inc. Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
CA2949823C (en) * 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
CN109121465B (zh) * 2016-05-06 2023-06-06 交互数字麦迪逊专利控股公司 用于运动补偿残差预测的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US20050195900A1 (en) * 2004-03-04 2005-09-08 Samsung Electronics Co., Ltd. Video encoding and decoding methods and systems for video streaming service
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20070223575A1 (en) * 2006-03-27 2007-09-27 Nokia Corporation Reference picture marking in scalable video encoding and decoding
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置

Also Published As

Publication number Publication date
US11627340B2 (en) 2023-04-11
BR112015000480B1 (pt) 2023-02-07
MX2015000265A (es) 2015-08-14
KR20180112099A (ko) 2018-10-11
CA2878807C (en) 2018-06-12
JP2017225171A (ja) 2017-12-21
TW201424387A (zh) 2014-06-16
CA2878807A1 (en) 2014-01-16
KR20200038564A (ko) 2020-04-13
RU2015103915A (ru) 2016-08-27
AU2013288832B2 (en) 2016-10-13
JP2022023856A (ja) 2022-02-08
JP2019208279A (ja) 2019-12-05
SG10201700161UA (en) 2017-03-30
TWI606716B (zh) 2017-11-21
US9998764B2 (en) 2018-06-12
TW201820863A (zh) 2018-06-01
IN2015DN00191A (zh) 2015-06-12
CN104429071A (zh) 2015-03-18
SG11201500129UA (en) 2015-02-27
US20180131967A1 (en) 2018-05-10
JP6574223B2 (ja) 2019-09-11
WO2014011595A1 (en) 2014-01-16
AU2013288832A1 (en) 2015-02-05
JP2023166011A (ja) 2023-11-17
MY172999A (en) 2019-12-18
IL236629A0 (en) 2015-02-26
US11012717B2 (en) 2021-05-18
US20200059671A1 (en) 2020-02-20
RU2616549C2 (ru) 2017-04-17
MX361767B (es) 2018-12-17
CN104429071B (zh) 2019-01-18
US20210250619A1 (en) 2021-08-12
KR20210129266A (ko) 2021-10-27
EP2870757A1 (en) 2015-05-13
AU2017200225A1 (en) 2017-02-02
EP3407608A1 (en) 2018-11-28
MX344952B (es) 2017-01-12
US10484717B2 (en) 2019-11-19
AU2017200225B2 (en) 2019-04-04
US20140010294A1 (en) 2014-01-09
JP2015523815A (ja) 2015-08-13
HK1204515A1 (zh) 2015-11-20
BR112015000480A2 (pt) 2017-08-08
KR20150029745A (ko) 2015-03-18
CN110035286B (zh) 2021-11-12
CN110035286A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
TWI649999B (zh) 視訊編碼方法及視訊編碼系統
JP6515159B2 (ja) Ｈｅｖｃ拡張のための高レベル構文
JP6421224B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
US20140010291A1 (en) Layer Dependency and Priority Signaling Design for Scalable Video Coding
JP2018201245A (ja) スケーラブルビデオ符号化のためのレイヤ間予測
TW201431351A (zh) 可調整視訊編碼的移動資訊傳訊
WO2014052602A1 (en) Method and apparatus of edge guided processing for video coding