TW201436530A - 視訊編碼中的色度信號增強交叉平面濾波 - Google Patents
視訊編碼中的色度信號增強交叉平面濾波 Download PDFInfo
- Publication number
- TW201436530A TW201436530A TW102134965A TW102134965A TW201436530A TW 201436530 A TW201436530 A TW 201436530A TW 102134965 A TW102134965 A TW 102134965A TW 102134965 A TW102134965 A TW 102134965A TW 201436530 A TW201436530 A TW 201436530A
- Authority
- TW
- Taiwan
- Prior art keywords
- plane
- cross
- filter
- video
- video signal
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
交叉平面濾波可以用於使用來自對應亮度平面的資訊來恢復一個或兩個色度平面中的模糊邊緣及/或紋理。可以實施適應性交叉平面濾波器。可以量化及/或用信號發送交叉平面濾波器係數,從而位元流中的負荷使得性能退化最小化。可以應用交叉平面濾波來選擇視訊影像的區域(例如,邊緣區域)。可以在單層視訊編碼系統及/或多層視訊編碼系統中實施交叉平面濾波器。
Description
相關申請案的交叉引用
本申請案要求享有2012年9月28日提出的申請號為61/707,682的美國臨時專利申請案、2013年2月8日提出的申請號為61/762,611的美國臨時申請案、2013年3月12日提出的申請號為61/778,218的美國臨時申請案、以及2013年7月12提出的申請號為61/845,792的美國臨時申請案的權益,這些申請案的內容在這裡全部合併作為參考。
本申請案要求享有2012年9月28日提出的申請號為61/707,682的美國臨時專利申請案、2013年2月8日提出的申請號為61/762,611的美國臨時申請案、2013年3月12日提出的申請號為61/778,218的美國臨時申請案、以及2013年7月12提出的申請號為61/845,792的美國臨時申請案的權益,這些申請案的內容在這裡全部合併作為參考。
視訊編碼系統通常被用來壓縮數位視訊信號,例如以便降低消耗的儲存空間及/或降低與這種信號相關聯的傳輸頻寬消耗。例如,基於區塊的混合視訊編碼系統被廣泛部署和頻繁使用。
數位視訊信號典型地具有三個顏色平面(color plane),包括:亮度平面(luma plane)、藍色差色度平面(blue-difference chroma plane)、以及紅色差色度平面(red-difference chroma plane)。色度平面的像素典型地具有比亮度平面更小的動態範圍,從而視訊影像的色度平面典型地比亮度平面更平滑及/或具有更少的細節。因此,視訊影像的色度區塊可以更易於正確地預測,例如消耗更少的資源及/或產生更少的預測錯誤。
然而,使用已知色度預測技術的視訊編碼會產生在色度平面中具有顯著的模糊邊緣及/或紋理的視訊影像。
數位視訊信號典型地具有三個顏色平面(color plane),包括:亮度平面(luma plane)、藍色差色度平面(blue-difference chroma plane)、以及紅色差色度平面(red-difference chroma plane)。色度平面的像素典型地具有比亮度平面更小的動態範圍,從而視訊影像的色度平面典型地比亮度平面更平滑及/或具有更少的細節。因此,視訊影像的色度區塊可以更易於正確地預測,例如消耗更少的資源及/或產生更少的預測錯誤。
然而,使用已知色度預測技術的視訊編碼會產生在色度平面中具有顯著的模糊邊緣及/或紋理的視訊影像。
可以使用交叉平面濾波以使用來自對應亮度平面的資訊來恢復一個或兩個色度平面中的模糊邊緣及/或紋理(texture)。可以實施適應性交叉平面濾波器。可以量化及/或用信號發送交叉平面濾波器係數,使得位元流中的負荷是可承受的(例如,被降低及/或被最小化)而不會帶來性能退化。可以確定交叉平面濾波器的一個或多個特徵(例如,大小、可分離性、對稱性等等),使得位元流中的負荷是可承受的(例如,被降低及/或被最小化)而不會帶來性能退化。可以將交叉平面濾波應用於具有各種顏色次取樣(subsampling)格式(例如,4:4:4、4:2:2、以及4:2:0)的視訊。可以應用交叉平面濾波以選擇視訊影像的區域,例如應用於邊緣區域及/或由在位元流中用信號發送的一個或多個參數所規定的區域。可以在單層視訊編碼系統及/或多層視訊編碼系統中實施交叉平面濾波器。
根據交叉平面濾波的示例性視訊解碼過程可以包括接收視訊訊號以及與該視訊訊號相關聯的交叉平面濾波器。視訊解碼過程可以包括將交叉平面濾波器應用於視訊訊號的亮度平面像素以確定色度偏移。視訊解碼過程可以包括將色度偏移添加到視訊訊號的對應色度平面像素。
視訊編碼裝置可以被配置用於交叉平面濾波。視訊編碼裝置可以包括網路介面,該網路介面被配置為接收視訊訊號和與該視訊訊號相關聯的交叉平面濾波器。視訊編碼裝置可以包括處理器,該處理器被配置為將交叉平面濾波器應用於視訊訊號的亮度平面像素以確定色度偏移。該處理器可以被配置為將色度偏移添加到視訊訊號的對應色度平面像素。
根據交叉平面濾波的示例性視訊編碼過程可以包括接收視訊訊號。視訊編碼過程可以包括使用視訊訊號的分量來產生交叉平面濾波器。視訊編碼過程可以包括對與交叉平面濾波器相關聯的濾波器係數進行量化。視訊編碼過程可以包括將該濾波器係數編碼到代表視訊訊號的位元流中。視訊編碼過程可以包括傳送該位元流。
視訊編碼裝置可以被配置用於交叉平面濾波。視訊編碼裝置可以包括網路介面,該網路介面被配置為接收視訊訊號。視訊編碼裝置可以包括處理器,該處理器被配置為使用視訊訊號的分量來產生交叉平面濾波器。該處理器可以被配置為對與交叉平面濾波器相關聯的濾波器係數進行量化。該處理器可以被配置為將該濾波器係數編碼到代表視訊訊號的位元流中。該處理器可以被配置為傳送該位元流,例如經由網路介面來進行傳送。
根據交叉平面濾波的示例性視訊解碼過程可以包括接收視訊訊號以及與該視訊訊號相關聯的交叉平面濾波器。視訊解碼過程可以包括將交叉平面濾波器應用於視訊訊號的亮度平面像素以確定色度偏移。視訊解碼過程可以包括將色度偏移添加到視訊訊號的對應色度平面像素。
視訊編碼裝置可以被配置用於交叉平面濾波。視訊編碼裝置可以包括網路介面,該網路介面被配置為接收視訊訊號和與該視訊訊號相關聯的交叉平面濾波器。視訊編碼裝置可以包括處理器,該處理器被配置為將交叉平面濾波器應用於視訊訊號的亮度平面像素以確定色度偏移。該處理器可以被配置為將色度偏移添加到視訊訊號的對應色度平面像素。
根據交叉平面濾波的示例性視訊編碼過程可以包括接收視訊訊號。視訊編碼過程可以包括使用視訊訊號的分量來產生交叉平面濾波器。視訊編碼過程可以包括對與交叉平面濾波器相關聯的濾波器係數進行量化。視訊編碼過程可以包括將該濾波器係數編碼到代表視訊訊號的位元流中。視訊編碼過程可以包括傳送該位元流。
視訊編碼裝置可以被配置用於交叉平面濾波。視訊編碼裝置可以包括網路介面,該網路介面被配置為接收視訊訊號。視訊編碼裝置可以包括處理器,該處理器被配置為使用視訊訊號的分量來產生交叉平面濾波器。該處理器可以被配置為對與交叉平面濾波器相關聯的濾波器係數進行量化。該處理器可以被配置為將該濾波器係數編碼到代表視訊訊號的位元流中。該處理器可以被配置為傳送該位元流,例如經由網路介面來進行傳送。
102...輸入視訊訊號
104...變換
106...量化
108、208...熵解碼
110、210...逆量化
112、212...逆變換
116...視訊區塊
120、202...視訊位元流
126...預測區塊
160、260...空間預測
162、262...時間預測
164、264...參考圖像儲存
166、266...迴路濾波器
180...模式決定區塊
220...重建輸出視訊
2000...示例性圖像級選擇演算法
2100...示例性無線通訊系統
2102、2102a、2102b、2102c、2102d...WTRU
2104、2104a、2104b、2104c...RAN
2106、2106a、2106b、2106c...核心網路
2108...PSTN
2110...網際網路
2112...其他網路
2114a、2114b...基地台
2116...空中介面
2118...處理器
2120...收發器
2122...傳輸/接收元件
2124...揚聲器/麥克風
2126...鍵盤
2128...顯示器/觸控板
2130...不可移式記憶體
2132...可移式記憶體
2134...電源
2136...GPS晶片組
2138...週邊裝置
2140a、2140b、2140c...節點B
2140d、2140e、2140f...e節點B
2140g、2140h、2140i...基地台
2141...ASN閘道
2142a、2142b...RNC
2143...MME
2144...MGW
2145...服務閘道
2146...MSC
2147...PDN閘道
2148...SGSN
2150...GGSN
2154...MIP-HA
2156...AAA伺服器
2158...閘道
AAA...認證、授權、記帳
ASN...存取服務網路
BL...基礎層
EL...增強層
EL DPB...增強層解碼圖像緩衝
GGSN...閘道GPRS支援節點
GPS...全球定位系統
HEVC...高效視訊編碼
ILP...層閘預測
IP...網際網路協定
Iub、IuCS、IuPS、Iur、S1、X2...介面
LS...最小平方
MGW...媒體閘道
MIP-HA...行動IP家用代理
MME...移動性管理實體
MSC...行動交換中心
PDN...封包資料網路
PSTN...公共交換電話網路
R1、R3、R6、R8...參考點
RAN...無線電存取網路
RNC...無線電網路控制器
SGSN...服務GPRS支援節點
WTRU...無線傳輸/接收單元
第1圖是示出示例性的基於區塊的視訊編碼器的方塊圖;
第2圖是示出示例性的基於區塊的視訊解碼器的方塊圖;
第3圖是示出示例性的兩層空間可縮放視訊編碼器的方塊圖;
第4圖是示出示例性的兩層空間可縮放視訊解碼器的方塊圖;
第5圖是示例性層間預測處理和管理單元的方塊圖;
第6A圖描繪了示例性4:4:4顏色次取樣格式;
第6B圖描繪了示例性4:2:2顏色次取樣格式;
第6C圖描繪了示例性4:2:0顏色次取樣格式;
第7圖是交叉平面濾波的示例的方塊圖;
第8A圖和第8B圖是交叉平面濾波的另一示例的方塊圖;
第9A圖和第9B圖是交叉平面濾波的另一示例的方塊圖;
第10A圖描繪了用於4:4:4中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第10B圖描繪了用於4:2:2中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第10C圖描繪了用於4:2:0中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第11A圖描繪了用於4:4:4中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小(unified size)和支援區域;
第11B圖描繪了用於4:2:2中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小和支援區域;
第11C圖描繪了用於4:2:0中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小和支援區域;
第12A圖描繪了示例性交叉平面濾波器的缺少對稱屬性的示例;
第12B圖描繪了示例性交叉平面濾波器的示例性水平和垂直對稱屬性;
第12C圖描繪了示例性交叉平面濾波器的示例性垂直對稱屬性;
第12D圖描繪了示例性交叉平面濾波器的示例性水平對稱屬性;
第12E圖描繪了示例性交叉平面濾波器的示例性點對稱屬性;
第13A圖描繪了不具有對稱性的示例性水平和垂直一維濾波器;
第13B圖描繪了具有對稱性的示例性水平和垂直一維濾波器;
第14圖是示出了用信號發送交叉平面濾波器係數集的示例的示例性語法表格;
第15A圖和第15B圖描繪了交叉平面濾波器係數的示例性排列;
第16圖是示出了用信號發送多個交叉平面濾波器係數集的示例的示例性語法表格;
第17圖是示出了用信號發送規定了用於交叉平面濾波的區域的資訊的示例的示例性語法表格;
第18圖描繪了根據基於區域的交叉平面濾波的實施所偵測到的多個影像區域的示例;
第19圖是示出了用信號將關於多個區域的資訊和多個交叉平面濾波器係數集一起發送的示例的示例性語法表格;
第20圖描繪了用於交叉平面濾波的示例性圖像級選擇演算法;
第21A圖描繪了示例性通訊系統的系統圖,在該通訊系統中可以實施所揭露的一個或多個實施方式;
第21B圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線傳輸/接收單元(WTRU)的系統圖;
第21C圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖;
第21D圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖;
第21E圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖。
第2圖是示出示例性的基於區塊的視訊解碼器的方塊圖;
第3圖是示出示例性的兩層空間可縮放視訊編碼器的方塊圖;
第4圖是示出示例性的兩層空間可縮放視訊解碼器的方塊圖;
第5圖是示例性層間預測處理和管理單元的方塊圖;
第6A圖描繪了示例性4:4:4顏色次取樣格式;
第6B圖描繪了示例性4:2:2顏色次取樣格式;
第6C圖描繪了示例性4:2:0顏色次取樣格式;
第7圖是交叉平面濾波的示例的方塊圖;
第8A圖和第8B圖是交叉平面濾波的另一示例的方塊圖;
第9A圖和第9B圖是交叉平面濾波的另一示例的方塊圖;
第10A圖描繪了用於4:4:4中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第10B圖描繪了用於4:2:2中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第10C圖描繪了用於4:2:0中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性大小和支援區域;
第11A圖描繪了用於4:4:4中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小(unified size)和支援區域;
第11B圖描繪了用於4:2:2中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小和支援區域;
第11C圖描繪了用於4:2:0中的選擇色度像素的交叉平面濾波器(濾波器_Y4Cb和濾波器_Y4Cr)的示例性統一大小和支援區域;
第12A圖描繪了示例性交叉平面濾波器的缺少對稱屬性的示例;
第12B圖描繪了示例性交叉平面濾波器的示例性水平和垂直對稱屬性;
第12C圖描繪了示例性交叉平面濾波器的示例性垂直對稱屬性;
第12D圖描繪了示例性交叉平面濾波器的示例性水平對稱屬性;
第12E圖描繪了示例性交叉平面濾波器的示例性點對稱屬性;
第13A圖描繪了不具有對稱性的示例性水平和垂直一維濾波器;
第13B圖描繪了具有對稱性的示例性水平和垂直一維濾波器;
第14圖是示出了用信號發送交叉平面濾波器係數集的示例的示例性語法表格;
第15A圖和第15B圖描繪了交叉平面濾波器係數的示例性排列;
第16圖是示出了用信號發送多個交叉平面濾波器係數集的示例的示例性語法表格;
第17圖是示出了用信號發送規定了用於交叉平面濾波的區域的資訊的示例的示例性語法表格;
第18圖描繪了根據基於區域的交叉平面濾波的實施所偵測到的多個影像區域的示例;
第19圖是示出了用信號將關於多個區域的資訊和多個交叉平面濾波器係數集一起發送的示例的示例性語法表格;
第20圖描繪了用於交叉平面濾波的示例性圖像級選擇演算法;
第21A圖描繪了示例性通訊系統的系統圖,在該通訊系統中可以實施所揭露的一個或多個實施方式;
第21B圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線傳輸/接收單元(WTRU)的系統圖;
第21C圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖;
第21D圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖;
第21E圖描繪了可以在第21A圖所示的通訊系統中使用的示例性無線電存取網路和示例性核心網路的系統圖。
第1圖示出了示例性的基於區塊的視訊編碼器。可以處理(例如,逐區塊處理)輸入視訊訊號102。視訊區塊單元可以包括16x16個像素。這種區塊單元可以稱為巨集區塊(MB)。視訊區塊單元大小可以擴展到例如64x64個像素。可以使用大小被擴展的視訊區塊來壓縮高解析度視訊訊號(例如,1080p視訊訊號及以上)。擴展的區塊大小可以稱為編碼單元(CU)。CU可以分為一個或多個預測單元(PU),單獨的預測方法可以應用於所述一個或多個PU。
對於一個或多個輸入視訊區塊(例如,每個輸入視訊區塊),例如MB或CU,可以執行空間預測160及/或時間預測162。空間預測160(其可以稱為內預測(intra prediction))可以使用來自視訊圖像及/或片中的一個或多個已經編碼的鄰近區塊的像素,例如以便預測視訊區塊。空間預測160可以降低空間冗餘,該空間冗餘可能是視訊訊號固有的。時間預測162(其可以稱為間預測(inter prediction)及/或移動補償預測)可以使用來自一個或多個已經編碼的視訊圖像的像素,例如以便預測視訊區塊。時間預測可以降低時間冗餘,該時間冗餘可能是視訊訊號固有的。用於視訊區塊的時間預測信號可以包括一個或多個移動向量及/或一個或多個參考圖像索引(例如,如果使用了多個參考圖像的話),以識別時間預測信號可以源自參考圖像記憶體164中的哪些參考圖像。
在執行空間預測及/或時間預測之後,模式決定區塊180(例如,位於編碼器中)可以選擇預測模式,例如基於率失真最佳化方法進行選擇。可以從視訊區塊116減去預測區塊。可以變換104及/或量化106預測殘差。可以逆量化110及/或逆變換112一個或多個量化後的殘差係數,例如以便形成重建殘差。該重建殘差可以被添加到預測區塊126中,例如以形成重建視訊區塊。
此外,在內迴路濾波中,例如在將重建視訊區塊儲存在參考圖像儲存164及/或用於編碼隨後的視訊區塊之前,可將例如一個或多個去塊化(deblocking)濾波器及/或適應性迴路濾波器166應用於重建視訊區塊上。為了形成輸出視訊位元流120,可以將編碼模式(例如,間(inter)或內(intra))、預測模式資訊、移動資訊、及/或量化後的殘差係數發送給熵編碼單元108,例如以被進一步壓縮及/或縮緊(packed)以形成位元流120。
第2圖示出了示例性的基於區塊的視訊解碼器,其可對應於第1圖中描繪的基於區塊的編碼器。可以在例如熵解碼單元208處對視訊位元流202進行未縮緊及/或熵解碼。可以將編碼模式及/或預測資訊發送給空間預測單元260(例如,針對內編碼)或時間預測單元262(例如,針對間編碼),例如以便形成預測區塊。可以將一個或多個殘差變換係數發送給逆量化單元210及/或逆變換單元212,例如以對殘差區塊進行重建。預測區塊和殘差區塊可以在226處被添加到一起,例如以便形成重建區塊。可以在例如重建區塊被添加到將被傳送的(例如,傳送到顯示裝置)重建輸出視訊220之前及/或在重建區塊被儲存在參考圖像儲存264中之前,經由迴路中濾波(例如,使用迴路濾波器266)來處理重建區塊,以例如用於預測一個或多個隨後的視訊區塊。
可以在計算能力、記憶體及/或儲存器大小、顯示解析度、顯示訊框率等等方面具有不同能力的裝置上例如經由智慧型電話及/或輸入板來享用視訊。網路及/或傳輸頻道可以在封包丟失率、可用頻道頻寬、叢發錯誤率等方面具有不同的特性。可以經由有線網路及/或無線網路的組合傳送視訊資料,這可以使得一個或多個底層(underlying)視訊傳輸頻道特徵複雜。在這種情況下,可縮放的視訊編碼可以改進由視訊應用提供的視訊品質,例如由在具有不同能力的裝置上運行的視訊應用經由異構網路提供的視訊品質。
可縮放視訊編碼可以根據最高表示(例如,時間解析度、空間解析度、品質等)對視訊訊號進行編碼,但是能夠例如根據在客戶裝置上運行的一個或多個應用所採用的規定速率及/或表示,從一個或多個視訊流的各自的子集進行解碼。可縮放視訊編碼能夠節省頻寬及/或儲存器。
第3圖示出了具有一個基礎層(BL)和一個增強層(EL)的示例性兩層可縮放視訊編碼系統。這兩個層之間的空間解析度可以不同,從而可以應用空間可縮放性。基礎層編碼器(例如,高效視訊編碼(HEVC)編碼器)可以對基礎層視訊輸入進行編碼(例如逐區塊編碼)、並且可以產生基礎層位元流(例如,根據第1圖中描繪的方塊圖)。增強層編碼器可以對增強層視訊輸入進行編碼(例如逐區塊編碼)、並且可以產生增強層位元流(例如,根據第1圖中描繪的方塊圖)。可以改進可縮放視訊編碼系統的編碼效率(例如,增強層編碼的編碼效率)。例如,可以使用來自基礎層重建視訊的信號相關性來改進預測準確性。
可以對基礎層重建視訊進行處理,使得一個或多個處理的基礎層圖像的至少部分能夠被插入到增強層解碼圖像緩衝(EL DPB)中及/或用於預測增強層視訊輸入。基礎層視訊和增強層視訊可以是用各自的不同空間解析度所表示的基本上相同的視訊源,使得它們經由例如降取樣過程來彼此對應。層間預測(ILP)處理可以由層間處理及/或管理單元執行,例如可用於將基礎層重建的空間解析度與增強層視訊的空間解析度對準的升取樣操作。可縮放視訊編碼位元流可以包括由基礎層和增強層編碼器產生的基礎層位元流、增強層位元流、及/或層間預測資訊。
層間預測資訊可以由ILP處理和管理單元產生。例如,ILP資訊可以包括以下一者或多者:所應用的層間處理的類型;處理中使用的一個或多個參數(例如,使用哪些升取樣濾波器);應當將一個或多個處理後的基礎層圖像中的哪些處理後的基礎層圖像插入EL DPB中;等等。可以將基礎層和增強層位元流及/或ILP資訊一起進行多工,例如從而形成可縮放位元流(例如,SHVC位元流)。
第4圖示出了可以對應於第3圖中描繪的可縮放編碼器的示例性兩層可縮放視訊解碼器。該解碼器可以執行一個或多個操作,例如按照與編碼器相反的順序來執行。可以將可縮放位元流解多工成基礎層位元流、增強層位元流、及/或ILP資訊。基礎層解碼器可以對基礎層位元流進行解碼及/或可以產生基礎層重建。
ILP處理和管理單元可以接收ILP資訊及/或可以處理基礎層重建,例如根據接收到的ILP資訊來處理。ILP處理和管理單元可以選擇性地將一個或多個處理後的基礎層圖像插入到EL DPB中,例如根據所接收到的ILP資訊來進行插入。增強層解碼器可以對增強層位元流(例如,該增強層位元流具有時間參考圖像及/或層間參考圖像的組合(例如,一個或多個處理後的基礎層圖像))進行解碼,以便重建增強層視訊。為了便於進行揭露,術語“層間參考圖像”和“處理後的基礎層圖像”可以互換使用。
第5圖描繪了示例性層間預測和處理管理單元,例如其可以在第3圖中示出的示例性兩層空間可縮放視訊編碼器及/或第4圖中示出的示例性兩層空間可縮放視訊解碼器中實施。層間預測和處理管理單元可以包括一個或多個階段(例如,第5圖中描繪的三個階段)。在第一階段(例如,階段1)中,可以增強BL重建圖像(例如,在其被升取樣之前)。在第二階段(例如,階段2)中,可以執行升取樣(例如,當BL的解析度低於空間縮放中的EL的解析度時)。第二階段的輸出具有的解析度與具有對準的取樣格柵(grid)的EL的解析度基本相同。可以例如在將升取樣後的圖像放入EL DPB中之前在第三階段(例如,階段3)中執行增強,這可以改進層間參考圖像品質。
可以由層間預測和處理管理單元執行上述三個階段中的一個或多個階段、或者不執行任何階段。例如,在信號干擾比(SNR)可縮放性中(其中BL圖像具有的解析度基本與具有更低品質的EL圖像的解析度相同),可以不執行上述三個階段中的一個或多個階段(例如,執行所有階段),例如從而可以將BL重建圖像插入到EL DPB中以直接用於層間預測。在空間可縮放性中,可以執行第二階段,例如以使得升取樣後的BL重建圖像具有與EL圖像對準的取樣格柵。可以執行第一和第三階段來改進層間參考圖像品質,例如,其可以説明實現EL編碼的更高效率。
在可縮放視訊編碼系統(例如,第3圖和第4圖中所示)中執行圖像級ILP可以降低實施複雜度,例如因為(例如,在區塊級處的)各自的基礎層及/或增強層編碼器及/或解碼器邏輯可以至少部分地被再次使用而無需改變。高級(例如,圖像級及/或片級)配置將一個或多個各自的處理後的基礎層圖像插入到增強層DPB中。為了改進編碼效率,可以在可縮放系統中允許一個或多個區塊級改變,例如從而促進區塊級層間預測,其可以在圖像級層間預測之外執行。
這裡描述的單層及/或多層視訊編碼系統可以用於對彩色視訊進行編碼。在彩色視訊中,攜帶亮度和色度資訊的每個像素可以由主(primary)顏色的各自的強度的組合(例如,YCbCr、RGB、或YUV)構成。彩色視訊的每個視訊訊框可以由對應於三個顏色頻道的三個矩形陣列組成。顏色頻道(例如,每個顏色頻道)中的一個或多個樣本可以具有離散及/或有限的幅度,該幅度在數位視訊應用中可以使用8位元值來表示。可以在視訊捕獲及/或顯示系統中使用紅色、綠色以及藍色(RGB)主色。
在視訊編碼及/或傳輸中,可以將RGB空間中的視訊訊號轉換到一個或多個其他顏色空間(例如,具有亮度及/或色度座標)中,諸如用於PAL和SECAM TV系統的YUV和用於NTSC TV系統的YIQ,例如以從而降低頻寬消耗及/或用於與單色視訊應用的相容性。Y分量的值可以代表像素的亮度,而其他兩個分量(例如,Cb和Cr)可以承載色度資訊。數位顏色空間(例如,YCbCr)可以是類比顏色空間(例如,YUV)的縮放及/或偏移版本。用於從RGB座標獲得YCbCr座標的變換矩陣可以表示為等式(1)。
因為人眼視覺系統(HVS)對顏色的敏感性低於對亮度的敏感性,因此可以對色度分量Cb和Cr進行次取樣,而幾乎不會退化感受到的視訊品質。顏色次取樣格式可以由用冒號分離的數位三元組來表明。例如,根據4:2:2顏色次取樣格式,用於色度分量的水平取樣速率可以減半,而垂直取樣速率可以不變。根據4:2:0顏色次取樣格式,為了降低相關聯的資料速率,用於色度分量的取樣速率在水平方向和垂直方向上都可以減半。根據可被用於使用甚高視訊品質的應用的4:4:4顏色次取樣格式,色度分量可以具有與用於亮度分量的取樣速率基本相同的取樣速率。第6A圖至第6C圖中分別描繪了示出用於上述顏色次取樣格式的亮度和色度樣本的示例性取樣格柵。
視訊序列中的訊框的Y、Cb以及Cr顏色平面可以與內容相關(例如,高度相關),但是兩個色度平面可以顯示比亮度平面更少的紋理及/或邊緣。三個顏色平面可以共享相同的移動。當基於區塊的混合視訊編碼系統(例如,根據第1圖和第2圖)應用於顏色區塊時,可以不對區塊內的這三個平面獨立地編碼。如果用間預測對顏色區塊進行編碼,則這兩個色度區塊可以再次使用亮度區塊的移動資訊,例如移動向量及/或參考索引。如果用內預測對顏色區塊進行編碼,則亮度區塊可以比兩個色度區塊中的一個或兩個色度區塊具有更多的預測方向可供選擇,例如這是因為亮度區塊可以具有更多的種類及/或更強的邊緣。
例如,根據H.264/AVC內預測,亮度區塊可以具有九個候選方向,而色度區塊可以具有四個候選方向。根據HEVC內預測,色度區塊可以具有四個候選方向,並且亮度區塊可以具有多於四個候選方向(例如,三十五個候選方向)。可以獨立執行用於亮度及/或色度預測錯誤的各自的變換及/或量化過程,例如在內或間預測之後執行。在低位元速率(例如,其中用於亮度的QP大於三十四),色度可以比對應的亮度具有更輕(lighter)量化(例如,更小的量化步長),例如這是因為色度平面中的邊緣及/或紋理可以更精緻並且可以更多地受到重度量化(heavy quantization)的影響,其中重度量化可以引起可見的偽像,例如滲色。
被配置為執行視訊編碼(例如,以編碼及/或解碼視訊訊號)的裝置可以稱為視訊編碼裝置。這種視訊編碼裝置可以包括能夠處理視訊的裝置,例如電視、數位媒體播放機、DVD播放機、藍光TM(blue-rayTM)播放機、網路連結的媒體播放機裝置、桌上型電腦、膝上型個人電腦、平板裝置、行動電話、視訊會議系統、基於硬體及/或軟體的視訊編碼系統等等。這種視訊編碼裝置可以包括無線通訊網路元件,例如無線傳輸/接收單元(WTRU)、基地台、閘道、或其他網路元件。
視訊編碼裝置可以被配置為經由網路介面來接收視訊訊號(例如,視訊位元流)。視訊編碼裝置可以具有無線網路介面、有線網路介面、或其任意組合。例如,如果視訊編碼裝置是無線通訊網路元件(例如,無線傳輸接收單元(WTRU)),則網路介面可以是WTRU的收發器。再舉個例子,如果視訊編碼裝置是不被配置為用於無線通訊的能夠處理視訊的裝置(例如,後端架編碼器),則網路介面可以是有線網路連接(例如,光纖連接)。再舉個例子,網路介面可以是被配置為與實體儲存媒體(例如,光碟驅動器、記憶體卡介面、到視訊相機的直接介面等等)進行通訊的介面。應當理解網路介面不限於這些例子,並且網路介面可以包括使得視訊編碼裝置能夠接收視訊訊號的其他介面。
視訊編碼裝置可以被配置為對一個或多個視訊訊號(例如,由視訊編碼裝置的網路介面接收到的源視訊訊號)執行交叉平面濾波。
可以使用交叉平面濾波,例如以使用來自對應亮度平面的資訊來恢復一個或兩個色度平面中的模糊邊緣及/或紋理。可以實施適應性交叉平面濾波器。可以量化及/或用信號發送交叉平面濾波器係數,使得位元流中的負荷降低(例如,最小化)性能退化,例如根據與視訊訊號相關聯的位元流的傳輸性能的臨界值水平來執行。可以在位元流(例如,輸出視訊位元流)中傳送及/或可以在位元流相關的帶外傳送交叉平面濾波器係數。
可以確定交叉平面濾波器的一個或多個特徵(例如,大小、可分離性、對稱性等等),使得位元流中的負荷可承受,而不會使得性能退化。交叉平面濾波可以應用於具有不同顏色次取樣格式(例如,包括4:4:4、4:2:2、以及4:2:0)的視訊。可以應用交叉平面濾波來選擇視訊影像的區域(例如,邊緣區域及/或可以在位元流中用信號發送的一個或多個區域)。可以在單層視訊編碼系統中實施交叉平面濾波器。可以在多層視訊編碼系統中實施交叉平面濾波器。
亮度平面可以用作改進一個或兩個色度平面的品質的引導。例如,關於亮度平面的資訊的一個或多個部分可以混合到對應的色度平面中。為了便於揭露,原始(例如,未編碼)的視訊影像的三個顏色平面可以分別表示為Y_org、Cb_org以及Cr_org,並且原始視訊影像的編碼後版本的三個顏色平面可以分別表示為Y_rec、Cb_rec以及Cr_rec。
第7圖示出了可以使用的交叉平面濾波的示例,例如用於使用逆過程(例如,上面示出的過程(1))將Y_rec、Cb_rec以及Cr_rec變換回RGB空間,其中在RGB空間中將三個平面分別表示為R_rec、G_rec以及B_rec。可以將Y_org、Cb_org以及Cr_org變換回RGB空間(例如,基本上同時變換),從而可以獲得被標記為R_org、G_org以及B_org的各自的原始RGB平面。最小平方(LS)訓練法可以將平面對(R_org,R_rec)、(G_org,G_rec)、以及(B_org,B_rec)作為訓練資料集來分別訓練用於R、G以及B平面的三個濾波器,這三個濾波器被表示為filter_R、filter_G、以及filter_B。藉由使用filter_R、filter_G、以及filter_B來分別對R_rec、G_rec以及B_rec進行濾波,可以獲得三個被表示為R_imp、G_imp以及B_imp的改進RGB平面,及/或與R_org與R_rec、G_org與G_rec、以及B_org與B_rec之間的各自的失真相比,R_org與R_ imp、G_org與G_ imp、以及B_org與B_ imp之間的失真可以分別被降低(例如,最小化)。R_imp、G_imp以及B_imp可以被轉換到YCbCr空間,並且可以獲得Y_imp、Cb_imp以及Cr_imp,其中Cb_imp以及Cr_imp可以是交叉平面濾波過程的輸出。
例如,如第7圖中示出的來回轉換顏色空間可以消耗編碼器及/或解碼器側的一側或兩側的計算資源(例如,不期望的大量計算資源)。因為空間轉換過程和濾波過程都是線性的,示出的交叉平面濾波程序的至少一部分可以例如使用簡化過程來近似,在該簡化過程中在YCbCr空間中執行所述操作中的一個或多個操作(例如,所有操作)。
如第8A圖所示,為了改進Cb_rec的品質,LS訓練模組可以將Y_rec、Cb_rec、Cr_rec以及Cb_org作為訓練資料集、並且可被連帶得到的最佳濾波器filter_Y4Cb、filter_Cb4Cb、以及filter_Cr4Cb可以分別應用於Y_rec、Cb_rec以及Cr_rec。可以將對三個平面的濾波的各自的輸出一起添加,例如以便獲得被表示為Cb_imp的改進Cb平面。可以藉由LS法來訓練三個最佳濾波器,從而可以例如根據等式(2)來使Cb_imp與 Cb_org之間的失真最小化:
(2)
其中代表二維(2-D)卷積,+和-分別代表矩陣加法和減法,並且E[(X)2]代表矩陣X中每個元素的均方。
如第8B圖所示,為了改進Cr_rec的品質,LS訓練模組可以將Y_rec、Cb_rec、Cr_rec以及Cr_org作為訓練資料集、並且可被連帶得到的最佳濾波器filter_Y4Cr、filter_Cb4Cr、以及filter_Cr4Cr可以分別應用於Y_rec、Cb_rec以及Cr_rec。可以將對三個平面的濾波的各自的輸出一起添加,例如以便獲得被表示為Cr_imp的改進Cr平面。可以藉由LS法來訓練三個最佳濾波器,從而可以例如根據等式(3)以使Cr_imp與 Cr_org之間的失真最小化:
(3)
Cr對改進Cb貢獻很少。Cb對改進Cr貢獻很少。
可以簡化第8A圖和第8B圖中示出的交叉平面濾波技術。例如,如第9A圖所示,可以經由在LS訓練中採用Y和Cb平面而不是Cr平面來改進Cb平面的品質,從而兩個濾波器即filter_Y4Cb和filter_Cb4Cb可以被連帶得到並且可以分別應用於Y和Cb。可以將濾波器的各自的輸出一起添加,例如以便獲得被表示為Cb_imp的改進Cb平面。
如第9B圖所示,可以經由在LS訓練中採用Y和Cr平面而不是Cb平面來改進Cr平面的品質,從而兩個濾波器即filter_Y4Cr和filter_Cr4Cr可以被連帶得到並且可以分別應用於Y和Cr。可以將濾波器的各自的輸出一起添加,例如以便獲得被表示為Cr_imp的改進Cr平面。
第9A圖和第9B圖中示出的交叉平面濾波技術可以降低訓練及/或濾波的各自計算複雜度、及/或可以降低向解碼器側傳送交叉平面濾波器係數的負荷位元,從而性能退化可以是微小的。
為了在視訊編碼系統中實施交叉平面濾波,可以解決以下一者或多者:交叉平面濾波器大小確定;交叉平面濾波器係數量化及/或傳輸(例如,用信號發送);以及將交叉平面濾波適用於一個或多個局部區域。
為了訓練最佳交叉平面濾波器,可以確定合適的濾波器大小。濾波器的大小可以大致與和濾波器關聯的負荷的大小及/或與濾波器的計算複雜度成比例。例如,3x3濾波器可以具有要傳送的九個濾波器係數,並且可以採用九次乘法和八次加法來完成對一個像素的濾波。5x5濾波器可以具有要傳送的二十五個濾波器係數、並且可以採用二十五次乘法和二十四次加法來完成對一個像素的濾波。更大大小的濾波器可以實現更低的最小失真(例如,按照等式(2)和(3))、及/或可以提供更好的性能。可以選擇濾波器大小來對例如計算複雜度、負荷大小及/或性能進行平衡。
本身可以應用於平面的訓練過的濾波器(例如filter_Cb4Cb以及filter_Cr4Cr)可以實施為低通濾波器。可以用於交叉平面的訓練過的濾波器(例如filter_Y4Cb、filter_Y4Cr、filter_Cb4Cr以及filter_Cr4Cb)可以實施為高通濾波器。使用不同大小的不同濾波器可以對對應視訊編碼系統的性能影響很小。交叉平面濾波器的大小可以保持很小(例如,盡可能小),例如從而性能損失是可忽略的。例如,可以選擇交叉平面濾波器大小,從而基本觀察不到性能損失。可以實施較大大小的交叉平面濾波器(例如,MxN交叉平面濾波器,其中M和N可以是整數)。
例如,對於低通濾波器,例如filter_Cb4Cb和filter_Cr4Cr,濾波器大小可以實施為1x1,從而該濾波器具有與要被濾波的各自的像素相乘的一個係數。1x1的filter_Cb4Cb和filter_Cr4Cr的濾波器係數可以固定為1.0,從而可以節省(例如,不應用及/或不用信號發送)filter_Cb4Cb和filter_Cr4Cr。
對於高通濾波器,例如filter_Y4Cb和filter_Y4Cr,濾波器大小可以依賴於或獨立於顏色取樣格式。交叉平面濾波器大小可以依賴於顏色取樣格式。例如,可以針對選擇色度像素實施交叉平面濾波器(例如,filter_Y4Cb和filter_Y4Cr)的大小及/或支援區域,例如如第10A圖至第10C圖中所示,其中圓圈可以代表亮度樣本的各自位置,實心三角形可以代表色度樣本的各自位置,並且用於對(例如,由空心三角形表示的)選擇色度樣本進行濾波的亮度樣本可以由灰色圓圈代表。如圖所示,filter_Y4Cb和filter_Y4Cr的濾波器大小對於4:4:4和4:2:2顏色格式而言可以是3x3,並且對於4:2:0顏色格式而言可以是4x3。濾波器大小可以獨立於顏色格式,例如如第11A圖至第11C圖所示。例如根據針對4:2:0格式的大小,濾波器大小可以是4x3。
交叉平面濾波過程可以將訓練後的高通濾波器應用於Y平面、並且可以將濾波結果(表示為Y_offset4Cb和Y_offset4Cr)作為添加到色度平面中的對應像素的偏移,例如根據等式(4)和(5)來執行。
(4)
(5)
可以對交叉平面濾波器係數進行量化。例如在傳輸之前,訓練後的交叉平面濾波器可以具有可被量化的實數值係數。例如,filter_Y4Cb可以由被表示為filter_int的整數濾波器來大致近似。filter_int中的元素可以具有小的動態範圍(例如,根據4-位元表示可以從-8到7)。第二係數被表示為coeff.,並且可以被使用以使filter_int更準確地接近於filter_Y4Cb,例如根據等式(6)所示。
在等式(6)中,為實數值數的coeff.可以M/2N由近似,其中M和N是整數,例如根據等式(7)所示。
為了傳送filter_Y4Cb,可以例如將filter_int中的係數和M、N一起編碼到位元流中。可以例如擴展上述量化技術,以便量化filter_Y4Cr。
交叉平面濾波器(例如,filter_Y4Cb及/或filter_Y4Cr)可以具有靈活的分離性及/或對稱性。可以相對於示例性4x3交叉平面濾波器來描述這裡引入的交叉平面濾波器屬性(例如,根據第10A圖至第10C圖或者第11A圖至第11C圖),但是該交叉平面濾波器屬性可應用於其他濾波器大小。
交叉平面濾波器可以具有各種對稱屬性,例如根據第12A圖至第12E圖描述的。交叉平面濾波器可以不具有對稱性,例如如第12A圖所描述的。每個正方形可以代表一個濾波器係數,並且可以用唯一索引來標記,唯一索引可以表明其值可以不同於其餘濾波器係數的值。交叉平面濾波器可以具有水平和垂直對稱性,例如如第12B圖所示的,從而係數可以具有與一個或多個其他象限中的一個或多個對應係數相同的值。交叉平面濾波器可以具有垂直對稱性,例如如第12C圖所示。交叉平面濾波器可以具有水平對稱性,例如如第12D圖所示。交叉平面濾波器可以具有點對稱性,例如如第12E圖所示。
交叉平面濾波器可以不限於第12A圖至第12E圖中所示的對稱性、並且可以具有一個或多個其他對稱性。如果濾波器中的至少兩個係數具有相同的值(例如,至少兩個係數可以用相同的索引來標記),則交叉平面濾波器可以具有對稱性。例如,對於高通交叉平面濾波器(例如,filter_Y4Cb 和filter_Y4Cr),有利的是:在沿著濾波器支援區域的邊界處,對一個或多個(例如,所有)係數不施加對稱性,但對濾波器支援區域的內部係數的一個或多個(例如,所有)係數施加某種對稱性(例如,水平和垂直對稱、水平對稱、垂直對稱、或點對稱)。
交叉平面濾波器可以是可分離的。例如,使用4x3二維濾波器的交叉平面濾波可以等效於將1x3水平濾波器應用於列(例如,在第一級期間)和將4x1垂直濾波器應用於第一級的輸出的行(例如,在第二級期間)。第一級和第二級的順序可以改變。對稱性可以應用於1x3水平濾波器及/或4x1垂直濾波器。第13A圖和第13B圖分別描繪了不具有對稱性和具有對稱性的兩個一維濾波器。
無論交叉平面濾波器是否是可分離的及/或對稱的,將濾波器係數編碼到位元流中可以限於具有唯一值的濾波器係數。例如,根據第12A圖中描繪的交叉平面濾波器,可以對十二個濾波器係數(索引為0到11)進行編碼。根據第12B圖中描繪的交叉平面濾波器,可以對四個濾波器係數(索引為0到3)進行編碼。在交叉平面濾波器中實施對稱性可以降低(例如,視訊訊號位元流中的)負荷大小。
交叉平面濾波器的濾波器係數的總和可以等於零,例如在交叉平面濾波器(例如,filter_Y4Cb和filter_Y4Cr)是高通濾波器的情況下。根據這種屬性(其可以是約束的),交叉平面濾波器中的係數(例如,至少一個係數)具有的幅度可以等於其他係數的總和,但是可以具有相反的符號。如果交叉平面濾波器具有X個係數要傳送(例如,如第12A圖所示,X等於12),可以將X-1個係數編碼到位元流中(例如,顯性地編碼)。解碼器可以接收X-1個係數並且可以例如基於零總和的約束來得到(例如,隱性地得到)其餘係數的值。
可以例如在視訊位元流中用信號發送交叉平面濾波係數。第14圖中的示例性語法表格示出了用信號發送用於色度平面(例如,Cb或Cr)的二維、非可分離的、非對稱的交叉平面濾波器係數集的示例。以下描述可以應用於示例性語法表格中的項。項num_coeff_hori_minus1加上1(+1)可以表明交叉平面濾波器的水平方向中的係數數量。項num_coeff_vert_minus1加上1(+1)可以表明交叉平面濾波器的垂直方向中的係數數量。項num_coeff_reduced_flag等於0可以指示交叉平面濾波器係數的數量可以等於(num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1),例如如第15A圖所示。如第15A圖所示,num_coeff_hori_minus1等於2,並且num_coeff_vert_minus1等於3。
項num_coeff_reduced_flag等於1可以表明交叉平面濾波器係數的數量(其可以典型地等於(num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1))可以例如藉由移除四個角的係數而被減小到 (num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1) – 4,例如如第15B圖所示的例子。可以降低交叉平面濾波器的支援區域,例如藉由移除四個角的係數來執行。利用num_coeff_reduced_flag項可以提供增強的靈活性,例如無論是否濾波器係數被降低。
項filter_coeff_plus8 [i]減去8可以對應於第i個交叉平面濾波器係數。濾波器係數的值可以在例如-8到7的範圍內。在該情況中,項filter_coeff_plus8 [i]可以在0到15的範圍中,並且可以被編碼,例如根據4位元的固定長度編碼(FLC)來編碼。項scaling_factor_abs_minus1和scaling_factor_sign可以一起規定縮放因數(例如,等式(7)中的M)的值如下:
對於一個或多個輸入視訊區塊(例如,每個輸入視訊區塊),例如MB或CU,可以執行空間預測160及/或時間預測162。空間預測160(其可以稱為內預測(intra prediction))可以使用來自視訊圖像及/或片中的一個或多個已經編碼的鄰近區塊的像素,例如以便預測視訊區塊。空間預測160可以降低空間冗餘,該空間冗餘可能是視訊訊號固有的。時間預測162(其可以稱為間預測(inter prediction)及/或移動補償預測)可以使用來自一個或多個已經編碼的視訊圖像的像素,例如以便預測視訊區塊。時間預測可以降低時間冗餘,該時間冗餘可能是視訊訊號固有的。用於視訊區塊的時間預測信號可以包括一個或多個移動向量及/或一個或多個參考圖像索引(例如,如果使用了多個參考圖像的話),以識別時間預測信號可以源自參考圖像記憶體164中的哪些參考圖像。
在執行空間預測及/或時間預測之後,模式決定區塊180(例如,位於編碼器中)可以選擇預測模式,例如基於率失真最佳化方法進行選擇。可以從視訊區塊116減去預測區塊。可以變換104及/或量化106預測殘差。可以逆量化110及/或逆變換112一個或多個量化後的殘差係數,例如以便形成重建殘差。該重建殘差可以被添加到預測區塊126中,例如以形成重建視訊區塊。
此外,在內迴路濾波中,例如在將重建視訊區塊儲存在參考圖像儲存164及/或用於編碼隨後的視訊區塊之前,可將例如一個或多個去塊化(deblocking)濾波器及/或適應性迴路濾波器166應用於重建視訊區塊上。為了形成輸出視訊位元流120,可以將編碼模式(例如,間(inter)或內(intra))、預測模式資訊、移動資訊、及/或量化後的殘差係數發送給熵編碼單元108,例如以被進一步壓縮及/或縮緊(packed)以形成位元流120。
第2圖示出了示例性的基於區塊的視訊解碼器,其可對應於第1圖中描繪的基於區塊的編碼器。可以在例如熵解碼單元208處對視訊位元流202進行未縮緊及/或熵解碼。可以將編碼模式及/或預測資訊發送給空間預測單元260(例如,針對內編碼)或時間預測單元262(例如,針對間編碼),例如以便形成預測區塊。可以將一個或多個殘差變換係數發送給逆量化單元210及/或逆變換單元212,例如以對殘差區塊進行重建。預測區塊和殘差區塊可以在226處被添加到一起,例如以便形成重建區塊。可以在例如重建區塊被添加到將被傳送的(例如,傳送到顯示裝置)重建輸出視訊220之前及/或在重建區塊被儲存在參考圖像儲存264中之前,經由迴路中濾波(例如,使用迴路濾波器266)來處理重建區塊,以例如用於預測一個或多個隨後的視訊區塊。
可以在計算能力、記憶體及/或儲存器大小、顯示解析度、顯示訊框率等等方面具有不同能力的裝置上例如經由智慧型電話及/或輸入板來享用視訊。網路及/或傳輸頻道可以在封包丟失率、可用頻道頻寬、叢發錯誤率等方面具有不同的特性。可以經由有線網路及/或無線網路的組合傳送視訊資料,這可以使得一個或多個底層(underlying)視訊傳輸頻道特徵複雜。在這種情況下,可縮放的視訊編碼可以改進由視訊應用提供的視訊品質,例如由在具有不同能力的裝置上運行的視訊應用經由異構網路提供的視訊品質。
可縮放視訊編碼可以根據最高表示(例如,時間解析度、空間解析度、品質等)對視訊訊號進行編碼,但是能夠例如根據在客戶裝置上運行的一個或多個應用所採用的規定速率及/或表示,從一個或多個視訊流的各自的子集進行解碼。可縮放視訊編碼能夠節省頻寬及/或儲存器。
第3圖示出了具有一個基礎層(BL)和一個增強層(EL)的示例性兩層可縮放視訊編碼系統。這兩個層之間的空間解析度可以不同,從而可以應用空間可縮放性。基礎層編碼器(例如,高效視訊編碼(HEVC)編碼器)可以對基礎層視訊輸入進行編碼(例如逐區塊編碼)、並且可以產生基礎層位元流(例如,根據第1圖中描繪的方塊圖)。增強層編碼器可以對增強層視訊輸入進行編碼(例如逐區塊編碼)、並且可以產生增強層位元流(例如,根據第1圖中描繪的方塊圖)。可以改進可縮放視訊編碼系統的編碼效率(例如,增強層編碼的編碼效率)。例如,可以使用來自基礎層重建視訊的信號相關性來改進預測準確性。
可以對基礎層重建視訊進行處理,使得一個或多個處理的基礎層圖像的至少部分能夠被插入到增強層解碼圖像緩衝(EL DPB)中及/或用於預測增強層視訊輸入。基礎層視訊和增強層視訊可以是用各自的不同空間解析度所表示的基本上相同的視訊源,使得它們經由例如降取樣過程來彼此對應。層間預測(ILP)處理可以由層間處理及/或管理單元執行,例如可用於將基礎層重建的空間解析度與增強層視訊的空間解析度對準的升取樣操作。可縮放視訊編碼位元流可以包括由基礎層和增強層編碼器產生的基礎層位元流、增強層位元流、及/或層間預測資訊。
層間預測資訊可以由ILP處理和管理單元產生。例如,ILP資訊可以包括以下一者或多者:所應用的層間處理的類型;處理中使用的一個或多個參數(例如,使用哪些升取樣濾波器);應當將一個或多個處理後的基礎層圖像中的哪些處理後的基礎層圖像插入EL DPB中;等等。可以將基礎層和增強層位元流及/或ILP資訊一起進行多工,例如從而形成可縮放位元流(例如,SHVC位元流)。
第4圖示出了可以對應於第3圖中描繪的可縮放編碼器的示例性兩層可縮放視訊解碼器。該解碼器可以執行一個或多個操作,例如按照與編碼器相反的順序來執行。可以將可縮放位元流解多工成基礎層位元流、增強層位元流、及/或ILP資訊。基礎層解碼器可以對基礎層位元流進行解碼及/或可以產生基礎層重建。
ILP處理和管理單元可以接收ILP資訊及/或可以處理基礎層重建,例如根據接收到的ILP資訊來處理。ILP處理和管理單元可以選擇性地將一個或多個處理後的基礎層圖像插入到EL DPB中,例如根據所接收到的ILP資訊來進行插入。增強層解碼器可以對增強層位元流(例如,該增強層位元流具有時間參考圖像及/或層間參考圖像的組合(例如,一個或多個處理後的基礎層圖像))進行解碼,以便重建增強層視訊。為了便於進行揭露,術語“層間參考圖像”和“處理後的基礎層圖像”可以互換使用。
第5圖描繪了示例性層間預測和處理管理單元,例如其可以在第3圖中示出的示例性兩層空間可縮放視訊編碼器及/或第4圖中示出的示例性兩層空間可縮放視訊解碼器中實施。層間預測和處理管理單元可以包括一個或多個階段(例如,第5圖中描繪的三個階段)。在第一階段(例如,階段1)中,可以增強BL重建圖像(例如,在其被升取樣之前)。在第二階段(例如,階段2)中,可以執行升取樣(例如,當BL的解析度低於空間縮放中的EL的解析度時)。第二階段的輸出具有的解析度與具有對準的取樣格柵(grid)的EL的解析度基本相同。可以例如在將升取樣後的圖像放入EL DPB中之前在第三階段(例如,階段3)中執行增強,這可以改進層間參考圖像品質。
可以由層間預測和處理管理單元執行上述三個階段中的一個或多個階段、或者不執行任何階段。例如,在信號干擾比(SNR)可縮放性中(其中BL圖像具有的解析度基本與具有更低品質的EL圖像的解析度相同),可以不執行上述三個階段中的一個或多個階段(例如,執行所有階段),例如從而可以將BL重建圖像插入到EL DPB中以直接用於層間預測。在空間可縮放性中,可以執行第二階段,例如以使得升取樣後的BL重建圖像具有與EL圖像對準的取樣格柵。可以執行第一和第三階段來改進層間參考圖像品質,例如,其可以説明實現EL編碼的更高效率。
在可縮放視訊編碼系統(例如,第3圖和第4圖中所示)中執行圖像級ILP可以降低實施複雜度,例如因為(例如,在區塊級處的)各自的基礎層及/或增強層編碼器及/或解碼器邏輯可以至少部分地被再次使用而無需改變。高級(例如,圖像級及/或片級)配置將一個或多個各自的處理後的基礎層圖像插入到增強層DPB中。為了改進編碼效率,可以在可縮放系統中允許一個或多個區塊級改變,例如從而促進區塊級層間預測,其可以在圖像級層間預測之外執行。
這裡描述的單層及/或多層視訊編碼系統可以用於對彩色視訊進行編碼。在彩色視訊中,攜帶亮度和色度資訊的每個像素可以由主(primary)顏色的各自的強度的組合(例如,YCbCr、RGB、或YUV)構成。彩色視訊的每個視訊訊框可以由對應於三個顏色頻道的三個矩形陣列組成。顏色頻道(例如,每個顏色頻道)中的一個或多個樣本可以具有離散及/或有限的幅度,該幅度在數位視訊應用中可以使用8位元值來表示。可以在視訊捕獲及/或顯示系統中使用紅色、綠色以及藍色(RGB)主色。
在視訊編碼及/或傳輸中,可以將RGB空間中的視訊訊號轉換到一個或多個其他顏色空間(例如,具有亮度及/或色度座標)中,諸如用於PAL和SECAM TV系統的YUV和用於NTSC TV系統的YIQ,例如以從而降低頻寬消耗及/或用於與單色視訊應用的相容性。Y分量的值可以代表像素的亮度,而其他兩個分量(例如,Cb和Cr)可以承載色度資訊。數位顏色空間(例如,YCbCr)可以是類比顏色空間(例如,YUV)的縮放及/或偏移版本。用於從RGB座標獲得YCbCr座標的變換矩陣可以表示為等式(1)。
因為人眼視覺系統(HVS)對顏色的敏感性低於對亮度的敏感性,因此可以對色度分量Cb和Cr進行次取樣,而幾乎不會退化感受到的視訊品質。顏色次取樣格式可以由用冒號分離的數位三元組來表明。例如,根據4:2:2顏色次取樣格式,用於色度分量的水平取樣速率可以減半,而垂直取樣速率可以不變。根據4:2:0顏色次取樣格式,為了降低相關聯的資料速率,用於色度分量的取樣速率在水平方向和垂直方向上都可以減半。根據可被用於使用甚高視訊品質的應用的4:4:4顏色次取樣格式,色度分量可以具有與用於亮度分量的取樣速率基本相同的取樣速率。第6A圖至第6C圖中分別描繪了示出用於上述顏色次取樣格式的亮度和色度樣本的示例性取樣格柵。
視訊序列中的訊框的Y、Cb以及Cr顏色平面可以與內容相關(例如,高度相關),但是兩個色度平面可以顯示比亮度平面更少的紋理及/或邊緣。三個顏色平面可以共享相同的移動。當基於區塊的混合視訊編碼系統(例如,根據第1圖和第2圖)應用於顏色區塊時,可以不對區塊內的這三個平面獨立地編碼。如果用間預測對顏色區塊進行編碼,則這兩個色度區塊可以再次使用亮度區塊的移動資訊,例如移動向量及/或參考索引。如果用內預測對顏色區塊進行編碼,則亮度區塊可以比兩個色度區塊中的一個或兩個色度區塊具有更多的預測方向可供選擇,例如這是因為亮度區塊可以具有更多的種類及/或更強的邊緣。
例如,根據H.264/AVC內預測,亮度區塊可以具有九個候選方向,而色度區塊可以具有四個候選方向。根據HEVC內預測,色度區塊可以具有四個候選方向,並且亮度區塊可以具有多於四個候選方向(例如,三十五個候選方向)。可以獨立執行用於亮度及/或色度預測錯誤的各自的變換及/或量化過程,例如在內或間預測之後執行。在低位元速率(例如,其中用於亮度的QP大於三十四),色度可以比對應的亮度具有更輕(lighter)量化(例如,更小的量化步長),例如這是因為色度平面中的邊緣及/或紋理可以更精緻並且可以更多地受到重度量化(heavy quantization)的影響,其中重度量化可以引起可見的偽像,例如滲色。
被配置為執行視訊編碼(例如,以編碼及/或解碼視訊訊號)的裝置可以稱為視訊編碼裝置。這種視訊編碼裝置可以包括能夠處理視訊的裝置,例如電視、數位媒體播放機、DVD播放機、藍光TM(blue-rayTM)播放機、網路連結的媒體播放機裝置、桌上型電腦、膝上型個人電腦、平板裝置、行動電話、視訊會議系統、基於硬體及/或軟體的視訊編碼系統等等。這種視訊編碼裝置可以包括無線通訊網路元件,例如無線傳輸/接收單元(WTRU)、基地台、閘道、或其他網路元件。
視訊編碼裝置可以被配置為經由網路介面來接收視訊訊號(例如,視訊位元流)。視訊編碼裝置可以具有無線網路介面、有線網路介面、或其任意組合。例如,如果視訊編碼裝置是無線通訊網路元件(例如,無線傳輸接收單元(WTRU)),則網路介面可以是WTRU的收發器。再舉個例子,如果視訊編碼裝置是不被配置為用於無線通訊的能夠處理視訊的裝置(例如,後端架編碼器),則網路介面可以是有線網路連接(例如,光纖連接)。再舉個例子,網路介面可以是被配置為與實體儲存媒體(例如,光碟驅動器、記憶體卡介面、到視訊相機的直接介面等等)進行通訊的介面。應當理解網路介面不限於這些例子,並且網路介面可以包括使得視訊編碼裝置能夠接收視訊訊號的其他介面。
視訊編碼裝置可以被配置為對一個或多個視訊訊號(例如,由視訊編碼裝置的網路介面接收到的源視訊訊號)執行交叉平面濾波。
可以使用交叉平面濾波,例如以使用來自對應亮度平面的資訊來恢復一個或兩個色度平面中的模糊邊緣及/或紋理。可以實施適應性交叉平面濾波器。可以量化及/或用信號發送交叉平面濾波器係數,使得位元流中的負荷降低(例如,最小化)性能退化,例如根據與視訊訊號相關聯的位元流的傳輸性能的臨界值水平來執行。可以在位元流(例如,輸出視訊位元流)中傳送及/或可以在位元流相關的帶外傳送交叉平面濾波器係數。
可以確定交叉平面濾波器的一個或多個特徵(例如,大小、可分離性、對稱性等等),使得位元流中的負荷可承受,而不會使得性能退化。交叉平面濾波可以應用於具有不同顏色次取樣格式(例如,包括4:4:4、4:2:2、以及4:2:0)的視訊。可以應用交叉平面濾波來選擇視訊影像的區域(例如,邊緣區域及/或可以在位元流中用信號發送的一個或多個區域)。可以在單層視訊編碼系統中實施交叉平面濾波器。可以在多層視訊編碼系統中實施交叉平面濾波器。
亮度平面可以用作改進一個或兩個色度平面的品質的引導。例如,關於亮度平面的資訊的一個或多個部分可以混合到對應的色度平面中。為了便於揭露,原始(例如,未編碼)的視訊影像的三個顏色平面可以分別表示為Y_org、Cb_org以及Cr_org,並且原始視訊影像的編碼後版本的三個顏色平面可以分別表示為Y_rec、Cb_rec以及Cr_rec。
第7圖示出了可以使用的交叉平面濾波的示例,例如用於使用逆過程(例如,上面示出的過程(1))將Y_rec、Cb_rec以及Cr_rec變換回RGB空間,其中在RGB空間中將三個平面分別表示為R_rec、G_rec以及B_rec。可以將Y_org、Cb_org以及Cr_org變換回RGB空間(例如,基本上同時變換),從而可以獲得被標記為R_org、G_org以及B_org的各自的原始RGB平面。最小平方(LS)訓練法可以將平面對(R_org,R_rec)、(G_org,G_rec)、以及(B_org,B_rec)作為訓練資料集來分別訓練用於R、G以及B平面的三個濾波器,這三個濾波器被表示為filter_R、filter_G、以及filter_B。藉由使用filter_R、filter_G、以及filter_B來分別對R_rec、G_rec以及B_rec進行濾波,可以獲得三個被表示為R_imp、G_imp以及B_imp的改進RGB平面,及/或與R_org與R_rec、G_org與G_rec、以及B_org與B_rec之間的各自的失真相比,R_org與R_ imp、G_org與G_ imp、以及B_org與B_ imp之間的失真可以分別被降低(例如,最小化)。R_imp、G_imp以及B_imp可以被轉換到YCbCr空間,並且可以獲得Y_imp、Cb_imp以及Cr_imp,其中Cb_imp以及Cr_imp可以是交叉平面濾波過程的輸出。
例如,如第7圖中示出的來回轉換顏色空間可以消耗編碼器及/或解碼器側的一側或兩側的計算資源(例如,不期望的大量計算資源)。因為空間轉換過程和濾波過程都是線性的,示出的交叉平面濾波程序的至少一部分可以例如使用簡化過程來近似,在該簡化過程中在YCbCr空間中執行所述操作中的一個或多個操作(例如,所有操作)。
如第8A圖所示,為了改進Cb_rec的品質,LS訓練模組可以將Y_rec、Cb_rec、Cr_rec以及Cb_org作為訓練資料集、並且可被連帶得到的最佳濾波器filter_Y4Cb、filter_Cb4Cb、以及filter_Cr4Cb可以分別應用於Y_rec、Cb_rec以及Cr_rec。可以將對三個平面的濾波的各自的輸出一起添加,例如以便獲得被表示為Cb_imp的改進Cb平面。可以藉由LS法來訓練三個最佳濾波器,從而可以例如根據等式(2)來使Cb_imp與 Cb_org之間的失真最小化:
(2)
其中代表二維(2-D)卷積,+和-分別代表矩陣加法和減法,並且E[(X)2]代表矩陣X中每個元素的均方。
如第8B圖所示,為了改進Cr_rec的品質,LS訓練模組可以將Y_rec、Cb_rec、Cr_rec以及Cr_org作為訓練資料集、並且可被連帶得到的最佳濾波器filter_Y4Cr、filter_Cb4Cr、以及filter_Cr4Cr可以分別應用於Y_rec、Cb_rec以及Cr_rec。可以將對三個平面的濾波的各自的輸出一起添加,例如以便獲得被表示為Cr_imp的改進Cr平面。可以藉由LS法來訓練三個最佳濾波器,從而可以例如根據等式(3)以使Cr_imp與 Cr_org之間的失真最小化:
(3)
Cr對改進Cb貢獻很少。Cb對改進Cr貢獻很少。
可以簡化第8A圖和第8B圖中示出的交叉平面濾波技術。例如,如第9A圖所示,可以經由在LS訓練中採用Y和Cb平面而不是Cr平面來改進Cb平面的品質,從而兩個濾波器即filter_Y4Cb和filter_Cb4Cb可以被連帶得到並且可以分別應用於Y和Cb。可以將濾波器的各自的輸出一起添加,例如以便獲得被表示為Cb_imp的改進Cb平面。
如第9B圖所示,可以經由在LS訓練中採用Y和Cr平面而不是Cb平面來改進Cr平面的品質,從而兩個濾波器即filter_Y4Cr和filter_Cr4Cr可以被連帶得到並且可以分別應用於Y和Cr。可以將濾波器的各自的輸出一起添加,例如以便獲得被表示為Cr_imp的改進Cr平面。
第9A圖和第9B圖中示出的交叉平面濾波技術可以降低訓練及/或濾波的各自計算複雜度、及/或可以降低向解碼器側傳送交叉平面濾波器係數的負荷位元,從而性能退化可以是微小的。
為了在視訊編碼系統中實施交叉平面濾波,可以解決以下一者或多者:交叉平面濾波器大小確定;交叉平面濾波器係數量化及/或傳輸(例如,用信號發送);以及將交叉平面濾波適用於一個或多個局部區域。
為了訓練最佳交叉平面濾波器,可以確定合適的濾波器大小。濾波器的大小可以大致與和濾波器關聯的負荷的大小及/或與濾波器的計算複雜度成比例。例如,3x3濾波器可以具有要傳送的九個濾波器係數,並且可以採用九次乘法和八次加法來完成對一個像素的濾波。5x5濾波器可以具有要傳送的二十五個濾波器係數、並且可以採用二十五次乘法和二十四次加法來完成對一個像素的濾波。更大大小的濾波器可以實現更低的最小失真(例如,按照等式(2)和(3))、及/或可以提供更好的性能。可以選擇濾波器大小來對例如計算複雜度、負荷大小及/或性能進行平衡。
本身可以應用於平面的訓練過的濾波器(例如filter_Cb4Cb以及filter_Cr4Cr)可以實施為低通濾波器。可以用於交叉平面的訓練過的濾波器(例如filter_Y4Cb、filter_Y4Cr、filter_Cb4Cr以及filter_Cr4Cb)可以實施為高通濾波器。使用不同大小的不同濾波器可以對對應視訊編碼系統的性能影響很小。交叉平面濾波器的大小可以保持很小(例如,盡可能小),例如從而性能損失是可忽略的。例如,可以選擇交叉平面濾波器大小,從而基本觀察不到性能損失。可以實施較大大小的交叉平面濾波器(例如,MxN交叉平面濾波器,其中M和N可以是整數)。
例如,對於低通濾波器,例如filter_Cb4Cb和filter_Cr4Cr,濾波器大小可以實施為1x1,從而該濾波器具有與要被濾波的各自的像素相乘的一個係數。1x1的filter_Cb4Cb和filter_Cr4Cr的濾波器係數可以固定為1.0,從而可以節省(例如,不應用及/或不用信號發送)filter_Cb4Cb和filter_Cr4Cr。
對於高通濾波器,例如filter_Y4Cb和filter_Y4Cr,濾波器大小可以依賴於或獨立於顏色取樣格式。交叉平面濾波器大小可以依賴於顏色取樣格式。例如,可以針對選擇色度像素實施交叉平面濾波器(例如,filter_Y4Cb和filter_Y4Cr)的大小及/或支援區域,例如如第10A圖至第10C圖中所示,其中圓圈可以代表亮度樣本的各自位置,實心三角形可以代表色度樣本的各自位置,並且用於對(例如,由空心三角形表示的)選擇色度樣本進行濾波的亮度樣本可以由灰色圓圈代表。如圖所示,filter_Y4Cb和filter_Y4Cr的濾波器大小對於4:4:4和4:2:2顏色格式而言可以是3x3,並且對於4:2:0顏色格式而言可以是4x3。濾波器大小可以獨立於顏色格式,例如如第11A圖至第11C圖所示。例如根據針對4:2:0格式的大小,濾波器大小可以是4x3。
交叉平面濾波過程可以將訓練後的高通濾波器應用於Y平面、並且可以將濾波結果(表示為Y_offset4Cb和Y_offset4Cr)作為添加到色度平面中的對應像素的偏移,例如根據等式(4)和(5)來執行。
(4)
(5)
可以對交叉平面濾波器係數進行量化。例如在傳輸之前,訓練後的交叉平面濾波器可以具有可被量化的實數值係數。例如,filter_Y4Cb可以由被表示為filter_int的整數濾波器來大致近似。filter_int中的元素可以具有小的動態範圍(例如,根據4-位元表示可以從-8到7)。第二係數被表示為coeff.,並且可以被使用以使filter_int更準確地接近於filter_Y4Cb,例如根據等式(6)所示。
在等式(6)中,為實數值數的coeff.可以M/2N由近似,其中M和N是整數,例如根據等式(7)所示。
為了傳送filter_Y4Cb,可以例如將filter_int中的係數和M、N一起編碼到位元流中。可以例如擴展上述量化技術,以便量化filter_Y4Cr。
交叉平面濾波器(例如,filter_Y4Cb及/或filter_Y4Cr)可以具有靈活的分離性及/或對稱性。可以相對於示例性4x3交叉平面濾波器來描述這裡引入的交叉平面濾波器屬性(例如,根據第10A圖至第10C圖或者第11A圖至第11C圖),但是該交叉平面濾波器屬性可應用於其他濾波器大小。
交叉平面濾波器可以具有各種對稱屬性,例如根據第12A圖至第12E圖描述的。交叉平面濾波器可以不具有對稱性,例如如第12A圖所描述的。每個正方形可以代表一個濾波器係數,並且可以用唯一索引來標記,唯一索引可以表明其值可以不同於其餘濾波器係數的值。交叉平面濾波器可以具有水平和垂直對稱性,例如如第12B圖所示的,從而係數可以具有與一個或多個其他象限中的一個或多個對應係數相同的值。交叉平面濾波器可以具有垂直對稱性,例如如第12C圖所示。交叉平面濾波器可以具有水平對稱性,例如如第12D圖所示。交叉平面濾波器可以具有點對稱性,例如如第12E圖所示。
交叉平面濾波器可以不限於第12A圖至第12E圖中所示的對稱性、並且可以具有一個或多個其他對稱性。如果濾波器中的至少兩個係數具有相同的值(例如,至少兩個係數可以用相同的索引來標記),則交叉平面濾波器可以具有對稱性。例如,對於高通交叉平面濾波器(例如,filter_Y4Cb 和filter_Y4Cr),有利的是:在沿著濾波器支援區域的邊界處,對一個或多個(例如,所有)係數不施加對稱性,但對濾波器支援區域的內部係數的一個或多個(例如,所有)係數施加某種對稱性(例如,水平和垂直對稱、水平對稱、垂直對稱、或點對稱)。
交叉平面濾波器可以是可分離的。例如,使用4x3二維濾波器的交叉平面濾波可以等效於將1x3水平濾波器應用於列(例如,在第一級期間)和將4x1垂直濾波器應用於第一級的輸出的行(例如,在第二級期間)。第一級和第二級的順序可以改變。對稱性可以應用於1x3水平濾波器及/或4x1垂直濾波器。第13A圖和第13B圖分別描繪了不具有對稱性和具有對稱性的兩個一維濾波器。
無論交叉平面濾波器是否是可分離的及/或對稱的,將濾波器係數編碼到位元流中可以限於具有唯一值的濾波器係數。例如,根據第12A圖中描繪的交叉平面濾波器,可以對十二個濾波器係數(索引為0到11)進行編碼。根據第12B圖中描繪的交叉平面濾波器,可以對四個濾波器係數(索引為0到3)進行編碼。在交叉平面濾波器中實施對稱性可以降低(例如,視訊訊號位元流中的)負荷大小。
交叉平面濾波器的濾波器係數的總和可以等於零,例如在交叉平面濾波器(例如,filter_Y4Cb和filter_Y4Cr)是高通濾波器的情況下。根據這種屬性(其可以是約束的),交叉平面濾波器中的係數(例如,至少一個係數)具有的幅度可以等於其他係數的總和,但是可以具有相反的符號。如果交叉平面濾波器具有X個係數要傳送(例如,如第12A圖所示,X等於12),可以將X-1個係數編碼到位元流中(例如,顯性地編碼)。解碼器可以接收X-1個係數並且可以例如基於零總和的約束來得到(例如,隱性地得到)其餘係數的值。
可以例如在視訊位元流中用信號發送交叉平面濾波係數。第14圖中的示例性語法表格示出了用信號發送用於色度平面(例如,Cb或Cr)的二維、非可分離的、非對稱的交叉平面濾波器係數集的示例。以下描述可以應用於示例性語法表格中的項。項num_coeff_hori_minus1加上1(+1)可以表明交叉平面濾波器的水平方向中的係數數量。項num_coeff_vert_minus1加上1(+1)可以表明交叉平面濾波器的垂直方向中的係數數量。項num_coeff_reduced_flag等於0可以指示交叉平面濾波器係數的數量可以等於(num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1),例如如第15A圖所示。如第15A圖所示,num_coeff_hori_minus1等於2,並且num_coeff_vert_minus1等於3。
項num_coeff_reduced_flag等於1可以表明交叉平面濾波器係數的數量(其可以典型地等於(num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1))可以例如藉由移除四個角的係數而被減小到 (num_coeff_hori_minus1+1) × (num_coeff_vert_minus1+1) – 4,例如如第15B圖所示的例子。可以降低交叉平面濾波器的支援區域,例如藉由移除四個角的係數來執行。利用num_coeff_reduced_flag項可以提供增強的靈活性,例如無論是否濾波器係數被降低。
項filter_coeff_plus8 [i]減去8可以對應於第i個交叉平面濾波器係數。濾波器係數的值可以在例如-8到7的範圍內。在該情況中,項filter_coeff_plus8 [i]可以在0到15的範圍中,並且可以被編碼,例如根據4位元的固定長度編碼(FLC)來編碼。項scaling_factor_abs_minus1和scaling_factor_sign可以一起規定縮放因數(例如,等式(7)中的M)的值如下:
項bit_shifting可以規定在縮放過程之後右移的位元數量。此項可以代表等式(7)中的N。
圖像的不同區域可以具有不同的統計屬性。得到用於一個或多個這種區域(例如,用於每個這種區域)的交叉平面濾波器係數可以改進色度編碼性能。為了說明,不同的交叉平面濾波器係數集可以應用於圖像或片的不同區域,針對該圖像或片,可以在圖像級(例如,在適應性圖像集(APS)中)及/或片級(例如,在片標頭中)傳送多個交叉平面濾波器係數集。
如果在後處理實施中使用交叉平面濾波,例如將該交叉平面濾波在顯示視訊之前應用於重建視訊,則一個或多個濾波器係數集可以作為補充增強資訊(SEI)訊息而被傳送。對於每個顏色平面,可以用信號發送濾波器集合的總數。如果該數量大於零,則可以傳送(例如順序地傳送)一個或多個交叉平面濾波器係數集。
第16圖的示例性語法表格示出了在可被稱為cross_plane_filter( )的SEI訊息中用信號發送多個交叉平面濾波器係數集的示例。以下描述可以應用於示例性語法表格中的項。項cross_plane_filter_enabled_flag等於一(1)可以規定交叉平面濾波被賦能。相反地,項cross_plane_filter_enabled_flag等於零(0)可以規定交叉平面濾波被禁用。
項cb_num_of_filter_sets可以規定可用於對目前圖像的Cb平面進行編碼的交叉平面濾波器係數集的數量。項cb_num_of_filter_sets等於零(0)可以表明交叉平面濾波不應用於目前圖像的Cb平面。項 cb_filter_coeff [i]可以是用於Cb平面的第i個交叉平面濾波器係數集。項 cb_filter_coeff 可以是資料結構、並且可以包括以下一者或多者:num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_plus8、scaling_factor_abs_minus1、scaling_factor_sign和bit_shifting。
項cr_num_of_filter_sets可以規定可用於對目前圖像的Cr平面進行編碼的交叉平面濾波器係數集的數量。項cr_num_of_filter_sets等於零(0)可以表明交叉平面濾波不應用於目前圖像的Cr平面。項 cr_filter_coeff [i]可以是用於Cr平面的第i個交叉平面濾波器係數集。項 cr_filter_coeff 可以是資料結構、並且可以包括以下一者或多者:num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_plus8、scaling_factor_abs_minus1、scaling_factor_sign和bit_shifting。
可以實施基於區域的交叉平面濾波。交叉平面濾波可以適用於對視訊影像中的一個或多個局部區域進行濾波,例如在期望(例如,在亮度平面的引導下)恢復相關聯的色度平面中的高頻資訊的損失的情況下。例如,交叉平面濾波可以應用於邊緣及/或紋理豐富的區域。可以首先執行邊緣偵測,例如以找到交叉平面濾波器可應用於其中的一個或多個區域。可以首先將高通濾波器(例如,filter_Y4Cb及/或filter_Y4Cr)應用於Y平面。
濾波結果的幅度可以暗示濾波後的像素是否位於高頻區域中。大幅度可以表明濾波後的像素的區域中的尖銳邊緣。接近零的幅度可以表明濾波後的像素位於同類區域中。可以採用臨界值來測量filter_Y4Cb及/或filter_Y4Cr的濾波輸出。可以將該濾波輸出添加到色度平面中的對應像素,例如在其大於臨界值的情況下。例如,平滑區域中的各自的色度像素可能不變,這可以避免隨機濾波雜訊。基於區域的交叉平面濾波可以在維持編碼性能的同時降低視訊編碼複雜度。例如,可以將可包括一個或多個區域的區域資訊用信號發送給解碼器。
在基於區域的交叉平面濾波的實施中,可以偵測到具有不同統計屬性(例如,平滑的、鮮豔的、紋理、及/或邊緣豐富的區域)的一個或多個區域,例如在編碼器側上偵測到。可以獲得多個交叉平面濾波器、並且可以將其應用於一個或多個區域中的對應的一些區域。可以將關於一個或多個區域中的各自的一些區域的資訊傳送給解碼器側。這些資訊可以包括例如區域的面積、區域的位置、及/或應用於區域的特定交叉平面濾波器。
第17圖的示例性語法表格示出了用信號發送關於特定區域的資訊的示例。以下內容可以應用於示例性語法表格中的項。項top_offset(上_偏移)、left_offset(左_偏移)、right_offset(右_偏移)以及bottom_offset(下_偏移)可以規定目前區域的面積及/或位置。這些項可以代表從目前區域的上側、左側、右側以及底側到相關聯圖像的相對應四個側的、例如就像素而言的各自的距離,例如如第18圖所示。
cross_plane_filtering_region_info ( )可以包括關於Cb平面的指定區域的交叉平面濾波、Cr平面的指定區域的交叉平面濾波、或Cb平面和Cr平面的各自指定區域的交叉平面濾波的資訊。
項cb_filtering_enabled_flag等於一(1)可以表明針對Cb平面的目前區域的交叉平面濾波被賦能。項cb_filtering_enabled_flag等於零(0)可以表明針對Cb平面的目前區域的交叉平面濾波被禁用。項cb_filter_idx可以規定交叉平面濾波器cb_filter_coeff [cb_filter_idx] (例如,如第16圖中描繪的傳訊cb_filter_coeff)可以應用於Cb平面的目前區域。
項cr_filtering_enabled_flag等於一(1)可以表明針對Cr平面的目前區域的交叉平面濾波被賦能。項cr_filtering_enabled_flag等於零(0)可以表明針對Cr平面的目前區域的交叉平面濾波被禁用。項cr_filter_idx可以規定交叉平面濾波器cr_filter_coeff [cr_filter_idx] (例如,如第16圖中描繪的傳訊cr_filter_coeff)可以應用於Cr平面的目前區域。
可以在圖像級(例如,在APS或SEI訊息中)或在片級(例如,在片標頭中)傳送關於一個或多個區域的資訊。第19圖的示例性語法表格示出了在可被稱為cross_plane_filter( )的SEI訊息中用信號將多個交叉平面濾波器和多個區域一起發送的示例。關於區域的資訊用斜體表示。
以下內容可以應用於示例性語法表格中的項。項cb_num_of_regions_minus1加上1(+1)可以規定Cb平面中的多個區域。可以由對應的交叉平面濾波器來對每個區域進行濾波。項cb_num_of_regions_minus1等於零(0)可以指示Cb平面的整體可以由一個交叉平面濾波器濾波。項cb_region_info [i]可以是Cb平面中的第i個區域資訊。項cb_region_info可以是資料結構,並且可以包括以下一者或多者:top_offset、left_offset、right_offset、bottom_offset、cb_filtering_enabled_flag和cb_filter_idx。
項cr_num_of_regions_minus1加上1(+1)可以規定Cr平面中的區域數量。可以由對應的交叉平面濾波器來對每個區域進行濾波。項cr_num_of_regions_minus1等於零(0)可以表明Cr平面的整體可以由一個交叉平面濾波器濾波。項cr_region_info [i]可以是Cr平面中的第i個區域資訊。項cr_region_info可以是資料結構、並且可以包括以下一者或多者:top_offset、left_offset、right_offset、bottom_offset、cr_filtering_enabled_flag、和cr_filter_idx。
可以在單層視訊編碼系統中及/或在多層視訊編碼系統中使用交叉平面濾波。根據單層視訊編碼(例如,如第1圖和第2圖所示),可以應用交叉平面濾波,例如以便改進參考圖像(例如,參考圖像儲存器164及/或264中儲存的圖像),從而可以更好地預測(例如,關於色度平面的)一個或多個隨後的訊框。
交叉平面濾波可以用作後處理方法。例如,交叉平面濾波可以應用於重建輸出視訊220(例如,在其被顯示之前)。雖然這種濾波不是MCP迴路的一部分並且因此不會影響隨後圖像的編碼,但是後處理可以(例如,直接)改進用於顯示的視訊品質。例如,可以使用補充增強資訊(SEI)傳訊將交叉平面濾波應用於HEVC後處理中。可以(例如,在SEI訊息中)傳遞在編碼器側估計的交叉平面濾波器資訊。
根據使用多層視訊編碼的示例(例如,在第3圖和第4圖所示),例如在將一個或多個圖像放入EL DPB緩衝器(例如,參考圖像清單)中之前,交叉平面濾波可以應用於一個或多個升取樣 BL圖像,以用於預測更高層圖像。如第5圖所示,可以在第三級中執行交叉平面濾波。為了改進升取樣後的基礎層重建圖像(例如,ILP圖像)中的一個或兩個色度平面的品質,訓練及/或濾波中所涉及的對應亮度平面可以是來自同一ILP圖像的一個亮度平面,其中訓練及/或濾波過程可以與單層視訊編碼中使用的相同。
根據使用多層視訊編碼的另一示例,可以在未進行升取樣的基礎層重建圖像中(例如,直接)使用對應的亮度平面,以支援交叉平面訓練及/或濾波,例如以增強ILP圖像中的色度平面。例如,根據具有4:2:0視訊源的2X空間SVC,基礎層亮度平面的大小可以基本與ILP圖像中的一個或兩個對應色度平面的大小相同(例如,精確地相同)。兩種類型的平面的取樣格柵可以不同。基礎層圖像中的亮度平面可以由相位校正濾波器進行濾波,例如以便與ILP圖像中的色度平面的取樣柵格對準(例如,精確地對準)。一個或多個以下操作可以與在本文其他地方中描述的操作(例如,針對單層視訊編碼的操作)相同。可以認為顏色格式是4:4:4(例如,根據第10A圖或第11A圖)。使用基礎層亮度平面來支援用於ILP圖像中的色度平面的交叉平面濾波可以例如經由簡單的推導而被擴展到其他比率的空間縮放及/或其他顏色格式。
根據使用多層視訊編碼的另一示例,可以將交叉平面濾波應用於還未被升取樣的重建基礎層圖像。可以對交叉平面濾波的輸出進行升取樣。如第5圖所示,可以在第一級中執行交叉平面濾波。在空間縮放情況下(例如,其中BL比EL具有更低的解析度),可以將交叉平面濾波應用於較低的像素,其可以比這裡描述的一個或多個其他多層視訊編碼示例涉及更少的計算複雜度。等式(2)和(3)不能直接應用,例如這是因為,參考等式(2),和Cborg可以具有不同的維數並且不能被直接減去。Yrec、Cbrec以及Crrec可以具有與在基礎層圖像中相同的解析度。Cbsub>org/sub>可以具有與在增強層圖像中相同的解析度。可以使用等式(8)和(9)來實現根據多層視訊編碼的該示例的交叉平面濾波器係數的推導:
(8)
(9)
其中U可以是升取樣函數,該升取樣函數將基礎層圖像作為輸入並且可以輸出具有增強層解析度的升取樣後的圖像。
根據第9A圖和第9B圖示出的交叉平面濾波技術,色度平面可以由亮度平面和其本身(例如,排除其他色度平面)增強,並且可以簡化等式(8)和(9),例如如等式(10)和(11)中所示。
(10)
(11)
基於第9A圖和第9B圖所示的交叉平面濾波技術,可以將filter_Cb4Cb及/或filter_Cr4Cr的大小降低到1x1,並且可以將濾波器係數的值設定為1.0。可以簡化等式(10)和(11),例如如等式(12)和(13)中所示。
(12)
(13)
可以適應性地應用交叉平面濾波。例如,當應用於多層視訊編碼時,可以在例如第5圖中所示的第一及/或第三級中適應性地應用交叉平面濾波。
交叉平面濾波可以適應性地應用於一個或多個編碼等級,例如包括序列級、圖像級、片級和區塊級中的一者或多者。例如根據序列級適應性,編碼器可以確定在第一級及/或第三級中採用交叉平面濾波來對視訊序列的一部分(例如,視訊序列的整體)進行編碼。該確定可以表示為例如可以被包括在序列標頭及/或一個或多個序列級參數集(例如,視訊參數集(VPS)及/或序列參數集(SPS))中的二進位標誌。
例如根據圖像級適應性,編碼器可以確定在第一級及/或第三級中採用交叉平面濾波來對一個或多個EL圖像(例如,視訊序列的每個EL圖像)進行編碼。該確定可以表示為例如可以被包括在圖像標頭及/或一個或多個圖像級參數集(例如,適應性參數集(APS)及/或圖像參數集(PPS))中的二進制旗標。
例如根據片級適應性,編碼器可以確定在第一級及/或第三級中採用交叉平面濾波來對一個或多個EL視訊片(例如,每個EL片)進行編碼。該確定可以表示為例如可以被包括在片標頭中的二進制旗標。可以根據(例如,擴展到)一個或多個其他等級適應性來實施(例如,上面描述的)傳訊機制。
例如,可以針對多層視訊編碼來實施基於圖像的交叉平面濾波。可以用信號發送與這種交叉平面濾波相關的資訊。例如,一個或多個旗標(例如,uplane_filtering_flag及/或vplane_filtering_flag)可以被編碼(例如,針對每個圖像被編碼一次),並且可以被傳送給解碼器。旗標uplane_filtering_flag及/或vplane_filtering_flag可以表明例如交叉平面濾波是否應當分別應用於Cb平面及/或Cr平面。編碼器可以確定是為一個或多個圖像(例如,基於逐個圖像)的色度平面賦能還是禁用交叉平面濾波。編碼器可以被配置為做出這一確定,例如以便改進編碼性能及/或根據編碼性能和複雜度的期望等級(例如,開啟交叉平面濾波可以增加解碼複雜度)。
編碼器可以被配置為利用一種或多種技術來確定是否將基於圖像的交叉平面濾波應用於一個或多個色度平面。例如,根據執行圖像級選擇的示例,濾波之前和之後的Cb平面(例如,Cb_rec和Cb_imp)可以與EL圖像中的原始Cb平面(例如,Cb_org)進行比較。可以計算和比較濾波前後的均方誤差(MSE)值(可分別被稱為MSE_rec和MSE_imp)。例如,MSE_imp可以小於MSE_rec,其可以表明應用交叉平面濾波可以降低失真,並且可以在Cb平面上賦能交叉平面濾波。如果MSE_imp不小於MSE_rec,則可以在Cb平面上禁用交叉平面濾波。根據這一技術,可以基於整個圖像來計算MSE,這可以意味著單一權重因數可以在MSE計算中應用於一個或多個像素(例如,每個像素)。
根據執行圖像級選擇的另一示例,可以基於ILP中涉及的一個或多個像素來計算MSE,例如基於僅ILP中涉及的那些像素進行計算。當編碼器確定是否將交叉平面濾波應用於Cb平面上時,針對圖像的ILP映射(map)或許還不可用。例如,可以在對EL圖像進行編碼之前進行確定,然而直到EL圖像已被編碼時,ILP映射可以是不可用的。
根據執行圖像級選擇的另一示例,可以利用多步(pass)編碼策略。在第一步中,可以編碼EL圖像,並且可以記錄ILP映射。在第二步中,可以確定是否使用交叉平面濾波,例如根據可能受限於ILP映射所標記的ILP區塊的MSE計算進行確定。可以根據這一確定來對圖像進行編碼。這種多步編碼可能是費時的、並且可以比單步編碼涉及更大的計算複雜度。
各自的圖像(例如,視訊序列各自的圖像)中的一個或多個移動物體與非移動物體相比可以更可能由ILP圖像來編碼。連續圖像(例如,視訊序列的連續圖像)的ILP映射可以是相關的(例如,可以顯示為高度相關)。這種連續的ILP映射可以顯示相對於彼此的一個或多個位移(displacement)(例如,相對小的位移)。這種位移可以是由於例如圖像的各自不同時刻引起的。
根據執行圖像級選擇的另一示例,一個或多個先前編碼的EL圖像的ILP映射可以用於預測將被編碼的目前EL圖像的ILP映射。預測的ILP映射可以用於在編碼目前EL圖像中定位可能被用於ILP的一個或多個區塊。這種可能使用的區塊可以稱為潛在的ILP區塊。一個或多個潛在的ILP區塊可以被包括在計算MSE中(例如,按照上面描述的內容)及/或可以用於例如基於所計算的MSE來確定是否應用交叉平面濾波。
ILP映射的維數可以取決於例如編碼器選擇的粒度(granularity)。如果例如圖像的維數是WxH(例如,根據亮度解析度),則ILP的維數可以是WxH,其中項可以代表對應像素是否是用於ILP的。ILP映射的維數可以是(W/M) x (H/N),其中項可以代表大小為MxN的對應區塊是否是用於ILP的。根據示例性實施,可以選擇M=N=4。
(例如,在EL圖像被編碼之後被記錄的)準確的ILP映射可以是二進位映射,從而項(例如,每個項)可以限於兩個可能的值(例如,零(0)或一(1))中的一個值,所述兩個可能的值可以表明該項是否是用於ILP的。值0和1可以分別表明例如該項是用於ILP的或者不是用於ILP的。
所預測的ILP映射可以是多級映射。根據這種ILP映射,每個項可以具有多個可能的值,所述多個可能的值可以代表在預測將被用於ILP的區塊的過程中的多級信任度(confidence)。更大的值可以表明更高的信任度。根據示例性的實施,可以使用從0到128的所預測的ILP映射的可能值,其中128代表最高可信度,並且0代表最低可信度。
第20圖描繪了用於交叉平面濾波的示例性圖像級選擇演算法2000。所示出的圖像級選擇演算法可以應用於例如Cb平面及/或Cr平面。在2010,例如在編碼第一圖像之前,可以初始化預測的ILP映射,其被標記為PredILPMap。根據所描繪的演算法,可以假設每個區塊可以具有將被用於ILP的同等機會,並且PredILPMap的每個項的值可以設定為128。
在2020,編碼器可以確定是否應用交叉平面濾波。可以由交叉平面濾波產生增強的Cb平面即Cb_imp。可以計算加權的MSE,例如使用等式(14)和(15)來計算。
(14)
(15)
在等式(14)和(15)中,Cb_rec和Cb_imp可以代表交叉平面濾波之前和之後的Cb平面,Cb_org可以代表將被編碼的目前EL圖像的原始Cb平面,並且(x,y)可以代表亮度平面的格柵中的某個像素的位置。如圖所示,等式(14)和(15)假設4:2:0顏色次取樣,並且ILP映射的項代表4x4區塊大小,從而Cb平面中的對應位置和PredILPMap可以分別是(x/2, y/2)和(x/4, y/4)。對於每個像素,方差(Cb_imp(x/2,y/2) – Cb_org(x/2,y/2))2或 (Cb_rec(x/2,y/2) – Cb_org(x/2,y/2))2可以由PredILPMap中的對應因數加權,例如在將誤差累積到Weighted_MSE_imp或Weighted_MSE_rec中之前進行加權。這可以意味著更可能被用於ILP的一個或多個像素上的失真在加權的MSE中可以具有更高的權重。
替代地或另外,在2020,可以由交叉平面濾波產生增強的Cr平面即Cr_imp。可以計算加權的MSE,例如使用等式(16)和(17)來計算。
(16)
(17)
在等式(16)和(17)中,Cr_rec和 Cr_imp可以代表交叉平面濾波之前和之後的Cr平面,Cr_org可以代表將被編碼的目前EL圖像的原始Cr平面,並且(x,y)可以代表亮度平面的格柵中的某個像素的位置。如圖所示,等式(16)和(17)假設4:2:0顏色次取樣,並且ILP映射的項代表4x4區塊大小,從而Cr平面中的對應位置和PredILPMap可以分別是(x/2, y/2)和(x/4, y/4)。對於每個像素,方差(Cr_imp(x/2,y/2) – Cr_org(x/2,y/2))2或 (Cr_rec(x/2,y/2) – Cr_org(x/2,y/2))2可以由PredILPMap中的對應因數加權,例如在將誤差累積到Weighted_MSE_imp或Weighted_MSE_rec中之前進行加權。這可以意味著更可能被用於ILP的一個或多個像素上的失真可以在加權的MSE中具有更高的權重。
Weighted_MSE_imp和Weighted_MSE_rec可以彼此比較。如果Weighted_MSE_imp小於Weighted_MSE_rec,其可以表明交叉平面濾波可以低失真(例如,潛在的ILP區塊中的一個或多個潛在的ILP區塊的失真),則可以賦能交叉平面濾波。如果Weighted_MSE_imp不小於Weighted_MSE_rec,則可以禁用交叉平面濾波。
一旦在2020處進行了確定,就可以在2030處對目前EL圖像進行編碼,並且可以在2040處記錄目前ILP映射,其可以標記為CurrILPMap。可以將目前ILP映射與例如在目前EL圖像之後的EL圖像一起使用。目前ILP映射可以是準確的而不是預測的,並且可以是二進制的。如果對應的區塊被用於ILP,則可以將針對該區塊的項的值設定為128。如果對應的區塊不被用於ILP,則可以將針對該區塊的項的值設定為零(0)。
在2050,目前ILP映射可以用於更新所預測的ILP映射,例如如等式(18)中所示。根據示例性的更新過程,先前預測的ILP映射(例如,PredILPMap(x,y))和目前ILP映射(例如,CurrILPMap(x,y))的和可以除以2,這可以意味著與另一圖像相關聯的ILP映射可以對更新後的預測ILP映射具有相對小的影響。
(18)
在2060,可以確定是否已經到達視訊序列的結尾。如果還沒有到達視訊序列的結尾,則可以重複上面描述的操作中的一個或多個操作(例如,2020到2060),例如以便對隨後的EL圖像進行編碼。如果已經到達視訊序列的結尾,則在2070處示例性的圖像級選擇演算法2000可以終止。
這裡描述的(例如,利用交叉平面濾波的)視訊編碼技術可以根據在第21A圖至第21E圖中描繪的無線通訊系統(例如,示例性無線通訊系統2100)及其元件中傳輸視訊來實施。
第21A圖是可以在其中實現一個或多個揭露的實施方式的示例通訊系統2100的圖式。例如,無線網路(例如,包括通訊系統2100的一個或多個元件的無線網路)可以被配置為使得延伸到無線網路之外(例如,與無線網路相關聯的防火牆防禦地區之外)的承載可以被指派QoS特徵。
通訊系統2100可以是用於提供諸如語音、資料、視訊、訊息、廣播等內容給多個無線使用者的多重存取系統。通訊系統2100能夠使得多個無線用戶經由共享包括無線頻寬在的系統資源來存取這些內容。例如,通訊系統2100可以使用一種或多種頻道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)等。
如第21A圖所示,通訊系統2100可以包括至少一個無線傳輸/接收單元(WTRU)(例如,WTRU 2102a、2102b、2102c、和2102d)、無線電存取網路(RAN)2104、核心網路2106、公共交換電話網路(PSTN)2108、網際網路2110和其他網路2112,但是應當理解,所揭露的實施方式預期了任意數量的WTRU、基地台、網路及/或網路元件。WTRU 2102a、2102b、2102c、2102d中的每一個可以是被配置為在無線環境中操作及/或通訊的任何類型的裝置。舉例來說,WTRU 2102a、2102b、2102c、2102d可被配置為發送及/或接收無線信號、並且可包括使用者設備(UE)、行動站、固定或行動使用者單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費類電子產品等。
通訊系統2100還可以包括基地台2114a和基地台2114b。基地台2114a、2114b中的每一個可以是被配置為與WTRU 2102a、2102b、2102c、2102d中的至少一個進行無線連接以便於存取例如核心網路2106、網際網路2110及/或網路2112那樣的一個或多個通訊網路的任何類型的裝置。作為例子,基地台2114a、2114b可以是基地收發台(BTS)、節點B、e節點B、家用節點B、家用e節點B、網站控制器、存取點(AP)、無線路由器等等。雖然基地台2114a、2114b分別被畫為單一元件,但是可以理解基地台2114a、2114b可以包括任意數量的互連基地台及/或網路元件。
基地台2114a可以是RAN 2104的一部分,該RAN 2104也可以包括其它基地台及/或網路元件(未示出),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等。基地台2114a及/或基地台2114b可以被配置為在特定地理區域內傳輸及/或接收無線信號,該特定地理區域被稱作胞元(未示出)。該胞元還被分割成胞元扇區。例如,與基地台2114a相關聯的胞元被分割成三個扇區。如此,在一個實施方式中,基地台2114a包括三個收發器,例如每個胞元使用一個收發器。在另一實施方式中,基地台2114a可以使用多輸入多輸出(MIMO)技術,因此,胞元的每個扇區使用多個收發器。
基地台2114a、2114b可以經由空中介面2116以與WTRU 2102a、2102b、2102c、2102d中的一個或多個進行通訊,該空中介面2116可以是任何適當的無線通訊鏈路(例如,射頻(RF)、微波、紅外線(IR)、紫外線(UV)、可見光等等)。可以使用任何適當的無線電存取技術(RAT)來建立空中介面2116。
更具體而言,如上所述,通訊系統2100可以是多重存取系統且可以採用一種或多種頻道存取方案,諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如,RAN 2104中的基地台2114a和WTRU 2102a、2102b、2102c可以實現諸如通用行動電信系統(UMTS)陸地無線電存取(UTRA)之類的無線電技術,其中該無線電技術可以使用寬頻CDMA(WCDMA)來建立空中介面2116。WCDMA可以包括諸如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)之類的通訊協定。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一實施方式中,基地台2114a和WTRU 2102a、2102b、2102c可以實現諸如演進型UMTS陸地無線電存取(E-UTRA)之類的無線電技術,其中該無線電技術可以使用LTE及/或高級LTE(LTE-A)來建立空中介面2116。
在其它實施方式中,基地台2114a和WTRU 2102a、2102b、2102c可以實現諸如IEEE 802.16(即全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通訊系統(GSM)、增強型資料速率GSM演進(EDGE)、GSM EDGE(GERAN)等無線電技術。
第21A圖中的基地台2114b可以是諸如無線路由器、家用節點B、家用e節點B、或存取點、並且可以利用任何適當的RAT來促進諸如營業場所、家庭、車輛、校園等局部區域中的無線連接。在一個實施方式中,基地台2114b和WTRU 2102c及/或2102d可以實施諸如IEEE 802.11之類的無線電技術以建立無線區域網路(WLAN)。在另一個實施方式中,基地台2114b和WTRU 2102c、2102d可以實施諸如IEEE 802.15之類的無線電技術以建立無線個人區域網路(WPAN)。在再一個實施方式中,基地台2114b和WTRU 2102c、2102d可以利用基於蜂窩的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微胞元或毫微微胞元。如第21A圖所示,基地台2114b可以具有到網際網路2110的直接連接。因此,基地台2114b可以不需要經由核心網路2106/2107/2109存取網際網路2110。
RAN 2104可以與核心網路2106通訊,該核心網路2106可以是被配置為向WTRU 2102a、2102b、2102c、2102d中的一個或多個提供語音、資料、應用、及/或網際網路協定語音(VoIP)服務的任何類型的網路。例如,核心網路2106可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等、及/或執行諸如用戶認證等高階安全功能。雖然第21A圖未示出,但應認識到RAN 2104及/或核心網路2106可以與跟RAN 2104採用相同的RAT或不同的RAT的其它RAN進行直接或間接通訊。例如,除了連接到可以利用E-UTRA無線電技術的RAN 2104之外,核心網路2106也可以與採用GSM無線電技術的另一RAN(未示出)通訊。
核心網路2106也可以充當WTRU 2102a、2102b、2102c、2102d存取PSTN 2108、網際網路2110、及/或其它網路2112的閘道。PSTN 2108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路2110可以包括使用公共通訊協定的互連電腦網路和裝置的全球系統,該公共通訊協定例如為傳輸控制協定(TCP)/網際網路協定(IP)網際網路協定族中的TCP、使用者資料包通訊協定(UDP)和IP。網路2112可以包括由其它服務提供者所擁有及/或操作的有線或無線通訊網路。例如,網路2112可以包括連接到可以與RAN 2104採用相同的RAT或不同的RAT的一個或多個RAN的另一核心網路。
通訊系統2100中的某些或全部WTRU 2102a、2102b、2102c、2102d可以包括多模能力,即WTRU 2102a、2102b、2102c、2102d可以包括用於經由不同的無線鏈路以與不同的無線網路進行通訊的多個收發器。例如,第21A圖所示的WTRU 2102c可以被配置為與可以採用蜂巢式無線電技術的基地台2114a通訊、且與可以採用IEEE 802無線電技術的基地台2114b通訊。
第21B圖是示例WTRU 2102的系統圖。如第21B圖所示,WTRU2102可以包括處理器2118、收發器2120、傳輸/接收元件2122、揚聲器/麥克風2124、鍵盤2126、顯示器/觸控板2128、不可移式記憶體2130、可移式記憶體2132、電源2134、全球定位系統(GPS)晶片組2136、及/或其它週邊裝置2138。應當理解在與實施方式保持一致的同時,WTRU 2102可以包括前述元件的任何子組合。
處理器2118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、多個微處理器、與DSP核相關聯的一或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、任何其它類型的積體電路(IC)、狀態機等等。處理器2118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、及/或使得WTRU 2102能夠在無線環境中操作的任何其它功能。處理器2118可以耦合到收發器2120,收發器2120可以耦合到傳輸/接收元件2122。雖然第21B圖將處理器2118和收發器2120畫為單獨的元件,但應認識到處理器2118和收發器2120可以被一起集成在電子元件或晶片中。
傳輸/接收元件2122可以被配置為經由空中介面2116向基地台(例如,基地台2114a)傳輸信號及/或從基地台(例如,基地台2114a)接收信號。例如,在另一個實施方式中,傳輸/接收元件2122可以是被配置為傳輸及/或接收RF信號的天線。在再一個實施方式中,傳輸/接收元件2122可以是被配置為傳輸及/或接收例如IR、UV、或可見光信號的發射器/偵測器。在一個實施方式中,傳輸/接收元件2122可以被配置為傳輸和接收RF和光信號兩者。應當理解傳輸/接收元件2122可以被配置為傳輸及/或接收無線信號的任何組合。
另外,雖然傳輸/接收元件2122在第21B圖中被畫為單一元件,但個WTRU 2102可以包括任何數目的傳輸/接收元件2122。更具體而言,WTRU 2102可以採用MIMO技術。因此,在一個實施方式中,WTRU 2102可以包括用於經由空中介面2116來傳輸和接收無線信號的兩個或更多個傳輸/接收元件2122(例如,多個天線)。
收發器2120可以被配置為調變將由傳輸/接收元件2122傳輸的信號及/或對由傳輸/接收元件2122接收到的信號進行解調。如上所述,WTRU 2102可以具有多模式能力。因此,例如,收發器2120可以包括用於使得WTRU 2102能夠經由諸如UTRA和IEEE 802.11之類的多種RAT通訊的多個收發器。
WTRU 2102的處理器2118可以耦合到揚聲器/麥克風2124、鍵盤2126、及/或顯示器/觸控板2128(例如,液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元),並且可以從這些元件接收使用者輸入資料。處理器2118還可以向揚聲器/擴音器2124、鍵盤2126、及/或顯示器/觸控板2128輸出使用者資料。另外,處理器2118可以存取來自任何類型的合適的記憶體(例如,不可移式記憶體2130和可移式記憶體2132)的資訊、或者將資料儲存在該記憶體中。不可移式記憶體2130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、或任何其它類型的記憶體儲存裝置。可移式記憶體2132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等。在其它實施方式中,處理器2118可以存取來自在實體上不位於WTRU 2102上(諸如在伺服器或家用電腦(未示出)上)的記憶體的資訊和將資料儲存在該記憶體中。
處理器2118可以從電源2134接收電力、並且可以被配置為分配及/或控制到WTRU 2102中的其它元件的電力。電源2134可以是用於為WTRU 2102供電的任何適當裝置。例如,電源2134可以包括一個或多個乾電池(例如,鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li)等等)、太陽能電池、燃料電池等等。
處理器2118也可以耦合到GPS晶片組2136,GPS晶片組2136可以被配置為提供關於WTRU 2102的目前位置的位置資訊(例如,經度和緯度)。除了來自GPS晶片組2136的資訊之外或作為其替代,WTRU 2102可以經由空中介面2116從基地台(例如,基地台2114a、2114b)接收位置資訊及/或基於從兩個或更多個附近的基地台接收到信號的時序來確定其位置。應認識到,在保持與實施方式一致的同時,WTRU 2102可以用任何適當的位置確定實施方式來獲取位置資訊。
處理器2118也可以耦合到其它週邊裝置2138,週邊裝置2138可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如,週邊裝置2138可以包括加速計、電子指南針、衛星收發器、數位相機(用於拍照或視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第21C圖是包括RAN 2104a和核心網路2106a的通訊系統2100的系統圖,該RAN 2104a和核心網路2106a分別包括RAN 2104和核心網路2106的示例性實施。如上所述,RAN 2104例如RAN 2104a可使用UTRA無線電技術以經由空中介面2116來與WTRU 2102a、2102b、2102c進行通訊。該RAN 2104a也可與核心網路2106a進行通訊。如第21C圖所示,RAN 2104a可包括節點B 2140a、2140b、2140c,其中每個節點B都可包含一個或多個收發器,以用於經由空中介面2116來與WTRU 2102a、2102b、2102c進行通訊。該節點B 2140a、2140b、2140c中的每一個可與RAN 2104a內的特定胞元(未示出)相連接。RAN 2104a也可以包括RNC 2142a、2142b。應當理解在保持與實施方式一致的同時,RAN 2104a可以包括任何數量的節點B和RNC。
如第21C圖所示,節點B 2140a、2140b可以與RNC 2142a進行通訊。此外,節點B 2140c可以與RNC 2142b進行通訊。節點B 2140a、2140b、2140c可以經由Iub介面分別與RNC 2142a、2142b進行通訊。RNC 2142a、2142b可以經由Iub介面相互通訊。RNC 2142a、2142b的每一個可以被配置為分別控制其所連接的節點B 2140a、2140b、2140c。此外,可將RNC 2142a、2142b中的每一個可以被配置為執行或支援其他功能,例如外環功率控制、負載控制、許可控制、封包排程、切換控制、巨集分集、安全功能、資料加密等。
第21C圖中所示的核心網路2106a可以包括媒體閘道(MGW)2144、行動交換中心(MSC)2146、服務GPRS支援節點(SGSN)2148及/或閘道GPRS支援節點(GGSN)2150。雖然將前述元件表示為核心網路2106a的一部分,但是應該理解,這些元件中任何一部分都可由核心網路操作者以外的實體所有及/或操作。
RAN 2104a中的RNC 2142a可經由IuCS介面以連接至核心網路2106a中的MSC 2146。可將MSC 2146連接至MGW 2144。MSC 2146和MGW 2144可向WTRU 2102a、2102b、2102c提供對電路切換式網路的連接,例如PSTN 2108,從而促進WTRU 2102a、2102b、2102c與傳統陸線通訊裝置之間的通訊。
也可以將RAN 2103中的RNC 2142a經由IuPS介面連接至核心網路2106a中的SGSN 2148。SGSN 2148可連接至GGSN 2150。SGSN 2148和GGSN 2150可向WTRU 2102a、2102b、2102c提供針對封包交換網路的存取,例如網際網路2110,從而促進WTRU 2102a、2102b、2102c與IP賦能裝置之間的通訊。
如上所述,可以將核心網路2106a連接至網路2112,核心網路2106a可包括由其他服務提供者所有及/或操作的有線或無線網路。
第21D圖是包括RAN 2104b和核心網路2106b的通訊系統2100的系統圖,該RAN 2104b和核心網路2106b分別包括RAN 2104和核心網路2106的示例性實施。如上所述,RAN 2104可使用E-UTRA無線電技術以經由空中介面2116來與WTRU 2102a、2102b、2102c通訊。RAN 2104b還可以與核心網路2106b通訊。
RAN 2104可包括e節點B 2160a、2160b、2160c,但是應當理解在保持與實施方式一致的同時,RAN 2104可以包括任何數量的e節點B。e節點B 2160a、2160b、2160c中的每一個可包括一個或多個收發器,以用於經由空中介面2116來與WTRU 2102a、2102b、2102c通訊。在一個實施方式中,e節點B 2160a、2160b、2160c可以利用MIMO技術。因此e節點B 2140d例如可以使用多天線來向WTRU 2102a發送無線信號和從其接收無線信號。
eNB 2140d、2140e、2140f中的每一個可以與特定胞元相關聯(未顯示),可以被配置為處理無線電資源管理決策、切換決策、及/或用戶組上鏈及/或下鏈上的排程等等。如第21D圖所示,e節點B 2140d、2140e、2140f可以經由X2介面與彼此通訊。
第21D圖中所示的核心網路2106b可以包括移動性管理實體(MME)2143、服務閘道2145、和封包資料網路(PDN)閘道2147等。雖然前述單元的每一個顯示為核心網路2106b的一部分,但是應當理解這些單元中的任一個都可以由除了核心網路操作者之外的其他實體擁有及/或操作。
MME 2143可以經由S1介面而連接到RAN 2104b的e節點B 2140d、2140e、2140f中的每一個、並充當控制節點。例如,MME 2143可以負責WTRU 2102a、2102b、2102c的認證用戶、承載啟動/停用、在WTRU 2102a、2102b、2102c的初始連結期間選擇特定服務閘道等等。MME 2143還可以提供控制平面功能以用於在RAN 2104b和使用其他無線電技術例如GSM或者WCDMA的其他RAN(未顯示)之間切換。
服務閘道2145可以經由S1介面連接到RAN 2104b的e節點B 2140d、2140e、2140f中的每一個。服務閘道2145通常可以向/從WTRU 2102a、2102b、2102c路由和轉發使用者資料封包。服務閘道2145還可以執行其他功能,例如在e節點B間切換期間錨定用戶平面,當下鏈資料可由WTRU 2102a、2102b、2102c使用時觸發傳呼、管理和儲存WTRU 2102a、2102b、2102c的內容等等。
服務閘道2145還可以被連接到PDN閘道2147,PDN閘道2147向WTRU 2102a、2102b、2102c提供到封包交換網路(例如,網際網路2110)的存取,以便於WTRU 2102a、2102b、2102c與IP賦能裝置之間的通訊。
核心網路2106b可以便於與其他網路的通訊。例如,核心網路2106b可以向WTRU 2102a、2102b、2102c提供到電路切換式網路(例如,PSTN 2108)的存取,以便於WTRU 2102a、2102b、2102c與傳統陸地線路通訊裝置之間的通訊。例如,核心網路2106b可以包括IP閘道(例如,IP多媒體子系統(IMS)伺服器)、或者與之通訊,該IP閘道作為核心網路2106b與PSTN 2108之間的介面。另外,核心網路2106b可以向WTRU 2102a、2102b、2102c提供到網路2112的存取,該網路2112可以包括其他服務提供者擁有及/或操作的有線或無線網路。
第21E圖是包括RAN 2104c和核心網路2106c的通訊系統2100的系統圖,該RAN 2104c和核心網路2106c分別包括RAN 2104和核心網路2106的示例性實施。RAN 2104(例如,RAN 2104c)可以是採用IEEE 802.16無線電技術以經由空中介面2116來與WTRU 2102a、2102b、以及2102c通訊的存取服務網路(ASN)。如下所述,WTRU 2102a、2102b、及/或2102c、RAN 2104c、以及核心網路2106c的不同功能實體之間的通訊鏈路可以定義為參考點。
如第21E圖所示,RAN 2104c可以包括基地台2140g、2140h、2140i以及ASN閘道2141,但是應當理解的是在與實施方式保持一致的同時,RAN 2104c可以包括任何數量的基地台和ASN閘道。基地台2140g、2140h、2140i 可以各與RAN 2104c中的特定胞元(未示出)相關聯、並且可以各包括一個或多個收發器,以經由空中介面2116來與WTRU 2102a、2102b、2102c通訊。在一個實施方式中,基地台2140g、2140h、2140i 可以實施MIMO技術。從而,舉例來說,基地台2140g可以使用多個天線來傳送無線信號給WTRU 2102a、並且接收來自該WTRU 2102a的信號。基地台2140g、2140h、2140i 還可以提供移動性管理功能,例如切換觸發、隧道建立、無線電資源管理、訊務分類、服務品質(QoS)策略實施等等。ASN閘道2141可以用作訊務聚合點、並且可以負責傳呼、快取用戶設定檔、路由到核心網路2106c等等。
WTRU 2102a、2102b、2102c與RAN 2104c之間的空中介面2116可以被定義為實施IEEE 802.16規範的R1參考點。另外,WTRU 2102a、2102b、2102c中的每個WTRU可以建立與核心網路2106c的邏輯介面(未示出)。WTRU 2102a、2102b、2102c與核心網路2106c之間的邏輯介面可以定義為R2參考點,該R2參考點可以用於認證、授權、IP主機管理、及/或移動性管理。
基地台2140g、2140h、2140i 中的每個基地台之間的通訊鏈路可以定義為R8參考點,該R8參考點可以包括用於促進基地台之間的WTRU切換和資料傳遞的協定。基地台2140g、2140h、2140i 與ASN閘道2141之間的通訊鏈路可以定義為R6參考點。R6參考點可以包括用於基於與WTRU 2102a、2102b、2102c中的每個WTRU相關聯的移動性事件來促進移動性管理的協定。
如第21E圖所示,RAN 2104c可以連接到核心網路2106c。RAN 2104c與核心網路2106c之間的通訊鏈路可以定義為R3參考點,該R3參考點包括用於促進例如資料傳遞和移動性管理性能的協定。核心網路2106c可以包括行動IP家用代理(MIP-HA)2154、認證、授權、記帳(AAA)伺服器2156、及/或閘道2158。雖然前述元件中的每個元件被描述為核心網路2106c的一部分,但是可以理解這些元件中的任一元件都可以由除了核心網路操作者之外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理、並使得WTRU 2102a、2102b、2102c能夠在不同ASN及/或不同核心網路之間進行漫遊。MIP-HA 2154可以為WTRU 2102a、2102b、2102c提供針對封包切換網路(例如,網際網路2110)的存取,以促進WTRU 2102a、2102b、2102c與IP賦能裝置之間的通訊。AAA伺服器2156可以負責使用者認證和支援使用者服務。閘道2158可以為WTRU 2102a、2102b、2102c提供針對電路切換式網路(例如,PSTN 2108)的存取,以促進WTRU 2102a、2102b、2102c與傳統陸線通訊裝置之間的通訊。例如,閘道2158可以為WTRU 2102a、2102b、2102c提供針對網路2112(可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路)的存取。
雖然在第21E圖中沒有示出,但是將會理解的是RAN 2104c可以連接到其他ASN和核心網路2106c可以連接到其他核心網路。RAN 2104c與其他ASN之間的通訊鏈路可以被定義為R4參考點,該R4參考點可以包括用於協調WTRU 2102a、2102b、2102c在RAN 2104c與其他RAN之間的移動性的協定。核心網路2106c與其他核心網路之間的通訊鏈路可以被定義為R5參考點,該R5參考點可以包括用於促進家用核心網路與被訪問核心網路之間的網路互連的協定。
可以在結合在電腦可讀媒體中的電腦程式、軟體、或韌體中實施上述過程,以便由電腦或處理器執行。電腦可讀媒體的例子包括但不限於電信號(經由有線及/或無線連接發送的)或電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體(諸如但不限於內部硬碟和抽取式磁碟)、磁光媒體、或光學媒體,諸如CD-ROM磁片或數位多功能光碟(DVD)。與軟體相關聯的處理器可以用於實現射頻收發器,以在WTRU、終端、基地台、RNC或任意主機中使用。在這裡根據一個或多個示例性實施方式描述的特徵及/或元素可以結合根據一個或多個其他示例性實施方式描述的特徵和元素來使用。
LS...最小平方
Claims (1)
1、一種視訊解碼方法,該方法包括:
接收一視訊訊號以及與該視訊訊號相關聯的一交叉平面濾波器;
將該交叉平面濾波器應用於該視訊訊號的一亮度平面像素,以確定一色度偏移;以及
將該色度偏移增加至該視訊訊號的一對應色度平面像素。
2、如申請專利範圍第1項所述的方法,更包括:
接收關於該交叉平面濾波器將被應用至該視訊訊號的一區域的一指示;以及
將該交叉平面濾波器應用於該區域。
3、如申請專利範圍第1項所述的方法,更包括:接收關於將該交叉平面濾波器應用於該視訊訊號的一序列級、一圖像級、一片級和一區塊級中的至少一者的一指示。
4、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器是在一單層視訊編碼過程中作為後處理而被執行。
5、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器是在一多層視訊編碼過程中被執行,該亮度平面像素是一升取樣後的基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
6、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器在多層視訊編碼過程中被執行,該亮度平面像素是尚未被升取樣的一基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
7、一種視訊編碼裝置,該視訊編碼裝置包括:
一網路介面,該網路介面被配置為:
接收一視訊訊號以及與該視訊訊號相關聯的一交叉平面濾波器;以及
一處理器,該處理器被配置為:
將該交叉平面濾波器應用於該視訊訊號的一亮度平面像素,以確定一色度偏移;以及
將該色度偏移增加至該視訊訊號的一對應色度平面像素。
8、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器更被配置為:
經由該網路介面接收該交叉平面濾波器將被應用至該視訊訊號的一區域的一指示;以及
將該交叉平面濾波器應用於該區域。
9、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器更被配置為:經由該網路介面接收關於將該交叉平面濾波器應用於該視訊訊號的一序列級、一圖像級、一片級和一區塊級中的至少一者的一指示。
10、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一單層視訊編碼過程中作為後處理來應用該交叉平面濾波器。
11、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一多層視訊編碼過程中應用該交叉平面濾波器,該亮度平面像素是一升取樣後的基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
12、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一多層視訊編碼過程中應用該交叉平面濾波器,該亮度平面像素是還未被升取樣的一基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
13、一種編碼一視訊訊號的方法,該方法包括:
使用該視訊訊號的多個分量來產生一交叉平面濾波器;
對與該交叉平面濾波器相關聯的一濾波器係數進行量化;
將該濾波器係數編碼到代表該視訊訊號的一位元流中;以及
傳送該位元流。
14、如申請專利範圍第13項所述的方法,其中該交叉平面濾波器被設計為應用於該視訊訊號的一亮度平面分量,並且其中將該交叉平面濾波器應用於該亮度平面分量產生了能應用於該視訊訊號的一色度平面分量的一輸出。
15、如申請專利範圍第13項所述的方法,其中該交叉平面濾波器是根據一訓練集而產生。
16、如申請專利範圍第15項所述的方法,其中該訓練集包括該視訊訊號的一編碼後亮度分量、該視訊訊號的一編碼後色度分量、以及該視訊訊號的一原始色度分量。
17、如申請專利範圍第13項所述的方法,更包括:根據一編碼性能和一顏色次取樣格式中的至少一者來確定該交叉平面濾波器的一特徵。
18、如申請專利範圍第17項所述的方法,其中該特徵是該交叉平面濾波器的一大小、該交叉平面濾波器的一可分離性和該交叉平面濾波器的一對稱性中的至少一者。
19、如申請專利範圍第13項所述的方法,更包括:
識別該視訊訊號的一編碼後圖像內的一區域,以及
傳送用於將該交叉平面濾波器應用於該區域的一指示。
20、一種視訊編碼裝置,包括:
一網路介面,該網路介面被配置為:
接收一視訊訊號;以及
一處理器,該處理器被配置為:
使用該視訊訊號的多個分量來產生一交叉平面濾波器;
對與該交叉平面濾波器相關聯的一濾波器係數進行量化;
將該濾波器係數編碼到代表該視訊訊號的一位元流中;以及
經由該網路介面傳送該位元流。
21、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器被配置為設計應用於該視訊訊號的一亮度平面分量的該交叉平面濾波器,並且其中將該交叉平面濾波器應用於該亮度平面分量產生了能應用於該視訊訊號的一色度平面分量的一輸出。
22、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器被配置為根據一訓練集產生該交叉平面濾波器。
23、如申請專利範圍第22項所述的視訊編碼裝置,其中該訓練集包括該視訊訊號的一編碼後亮度分量、該視訊訊號的一編碼後色度分量、以及該視訊訊號的一原始色度分量。
24、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器更被配置為根據一編碼性能和一顏色次取樣格式中的至少一者來確定該交叉平面濾波器的一特徵。
25、如申請專利範圍第24項所述的視訊編碼裝置,其中該特徵是該交叉平面濾波器的一大小、該交叉平面濾波器的一可分離性和該交叉平面濾波器的一對稱性中的至少一者。
26、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器更被配置為:
識別該視訊訊號的一編碼後圖像內的一區域,以及
經由該網路介面傳送用於將該交叉平面濾波器應用於該區域的一指示。
接收一視訊訊號以及與該視訊訊號相關聯的一交叉平面濾波器;
將該交叉平面濾波器應用於該視訊訊號的一亮度平面像素,以確定一色度偏移;以及
將該色度偏移增加至該視訊訊號的一對應色度平面像素。
2、如申請專利範圍第1項所述的方法,更包括:
接收關於該交叉平面濾波器將被應用至該視訊訊號的一區域的一指示;以及
將該交叉平面濾波器應用於該區域。
3、如申請專利範圍第1項所述的方法,更包括:接收關於將該交叉平面濾波器應用於該視訊訊號的一序列級、一圖像級、一片級和一區塊級中的至少一者的一指示。
4、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器是在一單層視訊編碼過程中作為後處理而被執行。
5、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器是在一多層視訊編碼過程中被執行,該亮度平面像素是一升取樣後的基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
6、如申請專利範圍第1項所述的方法,其中應用該交叉平面濾波器在多層視訊編碼過程中被執行,該亮度平面像素是尚未被升取樣的一基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
7、一種視訊編碼裝置,該視訊編碼裝置包括:
一網路介面,該網路介面被配置為:
接收一視訊訊號以及與該視訊訊號相關聯的一交叉平面濾波器;以及
一處理器,該處理器被配置為:
將該交叉平面濾波器應用於該視訊訊號的一亮度平面像素,以確定一色度偏移;以及
將該色度偏移增加至該視訊訊號的一對應色度平面像素。
8、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器更被配置為:
經由該網路介面接收該交叉平面濾波器將被應用至該視訊訊號的一區域的一指示;以及
將該交叉平面濾波器應用於該區域。
9、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器更被配置為:經由該網路介面接收關於將該交叉平面濾波器應用於該視訊訊號的一序列級、一圖像級、一片級和一區塊級中的至少一者的一指示。
10、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一單層視訊編碼過程中作為後處理來應用該交叉平面濾波器。
11、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一多層視訊編碼過程中應用該交叉平面濾波器,該亮度平面像素是一升取樣後的基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
12、如申請專利範圍第7項所述的視訊編碼裝置,其中該處理器被配置為在一多層視訊編碼過程中應用該交叉平面濾波器,該亮度平面像素是還未被升取樣的一基礎層亮度平面像素,並且該色度平面像素是一升取樣後的基礎層色度平面像素。
13、一種編碼一視訊訊號的方法,該方法包括:
使用該視訊訊號的多個分量來產生一交叉平面濾波器;
對與該交叉平面濾波器相關聯的一濾波器係數進行量化;
將該濾波器係數編碼到代表該視訊訊號的一位元流中;以及
傳送該位元流。
14、如申請專利範圍第13項所述的方法,其中該交叉平面濾波器被設計為應用於該視訊訊號的一亮度平面分量,並且其中將該交叉平面濾波器應用於該亮度平面分量產生了能應用於該視訊訊號的一色度平面分量的一輸出。
15、如申請專利範圍第13項所述的方法,其中該交叉平面濾波器是根據一訓練集而產生。
16、如申請專利範圍第15項所述的方法,其中該訓練集包括該視訊訊號的一編碼後亮度分量、該視訊訊號的一編碼後色度分量、以及該視訊訊號的一原始色度分量。
17、如申請專利範圍第13項所述的方法,更包括:根據一編碼性能和一顏色次取樣格式中的至少一者來確定該交叉平面濾波器的一特徵。
18、如申請專利範圍第17項所述的方法,其中該特徵是該交叉平面濾波器的一大小、該交叉平面濾波器的一可分離性和該交叉平面濾波器的一對稱性中的至少一者。
19、如申請專利範圍第13項所述的方法,更包括:
識別該視訊訊號的一編碼後圖像內的一區域,以及
傳送用於將該交叉平面濾波器應用於該區域的一指示。
20、一種視訊編碼裝置,包括:
一網路介面,該網路介面被配置為:
接收一視訊訊號;以及
一處理器,該處理器被配置為:
使用該視訊訊號的多個分量來產生一交叉平面濾波器;
對與該交叉平面濾波器相關聯的一濾波器係數進行量化;
將該濾波器係數編碼到代表該視訊訊號的一位元流中;以及
經由該網路介面傳送該位元流。
21、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器被配置為設計應用於該視訊訊號的一亮度平面分量的該交叉平面濾波器,並且其中將該交叉平面濾波器應用於該亮度平面分量產生了能應用於該視訊訊號的一色度平面分量的一輸出。
22、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器被配置為根據一訓練集產生該交叉平面濾波器。
23、如申請專利範圍第22項所述的視訊編碼裝置,其中該訓練集包括該視訊訊號的一編碼後亮度分量、該視訊訊號的一編碼後色度分量、以及該視訊訊號的一原始色度分量。
24、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器更被配置為根據一編碼性能和一顏色次取樣格式中的至少一者來確定該交叉平面濾波器的一特徵。
25、如申請專利範圍第24項所述的視訊編碼裝置,其中該特徵是該交叉平面濾波器的一大小、該交叉平面濾波器的一可分離性和該交叉平面濾波器的一對稱性中的至少一者。
26、如申請專利範圍第20項所述的視訊編碼裝置,其中該處理器更被配置為:
識別該視訊訊號的一編碼後圖像內的一區域,以及
經由該網路介面傳送用於將該交叉平面濾波器應用於該區域的一指示。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261707682P | 2012-09-28 | 2012-09-28 | |
US61/707,682 | 2012-09-28 | ||
US201361762611P | 2013-02-08 | 2013-02-08 | |
US61/762,611 | 2013-02-08 | ||
US201361778218P | 2013-03-12 | 2013-03-12 | |
US61/778,218 | 2013-03-12 | ||
US201361845792P | 2013-07-12 | 2013-07-12 | |
US61/845,792 | 2013-07-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201436530A true TW201436530A (zh) | 2014-09-16 |
TWI652935B TWI652935B (zh) | 2019-03-01 |
Family
ID=50385193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102134965A TWI652935B (zh) | 2012-09-28 | 2013-09-27 | 視訊編碼方法及裝置 |
Country Status (7)
Country | Link |
---|---|
US (4) | US10397616B2 (zh) |
EP (2) | EP3661215A1 (zh) |
JP (4) | JP6175505B2 (zh) |
KR (2) | KR101654814B1 (zh) |
CN (3) | CN113518228B (zh) |
TW (1) | TWI652935B (zh) |
WO (1) | WO2014052731A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113810691A (zh) * | 2015-07-08 | 2021-12-17 | 交互数字麦迪逊专利控股公司 | 用于使用交叉平面滤波的增强色度编码的方法和装置 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150036744A1 (en) * | 2012-05-02 | 2015-02-05 | Sony Corporation | Image processing apparatus and image processing method |
EP3661215A1 (en) | 2012-09-28 | 2020-06-03 | Vid Scale, Inc. | Cross-plane filtering for chroma signal enhancement in video coding |
US9648353B2 (en) | 2013-04-04 | 2017-05-09 | Qualcomm Incorporated | Multiple base layer reference pictures for SHVC |
KR102209067B1 (ko) * | 2013-04-05 | 2021-01-28 | 삼성전자주식회사 | 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치 |
US10708588B2 (en) * | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
US9294766B2 (en) | 2013-09-09 | 2016-03-22 | Apple Inc. | Chroma quantization in video coding |
GB201500719D0 (en) * | 2015-01-15 | 2015-03-04 | Barco Nv | Method for chromo reconstruction |
WO2016168529A1 (en) * | 2015-04-17 | 2016-10-20 | Vid Scale, Inc. | Chroma enhancement filtering for high dynamic range video coding |
WO2017019818A1 (en) | 2015-07-28 | 2017-02-02 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
US10009622B1 (en) * | 2015-12-15 | 2018-06-26 | Google Llc | Video coding with degradation of residuals |
US11134259B2 (en) * | 2016-01-15 | 2021-09-28 | Interdigital Madison Patent Holdings, Sas | System and method for enhanced motion compensation using adaptive filtering |
EP4221201A1 (en) | 2018-01-29 | 2023-08-02 | InterDigital VC Holdings, Inc. | Encoding and decoding with refinement of the reconstructed picture |
BR112020026048A2 (pt) * | 2018-06-21 | 2021-03-23 | Interdigital Vc Holdings, Inc. | processamento de modo de refinamento em codificação e decodificação de vídeo |
CN118200555A (zh) | 2018-12-27 | 2024-06-14 | 英迪股份有限公司 | 图像编码/解码方法和装置 |
KR102487528B1 (ko) | 2019-01-09 | 2023-01-10 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 교차-성분 선형 모델을 사용하는 비디오 코딩 |
GB2586484B (en) * | 2019-08-20 | 2023-03-08 | Canon Kk | A filter |
US11234010B2 (en) * | 2019-08-28 | 2022-01-25 | Qualcomm Incorporated | Cross-component adaptive loop filtering for video coding |
US11356707B2 (en) * | 2019-09-23 | 2022-06-07 | Qualcomm Incorporated | Signaling filters for video processing |
KR102707834B1 (ko) * | 2019-10-29 | 2024-09-19 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 루마 차이를 이용한 크로스 컴포넌트 적응적 루프 필터 |
US11303936B2 (en) * | 2020-02-21 | 2022-04-12 | Tencent America LLC | Method and apparatus for filtering |
CN112514401A (zh) * | 2020-04-09 | 2021-03-16 | 北京大学 | 环路滤波的方法与装置 |
CN115665409A (zh) * | 2020-06-03 | 2023-01-31 | 北京达佳互联信息技术有限公司 | 对视频数据进行编码的方法和设备 |
EP4218235A4 (en) * | 2020-09-23 | 2024-04-03 | Beijing Dajia Internet Information Technology Co., Ltd. | ENHANCEMENT OF CHROMINANCE CODING IN ADAPTIVE INTER-COMPONENT SAMPLE SHIFT WITH VIRTUAL BOUNDARY |
EP4285591A1 (en) * | 2021-02-01 | 2023-12-06 | Beijing Dajia Internet Information Technology Co., Ltd. | Chroma coding enhancement in cross-component sample adaptive offset |
CN116830577A (zh) * | 2021-02-08 | 2023-09-29 | 北京达佳互联信息技术有限公司 | 跨分量自适应环路滤波器 |
CN116783889A (zh) * | 2021-02-22 | 2023-09-19 | 北京达佳互联信息技术有限公司 | 跨分量样本自适应偏移中的编解码增强 |
CN113099221B (zh) * | 2021-02-22 | 2023-06-02 | 浙江大华技术股份有限公司 | 跨分量样点自适应补偿方法、编码方法及相关装置 |
WO2022197828A1 (en) * | 2021-03-18 | 2022-09-22 | Beijing Dajia Internet Information Technology Co., Ltd. | Coding enhancement in cross-component sample adaptive offset |
WO2024076141A1 (ko) * | 2022-10-05 | 2024-04-11 | 엘지전자 주식회사 | 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4701783A (en) * | 1982-09-14 | 1987-10-20 | New York Institute Of Technology | Technique for encoding and decoding video with improved separation of chrominance and luminance |
US7102669B2 (en) * | 2002-04-02 | 2006-09-05 | Freescale Semiconductor, Inc. | Digital color image pre-processing |
KR20040043750A (ko) * | 2002-11-19 | 2004-05-27 | 엘지전자 주식회사 | 디지털 영상기기의 크로스 필터 효과 구현방법 |
JP4815107B2 (ja) * | 2003-07-16 | 2011-11-16 | 三星電子株式会社 | カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置 |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7822286B2 (en) | 2003-11-07 | 2010-10-26 | Mitsubishi Electric Research Laboratories, Inc. | Filtering artifacts in images with 3D spatio-temporal fuzzy filters |
KR100754388B1 (ko) | 2003-12-27 | 2007-08-31 | 삼성전자주식회사 | 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치 |
US7397515B2 (en) * | 2004-01-30 | 2008-07-08 | Broadcom Corporation | Method and system for cross-chrominance removal using motion detection |
US8391672B2 (en) * | 2004-02-06 | 2013-03-05 | Panasonic Corporation | Recording medium, reproduction device, program, and reproduction method |
CN101114504B (zh) * | 2004-06-02 | 2010-06-02 | 松下电器产业株式会社 | 再现装置、记录方法及再现方法 |
WO2006044370A1 (en) | 2004-10-13 | 2006-04-27 | Thomson Licensing | Method and apparatus for complexity scalable video encoding and decoding |
KR100679022B1 (ko) * | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
JP2008536414A (ja) * | 2005-04-13 | 2008-09-04 | ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー | ビデオの拡張された符号化方法及び装置 |
TWI314720B (en) * | 2005-05-31 | 2009-09-11 | Himax Tech Inc | 2d yc separation device and yc separation system |
US7551232B2 (en) | 2005-11-14 | 2009-06-23 | Lsi Corporation | Noise adaptive 3D composite noise reduction |
CN101009842B (zh) * | 2006-01-11 | 2012-02-01 | 华为技术有限公司 | 可分级视频压缩中插值的方法与装置 |
CN101496406B (zh) * | 2006-03-23 | 2012-02-01 | 三星电子株式会社 | 图像编码/解码方法和设备 |
US7579670B2 (en) * | 2006-07-03 | 2009-08-25 | Semiconductor Components Industries, L.L.C. | Integrated filter having ground plane structure |
KR101266168B1 (ko) | 2006-08-16 | 2013-05-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
US9001899B2 (en) * | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
WO2008111005A1 (en) * | 2007-03-15 | 2008-09-18 | Nokia Corporation | System and method for providing improved residual prediction for spatial scalability in video coding |
KR20080114388A (ko) * | 2007-06-27 | 2008-12-31 | 삼성전자주식회사 | 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법 |
US8270472B2 (en) * | 2007-11-09 | 2012-09-18 | Thomson Licensing | Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video |
CA2729771A1 (en) * | 2008-07-04 | 2010-01-07 | Kabushiki Kaisha Toshiba | Moving-picture encoding/decoding method and apparatus |
US8270466B2 (en) * | 2008-10-03 | 2012-09-18 | Sony Corporation | Adaptive decimation filter |
CN101404765B (zh) * | 2008-10-24 | 2010-12-08 | 宁波大学 | 一种交互式多视点视频编码方法 |
CN101778371B (zh) | 2009-01-09 | 2012-08-29 | 电信科学技术研究院 | 寻呼方法及装置 |
KR20110009058A (ko) * | 2009-07-20 | 2011-01-27 | 삼성전자주식회사 | 계층 구조의 영상 부호화/복호화에서 색 채널을 부호화/복호화하는 방법 및 장치 |
JPWO2011033643A1 (ja) | 2009-09-17 | 2013-02-07 | 株式会社東芝 | 動画像符号化方法及び動画像復号化方法 |
EP2486731B1 (en) * | 2009-10-05 | 2018-11-07 | InterDigital Madison Patent Holdings | Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding |
US8593483B2 (en) * | 2009-10-20 | 2013-11-26 | Apple Inc. | Temporal filtering techniques for image signal processing |
KR101682147B1 (ko) | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
CN201726499U (zh) * | 2010-05-04 | 2011-01-26 | 武汉光华芯科技有限公司 | 复合视频信号亮色分离系统 |
CN101902653B (zh) * | 2010-06-25 | 2013-04-24 | 杭州爱威芯科技有限公司 | 一种基于亮度样本的方向预测的场内yc分离方法 |
US20120008687A1 (en) * | 2010-07-06 | 2012-01-12 | Apple Inc. | Video coding using vector quantized deblocking filters |
US8605167B2 (en) * | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
US9693070B2 (en) | 2011-06-24 | 2017-06-27 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
SG10201408726QA (en) | 2011-06-28 | 2015-02-27 | Samsung Electronics Co Ltd | Video Encoding Method Using Offset Adjustments According To Pixel Classification And Apparatus Therefor, Video Decoding Method And Apparatus Therefor |
US9641866B2 (en) | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
US9807403B2 (en) | 2011-10-21 | 2017-10-31 | Qualcomm Incorporated | Adaptive loop filtering for chroma components |
WO2013070629A1 (en) | 2011-11-07 | 2013-05-16 | Huawei Technologies Co., Ltd. | New angular table for improving intra prediction |
WO2013105622A1 (ja) | 2012-01-13 | 2013-07-18 | シャープ株式会社 | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
US9380302B2 (en) | 2012-02-27 | 2016-06-28 | Texas Instruments Incorporated | Sample adaptive offset (SAO) parameter signaling |
US20150036744A1 (en) | 2012-05-02 | 2015-02-05 | Sony Corporation | Image processing apparatus and image processing method |
US20140086316A1 (en) * | 2012-09-24 | 2014-03-27 | Louis Joseph Kerofsky | Video compression with color space scalability |
EP3661215A1 (en) | 2012-09-28 | 2020-06-03 | Vid Scale, Inc. | Cross-plane filtering for chroma signal enhancement in video coding |
WO2014053518A1 (en) | 2012-10-01 | 2014-04-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer |
US9357211B2 (en) | 2012-12-28 | 2016-05-31 | Qualcomm Incorporated | Device and method for scalable and multiview/3D coding of video information |
US9300964B2 (en) | 2013-01-24 | 2016-03-29 | Sharp Kabushiki Kaisha | Image decoding apparatus and image coding apparatus |
KR101835316B1 (ko) | 2013-04-02 | 2018-03-08 | 주식회사 칩스앤미디어 | 동영상 처리 방법 및 장치 |
US9503732B2 (en) | 2013-04-10 | 2016-11-22 | Arris Enterprises, Inc. | Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding |
US8810727B1 (en) | 2013-05-07 | 2014-08-19 | Qualcomm Technologies, Inc. | Method for scaling channel of an image |
US9686561B2 (en) * | 2013-06-17 | 2017-06-20 | Qualcomm Incorporated | Inter-component filtering |
WO2015003753A1 (en) | 2013-07-12 | 2015-01-15 | Nokia Solutions And Networks Oy | Redirection of m2m devices |
WO2015057947A1 (en) | 2013-10-17 | 2015-04-23 | Huawei Technologies Co., Ltd. | Improved reference pixel selection and filtering for intra coding of depth map |
RU2633526C1 (ru) | 2013-11-01 | 2017-10-13 | Хуавэй Текнолоджиз Ко., Лтд. | Способ выбора сети и основное сетевое устройство |
TW201642655A (zh) | 2015-04-21 | 2016-12-01 | Vid衡器股份有限公司 | 基於藝術意向之視訊編碼 |
JP6750234B2 (ja) | 2016-01-28 | 2020-09-02 | 横浜ゴム株式会社 | タイヤ運用サービスシステムおよび方法 |
-
2013
- 2013-09-27 EP EP19214507.6A patent/EP3661215A1/en active Pending
- 2013-09-27 CN CN202110601265.7A patent/CN113518228B/zh active Active
- 2013-09-27 TW TW102134965A patent/TWI652935B/zh active
- 2013-09-27 JP JP2015534732A patent/JP6175505B2/ja active Active
- 2013-09-27 WO PCT/US2013/062133 patent/WO2014052731A2/en active Application Filing
- 2013-09-27 KR KR1020157010964A patent/KR101654814B1/ko active IP Right Grant
- 2013-09-27 KR KR1020167024019A patent/KR102028244B1/ko active IP Right Grant
- 2013-09-27 CN CN201380050776.8A patent/CN104769950B/zh active Active
- 2013-09-27 CN CN201811230342.7A patent/CN109327704B/zh active Active
- 2013-09-27 EP EP13774042.9A patent/EP2901703A2/en not_active Ceased
- 2013-09-27 US US14/039,429 patent/US10397616B2/en active Active
-
2017
- 2017-07-10 JP JP2017134656A patent/JP6671321B2/ja active Active
-
2019
- 2019-07-01 US US16/459,256 patent/US10798423B2/en active Active
- 2019-11-05 JP JP2019200726A patent/JP7433019B2/ja active Active
-
2020
- 2020-09-02 US US17/010,786 patent/US11356708B2/en active Active
-
2022
- 2022-05-16 US US17/745,053 patent/US20220286712A1/en active Pending
- 2022-11-28 JP JP2022189177A patent/JP2023011047A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113810691A (zh) * | 2015-07-08 | 2021-12-17 | 交互数字麦迪逊专利控股公司 | 用于使用交叉平面滤波的增强色度编码的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109327704A (zh) | 2019-02-12 |
JP2015531569A (ja) | 2015-11-02 |
KR20150065766A (ko) | 2015-06-15 |
JP6175505B2 (ja) | 2017-08-02 |
EP2901703A2 (en) | 2015-08-05 |
KR102028244B1 (ko) | 2019-10-02 |
US10798423B2 (en) | 2020-10-06 |
WO2014052731A2 (en) | 2014-04-03 |
US10397616B2 (en) | 2019-08-27 |
CN109327704B (zh) | 2021-06-18 |
TWI652935B (zh) | 2019-03-01 |
CN113518228A (zh) | 2021-10-19 |
JP7433019B2 (ja) | 2024-02-19 |
US20200404341A1 (en) | 2020-12-24 |
JP2020036353A (ja) | 2020-03-05 |
JP6671321B2 (ja) | 2020-03-25 |
KR20160105944A (ko) | 2016-09-07 |
US20190327494A1 (en) | 2019-10-24 |
JP2023011047A (ja) | 2023-01-20 |
US20140092999A1 (en) | 2014-04-03 |
US20220286712A1 (en) | 2022-09-08 |
WO2014052731A3 (en) | 2014-10-23 |
CN104769950B (zh) | 2018-11-13 |
US11356708B2 (en) | 2022-06-07 |
CN113518228B (zh) | 2024-06-11 |
EP3661215A1 (en) | 2020-06-03 |
JP2017200235A (ja) | 2017-11-02 |
CN104769950A (zh) | 2015-07-08 |
KR101654814B1 (ko) | 2016-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7433019B2 (ja) | ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング | |
JP6421224B2 (ja) | マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報 | |
JP6954763B2 (ja) | マルチレイヤビデオコーディングの適応型アップサンプリング | |
CN107534769B (zh) | 用于高动态范围视频译码的色度增强滤波 | |
TW201637448A (zh) | 非4:4:4螢幕內容視訊調色盤編碼 | |
JP6397902B2 (ja) | スケーラブルビデオ符号化のためのレイヤ間予測 | |
TW201427426A (zh) | 視訊編碼邊緣導向處理方法及裝置 |