TW201427426A - 視訊編碼邊緣導向處理方法及裝置 - Google Patents
視訊編碼邊緣導向處理方法及裝置 Download PDFInfo
- Publication number
- TW201427426A TW201427426A TW102134963A TW102134963A TW201427426A TW 201427426 A TW201427426 A TW 201427426A TW 102134963 A TW102134963 A TW 102134963A TW 102134963 A TW102134963 A TW 102134963A TW 201427426 A TW201427426 A TW 201427426A
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- edge
- filter
- class
- video
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
方法和裝置可用於提供邊緣導向處理，該邊緣導向處理可用於視訊編碼。例如，該方法和裝置可用於處理重建視訊中富於紋理及/或邊緣的區域。例如，可進行該操作以在這些區域被用作參考時改善預測準確度。該方法和裝置可適用於視訊編碼中所使用的各種類型的預測，包括空間預測、時間預測和層間預測。
Description
相關申請案的交叉引用
本申請案要求2012年9月28日提出的題為“Method and Apparatus of Edge Guided Processing of Video Coding(視訊編碼邊緣導向處理的方法及裝置)”的美國臨時專利申請案61/707,477的權益，該申請案的內容以引用的方式組合於此。
本申請案要求2012年9月28日提出的題為“Method and Apparatus of Edge Guided Processing of Video Coding(視訊編碼邊緣導向處理的方法及裝置)”的美國臨時專利申請案61/707,477的權益，該申請案的內容以引用的方式組合於此。
隨著智慧手機和平板電腦在解析度和計算能力兩方面的增長，視訊應用也在增多，例如視訊聊天、行動視訊錄製和共享以及視訊流。為改善使用視訊應用時的體驗品質，視訊編碼系統已用於壓縮數位視訊信號。壓縮數位視訊信號降低了這些信號的儲存需求及/或傳輸頻寬。然而，當壓縮數位視訊信號時，富於紋理及/或邊緣的視訊中的影像可能由於壓縮過程而遭受細節損失。
此處所揭露的是用於邊緣導向處理的方法和裝置，邊緣導向處理可用於視訊編碼。此處的方法和裝置可被提供用於處理視訊或重建的視訊中富於紋理及/或邊緣的區域。可以是紋理的一部分的像素可為邊緣像素。例如，可進行該操作以當這些區域用作參考時改善預測的準確性。富於紋理及/或邊緣的區域可能由於量化過程而遭受細節損失，量化過程可去除及/或降低高頻資訊。當這些區域可以用作空間預測、時間預測或層間預測中的參考時，產生的預測殘差可能具有較高能量、並且可能很難壓縮。此處所揭露的方法和裝置可以恢復在量化期間丟失的高頻資訊、可以恢復在量化期間很可能已發生這樣的資訊損失的區域中的高頻資訊、並且可以保持低的邊緣導向處理的計算複雜度。此處所揭露的方法和裝置可以適用於用在視訊編碼中的各種類型的預測，例如空間預測、時間預測和層間預測等。
方法和裝置可被提供用於邊緣導向處理，該邊緣導向處理可用於視訊編碼。該裝置可包括可配置為執行多個動作的處理器。可以偵測出可以是處於影像的區域內的紋理或邊緣的一部分的像素。邊緣可以是紋理。可使用像素的特性將像素分類到邊緣像素類。可使用像素的特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像的區域中的細節損失。該濾波器可應用於像素。
提供發明內容以簡化形式介紹還將在下面的實施方式中詳細描述的概念的選擇。此概述不用於確定所要求的主題的關鍵特徵或基本特徵，也不用於限制所要求的主題的範圍。此外，所要求的主題不受限於解決本揭露的任何部分中所提示的任一或全部缺點的任何限制。
方法和裝置可被提供用於邊緣導向處理，該邊緣導向處理可用於視訊編碼。該裝置可包括可配置為執行多個動作的處理器。可以偵測出可以是處於影像的區域內的紋理或邊緣的一部分的像素。邊緣可以是紋理。可使用像素的特性將像素分類到邊緣像素類。可使用像素的特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像的區域中的細節損失。該濾波器可應用於像素。
提供發明內容以簡化形式介紹還將在下面的實施方式中詳細描述的概念的選擇。此概述不用於確定所要求的主題的關鍵特徵或基本特徵，也不用於限制所要求的主題的範圍。此外，所要求的主題不受限於解決本揭露的任何部分中所提示的任一或全部缺點的任何限制。
DPB．．．增強層解碼圖像緩衝器
Gx、Gy．．．梯度值
HEVC．．．高效視訊編碼
ILP．．．層間預測
Iub、IuCS、IuPS、iur、S1、X2．．．介面
Pel．．．邊緣像素
R1、R3、R6、R8．．．參考點
100．．．通信系統
102、102a、102b、102c、102d．．．無線傳輸/接收單元(WTRU)
103、104、105．．．無線電存取網路(RAN)
106、107、109．．．核心網路
108．．．公共交換電話網路(PSTN)
110．．．網際網路
112．．．其他網路
114a、114b．．．基地台
115、116、117．．．空中介面
118．．．處理器
120．．．收發器
122．．．傳輸/接收元件
124．．．揚聲器/麥克風
126．．．鍵盤
128．．．顯示器/觸控板
130．．．不可移式記憶體
132．．．可移式記憶體
134．．．電源
136．．．全球定位系統(GPS)晶片組
138．．．週邊裝置
140a、140b、140c．．．節點B
142a、142b．．．無線電網路控制器(RNC)
144．．．媒體閘道(MGW)
146．．．行動交換中心(MSC)
148．．．服務GPRS支援節點(SGSN)
150．．．閘道GPRS支援節點(GGSN)
160a、160b、160c．．．e節點B
162．．．移動性管理閘道(MME)
164．．．服務閘道
166．．．封包資料網路(PDN)閘道
180a、180b、180c．．．基地台
182．．．存取服務網路(ASN)閘道
184．．．行動IP本地代理(MIP-HA)
186．．．認證、授權、記帳(AAA)伺服器
188．．．閘道
202、320．．．位元流
208．．．熵解碼
210．．．逆量化
212．．．逆轉換
220．．．重建視訊
226、366．．．迴路濾波器
260、360．．．空間預測
262、362．．．時間預測
264、364．．．參考圖像儲存器
266．．．區塊
302．．．視訊輸入
304．．．轉換
306．．．量化
308．．．熵編碼單元
310．．．逆量化
312．．．逆轉換
380．．．模式決策
400．．．降取樣
402、408．．．MUX
404、512．．．增強層DPB
406、508．．．ILP處理和管理
410．．．BL DPB
412．．．基層編碼器
502．．．DEMUX
504．．．增強層解碼器
506．．．基層解碼器
620、625、630、635、640、645、650、655．．．邊緣分類
704．．．水平邊緣
706．．．相鄰像素
910、915、920、925．．．圖像
從以下以示例方式組合附圖給出的描述可以獲得更詳細的理解。
第1圖是示出基於區塊的混合視訊編碼器的示例圖；
第2圖是示出基於區塊的視訊解碼器的示例的圖；
第3圖是示出可調整（scalable）視訊編碼器的示例圖；
第4圖是示出2層可調整視訊解碼器的示例圖；
第5圖是示出可在編碼器中發生的邊緣導向處理的示例圖；
第6圖是示出基於邊緣方向的邊緣分類的示例圖；
第7圖是示出1維濾波器的示例圖；
第8圖是示出可在解碼器中發生的邊緣導向處理的示例圖；
第9圖是示出在圖像和升取樣後的圖像間的誤差映射的示例圖；
第10A圖是可以實施一個或多個揭露的實施方式的示例通信系統的系統圖；
第10B圖是可以在第10A圖所示的通信系統中使用的示例無線傳輸/接收單元（WTRU）的系統圖；
第10C圖是可以在第10A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖；
第10D圖是可以在第10A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖；
第10E圖是可以在第10A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
第1圖是示出基於區塊的混合視訊編碼器的示例圖；
第2圖是示出基於區塊的視訊解碼器的示例的圖；
第3圖是示出可調整（scalable）視訊編碼器的示例圖；
第4圖是示出2層可調整視訊解碼器的示例圖；
第5圖是示出可在編碼器中發生的邊緣導向處理的示例圖；
第6圖是示出基於邊緣方向的邊緣分類的示例圖；
第7圖是示出1維濾波器的示例圖；
第8圖是示出可在解碼器中發生的邊緣導向處理的示例圖；
第9圖是示出在圖像和升取樣後的圖像間的誤差映射的示例圖；
第10A圖是可以實施一個或多個揭露的實施方式的示例通信系統的系統圖；
第10B圖是可以在第10A圖所示的通信系統中使用的示例無線傳輸/接收單元（WTRU）的系統圖；
第10C圖是可以在第10A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖；
第10D圖是可以在第10A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖；
第10E圖是可以在第10A圖所示的通信系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
現在將參照各個附圖描述示例性實施方式的詳細描述。雖然該描述提供了可能實施的詳細示例，但應當注意的是，細節是示例性的，並且不以任何方式限制本申請案的範圍。
此處揭露的是用於邊緣導向處理的方法和裝置，該邊緣導向處理可用於視訊編碼。此處的方法和裝置可以處理視訊（例如，重建視訊）中富於紋理及/或邊緣的區域。可以是紋理的一部分的像素可以是邊緣像素。例如，可進行該操作以在這些區域用作參考時改善預測的準確性。
如此處所揭露的，邊緣導向處理可應用於重建視訊中的區域。例如，富於紋理及/或邊緣的區域可能由於量化過程而遭受細節的損失，量化過程可去除及/或減少高頻資訊。當這些區域在例如空間預測、時間預測或層間預測的預測中被用作參考時，產生的預測殘差可能具有較高的能量並且可能很難壓縮。
此處所揭露的方法和裝置可以恢復在量化期間可能丟失的高頻資訊、可以恢復在量化期間很可能發生這樣的資訊損失的區域中的高頻資訊、並且可以保持低的邊緣導向處理的計算複雜度。此處所揭露的方法和裝置可以適用於用於視訊編碼中的多種預測類型，例如空間預測、時間預測和層間預測等。此處所揭露的方法和裝置可以適用於在其中可以應用空間預測和時間預測的單層視訊編碼以及在其中使用來自一個或多個較低層的重建視訊訊號進行層間預測的可調整視訊編碼等等。
方法和裝置可用於視訊編碼的邊緣導向處理。該裝置可包括可被配置為執行多個動作的處理器。可以在影像中偵測邊緣像素。可以細化（refine）邊緣像素。可以將邊緣像素分類到邊緣像素類。可以使用視訊來訓練用於邊緣像素類的濾波器，該視訊可以是原始視訊。經訓練的濾波器可應用於邊緣像素。
方法和裝置可用於視訊編碼的邊緣導向處理。該裝置可包括可配置為執行多個動作的處理器。可以在影像中偵測邊緣像素。可以細化邊緣像素。可以將邊緣像素分類到邊緣像素類。可以接收用於邊緣像素類的濾波器。經訓練的濾波器可應用於邊緣像素。
方法或裝置可用於細化邊緣像素和訓練濾波器。該裝置可包括可配置為執行多個動作的處理器。可以根據邊緣梯度（gradient）值來細化邊緣像素，例如，藉由丟棄其梯度值小於臨界值的邊緣像素。可以確定區域中的像素密度。當邊緣的密度可能小於密度臨界值時，可以丟棄該密度的邊緣。可以訓練濾波器。
方法或裝置可用於對邊緣像素進行分類並訓練濾波器。該裝置可包括可被配置為執行多個動作的處理器。可以根據邊緣方向和邊緣像素的特性將邊緣像素分類為一個或多個類別。該邊緣像素的特性可以是邊緣像素的法線方向的二階導數。可以訓練用於該一個或多個類別中的類別的濾波器。該一個或多個類別中的該類別可以是組合分類類別。可以在濾波器和該組合分類類別之間產生映射。可以傳送該映射。
可以提供用於邊緣導向處理的方法和裝置，該邊緣導向處理可以用於視訊編碼。該裝置可包括可被配置為執行多個動作的處理器。可以偵測可以是影像區域中的邊緣或紋理的一部分的像素。可使用該像素特性將該像素分類到邊緣像素類。可使用該像素特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像區域中的細節損失。濾波器可被應用於像素。
可以提供用於邊緣導向處理的方法和裝置，該邊緣導向處理可以用於視訊編碼。該裝置可包括可被配置為執行多個動作的處理器。可以偵測可以是影像區域中的邊緣或紋理的一部分的像素。可以確定像素的邊緣方向上的邊緣強度。當像素的邊緣強度大於臨界值時，可確定該像素屬於邊緣。
可以使用像素的特性將像素分類到邊緣像素類。例如，可確定用於像素的邊緣方向。可確定用於像素的法線值（normal value）。法線值可表明與邊緣方向垂直的二階導數的值。可使用法線值和邊緣方向將像素分類到邊緣像素類。如另一示例，可確定用於表明像素在第一邊緣方向上的邊緣強度的梯度值Gx。可確定用於表明像素在第二邊緣方向上的邊緣強度的梯度值Gy。可確定邊緣方向，其中邊緣方向等於：
如另一示例，可使用來確定像素的二階導數，其中sd是二階導數。可確定邊緣方向。可使用二階導數和邊緣方向將該像素分類到邊緣像素類。
可使用像素特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像區域中的細節損失。可確定用於濾波器的參數。例如，可確定可以最佳化用於邊緣像素類的濾波器的參數。如另一示例，可藉由執行回歸分析來確定濾波器的參數，以在該濾波器被應用於像素時最小化在影像的區域中產生的誤差。如另一示例，可用以下方式來確定用於濾波器的參數：使用濾波器來產生第二影像、比較第二影像和該影像、確定像素類的誤差以及確定最小化像素類的誤差的濾波器的參數。如另一示例，可確定用於濾波器的參數以增強可能在視訊編碼期間丟失的高頻資訊。可將該參數發送給解碼器。該濾波器可應用於像素。
由於對智慧手機和平板電腦的需求增長，例如視訊聊天、行動視訊錄製和分享、視訊流等的視訊應用可以在異質環境中使用視訊傳輸。這些場景可被稱為3螢幕或N螢幕場景。3螢幕場景或N螢幕場景可考慮例如個人電腦、智慧手機、平板電腦和電視等的多個消費裝置。在N螢幕場景中，可提供在計算能力、記憶體/儲存空間大小、顯示解析度和顯示畫面播放速率等方面具有大範圍不同能力的裝置上的視訊消費。用在N螢幕場景中的網路和傳輸通道可能具有在封包丟失率、可用通道頻寬、叢發誤差率等方面大範圍不同的特性並且可被提供。
可以經由有線網路和無線網路的組合來傳送視訊資料。可調整視訊編碼可以改善在異質網路上的具有不同能力的裝置上運行的視訊應用的體驗品質。可調整視訊編碼可以用例如時間解析度、空間解析度、品質等的高表示對信號進行編碼。雖然可調整視訊編碼可以用高表示編碼，但是可調整視訊編碼可根據運行在裝置上的應用所採用的速率和表示從視訊流的子集解碼。例如，可以用高表示對視訊進行編碼，但運行在智慧手機上的應用可能以低表示對該視訊進行解碼。例如，可進行該操作以節省頻寬和儲存。可調整視訊編碼可以與MPEC-2視訊、H.263、MPEG4 Visual、H.264和HEVC等一起使用。
視訊編碼系統可用來壓縮數位視訊信號以降低此類信號的儲存及/或傳輸頻寬。有多種類型的視訊編碼系統，例如基於區塊、基於小波、基於物件的系統、基於區塊的混合視訊編碼系統等。基於區塊的視訊編碼系統的示例可包括例如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC和VC-1標準的國際視訊編碼標準。
第1圖是示出基於區塊的混合視訊編碼器的示例的圖。可逐區塊地處理輸入視訊訊號302。輸入視訊訊號302的視訊區塊單元可以是16x16像素。視訊區塊單元可稱為巨集區塊或MB。在高效視訊編碼（HEVC）中，可以使用擴展的區塊尺寸來壓縮高解析度的視訊訊號，例如可以是1080p或更大的視訊訊號。擴展的區塊尺寸可稱為編碼單元或CU。在HEVC中，CU可以高達64x64像素。CU可被分割為預測單元（PU）並且可將預測實施應用於預測單元。例如，對於輸入視訊區塊（例如，MB或CU），可執行空間預測360及/或時間預測362。
在空間預測360，可以從同一視訊圖像/切片（slice）中編碼後的相鄰區塊預測視訊區塊。空間預測可稱為內預測。空間預測可降低視訊訊號中固有的空間冗餘。在時間預測362，來自已被編碼的視訊圖像的像素可用於預測視訊區塊。時間預測可稱為間預測或移動補償預測。時間預測可降低視訊訊號中固有的時間冗餘。視訊區塊的時間預測信號可以包括一個或多個移動向量。如果使用多個參考圖像，視訊區塊的時間預測信號可包括一個或多個參考圖像索引。移動向量及/或參考圖像索引可用於識別參考圖像儲存器364中的參考圖像。
在空間預測及/或時間預測之後，模式決策380可例如基於率失真的最佳化來實現選擇預測模式。在316，可以從視訊區塊中減去預測區塊。預測殘差可在轉換304被轉換並且可在量化306被量化。量化後的殘差係數可在逆量化310被逆量化並且可在逆轉換312被逆轉換。例如，可進行該操作以形成可在326被加到預測區塊的重建殘差，來形成重建視訊區塊。在迴路濾波器366，例如去塊濾波、適應性迴路濾波等的濾波可被應用在重建視訊區塊上。例如，這可以在重建區塊被存入參考圖像儲存器364並用於對後來的視訊區塊進行編碼之前被執行。為形成可以是輸出視訊位元流的位元流320，可將編碼模式（間或內）、預測模式資訊、移動資訊及/或量化殘差係數發送給熵編碼單元308並且可由熵編碼單元308進行壓縮和縮緊以形成位元流320。
如第1圖所示，在編碼期間，基層區塊的預測殘差可在304被轉換並且在306被量化。量化可導致資訊損失。此種資訊損失可導致富於邊緣及/或紋理的區域中的重建視訊中的細節的損失。這種情況可在量化參數（QP）可被設定為高時發生。例如，量化的等級可能被設定為高。當此種重建視訊可用作參考以對後來的視訊訊號進行預測時，可作為加法器316的輸出所產生的預測殘差模式可能具有高能量並且可能變得很難壓縮。為改善對量化引起的資訊損失敏感的這些區域的預測準確度，可對邊緣/紋理豐富的區域周圍的重建視訊執行附加的處理。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼、並且可用於在其中使用來自一個或多個較低層的重建視訊訊號應用層間預測的可調整視訊編碼。
第2圖是示出基於區塊的視訊解碼器的示例圖。第2圖中的基於區塊的視訊解碼器可對應於第1圖中的基於區塊的編碼器。在熵解碼208，可對可以是視訊位元流的位元流202進行未緊縮和熵解碼。可將編碼模式和預測資訊發送給空間預測260（例如，如果被內編碼）或時間預測262（例如，如果被間編碼）以形成預測區塊。可將殘差轉換係數發送給逆量化210和逆轉換212以重建殘差區塊。在226，可將預測區塊和殘差區塊加在一起以形成重建區塊。在重建區塊被儲存至參考圖像儲存器264前，重建區塊可經過迴路內濾波，這可發生在迴路濾波器226。可發送參考圖像儲存器中的重建視訊220以驅動顯示裝置及/或用來預測後來的視訊區塊。
第3圖是示出可調整視訊編碼器的示例圖。在第3圖中，可示出具有基層和增強層的兩層可調整編碼系統。兩層間的空間解析度是不同的。例如，可應用空間可調整性。在降取樣400對增強層視訊輸入進行降取樣以產生基層視訊輸入。
基層編碼器412可逐區塊地對基層視訊輸入進行編碼並且可產生基層位元流。基層編碼器402可產生可被發送到MUX 408的基層位元流。基層編碼器412可以是HEVC編碼器。基層編碼器412可以是第1圖所描述的編碼器。
再次參考第3圖，增強層編碼器402可逐區塊地對增強層視訊輸入進行編碼並且可產生增強層位元流。增強層編碼器402可產生可被發送到MUX 408的增強層位元流。增強層編碼器401可以是HEVC編碼器。增強層編碼器402可以是第1圖所描述的編碼器。
再次參考第3圖，為改善可調整系統的編碼效率，當在增強層編碼器402對增強層視訊進行編碼時，基層重建視訊中的信號相關性可用於改善其預測準確度。例如，如第3圖所示，可以在層間預測處理406處理基層重建視訊。處理後的基層圖像中的一者或多者可被插入增強層解碼圖像緩衝器（DPB）404中並且可用於預測增強層視訊輸入。基層視訊和增強層視訊可以是用不同空間解析度表示的相同的視訊源。經由在降取樣400發生的降取樣過程，該基層視訊和該增強層視訊可相互對應。
層間預測（ILP）處理可由層間處理和管理406來執行。例如，升取樣操作可用於對基層重建的空間解析度和增強層視訊的空間解析度進行對準。ILP處理和管理可接收來自BL DPB 410的基層圖像、來自基層編碼器412的基層視訊資訊及/或來自增強層編碼器412的增強層視訊資訊。ILP處理和管理406可處理由基層編碼器產生的基層位元流和增強層編碼器產生的增強層位元流。
ILP處理和管理406可產生層間預測資訊。例如，ILP資訊可包括所應用的層間處理的類型、可以在處理中使用的參數、可被使用的升取樣濾波器、可被插入到增強層DPB 404中的一個或多個處理後的基層圖像等。MUX 402可將基層位元流、增強層位元流和ILP資訊一起多工以形成位元流。該位元流可以是S-HEVC。
在編碼期間，可對基層區塊的預測殘差進行轉換和量化。量化可能引起資訊損失。此種資訊損失可導致富於邊緣及/或紋理的區域中的重建視訊中的細節損失。這可以在量化參數（QP）可被設定為高（即，量化的等級可能被設定為高）時發生。當所述的重建視訊可用作參考以對後來的視訊訊號進行預測時，所產生的預測殘差模式可能具有高能量並且可能變得很難壓縮。為改善對量化引起的資訊損失敏感的這些區域的預測準確度，可對邊緣/紋理豐富的區域周圍的重建視訊執行附加的處理。
處理邊緣和紋理豐富的區域中的重建視訊訊號也可用以改善可調整視訊編碼系統的編碼效率。在第3圖中，基層視訊和增強層視訊可能是相同的視訊源而用不同的空間解析度來表示；例如，經由降取樣過程，該基層視訊和該增強層視訊可相互對應。第3圖中可由層間處理和管理單元執行ILP處理，其可執行升取樣操作，該升取樣操作可用於對基層重建的空間解析度和增強層視訊的空間解析度進行對準。升取樣濾波器可具有低通濾波器的特性、並且可將進一步的模糊（該模糊是除了由於基層視訊編碼期間的量化引入的細節損失之外的）引入升取樣後的基層圖像。改善層間參考圖像中邊緣豐富的區域周圍的信號品質可改善可調整視訊編碼系統中的層間預測。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊訊號來應用層間預測的可調整視訊編碼。
第4圖是示出2層可調整視訊解碼器的示例圖。第4圖中的2層可調整視訊解碼器可對應於第3圖中的可調整編碼器。解碼器可執行與編碼器相反的操作。DEMUX 502可將可調整位元流解多工為基礎位元流、增強層位元流和ILP資訊。基層解碼器506可解碼基層位元流。基層解碼器506可產生基層重建。
增強層解碼器504可解碼例如具有時間參考圖像和層間參考圖像（例如，處理後的基層圖像）的組合的增強層位元流以重建增強層視訊。如此處所使用的術語“層間參考圖像”和“處理後的基層圖像”可互換使用。
ILP處理和管理508可接收ILP資訊。ILP處理和管理508可處理基層重建。這可以例如根據接收到的ILP資訊來執行。ILP處理和管理508可有選擇地將來自基層DPB的處理後的基層圖像中的一者或多者插入增強層DPB 512中。這可以例如根據接收到的ILP資訊來執行。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以當重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊訊號來應用層間預測的可調整視訊編碼。
第5圖是示出編碼器中發生的邊緣導向處理的圖。如第5圖所示，在602，可執行邊緣偵測。可接收重建視訊。可對重建視訊應用邊緣偵測以偵測可表示邊緣及/或有紋理的區域的像素的位置。例如，可進行該操作以恢復在視訊重建中的高頻資訊的損失。可使用例如坎尼(Canny)邊緣偵測演算法等的邊緣偵測演算法。邊緣偵測演算法可輸出例如二進位映射的邊緣映射，該邊緣映射可表明哪些像素可以是邊緣像素。對於邊緣像素pel，邊緣偵測演算法可以輸出一對梯度值Gx(pel)和Gy(pel)，Gx(pel)和Gy(pel)可表明兩個方向上的邊緣強度、並且可輸出角度
該角度可以表明邊緣的方向。
在604，可執行邊緣細化。邊緣細化可細化一組邊緣像素。邊緣細化可用於控制可以被處理的邊緣像素的數目，這可能對應於計算複雜度。可基於邊緣梯度的值來細化邊緣像素。例如，如果其值小於臨界值則可丟棄該邊緣像素。
如梯度值Gx(pel)和Gy(pel)的梯度值可用於去除弱邊緣。例如，這可以藉由比較該梯度值和臨界值來被執行。例如，當下面的條件可為真時，可以從一組邊緣像素中去除像素pel：
可用於邊緣細化的參數可被發送給解碼器。舉例來說，例如Gx(pel)和Gy(pel)的梯度值、臨界值等可被發送給解碼器。例如，可進行該操作以使解碼器在解碼期間細化邊緣像素。在612，可藉由在如視訊位元流的位元流中對參數進行編碼來將可用於邊緣細化的參數發送給解碼器。
在606，可執行邊緣分類。分類可應用於如由邊緣細化所輸出的邊緣像素的邊緣像素。不同的分類方法可應用於具有不同特性的圖像/區域。可應用分類以將邊緣像素分成共享相似的特性的邊緣像素的子集。
邊緣分類可對具有相似的邊緣方向的邊緣像素進行分類。例如，可以將邊緣像素和具有相似的值的其他邊緣像素進行分類，其中θ是像素pel所屬的邊緣的方向角度。
第6圖是示出基於邊緣方向的邊緣分類的圖。第6圖中示出的八個方向可用於將邊緣分為八個方向組。例如，邊緣可被分類到邊緣分類620、625、630、635、640、645、650或655中。為了對邊緣進行分類，可比較該邊緣和邊緣分類並可選擇更緊密地匹配邊緣的邊緣分類。例如，與邊緣分類625緊密匹配的邊緣可被分類到邊緣分類625。
再次參考第5圖，可將邊緣像素和沿著法線方向（例如，垂直於邊緣方向）具有相似的二階導數的邊緣像素進行分組或分類。例如，可計算邊緣像素的沿著如的法線方向的二階導數。如果邊緣像素具有負的二階導數，則可將該像素分類到第一組。例如，當在法線方向的像素亮度值增大然後減小時，可能發生這種情況。如果邊緣具有正的二階導數，則可將該邊緣像素分類到第二組。例如，當沿著法線方向的像素亮度值減小然後增大時，可能發生這種情況。
邊緣分類可使用多種邊緣分類方法的組合。例如，可組合邊緣方向和法線方向的二階導數來將邊緣像素分類到多個組，例如16個組。這可將邊緣像素和可能具有相同特性的其他邊緣像素分組在一起。對分組在一起的像素可以用相似的方式進行處理。
在608，可訓練用於邊緣像素類的濾波器。可接收可以是原始視訊位元流的位元流。可確定用於邊緣類的濾波器。可將濾波器應用於邊緣類以產生可與原始視訊位元流相比較的輸出。在對輸出和原始視訊位元流的比較中，可確定誤差容限（margin）並且可確定用於濾波器的參數以最小化該誤差容限。參數可最佳化濾波器，所以可減小誤差。可將濾波器參數發送給解碼器。例如，可在可被發送給解碼器的如視訊位元流的位元流中對濾波器參數進行編碼。
可藉由確定與邊緣類的特性最匹配的濾波器類型來確定用於邊緣類的濾波器。例如，可確定邊緣類可能具有細節損失。可選擇線性濾波器並可將其應用在邊緣類的邊緣像素上以增強丟失細節。
為了訓練濾波器係數或濾波器(例如，線性濾波器)的參數可執行誤差分析。例如，可應用最小平方法或高斯-牛頓回歸法以最小化濾波器的輸出和位元流間的誤差的L2範數（norm），該位元流可以是原始視訊位元流。
可選擇及/或訓練如高通濾波器的濾波器，因為這些濾波器可增強在量化期間丟失的高頻資訊。為了改善濾波器的穩定性並降低計算複雜度，線性濾波器可具有一個參數，該參數可以是附加濾波器偏移。該附加濾波器偏移可以與採樣適應性偏移（SAO）相似，其可以在HEVC中被支援。如此處所述，濾波器可降低濾波器係數的傳訊成本。
在610，經訓練的濾波器可應用於邊緣像素。例如，經訓練的濾波器可應用於邊緣像素以產生經改善的視訊位元流。
當已獲取對於每個類C的如線性濾波器參數的濾波器參數時，可使用下面的等式對邊緣像素中的每一者進行濾波，其中所述的邊緣像素可以用來表示：
其中可為用於每個類C的經訓練的濾波器，可以是濾波操作中包括的pel的相鄰像素可以是濾波器和相鄰像素間的濾波操作，是針對類C的附加濾波器偏移，和可為邊緣導向濾波之前和之後的像素值。如果使用具有附加濾波器偏移的濾波器，則可將等式（2）簡化為下面的等式：
在612，可將濾波器參數發送給解碼器。如第5圖所示，可在編碼器側得到濾波器參數並且將其作為位元流的一部分用信號發送給解碼器。例如，可進行該操作，使得可應用相同的濾波器以使編碼器和解碼器保持同步。濾波器參數的傳訊可引起負荷，該負荷可能取決於多個因素，例如邊緣像素類的數目，類中的濾波器的濾波器分接頭（tap）長度等。此處的揭露是可用以降低傳訊負荷的方法和裝置。
因為不同的濾波器可應用於不同的類，所以類的數目可影響傳訊負荷的量。例如，可將邊緣像素分為許多個類，而這可增加用於濾波器係數的傳訊成本，並且隨著類中訓練像素的數目的減小，可能導致潛在地不穩定的經訓練的濾波器。
可以基於邊緣方向和基於法線方向的二階導數進行邊緣分類。類的數目可影響傳訊的量。例如，當有8個邊緣方向和2種二階導數的符號（例如，正或負）時，則可得到16個濾波器並將其用信號發出。
也可應用其他的分類方法。例如，可使用邊緣方向的縮減的數目。在另一個示例中，濾波器的數目可取決於沿著法線方向的二階導數，而不取決於邊緣方向。這可將用信號發送的濾波器的數目減小為2。可計算邊緣方向，但該邊緣方向可用以確定邊緣的法線方向由此可以計算沿著法線方向的二階導數。
下面的虛擬碼可用來用信號發送濾波器的集合並且可用以給邊緣像素類分配濾波器。可用信號發送濾波器的集合，濾波器的集合可以是總數num_of_filters。對於一個邊緣類，可用信號發送filter_idx(filter_idx在0到num_of_filters-1間取值，閉區間)以表明哪個濾波器被分配給該邊緣類。
如濾波器分接頭長度和其係數精度的濾波器特性可影響傳訊負荷。如此處所述，在num_of_filters的集合中，可簡化濾波器中的一者或多者以包括附加偏移。可用信號發送每個濾波器的一個係數。濾波器中的一者或多者可具有更短的分接頭長度。例如，對於具有邊緣方向的邊緣，可應用在法線方向上的一維濾波器。示例在第7圖中示出。
第7圖是示出1維濾波器的示例圖。如第7圖所示，在702，邊緣像素pel可表示水平邊緣704，例如。為降低濾波器的尺寸，可應用使用垂直方向上的相鄰像素（例如，相鄰像素706）的1維濾波器。
再次參考第5圖，編碼器可基於輸入視訊訊號的特性來決定什麼樣的濾波器可用於類並且決定類的數目。例如，編碼器可基於率失真成本做出該決定，並且可選擇具有低率失真成本的濾波係數和分類的集合。
可提供附加的參數傳訊。邊緣偵測和邊緣細化後所發現的邊緣像素的數目可與邊緣導向處理方法的計算複雜度相關。例如，如果可偵測出更多的像素為邊緣像素，則濾波操作可能被應用在更多的像素上，這可增加計算複雜度。可用在邊緣細化中(例如，等式（1）中的臨界值)的參數可用以控制邊緣像素的數目。不同的臨界值可應用於不同的邊緣類。如612所示，可將這些臨界值作為位元流的一部分用信號發送，或者這些臨界值在編碼器和解碼器處是固定的，且不是信號。可用以用信號發送參數的語法元素可作為切片標頭的一部分用信號發送或者可被置於如適應性參數集（APS）的單獨的NAL單元中。
第8圖是示出解碼器處可發生的邊緣導向處理的圖。如第8圖所示，解碼器可使用邊緣偵測以找到邊緣像素的位置。解碼器可使用邊緣細化並且可使用邊緣分類以將邊緣像素分類到組中。解碼器可以用與本文所述的用於編碼器的類似的方式來使用邊緣偵測、邊緣細化和邊緣分類。解碼器可根據邊緣像素所屬的類以將各自的濾波器應用於該邊緣像素，例如，對於每一個像素，解碼器可應用如等式（2）中的線性濾波或可應用如等式（3）中的具有附加偏移的濾波。
在802，可執行邊緣偵測。可接收重建的視訊。邊緣偵測可應用於重建的視訊以偵測可表示邊緣及/或有紋理的區域的像素的位置。例如，可進行該操作以恢復視訊重建中的高頻資訊的損失。可使用例如Canny邊緣偵測演算法等的邊緣偵測演算法。邊緣偵測演算法可輸出例如二進位映射的邊緣映射，該邊緣映射可表明哪些像素可以是邊緣像素。對於邊緣像素pel，邊緣偵測演算法可輸出可表明兩個方向上的邊緣強度的一對梯度值Gx(pel)和Gy(pel)，並可輸出下面的角度
該角度可表明邊緣的方向。
在804，可執行邊緣細化。邊緣細化可細化一組邊緣像素。邊緣細化可用以控制可以被處理的邊緣像素的數目，該數目與計算複雜度相對應。可根據邊緣梯度的值來細化邊緣像素。例如，當邊緣梯度值小於臨界值時，可丟棄邊緣像素。
例如梯度值Gx(pel)和Gy(pel)的梯度值可用以去除弱邊緣。例如，可藉由比較梯度值和臨界值來進行該處理。可使用如等式（1）的等式。
可從編碼器接收可用於邊緣細化的參數。例如，可從編碼器接收如Gx(pel)和Gy(pel)的梯度值、臨界值等。例如，可進行該處理以允許解碼器在解碼期間細化邊緣像素。可在如視訊位元流的位元流中接收可用於邊緣細化的參數。
在806，可執行邊緣分類。分類可應用於邊緣像素，例如經過邊緣細化所輸出的邊緣像素。不同的分類方法可應用於具有不同特性的圖像/區域。可應用分類以將邊緣像素分為可共享相似特性的邊緣像素的子集。
邊緣分類可對具有相似的邊緣方向的邊緣像素進行分類。例如，可將邊緣像素和其他具有相似值的邊緣像素進行分類，其中θ是像素pel所屬的邊緣的方向角度。
可對邊緣像素和沿著法線方向（例如，垂直於邊緣方向）具有相似的二階導數的邊緣像素進行分組和分類。例如，可計算出邊緣像素的沿著如的法線方向的二階導數。如果邊緣像素具有負的二階導數，則該像素可被分類到第一組。例如，當法線方向的像素亮度值增加然後減小時，可出現這種情況。如果邊緣具有正的二階導數，則該邊緣像素可被分類到第二組。例如，當沿著法線方向的像素亮度值減小然後增加時，可出現這種情況。
邊緣分類可使用多種邊緣分類方法的組合。例如，可組合邊緣方向和法線方向上的二階導數來將邊緣像素分類到多個組，例如16個組。這可使邊緣像素與共享相同特性的其他邊緣像素分組在一起。對分組在一起的像素可以用相似的方式進行處理。
在808，經訓練的濾波器可應用於邊緣像素。可藉由確定可與邊緣類的特性最匹配的濾波器類型來確定用於邊緣類的濾波器。例如，可確定邊緣類具有細節損失。可選擇線性濾波器並將其應用在該邊緣類的邊緣像素上以增強丟失的細節。
濾波器參數可用以訓練用於濾波器類的濾波器。例如，該參數可最佳化濾波器以降低誤差。可從編碼器接收濾波器參數。例如，可在從編碼器接收的如視訊位元流的位元流中對濾波器參數進行編碼。經訓練的濾波器可應用在邊緣像素上，例如，以產生經改善的視訊位元流。
第9圖是示出升取樣後的圖像和原始圖像間的誤差映射的圖。例如，第9圖可示出升取樣後的圖像和原始圖像間的誤差是如何分佈的。圖像910和915可為原始圖像。圖像920和925可以是原始圖像和升取樣後的圖像間對應的誤差映射。例如，圖像920可以是圖像910和升取樣後的圖像間對應的誤差映射。在另一個示例中，圖像925可以是圖像915和升取樣後的圖像間對應的誤差映射。在如圖像920和925的誤差映射中，可在928、930、940和942處發現像素誤差。可在926、944和946處發現邊緣位置。在932、934和936處可發現在其中邊緣和誤差並置的位置，大百分比的邊緣位置和錯誤位置可並置。邊緣像素可在頻域具有更多資訊，並且難以用升取樣的方式對其進行恢復。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在將重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊來進行層間預測的可調整視訊編碼。
邊緣導向處理可應用在單層系統和可調整系統中。如此處所述，實施方式可應用於單層視訊編碼系統，例如第1圖和第2圖中所示的，並且可應用於可調整視訊編碼系統，例如第3圖和第4圖中所示。在單層編碼系統中，可應用該操作作為迴路濾波操作的一部分，迴路濾波操作可以是第1圖中的區塊366和第2圖中的區塊266。在這種情況下，第5圖中的可用於訓練濾波器的原始視訊可以是第1圖中的視訊輸入302。當應用於可調整視訊編碼系統時，可將該操作作為第3圖和第4圖中的ILP處理和管理單元的一部分而被應用。在這種情況下，第5圖中的可用於訓練濾波器的原始視訊可以是第3圖中的增強層視訊輸入。在可調整系統中，如基層重建的升取樣的其他處理可被執行並跟在邊緣導向處理之後以進一步改善層間參考圖像。
第10A圖是在其中可以實施一個或多個揭露的實施方式的示例通信系統100的圖。通信系統100可以是向多個無線使用者提供內容（例如，語音、資料、視訊、訊息發送、廣播等）的多重存取系統。通信系統100可以使多個無線使用者能夠經由系統資源（包括無線頻寬）的共享來存取這些內容。例如，通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA），正交FDMA（OFDMA），單載波FMDA（SC-FDMA）等。
如第10A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、及/或102d（其通常或整體上被稱為WTRU 102），無線電存取網路（RAN）103/104/105，核心網路106/107/109，公共交換電話網路（PSTN）108、網際網路110和其他網路112。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是被配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號、並可以包括使用者設備（UE）、行動站、固定或者行動用戶單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費電子產品等等。
通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是被配置為與WTRU 102a、102b、102c、102d中的至少一個無線對接以便於存取一個或者多個通信網路（例如，核心網路106/107/109、網際網路110及/或網路112）的任何類型的裝置。作為示例，基地台114a、114b可以是基地收發台（BTS）、節點B、e節點B、家用節點B、家用e節點B、網站控制器、存取點（AP）、無線路由器等等。雖然基地台114a、114b的每一個被描述為單一元件，但是應該理解的是，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等。基地台114a及/或基地台114b可以被配置為在特定地理區域內傳送及/或接收無線信號，該區域可以被稱為胞元（未顯示）。胞元還可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在另一種實施方式中，基地台114a可以使用多輸入多輸出（MIMO）技術，因此可以將多個收發器用於胞元的每一個扇區。
基地台114a、114b可以經由空中介面115/116/117以與WTRU 102a、102b、102c、102d中的一個或者多個進行通信，該空中介面115/116/117可以是任何合適的無線通訊鏈路（例如，射頻（RF）、微波、紅外（IR）、紫外（UV）、可見光等）。可以使用任何合適的無線電存取技術（RAT）來建立空中介面115/116/117。
更具體地，如上所述，通信系統100可以是多重存取系統、並可以使用一種或者多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施例如通用行動電信系統（UMTS）陸地無線電存取（UTRA）的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）的通信協定。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。
在另一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如演進型UMTS陸地無線電存取（E-UTRA）的無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面115/116/117。
在其他實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如IEEE802.16（即，全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000（IS-2000）、暫行標準95（IS-95）、暫行標準856（IS-856）、全球行動通信系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等等的無線電技術。
第10A圖中的基地台114b可以是例如無線路由器、家用節點B、家用e節點B或者存取點、並且可以使用任何適當的RAT以便於例如商業場所、住宅、車輛、校園等等的局部區域中的無線連接。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線區域網路（WLAN）。在另一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.15的無線電技術來建立無線個人區域網路（WPAN）。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂窩的RAT（例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等）來建立微微胞元或毫微微胞元。如第10A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106/107/109而存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，所述核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或多個提供語音、資料、應用及/或網際網路協定上的語音（VoIP）服務等的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等、及/或執行高階安全功能，例如用戶認證。雖然第10A圖中未示出，應該理解的是，RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外，核心網路106/107/109還可以與使用GSM無線電技術的另一RAN（未示出）通信。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互連電腦網路和裝置系統，所述協定例如有TCP/IP網際網路協定組中的傳輸控制協定（TCP）、使用者資料包通訊協定（UDP）和網際協定（IP）。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線通訊網路。例如，網路112可以包括連接到一個或多個RAN的另一核心網路，該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第10A圖中示出的WTRU 102c可被配置為與可以使用基於蜂窩的無線電技術的基地台114a通信，以及與可以使用IEEE 802無線電技術的基地台114b通信。
第10B圖是示例WTRU 102的系統圖。如第10B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統（GPS）晶片組136和其他週邊裝置138。應該理解的是，在保持與實施方式一致時，WTRU 102可以包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點（諸如但不限於收發台（BTS）、節點B、網站控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道和代理節點等），可以包括第10B圖所描述的和這裡描述的元件中的一些或所有。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、多個微處理器、與DSP核相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能夠運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，該收發器120可耦合到傳輸/接收元件122。雖然第10B圖描述了處理器118和收發器120是單獨的元件，但是應該理解的是，處理器118和收發器120可以一起被集成在電子封裝或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117將信號傳送到基地台（例如，基地台114a）、或從基地台（例如，基地台114a）接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在另一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的發射器/偵測器。在另一種實施方式中，傳輸/接收元件122可以被配置為傳送和接收RF和光信號兩者。應當理解，傳輸/接收元件122可以被配置為傳送及/或接收無線信號的任何組合。
另外，雖然傳輸/接收元件122在第10B圖中被描述為單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體的，WTRU 102可以使用MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於經由空中介面115/116/117傳送和接收無線信號的兩個或更多個傳輸/接收元件122（例如，多個天線）。
收發器120可以被配置為調變要由傳輸/接收元件122傳送的信號及/或解調由傳輸/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括用於使得WTRU 102能夠經由多個RAT（例如，UTRA和IEEE 802.11）通信的多個收發器。
WTRU 102的處理器118可以耦合到下述裝置、並且可以從下述裝置中接收使用者輸入資料：揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器118還可以輸出使用者資料到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，該記憶體例如是不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或任何其他類型的記憶體儲存裝置。可移式記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。在其他實施方式中，處理器118可以從在實體上沒有位於WTRU 102上（例如，位於伺服器或家用電腦（未示出）上）的記憶體存取資訊、並且可以將資料儲存在該記憶體中。
處理器118可以從電源134接收電力、並且可以被配置為分發及/或控制到WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。
處理器118也可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於WTRU 102的目前位置的位置資訊（例如，經度和緯度）。作為來自GPS晶片組136的資訊的補充或作為其替代，WTRU 102可以經由空中介面115/116/117從基地台（例如，基地台114a、114b）接收位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的時序來確定其位置。應當理解，在保持實施方式的一致性時，WTRU 102可以用任何適當的位置確定方法來獲得位置資訊。
處理器118也可以耦合到其他週邊裝置138，該週邊裝置138可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊裝置138可以包括加速計、電子羅盤、衛星收發器、數位相機（用於照片或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器等等。
第10C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述，RAN 103可使用UTRA無線電技術以經由空中介面115來與WTRU 102a、102b、102c通信。RAN 103還可以與核心網路106通信。如第10C圖所示，RAN 103可以包括節點B 140a、140b、140c，該節點B 140a、140b、140c的每一個可以包括一個或多個用於經由空中介面115以與WTRU 102a、102b、102c通信的收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元（未顯示）關聯。RAN 103還可以包括RNC 142a、142b。應當理解的是，在保持實施方式的一致性時，RAN 103可以包括任何數量的節點B和RNC。
如第10C圖所示，節點B 140a、140b可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面與各自的RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置為控制與其連接的各自的節點B 140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置為執行或支援其他功能，例如外環功率控制、負載控制、准入控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第10C圖中所示的核心網路106可以包括媒體閘道（MGW）144、行動交換中心（MSC）146、服務GPRS支援節點（SGSN）148、及/或閘道GPRS支援節點（GGSN）150。儘管前述元件的每一個被描述為核心網路106的一部分，應當理解的是，這些元件中的任一個可以被核心網路操作者以外的實體擁有及/或操作。
RAN 103中的RNC 142a可以經由IuCS介面連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到電路切換式網路（例如，PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。
RAN 103中的RNC 142a還可以經由IuPS介面連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路（例如，網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
如上所述，核心網106也可以連接至網路112，該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第10D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述，RAN 104可使用E-UTRA無線電技術以經由空中介面116來與WTRU 102a、102b、102c通信。RAN 104也可以與核心網路107通信。
RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，在保持與各種實施方式的一致性的同時，RAN 104可以包括任何數量的e節點B。e節點B 160a、160b、160c的每一個可包括一個或多個用於經由空中介面116以與WTRU 102a、102b、102c通信的收發器。在一種實施方式中，e節點B 160a、160b、160c可以實施MIMO技術。因此，e節點B 160a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從該WTRU 102a接收無線信號。
e節點B 160a、160b、160c的每一個可以與特定胞元關聯（未顯示），並可以被配置為處理無線電資源管理決策、切換決策、在上鏈及/或下鏈中的用戶排程等等。如第10D圖所示，e節點B 160a、160b、160c可以經由X2介面相互通信。
第10D圖中所示的核心網路107可以包括移動性管理閘道（MME）162、服務閘道164和封包資料網路（PDN）閘道166。雖然前述元件的每一個被描述為核心網路107的一部分，應當理解的是，這些元件中的任一個可以由了核心網路操作者之外的實體擁有及/或操作。
MME 162可以經由S1介面而連接到RAN 104中的e節點B 160a、160b、160c的每一個、並可以作為控制節點。例如，MME 162可以負責認證WTRU 102a、102b、102c的用戶、承載啟動/停用、在WTRU 102a、102b、102c的初始連結期間選擇特定服務閘道等等。MME 162還可以提供控制平面功能，以用於在RAN 104與使用例如GSM或者WCDMA的其他無線電技術的其他RAN（未顯示）之間切換。
服務閘道164可以經由S1介面連接到RAN 104中的e節點B 160a、160b、160c的每一個。服務閘道164通常可以路由和轉發使用者資料封包至WTRU 102a、102b、102c/路由和轉發來自WTRU 102a、102b、102c的使用者資料封包。服務閘道164還可以執行其他功能，例如在e節點B間切換期間錨定用戶平面、當下鏈資料對於WTRU 102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。
服務閘道164還可以連接到PDN閘道166，該PDN閘道166可以向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到例如PSTN 108的電路切換式網路的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如，核心網路107可以包括IP閘道（例如，IP多媒體子系統（IMS）伺服器），或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供者擁有及/或操作的其他有線或無線網路。
第10E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術經由空中介面117以與WTRU 102a、102b、102c進行通信的存取服務網路（ASN）。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的通信鏈路可以被定義為參考點。
如第10E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，在保持與實施方式的一致性的同時，RAN 105可以包括任何數量的基地台和ASN閘道。基地台180a、180b、180c的每一個可以與RAN 105中特定胞元（未示出）關聯、並可以包括一個或多個用於經由空中介面117以與WTRU 102a、102b、102c通信的收發器。在一個實施方式中，基地台180a、180b、180c可以實施MIMO技術。因此，基地台180a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從其接收無線信號。基地台180a、180b、180c還可以提供移動性管理功能，例如切換（handoff）觸發、隧道建立、無線電資源管理、訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚合點、並且可以負責傳呼、用戶設定檔（profile）的快取、到核心網路109的路由等等。
WTRU 102a、102b、102c與RAN 105之間的空中介面117可以被定義為實施IEEE 802.16規範的R1參考點。另外，WTRU 102a、102b、102c的每一個可以與核心網路109建立邏輯介面（未顯示）。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機（host）配置管理及/或移動性管理。
基地台180a、180b、180c的每一個之間的通信鏈路可以被定義為包括便於WTRU切換和基地台間資料轉移的協定的R8參考點。基地台180a、180b、180c與ASN閘道182之間的通信鏈路可以被定義為R6參考點。R6參考點可以包括用於便於基於與WTRU 102a、102b、102c的每一個關聯的移動性事件的移動性管理的協定。
如第10E圖所示，RAN 105可以連接至核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為包括例如便於資料轉移和移動性管理能力的協定的R3參考點。核心網路109可以包括行動IP本地代理（MIP-HA）184，認證、授權、記帳（AAA）伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的一部分，應當理解的是，這些元件中的任一個可以由核心網路操作者以外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理、並可以使得WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供對封包交換網路（例如，網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。AAA伺服器186可以負責使用者認證和支援使用者服務。閘道188可便於與其他網路互通。例如，閘道188可以向WTRU 102a、102b、102c提供對電路切換式網路（例如，PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。此外，閘道188可以向WTRU 102a、102b、102c提供對網路112的存取，該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
儘管未在圖10E中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105與其他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 105與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括便於本地核心網路與被訪問核心網路之間的互通的協定。
雖然以上以特定的組合描述了特徵和元素，但是每個特徵或元素可以單獨或與其他的特徵和元件以任何組合方式使用。此外，這裡描述的方法可以用電腦程式、軟體或韌體實現，其可包含到由電腦或處理器執行的電腦可讀媒體中。電腦可讀媒體的示例包括電子信號（經由有線或無線連接傳送）和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括，但不限於，唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶體裝置、例如內部硬碟和可移式磁片的磁性媒體，磁光媒體和例如光碟（CD-ROM）或數位多功能光碟（DVD）的光學媒體。與軟體關聯的處理器可用於實現用在WTRU、UE、終端、基地台、RNC或任何主機電腦中的射頻收發器。
此處揭露的是用於邊緣導向處理的方法和裝置，該邊緣導向處理可用於視訊編碼。此處的方法和裝置可以處理視訊（例如，重建視訊）中富於紋理及/或邊緣的區域。可以是紋理的一部分的像素可以是邊緣像素。例如，可進行該操作以在這些區域用作參考時改善預測的準確性。
如此處所揭露的，邊緣導向處理可應用於重建視訊中的區域。例如，富於紋理及/或邊緣的區域可能由於量化過程而遭受細節的損失，量化過程可去除及/或減少高頻資訊。當這些區域在例如空間預測、時間預測或層間預測的預測中被用作參考時，產生的預測殘差可能具有較高的能量並且可能很難壓縮。
此處所揭露的方法和裝置可以恢復在量化期間可能丟失的高頻資訊、可以恢復在量化期間很可能發生這樣的資訊損失的區域中的高頻資訊、並且可以保持低的邊緣導向處理的計算複雜度。此處所揭露的方法和裝置可以適用於用於視訊編碼中的多種預測類型，例如空間預測、時間預測和層間預測等。此處所揭露的方法和裝置可以適用於在其中可以應用空間預測和時間預測的單層視訊編碼以及在其中使用來自一個或多個較低層的重建視訊訊號進行層間預測的可調整視訊編碼等等。
方法和裝置可用於視訊編碼的邊緣導向處理。該裝置可包括可被配置為執行多個動作的處理器。可以在影像中偵測邊緣像素。可以細化（refine）邊緣像素。可以將邊緣像素分類到邊緣像素類。可以使用視訊來訓練用於邊緣像素類的濾波器，該視訊可以是原始視訊。經訓練的濾波器可應用於邊緣像素。
方法和裝置可用於視訊編碼的邊緣導向處理。該裝置可包括可配置為執行多個動作的處理器。可以在影像中偵測邊緣像素。可以細化邊緣像素。可以將邊緣像素分類到邊緣像素類。可以接收用於邊緣像素類的濾波器。經訓練的濾波器可應用於邊緣像素。
方法或裝置可用於細化邊緣像素和訓練濾波器。該裝置可包括可配置為執行多個動作的處理器。可以根據邊緣梯度（gradient）值來細化邊緣像素，例如，藉由丟棄其梯度值小於臨界值的邊緣像素。可以確定區域中的像素密度。當邊緣的密度可能小於密度臨界值時，可以丟棄該密度的邊緣。可以訓練濾波器。
方法或裝置可用於對邊緣像素進行分類並訓練濾波器。該裝置可包括可被配置為執行多個動作的處理器。可以根據邊緣方向和邊緣像素的特性將邊緣像素分類為一個或多個類別。該邊緣像素的特性可以是邊緣像素的法線方向的二階導數。可以訓練用於該一個或多個類別中的類別的濾波器。該一個或多個類別中的該類別可以是組合分類類別。可以在濾波器和該組合分類類別之間產生映射。可以傳送該映射。
可以提供用於邊緣導向處理的方法和裝置，該邊緣導向處理可以用於視訊編碼。該裝置可包括可被配置為執行多個動作的處理器。可以偵測可以是影像區域中的邊緣或紋理的一部分的像素。可使用該像素特性將該像素分類到邊緣像素類。可使用該像素特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像區域中的細節損失。濾波器可被應用於像素。
可以提供用於邊緣導向處理的方法和裝置，該邊緣導向處理可以用於視訊編碼。該裝置可包括可被配置為執行多個動作的處理器。可以偵測可以是影像區域中的邊緣或紋理的一部分的像素。可以確定像素的邊緣方向上的邊緣強度。當像素的邊緣強度大於臨界值時，可確定該像素屬於邊緣。
可以使用像素的特性將像素分類到邊緣像素類。例如，可確定用於像素的邊緣方向。可確定用於像素的法線值（normal value）。法線值可表明與邊緣方向垂直的二階導數的值。可使用法線值和邊緣方向將像素分類到邊緣像素類。如另一示例，可確定用於表明像素在第一邊緣方向上的邊緣強度的梯度值Gx。可確定用於表明像素在第二邊緣方向上的邊緣強度的梯度值Gy。可確定邊緣方向，其中邊緣方向等於：
如另一示例，可使用來確定像素的二階導數，其中sd是二階導數。可確定邊緣方向。可使用二階導數和邊緣方向將該像素分類到邊緣像素類。
可使用像素特性來確定用於邊緣像素類的濾波器。例如，可進行該操作以防止在視訊編碼期間在影像區域中的細節損失。可確定用於濾波器的參數。例如，可確定可以最佳化用於邊緣像素類的濾波器的參數。如另一示例，可藉由執行回歸分析來確定濾波器的參數，以在該濾波器被應用於像素時最小化在影像的區域中產生的誤差。如另一示例，可用以下方式來確定用於濾波器的參數：使用濾波器來產生第二影像、比較第二影像和該影像、確定像素類的誤差以及確定最小化像素類的誤差的濾波器的參數。如另一示例，可確定用於濾波器的參數以增強可能在視訊編碼期間丟失的高頻資訊。可將該參數發送給解碼器。該濾波器可應用於像素。
由於對智慧手機和平板電腦的需求增長，例如視訊聊天、行動視訊錄製和分享、視訊流等的視訊應用可以在異質環境中使用視訊傳輸。這些場景可被稱為3螢幕或N螢幕場景。3螢幕場景或N螢幕場景可考慮例如個人電腦、智慧手機、平板電腦和電視等的多個消費裝置。在N螢幕場景中，可提供在計算能力、記憶體/儲存空間大小、顯示解析度和顯示畫面播放速率等方面具有大範圍不同能力的裝置上的視訊消費。用在N螢幕場景中的網路和傳輸通道可能具有在封包丟失率、可用通道頻寬、叢發誤差率等方面大範圍不同的特性並且可被提供。
可以經由有線網路和無線網路的組合來傳送視訊資料。可調整視訊編碼可以改善在異質網路上的具有不同能力的裝置上運行的視訊應用的體驗品質。可調整視訊編碼可以用例如時間解析度、空間解析度、品質等的高表示對信號進行編碼。雖然可調整視訊編碼可以用高表示編碼，但是可調整視訊編碼可根據運行在裝置上的應用所採用的速率和表示從視訊流的子集解碼。例如，可以用高表示對視訊進行編碼，但運行在智慧手機上的應用可能以低表示對該視訊進行解碼。例如，可進行該操作以節省頻寬和儲存。可調整視訊編碼可以與MPEC-2視訊、H.263、MPEG4 Visual、H.264和HEVC等一起使用。
視訊編碼系統可用來壓縮數位視訊信號以降低此類信號的儲存及/或傳輸頻寬。有多種類型的視訊編碼系統，例如基於區塊、基於小波、基於物件的系統、基於區塊的混合視訊編碼系統等。基於區塊的視訊編碼系統的示例可包括例如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC和VC-1標準的國際視訊編碼標準。
第1圖是示出基於區塊的混合視訊編碼器的示例的圖。可逐區塊地處理輸入視訊訊號302。輸入視訊訊號302的視訊區塊單元可以是16x16像素。視訊區塊單元可稱為巨集區塊或MB。在高效視訊編碼（HEVC）中，可以使用擴展的區塊尺寸來壓縮高解析度的視訊訊號，例如可以是1080p或更大的視訊訊號。擴展的區塊尺寸可稱為編碼單元或CU。在HEVC中，CU可以高達64x64像素。CU可被分割為預測單元（PU）並且可將預測實施應用於預測單元。例如，對於輸入視訊區塊（例如，MB或CU），可執行空間預測360及/或時間預測362。
在空間預測360，可以從同一視訊圖像/切片（slice）中編碼後的相鄰區塊預測視訊區塊。空間預測可稱為內預測。空間預測可降低視訊訊號中固有的空間冗餘。在時間預測362，來自已被編碼的視訊圖像的像素可用於預測視訊區塊。時間預測可稱為間預測或移動補償預測。時間預測可降低視訊訊號中固有的時間冗餘。視訊區塊的時間預測信號可以包括一個或多個移動向量。如果使用多個參考圖像，視訊區塊的時間預測信號可包括一個或多個參考圖像索引。移動向量及/或參考圖像索引可用於識別參考圖像儲存器364中的參考圖像。
在空間預測及/或時間預測之後，模式決策380可例如基於率失真的最佳化來實現選擇預測模式。在316，可以從視訊區塊中減去預測區塊。預測殘差可在轉換304被轉換並且可在量化306被量化。量化後的殘差係數可在逆量化310被逆量化並且可在逆轉換312被逆轉換。例如，可進行該操作以形成可在326被加到預測區塊的重建殘差，來形成重建視訊區塊。在迴路濾波器366，例如去塊濾波、適應性迴路濾波等的濾波可被應用在重建視訊區塊上。例如，這可以在重建區塊被存入參考圖像儲存器364並用於對後來的視訊區塊進行編碼之前被執行。為形成可以是輸出視訊位元流的位元流320，可將編碼模式（間或內）、預測模式資訊、移動資訊及/或量化殘差係數發送給熵編碼單元308並且可由熵編碼單元308進行壓縮和縮緊以形成位元流320。
如第1圖所示，在編碼期間，基層區塊的預測殘差可在304被轉換並且在306被量化。量化可導致資訊損失。此種資訊損失可導致富於邊緣及/或紋理的區域中的重建視訊中的細節的損失。這種情況可在量化參數（QP）可被設定為高時發生。例如，量化的等級可能被設定為高。當此種重建視訊可用作參考以對後來的視訊訊號進行預測時，可作為加法器316的輸出所產生的預測殘差模式可能具有高能量並且可能變得很難壓縮。為改善對量化引起的資訊損失敏感的這些區域的預測準確度，可對邊緣/紋理豐富的區域周圍的重建視訊執行附加的處理。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼、並且可用於在其中使用來自一個或多個較低層的重建視訊訊號應用層間預測的可調整視訊編碼。
第2圖是示出基於區塊的視訊解碼器的示例圖。第2圖中的基於區塊的視訊解碼器可對應於第1圖中的基於區塊的編碼器。在熵解碼208，可對可以是視訊位元流的位元流202進行未緊縮和熵解碼。可將編碼模式和預測資訊發送給空間預測260（例如，如果被內編碼）或時間預測262（例如，如果被間編碼）以形成預測區塊。可將殘差轉換係數發送給逆量化210和逆轉換212以重建殘差區塊。在226，可將預測區塊和殘差區塊加在一起以形成重建區塊。在重建區塊被儲存至參考圖像儲存器264前，重建區塊可經過迴路內濾波，這可發生在迴路濾波器226。可發送參考圖像儲存器中的重建視訊220以驅動顯示裝置及/或用來預測後來的視訊區塊。
第3圖是示出可調整視訊編碼器的示例圖。在第3圖中，可示出具有基層和增強層的兩層可調整編碼系統。兩層間的空間解析度是不同的。例如，可應用空間可調整性。在降取樣400對增強層視訊輸入進行降取樣以產生基層視訊輸入。
基層編碼器412可逐區塊地對基層視訊輸入進行編碼並且可產生基層位元流。基層編碼器402可產生可被發送到MUX 408的基層位元流。基層編碼器412可以是HEVC編碼器。基層編碼器412可以是第1圖所描述的編碼器。
再次參考第3圖，增強層編碼器402可逐區塊地對增強層視訊輸入進行編碼並且可產生增強層位元流。增強層編碼器402可產生可被發送到MUX 408的增強層位元流。增強層編碼器401可以是HEVC編碼器。增強層編碼器402可以是第1圖所描述的編碼器。
再次參考第3圖，為改善可調整系統的編碼效率，當在增強層編碼器402對增強層視訊進行編碼時，基層重建視訊中的信號相關性可用於改善其預測準確度。例如，如第3圖所示，可以在層間預測處理406處理基層重建視訊。處理後的基層圖像中的一者或多者可被插入增強層解碼圖像緩衝器（DPB）404中並且可用於預測增強層視訊輸入。基層視訊和增強層視訊可以是用不同空間解析度表示的相同的視訊源。經由在降取樣400發生的降取樣過程，該基層視訊和該增強層視訊可相互對應。
層間預測（ILP）處理可由層間處理和管理406來執行。例如，升取樣操作可用於對基層重建的空間解析度和增強層視訊的空間解析度進行對準。ILP處理和管理可接收來自BL DPB 410的基層圖像、來自基層編碼器412的基層視訊資訊及/或來自增強層編碼器412的增強層視訊資訊。ILP處理和管理406可處理由基層編碼器產生的基層位元流和增強層編碼器產生的增強層位元流。
ILP處理和管理406可產生層間預測資訊。例如，ILP資訊可包括所應用的層間處理的類型、可以在處理中使用的參數、可被使用的升取樣濾波器、可被插入到增強層DPB 404中的一個或多個處理後的基層圖像等。MUX 402可將基層位元流、增強層位元流和ILP資訊一起多工以形成位元流。該位元流可以是S-HEVC。
在編碼期間，可對基層區塊的預測殘差進行轉換和量化。量化可能引起資訊損失。此種資訊損失可導致富於邊緣及/或紋理的區域中的重建視訊中的細節損失。這可以在量化參數（QP）可被設定為高（即，量化的等級可能被設定為高）時發生。當所述的重建視訊可用作參考以對後來的視訊訊號進行預測時，所產生的預測殘差模式可能具有高能量並且可能變得很難壓縮。為改善對量化引起的資訊損失敏感的這些區域的預測準確度，可對邊緣/紋理豐富的區域周圍的重建視訊執行附加的處理。
處理邊緣和紋理豐富的區域中的重建視訊訊號也可用以改善可調整視訊編碼系統的編碼效率。在第3圖中，基層視訊和增強層視訊可能是相同的視訊源而用不同的空間解析度來表示；例如，經由降取樣過程，該基層視訊和該增強層視訊可相互對應。第3圖中可由層間處理和管理單元執行ILP處理，其可執行升取樣操作，該升取樣操作可用於對基層重建的空間解析度和增強層視訊的空間解析度進行對準。升取樣濾波器可具有低通濾波器的特性、並且可將進一步的模糊（該模糊是除了由於基層視訊編碼期間的量化引入的細節損失之外的）引入升取樣後的基層圖像。改善層間參考圖像中邊緣豐富的區域周圍的信號品質可改善可調整視訊編碼系統中的層間預測。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊訊號來應用層間預測的可調整視訊編碼。
第4圖是示出2層可調整視訊解碼器的示例圖。第4圖中的2層可調整視訊解碼器可對應於第3圖中的可調整編碼器。解碼器可執行與編碼器相反的操作。DEMUX 502可將可調整位元流解多工為基礎位元流、增強層位元流和ILP資訊。基層解碼器506可解碼基層位元流。基層解碼器506可產生基層重建。
增強層解碼器504可解碼例如具有時間參考圖像和層間參考圖像（例如，處理後的基層圖像）的組合的增強層位元流以重建增強層視訊。如此處所使用的術語“層間參考圖像”和“處理後的基層圖像”可互換使用。
ILP處理和管理508可接收ILP資訊。ILP處理和管理508可處理基層重建。這可以例如根據接收到的ILP資訊來執行。ILP處理和管理508可有選擇地將來自基層DPB的處理後的基層圖像中的一者或多者插入增強層DPB 512中。這可以例如根據接收到的ILP資訊來執行。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以當重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊訊號來應用層間預測的可調整視訊編碼。
第5圖是示出編碼器中發生的邊緣導向處理的圖。如第5圖所示，在602，可執行邊緣偵測。可接收重建視訊。可對重建視訊應用邊緣偵測以偵測可表示邊緣及/或有紋理的區域的像素的位置。例如，可進行該操作以恢復在視訊重建中的高頻資訊的損失。可使用例如坎尼(Canny)邊緣偵測演算法等的邊緣偵測演算法。邊緣偵測演算法可輸出例如二進位映射的邊緣映射，該邊緣映射可表明哪些像素可以是邊緣像素。對於邊緣像素pel，邊緣偵測演算法可以輸出一對梯度值Gx(pel)和Gy(pel)，Gx(pel)和Gy(pel)可表明兩個方向上的邊緣強度、並且可輸出角度
該角度可以表明邊緣的方向。
在604，可執行邊緣細化。邊緣細化可細化一組邊緣像素。邊緣細化可用於控制可以被處理的邊緣像素的數目，這可能對應於計算複雜度。可基於邊緣梯度的值來細化邊緣像素。例如，如果其值小於臨界值則可丟棄該邊緣像素。
如梯度值Gx(pel)和Gy(pel)的梯度值可用於去除弱邊緣。例如，這可以藉由比較該梯度值和臨界值來被執行。例如，當下面的條件可為真時，可以從一組邊緣像素中去除像素pel：
可用於邊緣細化的參數可被發送給解碼器。舉例來說，例如Gx(pel)和Gy(pel)的梯度值、臨界值等可被發送給解碼器。例如，可進行該操作以使解碼器在解碼期間細化邊緣像素。在612，可藉由在如視訊位元流的位元流中對參數進行編碼來將可用於邊緣細化的參數發送給解碼器。
在606，可執行邊緣分類。分類可應用於如由邊緣細化所輸出的邊緣像素的邊緣像素。不同的分類方法可應用於具有不同特性的圖像/區域。可應用分類以將邊緣像素分成共享相似的特性的邊緣像素的子集。
邊緣分類可對具有相似的邊緣方向的邊緣像素進行分類。例如，可以將邊緣像素和具有相似的值的其他邊緣像素進行分類，其中θ是像素pel所屬的邊緣的方向角度。
第6圖是示出基於邊緣方向的邊緣分類的圖。第6圖中示出的八個方向可用於將邊緣分為八個方向組。例如，邊緣可被分類到邊緣分類620、625、630、635、640、645、650或655中。為了對邊緣進行分類，可比較該邊緣和邊緣分類並可選擇更緊密地匹配邊緣的邊緣分類。例如，與邊緣分類625緊密匹配的邊緣可被分類到邊緣分類625。
再次參考第5圖，可將邊緣像素和沿著法線方向（例如，垂直於邊緣方向）具有相似的二階導數的邊緣像素進行分組或分類。例如，可計算邊緣像素的沿著如的法線方向的二階導數。如果邊緣像素具有負的二階導數，則可將該像素分類到第一組。例如，當在法線方向的像素亮度值增大然後減小時，可能發生這種情況。如果邊緣具有正的二階導數，則可將該邊緣像素分類到第二組。例如，當沿著法線方向的像素亮度值減小然後增大時，可能發生這種情況。
邊緣分類可使用多種邊緣分類方法的組合。例如，可組合邊緣方向和法線方向的二階導數來將邊緣像素分類到多個組，例如16個組。這可將邊緣像素和可能具有相同特性的其他邊緣像素分組在一起。對分組在一起的像素可以用相似的方式進行處理。
在608，可訓練用於邊緣像素類的濾波器。可接收可以是原始視訊位元流的位元流。可確定用於邊緣類的濾波器。可將濾波器應用於邊緣類以產生可與原始視訊位元流相比較的輸出。在對輸出和原始視訊位元流的比較中，可確定誤差容限（margin）並且可確定用於濾波器的參數以最小化該誤差容限。參數可最佳化濾波器，所以可減小誤差。可將濾波器參數發送給解碼器。例如，可在可被發送給解碼器的如視訊位元流的位元流中對濾波器參數進行編碼。
可藉由確定與邊緣類的特性最匹配的濾波器類型來確定用於邊緣類的濾波器。例如，可確定邊緣類可能具有細節損失。可選擇線性濾波器並可將其應用在邊緣類的邊緣像素上以增強丟失細節。
為了訓練濾波器係數或濾波器(例如，線性濾波器)的參數可執行誤差分析。例如，可應用最小平方法或高斯-牛頓回歸法以最小化濾波器的輸出和位元流間的誤差的L2範數（norm），該位元流可以是原始視訊位元流。
可選擇及/或訓練如高通濾波器的濾波器，因為這些濾波器可增強在量化期間丟失的高頻資訊。為了改善濾波器的穩定性並降低計算複雜度，線性濾波器可具有一個參數，該參數可以是附加濾波器偏移。該附加濾波器偏移可以與採樣適應性偏移（SAO）相似，其可以在HEVC中被支援。如此處所述，濾波器可降低濾波器係數的傳訊成本。
在610，經訓練的濾波器可應用於邊緣像素。例如，經訓練的濾波器可應用於邊緣像素以產生經改善的視訊位元流。
當已獲取對於每個類C的如線性濾波器參數的濾波器參數時，可使用下面的等式對邊緣像素中的每一者進行濾波，其中所述的邊緣像素可以用來表示：
其中可為用於每個類C的經訓練的濾波器，可以是濾波操作中包括的pel的相鄰像素可以是濾波器和相鄰像素間的濾波操作，是針對類C的附加濾波器偏移，和可為邊緣導向濾波之前和之後的像素值。如果使用具有附加濾波器偏移的濾波器，則可將等式（2）簡化為下面的等式：
在612，可將濾波器參數發送給解碼器。如第5圖所示，可在編碼器側得到濾波器參數並且將其作為位元流的一部分用信號發送給解碼器。例如，可進行該操作，使得可應用相同的濾波器以使編碼器和解碼器保持同步。濾波器參數的傳訊可引起負荷，該負荷可能取決於多個因素，例如邊緣像素類的數目，類中的濾波器的濾波器分接頭（tap）長度等。此處的揭露是可用以降低傳訊負荷的方法和裝置。
因為不同的濾波器可應用於不同的類，所以類的數目可影響傳訊負荷的量。例如，可將邊緣像素分為許多個類，而這可增加用於濾波器係數的傳訊成本，並且隨著類中訓練像素的數目的減小，可能導致潛在地不穩定的經訓練的濾波器。
可以基於邊緣方向和基於法線方向的二階導數進行邊緣分類。類的數目可影響傳訊的量。例如，當有8個邊緣方向和2種二階導數的符號（例如，正或負）時，則可得到16個濾波器並將其用信號發出。
也可應用其他的分類方法。例如，可使用邊緣方向的縮減的數目。在另一個示例中，濾波器的數目可取決於沿著法線方向的二階導數，而不取決於邊緣方向。這可將用信號發送的濾波器的數目減小為2。可計算邊緣方向，但該邊緣方向可用以確定邊緣的法線方向由此可以計算沿著法線方向的二階導數。
下面的虛擬碼可用來用信號發送濾波器的集合並且可用以給邊緣像素類分配濾波器。可用信號發送濾波器的集合，濾波器的集合可以是總數num_of_filters。對於一個邊緣類，可用信號發送filter_idx(filter_idx在0到num_of_filters-1間取值，閉區間)以表明哪個濾波器被分配給該邊緣類。
如濾波器分接頭長度和其係數精度的濾波器特性可影響傳訊負荷。如此處所述，在num_of_filters的集合中，可簡化濾波器中的一者或多者以包括附加偏移。可用信號發送每個濾波器的一個係數。濾波器中的一者或多者可具有更短的分接頭長度。例如，對於具有邊緣方向的邊緣，可應用在法線方向上的一維濾波器。示例在第7圖中示出。
第7圖是示出1維濾波器的示例圖。如第7圖所示，在702，邊緣像素pel可表示水平邊緣704，例如。為降低濾波器的尺寸，可應用使用垂直方向上的相鄰像素（例如，相鄰像素706）的1維濾波器。
再次參考第5圖，編碼器可基於輸入視訊訊號的特性來決定什麼樣的濾波器可用於類並且決定類的數目。例如，編碼器可基於率失真成本做出該決定，並且可選擇具有低率失真成本的濾波係數和分類的集合。
可提供附加的參數傳訊。邊緣偵測和邊緣細化後所發現的邊緣像素的數目可與邊緣導向處理方法的計算複雜度相關。例如，如果可偵測出更多的像素為邊緣像素，則濾波操作可能被應用在更多的像素上，這可增加計算複雜度。可用在邊緣細化中(例如，等式（1）中的臨界值)的參數可用以控制邊緣像素的數目。不同的臨界值可應用於不同的邊緣類。如612所示，可將這些臨界值作為位元流的一部分用信號發送，或者這些臨界值在編碼器和解碼器處是固定的，且不是信號。可用以用信號發送參數的語法元素可作為切片標頭的一部分用信號發送或者可被置於如適應性參數集（APS）的單獨的NAL單元中。
第8圖是示出解碼器處可發生的邊緣導向處理的圖。如第8圖所示，解碼器可使用邊緣偵測以找到邊緣像素的位置。解碼器可使用邊緣細化並且可使用邊緣分類以將邊緣像素分類到組中。解碼器可以用與本文所述的用於編碼器的類似的方式來使用邊緣偵測、邊緣細化和邊緣分類。解碼器可根據邊緣像素所屬的類以將各自的濾波器應用於該邊緣像素，例如，對於每一個像素，解碼器可應用如等式（2）中的線性濾波或可應用如等式（3）中的具有附加偏移的濾波。
在802，可執行邊緣偵測。可接收重建的視訊。邊緣偵測可應用於重建的視訊以偵測可表示邊緣及/或有紋理的區域的像素的位置。例如，可進行該操作以恢復視訊重建中的高頻資訊的損失。可使用例如Canny邊緣偵測演算法等的邊緣偵測演算法。邊緣偵測演算法可輸出例如二進位映射的邊緣映射，該邊緣映射可表明哪些像素可以是邊緣像素。對於邊緣像素pel，邊緣偵測演算法可輸出可表明兩個方向上的邊緣強度的一對梯度值Gx(pel)和Gy(pel)，並可輸出下面的角度
該角度可表明邊緣的方向。
在804，可執行邊緣細化。邊緣細化可細化一組邊緣像素。邊緣細化可用以控制可以被處理的邊緣像素的數目，該數目與計算複雜度相對應。可根據邊緣梯度的值來細化邊緣像素。例如，當邊緣梯度值小於臨界值時，可丟棄邊緣像素。
例如梯度值Gx(pel)和Gy(pel)的梯度值可用以去除弱邊緣。例如，可藉由比較梯度值和臨界值來進行該處理。可使用如等式（1）的等式。
可從編碼器接收可用於邊緣細化的參數。例如，可從編碼器接收如Gx(pel)和Gy(pel)的梯度值、臨界值等。例如，可進行該處理以允許解碼器在解碼期間細化邊緣像素。可在如視訊位元流的位元流中接收可用於邊緣細化的參數。
在806，可執行邊緣分類。分類可應用於邊緣像素，例如經過邊緣細化所輸出的邊緣像素。不同的分類方法可應用於具有不同特性的圖像/區域。可應用分類以將邊緣像素分為可共享相似特性的邊緣像素的子集。
邊緣分類可對具有相似的邊緣方向的邊緣像素進行分類。例如，可將邊緣像素和其他具有相似值的邊緣像素進行分類，其中θ是像素pel所屬的邊緣的方向角度。
可對邊緣像素和沿著法線方向（例如，垂直於邊緣方向）具有相似的二階導數的邊緣像素進行分組和分類。例如，可計算出邊緣像素的沿著如的法線方向的二階導數。如果邊緣像素具有負的二階導數，則該像素可被分類到第一組。例如，當法線方向的像素亮度值增加然後減小時，可出現這種情況。如果邊緣具有正的二階導數，則該邊緣像素可被分類到第二組。例如，當沿著法線方向的像素亮度值減小然後增加時，可出現這種情況。
邊緣分類可使用多種邊緣分類方法的組合。例如，可組合邊緣方向和法線方向上的二階導數來將邊緣像素分類到多個組，例如16個組。這可使邊緣像素與共享相同特性的其他邊緣像素分組在一起。對分組在一起的像素可以用相似的方式進行處理。
在808，經訓練的濾波器可應用於邊緣像素。可藉由確定可與邊緣類的特性最匹配的濾波器類型來確定用於邊緣類的濾波器。例如，可確定邊緣類具有細節損失。可選擇線性濾波器並將其應用在該邊緣類的邊緣像素上以增強丟失的細節。
濾波器參數可用以訓練用於濾波器類的濾波器。例如，該參數可最佳化濾波器以降低誤差。可從編碼器接收濾波器參數。例如，可在從編碼器接收的如視訊位元流的位元流中對濾波器參數進行編碼。經訓練的濾波器可應用在邊緣像素上，例如，以產生經改善的視訊位元流。
第9圖是示出升取樣後的圖像和原始圖像間的誤差映射的圖。例如，第9圖可示出升取樣後的圖像和原始圖像間的誤差是如何分佈的。圖像910和915可為原始圖像。圖像920和925可以是原始圖像和升取樣後的圖像間對應的誤差映射。例如，圖像920可以是圖像910和升取樣後的圖像間對應的誤差映射。在另一個示例中，圖像925可以是圖像915和升取樣後的圖像間對應的誤差映射。在如圖像920和925的誤差映射中，可在928、930、940和942處發現像素誤差。可在926、944和946處發現邊緣位置。在932、934和936處可發現在其中邊緣和誤差並置的位置，大百分比的邊緣位置和錯誤位置可並置。邊緣像素可在頻域具有更多資訊，並且難以用升取樣的方式對其進行恢復。
邊緣導向處理可應用於重建視訊的區域。例如，可進行該操作以在將重建視訊用作參考以預測後來的視訊訊號時改善預測品質。如此處所述，邊緣導向處理技術可用於在其中應用空間預測和時間預測的單層視訊編碼，並且可用於在其中使用來自一個或多個較低層的重建視訊來進行層間預測的可調整視訊編碼。
邊緣導向處理可應用在單層系統和可調整系統中。如此處所述，實施方式可應用於單層視訊編碼系統，例如第1圖和第2圖中所示的，並且可應用於可調整視訊編碼系統，例如第3圖和第4圖中所示。在單層編碼系統中，可應用該操作作為迴路濾波操作的一部分，迴路濾波操作可以是第1圖中的區塊366和第2圖中的區塊266。在這種情況下，第5圖中的可用於訓練濾波器的原始視訊可以是第1圖中的視訊輸入302。當應用於可調整視訊編碼系統時，可將該操作作為第3圖和第4圖中的ILP處理和管理單元的一部分而被應用。在這種情況下，第5圖中的可用於訓練濾波器的原始視訊可以是第3圖中的增強層視訊輸入。在可調整系統中，如基層重建的升取樣的其他處理可被執行並跟在邊緣導向處理之後以進一步改善層間參考圖像。
第10A圖是在其中可以實施一個或多個揭露的實施方式的示例通信系統100的圖。通信系統100可以是向多個無線使用者提供內容（例如，語音、資料、視訊、訊息發送、廣播等）的多重存取系統。通信系統100可以使多個無線使用者能夠經由系統資源（包括無線頻寬）的共享來存取這些內容。例如，通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA），正交FDMA（OFDMA），單載波FMDA（SC-FDMA）等。
如第10A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、及/或102d（其通常或整體上被稱為WTRU 102），無線電存取網路（RAN）103/104/105，核心網路106/107/109，公共交換電話網路（PSTN）108、網際網路110和其他網路112。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是被配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號、並可以包括使用者設備（UE）、行動站、固定或者行動用戶單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費電子產品等等。
通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是被配置為與WTRU 102a、102b、102c、102d中的至少一個無線對接以便於存取一個或者多個通信網路（例如，核心網路106/107/109、網際網路110及/或網路112）的任何類型的裝置。作為示例，基地台114a、114b可以是基地收發台（BTS）、節點B、e節點B、家用節點B、家用e節點B、網站控制器、存取點（AP）、無線路由器等等。雖然基地台114a、114b的每一個被描述為單一元件，但是應該理解的是，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等。基地台114a及/或基地台114b可以被配置為在特定地理區域內傳送及/或接收無線信號，該區域可以被稱為胞元（未顯示）。胞元還可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在另一種實施方式中，基地台114a可以使用多輸入多輸出（MIMO）技術，因此可以將多個收發器用於胞元的每一個扇區。
基地台114a、114b可以經由空中介面115/116/117以與WTRU 102a、102b、102c、102d中的一個或者多個進行通信，該空中介面115/116/117可以是任何合適的無線通訊鏈路（例如，射頻（RF）、微波、紅外（IR）、紫外（UV）、可見光等）。可以使用任何合適的無線電存取技術（RAT）來建立空中介面115/116/117。
更具體地，如上所述，通信系統100可以是多重存取系統、並可以使用一種或者多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施例如通用行動電信系統（UMTS）陸地無線電存取（UTRA）的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）的通信協定。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。
在另一種實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如演進型UMTS陸地無線電存取（E-UTRA）的無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面115/116/117。
在其他實施方式中，基地台114a和WTRU 102a、102b、102c可以實施例如IEEE802.16（即，全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000（IS-2000）、暫行標準95（IS-95）、暫行標準856（IS-856）、全球行動通信系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等等的無線電技術。
第10A圖中的基地台114b可以是例如無線路由器、家用節點B、家用e節點B或者存取點、並且可以使用任何適當的RAT以便於例如商業場所、住宅、車輛、校園等等的局部區域中的無線連接。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線區域網路（WLAN）。在另一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.15的無線電技術來建立無線個人區域網路（WPAN）。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂窩的RAT（例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等）來建立微微胞元或毫微微胞元。如第10A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106/107/109而存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，所述核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或多個提供語音、資料、應用及/或網際網路協定上的語音（VoIP）服務等的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等、及/或執行高階安全功能，例如用戶認證。雖然第10A圖中未示出，應該理解的是，RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外，核心網路106/107/109還可以與使用GSM無線電技術的另一RAN（未示出）通信。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互連電腦網路和裝置系統，所述協定例如有TCP/IP網際網路協定組中的傳輸控制協定（TCP）、使用者資料包通訊協定（UDP）和網際協定（IP）。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線通訊網路。例如，網路112可以包括連接到一個或多個RAN的另一核心網路，該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第10A圖中示出的WTRU 102c可被配置為與可以使用基於蜂窩的無線電技術的基地台114a通信，以及與可以使用IEEE 802無線電技術的基地台114b通信。
第10B圖是示例WTRU 102的系統圖。如第10B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統（GPS）晶片組136和其他週邊裝置138。應該理解的是，在保持與實施方式一致時，WTRU 102可以包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點（諸如但不限於收發台（BTS）、節點B、網站控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道和代理節點等），可以包括第10B圖所描述的和這裡描述的元件中的一些或所有。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、多個微處理器、與DSP核相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能夠運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，該收發器120可耦合到傳輸/接收元件122。雖然第10B圖描述了處理器118和收發器120是單獨的元件，但是應該理解的是，處理器118和收發器120可以一起被集成在電子封裝或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117將信號傳送到基地台（例如，基地台114a）、或從基地台（例如，基地台114a）接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在另一種實施方式中，傳輸/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的發射器/偵測器。在另一種實施方式中，傳輸/接收元件122可以被配置為傳送和接收RF和光信號兩者。應當理解，傳輸/接收元件122可以被配置為傳送及/或接收無線信號的任何組合。
另外，雖然傳輸/接收元件122在第10B圖中被描述為單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體的，WTRU 102可以使用MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於經由空中介面115/116/117傳送和接收無線信號的兩個或更多個傳輸/接收元件122（例如，多個天線）。
收發器120可以被配置為調變要由傳輸/接收元件122傳送的信號及/或解調由傳輸/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括用於使得WTRU 102能夠經由多個RAT（例如，UTRA和IEEE 802.11）通信的多個收發器。
WTRU 102的處理器118可以耦合到下述裝置、並且可以從下述裝置中接收使用者輸入資料：揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器118還可以輸出使用者資料到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，該記憶體例如是不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或任何其他類型的記憶體儲存裝置。可移式記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。在其他實施方式中，處理器118可以從在實體上沒有位於WTRU 102上（例如，位於伺服器或家用電腦（未示出）上）的記憶體存取資訊、並且可以將資料儲存在該記憶體中。
處理器118可以從電源134接收電力、並且可以被配置為分發及/或控制到WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。
處理器118也可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於WTRU 102的目前位置的位置資訊（例如，經度和緯度）。作為來自GPS晶片組136的資訊的補充或作為其替代，WTRU 102可以經由空中介面115/116/117從基地台（例如，基地台114a、114b）接收位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的時序來確定其位置。應當理解，在保持實施方式的一致性時，WTRU 102可以用任何適當的位置確定方法來獲得位置資訊。
處理器118也可以耦合到其他週邊裝置138，該週邊裝置138可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊裝置138可以包括加速計、電子羅盤、衛星收發器、數位相機（用於照片或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器等等。
第10C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述，RAN 103可使用UTRA無線電技術以經由空中介面115來與WTRU 102a、102b、102c通信。RAN 103還可以與核心網路106通信。如第10C圖所示，RAN 103可以包括節點B 140a、140b、140c，該節點B 140a、140b、140c的每一個可以包括一個或多個用於經由空中介面115以與WTRU 102a、102b、102c通信的收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元（未顯示）關聯。RAN 103還可以包括RNC 142a、142b。應當理解的是，在保持實施方式的一致性時，RAN 103可以包括任何數量的節點B和RNC。
如第10C圖所示，節點B 140a、140b可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面與各自的RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置為控制與其連接的各自的節點B 140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置為執行或支援其他功能，例如外環功率控制、負載控制、准入控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第10C圖中所示的核心網路106可以包括媒體閘道（MGW）144、行動交換中心（MSC）146、服務GPRS支援節點（SGSN）148、及/或閘道GPRS支援節點（GGSN）150。儘管前述元件的每一個被描述為核心網路106的一部分，應當理解的是，這些元件中的任一個可以被核心網路操作者以外的實體擁有及/或操作。
RAN 103中的RNC 142a可以經由IuCS介面連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到電路切換式網路（例如，PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。
RAN 103中的RNC 142a還可以經由IuPS介面連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路（例如，網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
如上所述，核心網106也可以連接至網路112，該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第10D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述，RAN 104可使用E-UTRA無線電技術以經由空中介面116來與WTRU 102a、102b、102c通信。RAN 104也可以與核心網路107通信。
RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，在保持與各種實施方式的一致性的同時，RAN 104可以包括任何數量的e節點B。e節點B 160a、160b、160c的每一個可包括一個或多個用於經由空中介面116以與WTRU 102a、102b、102c通信的收發器。在一種實施方式中，e節點B 160a、160b、160c可以實施MIMO技術。因此，e節點B 160a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從該WTRU 102a接收無線信號。
e節點B 160a、160b、160c的每一個可以與特定胞元關聯（未顯示），並可以被配置為處理無線電資源管理決策、切換決策、在上鏈及/或下鏈中的用戶排程等等。如第10D圖所示，e節點B 160a、160b、160c可以經由X2介面相互通信。
第10D圖中所示的核心網路107可以包括移動性管理閘道（MME）162、服務閘道164和封包資料網路（PDN）閘道166。雖然前述元件的每一個被描述為核心網路107的一部分，應當理解的是，這些元件中的任一個可以由了核心網路操作者之外的實體擁有及/或操作。
MME 162可以經由S1介面而連接到RAN 104中的e節點B 160a、160b、160c的每一個、並可以作為控制節點。例如，MME 162可以負責認證WTRU 102a、102b、102c的用戶、承載啟動/停用、在WTRU 102a、102b、102c的初始連結期間選擇特定服務閘道等等。MME 162還可以提供控制平面功能，以用於在RAN 104與使用例如GSM或者WCDMA的其他無線電技術的其他RAN（未顯示）之間切換。
服務閘道164可以經由S1介面連接到RAN 104中的e節點B 160a、160b、160c的每一個。服務閘道164通常可以路由和轉發使用者資料封包至WTRU 102a、102b、102c/路由和轉發來自WTRU 102a、102b、102c的使用者資料封包。服務閘道164還可以執行其他功能，例如在e節點B間切換期間錨定用戶平面、當下鏈資料對於WTRU 102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。
服務閘道164還可以連接到PDN閘道166，該PDN閘道166可以向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到例如PSTN 108的電路切換式網路的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如，核心網路107可以包括IP閘道（例如，IP多媒體子系統（IMS）伺服器），或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供者擁有及/或操作的其他有線或無線網路。
第10E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術經由空中介面117以與WTRU 102a、102b、102c進行通信的存取服務網路（ASN）。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的通信鏈路可以被定義為參考點。
如第10E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，在保持與實施方式的一致性的同時，RAN 105可以包括任何數量的基地台和ASN閘道。基地台180a、180b、180c的每一個可以與RAN 105中特定胞元（未示出）關聯、並可以包括一個或多個用於經由空中介面117以與WTRU 102a、102b、102c通信的收發器。在一個實施方式中，基地台180a、180b、180c可以實施MIMO技術。因此，基地台180a例如可以使用多個天線來向WTRU 102a傳送無線信號，以及從其接收無線信號。基地台180a、180b、180c還可以提供移動性管理功能，例如切換（handoff）觸發、隧道建立、無線電資源管理、訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚合點、並且可以負責傳呼、用戶設定檔（profile）的快取、到核心網路109的路由等等。
WTRU 102a、102b、102c與RAN 105之間的空中介面117可以被定義為實施IEEE 802.16規範的R1參考點。另外，WTRU 102a、102b、102c的每一個可以與核心網路109建立邏輯介面（未顯示）。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機（host）配置管理及/或移動性管理。
基地台180a、180b、180c的每一個之間的通信鏈路可以被定義為包括便於WTRU切換和基地台間資料轉移的協定的R8參考點。基地台180a、180b、180c與ASN閘道182之間的通信鏈路可以被定義為R6參考點。R6參考點可以包括用於便於基於與WTRU 102a、102b、102c的每一個關聯的移動性事件的移動性管理的協定。
如第10E圖所示，RAN 105可以連接至核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為包括例如便於資料轉移和移動性管理能力的協定的R3參考點。核心網路109可以包括行動IP本地代理（MIP-HA）184，認證、授權、記帳（AAA）伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的一部分，應當理解的是，這些元件中的任一個可以由核心網路操作者以外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理、並可以使得WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供對封包交換網路（例如，網際網路110）的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。AAA伺服器186可以負責使用者認證和支援使用者服務。閘道188可便於與其他網路互通。例如，閘道188可以向WTRU 102a、102b、102c提供對電路切換式網路（例如，PSTN 108）的存取，以便於WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。此外，閘道188可以向WTRU 102a、102b、102c提供對網路112的存取，該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
儘管未在圖10E中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105與其他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 105與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括便於本地核心網路與被訪問核心網路之間的互通的協定。
雖然以上以特定的組合描述了特徵和元素，但是每個特徵或元素可以單獨或與其他的特徵和元件以任何組合方式使用。此外，這裡描述的方法可以用電腦程式、軟體或韌體實現，其可包含到由電腦或處理器執行的電腦可讀媒體中。電腦可讀媒體的示例包括電子信號（經由有線或無線連接傳送）和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括，但不限於，唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶體裝置、例如內部硬碟和可移式磁片的磁性媒體，磁光媒體和例如光碟（CD-ROM）或數位多功能光碟（DVD）的光學媒體。與軟體關聯的處理器可用於實現用在WTRU、UE、終端、基地台、RNC或任何主機電腦中的射頻收發器。
Gx、Gy．．．梯度值
Claims (1)
1、一種裝置，包括：
一處理器，被配置為：
偵測一影像的一區域內的一像素，該像素是一邊緣的一部分；
使用該像素的一特性將該像素分類到一邊緣像素類；
使用該像素的該特性來確定用於該邊緣像素類的一濾波器，其中該濾波器防止在視訊編碼時該影像的該區域的一細節損失；以及
在該像素上應用該濾波器。
2、如申請專利範圍第1項所述的裝置，其中該處理器更配置為：
確定在該像素的一邊緣方向中的一邊緣強度；以及
當該邊緣強度高於一臨界值時，使用該邊緣強度來確定該像素不屬於一弱邊緣。
3、如申請專利範圍第1項所述的裝置，其中該處理器被配置為藉由下列來使用該像素的該特性將該像素分類到該邊緣像素類：
確定該像素的一邊緣方向：
確定該像素的一法線值，該像素的該法線值表明垂直於該邊緣方向的二階導數的一值；以及
使用該法線值和該邊緣方向將該像素分類到該邊緣像素類。
4、如申請專利範圍第1項所述的裝置，其中該處理器被配置為藉由下列來使用該像素的該特性將該像素分類到該邊緣像素類：
確定一梯度值Gx，該梯度值Gx表明該像素的一第一邊緣方向上的一邊緣強度；
確定一梯度值Gy，該梯度值Gy表明該像素的一第二邊緣方向上的一邊緣強度；以及
根據等式來確定一邊緣方向，其中θ是該邊緣方向。
5、如申請專利範圍第4項所述的裝置，其中該處理器更被配置為藉由下列來使用該像素的該特性將該像素分類到一邊緣像素類：
根據等式來確定該像素的二階導數，其中sd是該二階導數；以及
使用該二階導數和該邊緣方向將該像素分類到該邊緣像素類。
6、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為確定該濾波器的一參數以最佳化用於該邊緣像素類的該濾波器。
7、如申請專利範圍第6項所述的裝置，其中該處理器更被配置為發送該濾波器的一參數給一解碼器。
8、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為藉由執行一回歸分析來確定該濾波器的一參數，以在該濾波器應用於該像素時最小化在該影像的該區域內產生一誤差。
9、如申請專利範圍第8項所述的裝置，其中該回歸分析是一最小均方誤差分析。
10、如申請專利範圍第1項所述的裝置，其中該影像是一第一影像並且該處理器更被配置為：
使用用於該邊緣像素類的該濾波器產生一第二影像；
藉由比較該第二影像和該第一影像以確定該邊緣像素類的一誤差；以及
確定該濾波器的一參數，以最小化該邊緣像素類的該誤差。
11、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為確定該濾波器的一參數，以增強在視訊編碼期間能丟失的一高頻資訊。
12、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為接收該濾波器的一參數，以用於最佳化用於該邊緣像素類的該濾波器。
13、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為藉由下列來將該濾波器應用於該像素：
根據等式：
來產生一濾波後的像素，其中是該濾波後的像素，是對於一相鄰像素的一濾波操作，是該邊緣像素類的一偏移。
14、如申請專利範圍第6項所述的裝置，其中該處理器被配置為藉由下列將該濾波器應用於該像素：
藉由將該參數應用於該濾波器以最佳化該濾波器；以及
使用該最佳化後的濾波器來產生一濾波後的像素。
15、一種用於視訊編碼的邊緣導向處理的方法，該方法包括：
偵測一影像的一區域中的一像素，該像素是一邊緣的一部分；
使用該像素的一特性將該像素分類到一邊緣像素類；
使用該像素的該特性來確定用於該邊緣像素類的一濾波器，其中該濾波器防止在視訊編碼時該影像的該區域中的一細節損失；以及
將該濾波器應用於該像素。
16、如申請專利範圍第15項所述的方法，更包括：
確定該像素的該邊緣方向上的一邊緣強度；以及
當該邊緣強度高於一臨界值時，使用該邊緣強度來確定該像素不屬於一弱邊緣。
17、如申請專利範圍第15項所述的方法，其中使用該像素的該特性將該像素分類到該邊緣像素類包括：
確定該像素的一邊緣方向；
確定該像素的一法線值，該像素的該法線值表明垂直於該邊緣方向的二階導數的一值；以及
使用該法線值和該邊緣方向將該像素分類到一邊緣像素類。
18、如申請專利範圍第15項所述的方法，其中使用該像素的該特性將該像素分類到一邊緣像素類包括：
確定一梯度值Gx，該梯度值Gx表明該像素的一第一邊緣方向上的一邊緣強度；
確定梯度值Gy，該梯度值Gy表明該像素的一第二邊緣方向上的一邊緣強度；以及
根據等式：來確定一邊緣方向，其中θ是該邊緣方向。
19、如申請專利範圍第18項所述的方法，其中使用該像素的該特性將該像素分類到邊緣像素類更包括：
根據等式：
來確定該像素的二階導數，其中sd是該二階導數；以及
使用該二階導數和該邊緣方向將該像素分類到該邊緣像素類。
20、如申請專利範圍第15項所述的方法，更包括確定該濾波器的一參數，以最佳化用於該邊緣像素類的該濾波器。
21、如申請專利範圍第20項所述的方法，更包括發送該濾波器的該參數給一解碼器。
22、如申請專利範圍第15項所述的方法，更包括藉由執行一回歸分析來確定該濾波器的一參數，以在該濾波器應用於該像素時最小化在該影像的該區域內產生一誤差。
23、如申請專利範圍第22項所述的方法，其中該回歸分析是一最小均方誤差分析。
24、如申請專利範圍第15項所述的方法，其中該影像是一第一影像並且該方法更包括：
使用用於該邊緣像素類的該濾波器產生一第二影像；
藉由比較該第二影像和該第一影像以確定該邊緣像素類的一誤差；以及
確定該濾波器的一參數，以最小化該邊緣像素類的該誤差。
25、如申請專利範圍第15項所述的方法，更包括確定該濾波器的一參數，以增強在視訊編碼期間能丟失的一高頻資訊。
26、如申請專利範圍第15項所述的方法，更包括接收該濾波器的一參數，以最佳化用於該邊緣像素類的該濾波器。
27、如申請專利範圍第15項所述的方法，其中將該濾波器應用於該像素包括：
根據等式：
來產生一濾波後的像素，其中是該濾波後的像素，是對於一相鄰像素的一濾波操作，是該邊緣像素類的一偏移。
28、如申請專利範圍第20項所述的方法，其中將該濾波器應用於該像素包括：
藉由將該參數應用於該濾波器以最佳化該濾波器；以及
使用該最佳化後的濾波器來產生一濾波後的像素。
一處理器，被配置為：
偵測一影像的一區域內的一像素，該像素是一邊緣的一部分；
使用該像素的一特性將該像素分類到一邊緣像素類；
使用該像素的該特性來確定用於該邊緣像素類的一濾波器，其中該濾波器防止在視訊編碼時該影像的該區域的一細節損失；以及
在該像素上應用該濾波器。
2、如申請專利範圍第1項所述的裝置，其中該處理器更配置為：
確定在該像素的一邊緣方向中的一邊緣強度；以及
當該邊緣強度高於一臨界值時，使用該邊緣強度來確定該像素不屬於一弱邊緣。
3、如申請專利範圍第1項所述的裝置，其中該處理器被配置為藉由下列來使用該像素的該特性將該像素分類到該邊緣像素類：
確定該像素的一邊緣方向：
確定該像素的一法線值，該像素的該法線值表明垂直於該邊緣方向的二階導數的一值；以及
使用該法線值和該邊緣方向將該像素分類到該邊緣像素類。
4、如申請專利範圍第1項所述的裝置，其中該處理器被配置為藉由下列來使用該像素的該特性將該像素分類到該邊緣像素類：
確定一梯度值Gx，該梯度值Gx表明該像素的一第一邊緣方向上的一邊緣強度；
確定一梯度值Gy，該梯度值Gy表明該像素的一第二邊緣方向上的一邊緣強度；以及
根據等式來確定一邊緣方向，其中θ是該邊緣方向。
5、如申請專利範圍第4項所述的裝置，其中該處理器更被配置為藉由下列來使用該像素的該特性將該像素分類到一邊緣像素類：
根據等式來確定該像素的二階導數，其中sd是該二階導數；以及
使用該二階導數和該邊緣方向將該像素分類到該邊緣像素類。
6、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為確定該濾波器的一參數以最佳化用於該邊緣像素類的該濾波器。
7、如申請專利範圍第6項所述的裝置，其中該處理器更被配置為發送該濾波器的一參數給一解碼器。
8、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為藉由執行一回歸分析來確定該濾波器的一參數，以在該濾波器應用於該像素時最小化在該影像的該區域內產生一誤差。
9、如申請專利範圍第8項所述的裝置，其中該回歸分析是一最小均方誤差分析。
10、如申請專利範圍第1項所述的裝置，其中該影像是一第一影像並且該處理器更被配置為：
使用用於該邊緣像素類的該濾波器產生一第二影像；
藉由比較該第二影像和該第一影像以確定該邊緣像素類的一誤差；以及
確定該濾波器的一參數，以最小化該邊緣像素類的該誤差。
11、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為確定該濾波器的一參數，以增強在視訊編碼期間能丟失的一高頻資訊。
12、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為接收該濾波器的一參數，以用於最佳化用於該邊緣像素類的該濾波器。
13、如申請專利範圍第1項所述的裝置，其中該處理器更被配置為藉由下列來將該濾波器應用於該像素：
根據等式：
來產生一濾波後的像素，其中是該濾波後的像素，是對於一相鄰像素的一濾波操作，是該邊緣像素類的一偏移。
14、如申請專利範圍第6項所述的裝置，其中該處理器被配置為藉由下列將該濾波器應用於該像素：
藉由將該參數應用於該濾波器以最佳化該濾波器；以及
使用該最佳化後的濾波器來產生一濾波後的像素。
15、一種用於視訊編碼的邊緣導向處理的方法，該方法包括：
偵測一影像的一區域中的一像素，該像素是一邊緣的一部分；
使用該像素的一特性將該像素分類到一邊緣像素類；
使用該像素的該特性來確定用於該邊緣像素類的一濾波器，其中該濾波器防止在視訊編碼時該影像的該區域中的一細節損失；以及
將該濾波器應用於該像素。
16、如申請專利範圍第15項所述的方法，更包括：
確定該像素的該邊緣方向上的一邊緣強度；以及
當該邊緣強度高於一臨界值時，使用該邊緣強度來確定該像素不屬於一弱邊緣。
17、如申請專利範圍第15項所述的方法，其中使用該像素的該特性將該像素分類到該邊緣像素類包括：
確定該像素的一邊緣方向；
確定該像素的一法線值，該像素的該法線值表明垂直於該邊緣方向的二階導數的一值；以及
使用該法線值和該邊緣方向將該像素分類到一邊緣像素類。
18、如申請專利範圍第15項所述的方法，其中使用該像素的該特性將該像素分類到一邊緣像素類包括：
確定一梯度值Gx，該梯度值Gx表明該像素的一第一邊緣方向上的一邊緣強度；
確定梯度值Gy，該梯度值Gy表明該像素的一第二邊緣方向上的一邊緣強度；以及
根據等式：來確定一邊緣方向，其中θ是該邊緣方向。
19、如申請專利範圍第18項所述的方法，其中使用該像素的該特性將該像素分類到邊緣像素類更包括：
根據等式：
來確定該像素的二階導數，其中sd是該二階導數；以及
使用該二階導數和該邊緣方向將該像素分類到該邊緣像素類。
20、如申請專利範圍第15項所述的方法，更包括確定該濾波器的一參數，以最佳化用於該邊緣像素類的該濾波器。
21、如申請專利範圍第20項所述的方法，更包括發送該濾波器的該參數給一解碼器。
22、如申請專利範圍第15項所述的方法，更包括藉由執行一回歸分析來確定該濾波器的一參數，以在該濾波器應用於該像素時最小化在該影像的該區域內產生一誤差。
23、如申請專利範圍第22項所述的方法，其中該回歸分析是一最小均方誤差分析。
24、如申請專利範圍第15項所述的方法，其中該影像是一第一影像並且該方法更包括：
使用用於該邊緣像素類的該濾波器產生一第二影像；
藉由比較該第二影像和該第一影像以確定該邊緣像素類的一誤差；以及
確定該濾波器的一參數，以最小化該邊緣像素類的該誤差。
25、如申請專利範圍第15項所述的方法，更包括確定該濾波器的一參數，以增強在視訊編碼期間能丟失的一高頻資訊。
26、如申請專利範圍第15項所述的方法，更包括接收該濾波器的一參數，以最佳化用於該邊緣像素類的該濾波器。
27、如申請專利範圍第15項所述的方法，其中將該濾波器應用於該像素包括：
根據等式：
來產生一濾波後的像素，其中是該濾波後的像素，是對於一相鄰像素的一濾波操作，是該邊緣像素類的一偏移。
28、如申請專利範圍第20項所述的方法，其中將該濾波器應用於該像素包括：
藉由將該參數應用於該濾波器以最佳化該濾波器；以及
使用該最佳化後的濾波器來產生一濾波後的像素。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261707477P | 2012-09-28 | 2012-09-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201427426A true TW201427426A (zh) | 2014-07-01 |
Family
ID=49305215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102134963A TW201427426A (zh) | 2012-09-28 | 2013-09-27 | 視訊編碼邊緣導向處理方法及裝置 |
Country Status (2)
| Country | Link |
|---|---|
| TW (1) | TW201427426A (zh) |
| WO (1) | WO2014052602A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107852493A (zh) * | 2015-05-12 | 2018-03-27 | 三星电子株式会社 | 用于样点值补偿的图像编码方法和装置以及用于样点值补偿的图像解码方法和装置 |
| US10499056B2 (en) * | 2016-03-09 | 2019-12-03 | Sony Corporation | System and method for video processing based on quantization parameter |
| KR102592605B1 (ko) | 2018-12-06 | 2023-10-24 | 삼성전자주식회사 | 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치 |
| CN111669587B (zh) * | 2020-04-17 | 2021-07-20 | 北京大学 | 一种视频图像的拟态压缩方法、装置、存储介质及终端 |
| CN113038118B (zh) * | 2020-12-08 | 2023-03-31 | 重庆邮电大学 | 一种基于大数据环境下的视频QoE预测系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7430336B2 (en) * | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
| US7961357B2 (en) * | 2004-12-08 | 2011-06-14 | Electronics And Telecommunications Research Institute | Block artifact phenomenon eliminating device and eliminating method thereof |
| TWI296099B (en) * | 2005-12-15 | 2008-04-21 | Princeton Technology Corp | Method for improving image quality and image processor of operating the same |
| US8380001B2 (en) * | 2009-02-27 | 2013-02-19 | Vixs Systems, Inc. | Edge adaptive deblocking filter and methods for use therewith |
| CN110430428B (zh) * | 2010-06-17 | 2022-02-11 | 夏普株式会社 | 解码装置、编码装置、解码方法以及编码方法 |
| US8787443B2 (en) * | 2010-10-05 | 2014-07-22 | Microsoft Corporation | Content adaptive deblocking during video encoding and decoding |
-
2013
- 2013-09-26 WO PCT/US2013/061936 patent/WO2014052602A1/en active Application Filing
- 2013-09-27 TW TW102134963A patent/TW201427426A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014052602A1 (en) | 2014-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6954763B2 (ja) | マルチレイヤビデオコーディングの適応型アップサンプリング | |
| JP6421224B2 (ja) | マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報 | |
| TWI606716B (zh) | 多層視訊編碼編解碼器架構 | |
| TWI715598B (zh) | 使用交叉平面濾波增強色度編碼的裝置及方法 | |
| TWI745370B (zh) | 運動補償剩餘預測系統及方法 | |
| US10321130B2 (en) | Enhanced deblocking filters for video coding | |
| CN108156463B (zh) | 用于可分级视频编码的运动矢量预测的方法和装置 | |
| TWI652935B (zh) | 視訊編碼方法及裝置 | |
| TW201637448A (zh) | 非4:4:4螢幕內容視訊調色盤編碼 | |
| JP2018160911A (ja) | ビデオ符号化のための成分間相関解除 | |
| JP6397902B2 (ja) | スケーラブルビデオ符号化のためのレイヤ間予測 | |
| JP2018510539A (ja) | パレット符号化モードのためのエスケープカラー符号化 | |
| TW201419867A (zh) | 可調視訊編碼層相依及優先傳訊設計 | |
| TW201427426A (zh) | 視訊編碼邊緣導向處理方法及裝置 | |
| TW201444342A (zh) | 功率感知視訊串流複雜性感知視訊編碼 |