TWI542219B - 頻域取樣自適應偏移（ｓａｏ） - Google Patents

頻域取樣自適應偏移（ｓａｏ） Download PDF

Info

Publication number
TWI542219B
TWI542219B TW102104278A TW102104278A TWI542219B TW I542219 B TWI542219 B TW I542219B TW 102104278 A TW102104278 A TW 102104278A TW 102104278 A TW102104278 A TW 102104278A TW I542219 B TWI542219 B TW I542219B
Authority
TW
Taiwan
Prior art keywords
video
video message
message
frequency range
subset
Prior art date
Application number
TW102104278A
Other languages
English (en)
Other versions
TW201334534A (zh
Inventor
沈八中
偉傑 溫
陳培松
Original Assignee
美國博通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美國博通公司 filed Critical 美國博通公司
Publication of TW201334534A publication Critical patent/TW201334534A/zh
Application granted granted Critical
Publication of TWI542219B publication Critical patent/TWI542219B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

頻域取樣自適應偏移(SAO)
本發明總體涉及數位視頻處理；更具體地，涉及根據該數位視頻處理的處理及操作。
操作用於傳輸數位媒體(例如，圖像、視頻、數據等)的通訊系統已經持續開發了多年。對採用某種形式的視頻數據的通訊系統而言，以一定的訊框速率(例如，每秒訊框數)輸出或顯示多個數位圖像以實現適用於產量和消費量的視頻訊號。在利用視頻數據進行操作的多個這樣的通訊系統中，在生產量(例如，可以從第一位置傳輸至第二位置的圖像訊框的數量)以及最終要輸出或顯示的訊號的視頻和/或圖像質量之間存在一個平衡。本技術無法充分地或可接受地提供一種可以根據提供充足的或可接受的視頻和/或圖像質量將視頻數據從第一位置傳輸至第二位置，從而保證與通訊相關聯的相對少量的開銷，以及各自通訊鏈路端的通訊設備的相對較低的複雜度等的裝置。
根據本發明的各個方面提供了以下裝置及通訊設備的操作方法。
(1)一種裝置，包括：視頻處理器，用於：選擇第一視頻訊號的視頻訊息的至少第一部分；複製並縮放視頻訊息的所述至少第一部分以生成比視頻訊息的所述至少第一部分相對高的頻率範圍內的視頻訊息的 至少第二部分；以及根據所述第一視頻訊號的處理，對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合，生成第二視頻訊號。
(2)根據(1)所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且所述視頻處理器採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
(3)根據(1)所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
(4)根據1所述的裝置，其中：所述裝置是視頻解碼器。
(5)根據(1)所述的裝置，其中：所述裝置是在衛星通訊系統、無線通訊系統、有線通訊系統、光纖通訊系統以及移動通訊系統中的至少一個中操作的通訊設備。
(6)一種裝置，包括：視頻處理器，用於：選擇第一視頻訊號的視頻訊息的至少第一部分；複製視頻訊息的所述至少第一部分的至少一個特徵以生成比視頻訊息的所述至少第一部分相對高的頻率範圍內的視頻訊息的至少第二部分；以及 對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合，生成第二視頻訊號。
(7)根據(6)所述的裝置，其中：所述視頻處理器複製並縮放視頻訊息的所述至少第一部分以生成視頻訊息的所述至少第二部分。
(8)根據(6)所述的裝置，其中：視頻訊息的所述至少第一部分的所述至少一個特徵對應於隨頻率變化的能量分布圖。
(9)根據(6)所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且所述視頻處理器採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
(10)根據(6)所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
(11)根據(6)所述的裝置，其中：所述視頻處理器根據第一視頻訊號的處理逐塊進行操作以生成所述第二視頻訊號。
(12)根據(6)所述的裝置，其中：所述裝置是視頻解碼器。
(13)根據(6)所述的裝置，其中：所述裝置是在衛星通訊系統、無線通訊系統、有線通訊系統、光纖通訊系統以及移動通訊系統中的至少一個中操作 的通訊設備。
(14)一種通訊設備的操作方法，所述方法包括：選擇第一視頻訊號的視頻訊息的至少第一部分；複製視頻訊息的至少第一部分的至少一個特徵以生成比視頻訊息的所述至少第一部分相對高的頻率範圍內的視頻訊息的至少第二部分；對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合生成第二視頻訊號；以及經由所述通訊設備的輸出端，輸出所述第二視頻訊號或對應於所述第二視頻訊號的訊號。
(15)根據(14)所述的方法，進一步包括：複製並縮放視頻訊息的所述至少第一部分以生成視頻訊息的所述至少第二部分。
(16)根據(14)所述的方法，其中：視頻訊息的所述至少第一部分的所述至少一個特徵對應於隨頻率變化的能量分布圖。
(17)根據(14)所述的方法，包括：採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
(18)根據(14)所述的方法，進一步包括：採用視頻訊息的所述至少第一部分，生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分 的第二子集。
(19)根據(14)所述的方法，其中：根據所述第二視頻訊號的生成逐塊處理所述第一視頻訊號。
(20)根據(14)所述的方法，其中：所述通訊設備在衛星通訊系統、無線通訊系統、有線通訊系統、光纖通訊系統以及移動通訊系統的至少一個中操作。
100‧‧‧通訊系統
110‧‧‧通訊設備
112‧‧‧發射器
114‧‧‧編碼器
116‧‧‧接收器
118‧‧‧解碼器
120‧‧‧通訊設備
122‧‧‧接收器
124‧‧‧解碼器
126‧‧‧發射器
128‧‧‧編碼器
130‧‧‧衛星通訊通道
132‧‧‧衛星天線
134‧‧‧衛星天線
140‧‧‧無線通訊通道
142‧‧‧塔
144‧‧‧塔
150‧‧‧有線通訊通道
152‧‧‧本地天線
154‧‧‧本地天線
160‧‧‧光纖通訊通道
162‧‧‧電光(E/O)介面
164‧‧‧光電(O/E)介面
199‧‧‧通訊通道
200‧‧‧通訊系統
201‧‧‧訊息位
202‧‧‧編碼位
203‧‧‧離散值調製符號序列
204‧‧‧連續時間傳輸訊號
205‧‧‧過濾的連續時間傳輸訊號
206‧‧‧連續時間接收訊號
207‧‧‧過濾的連續時間接收訊號
208‧‧‧離散時間接收訊號
209‧‧‧度量值
210‧‧‧充分估算離散值調製符號和其中編碼的訊息位
220‧‧‧編碼器和符號映射器
222‧‧‧編碼器
224‧‧‧符號映射器
230‧‧‧發射驅動器
232‧‧‧數位類比轉換器(DAC)
234‧‧‧發射濾波器
260‧‧‧模擬前端(AFE)
262‧‧‧接收濾波器
264‧‧‧類比數位轉換器(ADC)
270‧‧‧度量生成器
280‧‧‧解碼器
280a‧‧‧處理模組
280b‧‧‧處理模組
297‧‧‧發射器
298‧‧‧接收器
299‧‧‧通訊通道
301‧‧‧電腦
302‧‧‧筆記型電腦
303‧‧‧高清(HD)電視
304‧‧‧標準清晰度(SD)電視
305‧‧‧手持媒體單元
306‧‧‧機上盒(STB)
307‧‧‧數位視頻光盤(DVD)播放器
308‧‧‧通用數位圖像和/或視頻處理設備
400~1700‧‧‧實施方式
1800‧‧‧方法
1810~1840‧‧‧方框
1900‧‧‧方法
1910~1940‧‧‧方框
2000‧‧‧方法
2010‧‧‧方框
2020‧‧‧方框
2001‧‧‧方法
2011‧‧‧方框
2021‧‧‧方框
圖1和圖2示出了通訊系統的各個實施方式。
圖3A示出了電腦的實施方式。
圖3B示出了筆記型電腦的實施方式。
圖3C示出了高清(HD)電視的實施方式。
圖3D示出了標準清晰度(SD)電視的實施方式。
圖3E示出了手持媒體單元的實施方式。
圖3F示出了機上盒(STB)的實施方式。
圖3G示出了數位視頻光盤(DVD)播放器的實施方式。
圖3H示出了通用數位圖像和/或視頻處理設備的實施方式。
圖4、圖5和圖6是示出了視頻編碼架構的各個實施方式的圖。
圖7是示出了訊框內預測處理的實施方式的圖。
圖8是示出了訊框間預測處理的實施方式的圖。
圖9和圖10是示出了視頻解碼架構的各個實施方式的圖。
圖11示出了視頻編碼架構的實施方式(在去塊處理之後實現取樣自適應偏移(SAO))。
圖12示出了視頻編碼架構的實施方式(在反量化之後實現頻域取樣自適應偏移(FSAO))。
圖13示出了頻帶複製(SBR)-轉置(a)及重建(b)的原理的實施例。
圖14、圖15、圖16和圖17示出了頻帶複製(SBR)的各個 實施方式。
圖18、圖19、圖20A和圖20B示出了執行視頻處理(例如，在一個或多個設備中)的方法的各個實施方式。
在使用諸如數位視頻的數位媒體的多個設備中，利用畫素表示本性數位化的各自的圖像。在某些通訊系統中，數位媒體可以從第一位置傳輸至可以輸出或顯示此類媒體的第二位置。包括操作用於傳輸數位視頻的通訊系統的數位通訊系統的目的在於無誤差地或以可接受的低誤碼率將數位數據從一個位置或子系統傳輸至另一個位置。如圖1所示，數據可以通過各種方式在各種通訊系統中的各個通訊通道上進行傳輸：磁性媒體、有線、無線、光纖、銅和/或其他類型的媒體。
圖1和圖2分別示出了通訊系統100和200的各個實施方式。
參照圖1，通訊系統100的該實施方式是通訊通道199，該通訊通道將位於通訊通道199一端的一個通訊設備110(包括具有編碼器114的發射器112並包括具有解碼器118的接收器116)通訊耦接至位於通訊通道199另一端的另一個通訊設備120(包括具有編碼器128的發射器126並包括具有解碼器124的接收器122)。在某些實施方式中，通訊設備110和120中只有一個包括發射器或接收器。具有幾種不同類型的媒體，通訊通道199可以通過這些媒體來實現(例如，使用衛星天線132和134的衛星通訊通道130、使用塔樓142和144和/或本地天線152和154的無線通訊通道140、有線通訊通道150和/或使用電光(E/O)介面162和光電(O/E)介面164的光纖通訊通道160)。另外，可以實現多於一種類型的媒體，並可以交接在一起，從而形成通訊通道199。
要注意的是，在不背離本發明的範圍和精神的情況下，這樣的通訊設備110和/或120可以是靜止設備或移動設備。例如，通訊設備110和120之一或兩者可以在固定位置被實現或可以是具 有與一個以上的網路接入點(例如，在包括一個或多個無線區域網路區域網路(VLAN)的移動通訊系統環境中的各自不同的接入點(AP)、在包括一個或多個衛星的移動通訊系統環境中的各自不同的衛星或通常在包括一個或多個網路接入點的移動通訊系統環境中的各自不同的網路接入點，可以通過這些網路節點利用通訊設備110和/或120來實現通訊)相關聯和/或進行通訊的能力的移動通訊設備。
通常採用誤差校正和通道編碼方案來降低通訊系統中不可避免而導致的傳輸誤差。一般情況下，這些誤差校正和通道編碼方案涉及使用通訊通道199發射器端的編碼器以及通訊通道199接收器端的解碼器。
在任何這樣的期望通訊系統(例如，包括針對圖1描述的那些變化)、任何訊息儲存設備(例如，硬碟機(HDD)、網路訊息儲存設備和/或服務器等)或需要對訊息進行編碼和/或解碼的任何應用中可以採用所描述的任一種不同類型的ECC代碼。
一般來說，當考慮視頻數據從一個位置或子系統傳輸至另一個位置的通訊系統時，一般可以認為視頻數據編碼在通訊通道199的傳輸端進行，一般可以認為視頻數據解碼在通訊通道199的接收端進行。
同樣地，儘管該圖的實施方式示出了通訊設備110和120之間能夠雙向通訊，當然要注意的是，在某些實施方式中，通訊設備110可以只包括視頻數據編碼能力，通訊設備120可以只包括視頻數據解碼能力，反之亦然(例如，根據視頻廣播實施方式的單向通訊系統)。
參照圖2的通訊系統200，在通訊通道299的發射端，向發射器297提供訊息位201(例如，尤其對應於一個實施方式中的視頻數據)，該發射器可操作用於利用編碼器和符號映射器220進行這些訊息位201的解碼(可以認為功能模組222和224之間分別不 同)，從而生成離散值調製符號序列203，將該離散值調製符號序列提供給發射驅動器230，該發送驅動器使用數位類比轉換器(DAC)232來生成連續時間傳輸訊號204並利用發射濾波器234來生成大致與通訊通道299相稱的經過濾的連續時間傳輸訊號205。在通訊通道299的接收端，將連續時間接收訊號206提供給模擬前端(AFE)260，該模擬前端包括接收濾波器262(生成經過濾的連續時間接收訊號207)以及類比數位轉換器(ADC)264(生成離散時間接收訊號208)。度量生成器270計算解碼器280用來對離散值調製符號和其中210編碼的訊息位進行充分估算的度量值209(例如，基於符號和/或位)。
在發射器297和接收器298的每一個中，可以實現將各個組件、塊、功能塊、電路等任何所需的集成在其中。例如，該圖示出處理模組280a包括編碼器和符號映射器220以及其中所有相關聯的對應部件，示出處理模組280b包括度量生成器270和解碼器280以及其中所有相關聯的對應部件。這樣的處理模組280a和280b可以是各自的集成電路。當然，在不背離本發明的範圍和精神的情況下，可以可選地進行其他邊界和分組。例如，第一處理模組或集成電路中可以包括有發射器297中的所有部件，第二處理模組或集成電路中可以包括有接收器298中的所有部件。可選地，在其他實施方式中可以任意組合發射器297和接收器298的每一個中的部件。
與前述實施例一樣，這樣的通訊系統200可以用於傳輸從一個位置或子系統傳輸至另一個位置(例如，通過通訊通道299從發射器297至接收器298)的視頻數據。
可以通過下文圖3A-3H所示的各個設備中的任何一個來實現數位圖像和/或數位圖像和/或媒體(包括數位視頻訊號中的各個圖像)的視頻處理以允許用戶查看數位圖像和/或視頻。這些不同的設備不包括詳盡的設備清單，其中可以實現本文描述的圖像和/或 視頻處理，要注意的是，在不背離本發明的範圍和精神的情況下，可以實現任何通用數位圖像和/或視頻處理設備以便進行本文所述的處理。
圖3A示出了電腦301的實施方式。該電腦301可以是桌上型電腦，或主機的企業儲存設備，比如服務器，該儲存設備連接至諸如獨立磁盤(RAID)陣列的殘差陣列的儲存陣列、儲存路由器、邊緣路由器、儲存開關和/或儲存導向器。用戶能夠利用電腦301來查看靜態數位圖像和/或視頻(例如，數位圖像序列)。電腦301上時常包括有各個圖像和/或視頻查看程序和/或媒體播放器程序以允許用戶查看這些圖像(包括視頻)。
圖3B示出了筆記型電腦302的實施方式。在多種情形中的任何一種情形下可以發現並使用這樣的筆記型電腦302。近年，隨著筆記型電腦的處理能力和功能的不斷增長，在使用以前高端且更有能力的筆記型電腦的許多情況下採樣這些筆記型電腦。與電腦301一樣，筆記型電腦302可以包括各個圖像查看程序和/或媒體播放器程序以便允許用戶查看這些圖像(包括視頻)。
圖3C示出了高清(HD)電視303的實施方式。許多HD電視303包括允許在其上接收、處理並解碼媒體內容(例如，電視廣播訊號)的集成調諧器。可選地，有時，HD電視303從另一個接收、處理並解碼電纜和/或衛星電視廣播訊號的諸如數位視頻光盤(DVD)播放器、機上盒(STB)的源接收媒體內容。不管特定實現如何，HD電視303可以被實現來進行如本文所描述的圖像和/或視頻處理。一般來說，HD電視303具有顯示HD媒體內容的能力並時常被實現為具有16：9寬屏寬高比。
圖3D示出了標準清晰度(SD)電視304的實施方式。當然，SD電視304在某種程度上類似於HD電視303，至少一個不同之處在於SD電視304不包括顯示HD媒體內容的能力，且SD電視304時常被實現為具有4：3的全屏寬高比。儘管如此，甚至是SD 電視304也可以被實施為執行如本文所描述的圖像和/或視頻處理。
圖3E示出了手持媒體單元305的實施方式。手持媒體單元305適於提供通用儲存器或提供用於諸如聯合攝影專家組(JPEG)文件、標記圖像文件格式(TIFF)、位圖、運動圖像專家組(MPEG)文件、Windows媒體(WMA/WMV)文件的圖像/視頻內容訊息、諸如MPEG4文件等用於為用戶回放的其他類型的視頻文件和/或可以以數位格式儲存的其他類型訊息的儲存器。從歷史觀點上說，這樣的手持媒體單元主要用於儲存並播放音頻媒體；然而，這樣的手持媒體單元305可以用於儲存並播放任何虛擬媒體(例如，音頻媒體、視頻媒體、攝影媒體等)。而且，這樣的手持媒體單元305還可以包括諸如有線和無線通訊的集成通訊電路的其他功能。這樣的手持媒體單元305可以被實實施為執行如本文所描述的圖像和/或視頻處理。
圖3F示出了機上盒(STB)306的實施方式。如上所述，STB306有時可以被實施為接收、處理並解碼要提供給諸如SD電視304和/或HD電視303的任何合適的顯示可用設備的電纜和/或衛星電視廣播訊號。這樣的STB 306可以獨立地或協同地與顯示可用設備一起操作以便進行如本文所描述的圖像和/或視頻處理。
圖3G示出了數位視頻光盤(DVD)播放器307的實施方式。在不背離本發明的範圍和精神的情況下，這樣的DVD播放器可以是藍光DVD播放機、HD可用DVD播放器、SD可用DVD播放器、上採樣可用DVD播放器(例如，從SD至HD等)。DVD播放器可以向諸如SD電視304和/或HD電視303的任何合適的顯示可用設備提供訊號。DVD播放器305可以被實施為執行如本文所描述的圖像和/或視頻處理。
圖3H示出了通用數位圖像和/或視頻處理設備308的實施方式。另外，如上所述，上述這些各種設備不包括詳盡的設備清單， 其中可以實現本文描述的圖像和/或視頻處理，要注意的是，在不背離本發明的範圍和精神的情況下，可以實現任何通用數位圖像和/或視頻處理設備308以便進行本文所述的圖像和/或視頻處理。
圖4、圖5和圖6分別是示出了視頻編碼架構的各個實施方式400、500和600的圖。
參照圖4的實施方式400，針對該圖可以是看出，通過視頻編碼器接收輸入視頻訊號。在某些實施方式中，輸入視頻訊號由編碼單元(CU)或宏塊(MB)構成。編碼單元或宏塊的大小可以改變並可以包括通常設置成正方形的多個畫素。在一個實施方式中，編碼單元或宏塊的大小為16×16畫素。然而，通常要注意的是，宏塊可以具有任何所需的大小，比如N×N畫素，其中N為整數。當然，雖然優選實施方式中採用了方形編碼單元或宏塊，但某些實現可以包括非方形編碼單元或宏塊。
輸入視頻訊號通常可以被稱為對應於原始訊框(或圖片)圖像數據。例如，原始訊框(或圖片)圖像數據可以進行處理以生成亮度和色度樣本。在某些實施方式中，宏塊中的這組亮度樣本屬於特定佈置(例如，16×16)，這組色度樣本屬於不同的特定佈置(例如，8x8)。根據本文所描述的實施方式，視頻編碼器在逐塊的基礎上對這些樣本進行處理。
輸入視頻訊號然後進行模式選擇，輸入視頻訊號通過這個模式可選擇地進行訊框內和/或訊框間預測處理。一般來說，輸入視頻訊號沿壓縮通路進行壓縮。當無反饋地進行操作時(例如，不根據訊框間預測，也不根據訊框內預測)輸入視頻訊號通過壓縮通路設置來進行變換操作(例如，根據離散餘弦變換(DCT))。當然，在可選實施方式中可以採用其他變換。在這種操作模式下，輸入視頻訊號本身就是經壓縮的訊號。壓縮通路可以利用人眼缺乏高頻率靈敏度來進行壓縮。
然而，通過可選擇地使用訊框內或訊框間預測視頻編碼，可 以採用沿壓縮通路進行反饋。根據反饋或預測操作模式，壓縮通路對由從當前宏塊減去當前宏塊預測值而導致的(相對較低能量)殘差(例如，差值)進行操作。根據在指定實例中採用哪種預測形式，生成至少基於相同訊框(或圖片)的一部分或至少基於至少一個其他訊框(或圖片)的一部分的當前宏塊和宏塊預測值之間的殘差或差值。
由此產生的修改視頻訊號然後沿壓縮通路進行變換操作。在一個實施方式中，離散餘弦變換(DCT)對一組視頻樣本(例如，亮度、色度、殘差等)進行操作以計算預定數量的基模式中的每一個的系數值。例如，一個實施方式包括64個基函數(例如，對8x8樣本而言)。一般來說，不同實施方式可以採用不同數量的基函數(例如，不同變換)。包括合適的選擇性加權的這些基函數的任意組合可以用於表示給定的一組視頻樣本。與進行變換操作的各個方式相關的額外詳情在與包括通過引用併入的如上所述的那些標準/草案標準的視頻編碼相關聯的技術文獻中進行描述。變換處理的輸出包括各自的系數值。將該輸出提供給量化器。
一般情況下，大多數圖像塊通常會產生係數(例如，根據離散餘弦變換(DCT)操作的實施方式中的DCT係數)，使得大多數相關DCT係數的頻率較低。由於這個原因以及人眼對高頻視覺效果的靈敏度相對較差，量化器可以操作用於將大部分不大相關的係數轉換為零值。也就是說，可以根據量化過程來消除相對貢獻率低於某個預定值(例如，某個閾值)的那些係數。量化器還可以操作用於將重要係數轉換為比變換過程產生的值可以更加有效地進行編碼的值。例如，量化過程可以通過各自的係數乘以整數值並丟棄任意餘數來進行操作。當對典型的編碼單元或宏塊進行操作時，這個過程通常會產生相對少量的非零係數，這些非零係數然後被傳輸至熵編碼器進行無損編碼並根據可以根據視頻編碼選擇訊框內和/或訊框間預測處理的反饋路徑進行使用。
熵編碼器根據無損壓縮編碼過程進行操作。相比之下，量化操作通常是有損失的。熵編碼過程對量化過程提供的係數進行操作。那些係數可以表示各個特徵(例如，亮度、色度、殘差等)。熵編碼器可以採用各種類型的編碼。例如，熵編碼器可以進行上下文自適應二進制算術編碼(CABAC)和/或上下文自適應可變長編碼(CAVLC)。例如，根據熵編碼方案的至少一部分，將數據轉換為(運行，級別)對(例如，將數據14，3，0，4，0，0，-3轉換為各自的(運行，級別)對(0，14)，(0，3)，(1，4)，(2，-3))。事先，編制將變長碼分配至值對的表，以便將相對較短長度編碼分配給相對常見的值對，並將相對較長長度編碼分配給相對少見的值對。
如讀者理解的一樣，反量化反變換的操作分別對應於量化變換的操作。例如，在DCT用於變換操作的實施方式中，反DCT(IDCT)是反變換操作中所採用的變換。
圖片緩衝器(或者稱為數位圖片緩衝器或DPB)從IDCT模組接收訊號；圖片緩衝器適於儲存當前訊框(或圖片)和/或一個或多個其他訊框(或圖片)，比如根據訊框內預測和/或訊框間預測操作使用的訊框(或圖片)，訊框內預測和/或訊框間預測操作可以根據視頻編碼進行。要注意的是，根據訊框內預測，相對少量的儲存就足夠了，因為也許沒有必要將當前訊框(或圖片)或任何其他訊框(或圖片)儲存在訊框(或圖片)序列中。在根據視頻編碼進行訊框間預測的情況下，所儲存的訊息可以用來進行運動補償和/或運動估計。
在一個可能的實施方式中，用於運動估計，將來自當前訊框(或圖片)的相應組的亮度樣本(例如，16×16)與訊框(或圖片)序列(例如根據訊框間預測)中其他訊框(或圖片)中的各個緩衝配對物進行比較。在一個可能的實施中，定位最匹配區域(例如，預測參考)並產生向量偏移(例如，運動向量)。在單個訊框 (或圖片)中，可以找到多個運動向量，但不是所有的運動向量都必須指向相同的方向。根據運動估計進行的一種或多種操作適於生成一個或多個運動向量。
運動補償適於採用可以根據運動估計生成的一個或多個運動向量。識別並交付預測參考組的樣本以便從原始輸入視頻訊號中删除，試圖希望產生相對(例如，理想的多個)較低的能量殘差。如果此類操作不會導致產生較低的能量殘差，就不一定要進行運動補償，變換操作可以僅對原始輸入視頻訊號進行操作，而不對殘差進行操作(例如，根據將輸入視頻訊號直接提供給變換操作，以便不進行訊框內預測，也不進行訊框間預測的操作模式)，或可以使用訊框內預測並對訊框內預測產生的殘差進行變換操作。同樣地，如果運動估計和/或運動補償操作成功，運動向量還可以與相應的殘差係數一起發送至熵編碼器，用於進行無損熵編碼。
整個視頻編碼操作的輸出是輸出位元流。要注意的是，輸出位元流當然可以根據生成連續時間訊號來進行一定處理，該連續時間訊號可以通過通訊通道傳輸。例如，某些實施方式在無線通訊系統中操作。在這種情況下，輸出位元流可以在無線通訊設備中進行適當的數位類比轉換、頻率變換、縮放、過濾、調製、符號映射和/或任何其他操作，用於生成能夠通過通訊通道傳輸的連續時間訊號等。
參照圖5的實施方式500，針對該圖可以是看出，通過視頻編碼器接收輸入視頻訊號。在某些實施方式中，輸入視頻訊號由編碼單元或宏塊構成(和/或可以劃分為編碼單元(CU))。編碼單元或宏塊的大小可以改變並可以包括通常設置成正方形的多個畫素。在一個實施方式中，編碼單元或宏塊的大小為16×16畫素。然而，通常要注意的是，宏塊可以具有任何所需的大小，比如N×N畫素，其中N為整數。當然，雖然優選實施方式中採用了方形編碼單元或宏塊，但某些實現可以包括非方形編碼單元或宏塊。
輸入視頻訊號通常可以被稱為對應於原始訊框(或圖片)圖像數據。例如，原始訊框(或圖片)圖像數據可以進行處理以生成亮度和色度樣本。在某些實施方式中，宏塊中的這組亮度樣本屬於一個特定佈置(例如，16×16)，這組色度樣本屬於不同的特定佈置(例如，8×8)。根據本文所描述的實施方式，視頻編碼器在逐塊的基礎上對這些樣本進行處理。
輸入視頻訊號然後進行模式選擇，輸入視頻訊號通過這個模式可選擇地進行訊框內和/或訊框間預測處理。一般來說，輸入視頻訊號沿壓縮通路進行壓縮。當無反饋地進行操作時(例如，不根據訊框間預測，也不根據訊框內預測)輸入視頻訊號通過壓縮通路設置來進行變換操作(例如，根據離散餘弦變換(DCT))。當然，在可選實施方式中可以採用其他變換。在這種操作模式下，輸入視頻訊號本身就是經壓縮的訊號。壓縮通路可以利用人眼缺乏高頻率靈敏度來進行壓縮。
然而，通過可選擇地使用訊框內或訊框間預測視頻編碼，可以沿壓縮通路進行反饋。根據反饋或預測操作模式，壓縮通路對由從當前宏塊減去當前宏塊預測值而導致的(相對較低能量)殘差(例如，差值)進行操作。根據在指定實例中採用哪種預測形式，生成至少基於相同訊框(或圖片)的一部分或至少基於至少一個其他訊框(或圖片)的一部分的當前宏塊和宏塊預測值之間的殘差或差值。
由此產生的修改視頻訊號然後沿壓縮通路進行變換操作。在一個實施方式中，離散餘弦變換(DCT)對一組視頻樣本(例如，亮度、色度、殘差等)進行操作以計算預定數量的基模式中的每一個的系數值。例如，一個實施方式包括64個基函數(例如，對8×8樣本而言)。一般來說，不同實施方式可以採用不同數量的基函數(例如，不同變換)。包括合適的選擇性加權的這些基函數的任意組合可以用於表示給定的一組視頻樣本。與進行變換操作的 各個方式相關的額外詳情在與包括通過引用併入的如上所述的那些標準/草案標準的視頻編碼相關聯的技術文獻中進行描述。變換處理的輸出包括各自的系數值。將該輸出提供給量化器。
一般情況下，大多數圖像塊通常會產生係數(例如，根據離散餘弦變換(DCT)操作的實施方式中的DCT係數)，使得大多數相關DCT係數的頻率較低。由於這個原因以及人眼對高頻視覺效果的靈敏度相對較差，量化器可適於將大部分不大相關的係數轉換為零值。也就是說，可以根據量化過程來消除相對貢獻率低於某個預定值(例如，某個閾值)的那些係數。量化器還可以適於將重要係數轉換為比變換過程產生的值可以更加有效地進行編碼的值。例如，量化過程可以通過各自的係數乘以整數值並丟棄任意餘數來進行操作。當對典型的編碼單元或宏塊進行操作時，這個過程通常會產生相對少量的非零係數，這些非零係數然後被傳輸至熵編碼器進行無損編碼並根據可以根據視頻編碼選擇訊框內和/或訊框間預測處理的反饋路徑進行使用。
熵編碼器根據無損壓縮編碼過程進行操作。相比之下，量化操作通常是有損失的。熵編碼過程對量化過程提供的係數進行操作。那些係數可以表示各個特徵(例如，亮度、色度、殘差等)。熵編碼器可以採用各種類型的編碼。例如，熵編碼器可以進行上下文自適應二進制算術編碼(CABAC)和/或上下文自適應可變長編碼(CAVLC)。例如，根據熵編碼方案的至少一部分，將數據轉換為(運行，級別)對(例如，將數據14，3，0，4，0，0，-3轉換為各自的(運行，級別)對(0，14)，(0，3)，(1，4)，(2，-3))。事先，編制將變長碼分配至值對的表，以便將相對較短長度編碼分配給相對常見的值對，並將相對較長長度編碼分配給相對少見的值對。
如讀者理解的一樣，反量化反變換的操作分別對應於量化變換的操作。例如，在DCT用於變換操作的實施方式中，反DCT (IDCT)是反變換操作中所採用的變換。
自適應回路濾波器(ALF)被實施為處理來自反變換塊的輸出。在儲存在圖片緩衝器(有時稱為DPB、數位圖片緩衝器)之前，自適應回路濾波器(ALF)適用於解碼圖片。自適應回路濾波器(ALF)被實施為降低解碼圖像的編碼噪音，可以一片一片地可選擇地分別對亮度和色度進行過濾，不管自適應回路濾波器(ALF)是否在片級別或在塊級別上使用。在自適應回路濾波器(ALF)的應用中可以使用二維2-D有限脈衝響應(FIR)過濾。濾波器的係數可以在編碼器中一片一片地進行設計，然後將此訊息傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)。
一個實施方式根據維納濾波設計操作生成係數。另外，不管是否進行濾波處理並是否根據四叉樹結構將該決定傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)，都可以在編碼器中一塊一塊地應用，其中塊大小根據率失真優化來決定。要注意的是，利用2D濾波的實現可以根據編碼和解碼引入複雜度。例如，通過根據自適應回路濾波器(ALF)的實現來使用2D濾波，在編碼器(在發射器通訊設備中實施)和解碼器(在接收器通訊設備中實施)中可能存在一定的增加的複雜性。
在某些任選實施方式中，將來自去塊效應濾波器的輸出提供給被實施為處理來自反變換塊的輸出的一個或多個其他環內濾波器(例如，根據自適應回路濾波器(ALF)、取樣自適應偏移(SAO)濾波器和/或任何其他濾波器類型實現)。例如，在儲存在圖片緩衝器(有時稱為DPB、數位圖片緩衝器)之前，ALF適用於解碼圖片。ALF被實現來降低解碼圖像的編碼噪音，可以一片一片地可選擇地分別對亮度和色度進行過濾，不管ALF是否在片級別或在塊級別上使用。在ALF的應用中可以使用二維2-D有限脈衝響應 (FIR)過濾。濾波器的係數可以在編碼器中一片一片地進行設計，然後將此訊息傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)。
一個實施方式適於根據維納濾波設計生成係數。另外，不管是否進行濾波處理並是否根據四叉樹結構將該決定傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)，都可以在編碼器中一塊一塊地應用，其中塊大小根據率失真優化來決定。要注意的是，利用2D濾波的實現可以根據編碼和解碼引入複雜度。例如，通過根據自適應回路濾波器(ALF)的實現來使用2D濾波，在編碼器(在發射器通訊設備中實施)和解碼器(在接收器通訊設備中實施)中可能存在一定的增加的複雜性。
如針對其他實施方式所述，使用ALF可以提供根據此視頻處理的一系列改進之一，包括通過進行隨機量化去噪導致的峰值訊號噪音比(PSNR)改進客觀質量測量。另外，隨後編碼的視頻訊號的主觀質量可以通過照明補償來實現，根據ALF處理，照明補償可以根據進行偏移處理和縮放處理(例如，根據應用增益)來引入。
對一種類型的環內濾波器而言，使用自適應回路濾波器(ALF)可以提供根據此視頻處理的一系列改進之一，包括通過進行隨機量化去噪導致的峰值訊號噪音比(PSNR)改進客觀質量測量。另外，隨後編碼的視頻訊號的主觀質量可以通過照明補償來實現，根據自適應回路濾波器(ALF)處理，照明補償可以根據進行偏移處理和縮放處理(例如，根據應用增益)來引入。
圖片緩衝器(或者稱為數位圖片緩衝器或DPB)接收從ALF輸出的訊號；圖片緩衝器適於儲存當前訊框(或圖片)和/或一個或多個其他訊框(或圖片)，比如根據訊框內預測和/或訊框間預測 操作使用的訊框(或圖片)，訊框內預測和/或訊框間預測操作可以根據視頻編碼進行。要注意的是，根據訊框內預測，相對少量的儲存就足夠了，因為也許沒有必要將當前訊框(或圖片)或任何其他訊框(或圖片)儲存在訊框(或圖片)序列中。在根據視頻編碼進行訊框間預測的情況下，所儲存的訊息可以用來進行運動補償和/或運動估計。
在一個可能的實施方式中，用於運動估計，將來自當前訊框(或圖片)的相應組的亮度樣本(例如，16×16)與訊框(或圖片)序列(例如，根據訊框間預測)中其他訊框(或圖片)中的各個緩衝配對物進行比較。在一個可能的實施中，定位最匹配區域(例如，預測參考)並產生向量偏移(例如，運動向量)。在單個訊框(或圖片)中，可以找到多個運動向量，但不是所有的運動向量都必須指向相同的方向。根據運動估計進行的一種或多種操作適於生成一個或多個運動向量。
運動補償適於採用可以根據運動估計生成的一個或多個運動向量。識別並交付預測參考組的樣本以便從原始輸入視頻訊號中删除，試圖希望產生相對(例如，理想的多個)較低的能量殘差。如果此類操作不會導致產生較低的能量殘差，就並一定要進行運動補償，變換操作可以僅對原始輸入視頻訊號進行操作，而不對殘差進行操作(例如，根據將輸入視頻訊號直接提供給變換操作，以便不進行訊框內預測，也不進行訊框間預測的操作模式)，或可以使用訊框內預測並對訊框內預測產生的殘差進行變換操作。同樣地，如果運動估計和/或運動補償操作成功，運動向量還可以與相應的殘差係數一起發送至熵編碼器，用於進行無損熵編碼。
來自整個視頻編碼操作的輸出是輸出位元流。要注意的是，輸出位元流當然可以根據生成連續時間訊號來進行一定處理，該連續時間訊號可以通過通訊通道傳輸。例如，某些實施方式在無線通訊系統中操作。在這種情況下，輸出位元流可以在無線通訊 設備中進行適當的數位類比轉換、頻率變換、縮放、過濾、調製、符號映射和/或任何其他操作，用於生成能夠通過通訊通道傳輸的連續時間訊號等。
參照圖6的實施方式600，針對該圖描述了一種視頻編碼器的可選實施方式，該視頻編碼器進行預測、變化以及編碼處理以便產生壓縮的輸出位元流。這種視頻編碼器可以根據一個或多個視頻編碼協議、標準和/或推薦作法比如ISO/IEC 14496-10-MPEG-4的第10部分，AVC(高級視頻編碼)(或者稱為H.264/MPEG-4的第10部分或AVC(高級視頻編碼)，ITU H.264/MPEG4-AVC)進行操作並與之兼容。
要注意的是，對應視頻解碼器，比如位於通訊通道另一端的設備內的視頻解碼器，適於進行解碼、反變換及重建的互補過程，以便生產各自的解碼視頻序列，該序列(理想的)表示輸入視頻訊號。
如針對該圖可以看出，可選佈置及架構可以用來實施視頻編碼。一般來說，編碼器處理輸入視頻訊號(例如，通常由呈正方形並且其中包括NxN畫素的編碼單元或宏塊組成)。視頻編碼基於事先編碼的數據確定當前宏塊的預測。事先編碼的數據可以來自當前訊框(或圖片)本身(例如，根據訊框內預測)或來自已經編碼(例如，根據訊框間預測)的一個或多個其他訊框(或圖片)。視頻編碼器減去當前宏塊的預測以形成殘差。
一般來說，訊框內預測適於採用一個或多個特定大小(例如，16×16，8×8或4×4)的塊大小，以根據相同訊框(或圖片)內的周圍的事先編碼的畫素預測當前宏塊。一般來說，訊框間預測適於採用一系列的塊大小(例如，16×16下至4×4)來預測選自一個或多個事先編碼訊框(或圖片)的區域的當前訊框(或圖片)中的畫素。
對變換和量化操作而言，一塊殘差樣品可以利用特定的變換 (例如，4×4或8×8)來進行轉換。此變換的一個可能的實施方式根據離散餘弦變換(DCT)進行操作。變換操作輸出一組係數，使得每個係數對應於與變換相關聯的一個或多個基函數的加權值。在進行變換之後，對一塊變換係數進行量化(例如，每個係數可以除以整數值並丟棄任何相關聯的餘數，或可以乘以整數值)。量化過程通常內在存在損失，可能會根據量化參數(QP)降低變換係數的精度。通常，與指定宏塊相關的多個係數為零，僅保留一部分非零係數。一般情況下，相對較高的QP設置適於產生更大比例的零值係數以及更小的非零係數，從而在相對較差解碼圖像質量的情況下產生相對較高的補償(例如，相對較低的編碼位速率)；相對較低的QP設置適於允許在量化非零係數之和保留更多非零係數以及更大的非零係數，從而以相對良好的解碼圖像質量產生相對較低的補償(例如，相對較高的編碼位速率)。
視頻編碼過程產生多個值，這些值編碼來形成壓縮位元流。這些值的實例包括量化變換係數、解碼器用於重建適當預測的訊息、有關壓縮數據的結構和編碼過程中所採用的壓縮工具的訊息、有關完整視頻序列的訊息等。這些值和/或參數(例如，語法元素)可以在根據CABAC、CAVLC或某項其他熵編碼方案進行操作的熵編碼器中進行編碼，以產生可以儲存、傳輸的輸出位元流(例如，在進行適當處理以生成符合通訊通道的連續時間訊號之後)，等等。
在使用反饋路徑進行操作的實施方式中，變換及量化輸出進行反量化和反變換。可以根據視頻編碼來進行訊框內預測和訊框間預測之一或兩者。同樣，可以根據此類視頻編碼來進行運動補償和/或運動估計。
同樣將提供給訊框內預測塊的來自反量化和反變換(例如，IDCT)塊的訊號路徑輸出提供給去塊效應濾波器。將來自去塊效應濾波器的輸出提供給被實現為處理來自反變換塊的輸出的一個 或多個其他環內濾波器(例如，根據自適應回路濾波器(ALF)、取樣自適應偏移(SAO)濾波器和/或任何其他濾波器類型實現)。例如，在一個可能的實施方式中，在儲存在圖片緩衝器(有時稱為DPB、數位圖片緩衝器)之前，ALF適用於解碼圖片。ALF被實施為降低解碼圖像的編碼噪音，可以一片一片地可選擇地分別對亮度和色度進行過濾，不管ALF是否在片級別或在塊級別上使用。在ALF的應用中可以使用二維2-D有限脈衝響應(FIR)過濾。濾波器的係數可以在編碼器中一片一片地進行設計，然後將此訊息傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)。
一個實施方式根據維納濾波設計生成係數。另外，不管是否進行濾波處理並是否根據四叉樹結構將該決定傳遞給解碼器(例如，從包括視頻編碼器[或者稱為編碼器]的發射器通訊設備傳遞給包括視頻解碼器[或者稱為解碼器]的接收器通訊設備)，都可以在編碼器中一塊一塊地應用，其中塊大小根據率失真優化來決定。要注意的是，利用2D濾波的實現可以根據編碼和解碼引入複雜度。例如，通過根據自適應回路濾波器(ALF)的實施來使用2D濾波，在編碼器(在發射器通訊設備中實施)和解碼器(在接收器通訊設備中實施)中可能存在一定的增加的複雜性。如針對其他實施方式所述，使用ALF可以提供根據此視頻處理的多項改進之一，包括通過進行隨機量化去噪導致的峰值訊號噪音比(PSNR)改進客觀質量測量。另外，隨後編碼的視頻訊號的主觀質量可以通過照明補償來實現，根據ALF處理，照明補償可以根據進行偏移處理和縮放處理(例如，根據應用增益)來引入。
就被實施為生成輸出位元流的任何視頻編碼器架構而言，要注意的是，這類架構可以在多種通訊設備中的任何一個中實現。輸出位元流可以進行額外的處理，包括誤差校正碼(ECC)、前向 糾錯(FEC)等，從而生成其中具有額外的殘差交易的修改輸出位元流。同樣，如根據此數位訊號可以理解，可以根據生成適用於或適於通過通訊通道進行傳輸的連續時間訊號進行任何適當的處理。也就是說，這樣的視頻編碼器架構可以在用於通過一個或多個通訊通道傳輸一個或多個訊號的通訊設備中實現。可以對由這種視頻編碼器架構生成的輸出位元流進行額外的處理，從而生成可以發射到通訊通道中的連續時間訊號。
圖7是示出了訊框內預測處理的實施方式700的圖。針對該圖可以看出，視頻數據的當前塊(例如，通常呈正方形並且通常包括N×N畫素)進行處理以便對其中的各個畫素進行估計。根據訊框內預測採用位於當前塊的上方及左邊的事先編碼畫素。從某種角度來說，訊框內預測方向可以被視為對應於從當前畫素擴展至位於當前畫素的上方或左邊的參考畫素的向量。根據H.264/AVC應用於訊框內預測的詳情在上文通過引用併入的對應標準內進行了規定(例如，International Telecommunication Union,ITU-T,TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU,H.264(03/2010),SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services-Coding of moving video,Advanced video coding for generic audiovisual services,Recommendation ITU-T H.264(或稱為International Telecomm ISO/IEC 14496-10-MPEG-4的第10部分，AVC(高級視頻編碼)，H.264/MPEG-4的第10部分或AVC(高級視頻編碼)，ITU H.264/MPEG4-AVC或等效文獻)。
殘差(其是當前畫素和參考或預測畫素之間的差值)為經過編碼的殘差。針對該圖可以看出，訊框內預測利用常見訊框(或圖片)內的畫素進行操作。當然要注意的是，給定畫素可以具有與其相關聯的各自不同的分量，且每個分量可能存在各自不同組的樣本。
圖8是示出了訊框間預測處理的實施方式800的圖。與訊框內預測不同，訊框間預測適於基於當前訊框(或圖片)內的當前組的畫素以及位於訊框(或圖片)序列內的一個或多個其他訊框(或圖片)內的一組或多組參考或預測畫素來識別運動向量(例如，訊框間預測方向)。可以看出，運動向量從訊框(或圖片)序列內的當前訊框(或圖片)擴展至另一個訊框(或圖片)。訊框內預測可以使用子畫素插值，使得預測畫素值對應於參考訊框或圖片中的多個畫素的功能。
儘管這樣的殘差不同於根據訊框內預測處理計算的殘差，但可以根據訊框間預測處理來計算殘差。根據訊框間預測處理，每個畫素的殘差再次對應於當前畫素和預測畫素值之間的差。然而，根據訊框間預測處理，當前畫素和參考或預測畫素不位於相同訊框(或圖片)內。儘管該圖示出了一個或多個先前的訊框或圖片所採用的訊框間預測，但同樣要注意的是，可選實施方式可以利用對應於當前訊框之前和/或之後的訊框進行操作。例如，根據適當的緩衝和/或內存管理，可以對多個訊框進行儲存。當對給定的訊框進行操作時，可以由在給定訊框之前和/或之後的其他訊框來生成參考值。
結合CU，基本單元可以用於預測劃分模式(即，預測單元或PU)。同樣要注意的是，僅為最後深度的CU限定PU，且各自的大小局限於CU的大小。
圖9和圖10分別是示出了視頻解碼架構的各個實施方式900和1000的圖，其中，圖9示出的視頻解碼架構具有其他環內濾波器(例如，ALF、SAO和/或任何其他濾波器類型)。
一般來說，這種視頻解碼架構對輸入位元流進行操作。當然要注意的是，這種輸入位元流可以由通訊設備從通訊通道接收的訊號來生成。可以對從通訊通道接收的連續時間訊號進行各種操作，包括數位採樣、解調、縮放、濾波等，比如各種操作可以適 當根據生成輸入位元流。而且，可以實現一種或多種誤差校正碼(ECC)、前向糾錯(FEC)等的某些實施方式可以根據ECC、FEC等進行適當的解碼，從而生成輸入位元流。也就是說，在已經根據生成對應輸出位元流(例如，可以從發射器通訊設備或收發器通訊設備的發射器部分進行發射的輸出位元流)進行額外的殘差的某些實施方式中，可以根據生成輸入位元流來進行適當的處理。總體來說，這樣的視頻解碼架構遺憾的是要處理輸入位元流，從而盡可能緊密地並完全在理想情況下生成對應於原始輸入視頻訊號的輸出視頻訊號，用於輸出至一個或多個視頻顯示可用設備。
參照圖9的實施方式900，一般來說，諸如熵解碼器的解碼器(例如，其可以根據CABAC、CAVLC等實施)根據進行編碼(如在視頻編碼器架構中進行的)的互補過程來處理輸入位元流。輸入位元流可以被視為由視頻編碼器架構生成的壓縮輸出位元流(盡可能緊密地並理想地在理想情況下)。當然，在實際應用中，在通過一個或多個通訊鏈路傳輸的訊號中可能已經導致了一些誤差。熵解碼器對輸入位元流進行處理並提取適當的係數，比如DCT係數(例如，表示色度、亮度等訊息)，並將該係數提供給反量化反變換塊。如果採用DCT變換，那麽反量化反變換塊就可以被實施為進行反DCT(IDCT)操作。隨後，A/D阻塞濾波器被實施為生成對應於輸出視頻訊號的各個訊框和/或圖片。可以將這些訊框和/或圖片提供給圖片緩衝器或數位圖片緩衝器(DPB)，以便用來進行包括運動補償的其他操作。一般來說，這樣的運動補償操作可以被視為對應於與視頻編碼相關聯的訊框間預測。同樣，還可以對從反量化反變換塊輸出的訊號進行訊框內預測。類似於視頻編碼，這種視頻解碼器架構可以被實現來進行模式選擇，根據對輸入位元流進行解碼，不通過訊框內預測或訊框間預測進行，通過訊框間預測進行或通過訊框內預測進行，從而生成輸出視頻訊號。
參照圖10的實施方式1000，在某些任選實施方式中，一個或多個環內濾波器(例如，根據自適應回路濾波器(ALF)、取樣自適應偏移(SAO)濾波器和/或任何其他濾波器類型實施)比如可以根據用於生成輸出位元流的視頻編碼來實施，對應的一個或多個環內濾波器可以在視頻解碼器架構中實施。在一個實施方式中，在去塊效應濾波器之後適當實施一個或多個環內濾波器。
圖11示出了視頻編碼架構的實施方式1100(在去塊處理之後實現取樣自適應偏移(SAO))。可以採用取樣自適應偏移(SAO)(例如，根據HEVC中的當前採用)減少原始圖片和重建圖片之間因量化導致的任何存在的失真。然而，根據SAO的建議，在反量化反變換(例如，根據圖11)之後執行此等SAO操作，其這不是非常有效的實施。
圖12示出了視頻編碼架構的實施方式1200(在反量化之後實現頻域取樣自適應偏移(FSAO))。在本文中，提出一種新穎的實施，頻域SAO(FSAO)由此實施且在反量化之後可以立即執行(例如，根據圖12)。頻域實現的SAO(FSAO)相對更精確，因為避免了由反變換導致的任何可能分布。
如從該圖可以看出，在視頻編碼器架構的可選實施方式中，在反量化之後且反變換之前實現頻域實現的取樣自適應偏移(FSAO)。
對於實現此等頻域操作來說，可以對接收訊號的視頻訊息執行頻帶複製(SBR)。例如，對於接收輸入位元流(比如，視頻訊號)來說，接收輸入位元流中包括的大部分能量或訊息可以在一頻率以下。例如，根據視頻編碼的執行，特別是對於至少部分在根據輸入視頻訊號(例如，其可以表示為CU、MB等)生成輸出位元流使執行的變換量化操作來說，特定頻率之上的任何能量或訊息一般根據壓縮處理丟失。也就是說，輸入視頻訊號中包括的相對高的頻率的能量或訊息一般根據視頻壓縮(例如，根據時域 至頻域的變換)丟失。
正因如此，輸出位元流(比如視頻編碼器生成的輸出位元流)，通常不包括一定頻率(例如，截止頻率fc，其對應於一個頻率，能量或訊息根據壓縮處理在該頻率之上丟失)之上的大量能量或訊息。正因如此，輸出位元流可以不包括其中所有高頻能量或訊息。正因如此，在視頻解碼器接收的輸入位元流中，當重建或生成輸出視頻訊號時，不會獲得此高頻能量或訊息。例如，當將視頻訊號從發射器設備傳輸至接收器設備時(例如，其可以包括任何合適的處理以便生成符合通訊通道的訊號，將通訊通道符合訊號從發射器設備傳輸至接收器設備，並在接收器設備從通訊通道接收傳輸的訊號，等)，此接收器設備不會獲得原始或先前視頻訊號中可能包含的所有高頻能量或訊息。
然而，根據視頻解碼的執行，可以實現此設備以便基於接收的視頻訊號和/或與此對應或由此產生的輸入位元流中包括的訊息重建此高頻能量或訊息。
例如，根據視頻解碼處理的執行，訊號中的所有能量或訊息可以被識別為在一頻率(例如，截止頻率fc，對應於一個頻率，根據壓縮處理能量或訊息在該頻率之上丟失)以下。根據視頻訊號中相對較高頻率的訊息的重建，頻帶複製(SBR)可以用於提高此視頻訊號的編碼效率。儘管本文針對視頻編碼應用描述了多個示例性實施方式，但同樣要注意的是，在不背離本發明的範圍和精神的情況下，此SBR還可以用於音頻訊號和/或其他類型的訊號。
例如，SBR可以看作是基於並使用與訊號相關聯的能量或訊息的頻域中的諧波殘差。同樣，在視頻編碼的情形下，大部分或所有能量或訊息將在一頻率(例如，截止頻率fc，對應於一個頻率，根據壓縮處理能量或訊息在該頻率之上丟失)以下。此外，在視頻編碼的情形下，同樣要注意的是，可以使此SBR的用途以 人眼和人腦的感知能力試圖對較高頻率的訊息進行精確性相對較低的分析為依據。類似地，對於視頻編碼來說，人腦的心理聲學部分同樣試圖對較高頻率的音頻訊息進行精確性相對較低的分析。正因如此，諧波現象或與此SBR處理相關聯的現象只需要在基於人類感知能力的感知意義內是準確的，不需要在技術方面或數學方面精確(因為人類感知無法高精度地識別此高頻訊息)。
圖13示出了頻帶複製(SBR)一轉置(a)及重建(b)的原理的實施方式1300。針對該圖，從圖的左邊可以看出，能量或訊息的頻率相對較低的部分可以對頻譜的頻率相對較高的部分進行轉置或複製。從圖的右邊可以看出，複製的能量或訊息也可以進行適當縮放(例如，在該實施方式中顯示為向下縮放或衰減)以便在進行了轉置複製的原始能量或訊息和複製並縮放的能量或訊息之間實現相對平穩的過渡。從某些角度看，與視頻訊號的至少一部分對應的能量分布圖(例如，隨頻率變化的能量分布圖)進行複製(或複製縮放)以便生成視頻訊號的另一部分(例如，在不同頻譜部分中)。本文描述的多個實施方式包括從相對較低頻率的部分複製到相對較高頻率的部分。當然，在任何可選實施方式中，可以可選地從相對較高頻率的部分至相對較低頻率的部分執行此複製(或複製縮放)。
一般來說，多個訊號通常以較高的頻率展示出相對較少的能量或訊息。例如，對於視頻訊號來說，以相對較低的頻率包括有大部分能量或訊息。這與音頻訊號類似，其中以相對較低的頻率包括有大部分能量或訊息。此外，考慮到人眼、年齡和/或大腦的感知限制，通常不需要相對較高頻率的大量訊息不會對感知質量提供明顯改善。在該圖及其他圖中，能量或訊息的量(隨頻率變化)一般隨頻率增加而單調遞減。然而，可以看出，可能存在一般的單調遞減趨勢中存在波動的一些情況。
一般來說，圖像(例如，視頻訊號的圖像)內側可能具有大 量邊緣訊息(例如，相對高頻的訊息)，如果在頻域中分析，則對應的頻譜範圍為DC至相對高的頻率。通常情況下，DC和相對低頻的分量的大小比訊號的能量或訊息的總量中的高頻分量更大。
如果除去或大量量化高頻分量(例如，根據如根據視頻編碼執行的變換和量化)，且如果只採用訊號的相對低頻和/或中頻部分(例如，在訊號中從發射器設備傳輸至接收器設備)，那麽銳化邊緣訊息將會不幸被清除。
根據視頻解碼可以採用SBR以便通過轉置來自接收訊號(例如，其包括訊號的相對低頻和/或中頻部分)的諧波複製除去的高頻分量。正因如此，可以根據視頻解碼重建該相對較高的頻率訊息。在不背離本發明的精神和範圍的情況下，可以在包括CU基礎、MB基礎等的多種基礎中的任意基礎上執行SBR相關的處理。
圖14、圖15、圖16和圖17示出了頻帶複製(SBR)的各個實施方式。
參照圖14的實施方式1400，針對該圖可以看出，將在一頻率(例如，截止頻率fc，對應於一個頻率，能量或訊息根據符合視頻處理的壓縮處理在該頻率之上丟失)以下的全部能量或訊息複製到較高的頻率。另外，對複製版本的能量或訊息進行縮放(例如，在該實施方式中示為向下縮放或衰減)以便在進行了轉置複製的原始能量或訊息和複製並縮放的能量或訊息之間實現相對平穩的過渡。
參照圖15的實施方式1500，針對該圖可以看出，將在一頻率(例如，截止頻率fc，對應於一個頻率，能量或訊息根據符合視頻處理的壓縮處理在該頻率之上丟失)以下的全部能量或訊息複製到若干較高的頻帶，正如懷疑是構建能量或訊息1，構建能量或訊息2等，盡可能多地在特定實施方式中進行描述。
參照圖16的實施方式1600，針對該圖可以看出，將一定頻帶(例如，大於第一頻率f1且小於第二頻率f2)內的一部分或子部 分能量或訊息複製到若干(例如，其可以是一個或多個)較高的頻帶。也就是說，在一個或多個較高頻的頻帶中只可以複製這部分或子部分能量或訊息的一次重建。若需要，在多個較高頻的頻帶中可以複製這部分或子部分能量或訊息的多次重建。
參照圖17的實施方式1700，針對該圖可以看出，將一個或多個頻帶(例如，對應於能量或訊息的大於第一頻率f1且小於第二頻率f2的第一頻帶，以及對應於能量或訊息的大於第一頻率f2且小於諸如fc等第三頻率的第二頻帶等)內的超過一部分或一子部分能量或訊息複製到若干(例如，其可以是一個或多個)較高的頻帶。也就是說，在一個或多個較高頻的頻帶中只可以複製每個部分或子部分能量或訊息中的一次重建。若需要，在多個較高頻的頻帶中可以複製這些部分或子部分能量或訊息的多次重建。
如果高頻分量大量量化，但沒有全部除去(是指一部分高頻分量在量化之後仍然保留，但具有很大程度的量化失真)，則在SBR過程中可以用作先導。也就是說，複製的高頻頻帶必須與剩餘的高頻分量的規模和標誌一致。
一般來說，要注意的是，根據SBR處理可以使用一個或多個頻帶中的若干不同部分或子部分能量或訊息中任何能量或訊息。例如，根據視頻解碼，根據SBR處理的執行可以採用一個或多個頻帶中的多個部分或子部分能量或訊息，從而生成一個或多個較高頻頻帶中的較高頻能量或訊息。
在可選實施方式中，要注意的是，可以在發射器設備和接收器設備之間完成協調，使得發射器設備將訊息提供給接收器設備(例如，獨立控制通道中，或嵌入到包括視頻訊息或視頻訊號等的傳輸訊號中)，從而將某些訊息提供給接收器設備以指導接收器設備的操作。例如，接收器設備可以配置或實施為獨立執行並識別若干操作中的任意操作，而無需與發射器設備協同(例如，或許不包括由此接收視頻訊號)。可供選擇地，接收器設備可以配置 或實施為從收發器設備接收特定訊息或指示，以便指導接收器設備應該對接收視頻訊號執行解碼及其他視頻處理的方式。此訊息可以包括與變換和量化操作相關聯的截止頻率，這些變換和量化操作符合與視頻訊號相關聯的視頻編碼，該視頻訊號從發射器設備傳輸給接收器設備。另外，可以將其他指令從發射器設備提供至接收器設備，包括視頻訊號的一個或多個部分或子部分應該複製或縮放的若干次數、應該複製或縮放的視頻訊號的一個或多個部分或子部分(如果適用的話，包括，與任意子部分相關聯的上頻限和下頻限)、要用於視頻訊號的一個或多個部分或子部分的縮放的一個或多個數量或類型、視頻訊號的一個或多個部分或子部分應該複製和/或縮放的若干次數等。與可以理解的一樣，若干不同類型的訊息中的任何類型的訊息包括控制訊息(例如，如可以用於縮放的大小、重建高頻頻譜包絡的頻率範圍，等等)，可以從發射器設備提供至接收器設備以指導接收器設備的操作。
圖18、圖19、圖20A和圖20B示出了執行視頻處理(例如，在一個或多個設備中)的方法的各種實施方式。
參照圖18的方法1800，該方法1800以選擇來自第一視頻訊號的視頻訊息的至少第一部分開始，如方框1810所示。
該方法1800繼續複製視頻訊息的至少第一部分的至少一個特徵以便生成比視頻訊息的至少第一部分相對高的頻率範圍內的視頻訊息的至少第二部分，如方框1820所示。此特徵可以對應於第一視頻訊號的至少一部分的能量分布圖，例如，隨頻率變化的能量，比如根據圖13-17，及在與其他圖相關聯的書面描述中引用的此描述。
該方法1800然後對視頻訊息的至少第一部分和視頻訊息的至少第二部分進行組合生成第二視頻訊號，如方框1830所示。本文描述的視頻處理操作可以在包括逐塊的各種基礎中的任意基礎上(或通過一個或多個視頻訊號的任何其他劃分)執行。
在某些實施方式中，該方法1800還可以繼續經由通訊設備的輸出端輸出第二視頻訊號或對應於第二視頻訊號的訊號，如方框1840所示。
參照圖19的方法1900，該方法1900首先選擇第一視頻訊號的視頻訊息的至少第一部分，如方框1910所示。
該方法1900繼續複製並縮放視頻訊息的至少第一部分，以便生成比視頻訊息的至少第一部分相對高的頻率範圍內的視頻訊息的至少第二部分，如方框1920所示。
該方法1900然後對視頻訊息的至少第一部分和視頻訊息的至少第二部分進行組合生成第二視頻訊號，如方框1930所示。本文描述的視頻處理操作可以在包括逐塊的各種基礎中的任意基礎上(或通過一個或多個視頻訊號的任何其他劃分)執行。
在某些實施方式中，該方法1900還可以繼續經由通訊設備的輸出端輸出第二視頻訊號或對應於第二視頻訊號的訊號，如方框1940所示。
參照圖20A的方法2000，該方法2000首先根據第二視頻訊號的生成，採用第一視頻訊號的視頻訊息的至少第一部分的第一子集，以生成比視頻訊息的至少第一部分相對高的第一頻率範圍內的視頻訊息的至少第二部分的第一子集，如方框2010所示。
該方法2000繼續根據第二視頻訊號的生成採用第一視頻訊號的視頻訊息的至少第一部分的第二子集生成比視頻訊息的至少第一部分相對高的第二頻率範圍內的視頻訊息的至少第二部分的第二子集，如方框2020所示。
參照圖20B的方法2001，該方法2001首先根據第二視頻訊號的生成，採用第一視頻訊號的視頻訊息的至少第一部分，以生成比視頻訊息的至少第一部分相對高的第一頻率範圍內的視頻訊息的至少第二部分的第一子集，如方框2011所示。
該方法2001繼續根據第二視頻訊號的生成，採用第一視頻訊 號的視頻訊息的至少第一部分生成比視頻訊息的至少第一部分相對高的第二頻率範圍內的視頻訊息的至少第二部分的第二子集，如方框2021所示。
還要注意的是，比如利用其中實現的基頻處理模組和/或處理模組和/或其中的其他部件，可以在通訊設備中進行文中針對各個方法所述的各個操作和功能。
如本文所使用的術語“基本上”和“近似地”為其對應術語提供行業接收的容差和/或物品間的相關性。行業接收的容差的範圍小於1%至50%並對應於(但不限於)分量值、集成電路工藝變量、溫度變量、上升和下降時間和/或熱噪音。物品之間的相關性的差別為幾個百分點至數量級。如本文同樣所使用的術語“可操作地耦接至”、“耦接至”和/或“耦接”包括物品之間耦接和/或物品之間通過干擾物品間接耦接(例如，物品包括(但不限於)部件、元件、電路和/或模組)，其中，對間接耦接而言，干擾物品不修改訊號訊息但可以調節其電流電平、電壓電平和/或功率電平。如本文進一步所使用的推測耦接(即，當一個元件通過推斷與另一個元件耦接)包括以與“耦接至”相同的方式在兩個物品之間直接和間接耦接。如本文更進一步所使用的術語“適於”或“適於耦接至”表明物品包括一種或多種電源連接、輸入、輸出等以便在啟動時執行一個或多個對應功能且可以進一步包括與一個或多個其他物品的推測耦接。如本文更進一步所使用的術語“與…相關聯”包括另一物品中嵌入的獨立物品和/或一個物品的直接和/或間接耦接。如本文所使用的術語“有利地比較”表明兩個或兩個以上物品、訊號等之間的比較提供期望的關係。例如，當所述關係為訊號1比訊號2的數量級大時，當訊號1的數量級比訊號2的數量級大時或當訊號2的數量級比訊號1的數量級小時，可以實現有利的比較。
如本文同樣所使用的術語“處理模組”、“模組”、“處理 電路”和/或“處理單元”(例如，包括可以操作、實現和/或用於編碼、解碼、基頻處理的各種模組和/或電路等)可以是單個處理設備或多個處理設備。這種處理設備可以是微處理器、微控制器、數位訊號處理器、微電腦、中央處理器、現場可編程門陣列、可編程邏輯設備、狀態機、邏輯電路、模擬電路、數位電路和/或基於電路的硬編碼和/或操作指令操作訊號(模擬和/或數位)的任何設備。處理模組、模組、處理電路和/或處理單元可以具有相關聯的儲存器和/或集成儲存元件，該儲存器和/或集成儲存元件可以是單個儲存設備、多個儲存設備和/或處理模組的嵌入電路、模組、處理電路和/或處理單元。這種儲存設備可以是只讀儲存器(ROM)、隨機存取儲存器(RAM)、易失性儲存器、非易失性儲存器、靜態儲存器、動態儲存器、閃存、高速緩沖儲存器和/或儲存數位訊息的任意設備。要注意的是，如果處理模組、模組、處理電路和/或處理單元包括一個以上的處理設備，那麽處理設備就可以中心定位(例如，通過有線和/或無線總線結構直接耦接在一起)或可以分布式定位(例如，通過區域網路和/或廣域網路進行的間接耦接雲端計算)。進一步要注意的是，如果處理模組、模組、處理電路和/或處理單元通過狀態機、模擬電路、數位電路和/或邏輯電路實現一種或多種功能，可以將儲存有相應操作指令的儲存器和/或儲存器元件嵌在包括狀態機、模擬電路、數位電路和/或邏輯電路的電路內或外部。進一步要注意的是，儲存器元件可以儲存，處理模組、模組、處理電路和/或處理單元執行對應於一個或多個圖中示出的至少一部分步驟和/或功能的硬編碼和/或操作指令。製品中可以包括有這種儲存器設備或儲存器元件。
上文在示出了指定函數的性能及其關係的方法步驟的幫助下已對本發明進行了描述。為了便於描述，本文任意限定了這些功能構建塊和方法步驟的界限和順序。只要適當執行指定功能和關係，就可以限定替代界限和順序。任何替代界限和順序都在要求 保護的本發明的範圍和精神範圍內。此外，為了便於描述，任意限定了這些功能構建塊的界限。只要適當執行某些重要功能，就可以限定替代界限。類似地，本文也任意限定了流程框圖以便示出某些重要功能。從所用的程度來看，另外規定了流程框圖界限和順序，並仍然執行某些重要功能。功能構建塊和流程圖塊和順序的替代定義在要求保護的本發明的範圍和精神範圍內。本領域的普通技術人員還將明白，本文中的功能構建塊及其他說明性塊、模組和部件可以被實現為利用離散部件、專用集成電路、執行適當軟件等的處理器或其任意組合來示出。
可能已經至少部分地針對一個或多個實施例對本發明進行了描述。本發明的實施例在本文中用來說明本發明，其一方面、其特點、其概念和/或其實例。體現本發明的裝置、製品、機器和/或工藝的物理實施例可以包括參照文中所討論的一個或多個實施例描述的一個或多個方面、特點、概念、實例等。此外，從圖到圖，實施例可以併入可以使用相同或不同參考編號的相同或類似命名的功能、步驟、模組等，正因如此，所述功能、步驟、模組等可以是相同或類似的功能、步驟、模組等或可以是不同的功能、步驟、模組等。
除非從反面特別說明，傳遞給本文中所顯示的任何一個圖中的元件的訊號、來自該元件的訊號和/或元件之間的訊號可以是模擬訊號或數位訊號、連續時間訊號或離散時間訊號以及單端訊號或差分訊號。例如，如果訊號路徑被顯示為單端路徑，則還表示差分訊號路徑。類似地，如果訊號路徑被顯示為差分路徑，則還表示單端訊號路徑。儘管本文對一個或多個特定架構進行了描述，但同樣可以實現其他架構，其他架構使用如本領域的普通技術人員認可的一個或多個數據總線(未明確示出)、元件之間的直接連接和/或其他元件之間的間接耦接。
術語“模組”用於對本發明的各個實施例進行描述。模組包 括經由硬件實現以便執行一個或多個模組功能，比如處理一個或多個輸入訊號以產生一個或多個輸出訊號的功能塊。實現模組的硬件本身可以結合軟件和/或固件進行操作。如本文所使用的模組可以包含一個或多個子模組，每個子模組本身就是模組。
儘管本文明確描述了本發明的各個功能和特點的特定組合，但這些特點和功能的其他組合同樣是可能的。本發明不受本文所公開的特定實例的限制並明確結合其他組合。
1800‧‧‧方法
1810~1840‧‧‧方框

Claims (9)

  1. 一種用於頻域取樣自適應偏移之視頻處理的裝置，包括：視頻處理器，用於：選擇第一視頻訊號的視頻訊息的至少第一部分，其中所述至少第一部分位於低於截止頻率的第一頻率範圍；複製並衰減視頻訊息的所述至少第一部分以生成視頻訊息的至少第二部分，其中所述至少第二部分位於第二頻率範圍，其中所述第二頻率範圍大於所述第一頻率範圍；以及根據所述第一視頻訊號的處理，對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合，生成第二視頻訊號，其中於所述第二視頻訊號的頻域，所述至少第二部分相鄰於所述至少第一部分，所述第二視頻訊號的能量分布圖包括所述至少第一部分與所述至少第二部分之間的平穩的過渡，且所述第二視頻訊號的能量分布圖隨著頻率上升，而大致上呈現單調遞減趨勢。
  2. 根據申請專利範圍第1項所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且所述視頻處理器採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
  3. 根據申請專利範圍第1項所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
  4. 一種用於頻域取樣自適應偏移之視頻處理的裝置，包括：視頻處理器，用於：選擇第一視頻訊號的視頻訊息的至少第一部分，其中所述至少第一部分位於低於截止頻率的第一頻率範圍；複製並衰減視頻訊息的所述至少第一部分的至少一個特徵以生成視頻訊息的至少第二部分，其中所述至少第二部分位於第二頻率範圍，其中所述第二頻率範圍大於所述第一頻率範圍；以及對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合，生成第二視頻訊號，其中於所述第二視頻訊號的頻域，所述至少第二部分相鄰於所述至少第一部分，所述第二視頻訊號的能量分布圖包括所述至少第一部分與所述至少第二部分之間的平穩的過渡，且所述第二視頻訊號的能量分布圖隨著頻率上升，而大致上呈現單調遞減趨勢。
  5. 根據申請專利範圍第4項所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且所述視頻處理器採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
  6. 根據申請專利範圍第4項所述的裝置，其中：所述視頻處理器採用視頻訊息的所述至少第一部分生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
  7. 一種通訊設備的操作方法，所述方法包括： 選擇第一視頻訊號的視頻訊息的至少第一部分，其中所述至少第一部分位於低於截止頻率的第一頻率範圍；複製並衰減視頻訊息的至少第一部分的至少一個特徵以生成視頻訊息的至少第二部分，其中所述至少第二部分位於第二頻率範圍，其中所述第二頻率範圍大於所述第一頻率範圍；對視頻訊息的所述至少第一部分和視頻訊息的所述至少第二部分進行組合生成第二視頻訊號，其中於所述第二視頻訊號的頻域，所述至少第二部分相鄰於所述至少第一部分，所述第二視頻訊號的能量分布圖包括所述至少第一部分與所述至少第二部分之間的平穩的過渡，且所述第二視頻訊號的能量分布圖隨著頻率上升，而大致上呈現單調遞減趨勢；以及經由所述通訊設備的輸出端，輸出所述第二視頻訊號或對應於所述第二視頻訊號的訊號。
  8. 根據申請專利範圍第7項所述的方法，包括：採用視頻訊息的所述至少第一部分的第一子集生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集；並且採用視頻訊息的所述至少第一部分的第二子集生成比視頻訊息的所述至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
  9. 根據申請專利範圍第7項所述的方法，進一步包括：採用視頻訊息的所述至少第一部分，生成比視頻訊息的所述至少第一部分相對高的第一頻率範圍內的視頻訊息的所述至少第二部分的第一子集，以及比視頻訊息的至少第一部分相對高的第二頻率範圍內的視頻訊息的所述至少第二部分的第二子集。
TW102104278A 2012-02-10 2013-02-04 頻域取樣自適應偏移（ｓａｏ） TWI542219B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261597683P 2012-02-10 2012-02-10
US201261603190P 2012-02-24 2012-02-24
US13/623,765 US9380320B2 (en) 2012-02-10 2012-09-20 Frequency domain sample adaptive offset (SAO)

Publications (2)

Publication Number Publication Date
TW201334534A TW201334534A (zh) 2013-08-16
TWI542219B true TWI542219B (zh) 2016-07-11

Family

ID=47715815

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102104278A TWI542219B (zh) 2012-02-10 2013-02-04 頻域取樣自適應偏移（ｓａｏ）

Country Status (5)

Country Link
US (1) US9380320B2 (zh)
EP (1) EP2627087A1 (zh)
KR (1) KR20130092513A (zh)
CN (1) CN103248887A (zh)
TW (1) TWI542219B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9536288B2 (en) * 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
CN103442230B (zh) * 2013-08-27 2018-04-27 复旦大学 适用于hevc标准的编码器中sao模式判决的拉格朗日乘子取值方法
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
CN105993174B (zh) 2013-12-12 2020-03-13 三星电子株式会社 用于用信号传送sao参数的视频编码方法和设备以及视频解码方法和设备
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
CN110267039B (zh) * 2014-04-04 2023-05-16 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN105530519B (zh) * 2014-09-29 2018-09-25 炬芯（珠海）科技有限公司 一种环内滤波方法及装置
CN115665423A (zh) 2014-09-30 2023-01-31 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
CN105472366B (zh) * 2015-12-07 2016-11-02 京东方科技集团股份有限公司 基于心理视觉调制的图像处理方法、装置及显示设备
CN106303450A (zh) * 2016-08-29 2017-01-04 合肥康胜达智能科技有限公司 一种视频图像处理方法
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19505578A1 (de) * 1995-02-18 1996-08-22 Sel Alcatel Ag Optisches Übertragungssystem für Kabelfernsehsignale und Video- und Telekommunikationssignale
RU99116256A (ru) 1996-12-20 2001-05-10 Уэстфорд Текнолэджи Копэрейшн (Us) Способ (варианты) и система для оценки исходного сигнала
EP1246469A3 (fr) * 2001-03-27 2005-04-13 Koninklijke Philips Electronics N.V. Procédé de réduction de format et de décodage similtanés de signaux vidéo codés
DE60208426T2 (de) * 2001-11-02 2006-08-24 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur signalkodierung, signaldekodierung und system zum verteilen von audiodaten
US20130101023A9 (en) * 2007-03-12 2013-04-25 Vixs Systems, Inc. Video encoder with video decoder reuse and method for use therewith
US7911515B2 (en) * 2007-09-20 2011-03-22 Victor Company Of Japan, Ltd. Imaging apparatus and method of processing video signal
AU2009267525B2 (en) * 2008-07-11 2012-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal synthesizer and audio signal encoder
EP2224433B1 (en) * 2008-09-25 2020-05-27 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding

Also Published As

Publication number Publication date
CN103248887A (zh) 2013-08-14
KR20130092513A (ko) 2013-08-20
US9380320B2 (en) 2016-06-28
EP2627087A1 (en) 2013-08-14
TW201334534A (zh) 2013-08-16
US20130208810A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
TWI542219B (zh) 頻域取樣自適應偏移（ｓａｏ）
US11800086B2 (en) Sample adaptive offset (SAO) in accordance with video coding
US9332283B2 (en) Signaling of prediction size unit in accordance with video coding
US9432700B2 (en) Adaptive loop filtering in accordance with video coding
US10165285B2 (en) Video coding tree sub-block splitting
TWI524739B (zh) 根據視頻編碼的採樣點自適應偏移（sao）
TWI538478B (zh) 用於數位視訊處理的裝置及視訊處理器的操作方法
US10547860B2 (en) Video coding with trade-off between frame rate and chroma fidelity
US9231616B2 (en) Unified binarization for CABAC/CAVLC entropy coding
US20130235926A1 (en) Memory efficient video parameter processing

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees