TWI548263B - 用於可縮放視訊編碼的層間預估的細化濾波器 - Google Patents

用於可縮放視訊編碼的層間預估的細化濾波器 Download PDF

Info

Publication number
TWI548263B
TWI548263B TW103100052A TW103100052A TWI548263B TW I548263 B TWI548263 B TW I548263B TW 103100052 A TW103100052 A TW 103100052A TW 103100052 A TW103100052 A TW 103100052A TW I548263 B TWI548263 B TW I548263B
Authority
TW
Taiwan
Prior art keywords
filter
layer
fixed
video data
enhancement
Prior art date
Application number
TW103100052A
Other languages
English (en)
Other versions
TW201448568A (zh
Inventor
張文豪
邱義真
徐利同
鄧子平
韓愈
蔡曉夏
江宏
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201448568A publication Critical patent/TW201448568A/zh
Application granted granted Critical
Publication of TWI548263B publication Critical patent/TWI548263B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於可縮放視訊編碼的層間預估的細化濾波器
本發明關於用於可縮放視訊編碼的層間預估的細化濾波器。
視訊編碼器壓縮視訊資訊使得較多資訊可透過已知頻寬加以送出。該壓縮信號可接著被發送至具有解碼器(其在顯示以前解碼或解壓縮該信號)的接收器。
高效率視訊編碼(HEVC)為最新的視訊壓縮標準，其正由ISO/IEC動態影像專家群(MPEG)及ITU-T視訊編碼專家群(VCEG)所形成之視訊編碼聯合工作小組(JCT-VC)加以研發。類似於先前的視訊編碼標準，HEVC包括基本功能模組，諸如框內/框間預估、變換、量化、迴路濾波、及熵編碼。
隨著HEVC的主要部份之標準化即將到達完成，HEVC的可縮放視訊編碼(SVC)擴充之研究已經開始。SVC為處理現代視訊服務環境中的網路與裝置之異質性的解決方案。HEVC SVC位元流含有本身可被解碼的數 個子位元流，且這些子位元流表示具有不同解析度、訊框率、品質/SNR、位元深度等等的來源視訊內容。為了達成各種可縮放性，多層式編碼結構通常被使用。一般而言，多層式編碼結構具有一個基礎層(BL)及一或更多個增強層(EL)。此結構允許屬於EL的圖片、或圖片的部分從下層圖片(例如，BL圖片或較低階的EL圖片)或者從相同層中的先前已編碼圖片加以預估。
一種用以施行可縮放視訊編碼的電腦實施方法，包含：施加固定式細化濾波器至重建參考層視訊資料，以產生細化的重建視訊資料；及至少部份根據該細化的重建視訊資料，對關聯於該視訊資料的增強層施行層間預估。
102‧‧‧編碼器
104‧‧‧層0
106‧‧‧層1
112‧‧‧增強層輸入訊框
114‧‧‧基礎層輸入訊框
122‧‧‧用於增強層編碼的基礎層資訊
130‧‧‧多工器
140‧‧‧可縮放位元流
200‧‧‧範例可縮放視訊編碼(SVC)編碼系統
201‧‧‧編碼器子系統
203‧‧‧解碼器子系統
202‧‧‧層0編碼器
204‧‧‧層1編碼器
206‧‧‧層2編碼器
208‧‧‧層0解碼器
210‧‧‧層1解碼器
212‧‧‧層2解碼器
224‧‧‧熵編碼器
226‧‧‧壓縮位元流
228‧‧‧熵解碼器
232‧‧‧層間預估模組
234‧‧‧層間預估模組
242‧‧‧細化的重建視訊資料
244‧‧‧重建視訊資料
252‧‧‧重建基礎層視訊資料
254‧‧‧重建基礎層視訊資料
262‧‧‧層間預估模組
264‧‧‧層間預估模組
272‧‧‧細化的重建視訊資料
274‧‧‧細化的重建視訊資料
300‧‧‧範例SVC編碼系統
302‧‧‧基礎層編碼器
304‧‧‧增強層編碼器
306‧‧‧增強層輸入視訊
308‧‧‧基礎層輸入視訊
312‧‧‧變換及量化模組
314‧‧‧逆量化及逆變換模組
315‧‧‧重建基礎層視訊資料
316‧‧‧迴路濾波模組
320‧‧‧框間預估模組
324‧‧‧框內預估模組
326‧‧‧模式決定模組
328‧‧‧變換及量化模組
330‧‧‧逆量化及逆變換模組
332‧‧‧迴路濾波模組
335‧‧‧框間預估模組
338‧‧‧框內預估模組
339‧‧‧模式決定模組
340‧‧‧熵編碼器模組
342‧‧‧位元流
350‧‧‧視訊資料
360‧‧‧層間預估模組
362‧‧‧細化濾波模組
364‧‧‧任選的下層處理模組
365‧‧‧細化的重建視訊資料
400‧‧‧範例SVC解碼系統
401‧‧‧已編碼位元流
402‧‧‧基礎層解碼器
404‧‧‧目標增強層解碼器
406‧‧‧增強層輸出視訊
408‧‧‧基礎層輸出視訊
412‧‧‧框內預估模組
414‧‧‧逆量化及逆變換模組
415‧‧‧重建基礎層視訊資料
416‧‧‧框間預估模組
418‧‧‧迴路濾波模組
420‧‧‧框內預估模組
422‧‧‧逆量化及逆變換模組
424‧‧‧框間預估模組
426‧‧‧迴路濾波模組
427‧‧‧模式決定模組
428‧‧‧語法規格模組
440‧‧‧熵解碼器
442‧‧‧基礎層視訊資料
444‧‧‧增強層視訊資料
460‧‧‧層間預估模組
462‧‧‧細化濾波模組
464‧‧‧任選的下層處理模組
465‧‧‧細化的重建視訊資料
570‧‧‧細化濾波模組
572‧‧‧重建參考層視訊資料
574‧‧‧固定式濾波器
576‧‧‧最佳細化決定模組
578‧‧‧細化的圖片
580‧‧‧細化的重建視訊資料
600‧‧‧範例程序
602‧‧‧方塊
604‧‧‧方塊
606‧‧‧方塊
608‧‧‧方塊
700‧‧‧可縮放視訊編碼系統
702‧‧‧處理器
706‧‧‧SVC編解碼器模組
708‧‧‧記憶體
800‧‧‧位元流
802‧‧‧標頭部分
804‧‧‧資料部分
806‧‧‧指示符
808‧‧‧旗標
810‧‧‧固定式細化濾波器指示符
900‧‧‧範例視訊編碼程序
902‧‧‧方塊
904‧‧‧方塊
1000‧‧‧視訊編碼程序
1001‧‧‧方塊
1002‧‧‧方塊
1003‧‧‧方塊
1004‧‧‧方塊
1005‧‧‧方塊
1006‧‧‧方塊
1007‧‧‧方塊
1008‧‧‧方塊
1009‧‧‧方塊
1010‧‧‧方塊
1011‧‧‧方塊
1012‧‧‧方塊
1013‧‧‧方塊
1020‧‧‧邏輯模組
1030‧‧‧編碼器
1040‧‧‧解碼器
1050‧‧‧層間預估模組
1055‧‧‧增強層編碼器
1060‧‧‧層間預估模組
1065‧‧‧增強層解碼器
1100‧‧‧範例視訊編碼系統
1101‧‧‧成像裝置
1102‧‧‧視訊編碼器
1103‧‧‧天線
1104‧‧‧視訊解碼器
1106‧‧‧處理器
1108‧‧‧記憶體儲存
1110‧‧‧顯示裝置
1140‧‧‧邏輯模組
1200‧‧‧範例系統
1202‧‧‧平台
1205‧‧‧晶片組
1210‧‧‧處理器
1212‧‧‧記憶體
1213‧‧‧天線
1214‧‧‧儲存器
1215‧‧‧圖形子系統
1216‧‧‧應用
1218‧‧‧無線電
1220‧‧‧顯示器
1222‧‧‧使用者介面
1230‧‧‧內容服務裝置
1240‧‧‧內容傳遞裝置
1250‧‧‧導航控制器
1260‧‧‧網路
1300‧‧‧小形式因子裝置
1302‧‧‧外殼
1304‧‧‧顯示器
1306‧‧‧輸入/輸出裝置
1308‧‧‧天線
1310‧‧‧顯示單元
1312‧‧‧導航特徵
此處所述的材料藉由實例且非藉由限於所附圖式加以示出。為了簡單且清楚示出，圖式中所示的元件不必然依比例描繪。例如，一些元件的尺寸可能為了清楚相對於其他元件而誇大。進一步而言，在被認為適當處，參考標記已經在圖式之中重複以指出對應的或類似的元件。在圖式中：第1圖為具有一個基礎層及一個增強層的範例編碼器之示意圖； 第2圖示出範例可縮放視訊編碼系統；第3圖為範例SVC編碼系統的示意圖；第4圖為範例SVC解碼系統的示意圖；第5圖為固定式細化濾波的實例之示意圖；第6圖為示出範例程序的流程圖；第7圖為範例系統的示意圖；第8圖為範例位元流的示意圖；第9圖為示出範例視訊編碼程序的流程圖；第10圖為操作中的範例視訊編碼程序的示意圖；及第11圖為範例視訊編碼系統的示意圖；第12圖為範例系統的示意圖；第13圖示出範例裝置，皆依據本案的至少一些實施方式加以安排。
一或更多實施例或實施方式現在參照所附的圖式加以描述。儘管特定配置及安排被討論，應理解的是，這樣做僅是為了例示目的。熟習相關技藝之人士將承認其他配置及安排可被採用而不背離該說明的精神與範圍。對那些熟習相關技藝之人士而言將顯而易見的是，此處所述的技術及/或安排也可被採用於此處所述以外的各種其他系統及應用中。
儘管下列說明陳述了可被表現於諸如例如系統晶片(SoC)架構的架構中的各種實施方式，此處所述 之技術及/或安排的實施方式不限於特定架構及/或運算系統且可由用於類似目地的任何架構及/或運算系統加以實施。例如，採用例如多個積體電路(IC)晶片及/或封裝的各種架構、及/或各種運算裝置及/或消費性電子(CE)裝置(諸如機上盒、智慧型手機等)可實施此處所述的技術及/或安排。進一步而言，儘管下列說明可能陳述諸如邏輯實施方式、系統組件的類型及相互關係、邏輯分割/整合選擇等的數個特定細節，所主張之標的可在沒有此種特定細節的情況下加以實行。在其他例子中，諸如例如控制結構及完整軟體指令序列的一些素材可能未被詳細顯示以便不會模糊此處所揭示的素材。
此處所揭示的素材可能以硬體、韌體、軟體、或其任意組合加以實施。此處所揭示的素材也可被實施作為機器可讀取媒體中所儲存的指令，其可被一或更多個處理器讀取及執行。機器可讀取媒體可包括用以儲存或傳輸機器(例如，運算裝置)可讀取的形式之資訊的任何媒體及/或機構。例如，機器可讀取媒體可包括唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光學儲存媒體；快閃記憶裝置；電氣、光學、聲學或其他形式的傳播信號(例如，載波、紅外線信號、數位信號等)，及其他。
在說明書中提及「一個實施方式」、「實施方式」、「範例實施方式」等指出的是，所述實施方式可包括特定特徵、結構、或特性，但每個實施例可能不必然 包括該特定特徵、結構、或特性。此外，此種詞語不必然意指相同實施方式。此外，當特定特徵、結構、或特性針對一個實施例加以描述時，提出的是，針對其他實施方式實現此種特徵、結構、或特性是在熟習本技藝之人士的知識範圍內，無論是否在此處被明確描述。
可縮放視訊編碼系統、設備、物品、及方法被描述於下。在可縮放視訊編碼系統中，多層式編碼被用來支援數種的可縮放性，包括空間可縮放性、時間可縮放性、品質可縮放性、位元深度可縮放性等等。依據本案，各種細化濾波器可被用來增加可縮放視訊編碼系統中的可縮放性視訊編碼效率及/或變通性。在各種實施方式中，細化濾波器可被視訊編解碼器、視訊編碼器、視訊處理器、媒體處理器、或相似者的一或更多者採用，以致能例如可縮放視訊編碼中的層間預估。
關於視訊編碼的系統、設備、物品、及方法被描述於下，該視訊編碼包括用於可縮放視訊編碼的層間預估的細化濾波器。
如以上所述，高效率視訊編碼(HEVC)被預期包括可縮放視訊編碼(SVC)擴充。HEVC SVC位元流可包括數個子集位元流，表示在不同空間解析度、訊框率、品質、位元深度等等的來源視訊內容。可縮放性可接著藉由使用多層編碼結構(其一般而言包括基礎層(BL)及至少一個增強層(EL))來加以達成，其可允許圖片、或圖片的部分從下層圖片(例如，BL圖片)或 者從相同層中的先前已編碼圖片加以預估。此種技術可處理現代視訊服務環境中的網路與裝置之異質性。例如，SVC位元流可含有本身可被解碼的數個子集位元流，使得該等子串流可表示具有不同解析度、訊框率、品質、位元深度等等的來源視訊內容。因此在各種網路及裝置情境中，不同視訊品質可根據例如頻寬或裝置限制來加以達成。
如將被較詳細描述於下，固定式細化濾波器可被施加至重建參考層視訊資料(例如，關聯於基礎層或較低階增強層的圖片)以產生細化的重建視訊資料。根據或部份根據該細化的重建視訊資料，層間預估可能對關聯於該視訊資料的增強層加以施行。在一些實例中，該固定式細化濾波器可被施加且該層間預估可在編碼器加以施行且位元流可部份根據在該增強層的層間預估來加以編碼。在其他實例中，該固定式細化濾波器可被施加且該層間預估可在解碼器加以施行且增強層輸出視訊可部份根據在該增強層的層間預估來加以產生以供透過例如顯示裝置呈現。
如此處所使用，術語「編碼器(coder)」可意指編碼器及/或解碼器。類似地，如此處所使用，術語「編碼」可意指透過編碼器施行視訊編碼及/或透過解碼器施行視訊解碼。例如視訊編碼器及視訊解碼器皆可為能夠編碼視訊資料的編碼器之實例。此外，如此處所使用，術語「編解碼器」可意指可實施編碼器及/或解碼器的任 何程序、程式或操作集，諸如例如軟體、韌體、及/或硬體的任意組合。進一步而言，如此處所使用，詞語「視訊資料」可意指任何類型的關聯於視訊編碼的資料，諸如例如視訊訊框、影像資料、已編碼位元流資料、或相似者。
實施例應用至可縮放視訊編碼(SVC)的問題，可縮放視訊編碼被視為在國際視訊編解碼委員會中待被標準化的潛在技術。如所討論，SVC位元流可含有一個基礎層子位元流及至少一個增強層子位元流。一般而言，該基礎層位元流可被獨立解碼以重建基礎層視訊。然而，該增強層位元流無法被獨立解碼，因為增強層訊框可能從下層的重建視訊加以預估(其被稱為層間預估)或經由先前的增強層訊框加以預估。如此處進一步加以討論，該下層可為該基礎層或較低階的增強層。
因此，增強層位元流可能與該下層重建視訊一起編碼/解碼以建立用於該增強層的輸出視訊。在層間預估的先前設計中，增強層訊框可從已處理的下層重建訊框加以直接預估。下層重建的此種處理可包括例如用於空間可縮放性的訊框上採樣、用於位元深度可縮放性的色調映射、或通過而沒有任何處理。進一步而言，先前技術可應用用於可縮放視訊編碼的層間預估之自適應維納濾波器(具有偏移)。如將被較詳細描述於下，此處的實施例應用固定式細化濾波器以改善層間預估的效率。此種技術可例如增加SVC系統的壓縮性能及降低編解碼實施方式的運算複雜度。
如以上所述，SVC為處理現代視訊服務環境中的網路與裝置之異質性的解決方案。SVC位元流含有本身可被解碼的數個子位元流，且這些子位元流表示具有不同解析度、訊框率、品質/SNR、位元深度等等的來源視訊內容。為了達成各種可縮放性，多層式編碼結構通常被使用。一般而言，SVC系統中可能有一個基礎層(BL)及數個增強層(EL)。
第1圖為具有一個基礎層及一個增強層的範例SVC編碼器102之示意圖，依據本案的至少一些實施方式加以安排。如所示，編碼器102可包括一個基礎層(層0(基礎層)104)及一個增強層(層1(增強層)106)。基礎層圖片可被獨立編碼/解碼以建立/重建該基礎層視訊。當增強層圖片被編碼/解碼時，其可從下層圖片或相同層中的先前已編碼/已解碼圖片加以預估。因此，當編碼具有層ID等於N的增強層時，具有層ID小於N的所有層保證應該為可用。例如，當編碼增強層106時，保證基礎層104將為可用。
如所示，增強層106可接收增強層輸入訊框112且基礎層104可接收基礎層輸入訊框114。進一步而言，如所示，基礎層輸入訊框114可具有相對於增強層輸入訊框112的可縮放性，使得它們以某方式加以降頻(decimated)，諸如例如空間上或經由位元深度減少、或相似者。一般而言，增強層輸入訊框112與基礎層輸入訊框114間的可縮放性可為空間可縮放性、品質/SNR可縮 放性、位元深度可縮放性或其他可縮放性。
如所討論，基礎層輸入訊框114可在基礎層104經由HEVC/AVC相容編碼技術(其可採用框內預估、框間預估、及/或層間預估)加以編碼。進一步而言，基礎層104可採用變換、量化、迴路濾波、及熵編碼、及/或SNR可縮放編碼技術以產生輸出位元流。類似地，增強層輸入訊框112可經由增強層106加以處理以產生輸出位元流。來自基礎層104及增強層106的輸出位元流可經由多工器130加以多工處理以產生可縮放位元流140。
如所示，基礎層104可轉移用於增強層編碼的基礎層資訊122至增強層106以供使用於編碼增強層輸入訊框112中。如被較詳細討論於下，用於增強層編碼的基礎層資訊122可藉由施加一或更多個固定式細化濾波器(經由固定式細化濾波)至基礎層104所產生的重建視訊資料而含有或被處理成含有細化的重建視訊資料。
第2圖示出範例可縮放視訊編碼(SVC)編碼系統200，依據本案的至少一些實施方式加以安排。一般而言，系統200可提供一種用以施行可縮放視訊編碼的電腦實施方法。在各種實施方式中，系統200可依據一或更多標準或規格來進行視訊壓縮及解壓縮及/或實施視訊編解碼，諸如例如高效率視訊編碼(HEVC)標準(見ISO/IEC JTC/SC29/WG11及ITU-T SG16 WP3，「高效率視訊編碼(HEVC)本文規格草案8”(JCTVC-J1003_d7)，2012年7月)及其任何可縮放視訊編碼(SVC)擴充。 儘管系統200及/或其他系統、方案或程序在此處於HEVC標準的SVC擴充之情境中加以描述，本案不限於任何特定視訊編碼標準或規格或其擴充。
如所示，系統200可包括可具有多個視訊編碼器的編碼器子系統201，該多個視訊編碼器包括層0或基礎層(BL)編碼器202、層1或第一增強層(EL)編碼器204、及層2或第二EL編碼器206。系統200也可包括解碼器子系統203的對應視訊解碼器，包括層0(BL)解碼器208、層1(EL)解碼器210、及層2(EL)解碼器212。一般而言，該BL可被HEVC相容編碼。如所討論，當編碼具有層識別(ID)例如等於N的EL時，SVC編碼方案提供具有層ID小於N的所有編碼層以供使用於層間預估方案中，使得屬於特定EL的的圖片可從下層圖片(例如，在BL或一或更多下層EL中)加以預估或從相同EL中的先前已編碼圖片加以預估。
依據本案，如將被較詳細解說於下，EL編碼器204及206的任一或兩者可使用經由層間預估模組232及/或層間預估模組234的一或更多者所產生之細化的重建視訊資料以施行層間預估。例如，在一些實施方式中，編碼器204可至少部份藉由使用從層間預估模組232所獲得之細化的重建視訊資料242來施行層間預估。此外，在一些實施方式中，編碼器206可至少部份藉由使用分別從層間預估模組232及/或層間預估模組234所獲得之重建視訊資料242及/或重建視訊資料244來施行層間預估。 如此處進一步加以討論，層間預估模組232可包括下層處理模組及細化濾波模組且可至少部份根據重建基礎層視訊資料252來產生重建視訊資料242。進一步而言，層間預估模組234可包括下層處理模組及細化濾波模組且可至少部份根據重建基礎層視訊資料252及/或重建基礎層視訊資料254來產生重建視訊資料244。
如所討論，EL可使用重建參考層視訊資料以施行層間預估。也如所討論，該重建參考層視訊資料可從BL或較低階EL(或兩者)在該EL加以接收。如此處所使用，術語「參考層」(RL)意指可提供該重建參考層視訊資料至接收及使用該重建參考層視訊資料以施行層間預估的EL之BL或者EL。一般而言，接收及使用該重建參考層視訊資料以施行層間預估的EL可被視為「目標EL」或簡單的EL。
採用編碼器202、204及206的任一或多者，編碼器子系統201可提供個別位元流至熵編碼器224。熵編碼器224可接著提供壓縮位元流226(包括多個層的可縮放視訊內容)至解碼器子系統203的熵解碼器228。依據本案，如亦將被詳細解說於下，EL解碼器210及212的任一或兩者可使用分別從層間預估模組262或者層間預估模組264所獲得之細化的重建視訊資料272或細化的重建視訊資料274(或兩者)以在編碼視訊資料時施行層間預估。例如，在一些實施方式中，解碼器210可藉由使用從層間預估模組262所接收之細化的重建視訊資料272來 施行層間預估。此外，在一些實施方式中，解碼器212可藉由使用分別從層間預估模組262及/或層間預估模組264的任一或兩者所獲得之細化的重建視訊資料272及/或細化的重建視訊資料274來施行層間預估。
儘管第2圖將系統200示出成採用三層的可縮放視訊內容及子系統201中對應組的三個編碼器(與二個層間預估模組)及子系統203中的三個解碼器(與二個層間預估模組)，任何數量的可縮放編碼層及對應的編碼器、解碼器、與層間預估模組可依據本案加以利用。進一步而言，本案不限於第2圖中所示的特定組件及/或系統200的各種組件被安排的方式。
進一步而言，可被承認的是，編碼器子系統201可被關聯於及/或由包括例如視訊內容伺服器系統的內容提供者系統所提供，且位元流226可被各種通訊組件及/或系統傳輸或傳達至解碼器子系統203，諸如第2圖中未示的收發器、天線、網路系統及相似者。也可被承認的是，解碼器子系統203可被關聯於用戶端系統，諸如經由各種通訊組件及/或系統(諸如第2圖中未示的收發器、天線、網路系統及相似者)接收位元流226的運算裝置(例如，桌上型電腦、膝上型電腦、平板電腦、行動電話或相似者)。因此，在各種實施方式中，編碼器子系統201及解碼器子系統203可被一起或者互相獨立實施。進一步而言，儘管此處所述的系統、設備及方法可意指對圖片施行層間預估，本案不限於這方面且層間預估可對視訊 資料圖片的任何分割加以施行，包括例如對視訊資料的序列、層、圖片、片、或塊。
第3及4圖為SVC編解碼器或編碼系統的實例之示意圖，依據本案的至少一些實施方式加以安排。例如，第3圖示出範例SVC編碼系統300且第4圖示出範例SVC解碼系統400。
如第3圖中所示，系統300可包括可在實例中分別對應於系統200的編碼器202及編碼器204的基礎層編碼器302及增強層編碼器304。儘管系統300可能只包括對應於二個SVC編碼層的二個編碼器302及304，諸如例如基礎層編碼器及增強層編碼器，任何數量的SVC編碼層及對應的編碼器可依據本案除了第3圖中所示以外來加以利用。例如，對應於額外增強層的額外編碼器可被含括於系統300中且可能以類似於針對編碼器304加以描述於下的方式來與編碼器302互動。例如，儘管為了清楚呈現起見針對基礎層編碼器302及增強層編碼器304加以描述，系統300可包括關聯於此處所討論之參考層及增強層的任何參考層編碼器及增強層編碼器。一般而言，參考層編碼器可為用於基礎層(如所示)的編碼器或者用於在比關聯於增強層編碼器304的增強層更低階的任何增強層之編碼器。
如所示，基礎層編碼器302可接收基礎層輸入視訊308且增強層編碼器304可接收增強層輸入視訊306。一般而言，基礎層輸入視訊308可被關聯於視訊資 料350的基礎層且增強層輸入視訊306可被關聯於視訊資料350的增強層(諸如目標增強層)。在其他實例中，視訊資料350可如所討論包括參考層(例如，較低階增強層)及增強層(例如，目標增強層)。進一步如所討論，基礎層輸入視訊308可具有相對於增強層輸入視訊306的可縮放性，使得該基礎層可能以某方式加以降頻，諸如例如空間上、由品質、由位元深度減少、或相似者。
如所示，系統300也包括層間預估模組360，其具有細化濾波模組362及任選的下層處理模組364。一般而言，層間預估模組360可被實施作為系統300的個別模組(如所示)、作為增強層編碼器304的一部分、或作為基礎層編碼器302的一部分、或相似者。如此處進一步加以討論，下層處理模組364可施加下層處理至重建基礎層視訊資料315。在各種實例中，該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射或相似者。如所討論，在一些實例中，沒有下層處理可被施加。細化濾波模組362可施加固定式細化濾波器至重建基礎層視訊資料315(具有或者沒有下層處理)以產生細化的重建視訊資料365。增強層編碼器304可至少部份根據細化的重建視訊資料365來施行層間預估，且如此處進一步加以討論，系統300可至少部份根據在增強層編碼器304的該層間預估來編碼位元流342。
當採用系統300以進行SVC編碼時，增強層輸入視訊306的至少一些塊可由增強層編碼器304從基礎 層輸入視訊308被基礎層編碼器302處理的一或更多圖片加以預估或從相同增強層中先前被增強層編碼器304編碼的其他視訊資料(例如，圖片)加以預估。如將被較詳細描述於下，當藉由使用系統300來進行層間預估操作時，增強層輸入訊框306的一或更多圖片可至少部份藉由使用由層間預估模組360及尤其是細化濾波模組362所提供之細化的重建視訊資料365之圖片來加以層間預估。儘管針對圖片階層加以討論，如此處所述使用細化的重建視訊資料以施行增強層層間預估可在例如序列、層、圖片、片、或塊階層加以施加。
一般而言，重建基礎層視訊資料315可根據基礎層輸入視訊308藉由使用編碼迴路的處理來加以決定，該編碼迴路可包括變換及量化模組312、逆量化及逆變換模組314、迴路濾波模組316、框間預估模組320、框內預估模組324、及/或模式決定模組326、或相似者。如第3圖中所示，重建基礎層視訊資料315可從迴路濾波模組316獲得。模組312、314、316、320、324、及326的功能在本技藝中被公認且將在此處未被更詳細描述。
如所示，在增強層編碼器304，細化的重建視訊資料365可在例如模式決定模組339加以接收，且可至少部份被用來藉由使用編碼迴路對增強層輸入訊框306的圖片或塊或相似者施行層間預估，該編碼迴路可包括變換及量化模組328、逆量化及逆變換模組330、迴路濾波模 組332、框內預估模組338、框間預估模組335、及/或模式決定模組339、或相似者。模組328、330、332、338及335的功能在本技藝中被公認且將在此處未被更詳細描述。如所示，模式決定模組339可被配置成實施框內預估模組338、框間預估模組335、及細化的重建視訊資料365的輸出間的模式決定，如此處所討論。如所示，依據本案，增強層編碼器304可使用細化的重建視訊資料365以對增強層輸入視訊306的圖片或塊或相似者施行層間預估。例如，增強層編碼器304可使用增強層輸入視訊306以對增強層輸入視訊306的圖片或塊或相似者施行層間預估。如將被理解，層間補償可對增強層輸入視訊306的任何數量的訊框或其他輸入資料之任何數量的塊或圖片或相似者加以施行。
在各種實施方式中，基礎層編碼器302及增強層編碼器304的任一或兩者可分別提供對應於基礎層輸入視訊308的至少一些及增強層輸入視訊306的至少一些的編碼殘餘(coded residuals)之壓縮係數至熵編碼器模組340。熵編碼器模組340可施行該等殘餘的無損壓縮(例如，經由前文自適應二進制算數編碼(Context-adaptive binary arithmetic coding，CABAC))且提供包括該等編碼殘餘之多工處理的SVC位元流342作為從系統300的輸出。進一步而言，如將被較詳細描述於下，位元流342可包括諸如旗標的指示符，其指定是否如所討論施加固定式細化濾波。如將被較詳細描述於下，取決於此 種指示符的值，解碼系統可能或可能未如所討論藉由使用從層間預估模組所接收之細化的重建視訊資料來施行層間預估。進一步而言，且如亦將被較詳細描述於下，位元流342可包括固定式細化濾波器指示符，其被配置成指出施加多個固定式細化濾波器的哪個固定式細化濾波器。取決於此種固定式細化濾波器指示符的值，解碼系統可施加多個固定式細化濾波器的固定式細化濾波器。
現在轉向第4圖，系統400可包括可例如分別對應於系統200的解碼器208及解碼器210的基礎層解碼器402及目標增強層解碼器404。儘管系統400可能只包括對應於二個SVC編碼層的二個解碼器402及404，任何數量的SVC編碼層及對應的解碼器可依據本案除了第4圖中所示以外來加以利用。例如，對應於額外增強層的額外解碼器可被含括於系統400中且可能以類似於針對增強層解碼器404加以描述於下的方式來與基礎層解碼器402互動。例如，儘管為了清楚呈現起見針對基礎層解碼器402及增強層解碼器404加以描述，系統400可包括關聯於此處所討論之參考層及增強層的任何參考層解碼器及增強層解碼器。一般而言，參考層解碼器可為用於基礎層(如所示)的解碼器或者用於在比關聯於增強層解碼器404的增強層更低階的任何增強層之解碼器。
當採用系統400以進行SVC編碼時，增強層輸出視訊406(例如，增強層輸出訊框)中的各種圖片或塊或相似者可由增強層解碼器404從基礎層輸出視訊408 (例如，基礎層輸出訊框)被基礎層解碼器402處理的一或更多圖片加以層間預估或從相同增強層中先前被增強層解碼器404編碼的其他圖片或塊或相似者加以層間預估。如將被較詳細描述於下，增強層輸出訊框406中的區塊之此種層間預估可採用由層間預估模組460所提供之細化的重建視訊資料465。層間預估模組460可包括細化濾波模組462及任選的下層處理模組464。一般而言，層間預估模組460可被實施作為系統400的個別模組(如所示)、作為增強層編碼器404的一部分、或作為基礎層解碼器402的一部分、或相似者。下層處理模組464可施加下層處理至重建基礎層視訊資料415。在各種實例中，該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射或相似者。如所討論，在一些實例中，沒有下層處理可被施加。細化濾波模組462可施加固定式細化濾波器至重建基礎層視訊資料415(具有或者沒有下層處理)以產生細化的重建視訊資料465。
如所示，系統400可包括熵解碼器440，其可接收及解碼已編碼位元流401以提供基礎層視訊資料442至基礎層解碼器402及提供增強層視訊資料444至增強層解碼器404。也如所示，基礎層解碼器402可包括逆量化及逆變換模組414、框內預估模組412、框間預估模組416、迴路濾波模組418、及/或模式決定模組427。如第4圖中所示，重建基礎層視訊資料415可從迴路濾波模組418獲得。模組412、414、416、418、及427的功能在本 技藝中被公認且將在此處未被更詳細描述。
如所示，細化的重建視訊資料465可被提供至增強層解碼器404的語法規格模組428。增強層解碼器404也可包括逆量化及逆變換模組422、框內預估模組420、框間預估模組424、及/或迴路濾波模組426。當被操作以進行層間預估時，增強層解碼器404可採用細化的重建視訊資料465以重建用於增強層輸出視訊406(例如，增強層輸出訊框)的各種塊之像素資料。進一步而言，增強層解碼器404可根據位元流401中所提供之指示符的值來這樣做，此處位元流401可對應於第2圖的位元流226、第3圖的位元流342、或相似者。例如，位元流401可包括諸如旗標的指示符，其指定是否如所討論施加固定式細化濾波。如將被較詳細描述於下，取決於此種指示符的值，解碼系統可能或可能未如所討論藉由使用從層間預估模組所接收之細化的重建視訊資料來施行層間預估。進一步而言，位元流401可包括固定式細化濾波器指示符，其被配置成指出施加多個固定式細化濾波器的哪個固定式細化濾波器。取決於此種固定式細化濾波器指示符的值，系統400可施加多個固定式細化濾波器的固定式細化濾波器(例如經由層間預估模組460及/或細化濾波模組462)。在一些實例中，該等固定式細化濾波器可如被進一步討論於下施加係數及偏移。所施加的係數及/或偏移可能特定於一個固定式細化濾波器，使得選擇施加哪個固定式細化濾波器可選擇被施加的係數及/或偏移。
如所討論，層間預估模組(例如經由細化濾波模組)可施加固定式細化濾波器至重建參考層視訊資料以產生細化的重建視訊資料。該細化的重建視訊資料可被用來對關聯於該視訊資料的增強層施行層間預估(例如經由增強層編碼器或解碼器)。也如所討論，基礎層及增強層視訊資料可能不同在於相對可縮放性，諸如空間可縮放性、品質/SNR可縮放性、位元深度可縮放性或其他可縮放性。進一步而言，下層處理可在施加該固定式細化濾波器以前被施加至重建參考層視訊資料。一般而言，下層處理的行為可取決於可縮放性。例如，上採樣可針對空間可縮放性加以施加，色調映射可針對位元深度可縮放性加以施加，或在一些實例中，重建參考層視訊資料可被通過而沒有任何處理。一般而言，所施加的固定式細化濾波器可被施加於已處理的下層重建圖片上以改善層間預估的準確度。EL編碼的壓縮效率可藉由使用此已改善的層間預估來加以提高。
在一些實例中，施加該固定式細化濾波器可包括採用單一個固定式細化濾波器。在其他實例中，施加該固定式細化濾波器可包括採用多個固定式細化濾波器。並且在一些實例中，一組固定式濾波器可被用來細化該層間預估。第5圖為範例固定式細化濾波的示意圖，依據本案的至少一些實施方式加以安排。第5圖也示出細化濾波程序，依據本案的至少一些實施方式加以安排。如所示，重建參考層視訊資料572可在細化濾波模組570加以接 收。一般而言，細化濾波模組570可對應於細化濾波模組362或細化濾波模組462、或相似者，且一般而言，細化濾波模組570可如此處所討論經由編碼器或解碼器加以實施。如所討論，重建參考層視訊資料572可被下層處理模組(例如，模組364或464或相似者)預處理或者沒有預處理可被施行。在預處理被採用的實例中，重建參考層視訊資料572可被視為已處理的下層重建預濾波圖片或塊或相似者。如所示，重建參考層視訊資料572可被一或更多個固定式濾波器574濾波以產生一或更多個細化的圖片578。
如所討論，在一些實例中，單一個固定式濾波器574可被採用以產生單一個細化的圖片578。在此種實例中，最佳細化決定模組576可被消除且該單一個細化的圖片578可被轉移作為細化的重現視訊資料580。
在多個固定式濾波器574被採用的一些實例中，僅單一個細化的圖片可被產生。例如，單一個固定式濾波器或多個固定式濾波器可被選擇且僅所選擇的固定式濾波器可產生細化的圖片，其可被轉移作為細化的重建視訊資料580(其可對應於細化的重建視訊資料365、465、或相似者)。例如，當經由解碼器加以採用時，如被進一步討論於下，已接收的位元流可包括固定式細化濾波器指示符，其指出施加該多個固定式細化濾波器的哪個固定式細化濾波器。在其他實施方式(在編碼器或者解碼器)中，最佳細化決定模組576可被採用以決定採用該多個固 定式濾波器的單一個固定式濾波器。例如，最佳細化決定模組576可接收及評估重建參考層視訊資料572以決定施加哪個固定式濾波器。重建參考層視訊資料572的評估可至少部份根據局部自適應法，評估重建參考層視訊資料572的局部邊緣資訊、評估重建參考層視訊資料572的梯度強度、或評估重建參考層視訊資料572的局部變異、或相似者。一般而言，所討論的邊緣資訊、梯度強度、局部變異或其他測量值可被個別用於重建參考層視訊資料572的評估。此種技術的實例被進一步描述於下。
在另外的實例中，多個固定式濾波器574可各產生細化的圖片578之相關細化圖片且最佳細化決定模組576可評估細化的圖片578以決定所選擇之細化的圖片，其可被轉移作為細化的重建視訊資料580。該決定可根據細化的圖片578之任何合適比較加以做出，諸如例如比較細化的圖片578與重建參考層視訊資料572的圖片。儘管針對圖片階層加以討論，如此處所討論，細化濾波模組570及此處所討論的其他模組可在任何影像階層加以實施，包括圖片、片或塊階層、或相似者。
一般而言，固定式濾波器574可包括可如此處所討論從重建參考層視訊資料產生細化的重建視訊資料之任何合適的固定式濾波器。例如，讓P(x,y)表示預濾波圖片(例如，關聯於重建參考層視訊資料572)在位置(x,y)的像素值，該細化濾波(例如，多個固定式濾波器574的固定式濾波器)可對P(x,y)加以實施，如等式(1)中 所示：
其中C i 及O i 可表示第i個固定式濾波器的濾波器係數及偏移值，M 0、M 1、N 0及N 1為可定義濾波器窗的參數，且P'可表示細化的圖片(例如，細化的重建視訊資料)。一般而言，藉由M 0、M 1、N 0及N 1的不同設定，該濾波器可為對稱或非對稱、一維或二維。如所討論，在此種處理以後，最佳細化決定模組576可決定最優細化的結果(例如，來自細化的圖片578之最優結果)。因此，在一些實例中，施加固定式細化濾波器可包括取得該重建參考層視訊資料(例如，像素資料)與濾波器係數的點乘積及添加偏移值(例如，如等式(1)中所示)。在一些實例中，施加該固定式細化濾波器可包括施加該固定式細化濾波器至該重建參考層視訊資料的濾波器窗。在其他實例中，施加該固定式細化濾波器可包括施加該固定式細化濾波器至該重建參考層視訊資料的整體。
如所討論，第5圖示出固定式細化濾波器的實例。一般而言，固定式細化濾波器可具有它們的各別性質。例如，如所討論，該固定式細化濾波器(若僅一個被採用)或多個固定式濾波器的一或更多者可包括對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、或不可分離二維固定式細化濾波器。進一步而言，在各種實例中，該固 定式濾波器(若僅一個被採用)或多個固定式濾波器的一或更多者可為空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器(particular histogram band enhancement filter)、特定直方圖帶通濾波器、低頻增強濾波器、高頻增強濾波器、特定頻帶增強濾波器、高通頻率濾波器、帶通頻率濾波器、或低通頻率濾波器、或一些其他濾波器。
在一些實例中，低通濾波器可提供比重建輸入圖片更平滑之細化的圖片。低通濾波器係數及偏移的實例被顯示於等式(2)中(參照等式(1))：
低通濾波器係數及偏移的另一實例被顯示於等式(3)中(再次參照等式(1))：
在一些實例中，高頻增強濾波器可提供比重建輸入圖片更尖銳之細化的圖片。高頻增強濾波器係數及偏移的實例被顯示於等式(4)中(參照等式(1))：
一般而言，呈現任意組合的任何數量的固定式濾波器可被採用。在範例實施例中，二個固定式濾波器可被採用(例如，用來進行細化)而一個固定式濾波器為使預估性圖片較平滑的低通濾波器且另一個固定式濾波器為使該預估性圖片較尖銳的高頻增強濾波器。例如，該低通濾波器可使用等式(2)或(3)的係數及偏移且該高頻增強濾波器可使用等式(4)的係數及偏移。
在一些實例中，單一個固定式濾波器可被採用(且最佳細化決定模組576可能未被採用)且該單一個固定式濾波器可包括低通濾波器。例如，使用等式(2)或(3)的係數及偏移的單一個固定式濾波器可被採用。在一些實例中，固定式濾波器可被採用而偏移值被迫為零。在一些實例中，固定式濾波器可被採用而增強濾波器係數值被迫為零。
如被進一步討論於下，在一些實施例中，當固定式細化濾波可被施加至層間預估時，關於是否該固定式細化濾波為開或關的決定可被做出(例如，是否固定式細化濾波被施行)。進一步而言，若多個固定式濾波器(例如，細化濾波器)被利用或採用，選擇哪個濾波器 (例如，最優固定式濾波器)也可被決定。此種決定可在不同階層加以做出。例如，該(等)固定式濾波器可在序列、層、圖片、片、或塊階層加以開啟或關閉。進一步而言，哪個濾波器被採用以進行細化也可在序列、層、圖片、片、或塊階層加以切換。例如，決定可被編碼器做出，使得該編碼器可決定細化濾波器的開/關且選擇最優濾波器，且接著送出旗標至解碼器以指出決定結果。
在一些實例中，關於施加(多個已採用濾波器的)哪個濾波器的決定可由局部自適應法加以做出。在一個實施例中，重建參考層視訊資料572(例如，預濾波圖片)的局部性質可被評估或分析以決定固定式濾波器(例如，細化濾波器)的用途。例如，重建參考層視訊資料572的局部邊緣資訊、梯度強度、局部變異、或其他測量值可被用來做出該(等)決定。在一些實例中，編碼器及解碼器兩者可施行相同(或類似)程序且產生相同或實質相同的決定。在此種實例中，在已編碼位元流中可能不需要額外的旗標。
如所討論，重建參考層視訊資料572的局部邊緣資訊、梯度強度、局部變異、或其他測量值可被用來做出關於施加哪個濾波器的決定。例如，若低通濾波器及高通濾波器被使用，可變的最優濾波器指標可被用來指定哪個濾波器可能為最優。在下列實例中，最優濾波器指標0可指出低通濾波器為最優且最優濾波器指標1可指出高通濾波器為最優。假設塊B具有NxN大小，最優濾波器 決定可如等式(5)中所示加以表示：
此處TH可為臨限值(諸如預定臨限或試探決定的臨限或相似者)，且func( )可為該塊的測量值。
如所討論，在各種實例中，重建參考層視訊資料572的局部邊緣資訊、梯度強度、局部變異、或其他測量值。在局部邊緣資訊被使用的實例中，func( )可為目前塊的局部邊緣資訊之測量值，其可如等式(6)、(7)、及(8)中所示加以決定：G x (i,j)=B(i-1,j+1)-B(i-1,j-1)+2B(i,j+1)-2B(i,j-1)+B(i+1,j+1)-B(i+1,j-1)(6)
G y (i,j)=B(i+1,j-1)-B(i-1,j-1)+2B(i+1,j)-2B(i+1,j)+B(i+1,j+1)-B(i-1,j+1)(7)
此處i及j可為計數器變數，B可為關聯於該塊的值，且G可被關聯於局部邊緣資訊。
在梯度強度被使用的實例中，func( )可為目前塊的梯度強度之測量值，其可如等式(9)中所示加以決定：
此處i及j可為計數器變數且B可為關聯於該塊的值。
在局部變異被使用的實例中，func( )可為目前塊的局部變異之測量值，其可如等式(10)及(11)中所示加以決定：
此處i及j可為計數器變數且B可為關聯於該塊的值。
儘管針對塊階層加以討論，以上針對等式(5)至(11)所述的技術可在任何階層加以實施，諸如例如圖片、片、或塊階層、或相似者。進一步而言，儘管針對二個已施加的濾波器加以呈現，所述技術可延伸至任何數量的濾波器。
第6圖為示出範例程序600的流程圖，依據本案的至少一些實施方式加以安排。程序600可包括如第6圖的方塊602、604、606、及/或608之一或更多者所 示的一或更多操作、功能或動作。程序600可形成可縮放視訊編碼程序的至少一部份。藉由非限制性實例，程序600可形成由第4圖之解碼器系統400所進行的用於一或更多個增強層的可縮放視訊解碼程序的至少一部份，儘管程序600或其部分可被進行以如此處所討論形成可縮放視訊編碼程序的至少一部份。
進一步而言，程序600將參照第7圖的可縮放視訊編碼系統700在此處加以描述。第7圖為範例系統700的示意圖，依據本案的至少一些實施方式加以安排。如第7圖中所示，系統700可包括處理器702、SVC編解碼器模組706、及記憶體708。處理器702可樣例化SVC編解碼器模組706以提供依據本案的層間預估。在系統700的實例中，記憶體708可儲存視訊內容。SVC編解碼器模組706可由軟體、韌體、及/或硬體的任意組合加以提供。在一些實例中，SVC編解碼器模組706(或較一般的邏輯模組)可包括層間預估模組，其可被配置成施加固定式細化濾波器至重建參考層視訊資料以產生細化的重建視訊資料及/或增強層視訊編碼器至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層施行層間預估。記憶體708可為任何類型的記憶體，諸如揮發性記憶體(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非揮發性記憶體(例如，快閃記憶體等)等等。在非限制性實例中，記憶體708可由快取記憶體加以實施。
轉向第6圖的討論，程序600可在決定方塊602開始，「對EL施行層間預估？」，此處關於是否層間預估應對增強層施行的決定可被做出。若層間預估被施行，則程序600可在方塊604繼續，然而若層間預估未被施行，則程序600可結束。在一些實例中，諸如解碼器實施方式，決定是否層間預估被施行可包括存取位元流以決定指示符(例如，位元流旗標)，使得該指示符指定是否施行框間預估或施加固定式細化濾波或相似者。
程序600可在方塊604繼續，「決定施加哪個固定式濾波器」，此處針對目前序列、層、圖片、片、或塊，多個固定式細化濾波器的哪個可被採用，關於施加哪個固定式細化濾波器的決定可被做出。如所討論，在一些實例中，單一個固定式細化濾波器可被採用。在此種實例中，方塊604可被略過。在多個固定式細化濾波器被採用的解碼器實例中，決定採用哪個固定式細化濾波器可包括存取位元流以決定固定式細化濾波器指示符，其指出施加該多個固定式細化濾波器的哪個固定式細化濾波器。在編碼器實例(及沒有固定式細化濾波器指示符被提供的解碼器實例)中，決定採用哪個固定式細化濾波器可包括評估重建參考層資料及/或評估多個固定式細化濾波器結果(例如，細化的重建視訊資料)以決定所選擇的固定式細化濾波器，如此處所討論。
程序600可在方塊606結束，「施加固定式細化濾波器」，此處該單一個或所選擇的固定式細化濾波 器可被施加至重建參考層視訊資料以產生細化的重建視訊資料。如所討論，在一些實例中，各個固定式細化濾波器可能已經被施加且生成的資料可能已經被用來選擇固定式濾波器。在此種實例中，方塊606可被略過或可包括轉移所選擇之細化的重建視訊資料或相似者。程序600可在方塊608繼續，「至少部份根據細化的重建視訊資料來對EL施行層間預估」，此處層間預估可如此處所討論對關聯於該視訊資料的增強層加以施行。
如所討論，在各種實施方式中，在施行細化濾波以前，下層處理可被施行。此種處理可包括例如用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射或相似者。
如所討論，在各種實施方式中，程序600的部分(諸如在方塊602決定是否施行層間預估)可回應於在例如位元流中被提供至解碼器的指示來加以進行。第8圖為諸如位元流140、226、342、或401、或相似者的範例位元流800之示意圖，依據本案的至少一些實施方式加以安排。如第8圖中所示，位元流800可包括標頭部分802及資料部分804。標頭部分802可包括一或更多個指示符806。例如，指示符806可包括指示符或旗標808，其值指定如此處所述是否對增強層的目前序列、層、圖片、片、或塊施行層間預估或施加固定式細化濾波。此外，位元流800可包括諸如一或更多個固定式細化濾波器指示符810的其他資訊以如以上所述指出施加多個固定式 細化濾波器的哪個固定式細化濾波器。如所討論，在一些實例中，各個固定式細化濾波器可施加可能特定於該固定式細化濾波器的係數及偏移，使得選擇施加哪個固定式細化濾波器可選擇被施加的係數及/或偏移。
此處所述之系統的各種組件可能以軟體、韌體、及/或硬體及/或其任意組合加以實施。例如，系統300的各種組件可至少部份由運算系統晶片(SoC)(諸如可在諸如例如智慧型電話的運算系統中找到)的硬體加以提供。熟習本技藝之人士可承認此處所述的系統可包括對應圖式中未被描繪的額外組件。例如，此處所述的系統可包括為了清楚起見未被描繪的額外組件，諸如位元流多工器或解多工器模組及相似者。
第9圖為示出範例視訊編碼程序900的流程圖，依據本案的至少一些實施方式加以安排。在所示的實施方式中，程序900可包括如方塊902及/或904之一或更多者所示的一或更多操作、功能或動作。藉由非限制性實例，程序900將參照範例視訊編碼系統200或包括編碼系統300及解碼系統400的視訊系統在此處加以描述。程序900如所示可針對編碼或解碼且所述的概念及/或操作可能以相同或類似於一般的編碼之方式加以施加。
程序900可被利用作為用以施行可縮放視訊編碼的電腦實施方法。程序900可在操作902開始，「施加固定式細化濾波器至重建參考層視訊資料以產生細化的重建視訊資料」，此處固定式細化濾波器可被施加至重建 參考層視訊資料以產生細化的重建視訊資料。例如，細化的重建視訊資料265可在系統200的層間預估模組260的細化濾波模組262加以產生，或者例如細化的重建視訊資料365可在系統300的層間預估模組360的細化濾波模組362加以產生。如所討論，該細化的重建視訊資料可包括根據固定式濾波器(其可包括取得該重建參考層視訊資料與濾波器係數的點乘積及添加偏移值)的細化的資料且各種效應可經由該等係數與偏移值來加以實施。
處理可從操作902繼續至操作904，「至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層施行層間預估」，此處層間預估可至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層加以施行。層間預估可例如在系統200的增強層編碼器204或系統300的增強層解碼器304加以施行。
一般而言，程序900可對該增強層的視訊資料的任何數量序列、層、圖片、片或塊及/或對資料的任何數量訊框、或相似者以串列或者並行方式重複任何次數。生成的層間預估可被用來編碼位元流或用來產生輸出視訊資料(例如，增強層訊框)以供經由例如顯示裝置呈現。關於程序900的一些額外的及/或替代的細節可被示出於此處且尤其針對以下第10圖所討論之實施方式的一或更多實例中。
第10圖為操作中的範例視訊編碼系統100及視訊編碼程序1000的示意圖，依據本案的至少一些實施 方式加以安排。在所示的實施方式中，程序1000可包括如動作1001、1002、1003、1004、1005、1006、1007、1008、1009、1010、1011、1012、1013、及/或1014之一或更多者所示的一或更多操作、功能或動作。藉由非限制性實例，程序1000將參照包括第3圖的編碼器系統300及第4圖的解碼器系統400的範例視訊編碼系統在此處加以描述。
在所示的實施方式中，視訊編碼系統100可包括邏輯模組1020、相似者、及/或其組合。例如，邏輯模組1020可包括編碼器1030(其可對應於例如編碼器201或300)，該邏輯模組可包括層間預估模組1050與增強層編碼器1055及解碼器1040(其可對應於例如解碼器203或400)，該解碼器可包括層間預估模組1060及增強層解碼器1065。儘管視訊編碼系統100如第10圖中所示可包括一個特定組的關聯於特定模組的塊或動作，這些塊或動作可被關聯於與此處所述特定模組不同的模組。儘管程序1000如所述針對編碼及解碼，所述的概念及/或操作可被個別施加至編碼及/或解碼以及較一般施加至視訊編碼。
程序1000可在方塊1001開始，「施加下層處理至重建影像資料」，此處下層處理可被施加至重建影像資料。在各種實例中，該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射或相似者。例如，重建基礎層視訊資料315可被下層處理模組 364處理。在一些實例中，該下層處理可經由層間預估模組1050加以實施。
程序1000可從方塊1001繼續至方塊1002，「決定施加哪個固定式細化濾波器」，此處施加哪個固定式細化濾波器可被決定。如所討論，在一些實例中，該決定可在施加固定式細化濾波器以前且該決定可根據重建參考層視訊資料的評估從多個已採用的固定式細化濾波器加以做出。例如，該評估可至少部份根據局部自適應法，使得該評估包括評估該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異。
也如所討論，在其他實例中，多個固定式細化濾波器可能各產生關聯的細化的圖片且決定使用哪個固定式細化濾波器可根據所產生之細化的圖片。該決定可根據該等細化的圖片之任何合適比較來加以做出，諸如例如比較細化的圖片與重建參考層視訊資料的圖片。在此種實例中，方塊1002可視需要在方塊1003以後施加。
程序1000可從方塊1002繼續至1003，「施加固定式細化濾波器」，此處固定式細化濾波器可被施加至重建參考層視訊資料以產生細化的重建視訊資料。如所討論，在一些實例中，該固定式細化濾波器可包括所選擇的細化濾波器且在其他實例中多個固定式細化濾波器可被施加且在所產生之資料中的最佳選擇可被使用。又在其他實例中，僅單一個固定式細化濾波器可被採用及使用。在 此種實例中，方塊1002可被略過。在一些實例中，該固定式細化濾波器可經由層間預估模組1050加以施加。
程序100可在方塊1004繼續，「施行層間預估」，此處對關聯於該視訊資料的增強層之層間預估至少部份根據該細化的重建視訊資料。例如，增強層編碼器304可至少部份根據細化的重建視訊資料365來施行層間預估。在一些實例中，層間預估可被增強層編碼器1055施行。
程序1000可從方塊1004繼續至1005，「編碼位元流」，此處位元流可至少部份根據該層間預估來加以編碼。在一些實例中，該位元流可能以殘餘編碼加以編碼。如所討論，在一些實例中，該位元流可能以指示符(其指定是否施加該固定式細化濾波器)及/或固定式細化濾波器指示符(配置成指出施加多個固定式細化濾波器(若採用時)的哪個固定式細化濾波器)加以編碼。例如，位元流可被熵編碼器340或相似者編碼。
程序1000可從方塊1005繼續至方塊1006，「轉移位元流」，此處已編碼位元流可被轉移。如所示，該已編碼位元流可被轉移至解碼器1040。如所討論，編碼器1030可被關聯於及/或由內容提供者系統所提供且解碼器1040可被關聯於用戶端系統。因此，在各種實施方式中，編碼器1030及解碼器1040可被互相實質獨立實施。在各種實例中，該位元流可經由網際網路、經由記憶體、或相似者加以轉移。如將被理解，在一些實施方式 中，該位元流可被串列或者並行轉移至多個裝置。
程序1000可從方塊1006繼續或在方塊1007開始，「存取位元流以決定指定是否施加固定式細化濾波器的指示符」，此處關聯於視訊資料的位元流可被存取以決定可指定是否施加固定式細化濾波的指示符。該指示符可被例如解碼器300存取。在一些實例中，該指示符可包括位元流旗標。若固定式細化濾波未被施加(或若層間預估未被施行)，則程序1000可跳至方塊1012。
若固定式細化濾波被施行，程序1000可在方塊1008繼續(若細化濾波器指示符已經經由該位元流加以提供)，「存取位元流以決定固定式細化濾波器指示符」，此處關聯於該視訊資料的位元流可被存取以決定固定式細化濾波器指示符。如所討論，在一些實例中，固定式細化濾波器指示符可在位元流中加以編碼以供解碼。若沒有固定式細化濾波器指示符已經在該位元流中被編碼(且多個固定式細化濾波器被採用)，採用哪個固定式細化濾波器可如針對1002與1003及本文別處所討論加以決定。
程序1000可在方塊1009繼續，「施加下層處理至重建影像資料」，此處下層處理可被施加至重建影像資料。在各種實例中，該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射或相似者，如所討論。例如，重建基礎層視訊資料415可被下層處理模組464處理。在一些實例中，該下層處理可經由層 間預估模組1060加以實施。
程序1000可從方塊1009繼續至方塊1010，「施加固定式細化濾波器」，此處固定式細化濾波器可被施加至重建參考層視訊資料以產生細化的重建視訊資料。如所討論，在一些實例中，施加該固定式細化濾波器可包括所選擇的細化濾波器(根據存取已接收位元流或者根據在該解碼器的決定)且在其他實例中多個固定式細化濾波器可被施加且在所產生之資料中的最佳選擇可被使用。又在其他實例中，僅單一個固定式細化濾波器可被採用及使用。在此種實例中，方塊1008可被略過。
程序1000可在方塊1011繼續，「施行層間預估」，此處對關聯於該視訊資料的增強層之層間預估至少部份根據該細化的重建視訊資料。例如，增強層解碼器304可至少部份根據細化的重建視訊資料365來施行層間預估。在一些實例中，層間預估可被增強層解碼器1065施行。
程序1000可從方塊1011繼續至1012，「產生增強層輸出視訊資料」，此處關聯於增強層的增強層輸出視訊資料可至少部份根據該層間預估加以產生。例如，增強層解碼器404可產生增強層輸出視訊406。
程序1000可從方塊1012繼續至1013，「轉移輸出視訊資料以供呈現」，此處該輸出視訊資料可被轉移以供呈現。例如，輸出視訊資料可經由顯示裝置呈現給使用者。
儘管此處範例程序的實施方式可包括進行以所示順序顯示的所有方塊，本案不限於此方面且在各種實例中，此處範例程序的實施方式可包括進行僅所示方塊的子集及/或以不同於所示順序進行。
此外，此處所討論之方塊的任一或更多者可回應於由一或更多個電腦程式產品所提供的指令來加以進行。此種程式產品可包括提供指令的信號承載媒體，該等指令在被例如處理器執行時可提供此處所述的功能。該電腦程式產品可能以任何形式的一或更多機器可讀取媒體加以提供。因此，例如包括一或更多個處理器核心的處理器可回應於被一或更多機器可讀取媒體傳達至該處理器的程式碼及/或指令或指令集，進行此處範例程序的方塊之一或更多者。一般而言，機器可讀取媒體可能以程式碼及/或指令或指令集的形式傳達軟體，該程式碼及/或指令或指令集可使此處所述裝置及/或系統的任一者實施視訊系統200、300、或400、SVC編解碼器模組706、層間預估模組1050或1060、或相似者、或此處所述之任何其他模組或組件的至少部分。
如此處描述的任何實施方式中所使用，術語「模組」意指被配置成提供此處所述功能的軟體邏輯、韌體邏輯及/或硬體邏輯的任意組合。該軟體可被體現作為套裝軟體、碼及/或指令集或指令，且「硬體」如此處描述的任何實施方式中所使用可包括例如單一或呈現任意組合的固線式電路、可程式化電路、狀態機電路、及/或儲 存被可程式化電路執行的指令之韌體。該等模組可集體或個別被體現作為形成較大系統(例如，積體電路(IC)、系統晶片(SoC)等等)的一部份之電路。
第11圖為範例視訊編碼系統1100的示意圖，依據本案的至少一些實施方式加以安排。在所示實施方式中，視訊編碼系統1100可包括成像裝置1101、視訊編碼器1102、天線1103、視訊解碼器1104、一或更多個處理器1106、一或更多個記憶體儲存1108、顯示裝置1110、及/或邏輯模組1140。邏輯模組1140可包括層間預估模組1060及/或增強層解碼器1065、相似者、及/或其組合。如以上所討論，在各種實例中，層間預估模組1060可經由增強層解碼器1065或經由基礎層解碼器加以實施，該基礎層解碼器為了清楚起見未被顯示於第11圖中。在一些實例中，視訊編碼器1102可實施包括例如層間預估模組1050及/或增強層編碼器1055的一或更多個邏輯模組。
如所示，天線1103、視訊解碼器1104、處理器1106、記憶體儲存1108、及/或顯示裝置1110可能能夠互相通訊及/或與邏輯模組1140的部分通訊。類似地，成像裝置1101及視訊編碼器1102可能能夠互相通訊及/或與邏輯模組1140的部分通訊。因此，視訊解碼器1104可包括邏輯模組1140的全部或部分，而視訊編碼器1102可包括類似邏輯模組。儘管視訊編碼系統1100如第11圖中所示可包括關聯於特定模組的一個特定組的方塊 或動作，這些方塊或動作可被關聯於與此處所述特定模組不同的模組。
在一些實例中，視訊編碼系統1100可包括天線1103、視訊解碼器1104、相似者、及/或其組合。天線1103可被配置成接收視訊資料的已編碼位元流。視訊解碼器1104可被通訊耦接至天線1103且可被配置成解碼該已編碼位元流。視訊解碼器1104可被配置成施加固定式細化濾波器至重建參考層視訊資料以產生細化的重建視訊資料且至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層施行層間預估。
在其他實例中，視訊編碼系統1100可包括顯示裝置1110、一或更多個處理器1106、一或更多個記憶體儲存1108、層間預估模組1060、相似者、及/或其組合。顯示裝置1110可被配置成呈現視訊資料。處理器1106可被通訊耦接至顯示裝置1110。記憶體儲存1108可被通訊耦接至一或更多個處理器1106。視訊解碼器1104(或在其他實例中的視訊編碼器1102)的層間預估模組1060可被通訊耦接至一或更多個處理器1106且可被配置成施加固定式細化濾波器至重建參考層視訊資料以產生細化的重建視訊資料。增強層解碼器1065可被通訊耦接至一或更多個處理器1106且配置成至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層施行層間預估，使得經由顯示裝置1110呈現影像資料可至少部份根據該層間預估。
在各種實施例中，邏輯模組1140可在硬體中加以實施，而軟體可實施其他邏輯模組。例如，在一些實施例中，層間預估模組1060及/或增強層解碼器1065可由應用特定積體電路(ASIC)邏輯加以實施，而其他邏輯模組可由被諸如處理器1106的邏輯執行的軟體指令加以提供。然而，本案不限於此方面且邏輯模組1140及/或其他邏輯模組可由硬體、韌體及/或軟體的任意組合加以實施。此外，記憶體儲存1108可為任何類型的記憶體，諸如揮發性記憶體(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非揮發性記憶體(例如，快閃記憶體等)等等。在非限制性實例中，記憶體儲存1108可由快取記憶體加以實施。
在實施例中，此處所述的特徵可回應於由一或多個電腦程式產品所提供的指令來加以進行。此種程式產品可包括提供指令的信號承載媒體，該等指令在被例如處理器執行時可提供此處所述的功能。該電腦程式產品可能以任何形式的一或更多機器可讀取媒體加以提供。因此，例如包括一或更多個處理器核心的處理器可回應於被一或更多機器可讀取媒體傳達至該處理器的程式碼及/或指令或指令集，進行此處所述的一或更多個特徵。一般而言，機器可讀取媒體可能以程式碼及/或指令或指令集的形式傳達軟體，該程式碼及/或指令或指令集可使此處所述裝置及/或系統的任一者實施此處所述特徵的至少部分。
第12圖為範例系統1200的示意圖，依據本案的至少一些實施方式加以安排。在各種實施方式中，系統1200可為媒體系統，儘管系統1200不限於此情境中。例如，系統1200可被併入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合式蜂巢電話/PDA、電視、智慧型裝置(例如，智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、發信裝置、資料通訊裝置、相機(例如傻瓜相機、超級變焦相機、數位單眼反射(DSLR)相機)等等中。
在各種實施方式中，系統1200包括被耦接至顯示器1220的平台1202。平台1202可從內容裝置(諸如內容服務裝置1230或內容傳遞裝置1240或其他類似內容來源)接收內容。包括一或更多個導航特徵的導航控制器1250可被用來與例如平台1202及/或顯示器1220互動。這些組件的各者被較詳細描述於下。
在各種實施方式中，平台1202可包括晶片組1205、處理器1210、記憶體1212、天線1213、儲存器1214、圖形子系統1215、應用1216及/或無線電1218的任意組合。晶片組1205可提供處理器1210、記憶體1212、儲存器1214、圖形子系統1215、應用1216及/或無線電1218之中的互通。例如，晶片組1205可包括能夠提供與儲存器1214的互通之儲存轉接器(未描繪)。
處理器1210可被實施作為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容處理器、多核心、或任何其他微處理器或中央處理單元(CPU)。在各種實施方式中，處理器1210可為雙核心處理器、雙核心行動處理器等等。
記憶體1212可被實施作為揮發性記憶裝置，諸如但不限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態隨機存取記憶體(SRAM)。
儲存器1214可被實施作為非揮發性儲存裝置，諸如但不限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接式儲存裝置、快閃記憶體、電池備份SDRAM(同步DRAM)、及/或網路可存取儲存裝置。在各種實施方式中，儲存器1214可包括用以在例如多個硬碟機被包括時增加用於有價值數位媒體之儲存性能增強保護的技術。
圖形子系統1215可施行諸如靜止或視訊之影像的處理以供顯示。圖形子系統1215可為例如圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可被用來通訊耦接圖形子系統1215與顯示器1220。例如，該介面可為高解析度多媒體介面、顯示埠、無線HDMI、及/或無線HD相容技術的任一者。圖形子系統1215可被整合至處理器1210或晶片組1205中。在一些實施方式中，圖形子系統1215可為通訊耦接至晶片組1205的獨立式裝置。
此處所述的圖形及/或視訊處理技術可能以各種硬體架構加以實施。例如，圖形及/或視訊功能可被整合於晶片組內。替代地，分離式圖形及/或視訊處理器可被使用。作為又一實施方式，該等圖形及/或視訊功能可由一般用途處理器加以提供，包括多核心處理器。在另外的實施例中，該等功能可能以消費電子裝置加以實施。
無線電1218可包括能夠藉由使用各種合適無線通訊技術來發送及接收信號的一或更多無線電。此種技術可涉及跨越一或更多個無線網路的通訊。範例無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、蜂巢式網路、及衛星網路。在跨越此種網路通訊中，無線電1218可依據任何版本的一或更多個可應用標準來操作。
在各種實施方式中，顯示器1220可包括任何電視類型監視器或顯示器。顯示器1220可包括例如電腦顯示螢幕、觸控螢幕顯示器、視訊監視器、電視型裝置、及/或電視。顯示器1220可為數位及/或類比。在各種實施方式中，顯示器1220可為全像顯示器。並且，顯示器1220可為可接收視覺投射的透明表面。此種投射可傳達各種形式的資訊、影像、及/或物件。例如，此種投射可為用於行動擴增實境(MAR)應用的視覺覆蓋。受到一或更多個軟體應用1216的控制，平台1202可顯示使用者介面1222於顯示器1220上。
在各種實施方式中，內容服務裝置1230可被 任何全國、國際及/或獨立服務代管且因此經由例如網際網路可存取平台1202。內容服務裝置1230可被耦接至平台1202及/或至顯示器1220。平台1202及/或內容服務裝置1230可被耦接至網路1260以傳送(例如送出及/或接收)媒體資訊進出網路1260。內容傳遞裝置1240也可被耦接至平台1202及/或至顯示器1220。
在各種實施方式中，內容服務裝置1230可包括有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容的連網(Internet enabled)裝置或器具、及能夠經由網路1260或直接在內容提供者與平台1202及/或顯示器1220間單向或雙向傳送內容的任何其他類似裝置。將被理解的是，該內容可經由網路1260被單向及/或雙向傳送進出系統1200中的組件的任一者以及內容提供者。內容的實例可包括任何媒體資訊，包括例如視訊、音樂、醫療及遊戲資訊等等。
內容服務裝置1230可接收內容，諸如包括媒體資訊、數位資訊、及/或其他內容的有線電視節目。內容提供者的實例可包括任何有線或衛星電視或無線電或網際網路內容提供者。所提供的實例未意指以任何方式限制依據本案的實施方式。
在各種實施方式中，平台1202可從具有一或更多個導航特徵的導航控制器1250接收控制信號。控制器1250的導航特徵可被用來與例如使用者介面1222互動。在各種實施例中，導航控制器1250可為指向裝置， 其可為容許使用者輸入空間(例如，連續及多維)資料至電腦中的電腦硬體組件(具體而言，人機介面裝置)。諸如圖形使用者介面(GUI)的許多系統、及電視與監視器容許使用者藉由使用身體姿勢來控制及提供資料至該電腦或電視。
控制器1250的導航特徵之移動可藉由指標、游標、聚焦環或該顯示器上所顯示之其他視覺指示的移動而被複製於顯示器(例如，顯示器1220)上。例如，受到軟體應用1216的控制，位於導航控制器1250上的導航特徵可被映射至例如使用者介面1222上所顯示的虛擬導航特徵。在各種實施例中，控制器1250可能不是個別組件但可能被整合至平台1202及/或顯示器1220中。然而本案不限於該等元件或此處所示或所述的情境中。
在各種實施方式中，驅動器(未顯示)可包括用以讓使用者能夠立即開啟及關閉平台1202的技術，像是在例如最初開機以後在致能時觸碰按鈕的電視。程式邏輯可容許平台1202即使在該平台被「關閉」時串流內容至媒體轉接器或其他內容服務裝置1230或內容傳遞裝置1240。此外，晶片組1205可包括對例如5.1環繞聲音訊及/或高解析度7.1環繞聲音訊的硬體及/或軟體支援。驅動器可包括用於整合式圖形平台的圖形驅動器。在各種實施例中，該圖形驅動器可包含周邊組件互連(PCI)快速圖形卡。
在各種實施方式中，系統1200中所示之組件 的任一或更多者可被整合。例如，平台1202及內容服務裝置1230可被整合，或平台1202及內容傳遞裝置1240可被整合，或例如平台1202、內容服務裝置1230、及內容傳遞裝置1240可被整合。在各種實施例中，平台1202及顯示器1220可為整合式單元。顯示器1220及內容服務裝置1230可被整合，或例如顯示器1220及內容傳遞裝置1240可被整合。這些實例未意指限制本案。
在各種實施例中，系統1200可被實施作為無線系統、有線系統、或兩者的組合。當被實施作為無線系統時，系統1200可包括適於透過無線共享媒體(諸如一或更多個天線、發送器、接收器、收發器、放大器、濾波器、控制邏輯等等)通訊的組件及介面。無線共享媒體的實例可包括無線頻譜的部分，諸如RF頻譜等等。當被實施作為有線系統時，系統1200可包括適於透過有線通訊媒體(諸如輸入/輸出(I/O)轉接器、用以連接該I/O轉接器與對應有線通訊媒體的實體連接器、網路介面卡(NIC)、磁碟控制器、視訊控制器、音訊控制器、及相似者)通訊的組件及介面。有線通訊媒體的實例可包括電線、電纜、金屬導線、印刷電路板(PCB)、底板、交換結構、半導體材料、雙絞線、同軸電纜、光纖等等。
平台1202可建立一或更多個邏輯或實體頻道以傳送資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可意指表示對使用者有意義的內容之任何資料。內容的實例可包括例如來自語音通話的資料、視訊會議、串流視 訊、電子郵件(「email」)訊息、語音郵件訊息、字母數字符號、圖形、影像、視訊、文字等等。來自語音通話的資料可為例如語音資訊、靜音期間、背景雜訊、舒適雜訊、音調等等。控制資訊可意指表示對自動化系統有意義的命令、指令或控制字之任何資料。例如，控制資訊可被用來路由媒體資訊通過系統、或指示節點以預定方式處理該媒體資訊。然而實施例不限於該等元件或第12圖所示或所述的情境中。
如以上所述，系統1200可能以不同的實體風格或形式因子加以體現。第13圖示出其中系統1300可被體現之小形式因子裝置1300的實施方式。在各種實施例中，例如裝置1300可被實施作為具有無線能力的行動運算裝置。行動運算裝置可意指具有例如處理系統及行動電源或供應(諸如一或更多個電池)的任何裝置。
如以上所述，行動運算裝置的實例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合式蜂巢電話/PDA、電視、智慧型裝置(例如，智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、發信裝置、資料通訊裝置、相機(例如傻瓜相機、超級變焦相機、數位單眼反射(DSLR)相機)等等。
行動運算裝置的實例也可包括被配置成由個人所穿戴的電腦，諸如手腕電腦、手指電腦、環電腦、眼 鏡電腦、皮帶夾電腦、臂帶電腦、鞋電腦、服裝電腦、及其他可穿戴式電腦。在各種實施例中，例如行動運算裝置可被實施作為能夠執行電腦應用以及語音通訊及/或資料通訊的智慧型手機。儘管一些實施例可藉由行動運算裝置以舉例方式被實施作為智慧型手機來加以描述，可被理解的是，其他實施例也可藉由使用其他無線行動運算裝置加以實施。該等實施例不限於此情境中。
如第13圖中所示，裝置1300可包括外殼1302、顯示器1304、輸入/輸出(I/O)裝置1306、及天線1308。裝置1300也可包括導航特徵1312。顯示器1304可包括用以顯示適當資訊給行動運算裝置的任何合適顯示單元1310。I/O裝置1306可包括用以輸入資訊至行動運算裝置中的任何合適I/O裝置。I/O裝置1306的實例可包括字母數字鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、搖桿開關、麥克風、揚聲器、語音辨識裝置及軟體等等。資訊也可藉由麥克風(未顯示)輸入至裝置1300中。此種資訊可被語音辨識裝置(未顯示)數位化。該等實施例不限於此情境中。
各種實施例可藉由使用硬體元件、軟體元件、或兩者的組合加以實施。硬體元件的實例可包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等等)、積體電路、應用特定積體電路(ASIC)、可程式化邏輯裝置(PLD)、數位信號處理器(DSP)、場效可程式化閘極陣列(FPGA)、邏輯閘、 暫存器、半導體裝置、晶片、微晶片、晶片組等等。軟體的實例可包括軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、子常式、功能、方法、程序、軟體介面、應用程式介面(API)、指令集、運算碼、電腦碼、碼段、電腦碼段、字、值、符號、或其任意組合。決定是否實施例藉由使用硬體元件及/或軟體元件加以實施可依據任何數量的因子而變化，諸如所需運算率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率及其他設計或性能限制。
至少一個實施例的一或更多方面可由機器可讀取媒體(其表示處理器內的各種邏輯)上所儲存的代表性指令加以實施，該等指令在被機器讀取時使該機器製造邏輯以施行此處所述的技術。稱為「IP核心」的此種表示法可被儲存於有形、機器可讀取媒體上且供應至各種客戶或製造設施以載入實際上製作該邏輯或處理器的製造機器中。
儘管此處所述的某些特徵已經參照各種實施方式加以描述，此說明未意圖以限制意義加以詮釋。因此，此處所述實施方式的各種修改以及其他實施方式(其對熟習本案關於的技藝之人士而言顯而易見)被視為落在本案的精神及範圍內。
下列實例關於另外的實施例。
在一個實例中，一種用以施行可縮放視訊編 碼的電腦實施方法可包括施加固定式細化濾波器至重建參考層視訊資料，以產生細化的重建視訊資料。層間預估可至少部份根據該細化的重建視訊資料來對關聯於該視訊資料的增強層加以施行。
在另一實例中，一種用以施行可縮放視訊編碼的電腦實施方法可進一步包括：在施加該固定式細化濾波器以前，施加下層處理至該重建視訊資料，使得該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射。在施加該固定式細化濾波器以前，可至少部份根據該重建參考層視訊資料的評估從多個已採用的固定式細化濾波器決定施加該固定式細化濾波器。該評估可至少部份根據局部自適應法。該評估可包括評估該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異。位元流可至少部份根據該層間預估加以編碼。該位元流可能以殘餘編碼加以編碼。編碼該位元流可包括以指示符編碼該位元流，使得該指示符指定是否施加該固定式細化濾波器。該指示符可包括位元流旗標。該位元流可能以固定式細化濾波器指示符加以編碼，該固定式細化濾波器指示符可指出施加多個固定式細化濾波器的哪個固定式細化濾波器。與該視訊資料關聯的位元流可被存取以決定該指示符。該指示符可指定是否施加該固定式細化濾波器。該指示符可包括該位元流旗標。與該視訊資料關聯的該位元流可被存取以決定該固定式細化濾波器指示符，該固定式細 化濾波器指示符配置成指出施加該多個固定式細化濾波器的哪個固定式細化濾波器。與該增強層關聯的增強層輸出視訊資料可至少部份根據該層間預估來加以產生。施加該固定式細化濾波器可包括採用單一個固定式細化濾波器。該單一個固定式細化濾波器可包括低通濾波器。施加該固定式細化濾波器可包括採用多個固定式細化濾波器及施加該多個固定式細化濾波器的該固定式細化濾波器。施加該固定式細化濾波器可包括取得該重建參考層視訊資料與濾波器係數的點乘積及添加偏移值，使得施加該固定式細化濾波器可包括施加該固定式細化濾波器至該重建參考層視訊資料的濾波器窗。該多個固定式細化濾波器可包括對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、不可分離二維固定式細化濾波器、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器、特定直方圖帶通濾波器、低頻增強濾波器、高頻增強濾波器、特定頻帶增強濾波器、高通頻率濾波器、帶通頻率濾波器、或低通頻率濾波器。施加該固定式細化濾波器可包括採用該固定式細化濾波器與第二固定式細化濾波器、及施加該固定式細化濾波器。該固定式細化濾波器可提供第一增強效應且該第二固定式細化濾波器可提供第二增強效應。該第一增強效應及該第二增強效應可為不同。該第一增強效應可包括低頻增強效應、高頻增強效應、特定頻帶內的增強效應、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器、 或特定直方圖帶通濾波器。施加該第二固定式細化濾波器可包括取得該重建參考層視訊資料與第二濾波器係數的點乘積及添加第二偏移值。用於該第二固定式細化濾波器的第二偏移值可不同於用於該固定式細化濾波器的偏移值。該固定式細化濾波器可包括低通濾波器且該第二固定式細化濾波器可包括高頻增強濾波器。該重建參考層視訊資料可包括下列的至少一者：圖片、片、或塊。該重建參考層視訊資料可被關聯於該視訊資料的參考層。該參考層可包括基礎層或第二增強層的至少一者，使得該增強層為比該第二增強層更高的層且使得該參考層及該增強層不同在於可縮放性。該可縮放性可包括品質可縮放性、時間可縮放性、或位元深度可縮放性。該參考層可包括基礎層且該增強層可包括第1階增強層。施行該層間預估可包括經由增強層解碼器或基礎層解碼器的至少一者施行層間預估。該增強層解碼器可至少部份經由硬體加以實施。施行該層間預估可包括經由增強層編碼器或基礎層編碼器的至少一者施行層間預估。
在其他實例中，一種用於電腦上的視訊編碼之系統可包括顯示裝置、一或更多個處理器、一或更多個記憶體儲存、層間預估模組、及增強層視訊編碼器、相似者、及/或其組合。顯示裝置可被配置成呈現視訊資料。該一或更多個處理器可被通訊耦接至該顯示裝置。該一或更多個記憶體儲存可被通訊耦接至該一或更多個處理器。該層間預估模組可被通訊耦接至該一或更多個處理器且配 置成至少部份根據該細化的重建視訊資料而對關聯於該視訊資料的增強層施行層間預估。該增強層視訊編碼器可被通訊耦接至該一或更多個處理器且配置成至少部份根據該細化的重建視訊資料而對關聯於該視訊資料的增強層施行層間預估。經由該顯示裝置呈現視訊資料可至少部份根據該層間預估。
在另外的範例系統中，該層間預估模組可被進一步配置成在施加該固定式細化濾波器以前，施加下層處理至該重建視訊資料。該下層處理可包括用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射。該層間預估模組可被進一步配置成在施加該固定式細化濾波器以前，至少部份根據該重建參考層視訊資料的評估從多個已採用的固定式細化濾波器決定施加該固定式細化濾波器。該評估可至少部份根據局部自適應法。該評估可包括評估該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異。該增強層視訊編碼器可被進一步配置成至少部份根據該層間預估來編碼位元流。該位元流可能以殘餘編碼加以編碼。該位元流可能以指示符加以編碼，該指示符指定是否施加該固定式細化濾波器。該指示符可包括位元流旗標。該增強層視訊編碼器可被進一步配置成以固定式細化濾波器指示符編碼該位元流，該固定式細化濾波器指示符配置成指出施加多個固定式細化濾波器的哪個固定式細化濾波器。該增強層視訊編碼器可被進一步配置成存取與該 視訊資料關聯的位元流以決定該指示符。該指示符可被配置成指定是否施加該固定式細化濾波器。該指示符可包括該位元流旗標。該增強層視訊編碼器可被進一步配置成存取與該視訊資料關聯的該位元流以決定該固定式細化濾波器指示符，該固定式細化濾波器指示符配置成指出施加該多個固定式細化濾波器的哪個固定式細化濾波器。該增強層視訊編碼器可被進一步配置成至少部份根據該層間預估來產生與該增強層關聯的增強層輸出視訊資料。該層間預估模組可被配置成藉由使用單一個固定式細化濾波器來施加該固定式細化濾波器。該單一個固定式細化濾波器可包括低通濾波器。該層間預估模組可被配置成藉由使用多個固定式細化濾波器及施加該多個固定式細化濾波器的該固定式細化濾波器至該重建參考層視訊資料來施加該固定式細化濾波器。該層間預估模組可被配置成藉由決定該重建參考層視訊資料與濾波器係數的點乘積及添加偏移值來施加該固定式細化濾波器。施加該固定式細化濾波器可包括施加該固定式細化濾波器至該重建參考層視訊資料的濾波器窗。該多個固定式細化濾波器可包括下列的至少一者：對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、不可分離二維固定式細化濾波器、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器、特定直方圖帶通濾波器、低頻增強濾波器、高頻增強濾波器、特定頻帶增強濾波器、高通頻率濾波器、帶通頻率濾波器、或低通頻率濾 波器。該層間預估模組可被配置成藉由使用該固定式細化濾波器與第二固定式細化濾波器、及施加該固定式細化濾波器至該重建參考層視訊資料來施加該固定式細化濾波器。該固定式細化濾波器可被配置成提供第一增強效應且該第二固定式細化濾波器被配置成提供第二增強效應。該第一增強效應及該第二增強效應可為不同。該第一增強效應可包括下列的至少一者：低頻增強效應、高頻增強效應、特定頻帶內的增強效應、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器、或特定直方圖帶通濾波器。該層間預估模組可被配置成藉由決定該重建參考層視訊資料與第二濾波器係數的點乘積及添加第二偏移值來施加該第二固定式細化濾波器。用於該第二固定式細化濾波器的第二偏移值可不同於用於該固定式細化濾波器的偏移值。該固定式細化濾波器可包括低通濾波器且該第二固定式細化濾波器可包括高頻增強濾波器。該重建參考層視訊資料可包括下列的至少一者：圖片、片、或塊。該重建參考層視訊資料可被關聯於該視訊資料的參考層。該參考層可包括基礎層或第二增強層的至少一者，使得該增強層為比該第二增強層更高的層。該參考層及該增強層可不同在於可縮放性。該可縮放性可包括下列的至少一者：品質可縮放性、時間可縮放性、或位元深度可縮放性。該參考層可包括基礎層且該增強層可包括第1階增強層。該層間預估模組可經由該增強層視訊編碼器或基礎層視訊編碼器加以實施。該增強層視訊編碼器可為增強層視訊解碼器或 增強層視訊編碼器的至少一者。
在另外的實例中，實施例可包括下列組件：
(1)用以施行細化濾波器以改善可縮放視訊編解碼器實施方式之層間預估的機制；(a)用以藉由對已處理下層重建圖片施加細化濾波來改善SVC層間預估的機制。(此處該下層重建圖片處理可包括例如用於空間可縮放性的上採樣、用於位元深度可縮放性的色調映射、或通過而沒有任何處理。該細化濾波旨在減少增強層的輸入像素與其下層的已處理重建像素間的差異/畸變。)
(2)用以使用具有偏移的多個固定式濾波器以改善該層間預估的機制；(a)在一些實施例中，該等偏移值可被迫為零；(b)在一些實施例中，該等固定式濾波器係數可被迫為零且僅偏移值作用；(c)在一些實施例中，僅一個具有偏移的固定式濾波器可被使用；(d)在一些實施例中，超過一個具有偏移的固定式濾波器組可被使用。
(3)用以施行具有不同增強效應的多個固定式濾波器以改善該層間預估的機制；(a)在一些實施例中，增強該圖片的低頻之濾波器可被用來產生較平滑的預估性圖片；(b)在一些實施例中，增強該圖片的高頻之濾波器可被用來產生較尖銳的預估性圖片；(c)在一些實施例中，增強該圖片的某頻帶之濾波器可被用來產生特定預估性圖片。
(4)用以在不同階層施加該細化濾波器以改善該層 間預估的機制。(a)該細化濾波器可在序列/層/圖片/片/塊階層加以開啟或關閉；(b)最佳濾波器可在序列/層/圖片/片/塊階層加以開關。
(5)用以自適應地決定細化濾波器的用途以改善該層間預估的機制；(a)在一些實施例中，是否該細化濾波可被施加及哪個濾波器被用來做出該細化的決定可被編碼器做出且旗標可在位元流中送至該解碼器以指示該等決定；(b)在一些實施例中，是否該細化濾波被施加及哪個濾波器被用來做出該細化的決定可藉由分析預濾波圖片的局部性質來加以決定。局部邊緣資訊、梯度強度、局部變異及其他測量值可被用來決定細化濾波器的用途。編碼器及解碼器兩者施行相同程序及產生相同決定，因此該位元流中不需要額外的旗標。
在另外的實例中，至少一個機器可讀取媒體可包括複數個指令，該等指令回應於在運算裝置上被執行而使該運算裝置施行依據以上實例的任一者之方法。
又在另外的實例中，一種設備可包括用以施行依據以上實例的任一者之方法的手段。
以上實例可包括特徵的特定組合。然而，此種以上實例不限於此方面且在各種實施方式中，以上實例可包括進行僅此種特徵的子集、進行此種特徵的不同順序、進行此種特徵的不同組合、及/或進行那些明確列出特徵以外的額外特徵。例如，針對範例方法所述的所有特徵可針對範例設備、範例系統、及/或範例物件加以實 施，反之亦然。
400‧‧‧範例SVC解碼系統
401‧‧‧已編碼位元流
402‧‧‧基礎層解碼器
404‧‧‧目標增強層解碼器
406‧‧‧增強層輸出視訊
408‧‧‧基礎層輸出視訊
412‧‧‧框內預估模組
414‧‧‧逆量化及逆變換模組
415‧‧‧重建基礎層視訊資料
416‧‧‧框間預估模組
418‧‧‧迴路濾波模組
420‧‧‧框內預估模組
422‧‧‧逆量化及逆變換模組
424‧‧‧框間預估模組
426‧‧‧迴路濾波模組
427‧‧‧模式決定模組
428‧‧‧語法規格模組
440‧‧‧熵解碼器
442‧‧‧基礎層視訊資料
444‧‧‧增強層視訊資料
460‧‧‧層間預估模組
462‧‧‧細化濾波模組
464‧‧‧任選的下層處理模組
465‧‧‧細化的重建視訊資料

Claims (14)

  1. 一種用以施行可縮放視訊編碼的電腦實施方法，包含：使用固定式細化濾波器以濾波重建參考層視訊資料，以產生細化的重建視訊資料，為該固定式細化濾波器所產生的該細化的重建視訊資料包含該重建參考層視訊資料的濾波器窗與相關於該固定式細化濾波器的濾波器係數的點乘積加上添加偏移值；及至少部份根據該細化的重建視訊資料，對關聯於該視訊資料的增強層施行層間預估。
  2. 如申請專利範圍第1項之方法，其中濾波該重建參考層視訊資料包含採用單一個固定式細化濾波器濾波該重建參考層視訊資料。
  3. 如申請專利範圍第1項之方法，其中濾波該重建參考層視訊資訊更包含採用該固定式細化濾波器與第二固定式細化濾波器，以濾波該重建參考層視訊資料，為該固定式細化濾波器所產生的輸出包含第一增強效應且由該第二固定式細化濾波器所產生的輸出包含第二增強效應，該第一增強效應及該第二增強效應不同，且該第一增強效應包含下列的至少一者：低頻增強效應、高頻增強效應、特定頻帶內的增強效應、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器(particular histogram band enhancement filter)、或特定直方圖帶通濾波器。
  4. 如申請專利範圍第1項之方法，其中濾波該重建 參考層視訊資料更包含採用多個固定式細化濾波器，以濾波該重建參考層視訊資料，該多個固定式細化濾波器包含下列的至少一者：對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、或不可分離二維固定式細化濾波器。
  5. 如申請專利範圍第1項之方法，進一步包含：在濾波該重建參考層視訊資料以前，下層處理該重建參考層視訊資料，該下層處理包含下列的至少一者：用於空間可縮放性的上採樣、用於色彩格式可縮放性的色樣品匹配、用於色彩空間可縮放性的色彩空間轉換或用於位元深度可縮放性的色調映射。
  6. 如申請專利範圍第1項之方法，進一步包含：在使用該固定式細化濾波器以前，至少部份根據該重建參考層視訊資料的評估決定是否使用從多個固定式細化濾波器選出的該固定式細化濾波器，來濾波該重建參考層視訊資料，該評估係至少部份根據局部自適應法，及該評估包含評估下列的至少一者：該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異。
  7. 如申請專利範圍第1項之方法，進一步包含：在濾波該重建參考層視訊資料以前，下層處理該重建參考層視訊資料，該下層處理包含下列的至少一者：用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射，該重建參考層視訊資料包含基礎層或第二增強層之至 少之一者，該增強層係為高於該第二增加層的一層，該參考層與該增強層差別在可縮放性，及該可縮放性包含品質可縮放性、時間可縮放性或位元深度可縮放性之至少之一者；在濾波該重建參考層視訊資料以前，至少部份根據該重建參考層視訊資料的評估，決定是否使用從多個固定式細化濾波器所選出的該固定式細化濾波器，濾波該重建參考層視訊資料，該評估係至少部份根據局部自適應法，該評估包含評估下列的至少一者：該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異，該多個固定式細化濾波器包含下列的至少一者：對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、不可分離二維固定式細化濾波器、空間平滑濾波器、空間銳化濾波器、特定直方圖帶增強濾波器、特定直方圖帶通濾波器、低頻增強濾波器、高頻增強濾波器、特定頻帶增強濾波器、高通頻率濾波器、帶通頻率濾波器、或低通頻率濾波器；至少部份根據該層間預估，編碼位元流，該位元流以殘餘編碼並以指示符加以編碼，該指示符指定是否施加該固定式細化濾波器，且該指示符包含位元流旗標；存取與該視訊資料關聯的該位元流以決定該指示符，該指示符指定是否施加該固定式細化濾波器，且該指示符包含該位元流旗標；及 至少部份根據該層間預估，產生與該增強層關聯的增強層輸出視訊資料。
  8. 一種用於電腦上的視訊編碼之系統，包含：配置成呈現視訊資料的顯示裝置；一或更多個處理器；通訊耦接至該一或更多個處理器的一或更多個記憶體儲存；視訊編碼器的層間預估模組，通訊耦接至該一或更多個處理器且配置成使用固定式細化濾波器以濾波重建參考層視訊資料，以產生細化的重建視訊資料，該細化重建視訊資料包含該重建參考層視訊資料的濾波器窗與相關於該固定式細化濾波器的濾波器係數的點乘積加上添加偏移值；及增強層視訊編碼器，通訊耦接至該一或更多個處理器且配置成至少部份根據該細化的重建視訊資料而對關聯於該視訊資料的增強層施行層間預估，該顯示裝置係通訊耦接至該一或更多個處理器，及經由該顯示裝置呈現視訊資料係至少部份根據該層間預估。
  9. 如申請專利範圍第8項之系統，其中該層間預估模組被配置成藉由使用該固定式細化濾波器與第二固定式細化濾波器，來濾波該重建參考層視訊資料，該固定式細化濾波器的輸出提供第一增強效應且該第二固定式細化濾波器的輸出提供第二增強效應，且該第一增強效應及該第二增強效應不同。
  10. 如申請專利範圍第8項之系統，其中該層間預估模組被配置成藉由使用該固定式細化濾波器與第二固定式細化濾波器，來濾波該重建參考層視訊資料，該固定式細化濾波器包含低通濾波器且該第二固定式細化濾波器包含高頻增強濾波器。
  11. 如申請專利範圍第8項之系統，其中該層間預估模組經由該增強層視訊編碼器或基礎層視訊編碼器的至少一者加以實施。
  12. 如申請專利範圍第8項之系統，其中該層間預估模組被進一步配置成：在施加該固定式細化濾波器以前，下層處理該重建參考層視訊資料，該下層處理包含下列的至少一者：用於空間可縮放性的上採樣或用於位元深度可縮放性的色調映射；及在施加該固定式細化濾波器以前，至少部份根據該重建參考層視訊資料的評估，決定是否從多個已採用的固定式細化濾波器選擇該固定式細化濾波器，該評估係至少部份根據局部自適應法，及該評估包含評估下列的至少一者：該重建參考層視訊資料的局部邊緣資訊、該重建參考層視訊資料的梯度強度、或該重建參考層視訊資料的局部變異，該多個固定式細化濾波器包含下列的至少一者：對稱固定式細化濾波器、非對稱固定式細化濾波器、一維固定式細化濾波器、可分離二維固定式細化濾波器、不可分離二維固定式細化濾波器、空間平滑濾波器、空間銳化 濾波器、特定直方圖帶增強濾波器、特定直方圖帶通濾波器、低頻增強濾波器、高頻增強濾波器、特定頻帶增強濾波器、高通頻率濾波器、帶通頻率濾波器、或低通頻率濾波器；其中該增強層視訊編碼器被進一步配置成：至少部份根據該層間預估，編碼位元流，該位元流以殘餘編碼並以第一指示符加以編碼，該第一指示符指定是否施加該固定式細化濾波器，且該指示符包含位元流旗標；存取與該重建參考層視訊資料關聯的該位元流以決定第二指示符，該第二指示符被配置成指定是否施加該固定式細化濾波器，且該第二指示符包含位元流旗標；至少部份根據該層間預估，產生與該增強層關聯的增強層輸出視訊資料，其中該層間預估模組被配置成藉由使用單一個固定式細化濾波器來施加該固定式細化濾波器，其中該單一個固定式細化濾波器包含低通濾波器，其中該層間預估模組被配置成藉由使用多個固定式細化濾波器及施加該多個固定式細化濾波器的該固定式細化濾波器至該重建參考層視訊資料來施加該固定式細化濾波器，其中該層間預估模組被配置成藉由決定該重建參考層視訊資料與濾波器係數的點乘積及添加偏移值，來施加該固定式細化濾波器，且其中施加該固定式細化濾波器至該 重建參考層視訊資料包含施加該固定式細化濾波器至該重建參考層視訊資料的濾波器窗。
  13. 一種設備，包含執行如申請專利範圍第1至7項中任一項所述之方法的手段。
  14. 一種機器可讀取儲存器，包含機器可讀取指令，當被執行時，實行如申請專利範圍第1至7項中任一項所述之方法或實現如申請專利範圍第8至12項中任一項所述之系統。
TW103100052A 2013-01-04 2014-01-02 用於可縮放視訊編碼的層間預估的細化濾波器 TWI548263B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361749000P 2013-01-04 2013-01-04
US13/856,212 US9596465B2 (en) 2013-01-04 2013-04-03 Refining filter for inter layer prediction of scalable video coding

Publications (2)

Publication Number Publication Date
TW201448568A TW201448568A (zh) 2014-12-16
TWI548263B true TWI548263B (zh) 2016-09-01

Family

ID=50023411

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103100052A TWI548263B (zh) 2013-01-04 2014-01-02 用於可縮放視訊編碼的層間預估的細化濾波器

Country Status (6)

Country Link
US (2) US9596465B2 (zh)
EP (1) EP2753088A1 (zh)
JP (1) JP5976696B2 (zh)
KR (1) KR101731335B1 (zh)
BR (1) BR102014000180A2 (zh)
TW (1) TWI548263B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916952B2 (en) * 2004-09-14 2011-03-29 Gary Demos High quality wide-range multi-layer image compression coding system
US20130107949A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
US20160241882A1 (en) * 2013-10-11 2016-08-18 Sony Corporation Image processing apparatus and image processing method
MX2018003688A (es) 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
EP3348058B1 (en) 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
CN108141603B (zh) 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
WO2017052409A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
MY197611A (en) 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
US20180359468A1 (en) * 2015-10-01 2018-12-13 Lg Electronics Inc. Image processing method on basis of inter prediction mode and apparatus therefor
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
WO2017121549A1 (en) * 2016-01-12 2017-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Frequency based prediction
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
CN109285127B (zh) * 2018-09-03 2021-08-31 中国民航大学 一种改进的PolSAR图像非局部均值滤波方法
JP2022548521A (ja) 2019-09-23 2022-11-21 アリババ グループ ホウルディング リミテッド 参照ダウンサンプリングありの動き補償補間のためのフィルタ
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200727709A (en) * 2006-01-12 2007-07-16 Samsung Electronics Co Ltd Multilayer-based video encoding/decoding method and video encoder/decoder using smoothing prediction
US20080008247A1 (en) * 2006-07-10 2008-01-10 Segall Christopher A Methods and Systems for Residual Layer Scaling
US20090175333A1 (en) * 2008-01-09 2009-07-09 Motorola Inc Method and apparatus for highly scalable intraframe video coding
US20100046612A1 (en) * 2008-08-25 2010-02-25 Microsoft Corporation Conversion operations in scalable video encoding and decoding
TWI357766B (en) * 2006-10-12 2012-02-01 Qualcomm Inc Variable length coding table selection based on vi
WO2013167712A2 (en) * 2012-05-09 2013-11-14 Industrie Ilpea S.P.A. Flexible, total coverage electromagnetic wave shielding system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US6236757B1 (en) * 1998-06-18 2001-05-22 Sharp Laboratories Of America, Inc. Joint coding method for images and videos with multiple arbitrarily shaped segments or objects
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
TWI336782B (en) 2007-07-05 2011-02-01 Apex Biotechnology Corp Composite modified electrode trip
WO2009051704A1 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
JP5606625B2 (ja) * 2010-07-21 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための高度な動きモデルを使った参照処理
DE102010033171A1 (de) * 2010-08-03 2012-02-09 Krones Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Anlage zum Behandeln von Behältnissen mit übergeordneter Parameteranwahl
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
JP5551274B2 (ja) 2010-12-14 2014-07-16 シャープ株式会社 画像フィルタ装置
BR112013031215B8 (pt) * 2011-06-10 2022-07-19 Mediatek Inc Método e aparelho de codificação escalável de vídeo
CN105791875B (zh) * 2011-06-10 2018-12-11 联发科技股份有限公司 可伸缩视频编码方法及其装置
US8754671B2 (en) * 2011-07-29 2014-06-17 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US9544587B2 (en) * 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US10136144B2 (en) * 2012-05-21 2018-11-20 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
CN104272738A (zh) 2012-06-15 2015-01-07 英特尔公司 用于可扩展视频编码的自适应滤波
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
EP2942963A4 (en) * 2013-01-04 2016-08-17 Samsung Electronics Co Ltd SCALABLE VIDEO ENCODING METHOD AND APPARATUS USING IMAGE OVERHEAD SAMPLING IN CONSIDERATION OF A PHASE AND METHOD AND APPARATUS FOR SCALEABLE VIDEO DECODING

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200727709A (en) * 2006-01-12 2007-07-16 Samsung Electronics Co Ltd Multilayer-based video encoding/decoding method and video encoder/decoder using smoothing prediction
US20080008247A1 (en) * 2006-07-10 2008-01-10 Segall Christopher A Methods and Systems for Residual Layer Scaling
TWI357766B (en) * 2006-10-12 2012-02-01 Qualcomm Inc Variable length coding table selection based on vi
US20090175333A1 (en) * 2008-01-09 2009-07-09 Motorola Inc Method and apparatus for highly scalable intraframe video coding
US20100046612A1 (en) * 2008-08-25 2010-02-25 Microsoft Corporation Conversion operations in scalable video encoding and decoding
WO2013167712A2 (en) * 2012-05-09 2013-11-14 Industrie Ilpea S.P.A. Flexible, total coverage electromagnetic wave shielding system

Also Published As

Publication number Publication date
US20170163989A1 (en) 2017-06-08
KR101731335B1 (ko) 2017-04-28
US9596465B2 (en) 2017-03-14
US20140192865A1 (en) 2014-07-10
US10462467B2 (en) 2019-10-29
TW201448568A (zh) 2014-12-16
JP5976696B2 (ja) 2016-08-24
BR102014000180A2 (pt) 2015-11-17
KR20140089482A (ko) 2014-07-15
EP2753088A1 (en) 2014-07-09
JP2014140163A (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
TWI548263B (zh) 用於可縮放視訊編碼的層間預估的細化濾波器
JP6550633B2 (ja) ３ｄビデオコーディングのための予測パラメータ継承
US20150181216A1 (en) Inter-layer pixel sample prediction
KR101653511B1 (ko) 인터-레이어 잔차 예측
CN106664412B (zh) 包括目标比特率的视频编码速率控制和质量控制
CN104756498B (zh) 跨层运动向量预测
TWI559749B (zh) 層間移動資料繼承之技術
JP6060394B2 (ja) クロスレイヤー・クロスチャネル残差予測
KR20150070313A (ko) 다수의 독립 코딩 스트림들 사이에서 공유된 모션 추정을 포함하는 비디오 코딩
US9860533B2 (en) Cross-layer cross-channel sample prediction
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees