TW201907715A - 無分割雙向濾波器 - Google Patents

無分割雙向濾波器 Download PDF

Info

Publication number
TW201907715A
TW201907715A TW107123169A TW107123169A TW201907715A TW 201907715 A TW201907715 A TW 201907715A TW 107123169 A TW107123169 A TW 107123169A TW 107123169 A TW107123169 A TW 107123169A TW 201907715 A TW201907715 A TW 201907715A
Authority
TW
Taiwan
Prior art keywords
sample
video data
block
video
difference
Prior art date
Application number
TW107123169A
Other languages
English (en)
Inventor
馬塔 卡茲維克茲
章立
錢威俊
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201907715A publication Critical patent/TW201907715A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本發明提供一種視訊解碼器，其可經組態以藉由進行以下操作執行一濾波操作：判定對應於所選擇樣本之樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值；將該第一差值乘以一第一加權參數以判定一第一加權差值；判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值；將該第二差值乘以一第二加權參數以判定一第二加權差值；及將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定經修改樣本值。

Description

無分割雙向濾波器
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、ITU-T H.265、高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的技術。視訊裝置可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊截塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之截塊中的視訊區塊。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
本發明描述與雙向濾波有關之技術，且更特定言之，本發明描述可減少與雙向濾波相關聯之計算複雜度的技術。作為一個實例，本發明描述用於雙向濾波之技術，當與雙向濾波之現有實施相比較時，該技術可減少或消除除法運算及高精確度乘法運算之數目。
根據一個實例，一種解碼視訊資料之方法包括：判定視訊資料之一區塊之樣本之樣本值；對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中執行該濾波操作包含：判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值；將該第一差值乘以一第一加權參數以判定一第一加權差值；判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值；將該第二差值乘以一第二加權參數以判定一第二加權差值；及將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及輸出視訊資料之該經濾波區塊。
根據另一實例，一種用於解碼視訊資料之裝置包括：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以進行以下操作：判定該視訊資料之一區塊之樣本之樣本值；對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中為執行該濾波操作，該一或多個處理器經組態以進行以下操作：判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值；將該第一差值乘以一第一加權參數以判定一第一加權差值；判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值；將該第二差值乘以一第二加權參數以判定一第二加權差值；及將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及輸出視訊資料之該經濾波區塊。
根據另一實例，一種儲存指令之電腦可讀儲存媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器進行以下操作：判定視訊資料之一區塊之樣本之樣本值；對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中為執行該濾波操作，該等指令致使該一或多個處理器進行以下操作：判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值；將該第一差值乘以一第一加權參數以判定一第一加權差值；判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值；將該第二差值乘以一第二加權參數以判定一第二加權差值；及將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及輸出視訊資料之該經濾波區塊。
根據另一實例，一種用於解碼視訊資料之裝置包括：用於判定視訊資料之一區塊之樣本之樣本值的構件；用於對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊的構件，其中該用於執行該濾波操作的構件包含：用於判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值的構件；用於將該第一差值乘以一第一加權參數以判定一第一加權差值的構件；用於判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值的構件；用於將該第二差值乘以一第二加權參數以判定一第二加權差值的構件；及用於將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值的構件；及用於輸出視訊資料之該經濾波區塊的構件。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中描述之技術的其他特徵、目標及優勢將自描述及圖式且自申請專利範圍顯而易見。
本申請案主張2017年7月5日申請之美國臨時專利申請案第62/528,912號之權利，該申請案之全部內容以引用的方式併入本文中。
視訊寫碼(例如，視訊編碼或視訊解碼)通常涉及使用預測模式來預測視訊資料之區塊。兩個常用的預測模式涉及自同一圖像中之視訊資料之已經寫碼區塊(亦即，框內預測模式)或自不同圖像中之視訊資料之已經寫碼區塊(亦即，框間預測模式)預測區塊。亦可使用其他預測模式，諸如區塊內複製模式、調色板模式或辭典模式。在一些情況下，視訊編碼器亦藉由比較預測性區塊與原始區塊來計算殘餘資料。因此，殘餘資料表示預測性區塊與原始區塊之間的差。視訊編碼器變換及量化殘餘資料，且在經編碼位元串流中發信該經變換及經量化殘餘資料。
視訊解碼器解量化及反變換所接收之殘餘資料以判定由視訊編碼器計算之殘餘資料。由於變換及量化可係有損程序，因此由視訊解碼器判定之殘餘資料可能不會準確地匹配由編碼器計算之殘餘資料。視訊解碼器將殘餘資料與預測性區塊相加以產生相比單獨的預測性區塊更緊密匹配原始視訊區塊的經重建構視訊區塊。為進一步改良經解碼視訊之品質，視訊解碼器可對經重建構視訊區塊執行一或多個濾波操作。舉例而言，高效率視訊寫碼(HEVC)標準利用解區塊濾波及樣本調適性偏移(SAO)濾波。亦可使用其他類型之濾波，諸如調適性迴路濾波(ALF)。用於此等濾波操作之參數可藉由視訊編碼器判定且在經編碼視訊位元串流中明確地發信，或可隱含地藉由視訊解碼器判定而無需在經編碼視訊位元串流中明確地發信參數。
提議包括於未來產生視訊寫碼標準中之另一類型之濾波係雙邊濾波。在雙向濾波中，權重經指派給當前樣本之相鄰樣本及當前樣本，基於該等權重可修改(亦即，濾波)相鄰樣本之值及當前樣本之值。儘管雙向濾波可藉由其他濾波器以任何組合或排列應用，但通常緊接在一個區塊之重建構之後應用雙向濾波，使得經濾波區塊可用於寫碼/解碼後繼區塊。亦即，雙向濾波器可在解區塊濾波應用於視訊資料之區塊之前應用於該區塊。在其他實例中，可緊接在區塊之重建構之後且在寫碼後繼區塊之前，或緊接在解區塊濾波器之前或在解區塊濾波器之後，或在SAO之後或在ALF之後，應用雙向濾波。
解區塊濾波使區塊之邊緣周圍的轉變平滑以避免具有塊狀外觀之經解碼視訊。雙向濾波通常不會跨越區塊邊界進行濾波，而實情為，僅對區塊內之樣本進行濾波。舉例而言，雙向濾波器可藉由幫助避免在一些寫碼情境下由解區塊濾波引起之非所要過度平滑來改良總體視訊寫碼品質。
本發明描述與雙向濾波有關之技術，且更特定言之，本發明描述可減少與雙向濾波相關聯之計算複雜度的技術。作為一個實例，本發明描述用於雙向濾波之技術，當與雙向濾波之現有實施相比較時，該技術可減少或消除除法運算及高精確度乘法運算之數目。
如本發明中所使用，術語視訊寫碼一般指視訊編碼或視訊解碼。類似地，術語視訊寫碼器可一般指視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。又，作為判定如何編碼視訊資料之程序的部分，視訊編碼器通常執行視訊解碼。因此，除非明確相反地陳述，否則不應假定關於視訊解碼所描述之技術亦無法由視訊編碼器執行，或反之亦然。
本發明亦可使用諸如當前層、當前區塊、當前圖像、當前截塊等之術語。在本發明之上下文中，術語當前意欲識別相對於例如先前或已經寫碼之區塊、圖像及截塊或尚待寫碼之區塊、圖像及截塊的當前正經寫碼之區塊、圖像、截塊等。
圖1係說明可利用本發明中所描述之雙向濾波技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示，系統10包括源裝置12，其產生稍後時間待由目的地裝置14解碼之經編碼視訊資料。源裝置12及目的地裝置14可為廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置、頭戴式顯示器(HMD)裝置或其類似者。在一些情況下，源裝置12和目的地裝置14可能經裝備以用於無線通信。
目的地裝置14可經由鏈路16接收待解碼的經編碼視訊資料。鏈路16可為能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任何類型之媒體或裝置。在一個實例中，鏈路16可為使源裝置12能夠即時將經編碼視訊資料直接傳輸至目的地裝置14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地裝置14。通信媒體可為任何無線或有線通信媒體中之一者或其組合，諸如射頻(RF)頻譜或一或多條實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14的通信之任何其他裝備。
在另一實例中，可將經編碼資料自輸出介面22輸出至儲存裝置26。類似地，可藉由輸入介面自儲存裝置26存取經編碼資料。儲存裝置26可包括多種分散式或本機存取資料儲存媒體中之任一者，諸如，硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合數位儲存媒體。在另一實例中，儲存裝置26可對應於可保持由源裝置12產生之經編碼視訊的檔案伺服器或另一中間儲存裝置。目的地裝置14可經由串流或下載而自儲存裝置26存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地裝置14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本機磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如Wi-Fi連接)、有線連接(例如DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存裝置26之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源裝置12中，視訊源18可包括諸如視訊捕捉裝置(例如，視訊攝影機)、含有先前所捕捉之視訊之視訊檔案庫、用以自視訊內容提供者接收視訊之視訊饋送介面，及/或用於將電腦圖形資料產生為源視訊的電腦圖形系統，或此等源之組合。作為一個實例，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術一般可適用於視訊寫碼，且可應用於無線及/或有線應用。
經捕捉、預先捕捉或電腦產生之視訊可由視訊編碼器20編碼。可經由源裝置12之輸出介面22將經編碼視訊資料直接傳輸至目的地裝置14。經編碼視訊資料亦可(或替代地)儲存至儲存裝置26上用於稍後由目的地裝置14或其他裝置存取，用於解碼及/或播放。
目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地裝置14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存裝置26上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼視訊資料時使用。傳輸於通信媒體上、儲存於儲存媒體上，或儲存於檔案伺服器之經編碼視訊資料內可包括此等語法元素。
顯示裝置32可與目的地裝置14整合或在目的地裝置14的外部。在一些實例中，目的地裝置14可包括整合式顯示裝置且亦經組態以與外部顯示裝置介接。在其他實例中，目的地裝置14可為顯示裝置。大體而言，顯示裝置32將經解碼視訊資料顯示至使用者，且可為多種顯示裝置中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如高效率視訊寫碼(HEVC)標準)操作且可符合HEVC測試模型(HM)。視訊編碼器20及視訊解碼器30可另外根據HEVC擴展(諸如範圍擴展、多視圖擴展(MV-HEVC)，或已藉由視訊寫碼之聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)的3D視訊寫碼擴展開發之聯合合作小組(JCT-3V)開發的可調式擴展(SHVC))操作。
視訊編碼器20及視訊解碼器30亦可根據其他專屬或行業標準(諸如ITU-T H.264標準，被替代地稱作ISO/IEC MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之擴展(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263及ISO/IEC MPEG-4 Visual。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的壓縮能力之未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。參考軟體之一個版本，亦即聯合探索模型6 (JEM6)可自以下下載： https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-6.0/。JEM 6之演算法描述亦在JVET-F1011中描述。
本發明之技術可利用HEVC術語，以易於解釋。然而，並未假定本發明之技術受限於HEVC，而實際上，明確預期本發明之技術可實施於HEVC之後續標準及其擴展中。經設想，例如，本文中描述之技術可與當前處於開發中的H.266標準及其擴展一起使用。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元，或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。在一個實例途徑中，圖像可包括三個樣本陣列，表示為SL 、SCb 及SCr 。在此實例途徑中，SL 為明度樣本之二維陣列(亦即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。該等CTU中之每一者可包括明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於寫碼寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包括單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。截塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
為了產生經寫碼之CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包括具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包括單個寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包括明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包括單個預測區塊及用於對該預測區塊進行預測的語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度、Cb及Cr殘餘區塊分解成一或多個明度、Cb及Cr變換區塊。變換區塊為供應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包括明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包括單個變換區塊及用以對該變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
具有CTU、CU、PU及TU之上述區塊結構通常描述在HEVC中使用之區塊結構。然而，其他視訊寫碼標準可使用不同區塊結構。作為一個實例，儘管HEVC允許PU及TU具有不同大小或形狀，但其他視訊寫碼標準可需要預測性區塊及變換區塊具有相同大小。本發明之技術不限於HEVC之區塊結構且可與其他區塊結構相容。作為替代區塊結構之實例，JEM利用四分樹二進位樹(QTBT)結構。JEM之QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。JEM之QTBT結構包括兩個層級：根據四分樹分割分割的第一層級，及根據二進位樹分割分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於CU。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包括網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭，且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封PPS之RBSP，第二類型之NAL單元可囊封經寫碼截塊之RBSP，第三類型之NAL單元可囊封SEI訊息之RBSP，等等。囊封用於視訊寫碼資料之RBSP (與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與藉由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯之係數區塊。視訊解碼器30可對係數區塊執行反向變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本與當前CU之TU的變換區塊之對應樣本相加來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。
如上文所介紹，HEVC利用四分樹結構用於分割區塊。在HEVC中，截塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)，亦稱作CTU。CTB含有四分樹，該四分樹之節點為CU。指定為明度及色度CTB之區塊可直接用作CU或可經進一步分割成多個CU。分割係使用樹結構而達成。HEVC中之樹分割通常同時應用於明度及色度兩者，但例外狀況下當達到某些最小大小時應用於色度。
CTU含有允許基於由CTB覆蓋的區之信號特性將CU分裂成所選擇適當大小的四分樹語法。四分樹分裂程序可經迭代直至明度CB之大小達到藉由編碼器使用SPS中之語法選擇的最小允許明度CB大小且總是為8×8或更大(以明度樣本為單位)為止。圖2A及圖2B中描繪將一個CTU分裂成多個CB之實例。
圖像之邊界係以最小允許明度CB大小為單位來界定。結果，在圖像之右側及底部邊緣處，一些CTU可覆蓋部分在圖像之邊界外部的區。此條件藉由解碼器偵測，且CTU四分樹視需要經隱含地分裂以將CB大小減少至其中全部CB適合圖像之點。
圖2A展示HEVC中之CTU至CU分割的實例，且圖2B展示對應四分樹表示。舉例而言，視訊編碼器20及視訊解碼器30可經組態以執行圖2A及圖2B中展示之CTU至CU分割。四分樹分割之態樣係在視訊技術之電路及系統之IEEE彙刊(IEEE)22(12)，G. J. Sullivan; J.-R. Ohm; W.-J. Han; T. Wiegand (2012年12月)之「Overview of the High Efficiency Video Coding (HEVC) Standard」中更詳細地描述。應注意當葉節點對應於8×8 CU時不需要發信。
HEVC採用兩個迴路內濾波器，被稱作解區塊濾波器及SAO濾波器。HEVC利用解區塊濾波以減少區塊邊界周圍之區塊假影。至此寫碼工具之輸入為在框內或框間預測之後的經重建構影像。解區塊濾波器執行在經寫碼區塊邊界處之假影的偵測且藉由應用所選擇濾波器將其衰減。與H.264/AVC解區塊濾波器相比，HEVC解區塊濾波器具有較低計算複雜度及較好並行處理能力同時仍達成視覺假影之顯著減少。HEVC中之解區塊濾波的態樣係在電路系統視訊技術IEEE彙刊22(12)：1746頁至1754頁 (2012年)，A. Norkin, G. Bjontegaard, A. Fuldseth, M. Narroschke, M. Ikeda, K. Andersson, Minhua Zhou, G. Van der Auwera之「HEVC Deblocking Filter」中描述。
HEVC亦利用SAO濾波，其為一種類型之濾波，其中偏移與樣本值(例如後解區塊樣本值)相加以可能地改良經解碼視訊之品質。在HEVC中，至SAO之輸入為在調用解區塊濾波之後的經重建構影像。SAO之通用概念為藉由首先運用所選擇分類器將區樣本分類成多個類別，獲得用於每一類別之偏移，且接著將偏移與類別之每一樣本相加而減小區之平均樣本失真，其中分類器索引及區之偏移係在位元串流中寫碼。在HEVC中，區(SAO參數發信之單元)經定義為CTU。
HEVC利用SAO濾波之兩個不同類型，其兩者皆可滿足低複雜度之需求。用於HEVC中之SAO的兩個類型為邊緣偏移(EO)及頻帶偏移(BO)。當實施SAO濾波時，視訊解碼器30可例如接收指示所使用SAO之類型或指示SAO之無一類型被使用的索引(在0至2範圍內)。
當執行EO時，視訊編碼器20及視訊解碼器30可根據1-D方向圖案基於當前樣本與相鄰樣本之比較使用樣本分類。圖3A至圖3D展示用於不同EO樣本分類之1-D方向圖案的實例。在圖3A至圖3D的實例中，視訊解碼器30比較樣本C與樣本A及樣本B以判定用於樣本C之類別，如下文關於表I更詳細地描述。圖3A展示用於水平分類(EO類別=0)之樣本的實例。圖3B展示用於垂直分類(EO類別=1)之樣本的實例。圖3C展示用於135°對角線分類(EO類別=2)之樣本的實例。圖3D展示用於45°對角線分類(EO類別=3)之樣本的實例。
根據所選擇EO圖案，HEVC定義藉由表I中之edgeIdx表示的五個類別。對於等於0~3之edgeIdx，偏移之量值可經發信而正負號旗標經隱式地寫碼，亦即，對於等於0或1之edgeIdx，負偏移，且對於等於2或3之edgeIdx，正偏移。對於等於4之edgeIdx，偏移始終經設定成0，此意謂對於此情況不需要操作。因此，當濾波一樣本時，若該樣本滿足類別0之條件，則視訊解碼器30將與類別0相關聯之偏移與該樣本相加，且若該樣本滿足類別1之條件，則視訊解碼器將與類別1相關聯之偏移與該樣本相加，等等。若該樣本不滿足類別1-4中之任一者的條件，則視訊解碼器30不將偏移與該樣本相加。表 I ：用於 EO 分類
對於BO，視訊解碼器30基於樣本值執行樣本分類。每一色彩分量可具有其自身SAO參數。BO暗示一個偏移與同一頻帶之所有樣本相加。樣本值範圍經相等地分成32個頻帶。對於範圍介於0至255之8位元樣本，頻帶之寬度為8，且自8k至8k+7之樣本值屬於頻帶k，其中k範圍介於0至31。原始樣本與頻帶中之經重建構樣本(亦即，頻帶之偏移)之間的平均值差經發信至解碼器。不存在對於偏移正負號之約束。僅僅四個連續頻帶之偏移及起始頻帶位置經發信至解碼器。所有剩餘頻帶與0偏移相關聯。
為減少與發信旁側資訊(例如偏移類型及偏移值)相關聯的發信額外負擔，複製來自上方CTU(經由將sao_merge_left_flag設定為等於1)或左側CTU(經由將sao_merge_up_flag設定為等於1)之參數以共用SAO參數，多個CTU可合併在一起。
除了經修改解區塊濾波及HEVC之SAO方法之外，JEM已包括另一濾波方法，稱為基於幾何變換之調適性迴路濾波(GALF)。GALF旨在改良調適性迴路濾波(ALF)之寫碼效率。ALF被認為包括於HEVC中但最終並不包括於HEVC之最終版本中。ALF旨在藉由使用基於維納之調適性濾波而最小化原始樣本與經解碼樣本之間的均方誤差。若執行ALF，則視訊解碼器30將圖像中之樣本分類成多個類別且使用與類別相關聯的調適性濾波器濾波每一類別中之樣本。濾波器係數可經發信或繼承以最佳化均方誤差與額外負擔之間的折中。GALF經提議以藉由引入待應用於濾波器支撐區中之樣本的諸如旋轉、對角翻轉及垂直翻轉之幾何變換(此取決於ALF之前經重建構樣本之梯度的定向)而進一步改良ALF之效能。至ALF/GALF之輸入為調用SAO之後的經重建構影像。
在2016年2月20日至2月26日，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之探索小組(JVET)，美國聖地亞哥舉行的第2次會議，M. Karczewicz, L. Zhang, W.-J. Chien, X. Li之「EE2.5: Improvements on adaptive loop filter」文件JVET-B0060及2016年5月26日至6月1日，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之探索小組(JVET)，瑞士日內瓦舉行的第3次會議，M. Karczewicz, L. Zhang, W.-J. Chien, X. Li之「EE2.5: Improvements on adaptive loop filter」文件JVET-C0038中，GALF被提議且被採用至JEM 3.0中。在GALF中，運用所考慮的對角線梯度修改分類且幾何變換可應用於濾波器係數。若執行GALF，則視訊解碼器30基於2×2區塊之方向性及活動性之經量化值將每一2×2區塊分類成25個類別中之一者。
可藉由視訊編碼器20及視訊解碼器30實施的另一濾波技術為雙向濾波。雙向濾波先前在1998年1月印度孟買IEEE ICCV會刊中，C. Tomasi及R. Manduchi的「Bilateral filtering for gray and color images」中進行描述。雙向濾波經描述以避免在邊緣處像素之非所要過度平滑。雙向濾波之主要想法係相鄰樣本中之加權考慮像素值自身以將更多權重給予具有類似明度或色度值之彼等像素。位於(i, j)處之樣本可使用其相鄰樣本(k, l)進行濾波。權重係經指派用於樣本(k, l)之權重以對樣本(i, j)進行濾波，且其定義為：(1) I(i, j)及I(k, l)分別為樣本(i, j)及(k, l)之強度值。為空間參數，且為範圍參數。具有由ID (i, j) 指示之經濾波樣本值的濾波程序可定義為：
雙向濾波器之特性(或強度)可藉由空間參數及範圍參數來控制。位於較接近待濾波樣本處之樣本及相對於待濾波樣本具有較小強度差之樣本與遠離且具有較大強度差之樣本相比較可具有較大權重。
如2016年10月15至21日在中國成都舉行之第4次會議的Jacob Ström, Per Wennersten, Ying Wang, Kenneth Andersson, Jonatan Samuelsson之「Bilateral filter after inverse transform」(JVET-D0069)中，變換單元(TU)中之每一經重建構樣本係僅使用其直接相鄰之經重建構樣本來進行濾波。
圖4展示用於雙向濾波程序中之一個樣本及該樣本之相鄰四個樣本的實例。圖4之濾波器具有在待濾波樣本處定中心的加號狀濾波器孔徑。之值係根據方程式(3)基於變換單元大小來設定，且之值係根據方程式(4)基於用於當前區塊之QP來設定。(3)(4)
如2017年1月12至20日在瑞士日內瓦舉行之第5次會議上Jacob Ström, P. Wennersten, K. Andersson, J. Enhorn之「Bilateral filter strength based on prediction mode」(JVET-E0032)，為在低延遲組態下進一步減少寫碼損失，濾波器強度經進一步設計為取決於經寫碼模式。對於經框內寫碼區塊，仍使用以上方程式(3)。對於經框間寫碼區塊，應用以下方程式：(5)
之不同值意謂框間預測區塊之濾波器強度與框內預測區塊之濾波器強度相比較相對較弱。框間預測區塊通常具有比框內預測區塊較小的殘餘且因此雙向濾波器經設計以對框間預測區塊之重建構進行較少濾波。
輸出之經濾波樣本值經計算為：(6) 由於濾波器僅僅接觸樣本及其4個相鄰者，所以此方程式可寫為(7) 其中為中心樣本之強度，且、、及分別為左側樣本、右側樣本、上方樣本及下方樣本之強度。同樣，為中心樣本之權重，且、、及為相鄰樣本之對應權重。濾波器僅僅使用區塊內之樣本用於濾波；在外部的權重經設定為0。
為了減少計算之數目，已使用查找表(LUT)實施JEM中之雙向濾波器。對於每一QP，存在針對值、、及的一維LUT，其中值(8) 被儲存，其中係使用取決於QP之方程式(4)來計算。由於LUT中之，所以對於框內M×N其中minimum(M, N)等於4情況，運用65之中心權重的情況下，其可被直接使用，此表示1.0。對於其他模式(亦即，框內M×N但minimum(M, N)不等於4，框間K×L個區塊)，吾人使用相同LUT，但實際上使用中心權重(9) 其中係藉由(3)或(5)獲得。最終經濾波值計算為：(10) 其中所使用除法為整數除法且項相加以得到正確捨位。
在JEM參考軟體中，方程式2中之除法運算由查找表(LUT)、乘法及移位操作替換。為減少分子及分母之大小，方程式2經進一步優化為(11) 在JEM參考軟體中，方程式11係以除法可藉由兩個查找表實施之方式來實施，且(11)可寫為：(12)sumWeights =o=sign(x)= x ＞= 0 ? 1: -1;
兩個查找表為用以在移位之後得到每一1/x (x為正整數值)之近似值的查找表LUT，及用以定義輸入x之額外移位值的查找表DivShift。2017年3月31日至4月7日，在澳大利亞霍巴特(Hobart)舉行之第6次會議，J. Ström, P. Wennersten, K. Andersson, J. Enhorn之「EE2-JVET related: Division-free bilateral filter」JVET-F0096提供更多細節。
若QP＜18，或若區塊為框間類型且區塊尺寸為16×16或更大，則雙向濾波器斷開。應注意，所提議之雙向濾波方法僅應用於具有至少一個非零係數的明度區塊。在一實例中，對於具有全零係數之色度區塊及明度區塊，始終停用雙向濾波方法。
圖5展示用於雙向濾波程序中之一個樣本及其相鄰四個樣本的實例。對於位於TU頂部及左側邊界(亦即，頂部列及左側行)處之樣本，僅當前TU內之相鄰樣本可用以對當前樣本進行濾波，如圖5之實例中所示。
JVET-D0069、JVET-E0032及JVET-F0096中提議之雙向濾波的設計可具有若干問題。作為一個實例，即使除法由查找表替換，計算複雜度仍相對高，其需要高精確度乘法。作為另一實例，對於所有視訊序列運用固定加權參數的雙向濾波器之設計可並不完全捕捉視訊內容之特性。本發明引入可藉由視訊編碼器20及視訊解碼器30實施以便解決此等問題及其他問題的技術。因此，本發明之技術可藉由減少與實施雙向濾波相關聯之複雜度同時仍達成與雙向濾波相關聯之寫碼增益而改良視訊編碼器20及視訊解碼器30的功能性。減少與雙向濾波相關聯之複雜度可使視訊編碼器20及視訊解碼器30能夠更快速處理視訊資料，使用不大複雜硬體來實施，達成較好電池壽命，及/或達成其他改良。
為可能地解決上文介紹之問題，本發明提議無除法雙向濾波(DFBil)方法。對於一個待濾波樣本，DFBil濾波程序可定義為：其中為當前樣本之強度且為在執行DFBil之後當前樣本之經修改強度，及分別為第m個相鄰樣本之強度及加權參數。
根據本發明之一種技術，視訊解碼器30可使用定位於模板中之相鄰樣本實施雙向濾波。在一個實例中，該模板可包括在空間上接近於當前樣本之若干相鄰樣本。圖6中描繪DFBil中所使用之當前樣本及相鄰樣本的實例。在一個實例中，該模板可包括來自先前經寫碼圖框或參考圖像之同置位置的一或多個相鄰樣本。在一個實例中，該模板可包括在空間上接近於當前樣本之樣本及來自先前經寫碼圖像或參考圖像之同置位置的樣本。在一個實例中，該模板可包括在空間上接近於當前樣本之樣本、來自先前經寫碼圖像或參考圖像之同置位置的樣本，及在空間上接近於在其他圖像中之同置位置處之樣本的樣本。該模板及/或相鄰樣本之總數(N)可經預定義及固定用於所有情況。替代地，該模板及/或N可藉由編碼器發信，以由解碼器接收。替代地，模板及/或N可根據經寫碼資訊(包括(但不限於)模式資訊及/或運動資訊)而調適性地改變。
根據本發明的另一技術，加權因數wi 可由兩個部分表示，包括當前樣本與一個相鄰樣本之間的距離資訊之一個部分(藉由Disi 指示)，及包括樣本差異資訊之另一部分(藉由Rangi 指示)。在一個實例中，=Disi *Rangi 。Rangi 可進一步依賴於覆蓋當前樣本的區塊之量化參數(QP)及/或基於基於經重建構樣本及/或原始樣本之局部樣本特性(其可被發信)。在一個實例中，局部區域中之樣本特性可由例如像素變異數、結構資訊、結構類似性索引表示。距離可由函數f(xi -xc , yi -yc )定義，諸如sqrt((xi -xc )2 +(yi -yc )2 )或((xi -xc )2 +(yi -yc )2 )，其中(xc , yc )表示當前樣本之座標且(xi , yi )表示相鄰樣本之座標。Disi 可進一步依賴於寫碼模式資訊、變換資訊、運動資訊及/或預測方向。
在一個實例中，對於定位於經框內寫碼區塊及經框間寫碼區塊中的兩個樣本，甚至在第i個相鄰樣本及當前樣本係相同的或Rangi 係相同的時，對於經框間寫碼樣本，Disi 可經設定為較小值。用於Rangi 之多於一個候選者可被允許且多個候選者中之一者可經選擇用於一個樣本/區塊/分割區以決定真正Rangi 。在一個實例中，候選者可指示QP差。用於Disi 之多於一個候選者可被允許且多個候選者中之一者可經選擇用於一個樣本、區塊或分割區。在一個實例中，候選者可指示當前樣本與相鄰樣本之間的通用加權差。Disi 或Rangi 或wi 可進一步取決於截塊類型、覆蓋當前樣本之區塊相對於圖像塊及/或截塊內之左上方樣本的位置、或當前樣本相對於覆蓋當前樣本的區塊之左上方樣本的位置、或樣本是否位於一個區塊之邊界處，或基於像素變異數之分類區而變化。此外，在一個實例中，用於像素變異數計算之區可經預定義或藉由編碼器在位元串流中發信，以藉由解碼器接收。Disi 、Rangi 、可由查找表界定以使得不需要在運作中對於每一待濾波樣本計算參數。
根據本發明之另一技術，視訊解碼器30可緊接在解區塊濾波器程序之後調用DFBil。可緊接在區塊之重建構程序之後調用DFBil。可在框內預測或運動補償之後將DFBil應用於預測區塊。或DFBil可應用於用於框內預測之參考樣本。DFBil及其他迴路內濾波器之次序可取決於視訊資料之截塊類型。DFBil及其他迴路內濾波器之次序可經預定義。或次序可調適性地改變且調適性次序可經明確地發信或基於寫碼資訊而導出。
根據本發明之另一技術，視訊解碼器30可接收每一單元(諸如結合LCU/CU/四分樹分割區)DFBil需要的參數(諸如，上文所論述之Disi 及Rangi 的候選者索引)。在一個實例中，對於每一單元，DFBil可經啟用或停用。亦即，指示DFBil之使用的一個額外位元可藉由編碼器進一步發信並藉由解碼器接收。在一個實例中，對於每一截塊，一個旗標可首先藉由編碼器發信並藉由解碼器接收以指示當前截塊內之所有區塊是否待由DFBil濾波。
在一個實例中，類似於HEVC中採用的四分樹結構，DFBil之發信亦可遵循具有一些變化之四分樹設計。一個此類變化為「LCU」可由整個截塊及/或圖像塊替換，亦即四分樹結構之節點為整個截塊及/或圖像塊。另一可能變化為對於第一分裂，區大小可經定義為(2K , 2K )，其中K為正整數且2K 小於截塊及/或圖像塊寬度且2K + 1 不小於截塊及/或圖像塊寬度。對於剩餘分裂，區大小減小¼，亦即，高度及寬度兩者可減小一半。另一可能變化為用於發信DFBil之最小大小可經預定義(諸如64×64)，或在位元串流中發信。
在一個實例實施中，如上文所定義，濾波程序可表示為：其中minDFBilQP指示DFBil應用於的最小QP，例如，其經設定為17。應注意可每一CU、LCU、四分樹分割區、截塊或圖像發信Indexd 及Indexr 。RCandNum指示用於判定的候選者之總數目，且陣列DCandidateList指示用於判定的候選者清單。
在一個實例中，N經設定為12，RCandNum經設定為5。DCandidateList經設定為[52, 62, 72, 82]。替代地，DCandidateList可取決於截塊類型或程式碼模式。在一個實例中，清單大小對於所有情況係相同的；替代地，清單大小對於不同寫碼資訊可係不同的。
圖7為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖7之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元(MEU) 42、運動補償單元(MCU) 44及框內預測單元46。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB) 66。
如圖7中所示，視訊編碼器20接收視訊資料並將所接收之視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。可例如自視訊源18獲得儲存於視訊資料記憶體33中之視訊資料。DPB 66可為儲存參考視訊資料以用於由視訊編碼器20編碼視訊資料(例如在框內或框間寫碼模式中)的參考圖像記憶體。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM)之各種記憶體裝置中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。視訊資料記憶體33及DPB 66可由同一記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料且將視訊資料分割成視訊區塊。此分割亦可包括分割成截塊、圖像塊或其他較大單元，以及例如根據LCU及CU的四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊截塊內之視訊區塊的組件。截塊可劃分成多個視訊區塊(且可能劃分成被稱作圖像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如寫碼速率及失真等級)選擇複數個可能寫碼模式中之一者(諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或截塊中的一或多個相鄰區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊截塊之框間預測模式。預定圖案可將序列中之視訊截塊指定為P截塊或B截塊。運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示將當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平變異數和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的次整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼截塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在DPB 66中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確度)判定之運動向量而提取或產生預測性區塊。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用於在解碼視訊截塊之視訊區塊時使用。
在預測處理單元41經由框內預測或框間預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。量化程序可減小與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。在另一實例中，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56熵編碼之後，經編碼位元串流可被傳輸至視訊解碼器30，或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼當前正寫碼之視訊截塊的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊與參考圖像清單中之一者內的參考圖像中之一者之預測性區塊相加來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值以用於運動估計。求和器62將經重建構殘餘區塊與藉由運動補償單元44產生之運動補償預測區塊相加以產生經重建構區塊。
濾波器單元64對經重建構區塊(例如，求和器62之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作為參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。舉例而言，濾波器單元64可實施本發明中所描述之無除法雙向濾波技術。濾波器單元64亦可執行任何類型之濾波，諸如解區塊濾波、SAO濾波、峰值SAO濾波、ALF及/或GALF，及/或其他類型之迴路濾波器。解區塊濾波器可例如將解區塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊假影。峰值SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路內或迴路後)。
圖8為說明可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。圖8之視訊解碼器30可例如經組態以接收上文關於圖7之視訊編碼器20所描述的發信。在圖8之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元92及DPB 94。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行通常可逆於關於自圖7之視訊編碼器20所描述之編碼遍次的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可例如經由鏈路16自儲存裝置26或自本機視訊源(諸如攝影機)或藉由存取實體資料儲存媒體獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為儲存參考視訊資料以供視訊解碼器30例如在框內或框間寫碼模式中解碼視訊資料的參考圖像記憶體。視訊資料記憶體78及DPB 94可由各種記憶體裝置中之任一者形成，該等記憶體裝置諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體裝置。視訊資料記憶體78及DPB 94可由同一記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80熵解碼儲存於視訊資料記憶體78中之視訊資料以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級接收語法元素。
當視訊截塊經寫碼為經框內寫碼(I)截塊時，預測處理單元81之框內預測單元84可基於來自當前圖框或圖像之先前經解碼區塊的經發信框內預測模式及資料來產生用於當前視訊截塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼截塊(例如B截塊或P截塊)時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收到之運動向量及其他語法元素產生預當前視訊截塊之視訊區塊的測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用接收之語法元素中之一些以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊或P截塊)、截塊之參考圖像清單中之一或多者之建構資訊、截塊之每一經框間編碼視訊區塊之運動向量、截塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元82可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(亦即解量化)位元串流中所提供，並由熵解碼單元80解碼的經量化變換係數。反量化程序可包括使用由視訊編碼器20針對視訊截塊中之每一視訊區塊計算的量化參數，以判定量化程度及同樣地應被應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似的反變換程序)應用於變換係數，以便產生像素域中之殘餘區塊。
在預測處理單元81使用例如框內或框間預測產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與對應預測性區塊求和而形成經重建構之視訊區塊。求和器90表示執行此求和運算之組件或多個組件。
濾波器單元92對經重建構區塊(例如，求和器90之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 94中以供用作參考區塊。參考區塊可由運動補償單元82用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。舉例而言，濾波器單元92可實施本發明中所描述之無除法雙向濾波技術。濾波器單元92亦可執行任何類型的濾波，諸如解區塊濾波、SAO濾波、SAO濾波、ALF、及/或GALF、雙向濾波，及/或其他類型之迴路濾波器。解區塊濾波器可例如將解區塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊假影。SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路內或迴路後)。
給定圖框或圖像中之經解碼視訊區塊接著儲存於DPB 94中，該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示裝置(諸如圖1之顯示裝置32)上之經解碼視訊。
圖9展示濾波器單元92之實例實施。濾波器單元64可以相同方式實施。濾波器單元64及92可可能結合視訊編碼器20或視訊解碼器30之其他組件執行本發明之技術。在圖9之實例中，濾波器單元92包括解區塊濾波器102、SAO濾波器104，及ALF/GALF濾波器106，如同實施於JEM 6中。濾波器單元92亦包括雙向濾波器108。如圖9之實例中所示，雙向濾波器108可獨立於解區塊濾波器102、SAO濾波器104及/或ALF/GLAF濾波器106，或結合解區塊濾波器102、SAO濾波器104及/或ALF/GLAF濾波器106而使用。在替代實施中，與圖9中展示之彼等濾波器相比，濾波器單元92可包括較少濾波器及/或可包括額外濾波器。另外或替代地，圖9中展示之特定濾波器可以不同於圖9中展示之次序的次序實施。
圖10為說明根據本發明之技術的用於解碼視訊資料之視訊解碼器之實例操作的流程圖。關於圖10所描述之視訊解碼器可例如為諸如視訊解碼器30之用於輸出可顯示經解碼視訊的視訊解碼器，或可為實施於視訊編碼器中之視訊解碼器，諸如視訊編碼器20之解碼迴路，其包括反量化單元58、反變換處理單元60、濾波器單元64及DPB 66。
根據圖10之技術，視訊解碼器判定視訊資料之區塊之樣本值(202)。視訊解碼器對視訊資料之區塊之樣本之樣本值執行濾波操作以產生包含經修改樣本值之視訊資料之經濾波區塊(204)。作為執行濾波操作之部分，視訊解碼器判定對應於樣本值與第一相鄰樣本之值之間的差之第一差值(206)且將第一差值乘以第一加權參數以判定第一加權差值(208)。視訊解碼器亦判定對應於樣本值與第二相鄰樣本之值之間的差之第二差值(210)，將第二差值乘以第二加權參數以判定第二加權差值(212)，且將第一加權差值及第二加權差值與樣本值相加以判定經修改樣本值(214)。視訊解碼器輸出視訊資料之經濾波區塊，例如作為包含視訊資料之經濾波區塊的經解碼圖像之部分。在一些實例中，視訊資料之經濾波區塊可在輸出之前經歷額外濾波。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或碼而在一電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其它等效整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種裝置或設備中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存裝置
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元(MEU)
44‧‧‧運動補償單元(MCU)
46‧‧‧框內預測單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器(DPB)
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧經解碼圖像緩衝器(DPB)
102‧‧‧解區塊濾波器
104‧‧‧樣本調適性偏移(SAO)濾波器
106‧‧‧調適性迴路濾波(ALF)/基於幾何變換之調適性迴路濾波(GALF)濾波器
108‧‧‧雙向濾波器
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統的方塊圖。
圖2A展示HEVC中CTU至CU分割的實例。
圖2B展示圖2A之對應四分樹表示。
圖3A至圖3D展示用於邊緣偏移(EO)樣本分類之四個1-D方向圖案。
圖4展示用於雙向濾波程序中之一個樣本及其相鄰四個樣本的實例。
圖5展示用於雙向濾波程序中之一個樣本及其相鄰四個樣本的實例。
圖6展示用於無除法雙向(DFBil)濾波程序中之一個樣本及其相鄰樣本的實例。。
圖7為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖8為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖9展示用於執行本發明之技術的濾波器單元之實例實施。
圖10為說明根據本發明之技術的視訊解碼器之實例操作的流程圖。

Claims (25)

  1. 一種解碼視訊資料之方法，該方法包含： 判定視訊資料之一區塊之樣本之樣本值； 對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中執行該濾波操作包含： 判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值； 將該第一差值乘以一第一加權參數以判定一第一加權差值； 判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值； 將該第二差值乘以一第二加權參數以判定一第二加權差值；及 將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及 輸出視訊資料之該經濾波區塊。
  2. 如請求項1之方法，其中執行該濾波操作包含根據以下方程式修改該所選擇樣本之該樣本值：其中IF 為該經修改樣本值，IC 為該所選擇樣本之該樣本值，Ii 為一第i相鄰樣本之一樣本值，wi 為用於該第i相鄰樣本之一加權參數，且N為相鄰樣本之一數目。
  3. 如請求項1之方法，其中該第一相鄰樣本包含緊鄰該所選擇樣本之一樣本，且其中該第二相鄰樣本包含不緊鄰該所選擇樣本之一樣本。
  4. 如請求項1之方法，其中該第一相鄰樣本包含來自一先前經解碼圖像之一樣本。
  5. 如請求項1之方法，其進一步包含： 基於該所選擇樣本與該第一相鄰樣本之間的一距離及基於該等第一差值判定該第一加權因數。
  6. 如請求項5之方法，其進一步包含： 進一步基於用於視訊資料之該區塊之一量化參數判定該第一加權因數。
  7. 如請求項1之方法，其進一步包含： 基於包括於該視訊資料中之參數判定該第一加權因數及該第二加權因數。
  8. 如請求項1之方法，其中視訊資料之該區塊包含視訊資料之一經後解區塊濾波、經重建構區塊。
  9. 如請求項1之方法，其中該解碼方法係作為一視訊編碼程序之一解碼迴路之部分而執行，且其中輸出視訊資料之該經濾波區塊包含儲存包含視訊資料之該經濾波區塊之一參考圖像，該方法進一步包含： 在編碼該視訊資料之另一圖像時使用該參考圖像。
  10. 如請求項1之方法，其中輸出一經解碼圖像包含輸出視訊資料之該經濾波區塊至一顯示裝置。
  11. 一種用於解碼視訊資料之裝置，該方法包含： 一記憶體，其經組態以儲存該視訊資料；及 一或多個處理器，其經組態以進行以下操作： 判定該視訊資料之一區塊之樣本之樣本值； 對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中為執行該濾波操作，該一或多個處理器經組態以進行以下操作： 判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值； 將該第一差值乘以一第一加權參數以判定一第一加權差值； 判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值； 將該第二差值乘以一第二加權參數以判定一第二加權差值；及 將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及 輸出視訊資料之該經濾波區塊。
  12. 如請求項11之裝置，其中為執行該濾波操作，該一或多個處理器經進一步組態以根據以下方程式修改該所選擇樣本之該樣本值：其中IF 為該經修改樣本值，IC 為該所選擇樣本之該樣本值，Ii 為一第i相鄰樣本之一樣本值，wi 為用於該第i相鄰樣本之一加權參數，且N為相鄰樣本之一數目。
  13. 如請求項11之裝置，其中該第一相鄰樣本包含緊鄰該所選擇樣本之一樣本，且其中該第二相鄰樣本包含不緊鄰該所選擇樣本之一樣本。
  14. 如請求項11之裝置，其中該第一相鄰樣本包含來自一先前經解碼圖像之一樣本。
  15. 如請求項11之裝置，其中該一或多個處理器經進一步組態以進行以下操作： 基於該所選擇樣本與該第一相鄰樣本之間的一距離及基於該等第一差值判定該第一加權因數。
  16. 如請求項15之裝置，其中該一或多個處理器經進一步組態以進行以下操作： 進一步基於用於視訊資料之該區塊之一量化參數判定該第一加權因數。
  17. 如請求項11之裝置，其中該一或多個處理器經進一步組態以進行以下操作： 基於包括於該視訊資料中之參數判定該第一加權因數及該第二加權因數。
  18. 如請求項11之方法，其中視訊資料之該區塊包含視訊資料之一經後解區塊濾波、經重建構區塊。
  19. 如請求項11之裝置，其中該裝置經組態以作為一視訊編碼程序之一解碼迴路之部分而解碼該視訊資料，且其中為輸出視訊資料之該經濾波區塊，該一或多個處理器經組態以儲存包含視訊資料之該經濾波區塊之一參考圖像，其中該一或多個處理器經進一步組態以在編碼該視訊資料之另一圖像時使用該參考圖像。
  20. 如請求項11之裝置，其中為輸出視訊資料之該經濾波區塊，該一或多個處理器經組態以輸出包含視訊資料之該經濾波區塊之一經解碼圖像至一顯示裝置。
  21. 如請求項11之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  22. 如請求項21之裝置，其中該無線通信裝置包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  23. 如請求項11之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  24. 如請求項23之裝置，其中該無線通信裝置包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
  25. 一種儲存指令之電腦可讀儲存媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器進行以下操作： 判定視訊資料之一區塊之樣本之樣本值； 對該視訊資料之該區塊之一所選擇樣本之一樣本值執行一濾波操作以產生包含一經修改樣本值之視訊資料之一經濾波區塊，其中為執行該濾波操作，該等指令致使該一或多個處理器進行以下操作： 判定對應於該所選擇樣本之該樣本值與一第一相鄰樣本之一樣本值之間的一差之一第一差值； 將該第一差值乘以一第一加權參數以判定一第一加權差值； 判定對應於該所選擇樣本之該樣本值與一第二相鄰樣本之一樣本值之間的一差之一第二差值； 將該第二差值乘以一第二加權參數以判定一第二加權差值；及 將該第一加權差值及該第二加權差值與該所選擇樣本之該樣本值相加以判定該經修改樣本值；及 輸出視訊資料之該經濾波區塊。
TW107123169A 2017-07-05 2018-07-04 無分割雙向濾波器 TW201907715A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762528912P 2017-07-05 2017-07-05
US62/528,912 2017-07-05
US16/027,173 2018-07-03
US16/027,173 US10887622B2 (en) 2017-07-05 2018-07-03 Division-free bilateral filter

Publications (1)

Publication Number Publication Date
TW201907715A true TW201907715A (zh) 2019-02-16

Family

ID=64903535

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123169A TW201907715A (zh) 2017-07-05 2018-07-04 無分割雙向濾波器

Country Status (9)

Country Link
US (1) US10887622B2 (zh)
EP (1) EP3649777A1 (zh)
KR (1) KR102309353B1 (zh)
CN (1) CN110800295B (zh)
AU (1) AU2018297286A1 (zh)
BR (1) BR112019027830A2 (zh)
SG (1) SG11201910917PA (zh)
TW (1) TW201907715A (zh)
WO (1) WO2019010315A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834396B2 (en) 2018-04-12 2020-11-10 Qualcomm Incorporated Bilateral filter for predicted video data
WO2020007848A1 (en) * 2018-07-02 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Bilateral high frequency boost
WO2020228763A1 (en) * 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Methods on scaling in video coding
WO2020256491A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US11438584B2 (en) * 2019-08-16 2022-09-06 Apple Inc. Adaptive bilateral filtering using look-up tables
WO2023038916A1 (en) * 2021-09-07 2023-03-16 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive bilateral filtering for video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4145586B2 (ja) * 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US8073276B2 (en) * 2007-04-10 2011-12-06 Vivante Corporation De-ringing filter for decompressed video data
CN101635849B (zh) * 2008-07-24 2011-11-16 青岛海信信芯科技有限公司 一种环路滤波方法及环路滤波器
CN101984669A (zh) * 2010-12-10 2011-03-09 河海大学 一种帧层次自适应维纳插值滤波器的迭代方法
CN102075753B (zh) * 2011-01-13 2012-10-31 中国科学院计算技术研究所 一种视频编解码中去块滤波方法
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9386319B2 (en) * 2013-09-05 2016-07-05 Microsoft Technology Licensing, Llc Post-process filter for decompressed screen content
CN104794685B (zh) 2014-01-17 2019-04-26 腾讯科技（深圳）有限公司 一种实现图像去噪的方法及装置
US20160014176A1 (en) * 2014-07-09 2016-01-14 Liveu Ltd. System and method for content solicitation
KR20180107082A (ko) 2016-02-16 2018-10-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN109792541A (zh) 2016-10-05 2019-05-21 瑞典爱立信有限公司 用于视频译码的去振铃滤波器
US20180184127A1 (en) 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
WO2018149995A1 (en) 2017-02-16 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods
US20190082176A1 (en) 2017-09-11 2019-03-14 Qualcomm Incorporated Non-local bilateral filter
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding

Also Published As

Publication number Publication date
AU2018297286A1 (en) 2019-12-19
KR102309353B1 (ko) 2021-10-05
WO2019010315A1 (en) 2019-01-10
EP3649777A1 (en) 2020-05-13
US20190014349A1 (en) 2019-01-10
BR112019027830A2 (pt) 2020-07-07
KR20200023358A (ko) 2020-03-04
SG11201910917PA (en) 2020-01-30
CN110800295A (zh) 2020-02-14
US10887622B2 (en) 2021-01-05
CN110800295B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109691102B (zh) 跨分量滤波器
CN110169064B (zh) 具有减低复杂性的视频译码中的双边滤波器
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
TWI827609B (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
US10440396B2 (en) Filter information sharing among color components
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
CN111373756B (zh) 具有远相邻像素的帧内预测
JP2018532319A (ja) パレットモードビデオコーディングにおけるエスケープピクセルシグナリング値の制限
TW201804794A (zh) 過濾資訊之發信號
US10887622B2 (en) Division-free bilateral filter
TW201603562A (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
US10623737B2 (en) Peak sample adaptive offset
US10764605B2 (en) Intra prediction for 360-degree video
TWI826487B (zh) 用於視訊寫碼中之適應性運動向量差解析度及增加的運動向量儲存精確度的運動向量捨位
TW202044833A (zh) 使用不同色度格式之三角預測單元模式中之視訊寫碼
TW201943270A (zh) 去區塊濾波器及自適應迴路濾波器之統一
IL287257B1 (en) which will include gradient-based prediction for video encoding
US20230059060A1 (en) Intra block copy scratch frame buffer
TW202041018A (zh) 預測係數寫碼
CN113940081A (zh) 使用利用光流的预测细化的视频编解码的方法和装置
RU2817298C2 (ru) Уточнение предсказания на основе градиента для кодирования видео