TW202110181A - 濾波器 - Google Patents

濾波器 Download PDF

Info

Publication number
TW202110181A
TW202110181A TW109128045A TW109128045A TW202110181A TW 202110181 A TW202110181 A TW 202110181A TW 109128045 A TW109128045 A TW 109128045A TW 109128045 A TW109128045 A TW 109128045A TW 202110181 A TW202110181 A TW 202110181A
Authority
TW
Taiwan
Prior art keywords
filter
ccalf
bits
bit
component
Prior art date
Application number
TW109128045A
Other languages
English (en)
Other versions
TWI793438B (zh
Inventor
喬納森 泰格特
克里斯托 吉克
吉羅姆 拉契
派翠斯 昂諾
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202110181A publication Critical patent/TW202110181A/zh
Application granted granted Critical
Publication of TWI793438B publication Critical patent/TWI793438B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明揭示一種濾波影像之方法,該方法包括:接收濾波器係數及對應於圍繞參考樣本之樣本的第一分量樣本值,及將該濾波器係數及第一分量樣本值輸入至跨分量濾波器中以產生跨分量濾波器輸出;其中,該跨分量濾波器使用限定數目個位元來表示該濾波器係數及/或第一分量樣本值以產生該濾波器輸出。

Description

濾波器
本發明係關於視訊分量之區塊的編碼或解碼。本發明之實施例發現當控制用於濾波此分量之樣本之濾波器時特別但非排他的用途。特定言之(但非排他地),控制適應性迴路濾波器。
視訊寫碼包含影像寫碼(影像係相當於視訊之單一圖框)。在視訊寫碼中,某些寫碼工具(諸如轉換係數之量化或運動補償(其通常利用內插濾波器來執行)通常會引入失真偏差/作用(似乎是系統性或至少在給定前文中是非隨機的失真)。為了補償這些偏差/假影,且改善(或至少維持良好程度的)寫碼效率,可使用一些特定寫碼工具(稱之為後置濾波器或迴路內濾波器)。此等寫碼工具的一些實例為解區塊濾波器(DBF)、樣本適應性偏移(SAO)濾波器或適應性迴路濾波器(ALF)。迴路內濾波器可應用在寫碼迴路中,使得其提供用於當前圖框的影像品質提升可實現後面的圖框(其等基於該當前圖框而寫碼)之提升的寫碼效率。例如,DCT係數之量化用於視訊壓縮係有效率的,但其通常會引入在樣本之壓縮區塊之邊界上的區塊假影(偏差)。解區塊濾波器可減少源自於此假影之不當效應。解區塊(使用DBF)在寫碼迴路中之一經解碼圖框(在其用作為用於另一圖框之運動補償之參考圖框之前)相較於在寫碼迴路外解區塊該圖框(例如,在正要顯示其之前)可明顯地增進運動補償之寫碼效率。 本發明特別關於適應性迴路濾波器(ALF),其亦可應用作為迴路內濾波器以減少在解碼圖框/影像中之不當的壓縮假影。ALF已由視訊寫碼專家組/動態圖像專家組(VCEG/MPEG)標準化群組所研究,且正被考慮使用於標準通用視訊寫碼(VVC),例如在第五版VVC測試模型軟體中(VTM-5.0或VVC草稿版本5)。2019年7月3日至12日在瑞典哥德堡的聯合視訊專家小組(JVET)第15次會議中,已在JVET-O0636中建議跨分量ALF(CCALF),其係一種用於ALF之補充濾波器,其使用亮度通道之樣本值來對色度通道之樣本值估計假影的額外錯誤校正。CCALF亦可應用在每個色度通道。
本發明係關於藉由簡化跨分量濾波器來改良CCALF程序之部分的寫碼性能。 本發明之實施例關於使用濾波器係數或跨分量輸入樣本之任一者或兩者之減少的位元深度表示(相較於內部位元深度)。此限定可藉由位元移位操作及/或忽略濾波器係數/輸入樣本之某些位元來執行。 在本發明之一態樣中,提供一種濾波影像部分之方法,該方法包括:接收濾波器係數及對應於圍繞參考樣本之樣本的第一分量樣本值,及將該濾波器係數及第一分量樣本值輸入至跨分量濾波器中以產生跨分量濾波器輸出;其中,該跨分量濾波器使用限定數目個位元來表示該濾波器係數及/或第一分量樣本值以產生該濾波器輸出。 依此方式,可簡化濾波器計算且可令人驚訝地維持大部分的CCALF寫碼改良。 視情況,位元之該限定數目係低於由內部位元深度定義之位元數目。 針對有效的實施方案,用以表示濾波器係數及/或第一分量樣本值之位元的該限定數目係使得濾波器輸出可在16個或更少位元上表示。 視情況,該方法進一步包括將該跨分量濾波器輸出與對應於不同分量之濾波器的輸出結合。視情況,該第一分量係亮度且該不同分量係色度分量。 針對有效的實施方案,該方法包括在濾波器乘法運算之前執行位元移位操作以減少位元之數目。這得以簡化濾波器計算。 限定樣本值 在本發明之一態樣中,用以表示樣本值之位元數目係減少的。 視情況,依照第三變體,該限定的步驟包括藉由僅考量某些位元來降低樣本值之精度。 視情況,忽略預定義數目之最低位元;例如,該最低位元、最低2位元、最低3位元或最低4位元。 視情況,保持預定義數目的最高位元,例如,最高8、7、6、5或4位元。 為了進一步簡化,該方法可包括使用最高移除位元來捨入樣本值。 視情況,依照第四變體,將該樣本值輸入至該濾波器的步驟包括將表示該第一分量樣本值與參考樣本值之值上的差異之圖輸入。 視情況,該方法進一步包括基於由固定截波參數C定義之截波函數來截波該差異。 該截波函數K可表示為:
Figure 02_image001
其中C係截波參數且d係表示該差異之圖。因此,輸入至截波函數係表示差異之圖及截波參數,且該輸出係-C或C與d之間的較小值中的最高值。 在一有利的實施例中,C係2(IBitDepth-n) -1,其中IBitDepth係用以表示樣本值之位元數目而n係滿足n< IBitDepth的一整數。視情況,n=2或3。 限定係數值 在本發明之一態樣中,用以表示濾波器係數值之位元數目係減少的。 視情況,依照第二變體,該限定的步驟包括限制濾波器係數之可能值的範圍。這使得係數可在較少位元上被表示且使得後續計算更簡化。 視情況,依照第一變體,該限定包括使用該輸入係數值之降低定點十進制精度。 具有特定優點的實施例包含其中該降低定點十進制精度係8、7或6位元中之一者。 在一可選實施例中,限制該範圍包括不使用高於臨限值的任何位元;例如,該臨限值係定點十進制精度之第7、第6、第5、第4或第3位元。 在本發明之一有利的實施方案中,各乘法係由按位元移位及加法運算所取代,這些在硬體及軟體兩者中係較容易實施的。因此,該濾波器操作可包括將樣本值與濾波器係數相乘,且該乘法經由按位元移位而實施及/或與另一濾波器係數組合以藉由按位元移位及加法運算來取代該乘法運算。 濾波器形狀 在本發明之另一態樣中,提出對於濾波器形狀的修改。此等修改包含減少所要考量之樣本數目(且因此簡化結果計算),同時維持由CCALF所提供的益處。 視情況,各第一分量樣本值係處在相對於參考樣本之定義位置處之位置的樣本值,該樣本之該位置係由濾波器形狀定義。 為了方便實施,該濾波器形狀係使得其包含16個或更少的樣本。 在一項實施例中,濾波器形狀包括一圖案,其中該第一分量樣本具有相對於該參考樣本之位置(x+u, y+v),其中u及v屬於[-2,2]整數區間。 在另一實施例中,濾波器形狀包括一圖案,其中每個樣本具有相對於該參考樣本之位置(x+u, y+v),其中u屬於 [-2,2]且v屬於[-1,2]。在一變體中,該濾波器係「菱形」;例如其中當|u|=2時,v屬於[0,1]。 在一項實施例中,濾波器形狀包括一圖案,其中每個樣本具有相對於該參考樣本之位置(x+u, y+v),其中u屬於[-1,1]且v屬於[-1,2]。在一變體中,該濾波器係「菱形」;例如其中當|u|=1時,v屬於[0,1]。 在一項實施例中,濾波器形狀包括一圖案,其中每個樣本具有相對於該參考樣本之位置(x+u, y+v),其中u及v屬於[0,1]。 傳訊 本發明之實施例亦關於在位元流中傳訊CCALF濾波器係數。本發明之一目標係要改良傳訊以最小化與CCALF相關聯的位元率成本。 視情況,該方法進一步包括在位元流中針對該濾波器係數及/或樣本值傳訊減少的位元數目。這允許對不同影像的一致性處理,且視需要在處理時的靈活性。 依照本發明之一態樣,該方法進一步包括:判定跨分量適應性迴路濾波器(CCALF)是否針對給定分量而指示;及從位元流解碼/或編碼該濾波器係數。 依照本發明之另一態樣,提供一種解碼使用CCALF編碼之影像部分之方法,該方法包括:判定CCALF是否針對給定分量而指示;從位元流解碼CCALF係數;及使用該CCALF係數解碼該影像部分;其中,該CCALF係數係編碼在不具有前置碼的該位元流中。 此態樣代表優於先前技術之簡化,且導致較低位元率而不會明顯地折損CCALF性能,尤其當結合如本文中所描述之減少用以表示濾波器係數之位元數目時。 視情況,判定CCALF是否針對給定分量而指示包括解碼旗標。 依照本發明之另一態樣,提供一種使用跨分量適應性迴路濾波器(CCALF)編碼影像部分之方法,該方法包括:判定CCALF是否針對給定分量而指示;將CCALF係數編碼至該位元流中;及使用該CCALF係數編碼該影像部分;其中,該CCALF係數使用固定表示被編碼至片段標頭中。 視情況,該判定CCALF是否針對給定分量而指示之步驟包括將旗標編碼至該片段標頭中。 在一第一替代例中,為了方便實施,CCALF係數可被直接編碼在片段標頭中。 CCALF係數可使用帶正負號一元寫碼而被編碼在位元流中。此寫碼架構易於編碼及解碼且不倚賴其他參數(例如,前置碼)來進行。 視情況,依照第三替代例,該帶正負號一元寫碼包括:指示該係數之正負號的一位元;及一系列位元等於1指示該係數之幅度。 視情況,依照第二替代例,該帶正負號一元寫碼包括:在該位元流中之第一位元,指示該係數是否為零,若該係數非為零;指示該係數之正負號的一位元;及等於1的一序列位元指示該係數之幅度。 視情況,該第一位元等於1指示該係數為零。 視情況,該正負號位元等於1指示該係數為負。 視情況,為了方便剖析,該帶正負號一元寫碼進一步包括在該序列尾端處一位元等於零指示該係數之傳訊的結束。 本發明之又另一態樣關於用於濾波影像之裝置,如請求項33所定義。 本發明之又另一態樣係關於編碼器及解碼器,分別如請求項34及35所定義。 本發明之又另一態樣係關於一種程式,如請求項36所定義。該程式可自身提供或在載體媒體上、中攜載,或由載體媒體攜載。該載體媒體可為非暫態的,例如儲存媒體,尤其為電腦可讀儲存媒體。該載體媒體亦可為暫態的,例如信號或其他傳輸媒體。信號可經由任何適當網路來傳輸,包含網際網路。 本發明之進一步特徵可藉由其他獨立或依附請求項來表徵。 在本發明之一態樣中的任何特徵能以任何適當組合應用於本發明之其他態樣。特定言之,方法態樣亦可應用於設備態樣,且反之亦然。 此外,在硬體中實施之特徵可以在軟體中實施,且反之亦然。在本文中對軟體及硬體特徵之任何參考亦應相對地解釋。 如本文中所描述之任何設備特徵亦可提供為方法特徵,且反之亦然。如本文中所使用之手段加功能特徵可替代地以其對應結構來表示,諸如適當程式化之處理器及相關聯的記憶體。 應瞭解在本發明之任何態樣中所描述且定義之各種特徵之特定組合亦可獨立地實施及/或供應及/或使用。
下文所描述之本發明實施例係關於改良影像之編碼及解碼。 在本說明書中「傳訊」可指稱將有關用於控制濾波器之一或多個參數的資訊插入(提供/包含/編碼)至位元流中或從該位元流中擷取/獲得(解碼)該資訊,該資訊係例如一模式/方案之使用、廢用、啟用或停用或其他的濾波器控制有關的資訊。 在本說明書中,術語「片段」係用作為影像部分之實例(此影像部分的其他實例可為圖塊或圖塊群組(其為(若干)圖塊之群組/集合))。應可理解本發明之實施例亦可基於影像部分(例如,圖塊或圖塊群組)來取代片段、及經適當修改的參數/值/語法(諸如用於影像部分/圖塊/圖塊群組之標頭(取代片段標頭))、影像部分/圖塊/圖塊群組之類型(取代片段類型)及用於影像部分/圖塊/圖塊群組之統計(取代片段統計)來實施。亦可理解,適應參數集(APS)或圖塊(群組)標頭亦可用以傳訊ALF或CCALF參數(或用於使用(CC)ALF濾波的資訊),以取代片段標頭或序列參數集(SPS)。當使用APS用於傳訊(CC)ALF參數(或用於使用ALF濾波的資訊)時,片段標頭或圖塊群組標頭可用以指示要使用哪個APS來獲得該(CC)ALF參數(或用於使用(CC)ALF濾波之資訊),例如藉由指示適應集識別符(aps_id)。亦可理解任何的片段、圖塊群組、圖塊、寫碼樹單元(CTU)/最大寫碼單元(LCU)、寫碼樹區塊(CTB)、寫碼單元(CU)、預測單元(PU)、轉換單元(TU)或像素/樣本之區塊可稱為影像部分。 亦可理解的是:當濾波器或工具被描述為「作用中」時,該濾波器/工具係被「啟用」或「可供使用」或「被使用」;當描述為「非作用中」時,該濾波器/工具係被「停用」或「無法供使用」或「未被使用」;且「類型」係指稱一或多個元素之群組、分組、類別或分類。此外,亦可理解的是,當旗標被描述為「作用中」時,這表示該旗標指示相關的濾波器/工具係「作用中」。 適應性迴路濾波器(ALF) 圖1展示在VTM-5.0之典型解碼迴路中發生之ALF。在101中,影像部分(例如,片段)在寫碼樹單元之單元中被解碼(CTU:在VVC中之最大寫碼單元,通常為128x128樣本/像素大小)。一CTU被分裂成矩形區塊或寫碼單元(CU),其利用特別的預測方案/模式被編碼,且通常係殘差區塊之破壞性編碼。由於使用基於區塊的編碼,在經編碼區塊之間的邊界可看見區塊假影。在102中,經解碼影像部分接著藉由DBF處理以減少/移除這些假影。通常,為了針對區塊預測編碼殘差(區塊),殘差值利用類似DCT轉換來予以轉換(為了將殘差能量壓縮成幾個係數),且經轉換係數被量化以降低編碼成本。此量化通常在重建區塊中(亦即,儲存在圖框緩衝器106中之參考圖框中的區塊)引入一些漣波(ringing)假影。在103中,DBF之輸出影像部分接著由SAO濾波器處理,其能以低運算成本來降低一些這些假影。在104中,SAO濾波器之輸出影像部分接著由ALF處理。ALF可進一步降低例如類似「漣波」的假影。ALF具有較高階誤差模型化能力,但這需要較高的運算成本。ALF之輸出影像部分接著發送至一輸出(例如,一顯示器或與該顯示器通信之通信介面)105。亦可放入一圖框緩衝器106(作為儲存在其中之參考圖框的一部分),使得其可用於時間預測(當使用時間預測工具時)。這是為何DBF、SAO濾波器及ALF被稱為「迴路內」濾波器。一編碼器可停用一些迴路內濾波器,使得在解碼時他們可被繞過(亦即,沒有濾波被執行且對應於該經停用工具之步驟的輸出係與其輸入相同)。此外,在一些例子中,該影像部分處理並未侷限於片段,亦可以係含有一或多個片段之完整圖框,具有應用濾波器橫越片段邊界(若存在一個以上)的可行性,以降低在這些邊界上的假影。針對多分量影像(例如,依YCrCb格式的影像),DBF、SAO濾波器或ALF處理被個別地應用至各分量,且也可不同地(例如,使用不同的濾波參數至另一分量)。 圖2提供VTM-5.0中之ALF濾波的概述。針對各通道(亮度通道:Y及色度通道:Cb及Cr),輸入影像部分201、202、203連同濾波參數204、205、206一起被提供至適應性迴路濾波(ALF)程序207、208、209中。該ALF程序針對各通道210、211、212產生經處理的輸出影像部分。在208、209中之ALF色度處理針對兩個色度通道係相同的,但由於在205及206中提供之特定參數而亦可組態成在各通道上進行不同工作。在207中執行之ALF亮度處理通常比在208中執行之ALF色度處理更為複雜。對此有兩個理由。第一個理由係亮度通道內容通常比色度通道更複雜處理/編碼,因為亮度通道比通常更光滑之色度通道包含更多結構(輪廓、紋理等等)。第二理由係人眼對於在亮度通道上的誤差比在色度通道上的誤差更敏感。因此,針對亮度通道最好有更先進且複雜(亦即,更多功率消耗及/或較慢)處理,以提供較佳的寫碼增期及較佳的視覺品質。 在204、205及206中提供的輸入參數資訊被傳輸在適應性參數集(APS)及/或在片段標頭。204、205及206中亦可共用一些共同資訊。 ALF處理207、208、209可在各通道上並行執行,因為各者之任務結果係獨立於其他者之任務結果。對於並行處理之此機會可減少用於處理所花的總時間且可在硬體或軟體中有效率地實施。 在204、205及206中提供之輸入參數資訊亦可包含內部位元深度資訊。內部位元深度係可用以表示樣本值之最大位元數目(亦即,其代表樣本值之精度)。在VTM-5.0中,可針對亮度通道允許使用一個內部位元深度,其係不同於用於色度通道之內部位元深度(位元深度資訊係針對兩個通道類型(亮度及色度)被傳訊於序列參數集(SPS)中)。在以下說明中,「IBDL」將指稱亮度之內部位元深度,「IBDC」將指稱色度之內部位元深度。當針對內部位元深度使用「IBD」時,其表示IBDL被視為等同於IBDC。當未提及或未指定時,內部位元深度並不影響所討論的程序,或者已被省略,因為內部位元深度以正統方式被處理。 圖3提供圖2中之ALF濾波之延伸,其使用跨分量ALF(CCALF)處理。 針對各色度通道202、203,亮度通道201之輸入影像部分與濾波參數305、306一起被提供至跨分量適應性迴路濾波(CCALF)程序308、309。CCALF濾波程序之輸出在311、312中被增添至ALF色度濾波程序208、209之輸出,以針對各色度通道產生已處理的輸出影像部分313、314。在308、309中之CCALF處理針對兩色度通道係相同的,但由於在305及306中提供之特定參數而亦可組態成在各通道上進行不同工作。例如,各色度通道可利用特定濾波器係數來處理。 在一些變體中,色度通道相較於亮度通道係次取樣,例如針對使用YUV 4:2:0色彩表示的視訊。在此等變體上,CCALF濾波程序308、309未被應用在各亮度樣本位置,而是僅應用在當升取樣色度樣本位置時獲得之整數亮度樣本位置。因此在YUV 4:2:0表示上,濾波僅被應用於四分之一的亮度樣本位置。 ALF濾波程序207、208及209及CCALF濾波程序308及309係獨立的,且因此,它們可並行執行。相較於圖2,因為在311及312中執行加法運算以組合各通道之兩個色度濾波器之結果而在圖3中引入延遲。然而,由於CCALF及色度ALF通常比亮度ALF還不複雜,因此在VTM-5.0中,應該可達成3個通道之全部處理而不具有額外延遲,亦即,很可能速率判定步驟係亮度ALF,而在其他兩個通道中之此額外延遲並不會影響到整個程序的延遲。 在305及306中提供的輸入參數資訊被傳輸在適應性參數集(APS)及/或在片段標頭。305及306中亦可共用一些共同資訊。 在一變體中,305及306包含用於線性卷積濾波器之濾波器係數(例如見圖4)。在一替代例中,305及306包含用於非線性濾波器之濾波器係數及截波參數,例如,類似於在VTM-5.0中用於非線性ALF濾波所使用的。線性及非線性濾波器兩者已發現可在寫碼性能中提供增益,然而線性濾波器較不複雜且因此在一些實施方案中係較佳的。 在一些變體中,在305及306中提供的輸入參數資訊可包含IBDL及IBDC以推斷一些向左或向右按位元移位操作參數(或乘法/除法操作參數)以「歸一化」在通道之間的資料(例如,樣本值)(亦即,使用相當的精度值)。 應理解在一些變體中,即使沒有ALF濾波要被執行的情況下亦可應用CCALF。亦應理解,亮度通道或其他類型的通道可被用於校正色度通道以外的其他類型通道。例如,在使用RGB色彩表示之視訊中,紅色(Red)通道可用以校正綠色(Green)通道及/或藍色(Blue)通道。 亦應理解在一些變體中,可使用超過一個的通道來降低另一通道的錯誤。例如,兩色度通道202及203之輸入影像部分可皆利用CCALF濾波器來濾波且各影像部分之濾波的結果被添加至ALF亮度濾波207之輸出以校正在亮度通道中的殘餘誤差。此等變體當色度通道相較於亮度通道被次取樣時係特別有用。舉例而言,在YUV 4:2:0色彩表示中,可在色度樣本上使用4個不同濾波器,針對四個亮度樣本位置之每一者各使用一個濾波器,該四個亮度樣本位置被降取樣/關聯至一個色度樣本位置。換言之,針對亮度樣本之2x2區塊,第一濾波器被應用於對應色度位置以校正在2x2區塊中之位置(0,0)處之亮度樣本,且第二、第三及第四濾波器被應用於相同色度樣本位置以分別地校正在位置(0,1)、(1,0)及(1,1)處的亮度樣本。在一變體中,僅一個CCALF濾波器被使用於四個亮度樣本位置,但該已濾波的色度樣本值係藉由升取樣色度樣本而獲得,以獲得對準在與亮度樣本相同格子上的色度樣本。 圖4-a展示當利用線性卷積濾波器執行CCALF時所使用之濾波器形狀401之實例。此濾波器形狀良好地適用於濾波亮度通道以校正在使用YUV 4:2:0色彩表示之視訊的色度通道中的錯誤,但亦可配合其他色彩表示來使用。每個方框對應於定位在參考樣本位置(該方框具有灰點背景)周圍的樣本。在每個方框中之每個數字對應於要應用於在該方框位置處之樣本的濾波器係數之指數。 在位置
Figure 02_image003
處之Cb分量色度樣本係藉由將其值增加以下量而被濾波/校正:
Figure 02_image005
。 其中
Figure 02_image007
係針對該Cb色度分量之濾波器之具有指數
Figure 02_image009
的濾波器係數。 類似的濾波可被應用於Cr分量,但使用
Figure 02_image011
濾波器係數。 此標記可藉由使用以下公式標記來簡化以獲得相同的濾波:
Figure 02_image013
。 其中
Figure 02_image015
係在濾波器形狀中於具有位置(x,y )之參考樣本(在401中具有灰點背景之方框)之偏移
Figure 02_image017
處應用於樣本
Figure 02_image019
的濾波器係數。 方程式(2)之實施方案通常使用用於具有定點運算之實數運算的近似之整數運算來執行。方程式(2)可被改寫為:
Figure 02_image021
。 其中<<係整數向左按位元移位操作,>>係整數向右按位元移位操作,且B係濾波器係數
Figure 02_image023
(見圖4-b)之定點表示之十進制精度(通常係10位元);且
Figure 02_image019
係具有等於編解碼器之IBD之整數精度(通常係10位元,見圖4-c)的整數樣本值。 在YUV 4:2:0色彩表示中,亮度樣本位置
Figure 02_image025
對應於最接近整數升取樣色度位置:
Figure 02_image027
在一些變體中,當IBDL大於IBDC時,方程式(3)可被改寫為:
Figure 02_image029
, 或
Figure 02_image031
, 或
Figure 02_image033
, 且當IBDL小於IBDC時,方程式(3)可被改寫為:
Figure 02_image035
, 或者,若
Figure 02_image037
係嚴格高於
Figure 02_image039
,等同地:
Figure 02_image041
, 且
Figure 02_image043
。 在方程式(4)、(5)、(6)及(7)中之額外按位元移位操作或在方程式(8)中之修改的按位元移位參數可使得濾波結果歸一化以保持與色度樣本值相同的精度。為達成此,在方程式(4)中,亮度樣本值被歸一化;在方程式(5)中,亮度樣本值與係數值相乘結果被歸一化,或在方程式(6)、(7)及(8)中,乘法輸出之加總結果(亦即,濾波的結果)被歸一化。 方程式(6)亦可如方程式(8)被改寫且具有相同結果。 在方程式(7)中,刻意未將括弧放在按位元移位周圍,因為,當IBDL低於IBDC時,不論在哪裏執行向左移位,該運算結果都將相同。這接著便關於硬體或軟體設計選擇。替代地,在方程式(4)中之移位值亦可藉由在應用向右移位
Figure 02_image045
之前增加1
Figure 02_image047
來捨入。 就硬體/軟體設計的觀點而言,當IBDL大於IBDC時,以下依照方程式(8)之實施方案可能係較佳的,因為其需要較少的運算。在IBDL將總是高於IBDC的特定情況中,方程式(4)可能係較佳的以限制乘法之輸入的位元數目:在使用方程式(4)實施的系統中獲得的位元數目將接著取決於在該系統中IBDC可得的最大值對IBDL可得的最大值(因為此為必須處理的最壞情況)。當IBDC大於IBDL時,可較佳地使用方程式(8)以不增加乘法之輸入位元深度,尤其當IBDC可得之最大值總是大於IBDL可得之最大值時。 當IBDC之最大值等於IBDL之最大值時,方程式(8)係最佳折衷。 針對B+IBDL未嚴格地大於IBDC時,方程式(8)可被改寫為:
Figure 02_image049
, 且
Figure 02_image051
。 圖4-b展示在方程式(3)中之CCALF濾波器係數之典型按位元記憶體表示。CCALF濾波器係數之按位元表示402通常使用16位元帶正負號整數表示(以2之補數表示)以儲存實數之定點值近似。10位元精度係用於十進制部分,其他位元係用於儲存整數部分及正負號。 圖4-c展示在方程式(3)中之樣本值的典型按位元記憶體表示,用於在VTM-5.0中之10位元內部位元深度,當其被儲存在16位元整數記憶體空間403(或暫存器)中時。被打x的方框表示未被使用的位元。 圖4-d展示用於儲存10位元內部位元深度樣本值與CCALF濾波器係數(例如針對給定
Figure 02_image009
Figure 02_image053
)之相乘結果的32位元帶正負號整數之典型按位元記憶體表示,當該CCALF濾波器係數表示對應於在圖4-b中所使用的。如所示,需要24位元精度(403之10位元精度加上402之14位元精度)加上用於正負號的一個位元(亦即,25位元帶正負號整數表示)。 圖4-e展示用於儲存10位元內部位元深度樣本值與CCALF濾波器係數(例如
Figure 02_image055
之相乘結果之累加(加總)之中間結果的32位元帶正負號整數之典型按位元記憶體表示,當該CCALF濾波器係數表示對應於在圖4-b中所使用的時,且當使用圖4-a中之濾波器圖案時。這對應於用以儲存18個25位元帶正負號整數之總和所需要的按位元記憶體,如圖4-b。如所示,需要29個位元精度(403之10位元精度加上402之14位元精度加上用於儲存18個加法之最壞情況結果的5位元),加上用於正負號的一個位元(亦即,30位元帶正負號整數表示)。 依照本發明之實施例,在方程式(3)中用於CCALF濾波之濾波操作相較於當使用圖4-b之典型係數表示時係被高度地簡化,尤其針對其中邏輯閘數目具有成本且其中用於執行乘法之閘數目取決於輸入之最大數目位元之硬體專用設計。令人驚訝地發現到,利用在寫碼效率上的影響可達成顯著的簡化,這當伴隨顯著設計簡化時係可接受的。大體而言,以下揭示之簡化係關於使用濾波器係數(
Figure 02_image023
)或跨分量輸入樣本(
Figure 02_image019
)之任一者或兩者之減少的位元深度表示(相較於內部位元深度)。該限定的位元深度表示相較於第一分量樣本之內部位元深度係被限定的,或者相較於典型濾波器係數位元深度係被限定的(兩者的共同實例係10位元)。 應瞭解,位元深度之減少的特定組合係特別有利的,例如當導致計算可在16位元架構上執行時。在任何情況中,使用限定數目個位元的計算係更快,這表示CCALF(相較於僅ALF)之(增加的時間或運算能力的)額外成本係較低的。 用於減少在方程式(3)中之乘法輸入之位元數目的第一變體係降低定點十進制精度。這可藉由移除圖4-b中之某些最低位元來完成。例如,使用7位元取代10位元已發現表示良好的折衷(例如,當使用10位元樣本內部位元深度時),以致不會過度減少CCALF之寫碼增益。在一些變體中,使用6位元取代10位元,減少一些位元遠多於CCALF之寫碼增益,但這仍是令人感興趣的硬體設計折衷。 圖5-a展示在方程式(3)中之CCALF濾波器係數之按位元記憶體表示之一實例,當限制定點十進制精度至7位元以取代10位元時。在501中,402之按位元表示接著減少至13位元(12位元用於精度且一個位元用於正負號)。 用以減少在方程式(3)中之乘法輸入之位元數目之第二變體係限制濾波器係數之可能值的範圍。這可藉由移除圖4-b中所示之一些最高位元來達成。已令人驚訝地發現,即使當顯著地限制係數之可能值的範圍時,CCALF仍可有效地運作。尤其令人驚訝的是該效果對CCALF係特定的,且此效果不能用ALF複製,例如,如此做會對寫碼增益引入較大的損失。此簡化對寫碼效率之令人驚訝的低影響可被解釋為因為本案發明人已發現跨分量ALF係最有用的,其中亮度樣本之梯度係強烈的(例如,接近邊緣),因為在該位置上的色度誤差大致上較強烈且與亮度樣本梯度相關。此外,在這些區域中之CCALF輸出大體上係較小/有限值(雖然其在其他處大部分係零)。所以,數學上最佳濾波器係數(在實域中)大致上具有小幅度,且可使用較小位元數目藉由(定點十進制數目)之整數表示來良好地近似。所以,可從係數之子集合來達成在寫碼性能中之大部分增加。本發明之實施例利用此屬性來簡化計算而不會顯著地影響寫碼性能。這亦可解釋為何以下將說明之第三及第四變體有用:降低樣本/係數之精度產生一種「捨入錯誤雜訊」,其不會顯著地影響CCALF輸出之較小值的估計。 總而言之,已發現: i. 將係數限制於-0.03125及0.03125之間的範圍(例如,不使用高於十進制點精度之第6位元的任何位元)具有可接受的寫碼影響 ii. 將係數限制於-0.0625及0.0625之間的範圍(例如,不使用高於十進制點精度之第5位元的任何位元)具有不明顯的寫碼影響 iii. 將係數限制於-0.125及0.125之間的範圍(例如,不使用高於十進制點精度之第4位元的任何位元)具有幾乎沒有寫碼影響 iv. 將係數限制於-0.25及0.25之間的範圍(例如,不使用高於十進制點精度之第3位元的任何位元)具有可忽略的寫碼影響 v. 將係數限制於-0.015625及0.015625之間的範圍(例如,不使用高於十進制點精度之第7位元的任何位元)具有在特定實施方案中可容許的寫碼影響。 該範圍之限制值可包含或不在有用的係數值中。使用這三個範圍的實例將詳細說明如下,但亦可使用替代性範圍。 在以下描述中,提供結果。這些結果係使用定義在JVET-N01010文件中之「用於SDR視訊之JVET共同測試條件及軟體參考組態」;但限定該測試條件被應用於視訊序列的前17個圖框。因此,本發明變體已在最先進VTM-5.0軟體上實施(或後面中間開發版本,用於提供VTM-6.0軟體之開發程序期間),其一者已被使用作為參考。「全內部」(AI)、「隨機存取」(RA)、「低延遲B」(LB)及「低延遲P」(LP)組態之平均BD率寫碼增益結果係相較於參考(例如,VTM-5.0)針對亮度通道及兩色度通道來獲得。這些平均通道寫碼增益係藉由加總14倍亮度寫碼增益至各色度通道之寫碼增益且藉由將該總和除以16以獲得平均YUV寫碼增益。這是習知結合亮度及色度通道結果的方法,因為色度通道比亮度通道更容易編碼。在AI、RA、LB及LP組態上所獲得的平均YUV寫碼增益被一起平均,且這些最終平均寫碼增益值被一起比較以提供寫碼增益比較。該寫碼增益比較係表示為參考之百分比,其係(當未明確指定為不同時)參考軟體(亦即,VTM-5.0或稍後中間開發版本)具有CCALF被實施在其上,如在JVET-O0636文稿中所規定的,但不包含用於簡化其之本發明。所比較的變體藉由簡化該參考來實施(亦即,使用相同的VTM-5.0或稍後中間開發版本,且CCALF被實施於其上但由本發明予以簡化)。藉由運算變體之寫碼增益(其係針對相同品質之速率降低以百分比表示的平均BD率增益)與參考之寫碼增益(亦為平均BD率增益)之間的比率而獲得。針對資訊,使用在VTM-5.0上之參考CCALF提供相較於VTM-5.0大約-1.2%的平均YUV寫碼增益。 以下提供的寫碼增益比較結果係提供資訊,且當在另一編碼器實施方案上實施本發明或在在另一編解碼器規格上時所報告的該寫碼增益百分比可能不同。 在以下描述中,將使用具有以下意義之範圍標記: -     ]x,y[,表示在x及y值之間的範圍,但不包含x且亦不包含y, -     [x,y[,表示在x及y值之間的範圍,包含x但不包含y -     ]x,y],表示在x及y值之間的範圍,包含y但不包含x -     [x,y],表示在x及y值之間的範圍,包含x及y 使用在範圍[-0.03125;0.03125[中之係數(亦即,不使用任何高於定點十進制精度之第6位元的任何位元)保持絕大多數的CCALF寫碼增益,同時顯著地減少用於該乘法的位元數目。此變體之一實例由圖5-b所繪示。 圖5-b展示在方程式(3)中之CCALF濾波器係數之按位元記憶體表示之實例,當使用10位元之定點十進制精度且將係數之可能值範圍限制至範圍[-0.03125;0.03125[。402之按位元表示接著在502中被減少至6位元(5位元用於精度且一個位元用於正負號)。 第二變體(圖5-b)可與第一變體(圖5-a)結合,如圖5-c所示。 圖5-c展示在方程式(3)中之CCALF濾波器係數之按位元記憶體表示之實例,當限制定點十進制精度至7位元以取代10位元且將係數之可能值範圍限制至範圍 [-0.03125;0.03125[。402之按位元表示接著在503中被減少至3位元(2位元用於精度且一個位元用於正負號)。 亦可更稍進一步簡化,藉由將係數限制在範圍 ]-0.03125;0.03125[中(亦即,濾波器係數僅可取在 {-0.0234375, -0.015625, -0.0078125,0,0.0078125,0.015625,0.0234375}之值集合中的值),使得其可藉由兩個加法/減法來取代各乘法(取決於正負號處置)及按位元移位(在圖5-c所繪示的例子中)。例如,在方程式(3)中的乘法可被取代為(例如):
Figure 02_image057
。 其中<<係整數向左按位元移位操作,>>係整數向右按位元移位操作,且
Figure 02_image059
係濾波器係數
Figure 02_image023
(見圖5-c)之定點表示之十進制精度(7位元);且
Figure 02_image019
係具有等於編解碼器之內部位元深度之整數精度(通常係10位元,見圖4-c)的整數樣本值。 該乘法甚至可僅由一個加法/減法取代(取決於正負號處置)及按位元移位。然而,這會在CCALF之寫碼增益中引入更多損失。這可例如當將定點十進制精度之精度限制至6位元且將該係數限制在範圍]-0.03125;0.03125[中(亦即,濾波器係數僅可取在{-0.015625,0,0.015625}之值集合中的值而完成。這亦可例如當將定點十進制精度之精度限制至7位元且將該係數限制在範圍]-0.015625;0.015625[中(亦即,濾波器係數僅可取在{-0.0078125,0,0.078125}之值集合中的值而完成。相較於使用10位元十進制精度及使用在範圍]-1;1[中之濾波器係數,使用第一替代例可保持大約78%之CCALF增益。使用第二替代例可保持大約76%之CCALF增益。 在一些其他替代例中,用於係數之值的範圍係     [-0.0625;0.0625[、]-0.0625;0.0625[、[-0.125;0.125[、   ]-0.125;0.125[、[-0.25;0.25]或]-0.25;0.25],亦即,一個、兩個或三個額外最高位元被保持用於該係數之(十進制部分)精度。例如,圖5-c的替代例,3或4個位元被保持用於濾波器係數而取代2。在此等替代例中,額外位元係1或2個較高位元對圖5-c中所保持的。此四個替代例之第二及第四例可分別地藉由三個或四個加法/減法(取決於正負號處置)及按位元移位來取代乘法。 用於減少在方程式(3)中之乘法輸入之位元數目的第三變體係降低樣本值之精度。這可藉由不考慮樣本值之最低位元來完成(此可相當於使用CPU實施方案使用按位元移位至右邊)。例如,方程式(3)可被改寫為:
Figure 02_image061
。 其中DB對應於死位元(亦即,被忽略/不考慮之位元)之數目。在用於此變體之乘法中所使用的樣本值
Figure 02_image063
之按位元表示的實例係繪示在圖5-d中。 圖5-d展示針對VTM-5.0中10位元內部位元深度在方程式(3)中使用之樣本值之按位元記憶體表示之一實例,當將樣本值之精度限制至6位元以取代10位元以簡化在方程式(3)中之乘法運算之硬體實施方案時。被打x的方框表示未被使用的位元。在504中,403之按位元表示被減少至6位元。 一替代例係例如使用最高移除位元值來「捨入」樣本值(例如,若該最高移除位元係1,則藉由將1增加至具有減少的位元數目之表示,或在移除/不考慮該不要的位元之前增加對應於該最高移除位元之該值)。當降低樣本精度影響CCALF之寫碼效率至較大程度時,此替代例會引人注意,但相較於僅忽略該最低位元,其亦意味著使用額外的操作及/或記憶體。 已發現當執行該濾波操作時在藉由使用CCALF改良VTM-5.0的內容脈絡中僅保持6個最高位元樣本值並不會顯著地影響寫碼效率。例如,就10位元之內部位元深度而言,樣本值之4個最低位元可被忽略而對CCALF效率影響很低。亦可以保持低於該樣本值之6個最高位元,但會降低CCALF之寫碼效率。例如,當執行該濾波操作時保持樣本值之4個最高位元(亦即,在10位元樣本上移除6個最低位元)仍可提供令人驚訝的引人注意的增益(平均而言,相較於使用10位元樣本上的全樣本精度係可保持大約88%的CCALF增益)。然而,相較於使用全樣本精度,保持5個最高位元可以保持大約95%的CCALF增益。就6個最高位元而言,結果係可保持大約98%的增益。保持多於6個最高位元僅會略微增加該結果。例如,保持7或8個最高位元(亦即,移除10位元內部位元深度之最低3或2個位元)相較於全樣本精度係可提供大約99%的CCALF增益之結果。 在第四變體中,如在方程式(2)中表示之CCALF濾波係被修改成更接近在VTM-5.0中之非線性ALF(NLALF)的濾波公式:
Figure 02_image065
, 其中
Figure 02_image015
仍然是濾波器係數,但被乘以表示在濾波器形狀中於參考樣本之偏移
Figure 02_image017
處之樣本
Figure 02_image019
與具有位置
Figure 02_image025
之參考樣本
Figure 02_image067
(在401中具有灰點背景的方框)之值之間的差異值之圖。表示該差異值之該圖可以係一梯度,其等同於針對鄰近於該參考樣本之樣本的差異。使用一梯度可表示鄰近及非鄰近於該參考樣本之樣本的差異之歸一化。 方程式(12)能以相同於方程式(2)利用在方程式(3)中之整數操作的整數操作來實施的方式來實施:
Figure 02_image069
其中<<係整數向左按位元移位操作,>>係整數向右按位元移位操作,且B係濾波器係數
Figure 02_image023
(見圖4-b)之定點表示之十進制精度(通常係10位元);且
Figure 02_image019
Figure 02_image067
係具有等於編解碼器之內部位元深度之整數精度(通常係10位元,見圖4-c)的整數樣本值。當使用此公式時,相較於
Figure 02_image019
之按位元表示,指示正負號的一個位元被添加至
Figure 02_image071
之按位元表示。這被繪示在圖6-a中。在一些替代例中,
Figure 02_image073
係恒等於零且未被寫碼在該位元流中。在其他替代例中,
Figure 02_image075
並不一定要等於零且該乘法
Figure 02_image077
係如在未使用對參考樣本之差異的其他變體中的乘法一樣來處置。 圖6-a展示在方程式(13)中之樣本值的差異
Figure 02_image071
的按位元記憶體表示,用於在VTM-5.0中之10位元內部位元深度,當其被儲存在16位元整數記憶體空間601(或暫存器)中時。被打x的方框表示未被使用的位元。 在硬體設計的觀點中,與參考樣本之差異係如同沒有成本的,因為其針對亮度樣本之NLALF濾波而已經存在/被運算(CCALF濾波器之濾波器形狀被包含在用於亮度NLALF之該濾波器的形狀中)。 當使用方程式(3)之濾波時,CCALF之寫碼增益係相當於當使用方程式(13)之濾波時的寫碼增益。 使用此表示之一優點在於用於減少
Figure 02_image079
相乘之輸入的位元數目,該差異值可被截波以留在需要較少位元來表示的範圍中:
Figure 02_image081
其中
Figure 02_image083
係截波函數,例如:
Figure 02_image085
或等同地:
Figure 02_image087
;且其中
Figure 02_image089
係截波參數且d係表示該差異的圖。應注意,在此表示與VTM-5.0中之非線性ALF之間的特別差異在於截波參數C針對每個樣本位置係相同的且其值係固定的且經過選擇以限定用於儲存該相乘之一輸入的
Figure 02_image091
之位元數目,而在非線性ALF中,截波參數C對於每個樣本位置係變化的且其值與該濾波器係數一起被傳輸(在一APS中)。 已發現特別有利之C的固定值為
Figure 02_image093
Figure 02_image095
,其中
Figure 02_image097
係編解碼器之內部位元深度(亦即,用於表示樣本值之位元數目)。例如,就10位元內部位元深度而言,良好的C值係255或127。此實例截波操作接著可在乘法之輸入中節省兩個或三個位元。 亦可以使用較小的C值,但將傾向於降低CCALF之寫碼效率,而較高值會降低由截波程序提供之簡化效率。因此,截波參數C之一般化係
Figure 02_image099
,其中n係小於
Figure 02_image101
的整數。對於較小n值,在寫碼效率中的減少係較低的,但與簡化相關聯的優點亦會較少,且對於較高n值反之亦然。 圖6-b給出用於儲存針對10位元內部位元深度且C=255在方程式(14)中被截波之差異
Figure 02_image091
之按位元記憶體表示之實例,當其被儲存在16位元整數記憶體空間602(或暫存器)中時。 第四變體可結合第三變體,以忽略已截波的差異值
Figure 02_image091
的較低精度位元。特別有利的組合係保持與第二變體中相同之較低位元移除的數目,使得CCALF寫碼增益不會被顯著地影響。此實例由圖6-c所繪示。 圖6-c提供用於儲存
Figure 02_image091
之按位元記憶體表示之實例,其中具有10位元內部位元深度、C=255且四個最低位元被忽略。接著,在乘法之輸入處,603僅留四個精度位元加上用於正負號的一個位元係需要用以表示
Figure 02_image091
,以取代10個位元。這表示明顯節省被計算的位元數目,且導致較簡單的實施方案。 在一些實施例中,執行四個變體的組合。例如,變體一、二、三及視情況四係組合,使得乘法運算之輸出結果可在10精度位元加上一個正負號位元上來表示,使得乘法結果的總和可在最大15位元加上一個正負號位元上被表示(因此可被表示/存在在16位元暫存器或記憶體空間中)。此一實施例特別適用於硬體實施方案。圖7-a及圖7-b繪示濾波操作之中間表示(乘法輸出)及最終表示(加總結果)之實例,在最終捨入及位元移位以將結果增加至色度樣本值之前。 圖7-a提供用於儲存
Figure 02_image053
之按位元記憶體表示之實例,當僅保持樣本值之8個最高位元(例如,如圖5-d中)、針對係數之十進制部分保持7個位元精度,及針對該係數之[-0.03125;0.03125[或]-0.03125;0.03125[範圍(亦即,例如2位元加上正負號位元以將其儲存如圖5-c。該乘法結果接著可被儲存在10位元加上一個正負號位元。 使用方程式(4)來處置不同亮度位元深度IBDL及色度位元深度IBDC,及方程式(11)具有
Figure 02_image103
,且KB等於針對亮度樣本值保持的最高精度位元之數目(例如,在此實例中KB=8),方程式(3)可被改寫為:
Figure 02_image105
。 其中
Figure 02_image107
,及
Figure 02_image109
,且BDPC為係數之十進制部分的位元數目(例如,針對在此實例中該係數之十進制部分之7位元精度,BDPC=7),且
Figure 02_image023
係係數之整數表示(亦即,在此一實例中表示在範圍[-0.03125;0.03125[或]-0.03125;0.03125[中之定點值之整數值,在此一實例中該整數值取在整數範圍 [-4;3]或[-3;3]中的值]。該方程式對於
Figure 02_image111
係有效的。當
Figure 02_image113
Figure 02_image115
時(亦即,
Figure 02_image117
),方程式(16)可被取代為:
Figure 02_image119
, 當
Figure 02_image113
Figure 02_image121
時,方程式(16)可被取代為:
Figure 02_image123
, 且當
Figure 02_image125
時,方程式(16)可被取代為:
Figure 02_image127
。 在該給定實例中,其中KB=8,針對10位元亮度及色度位元深度(亦即,IBDL=IBDC=10),方程式(16)可被寫為:
Figure 02_image129
。 這導致在每個係數由2位元及一正負號位元表示,且每個樣本由減少數目的8位元及視情況(取決於實施方案/設計選擇)的一正負號位元(等於零)表示,且因此該乘法結果可由8位元及一正負號表示。 圖7-a亦有效用於提供儲存
Figure 02_image053
之按位元記憶體表示之實例,當僅保持樣本值之6個最高位元(且例如比圖5-d中還要多兩個位元)、保持7位元精度用於係數之十進制部分,及針對係數之[-0.125;0.125[或]-0.125;0.125[範圍(亦即,4位元加上一正負號位元以將其儲存為具有例如比圖5-c還要多2個位元。乘法結果接著可被儲存在10位元加上一個正負號位元。 在該給定實例中,其中KB=6。針對10位元亮度及色度位元深度(亦即,IBDL=IBDC=10),方程式(16)可被寫為:
Figure 02_image131
。 圖7-b提供針對運算及儲存求和操作
Figure 02_image133
之按位元記憶體表示之實例,當
Figure 02_image053
係如圖7-a所闡述般被表示及運算時。應瞭解,這是針對其中濾波器係如圖4-a具有18個乘法結果之17個不同的加法。該17個加法之最壞情況(當考慮儲存定點值之10位元整數值)係18乘以該整數值-210 = -1024,亦即,-18432,其可被儲存在15個位元及一個正負號位元上,這表示該加法結果可使用15位元及一個正負號位元來表示。 在另一(第五)變體中,圖4-a之濾波器圖案被修改,使得取代18個樣本、16個樣本或更少樣本被使用在濾波程序中。因此,在求和操作中可以省下一個位元。此外,其具有簡化濾波運算的優點,因為可移除一些乘法運算。例如,在圖4-b中,取代使用29個精度位元及一個正負號位元,僅28個精度位元及一個正負號位元可被使用,且在圖7-b,取代使用15個精度位元,將僅使用14個精度位元。在使用第五變體之一些替代例中,在加法運算中省下的位元可用在增加乘法結果之精度。例如在圖7-a中,可使用11個精度位元來取代10個。在一替代例中,該10個精度位元之十進制部分被增加一個位元(從7個位元變成8個位元)。這可藉由在係數值之十進制部分中增加一個較低精度位元來達成。例如,在圖5-c中,在最右邊已被使用之位元右邊的位元將被再次使用。替代地,這可藉由使用樣本值多一個精度位元來達成,若使用第三變體。例如,在圖5-d中,在最右邊已被使用之位元右邊的位元將被再次使用。在第二替代例中,10精度位元之整數部分被增加一個位元(從3位元至4位元)。這可藉由對該係數值增加一個較高精度位元來達成(亦即,增加可能係數值之範圍)。例如,在圖5-c中,在最左邊已被使用之位元左邊的位元將被再次使用。 當使用具有暫存器具有固定大小之既有硬體且其中乘法成本每當結果擬合至暫存器中係相同時(例如,針對運行如用於CPU之指令至程序操作暗示預定義大小之暫存器或記憶體位置的軟體實施方案),這些第五變體替代例係特別令人關注的。亦令人關注的是,當硬體設計使用既有的預定義電路模板用於實施固定大小操作(例如,關於開發速度/成本),且無關一些位元未被使用。接著,在兩種情況中,在例如10位元或11位元上之乘法的成本(以執行延遲的觀點及/或以用於該實施方案之邏輯閘之數目的觀點)並不會改變,若它們皆例如用16位元輸入及32位元輸出來實施,但用第二版本之CCALF之寫碼增益會略佳,因為其使用多一個的精度位元。 在一替代例中,在濾波中使用8個樣本(或更少),使得在求和操作中可省下2位元(或更多),例如請見圖7-f,其中使用8個樣本(省下2位元),或圖7-g,其中僅使用4個樣本(省下3位元)。在替代例之變體中,在總和中省下的2位元(或更多)在乘法之輸入具有更高精度及完全使用16位元暫存器之精度(例如,在濾波程序期間)之間重新分配。 圖7-c提供僅使用16個樣本用於濾波之濾波器圖案706的一實例。利用該濾波器圖案,該濾波操作變成:
Figure 02_image135
此樣本選擇可被描述為「菱形」形狀,其中各樣本具有相對於參考樣本的位置(x+u, y+v),其中u∈[-2,2]且   v∈[-1,2],且當|u|=2時,v∈[0,1]。 圖7-d提供使用16個樣本用於濾波之濾波器圖案707的另一實例。當使用YUV 4:2:0視訊表示時,此圖案比圖7-c中的圖案更適合,且色度樣本次取樣位置係定位在707中之樣本5、樣本6、樣本9及樣本10之位置的中間。依照一變體,可採用兩個或更多個濾波器圖案,且一濾波器圖案依照在YUV 4:2:0中色度次取樣來選擇。在一替代例,該濾波器圖案指數被提供/傳訊於位元流中,例如在一參數集(例如,SPS或PPS)中。利用該濾波器圖案,該濾波操作變成:
Figure 02_image137
此樣本選擇可被描述為各樣本相對於參考樣本具有位置(x+u, y+v),其中u∈[-1,2]且v∈[-1,2]。 圖7-e提供使用12個樣本用於濾波之濾波器圖案708的實例。此圖案允許比圖7-c中之圖案取用更少樣本,且在位元流中寫碼較少係數,但不允許進一步減少在求和操作中使用之位元數目。利用該濾波器圖案,該濾波操作變成:
Figure 02_image139
此樣本選擇可被描述為各樣本相對於參考樣本具有位置(x+u, y+v),其中u∈[-1,1]且v∈[-1,2]。 圖7-f提供僅使用8個樣本用於濾波之濾波器圖案709的實例。此圖案相較於圖7-c中之圖案可將在求和操作中使用之位元數目進一步減少一個。其接著相較於圖4-a中之圖案可減少兩個位元。利用該濾波器圖案,該濾波操作變成:
Figure 02_image141
此樣本選擇可被描述為「菱形」形狀,其中各樣本具有相對於參考樣本的位置(x+u, y+v),其中u∈[-1,1]且   v∈[-1,2],且當|u|=1時,v[0,1]。 圖7-g提供僅使用4個樣本用於濾波之濾波器圖案710的實例。此圖案相較於圖7-f中之圖案可將在求和操作中使用之位元數目進一步減少一個。其接著相較於圖4-a中之圖案可減少三個位元。利用該濾波器圖案,該濾波操作變成:
Figure 02_image143
此樣本選擇可被描述為各樣本相對於參考樣本具有位置(x+u, y+v),其中u及v屬於[0,1]。 在一些其他變體中,加法之成本基本上為零。乘法輸入係被限制的,使得乘法輸出/結果在16位元上係帶正負號數目(亦即,15個精度位元加上一個正負號位元)。接著,若使用10個位元用於樣本值,係數值被限制在一給定範圍中,具有一給定精度,使得它們可在5位元加上一個正負號位元來表示。在一些這些變體中,乘法運算係在16位元暫存器上執行。 在一項實施例中,該係數之十進制精度被傳訊在位元流中,例如在參數集(例如,APS、SPS或PPS),或在片段標頭中,作為第一精度資訊。 在一項實施例中,係數之範圍(或在可能範圍集合中之指數)被傳訊在位元流中,例如在一參數集中(例如,APS、SPS或PPS),或在片段標頭中,作為第二精度資訊。 在一項實施例中,樣本值之保持位元數目(亦即,KB)或替代地死位元數目(亦即,DB)被傳訊在位元流中,例如在一參數集中(例如,APS、SPS或PPS),或在片段標頭中,作為第三精度資訊。 在一項實施例中,第一、第二及/或第三精度資訊之任一者的組合被傳訊在位元流中,例如在一參數集中(例如,APS、SPS或PPS),或在片段標頭中。 在一變體中,在位元流中被傳訊之第一、第二及/或第三精度資訊之任一者的此組合的允許值應保證乘法運算可使用固定最大位元數目(例如,16)來運算之最壞情況。在一替代例中,該最壞情況亦被視為在加法運算期間使用的最大位元數目。 在一項實施例中,在第一、第二及/或第三精度資訊之任一者的該組合之可能值之一集合中的一指數被傳訊。 在一變體中,這些集合被定義以保證乘法運算可使用固定最大位元數目(例如,16)來運算之最壞情況。在一替代例中,該最壞情況亦被視為在加法運算期間使用的最大位元數目。 在其中第一、第二及/或第三精度資訊之任一者的該組合之實施例的一替代例中,包含第一及第二精度資訊(亦即,十進制精度及保持範圍),一替代例係傳訊尾數大小(位元數目)及浮動點表示之一固定指數。 在一替代例中,取代針對濾波器係數使用定點表示,可使用一特定浮動點表示,其保證可使用有限位元數目操作來運算。換言之,第一、第二及/或第三精度資訊之任一者的該組合係針對各係數指數來傳訊。 應理解在所述的實例、變體及/或實施例中,取決於樣本值之使用的位元深度及精度,係數範圍可能上移及/或下移(亦即,乘以2的冪次),同時將係數之表示的最低位元移位相同的量(以保持相同精度),以便提供等效的數學結果。亦即,係數值(或樣本值)[之範圍]可藉由任何樣本值(或係數值[之範圍])縮放的相反量來縮放:
Figure 02_image145
。 這同樣利用按位元移位,向左按位元移位B係等同於與2B 相乘且向右移位係等同於2B 整數除法(差異在於針對負數,針對向左移位該捨入係朝向負無限大,而針對整數除法則係朝向0)。 亦應瞭解,雖然樣本值及/或濾波器係數之按位元表示之簡化已在「濾波期間」經由上述按位元操作被執行,然而亦可在濾波之前獨立地預先處理這些值。 傳訊 在圖3中輸入CCALF參數305及306可包含用於在不同粒度級處啟用/停用CCALF之旗標。該旗標之傳訊的一實例提供如下。 在某些實施例中,一個旗標被傳訊於一參數集中:例如序列參數集(SPS)或圖像參數集(PPS)。此旗標實現在序列級或圖像級處啟動或不啟動CCALF工具。當CCALF工具在一圖像中作用時,在片段標頭中每色度分量傳訊一旗標。其實現在片段中每色度分量啟用或停用CCALF。當在一片段中啟用CCALF時(亦即,CCALF在至少一個色度分量上被啟用),針對於其上啟用CCALF的每個色度分量,ccalf_ctb_flag_cb[x][y](針對Cb分量)或ccalf_ctb_flag_cr[x][y] (針對Cr分量)旗標被編碼在該片段之每個CTU的CTU資料,其中x,y係在該圖像中之水平及垂直CTU座標/指數。若CCALF在色度CTB中被啟用或停用,則該旗標啟用傳訊。當在色度CTB中啟用CCALF時,色度樣本經由CCALF利用CTB亮度樣本而被校正/濾波(例如,如上論述)。 使用CABAC(前文適應性二進制算術寫碼)傳訊該旗標,每色度分量用3個CABAC前文。針對具有指數componentIdx之一給定色度分量,藉由計數在屬於相同片段之上([x][y-1])及左([x-1][y]) CTU中作用之ccalf_ctb_flag_cb(針對Cb分量)或ccalf_ctb_flag_cr(針對Cr分量)的數目(當它們存在/可用時)來選擇一前文,且使用該值作為前文指數。 ccalf_ctb_flag_cb[x][y]及ccalf_ctb_flag_cr[x][y]傳訊之一實例在表1中給出,使用與對應於VTM-5.0之標準通用視訊寫碼(草稿5)相同的標記及慣例。
Figure 02_image147
依照一實施例,為了能夠特別針對一片段調整及傳輸濾波器係數,且利用片段參數慣例地執行,CCALF濾波器之係數被傳訊在該片段標頭中。若CCALF被指示為針對一給定色度分量係作用中,則對應濾波器之每個係數被依序地編碼於位元流中/從位元流解碼。 CCALF之係數通常使用哥侖布(Golomb)變數長度碼來寫碼。然而,當如上述實施表示該係數之位元的減少時,該寫碼可被簡化。詳言之,由於用於儲存係數值之位元數目被減少,便可以使用更容易剖析而不會損失寫碼效率的寫碼方法。 特定言之,哥侖布寫碼需要傳訊「可調諧參數」(M)以正確地解碼該係數;這會增加位元流負擔。本發明係關於直接傳訊片段標頭中之該係數而不參考任何其他參數。換言之,該係數係使用固定表示來編碼(亦即,不參考「可調諧參數」)。這可被描述為係「無前置碼」或「無逗點」,其中該碼字係單一元素而不具有定界符(不論是推斷式或明確式寫碼)。 在一第一替代例中,其當結合上述之第一及第二變體時尤其適用,該係數值之已使用/有效位元在位元流中被如此儲存而無任何壓縮(亦即,固定位元數目來表示該碼,不論該值為何)。作為一實例,若係數被表示如圖5-c,則係數可被儲存在位元流中的三個位元上:例如,正負號位元接著兩個十進制精度位元。 在一第二替代例中,使用一種帶正負號一元寫碼來減少低幅度係數的成本。在該位元流中之第一位元指示該係數是否為零,若該係數非為零;指示該係數之正負號的一位元,等於1的一序列位元指示該係數之幅度。位元數目等於1係等於「該係數之整數表示」負1的絕對值。該係數之整數表示係由503中之整數數目之位元表示的整數值。使用「負1」,因為等於零資訊已被寫碼。接著,若該絕對值低於最大可能/許可值,則等於零之一位元指示該數目之傳訊的結束。其對應於該絕對值之一元寫碼,負1。針對此表示之解碼程序可由表2中描述的演算法總結。
Figure 02_image149
在使用可能係數值之不對稱範圍的一些替代例中,該數目之最大可能/許可值針對負數及針對正數係不同的,如在表2中的例子,當‘CCALF_MAX_COEFF_VALUE’不等於‘-CCALF_MIN_COEFF_VALUE’時。例如,若使用圖5-c之表示,且若可能係數值之範圍係[-0.03125;0.03125[(亦即,[-0.03125;0.0234375]),則針對負數該最大可能/許可值係4(如-0.03125係由整數-4所表示)且針對正數係3(如0.0234375係由整數3所表示)。在該實例中,第一位元等於1表示該數目為零,且該正負號位元等於1表示該數目為負。在位元流中之該係數的表示接著係:針對-0.03125係‘01111’ (亦即,-4=CCALF_MIN_COEFF_VALUE)、針對  -0.0234375係‘01110’ (亦即,-3),針對-0.015625係‘0110’ (亦即,-2)、針對-0.0078125係‘010’ (亦即,-1)、針對0.0係‘1’,針對0.0078125係‘000’ (亦即,1)、針對0.015625係‘0010’ (亦即2)、及針對0.0234375係‘0011’ (亦即,3=CCALF_MAX_COEFF_VALUE)。在一些替代例中,第一位元等於1可表示該數目非為零。在一些替代例中,正負號位元等於1可表示該數目係正的。在一些替代例中,一數目之一元寫碼可以係一序列的位元等於0接著一位元等於1(若該數目低於最大值)。 在第三替代例中,位元流首先提供該整數表示之一元寫碼至該係數之絕對值。若其為非零,則其後面跟著一正負號位元。在表3中之演算法描述用於此表示之解碼程序的一實例。在此第三替代例中,在解碼該係數之絕對值之前,該正負號非為已知的。針對一元寫碼所使用之最大值接著針對正及負值係相同的(在表3中CCALF_MAX_COEFF_ABSOLUTE_VALUE)。作為一實例,圖5-c之表示使用等於[-0.0234375;0.0234375]之可能係數值集合之範圍(亦即,CCALF_MAX_COEFF_ABSOLUTE_VALUE=3)。在該位元流中之係數的表示接著係:針對-0.0234375係‘1111’ (亦即,-3)、針對-0.015625係‘1101’ (亦即,-2)、針對     -0.0078125係‘101’ (亦即,-1)、針對0.0係‘0’、針對0.0078125係‘100’ (亦即,1)、針對0.015625係‘1100’ (亦即,2)、及針對0.0234375係‘1110’ (亦即,3)。
Figure 02_image151
在一些變體中,CCALF濾波器之係數被傳訊在APS(或另一參數集)中。當在片段標頭中slice_ccalf_enable_flag_cb等於1時,該片段標頭亦提供該APS(或其他參數集)之該APS(或其他參數集)之指數/識別符,其中CCALF濾波器之濾波器係數必須針對Cb色度分量來擷取。當在片段標頭中slice_ccalf_enable_flag_cr等於1時,該片段標頭亦提供該APS(或其他參數集)之該APS(或其他參數集)之指數,其中CCALF濾波器之濾波器係數必須針對Cr色度分量來擷取。當使用如圖4-a繪示之濾波器圖案時,出現在位元流中之濾波器係數的數目係小於在該濾波器形狀中使用之樣本的數目,所以一些係數係由數個樣本位置共用。 本發明之實施例的實施方案 前述實施例之一或多者可以編碼器或解碼器之形式實施,其執行一或多個前述實施例之方法步驟。以下實施例繪示此等實施方案。 例如,依照任一前述實施例之適應性迴路濾波器可被使用在由圖8中之編碼器執行的後置濾波9415或由在圖9中之解碼器執行的後置濾波9567。 圖8繪示根據本發明之一實施例之編碼器的方塊圖。該編碼器係由連接的模組所表示,各模組被調適以實施(例如,以欲由一裝置之中央處理單元(CPU)執行之程式化指令的形式)一方法之至少一個對應步驟,該方法實施依照本發明之一或多個實施例之編碼一序列影像之影像的至少一個實施例。 藉由編碼器9400接收原始序列的數位影像i 0至i n 9401作為輸入。每個數位影像由一組樣本表示,有時亦稱為像素(在下文中,它們被稱之為像素)。在編碼程序之實施方案之後由編碼器9400輸出位元流9410。位元流9410包括用於複數個編碼單元或影像部分(諸如片段)之資料,各片段包括用於傳輸用以編碼該片段及片段體之編碼參數之編碼值的片段標頭,包括經編碼的視訊資料。 輸入數位影像i 0至i n 9401藉由模組9402而分割成像素區塊。該區塊對應於影像部分且可以係可變大小的(例如,4x4、8x8、16x16、32x32、64x64、128x128像素且亦可考慮幾個矩形區塊大小)。針對每個輸入區塊選擇一寫碼模式。提供寫碼模式之兩個類族:基於空間預測寫碼之寫碼模式(圖框內預測),及基於時間預測之寫碼模式(圖框間寫碼、MERGE、SKIP)。這些可行的寫碼模式係經測試。 模組9403實施一圖框內預測程序,其中待編碼之給定區塊係藉由從該待編碼區塊之相鄰者之像素運算之預測子所預測。該選定之圖框內預測子之一指示及在給定區塊及其預測子之間的差異被編碼以提供一殘差(若選擇圖框內寫碼)。 時間預測係藉由運動估計模組9404及運動補償模組9405實施。首先從一組參考影像9416中選擇一參考影像,且藉由運動估計模組9404選擇該參考影像之一部分(亦稱為參考區域或影像部分),其係待編碼之給定區塊的最接近區域(就像素值相似性而言的最接近)。運動補償模組9405接著使用該選定區域預測待編碼區塊。該選擇的參考區域與給定區塊之間的差異(亦稱為殘差區塊/資料)係藉由運動補償模組9405運算。該所選擇的參考區域係使用一運動資訊(例如,一運動向量)來指示。 因此,在兩情況中(空間及時間預測),殘差係藉由從原始區塊減去預測子而運算,當其未在SKIP模式中。 在藉由模組9403實施之圖框內預測中,預測方向被編碼。在由模組9404、9405、9416、9418、9417所實施之圖框間預測中,用於識別此運動向量之至少一個運動向量或資訊(資料)針對時間預測被編碼。 若選擇圖框間預測,則編碼與運動向量及殘差區塊相關的資訊。為了進一步降低位元率,假設該運動係同質性的,該運動向量藉由相對於運動向量預測子的差異而編碼。來自一組運動資訊預測子候選者的運動向量預測子係藉由一運動向量預測及寫碼模組9417而從運動向量場9418獲得。 編碼器9400進一步包括用於藉由應用編碼成本準則(諸如速率-失真準則)來選擇寫碼模式之選擇模組9406。為了進一步降低冗餘,藉由轉換模組9407對該殘差區塊應用一轉換(諸如DCT),且所獲得之該經轉換資料接著藉由一量化模組9408予以量化且藉由一熵編碼模組9409予以熵編碼。最後,當其未在SKIP模式中且所選擇的寫碼模式需要殘差區塊之編碼時,正被編碼之當前區塊之經編碼殘差區塊被插入至位元流9410中。 編碼器9400亦執行編碼影像之解碼以針對隨後的影像之運動估計來產生參考影像(例如,在參考影像/圖像9416中的那些)。這使得編碼器及一解碼器接收該位元流以具有相同的參考圖框(例如,使用經重建影像或經重建影像部分)。反量化(「解量化」)模組9411執行經量化資料之反量化(「解量化」),其接著進行由反轉換模組9412執行之反轉換。一圖框內預測模組9413使用預測資訊來判定針對給定區塊來使用哪個預測子且一運動補償模組9414實際上將藉由模組9412獲得之殘差添加至從該組參考影像9416獲得之參考區域。後置濾波接著由一模組9415來將像素之該經重建圖框(影像或影像部分)施加至濾波器以獲得用於該組參考影像9416之另一參考影像。 圖9繪示依照本發明之一實施例之解碼器9560之方塊圖,其可被用以接收來自於編碼器之資料。該解碼器由連接的模組所表示,各模組被調適以實施(例如,以欲藉由裝置之CPU執行之程式化指令的形式)由該解碼器9560實施之方法的一對應步驟。 解碼器9560接收包括經編碼單元(例如,對應於影像部分、區塊或寫碼單元之資料)之位元流9561,各編碼單元由包含在編碼參數上之資訊之標頭及包含該經編碼視訊資料之本體組成。如針對圖8所闡述,該經編碼視訊資料係熵編碼,且針對一給定影像部分(例如,一區塊或一CU)該運動資訊(例如,運動向量預測子的指數)在預定數目之位元上被編碼。所接收的經編碼視訊資料係由一模組9562予以熵解碼。該殘差資料接著藉由模組9563予以解量化且接著由模組9564應用反轉換以獲得像素值。 指示寫碼模式之模式資料亦被熵解碼且基於該模式,對影像資料之該經編碼區塊(單元/集合/群組)執行圖框內型解碼或圖框間型解碼。在圖框內模式的例子中,一圖框內預測子藉由圖框內預測模組9565基於在位元流中指定的圖框內預測模式而判定(例如,圖框內預測模式係可利用在位元流中提供之資料來判定)。若模式係框間模式,則從位元流擷取/獲得運動預測資訊以找出(識別)由編碼器所使用之參考區域。該運動預測資訊包括例如參考圖框指數及運動向量殘差。運動向量預測子藉由運動向量解碼模組9570添加至運動向量殘差以獲得運動向量。 運動向量解碼模組9570針對藉由運動預測編碼之各影像部分(例如,當前區塊或CU)應用運動向量解碼。一旦已獲得用於當前區塊之運動向量預測子之指數,與影像部分(例如,當前區塊或CU)相關聯之運動向量之實際值可被解碼且用以藉由模組9566來應用運動補償。藉由經解碼的運動向量指示之參考影像部分係從一組參考影像9568擷取/獲得,使得模組9566可執行該運動補償。運動向量場資料9571用該經解碼的運動向量更新以被使用於隨後解碼運動向量之預測。 最後,獲得一經解碼區塊。在合適的情況下,可藉由後置濾波模組9567來應用後置濾波。最後可獲得且由解碼器9560提供一解碼視訊信號9569。 圖10繪示資料通信系統,其中可實施本發明之一或多個實施例。該資料通信系統包括一傳輸裝置,在此例中係一伺服器9201,其在操作上可經由一資料通信網路9200傳輸資料流9204之資料封包至一接收裝置(在此例中為用戶終端9202)。該資料通信網路9200可以係廣域網路(WAN)或區域網路(LAN)。此一網路可例如為無線網路(Wifi / 802.11a或b或g)、乙太網路、網際網路或由幾種不同網路組成之混合網路。在本發明之一特定實施例中,資料通信系統可為數位電視廣播系統,其中該伺服器9201發送相同的資料內容至多個用戶。 由伺服器9201提供的該資料流9204可由表示視訊及音訊資料之多媒體資料組成。在本發明之一些實施例中,音訊及視訊資料流可由伺服器9201分別利用麥克風及相機來擷取。在一些實施例中,資料流可被儲存在伺服器9201上或由伺服器9201從另一資料提供者接收,或在伺服器9201處產生。該伺服器9201具有用於編碼視訊及音訊流之編碼器,以特別提供一壓縮位元流來傳輸,其係被呈現為編碼器之輸入的資料之更緊湊表示。為了獲得傳輸資料之品質對傳輸資料之數量的較佳比率,視訊資料之壓縮可例如依照高效率視訊寫碼(HEVC)格式或H.264/先進視訊寫碼(AVC)格式或標準通用視訊寫碼(VVC)格式。用戶9202接收經傳輸位元流且解碼經重建位元流以在顯示裝置上再生視訊影像或藉由揚聲器再生音訊資料。 儘管在此實施例中考慮串流方案,然而可理解的是,在本發明之一些實施例中,在編碼器與解碼器之間的資料通信可利用例如諸如光碟之媒體儲存裝置來執行。在本發明之一或多個實施例中,視訊影像可用表示對影像之重建像素之應用的補償偏移之資料來傳輸以在最終影像中提供經濾波像素。 圖11示意性繪示被組態用以實施本發明之至少一個實施例的處理裝置9300。處理裝置9300可為諸如微電腦、工作站、使用者終端或輕型可攜式裝置的裝置。裝置/設備9300包括一通信匯流排9313,其連接至: 中央處理單元9311,諸如微處理器,標記為CPU; 唯讀記憶體9307,標記為ROM,用於儲存用於操作該裝置9300及/或實施本發明之電腦程式/指令; 隨機存取記憶體9312,標記為RAM,用於儲存本發明之實施例之方法的可執行碼,以及被調適以記錄用於依照本發明實施例實施編碼一序列數位影像之方法及/或解碼位元流之方法所需要的變數及參數的暫存器;及 通信介面9302,其連接至通信網路9303,待處理之數位資料可經由該通信介面而被傳輸或接收。 視情況,該設備9300亦可包含以下組件: 資料儲存機構9304,諸如硬碟,用於儲存用於實施本發明之一或多個實施例的方法的電腦程式及在本發明之一或多個實施例之實施期間使用或產生的資料; 磁碟機9305,用於磁碟9306(例如,儲存媒體),該磁碟機9305被調適以從磁碟9306讀取資料或將資料寫入至該磁碟9306上;或 螢幕9309,用於顯示資料及/或用作為藉由鍵盤9310、觸控螢幕或任何其他指向/輸入機構與使用者之圖形介面。 設備9300可被連接至各種不同週邊裝置,諸如數位相機9320或麥克風9308,各被連接至輸入/輸出卡(未圖示)以供應多媒體資料至設備9300。 通信匯流排9313在包含於設備9300中或連接至其之各種元件之間提供通信及相互操作性。匯流排之表示並未限制且尤其係中央處理單元9311在操作上可將指令直接地或藉由設備9300之另一元件來傳達至該設備9300之任何元件。 磁碟9306可由任何資訊媒體來取代,諸如光碟(CD-ROM),可重寫或不可重寫,ZIP磁碟或記憶卡,且概括而言,藉由可由微電腦讀取之資訊儲存機構,或藉由處理器(整合或未整合至設備中),可移除式且被調適成用以儲存一或多個程式,該程式之執行可實現依照所實施之本發明來編碼一序列數位影像之方法及/或解碼位元流之方法。 可執行碼可被儲存在唯讀記憶體9307中、在硬碟9304上或在可移除式數位媒體上,諸如先前所述之磁碟9306。依照一變體,程式之可執行碼可藉由通信網路9303經由介面9302接收,以在被執行之前被儲存在設備9300之儲存機構之一者中,例如在硬碟9304中。 中央處理單元9311被調適成用以控制及指導指令或程式之軟體碼之部分或依照本發明之程式、被儲存在前述儲存機構之一者中指令的執行。在啟動後,儲存在非揮發性記憶體中(例如在硬碟9304上)、磁碟9306或在唯讀記憶體9307中之該程式或若干程式被轉移至隨機存取記憶體9312中(其接著包含該程式或若干程式之可執行碼),以及用於儲存實施本發明所需要的變數及參數之暫存器。 在此實施例中,該設備係可程式化設備,其使用軟體以實施本發明。然而,替代地,本發明可被實施於硬體中(例如,以特殊應用積體電路或ASIC之形式)。 亦可理解的是,依照本發明之其他實施例,依照一上述實施例之解碼器被提供在使用者終端中,諸如電腦、行動電話(蜂巢式電話)、平板電腦或能夠提供/顯示內容給使用者之任何其他類型的裝置(例如,顯示設備)。依照又另一實施例,依照一上述實施例之編碼器被提供在一影像擷取設備中,其亦包括相機、視訊相機或網路相機(例如,閉路電視或視訊監視相機),其可擷取及提供用於編碼器之內容以供編碼。兩種此類實施例將參考圖12及13而提供於下文。 圖12係繪示包括網路相機9452及用戶設備9454之網路相機系統9450之示意圖。 網路相機9452包括成像單元9456、編碼單元9458、通信單元9460及控制單元9462。網路相機9452及用戶設備9454經由網路9200相互連接以能夠彼此通信。成像單元9456包括透鏡及影像感測器(例如,電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)),且擷取一目標的影像且基於該影像產生影像資料。此影像可為靜態影像或視訊影像。成像單元亦可包括分別調適成用以變焦或平移(光學地或數位地)之變焦機構及/或平移機構。編碼單元9458藉由使用在前述實施例之一或多者中闡述之編碼方法編碼該影像資料。編碼單元9458使用在前述實施例中闡述之編碼方法的至少一者。舉另一實例而言,編碼單元9458可使用在前述實施例中闡述之編碼方法的組合。 網路相機9452之通信單元9460將藉由編碼單元9458編碼之經編碼影像資料傳輸至用戶設備9454。此外,通信單元9460亦可從用戶設備9454接收命令。該命令包括用於設定用於由編碼單元9458編碼之參數的命令。控制單元9462依照由通信單元9460接收之命令或使用者輸入來控制網路相機9452中的其他單元。 用戶設備9454包括通信單元9464、解碼單元9466及控制單元9468。用戶設備9454之通信單元9464可將命令傳輸至網路相機9452。此外,用戶設備9454之通信單元9464從網路相機9452接收經編碼影像資料。解碼單元9466藉由使用前述實施例之一或多者中所闡述的解碼方法來解碼該經編碼影像資料。舉另一實例而言,解碼單元9466可使用在前述實施例中闡述之解碼方法的組合。用戶設備9454之控制單元9468依照由通信單元9464接收之使用者操作或命令來控制用戶設備9454中的其他單元。用戶設備9454之控制單元9468亦可控制顯示設備9470,以顯示由解碼單元9466解碼之影像。 用戶設備9454之控制單元9468亦可控制顯示設備9470,以顯示GUI(圖形使用者介面)來指定用於網路相機9452之參數的值,例如用於藉由編碼單元9458之編碼的參數。用戶設備9454之控制單元9468亦可依照輸入至由顯示設備9470顯示之GUI之使用者操作來控制用戶設備9454中之其他單元。用戶設備9454之控制單元9468亦可依照輸入至由顯示設備9470顯示之GUI之使用者操作來控制用戶設備9454之通信單元9464,以將命令傳輸至網路相機9452,其指定用於網路相機9452之參數的值。 圖13係繪示智慧型手機9500的示意圖。智慧型手機9500包括通信單元9502、解碼/編碼單元9504、控制單元9506及顯示單元9508。 通信單元9502經由網路9200接收編碼影像資料。解碼/編碼單元9504解碼由通信單元9502接收之經編碼影像資料。解碼/編碼單元9504藉由使用在一或多個前述實施例中闡述之解碼方法來解碼該經編碼影像資料。該解碼/編碼單元9504使用在前述實施例中闡述之編碼或解碼方法的至少一者。舉另一實例而言,解碼/編碼單元9504可使用在前述實施例中闡述之解碼或編碼方法的組合。 控制單元9506依照由通信單元9502接收之使用者操作或命令來控制智慧型手機9500中之其他單元。例如,控制單元9506控制顯示單元9508以顯示藉由解碼/編碼單元9504所解碼之影像。 智慧型手機可進一步包括影像記錄裝置9510(例如,數位相機及相關聯電路)以記錄影像或視訊。此記錄影像或視訊可藉由解碼/編碼單元9504在控制單元9506之指令下來編碼。該智慧型手機可進一步包括感測器9512,其經調適以感測行動裝置之定向。此感測器可包含加速計、陀螺儀、羅盤、全球定位(GPS)單元或類似的位置感測器。此感測器9512可判定該智慧型手機是否改變定向且此資訊可在編碼視訊串流時使用。 儘管本發明已針對實施例來描述,但應理解本發明並未侷限於所揭示的實施例。熟習此項技術者可瞭解在不違背如隨附發明申請專利範圍中所界定之本發明之範疇的情況下,可實行各種不同的改變及修飾。在本說明書中揭示的所有特徵(包含任何隨附的申請專利範圍、摘要及圖式),及/或所揭示之任何方法或程序的所有步驟能以任何組合來結合,除了至少一些此等特徵及/或步驟為互斥之組合以外。在本說明書中揭示之各特徵(包含任何隨附的申請專利範圍、摘要及圖式)可由用於相同、等效或類似目的之替代性特徵取代,除非另有說明。因此,除非另有說明,否則所揭示之各特徵僅為一系列一般等效或類似特徵中的一個實例。 亦應理解的是,上述之比較、判定、評估、選擇、執行、實行或考量的任何結果,例如在編碼或濾波程序期間所作的選擇,可被指示在位元流中的資料或從位元流中之資料來判定/推斷,例如,旗標或指示結果之資訊,使得指示或判定/推斷結果可被使用在該處理中,以取代實際地執行該比較、判定、評估、選擇、執行、實行或考量,例如在解碼程序期間。 在申請專利範圍中,用語「包括」並不排除其他的元件或步驟,且不定冠詞(“a”或”an”)並不排除為複數。詳述在互為不同的申請專利範圍附屬項中的不同特徵並非指示這些特徵的組合不能有利地使用。出現在申請專利範圍中之元件符號僅為圖示說明之用且對申請專利範圍之範疇不具限制效果。 在前述的實施例中,所描述的功能能以硬體、軟體、韌體或其等之任何組合來實施。若在軟體中實施,該功能以一或多個指令或碼被儲存在電腦可讀媒體上或經由電腦可讀媒體傳輸且由基於硬體的處理單元來執行。 電腦可讀媒體可包含電腦可讀儲存媒體,其對應於有形媒體,諸如資料儲存媒體,或通信媒體包含促使電腦程式從一個地方轉移至另一地方(例如依照通信協定)的任何媒體。以此方式,電腦可讀媒體大體上可對應於(1)有形的電腦可讀儲存媒體,其係非暫態的,或(2)通信媒體,諸如信號或載波。資料儲存媒體可為任何可用媒體,其可由一或多個電腦或一或多個處理器存取以擷取指令、碼及/或資料結構用於在本揭露中所描述的技術實施方案。一電腦程式產品可包含電腦可讀媒體。 舉例來說,且非限制性,此電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他的光學磁碟儲存器、磁性磁碟儲存器或其他磁性儲存裝置、快閃記憶體、或可用以儲存所要的程式碼(以可由電腦存取之指令或資料結構之形式)之任何其他的媒體。再者,任何連接可被適當地稱之為電腦可讀媒體。例如,若指令從網站、伺服器或其他遠端源使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)傳輸,則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)被包含在媒體之定義中。然而應理解,電腦可讀儲存媒體及資料儲存媒體並不包含連接、載波、信號或其他暫態媒體,反而是有關非暫態、有形的儲存媒體。如在本文中所使用的磁碟及光碟,包含光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟磁碟及藍光碟,其中磁碟通常係磁性地再生資料,而光碟則係用雷射光學地再生資料。上述之組合亦應包含在電腦可讀媒體的範疇中。 指令可由一或多個處理器執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式邏輯陣列(FPGA)或其他等效的積體或離散邏輯電路。因此,如在本文中所用之術語「處理器」可指稱適用實施本文中描述之技術的任何上述結構或任何其他結構。另外,在一些態樣中,本文中描述之功能可被提供在被組態用於編碼及解碼之專用硬體及/或軟體模組中,或併入組合的編解碼器中。此外,該技術可被完全地實施在一或多個電路或邏輯元件中。
101:影像部分之解碼 102:解區塊濾波器(DBF) 103:樣本適應性偏移(SAO) 104:適應性迴路濾波器(ALF) 105:輸出 106:圖框緩衝器 201:亮度通道(輸入影像部分(Y分量)) 202:色度通道(輸入影像部分(Cb分量)) 203:色度通道(輸入影像部分(Cr分量)) 204:濾波參數(輸入ALF參數Y) 205:濾波參數(輸入ALF參數Cb) 206:濾波參數(輸入ALF參數Cr) 207:適應性迴路濾波(ALF)程序(ALF亮度) 208:適應性迴路濾波(ALF)程序(ALF色度) 209:適應性迴路濾波(ALF)程序(ALF色度) 210:通道(輸出影像部分(Y分量)) 211:通道 212:通道 305:輸入CCALF參數(輸入CCALF參數Cb) 306:輸入CCALF參數(輸入CCALF參數Cr) 308:跨分量適應性迴路濾波(CCALF)程序 309:跨分量適應性迴路濾波(CCALF)程序 313:輸出影像部分(輸出影像部分(Cb分量)) 314:輸出影像部分(輸出影像部分(Cr分量)) 401:濾波器形狀 402:按位元表示 403:16位元整數記憶體空間 601:16位元整數記憶體空間 602:16位元整數記憶體空間 706:濾波器圖案 707:濾波器圖案 708:濾波器圖案 709:濾波器圖案 710:濾波器圖案 9200:資料通信網路 9201:伺服器 9202:用戶終端 9204:資料流 9300:處理裝置 9302:通信介面 9303:通信網路 9304:資料儲存機構 9305:磁碟機 9306:磁碟 9307:唯讀記憶體 9308:麥克風 9309:螢幕 9310:鍵盤 9311:中央處理單元 9312:隨機存取記憶體 9313:通信匯流排 9320:數位相機 9400:編碼器 9401:輸入數位影像i 0至i n 9402:模組 9403:模組 9404:運動估計模組 9405:運動補償模組 9406:選擇模組 9407:轉換模組 9408:量化模組 9409:熵編碼模組 9410:位元流 9411:反量化(“解量化”)模組 9412:反轉換模組 9413:圖框內預測模組 9414:運動補償模組 9415:後置濾波(模組) 9416:參考影像 9417:運動向量預測及寫碼模組 9418:運動向量場 9450:網路相機系統 9452:網路相機 9454:用戶設備 9456:成像單元 9458:編碼單元 9460:通信單元 9462:控制單元 9464:通信單元 9466:解碼單元 9468:控制單元 9470:顯示設備 9500:智慧型手機 9502:通信單元 9504:解碼/編碼單元 9506:控制單元 9508:顯示單元 9510:影像記錄裝置 9512:感測器 9560:解碼器 9561:位元流 9562:模組 9563:模組 9564:模組 9565:圖框內預測模組 9566:模組 9567:後置濾波 9568:參考影像 9569:解碼視訊信號 9570:運動向量解碼模組 9571:運動向量場資料
本發明之實施例現將僅以舉列方式且參考以下圖式來描述,其中: [圖1]展示在VTM-5.0之典型解碼迴路中發生之ALF; [圖2]係提供在VTM-5.0中之ALF濾波之概述的流程圖; [圖3]係提供除了VTM-5.0之ALF之外的CCALF濾波之概述的流程圖; [圖4-a]提供用於CCALF濾波器之濾波器形狀及係數配置,根據本發明之一實施例; [圖4-b]展示CCALF濾波器係數之典型按位元記憶體表示; [圖4-c]展示在CCALF濾波期間用10位元內部位元深度之樣本值的典型按位元記憶體表示; [圖4-d]展示在執行CCALF濾波時CCALF濾波器係數與樣本值相乘之輸出的典型按位元記憶體表示; [圖4-e]展示在執行CCALF濾波時用於CCALF濾波器係數與樣本值相乘的結果之加總所執行之加法運算的輸出之典型按位元記憶體表示; [圖5-a]展示藉由降低係數值之精度來減少CCALF濾波器係數之位元數目的按位元記憶體表示,依照本發明之第一變體的一實例; [圖5-b]展示藉由限制可能係數值之範圍來減少CCALF濾波器係數之位元數目的按位元記憶體表示,依照本發明之第二變體的一實例; [圖5-c]展示藉由降低係數值之精度及藉由限制可能係數值之範圍來減少CCALF濾波器係數之位元數目的按位元記憶體表示,依照本發明之結合第一及第二變體的一實例; [圖5-d]展示藉由忽略最低位元來減少濾波程序內部使用之樣本值的位元數目之按位元記憶體表示,依照本發明之第三變體之一實例; [圖6-a]展示在濾波程序內部使用之樣本值之差異的按位元記憶體表示,依照本發明之第四變體之一實例; [圖6-b]展示當使用截波操作以減少濾波程序內部之位元數目時之樣本值之差異之按位元記憶體表示,依照本發明之第四變體之一實例; [圖6-c]展示當使用截波操作且忽略最低位元以減少濾波程序內部之位元數目時之樣本值之差異之按位元記憶體表示,依照本發明之結合第三及第四變體之一實例; [圖7-a]展示在執行CCALF濾波時CCALF濾波器係數與樣本值相乘之輸出的典型按位元記憶體表示,依照本發明之變體; [圖7-b]展示在執行CCALF濾波時用於CCALF濾波器係數與樣本值相乘的結果之加總所執行之加法運算的輸出之典型按位元記憶體表示,依照本發明之變體; [圖7-c]提供用以減少位元數目及在CCALF濾波程序中使用之操作之使用16個樣本之CCALF濾波器之一實例的濾波器形狀及係數配置,依照本發明之第五變體; [圖7-d]提供用以減少位元數目及在CCALF濾波程序中使用之操作之使用16個樣本之CCALF濾波器之一實例的濾波器形狀及係數配置,依照本發明之第五變體; [圖7-e]提供用以減少位元數目及在CCALF濾波程序中使用之操作之使用12個樣本之CCALF濾波器之一實例的濾波器形狀及係數配置,依照本發明之第五變體; [圖7-f]提供用以減少位元數目及在CCALF濾波程序中使用之操作之使用8個樣本之CCALF濾波器之一實例的濾波器形狀及係數配置,依照本發明之第五變體; [圖7-g]提供用以減少位元數目及在CCALF濾波程序中使用之操作之使用4個樣本之CCALF濾波器之一實例的濾波器形狀及係數配置,依照本發明之第五變體; [圖8]係繪示依照本發明之實施例之編碼方法的步驟之流程圖; [圖9]係繪示依照本發明之實施例之解碼方法之步驟的流程圖; [圖10]係方塊圖,概要地繪示本發明之一或多項實施例可於其中被實施之資料通信系統; [圖11]係方塊圖,其中繪示本發明之一或多項實施例可於其中被實施之處理裝置的組件; [圖12]係示意圖,其中繪示本發明之一或多項實施例可於其中被實施之網路相機系統;及 [圖13]係示意圖,其中繪示本發明之一或多項實施例可於其中被實施之智慧型手機。
201:輸入影像部分(Y分量)
202:輸入影像部分(Cb分量)
203:輸入影像部分(Cr分量)
204:輸入ALF參數Y
205:輸入ALF參數Cb
206:輸入ALF參數Cr
207:ALF亮度
208:ALF色度
209:ALF色度
210:輸出影像部分(Y分量)
305:輸入CCALF參數Cb
306:輸入CCALF參數Cr
308:跨分量適應性迴路濾波(CCALF)程序
309:跨分量適應性迴路濾波(CCALF)程序
313:輸出影像部分(Cb分量)
314:輸出影像部分(Cr分量)

Claims (36)

  1. 一種濾波影像部分之方法,該方法包括: 接收濾波器係數及對應於圍繞參考樣本之樣本的第一分量樣本值,及 將該濾波器係數及第一分量樣本值輸入至跨分量濾波器以產生跨分量濾波器輸出; 其中,該跨分量濾波器使用限定數目個位元來表示該濾波器係數以產生該濾波器輸出。
  2. 如請求項1之方法,其中,該限定數目個位元係低於由內部位元深度定義之位元數目。
  3. 如請求項1之方法,其中,用以表示該濾波器係數及/或第一分量樣本值之該限定數目個位元係使得該濾波器輸出可在16個或更少位元上被表示。
  4. 如請求項1之方法,其進一步包括將該跨分量濾波器輸出與對應於不同分量之濾波器的輸出結合。
  5. 如請求項4之方法,其中,該第一分量係亮度且該不同分量係色度分量。
  6. 如請求項1之方法,其中,將該樣本值輸入至該濾波器的步驟包括將表示該第一分量樣本值與參考樣本值之值上的差異之圖輸入。
  7. 如請求項1之方法,其中,該限定的步驟包括限制濾波器係數之可能值的範圍。
  8. 如請求項7之方法,其中,限制該可能值之範圍的步驟包括從用以表示該濾波器係數之該限定數目個位元來判定該濾波器係數之絕對值。
  9. 如請求項7之方法,其中,該限定的步驟包括使用該濾波器係數值之降低定點十進制精度。
  10. 如請求項9之方法,其中,該降低定點十進制精度係7位元。
  11. 如請求項7之方法,其中,該濾波器係數之可能值的範圍對應於2的冪值,其中,各2的冪值之指數係從表示該濾波器係數之該限定數目個位元導出。
  12. 如請求項1之方法,其中,該濾波器操作包括將樣本值與濾波器係數相乘,且該乘法經由按位元移位而實施及/或與另一濾波器係數組合以藉由按位元移位及加法運算來取代該乘法運算。
  13. 如請求項1之方法,其中,該第一分量樣本值係處在相對於參考樣本之定義位置處之位置的樣本值,該樣本之該位置係由濾波器形狀定義。
  14. 如請求項13之方法,其中,該濾波器形狀係使得其包含16個或更少樣本。
  15. 如請求項14之方法,其中,該濾波器形狀係使得其包含8個或更少樣本。
  16. 如請求項14或15之方法,其中,該濾波器形狀包括一圖案,其中,每個樣本相對於在位置(x, y)處之該參考樣本具有位置(x+u, y+v),其中,u係屬於   [-1,1]的水平偏移且v係屬於[-1,2]之垂直偏移。
  17. 如請求項16之方法,其中,當|u|=1時,v屬於[0,1]。
  18. 如請求項1之方法,其進一步包括: 判定跨分量適應性迴路濾波器(CCALF)是否針對給定分量而指示;及 從位元流解碼該濾波器係數。
  19. 如請求項1之方法,其進一步包括: 判定CCALF是否針對給定分量而指示;及 將該濾波器係數編碼至位元流中。
  20. 一種解碼使用CCALF編碼之影像部分的方法,該方法包括: 判定CCALF是否針對給定分量而指示; 從位元流解碼CCALF係數;及 使用該CCALF係數解碼該影像部分; 其中,該CCALF係數係表示在不具有前置碼的該位元流中。
  21. 如請求項20之方法,其中,該判定CCALF是否針對給定分量而指示的步驟包括解碼旗標。
  22. 一種使用跨分量適應性迴路濾波器(CCALF)編碼影像部分之方法,該方法包括: 判定CCALF是否針對給定分量而指示; 將CCALF係數編碼至該位元流中;及 使用該CCALF係數編碼該影像部分; 其中,該CCALF係數使用固定表示被表示在參數集中。
  23. 如請求項22之方法,其中,該判定CCALF是否針對給定分量而指示之步驟包括將旗標編碼至該片段標頭中。
  24. 如請求項23之方法,其中,該CCALF係數被直接編碼在參數集中。
  25. 如請求項24之方法,其中,該參數集係適應性參數集(APS)。
  26. 如請求項23之方法,其中,該CCALF濾波器係數使用固定長度碼被表示在該位元流中。
  27. 如請求項26之方法,其中,該固定長度碼包括: 一位元,指示該係數之正負號;及 一系列位元,指示該係數之幅度。
  28. 如請求項26之方法,其中,該固定長度碼包括: 在該位元流中之第一位元,指示該係數是否為零, 若該係數並非為零;一位元,指示該係數之正負號,及 等於1的一序列位元指示該係數之幅度。
  29. 如請求項28之方法,其中,該第一位元等於1指示該係數為零。
  30. 如請求項28或29之方法,該正負號位元等於1指示該係數為負。
  31. 一種使用如請求項1至19或22至30中任一項之方法來編碼影像之方法。
  32. 一種使用如請求項1至21或24至30中任一項之方法來解碼影像之方法。
  33. 一種用於濾波影像之部分的裝置,包括: 用於接收濾波器係數及對應於圍繞參考樣本之樣本的第一分量樣本值之機構,及 用於將該濾波器係數及第一分量樣本值輸入至跨分量濾波器以產生跨分量濾波器輸出之機構; 其中,該跨分量濾波器使用限定數目個位元來表示該濾波器係數以產生該濾波器輸出。
  34. 一種用於解碼使用CCALF編碼之影像部分的解碼器,該解碼器包括: 用於判定CCALF是否針對給定分量而指示之機構; 用於從位元流解碼CCALF係數之機構;及 用於使用該CCALF係數解碼該影像部分之機構; 其中,該CCALF係數係編碼於不具有前置碼之該位元流中。
  35. 一種用於使用跨分量適應性迴路濾波器(CCALF)編碼影像部分之編碼器,該編碼器包括: 用於判定CCALF是否針對給定分量而指示之機構; 用於將CCALF係數編碼至該位元流中之機構;及 用於使用該CCALF係數編碼該影像部分之機構; 其中,該CCALF係數使用固定表示被表示在參數集中。
  36. 一種程式,當藉由電腦或處理器執行時,致使該電腦或處理器實施如請求項1至32中任一項之方法。
TW109128045A 2019-08-20 2020-08-18 濾波器 TWI793438B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1911952.8 2019-08-20
GB1911952.8A GB2586484B (en) 2019-08-20 2019-08-20 A filter

Publications (2)

Publication Number Publication Date
TW202110181A true TW202110181A (zh) 2021-03-01
TWI793438B TWI793438B (zh) 2023-02-21

Family

ID=68099488

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128045A TWI793438B (zh) 2019-08-20 2020-08-18 濾波器

Country Status (9)

Country Link
US (1) US20220312006A1 (zh)
EP (1) EP4018650A1 (zh)
JP (2) JP7308983B2 (zh)
KR (1) KR20220041939A (zh)
CN (1) CN114258683A (zh)
BR (1) BR112022000953A2 (zh)
GB (1) GB2586484B (zh)
TW (1) TWI793438B (zh)
WO (1) WO2021032751A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040483A1 (ko) 2019-08-29 2021-03-04 엘지전자 주식회사 영상 코딩 장치 및 방법
CN114586349A (zh) * 2019-08-29 2022-06-03 Lg 电子株式会社 基于滤波编译视频的设备和方法
CN117676135A (zh) * 2019-10-18 2024-03-08 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
JP7389252B2 (ja) * 2019-10-29 2023-11-29 北京字節跳動網絡技術有限公司 クロスコンポーネント適応ループフィルタ
CN113132739B (zh) * 2019-12-31 2022-11-01 杭州海康威视数字技术股份有限公司 边界强度确定、编解码方法、装置及其设备
CN115299064A (zh) 2020-03-11 2022-11-04 抖音视界有限公司 基于颜色格式的自适应参数集信令通知
WO2021244420A1 (en) 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition
WO2023201930A1 (en) * 2022-04-20 2023-10-26 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024027566A1 (en) * 2022-08-02 2024-02-08 Mediatek Inc. Constraining convolution model coefficient

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
CN104769950B (zh) * 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US20150382016A1 (en) * 2014-06-27 2015-12-31 Mitsubishi Electric Research Laboratories, Inc. Method for Processing Multi-Component Video and Images
US20160105685A1 (en) * 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding
US10972728B2 (en) * 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
EP3286918A1 (en) * 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
KR102460912B1 (ko) * 2015-07-08 2022-10-28 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
TWI814890B (zh) * 2018-08-17 2023-09-11 大陸商北京字節跳動網絡技術有限公司 簡化的跨分量預測
US11159789B2 (en) * 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding
KR20210123300A (ko) * 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
US20220248007A1 (en) * 2019-06-24 2022-08-04 Sharp Kabushiki Kaisha Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
US11197030B2 (en) * 2019-08-08 2021-12-07 Panasonic Intellectual Property Corporation Of America System and method for video coding

Also Published As

Publication number Publication date
GB201911952D0 (en) 2019-10-02
EP4018650A1 (en) 2022-06-29
JP2022539656A (ja) 2022-09-13
CN114258683A (zh) 2022-03-29
GB2586484B (en) 2023-03-08
KR20220041939A (ko) 2022-04-01
US20220312006A1 (en) 2022-09-29
WO2021032751A1 (en) 2021-02-25
JP2023123772A (ja) 2023-09-05
GB2586484A (en) 2021-02-24
TWI793438B (zh) 2023-02-21
JP7308983B2 (ja) 2023-07-14
BR112022000953A2 (pt) 2022-04-12

Similar Documents

Publication Publication Date Title
TWI793438B (zh) 濾波器
JP6768122B2 (ja) 適応色空間変換の符号化
JP2023015093A (ja) 統合された画像再構成及び映像符号化
TW202005399A (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
CN111526367A (zh) 样本自适应偏移控制
JP2014017868A (ja) 適応セグメンテーションを用いた動画符号化システムおよび方法
JP5884313B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US10085020B2 (en) Sample adaptive filtering with offsets
CN112913236B (zh) 编码器,解码器和使用压缩mv存储的对应方法
JP2017216749A (ja) 画像処理装置及び画像処理方法
JP7495457B2 (ja) 適応色空間変換の符号化
TWI834773B (zh) 使用適應性迴路濾波器以編碼和解碼影像之一或多個影像部分的方法、裝置和電腦可讀儲存媒體
GB2613960A (en) A filter
TW202025740A (zh) 濾波器