TWI750057B - 去區塊濾波等級決策方法 - Google Patents

去區塊濾波等級決策方法 Download PDF

Info

Publication number
TWI750057B
TWI750057B TW110109135A TW110109135A TWI750057B TW I750057 B TWI750057 B TW I750057B TW 110109135 A TW110109135 A TW 110109135A TW 110109135 A TW110109135 A TW 110109135A TW I750057 B TWI750057 B TW I750057B
Authority
TW
Taiwan
Prior art keywords
filtering
levels
level
deblocking
quantization parameter
Prior art date
Application number
TW110109135A
Other languages
English (en)
Other versions
TW202234893A (zh
Inventor
曾偉民
志宏 蔡
李偉
張容
陳伍軍
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Application granted granted Critical
Publication of TWI750057B publication Critical patent/TWI750057B/zh
Publication of TW202234893A publication Critical patent/TW202234893A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭露一種去區塊濾波等級決策方法，應用於一影像編碼器，並用於決定N個圖幀的去區塊濾波等級。該方法包含：判斷該N個圖幀之一當前圖幀的一當前量化參數是否同於該N個圖幀之任一先前圖幀的一先前量化參數；若該當前量化參數不同於該先前量化參數，依據該當前量化參數查詢一已建立表，以得到M個當前去區塊濾波參考等級，從而依據該M個當前去區塊濾波參考等級分別決定該當前圖幀的M個當前去區塊濾波等級；以及若該當前量化參數同於該先前量化參數，依據該先前圖幀的M個先前去區塊濾波等級分別決定該當前圖幀的該M個當前去區塊濾波等級。

Description

去區塊濾波等級決策方法
本發明是關於去區塊濾波操作，尤其是關於去區塊濾波等級的決策。
去區塊濾波器（Deblocking Filter; DBF）是一種減少在區塊邊界之視覺瑕疵的濾波器。這種視覺瑕疵可稱為區塊效應（Blocking Effect），這種效應的成因是源自於以區塊為基礎（Block-Based）的編解碼器（Codec）所造成的人造邊界（Blocking Artifacts）。以區塊為基礎的編解碼器有很多種，像是H.264/高端視頻編碼（Advanced Video Coding,  AVC）、H.265/高效率視頻編碼（High Efficiency Video Coding, HEVC）以及AOMedia（Alliance for Open Media）Video 1 (AV1)都是這種編解碼器，這些編解碼器會在編解碼過程中利用去區塊濾波器將區塊效應的影響降低以改善視頻影像的品質。在解碼階段，解碼器可以解碼碼流以得到每張圖幀的去區塊濾波的濾波等級（Filter Level）；在編碼階段，編碼器需要一個複雜的決策過程以決定每張圖幀的去區塊濾波等級，所決定的去區塊濾波等級會被傳入碼流。
以AV1標準之去區塊濾波等級決策方法為例，AV1標準定義了64個去區塊濾波等級。在編碼過程中，AV1編碼器如何從這64個去區塊濾波等級快速地選出最佳的去區塊濾波等級，決定了AV1編碼器的性能。基於AV1編碼器須從該64個去區塊濾波等級中選出一亮度分量（luminance）之垂直方向濾波等級/該亮度分量之水平方向濾波等級/一色度（chrominance）分量之濾波等級/一色度/濃度（chroma）分量之濾波等級用於每張圖幀，一種已知作法是藉由完整搜尋（full searching）方式來選出上述4種濾波等級；然而，這種作法會需要64×4次的濾波計算量用於每張圖幀的去區塊濾波等級決策，這過大的計算量會影響硬體即時編碼的表現。另一種已知作法是先嘗試一種去區塊濾波等級來濾波一張圖幀，然後觀察該張圖幀的濾波效果，以依據該濾波效果決定後續要嘗試的去區塊濾波等級，直到找到最佳的去區塊濾波等級用於該張圖幀；然而，這種作法需要重新讀取圖幀資料以做後續的濾波嘗試，這會破壞編碼器之硬體編碼時基於超級區塊（super block; SB）的流水線處理的進行，且會增加資料讀取的負擔。
前述AV1標準的相關內容可見於下列文獻：Peter de Rivaz, Jack Haughton, “AV1 Bitstream & Decoding Process Specification”, 最後編輯於2019-01-08。
本揭露的目的之一在於提供一種去區塊濾波等級決策方法，以作為先前技術的改良。
本揭露之去區塊濾波等級決策方法的一實施例是應用於一影像編碼器，並用於決定N個圖幀的去區塊濾波等級，其中該N個圖幀分別關聯N個量化參數，該N個圖幀按一圖像順序號包含一第一圖幀、一第二圖幀與一第三圖幀，該第一圖幀的順位號是該圖像順序號中最小者，該N為大於2的整數。該實施例包含一第一步驟、一第二步驟與一第三步驟。該第一步驟用來依據該第一圖幀的一第一量化參數查詢一已建立表，以得到4個第一去區塊濾波參考等級，從而依據該4個第一去區塊濾波參考等級分別決定該第一圖幀的4個第一去區塊濾波等級。該第二步驟用來依據該第二圖幀的一第二量化參數決定該第二圖幀的4個第二去區塊濾波等級，其中在該第二量化參數不同於該第一量化參數的情形下，該第二步驟依據該第二量化參數查詢該已建立表，以得到4個第二去區塊濾波參考等級，從而依據該4個第二去區塊濾波參考等級分別決定該4個第二去區塊濾波等級；在該第二量化參數同於該第一量化參數的情形下，該第二步驟依據該4個第一去區塊濾波等級分別決定該4個第二去區塊濾波等級。該第三步驟用來依據該第三圖幀的一第三量化參數決定該第三圖幀的4個第三去區塊濾波等級，其中在該第三量化參數不同於該第一量化參數與該第二量化參數的每一個的情形下，該第三步驟依據該第三量化參數查詢該已建立表，以得到4個第三去區塊濾波參考等級，從而依據該4個第三去區塊濾波參考等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第一量化參數但不同於該第二量化參數的情形下，該第三步驟依據該4個第一去區塊濾波等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第二量化參數的情形下，該第三步驟依據該4個第二去區塊濾波等級分別決定該4個第三去區塊濾波等級。該N個圖幀之其它圖幀的去區塊濾波等級決策可依上述說明類推而得。
本揭露之去區塊濾波等級決策方法的另一實施例是應用於一影像編碼器，並用於決定N個圖幀的去區塊濾波等級，該N為大於1的整數。該實施例包含下列步驟：判斷該N個圖幀之一當前圖幀的一當前量化參數是否同於該N個圖幀之任一先前圖幀的一先前量化參數；若該當前量化參數不同於該先前量化參數，依據該當前量化參數查詢一已建立表，以得到M個當前去區塊濾波參考等級，從而依據該M個當前去區塊濾波參考等級分別決定該當前圖幀的M個當前去區塊濾波等級，該M為正整數；以及若該當前量化參數同於該先前量化參數，依據該先前圖幀的M個先前去區塊濾波等級分別決定該當前圖幀的該M個當前去區塊濾波等級。
有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
本揭露之去區塊濾波等級決策方法是讓一在前圖幀的濾波決策成為一在後圖幀之濾波決策的參考，因此，本揭露之方法不需要過大的計算量，也不會破壞硬體編碼流水線處理的進行。
圖1顯示本揭露之去區塊濾波（deblocking filter level）等級決策方法的一實施例。圖1之實施例是由一已知或自行開發的影像編碼器來執行，並用於決定N個圖幀（image frame）的去區塊濾波等級。如圖2所示，該N個圖幀（1 st圖幀~N th圖幀）分別關聯N個量化參數（quantization parameter; QP），該N個圖幀按一圖像順序號（picture order count; POC）包含一第一圖幀（1 st圖幀）、一第二圖幀（2 nd圖幀）與一第三圖幀（3 rd圖幀）（例如：三幅連續圖幀），該第一圖幀的順位號是該圖像順序號中最小者，該N為大於2的整數。圖2之箭頭虛線表示一在前圖幀的濾波決策作為一在後圖幀之濾波決策的參考。
圖1之實施例包含一第一步驟S110、一第二步驟S120與一第三步驟S130如下所述： (1) 該第一步驟用來依據該第一圖幀的一第一量化參數查詢一已建立表，以得到4個第一去區塊濾波參考等級，從而依據該4個第一去區塊濾波參考等級分別決定該第一圖幀的4個第一去區塊濾波等級。上述已建立表與查表操作可藉由已知或自行開發的查表方式來實現。量化參數例如是前述文獻“AV1 Bitstream & Decoding Process Specification”所定義的量化參數。 (2) 該第二步驟用來依據該第二圖幀的一第二量化參數決定該第二圖幀的4個第二去區塊濾波等級。詳言之，在該第二量化參數不同於該第一量化參數的情形下，該第二步驟依據該第二量化參數查詢該已建立表，以得到4個第二去區塊濾波參考等級，從而依據該4個第二去區塊濾波參考等級分別決定該4個第二去區塊濾波等級；在該第二量化參數同於該第一量化參數的情形下，該第二步驟依據該4個第一去區塊濾波等級分別決定該4個第二去區塊濾波等級。 (3) 該第三步驟用來依據該第三圖幀的一第三量化參數決定該第三圖幀的4個第三去區塊濾波等級。詳言之，在該第三量化參數不同於該第一量化參數與該第二量化參數的每一個的情形下，該第三步驟依據該第三量化參數查詢該已建立表，以得到4個第三去區塊濾波參考等級，從而依據該4個第三去區塊濾波參考等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第一量化參數但不同於該第二量化參數的情形下，該第三步驟依據該4個第一去區塊濾波等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第二量化參數的情形下，由於該第二圖幀早於且最接近該第三圖幀，無論該第三量化參數是否同於該第一量化參數，該第三步驟依據該4個第二去區塊濾波等級分別決定該4個第三去區塊濾波等級。 該N個圖幀之其它圖幀的去區塊濾波等級決策可依上述說明類推而得。
承上所述，於一實作範例中，該4個第一/第二/第三去區塊濾波參考等級（藉由查表而得）與該4個第一/第二/第三去區塊濾波等級（藉由前述第一/第二/第三步驟決定而得）的每一組關聯4種用途的濾波等級，該種用途的濾波等級4為一亮度（luminance）分量（亦即：一般YUV分量中的Y分量）的水平方向濾波等級、該亮度分量的垂直方向濾波等級、一色度（chrominance）分量（亦即：一般YUV分量中的U分量）的濾波等級、以及一濃度（chroma）分量（亦即：一般YUV分量中的V分量）的濾波等級；該第一/第二/第三步驟依據一種用途之已知的去區塊濾波參考等級/去區塊濾波等級來決定同一種用途的去區塊濾波等級。
於一實作範例中，該第一步驟所參考的該4個第一去區塊濾波參考等級分別為一第一用途參考等級（例如：亮度分量的水平方向濾波等級）、一第二用途參考等級（例如：亮度分量的垂直方向濾波等級）、一第三用途參考等級（例如：色度分量的濾波等級）與一第四用途參考等級（例如：濃度分量的濾波等級），這4個參考等級的每一個包含於X個預設濾波等級（例如：AV1標準所定義的64個濾波等級）；該第一步驟所決定的該4個第一去區塊濾波等級分別為一第一去區塊濾波第一用途等級、一第一去區塊濾波第二用途等級、一第一去區塊濾波第三用途等級與一第一去區塊濾波第四用途等級。本實作範例中，該第一步驟包含： (1-1)   依據一第K用途參考等級從該X個預設濾波等級中選擇Y個濾波等級，其中該X為大於該Y的整數（例如： 64），該Y為大於1的整數（例如：4）。該K為一、二、三、與四的任一個；因此，第K用途是指第一/第二/第三/第四用途。 子步驟(1-1)會依據前述4個參考等級的每一個從該X個預設濾波等級中選出Y個濾波等級，因此總共會選出4×Y個濾波等級（亦即：4組濾波等級，每組有Y個濾波等級）。 (1-2)   利用該Y個濾波等級的每一個對該第一圖幀之至少一部分執行一濾波操作，再依據「該濾波操作前該第一圖幀之該至少一部分的像素值」與「該濾波操作後該第一圖幀之該至少一部分的像素值」計算出Y個誤差值（例如：Y個誤差平方和（sum of squared errors; SSEs））分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作（block-based filter operation）（例如：依據AV1標準所執行的去區塊濾波操作）。 子步驟(1-2)會依據前述4組濾波等級執行該濾波操作以及該誤差值的計算，因此總共會產生4×Y個誤差值（亦即：4組誤差值，每組有Y個誤差值）。 舉例而言，該第一圖幀包含複數個超級區塊（super blocks; SBs），該複數個超級區塊的每一個包含複數個編碼單元（coding units; CUs）（或稱轉換單元（transform units; TUs）如圖3之範例性的超級區塊300所示，該些編碼單元之任二個可能具有相同或不同尺寸；子步驟(1-2)包含：利用該Y個濾波等級的每一個對該複數個超級區塊之每一個的
Figure 02_image001
執行該濾波操作，該Z大於零，例如為不小於二的整數。圖3之超級區塊300中，該Z等於4，且該超級區塊300的
Figure 02_image001
為該超級區塊的左上部。 (1-3)   從該Y個誤差值中選出一誤差值（例如：該Y個誤差值中的最小者），並將該誤差值所對應的一濾波等級當作該4個第一去區塊濾波等級中的一第一去區塊濾波第K用途等級。 子步驟(1-3)會依據前述4組誤差值的每一組選出一個誤差值，因此總共會選出4個誤差值，該4個誤差值所對應的4個濾波等級作為該4個第一去區塊濾波等級。 值得注意的是，由於子步驟(1-2)選擇該Y個濾波等級的任一個時，無須參考已被挑選出來之該Y個濾波等級的任一個的濾波效果，因此，該第一步驟不會影響硬體編碼時基於超級區塊的流水線處理的進行；換言之，該Y個濾波等級的選擇沒有關聯，因此不需要依特定順序進行，可以並行地進行。另值得注意的是，在該Y等於4以及該Z等於4的情形下，本實作範例所需的計算量僅為先前技術之完整搜尋（full searching）方式之計算量的
Figure 02_image003
。
承上述實作範例，該X個預設濾波等級依序為從一第零預設濾波等級至一第(X-1)預設濾波等級（例如：AV1標準所述的第0~63濾波等級）；該Y個濾波等級包含一第P等級、一第Q等級、一第R等級與一第S等級，該P、Q、R、S的每一個為一正整數。該第P等級為前段所述之第K用途參考等級；該第Q等級為該X個預設濾波等級中的一第(P+T)等級，該T為一正整數；若(P+T)大於或等於該X，令(P+T)=(X-1)或X，然此並非實施限制；該第R等級為該X個預設濾波等級中的一第(P-T)等級；若(P-T)小於0，令(P-T)=0，然此並非實施限制；該第S等級是依據該第一量化參數查詢該已建立表而得，在此同於前述第K用途參考等級。藉由前述子步驟(1-2)至(1-3)的濾波操作與誤差值之計算與選擇，該第P、第Q、第R與第S等級的其中之一會被選作該第一去區塊濾波第K用途等級。
值得注意的是，該Y個濾波等級可包含其它等級（例如：第(P+2T)等級與第(P-2T)等級）以供選擇；該第P、第Q、第R與第S等級的任意一或多個可依實施需求被省略；該P、Q、R、S、與T之值的決定可依實施需求而定。該T的一範例如下所述：當目前的圖幀順位號（F NUM）小於(2×Y+1)時，T=[(2×Y+1)-F NUM+1]；當目前的圖幀順位號介於(2×k×Y+1)與[2×(k+1)×Y]之間時（亦即：(2×k×Y+1)
Figure 02_image005
F NUM
Figure 02_image005
[2×(k+1)×Y]），令T為[(Y+1)+2×k×Y-F NUM+1]與1之間的較大者，其中k為正整數，k依序遞增時，T隨之而變。
承前所述，舉例而言，該X個預設濾波等級為AV1標準所定義的64個濾波等級；該Y個濾波等級為4個濾波等級；該第K用途參考等級為該64個濾波等級中的第15等級；該T等於[(2Y+1)-圖幀順位號+1]=[(2×4+1)-1+1]=9；該第P、第Q、第R與第S等級依序是第15等級、第(15+9)等級=第24等級、第(15-9)等級=第6等級、與第15等級；藉由前述子步驟(1-2)至(1-3)的濾波操作與誤差值之計算與選擇，上述等級的其中之一（例如：第24等級）被選作該第一去區塊濾波第K用途等級。
於一實作範例中，在該第二量化參數不同於該第一量化參數的情形下，該第二步驟與該第一步驟相仿；本領域具有通常知識者能夠依據圖1之實施例以及該第一步驟之實作範例的說明，來瞭解本實作範例中該第二步驟的細節與變化。於一實作範例中，在該第三量化參數不同於該第一量化參數也不同於該第二量化參數的情形下，該第三步驟與該第一步驟相仿；本領域具有通常知識者能夠依據圖1之實施例以及該第一步驟之實作範例的說明，來瞭解本實作範例中該第三步驟的細節與變化。
於一實作範例中，在該第二量化參數同於該第一量化參數的情形下，該第二步驟包含： (2-1)          依據一第一去區塊濾波第K用途等級從X個預設濾波等級中選擇Y個濾波等級，其中該K為一、二、三、與四的任一個，該X為大於該Y的整數（例如： 64），該Y為大於1的整數（例如：4）。 (2-2)          利用該Y個濾波等級的每一個對該第二圖幀之至少一部分執行一濾波操作，再依據「該濾波操作前該第二圖幀之該相應部分的像素值」與「該濾波操作後該第二圖幀之該相應部分的像素值」計算出Y個誤差值（例如：Y個誤差平方和）分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作。 (2-3)          從該Y個誤差值中選出一誤差值（例如：該Y個誤差值中的最小者），並將該誤差值所對應的一濾波等級當作該4個第二去區塊濾波等級中的一第二去區塊濾波第K用途等級。 由於本領域具有通常知識者能夠藉由前述第一步驟的說明來推知該第二步驟之子步驟(2-1)~(2-3)的細節與變化，重複及冗餘的說明在此省略。
承上述實作範例，該X個預設濾波等級依序為從一第零預設濾波等級至一第(X-1)預設濾波等級（例如：AV1標準所述的第0~63濾波等級）；該Y個濾波等級包含一第P等級、一第Q等級、一第R等級與一第S等級，該P、Q、R、S的每一個為一正整數。該第P等級為前段所述之第一去區塊濾波第K用途等級；該第Q等級為該X個預設濾波等級中的一第(P+T)等級，該T為一正整數；若(P+T)大於或等於該X，令(P+T)=(X-1)或X，然此並非實施限制；該第R等級為該X個預設濾波等級中的一第(P-T)等級；若(P-T)小於0，令(P-T)=0；該第S等級是依據該第二量化參數查詢該已建立表而得；藉由前述子步驟(2-2)至(2-3)的濾波操作與誤差值之計算與選擇，該第P、第Q、第R與第S等級的其中之一會被選作該第二去區塊濾波第K用途等級。
承上所述，舉例而言，該X個預設濾波等級為AV1標準所定義的64個濾波等級；該Y個濾波等級為4個濾波等級；該第一去區塊濾波第K用途等級為該64個濾波等級中的第24等級；該T等於[(2Y+1)-圖幀順位號+1]=[(2×4+1)-2+1]=8；該第P、第Q、第R與第S等級依序會是第24等級、第(24+8)等級=第32等級、第(24-8)等級=第16等級、與第15等級；藉由前述子步驟(2-2)至(2-3)的濾波操作與誤差值之計算與選擇，上述等級的其中之一（例如：第24等級）被選作該第一去區塊濾波第K用途等級。
於一實作範例中，在該第三量化參數同於該第二量化參數（或同於該第一量化參數但不同於該第二量化參數）的情形下，該第三步驟包含： (3-1)          依據一第二（第一）去區塊濾波第K用途等級從X個預設濾波等級中選擇Y個濾波等級，其中該K為一、二、三、與四的任一個，該X為大於該Y的整數（例如： 64），該Y為大於1的整數（例如：4）。 (3-2)          利用該Y個濾波等級的每一個對該第三圖幀之至少一部分執行一濾波操作，再依據該濾波操作前該第三圖幀之該相應部分的像素值與該濾波操作後該第三圖幀之該相應部分的像素值計算出Y個誤差值（例如：Y個誤差平方和）分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作。 (3-3)          從該Y個誤差值中選出一誤差值（例如：該Y個誤差值中的最小者），並將該誤差值所對應的一濾波等級當作該4個第三去區塊濾波等級中的一第三去區塊濾波第K用途等級。 由於本領域具有通常知識者能夠藉由前述第一步驟與第二步驟的說明來推知該第三步驟之子步驟(3-1)~(3-3)的細節與變化，重複及冗餘的說明在此省略。
承上述實作範例，該X個預設濾波等級依序為從一第零預設濾波等級至一第(X-1)預設濾波等級（例如：AV1標準所述的第0~63濾波等級）；該Y個濾波等級包含一第P等級、一第Q等級、一第R等級與一第S等級，該P、Q、R、S的每一個為一正整數。該第P等級為前段所述之第二（第一）去區塊濾波第K用途等級；該第Q等級為該X個預設濾波等級中的一第(P+T)等級，該T為一正整數；若(P+T)大於或等於該X，令(P+T)=(X-1)或X，然此並非實施限制；該第R等級為該X個預設濾波等級中的一第(P-T)等級；若(P-T)小於0，令(P-T)=0；該第S等級是依據該第二量化參數查詢該已建立表而得；藉由前述子步驟(3-2)至(3-3)的濾波操作與誤差值之計算與選擇，該第P、第Q、第R與第S等級的其中之一會被選作該第三去區塊濾波第K用途等級。
承上所述，舉例而言，該X個預設濾波等級為AV1標準所定義的64個濾波等級；該Y個濾波等級為4個濾波等級；該第二（第一）去區塊濾波第K用途等級為該64個濾波等級中的第24等級；該T等於[(2Y+1)-圖幀順位號+1]=[(2×4+1)-3+1]=7；該第P、第Q、第R與第S等級依序會是第24等級、第(24+7)等級=第31等級、第(24-7)等級=第17等級與第15等級；藉由前述子步驟(3-2)至(3-3)的濾波操作與誤差值之計算與選擇，上述等級的其中之一（例如：第17等級）被選作該第三去區塊濾波第K用途等級。
圖4顯示本揭露之去區塊濾波等級決策方法的另一實施例。圖4之實施例是由一已知或自行開發的影像編碼器來執行，並用於決定N個圖幀的去區塊濾波等級。該實施例包含： 步驟S410：判斷該N個圖幀之一當前圖幀的一當前量化參數是否同於該N個圖幀之任一先前圖幀的一先前量化參數。依據該N個圖幀的順序，該任一先前圖幀早於該當前圖幀。 步驟S420：若該當前量化參數不同於該先前量化參數，依據該當前量化參數查詢一已建立表，以得到M個當前去區塊濾波參考等級，從而依據該M個當前去區塊濾波參考等級分別決定該當前圖幀的4個當前去區塊濾波等級。本步驟之細節與變化可由前述圖1之第一步驟的子步驟(1-1)~(1-3)推得。 步驟S430：若該當前量化參數同於該先前量化參數，依據該先前圖幀的4個先前去區塊濾波等級分別決定該當前圖幀的該4個當前去區塊濾波等級。本步驟之細節與變化可由前述圖1之第二（第三）步驟的子步驟(2-1)~(2-3)（(3-1)~(3-3)）推得。
由於本領域具有通常知識者能夠參酌圖1~3之實施例的揭露來瞭解圖4之實施例的細節與變化，重複及冗餘之說明在此予以節略。
請注意，在實施為可能的前提下，本技術領域具有通常知識者可選擇性地實施前述任一實施例中部分或全部技術特徵，或選擇性地實施前述複數個實施例中部分或全部技術特徵的組合，藉此增加本發明實施時的彈性。
綜上所述，本發明不需要過大的計算量，也不會破壞硬體編碼流水線處理的進行。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
S110~S130:步驟 1 st圖幀~N th圖幀:第一圖幀~第N圖幀 QP:量化參數 POC:圖像順序號 300:超級區塊 CU:編碼單元 S410~S430:步驟
［圖1］顯示本揭露之去區塊濾波等級決策方法的一實施例； ［圖2］顯示N個圖幀中一在前圖幀的濾波決策作為一在後圖幀之濾波決策的參考； ［圖3］顯示一圖幀中的一超級區塊；以及 ［圖4］顯示本揭露之去區塊濾波等級決策方法的另一實施例。
S110~S130:步驟

Claims (10)

  1. 一種去區塊濾波等級（deblocking filter level）決策方法，應用於一影像編碼器，並用於決定N個圖幀（image frame）的去區塊濾波等級，其中該N個圖幀分別關聯N個量化參數（quantization parameter; QP），該N個圖幀按一圖像順序號（picture order count; POC）包含一第一圖幀、一第二圖幀與一第三圖幀，該第一圖幀的順位號是該圖像順序號中最小者，該N為大於2的整數，該方法包含： 一第一步驟，用來依據該第一圖幀的一第一量化參數查詢一已建立表，以得到4個第一去區塊濾波參考等級，從而依據該4個第一去區塊濾波參考等級分別決定該第一圖幀的4個第一去區塊濾波等級； 一第二步驟，用來依據該第二圖幀的一第二量化參數決定該第二圖幀的4個第二去區塊濾波等級，其中在該第二量化參數不同於該第一量化參數的情形下，該第二步驟依據該第二量化參數查詢該已建立表，以得到4個第二去區塊濾波參考等級，從而依據該4個第二去區塊濾波參考等級分別決定該4個第二去區塊濾波等級；在該第二量化參數同於該第一量化參數的情形下，該第二步驟依據該4個第一去區塊濾波等級分別決定該4個第二去區塊濾波等級；以及 一第三步驟，用來依據該第三圖幀的一第三量化參數決定該第三圖幀的4個第三去區塊濾波等級，其中在該第三量化參數不同於該第一量化參數與該第二量化參數的每一個的情形下，該第三步驟依據該第三量化參數查詢該已建立表，以得到4個第三去區塊濾波參考等級，從而依據該4個第三去區塊濾波參考等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第一量化參數但不同於該第二量化參數的情形下，該第三步驟依據該4個第一去區塊濾波等級分別決定該4個第三去區塊濾波等級；在該第三量化參數同於該第二量化參數的情形下，該第三步驟依據該4個第二去區塊濾波等級分別決定該4個第三去區塊濾波等級。
  2. 如請求項1之方法，其中該4個第一去區塊濾波參考等級分別為一第一用途參考等級、一第二用途參考等級、一第三用途參考等級與一第四用途參考等級，該第一用途參考等級、該第二用途參考等級、該第三用途參考等級與該第四用途參考等級包含於X個預設濾波等級，該4個第一去區塊濾波等級分別為一第一去區塊濾波第一用途等級、一第一去區塊濾波第二用途等級、一第一去區塊濾波第三用途等級與一第一去區塊濾波第四用途等級，該第一步驟包含： 依據一第K用途參考等級從該X個預設濾波等級中選擇Y個濾波等級，其中該K為一、二、三、與四的任一個，該X為大於該Y的整數，該Y為大於1的整數； 利用該Y個濾波等級的每一個對該第一圖幀之至少一部分執行一濾波操作，再依據該濾波操作前該第一圖幀之該至少一部分的像素值與該濾波操作後該第一圖幀之該至少一部分的像素值計算出Y個誤差值分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作（block-based filter operation）；以及 從該Y個誤差值中選出一誤差值，並將該誤差值所對應的一濾波等級當作該4個第一去區塊濾波等級中的一第一去區塊濾波第K用途等級。
  3. 如請求項2之方法，其中該Y個誤差值為Y個誤差平方和（sum of squared errors; SSE）。
  4. 如請求項2之方法，其中該誤差值為該Y個誤差值中的最小者。
  5. 如請求項2之方法，其中該第一圖幀包含複數個超級區塊（super blocks），該複數個超級區塊的每一個包含複數個編碼單元；利用該Y個濾波等級的每一個對該第一圖幀之至少一部分執行該濾波操作的步驟包含：利用該Y個濾波等級的每一個對該複數個超級區塊之每一個的
    Figure 03_image001
    執行該濾波操作，該Z大於零。
  6. 如請求項1之方法，其中該4個第一去區塊濾波等級分別為一第一去區塊濾波第一用途等級、一第一去區塊濾波第二用途等級、一第一去區塊濾波第三用途等級與一第一去區塊濾波第四用途等級，在該第二量化參數同於該第一量化參數的情形下，該第二步驟包含： 依據一第一去區塊濾波第K用途等級從X個預設濾波等級中選擇Y個濾波等級，其中該K為一、二、三、與四的任一個，該X為大於該Y的整數，該Y為大於1的整數； 利用該Y個濾波等級的每一個對該第二圖幀之至少一部分執行一濾波操作，再依據該濾波操作前該第二圖幀之該至少一部分的像素值與該濾波操作後該第二圖幀之該至少一部分的像素值計算出Y個誤差值分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作；以及 從該Y個誤差值中選出一誤差值，並將該誤差值所對應的一濾波等級當作該4個第二去區塊濾波等級中的一第二去區塊濾波第K用途等級。
  7. 如請求項6之方法，其中該誤差值為該Y個誤差值中的最小者。
  8. 如請求項6之方法，其中該第二圖幀包含複數個超級區塊，該複數個超級區塊的每一個包含複數個編碼單元；利用該Y個濾波等級的每一個對該第二圖幀之至少一部分執行該濾波操作的步驟包含：利用該Y個濾波等級的每一個對該複數個超級區塊之每一個的
    Figure 03_image001
    執行該濾波操作，該Z大於零。
  9. 如請求項1之方法，其中該4個第二去區塊濾波等級分別為一第二去區塊濾波第一用途等級、一第二去區塊濾波第二用途等級、一第二去區塊濾波第三用途等級與一第二去區塊濾波第四用途等級，在該第三量化參數同於該第二量化參數的情形下，該第三步驟包含： 依據一第二去區塊濾波第K用途等級從X個預設濾波等級中選擇Y個濾波等級，其中該K為一、二、三、與四的任一個，該X為大於該Y的整數，該Y為大於1的整數； 利用該Y個濾波等級的每一個對該第三圖幀之至少一部分執行一濾波操作，再依據該濾波操作前該第三圖幀之該至少一部分的像素值與該濾波操作後該第三圖幀之該至少一部分的像素值計算出Y個誤差值分別對應該Y個濾波等級，其中該濾波操作是一以區塊為基礎的濾波操作；以及 從該Y個誤差值中選出一誤差值，並將該誤差值所對應的一濾波等級當作該4個第三去區塊濾波等級中的一第三去區塊濾波第K用途等級。
  10. 一種去區塊濾波等級決策方法，應用於一影像編碼器，並用於決定N個圖幀的去區塊濾波等級，該方法包含： 判斷該N個圖幀之一當前圖幀的一當前量化參數是否同於該N個圖幀之任一先前圖幀的一先前量化參數； 若該當前量化參數不同於該先前量化參數，依據該當前量化參數查詢一已建立表，以得到M個當前去區塊濾波參考等級，從而依據該M個當前去區塊濾波參考等級分別決定該當前圖幀的M個當前去區塊濾波等級，其中該M為正整數；以及 若該當前量化參數同於該先前量化參數，依據該先前圖幀的M個先前去區塊濾波等級分別決定該當前圖幀的該M個當前去區塊濾波等級。
TW110109135A 2021-02-26 2021-03-15 去區塊濾波等級決策方法 TWI750057B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/186,025 US11245896B1 (en) 2021-02-26 2021-02-26 Deblocking filter level decision method
US17186025 2021-02-26

Publications (2)

Publication Number Publication Date
TWI750057B true TWI750057B (zh) 2021-12-11
TW202234893A TW202234893A (zh) 2022-09-01

Family

ID=80215822

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109135A TWI750057B (zh) 2021-02-26 2021-03-15 去區塊濾波等級決策方法

Country Status (3)

Country Link
US (1) US11245896B1 (zh)
CN (1) CN114979671A (zh)
TW (1) TWI750057B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056389A1 (en) * 2006-08-31 2008-03-06 Stmicroelectronics Asia Pacific Pte Ltd Multimode filter for de-blocking and de-ringing
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
TW201132125A (en) * 2010-03-15 2011-09-16 Mediatek Singapore Pte Ltd Deblocking filtering method and deblocking filter
TW201345264A (zh) * 2012-01-17 2013-11-01 Min Jang 一種施加邊緣補償的方法
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
US9641841B2 (en) * 2011-03-01 2017-05-02 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701356B2 (en) * 2015-10-13 2020-06-30 Lg Electronic Inc. Image decoding method and apparatus by deriving a frequency component based on filtering in image coding system
US10616577B2 (en) * 2017-10-16 2020-04-07 Intel Corporation Adaptive video deblocking
KR20200060589A (ko) * 2018-11-21 2020-06-01 삼성전자주식회사 병합된 프레임율 컨버터와 비디오 코덱을 갖는 시스템 온 칩 및 그것의 프레임율 변환 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056389A1 (en) * 2006-08-31 2008-03-06 Stmicroelectronics Asia Pacific Pte Ltd Multimode filter for de-blocking and de-ringing
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
TW201132125A (en) * 2010-03-15 2011-09-16 Mediatek Singapore Pte Ltd Deblocking filtering method and deblocking filter
US9641841B2 (en) * 2011-03-01 2017-05-02 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
TW201345264A (zh) * 2012-01-17 2013-11-01 Min Jang 一種施加邊緣補償的方法
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts

Also Published As

Publication number Publication date
US11245896B1 (en) 2022-02-08
CN114979671A (zh) 2022-08-30
TW202234893A (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN108184129B (zh) 一种视频编解码方法、装置及用于图像滤波的神经网络
WO2017045580A1 (en) Method and apparatus of advanced de-blocking filter in video coding
CN108495135B (zh) 一种屏幕内容视频编码的快速编码方法
WO2020253828A1 (zh) 一种编解码方法、装置及存储介质
RU2370816C1 (ru) Способ пространственной фильтрации, используемый при кодировании изображений
CN110036637B (zh) 去噪声化已重构图像的方法及装置
US20240267553A1 (en) Filtering method for removing blocking artifact and apparatus
US10225555B2 (en) Method and apparatus for multi-table based context adaptive binary arithmetic coding
JP2011250472A (ja) ブロック歪み除去方法およびブロック歪み除去装置
WO2019085942A1 (zh) Sao模式决策方法、装置、电子设备及可读存储介质
WO2017004889A1 (zh) 基于jnd因子的超像素高斯滤波预处理方法
WO2014023207A1 (en) Method and apparatus for sample adaptive offset in a video decoder
JP2017208801A (ja) 少なくとも１つの画像ユニットを符号化する方法及びデバイス、並びに少なくとも１つの画像ユニットを表すストリームを復号する方法及びデバイス
Ding et al. A CNN-based in-loop filtering approach for AV1 video codec
Guo et al. Enhanced motion compensation for deep video compression
TWI750057B (zh) 去區塊濾波等級決策方法
Wang et al. An integrated CNN-based post processing filter for intra frame in versatile video coding
CN111372079B (zh) 一种vvc帧间cu深度快速划分方法
CN1723712A (zh) 对编码数字视频信号的联合进行分辨率或锐度增强和伪像减少
Zummach et al. An uhd 4k@ 60fps deblocking filter hardware targeting the av1 decoder
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
Wang et al. Neural network based in-loop filter with constrained memory
Zhang et al. Nonlocal adaptive in-loop filter via content-dependent soft-thresholding for HEVC
WO2020171760A1 (en) Deblocking on 4x4 grid using long filters
Zhang et al. Textural and Directional Information Based Offset In-Loop Filtering in AVS3