TWI729477B - 視訊編解碼中的子塊去塊及裝置 - Google Patents

視訊編解碼中的子塊去塊及裝置 Download PDF

Info

Publication number
TWI729477B
TWI729477B TW108131384A TW108131384A TWI729477B TW I729477 B TWI729477 B TW I729477B TW 108131384 A TW108131384 A TW 108131384A TW 108131384 A TW108131384 A TW 108131384A TW I729477 B TWI729477 B TW I729477B
Authority
TW
Taiwan
Prior art keywords
boundary
block
current
current block
deblocking
Prior art date
Application number
TW108131384A
Other languages
English (en)
Other versions
TW202021357A (zh
Inventor
蔡佳銘
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202021357A publication Critical patent/TW202021357A/zh
Application granted granted Critical
Publication of TWI729477B publication Critical patent/TWI729477B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了用於約束去塊濾波器的方法和裝置。 根據一種方法，如果CU被劃分為多個子CU，則去塊處理也被應用於當前的濾波重構塊內部的子塊邊界。 根據另一種方法，如果用於第一邊界的去塊處理的第一參考採樣將被第二邊界的去塊處理修改，則將第一參考採樣用不被第二邊界的去塊處理修改的填充採樣代替。根據又一方法，將去塊處理應用於與當前塊相對應的重構塊，以產生當前的濾波重構塊，而不管當前塊的邊界是否對應於8×8採樣網格邊界。

Description

視訊編解碼中的子塊去塊及裝置
本發明涉及視訊和圖像資料的編解碼。特別地，本發明涉及通過在利用子塊處理的視訊/圖像編解碼系統中使用去塊濾波來改善視訊品質的技術。
視訊資料需要大量的存儲空間來存儲或需要很寬的帶寬來傳輸。隨著高解析度和更高幀速率的增長，如果視訊資料以未壓縮形式存儲或傳輸，則存儲或傳輸帶寬的需求將非常嚴峻。因此，通常使用視訊編解碼技術以壓縮格式存儲或傳輸視訊資料。使用更新的視訊壓縮格式(例如H.264/AVC和新興的HEVC(高效視訊編解碼)標準)，編解碼效率得到了顯著提高。
在高效視訊編解碼(HEVC)系統中，H.264/AVC的固定大小宏塊被稱為編解碼單元(CU)的靈活塊取代。CU中的像素共享相同的編解碼參數以提高編解碼效率。CU可以以最大CU(LCU)開頭，在HEVC中也稱為編解碼樹單元(CTU)。除了編解碼單元的概念外，HEVC中還引入了預測單元(PU)的概念。一旦完成了CU分層樹的劃分，則根據預測類型和PU劃分，將每個葉CU進一步劃分為一個或多個預測單元(PU)。此外，用於變換編解碼的基本單位是正方形大小，稱為變換單位(TU)。
在HEVC中，在圖像重構之後應用去塊濾波器。對編解碼單元、 預測單元或變換單元之間的邊界進行濾波以減輕由基於塊的編解碼引起的塊偽影。邊界可以是垂直或水平邊界。第1A圖和第1B圖分別示出了針對垂直邊界(110)和水平邊界(120)的去塊濾波器所涉及的邊界像素。對於垂直邊界(即，第1A圖中的線110)，將水平濾波器應用於每條水平線中的一些邊界採樣。例如，可以將水平去塊濾波器應用於垂直邊界的左側的p00、p01和p02以及垂直邊界的右側的q00、q01和q02。類似地，對於水平邊界(即，第1B圖中的線120)，將水平濾波器應用於每條垂直線中的一些邊界採樣。例如，垂直去塊濾波器可以應用於水平邊界的左側的p00、p01和p02以及水平邊界的右側的q00、q01和q02。換句話說，在垂直於邊界的方向上應用去塊濾波器。如第1A圖和第1B圖所示，當進行垂直去塊濾波(即，對水平邊界進行濾波)時，水平邊界的上方塊高度(above block height)(來自TU或PU)稱為p側的邊長(side length)，而水平邊界的下方塊高度(below block height)(從TU或PU起)稱為q側的邊長。類似地，當執行水平去塊濾波(即，濾波垂直邊界)時，垂直邊界的左塊寬度(來自TU或PU)稱為p側的邊長，垂直邊界的右塊寬度(來自TU或PU)稱為q側的邊長。
為每個四採樣長度的邊界計算邊界強度(Bs)值，並且邊界強度可以採用表1中定義的3個可能值。在去塊處理中分別處理亮度和色度分量。對於亮度分量，只能濾波Bs值等於1或2的塊邊界。對於色度分量，只能濾波Bs值等於2的邊界。
對於亮度分量，針對每個四採樣長度的邊界檢查附加條件，以確定是否應當應用去塊濾波，並且如果應用去塊，則進一步確定是應當應用正常濾波器還是強濾波器。
對於正常濾波模式下的亮度分量，可以修改邊界每一側的兩個採樣。在強濾波模式下，可以修改邊界每一側的三個採樣。
對於色度分量，當邊界強度大於1時，只能修改邊界每一側的一個採樣。
Figure 108131384-A0305-02-0005-1
最近，聯合視訊探索小組(JVET)引入了一些更靈活的塊結構。例如，JVET-C0024(H.Huang等人，.,“EE2.1：Quadtree plus binary tree structure integration with JEM tools”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11聯合視訊探索小組(JVET)，第三次會議：2016年5月26日至6月1日，瑞士日內瓦，文件：JVET-C0024)中提出了四叉樹加二叉樹(QTBT)結構。D0064(F.Le Leannec等人，“Asymmetric Coding Units in QTBT”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11聯合視訊探索小組(JVET)，第四次會議：中國，成都，2016年10月15日至21日，文件：JVET-D0064)公開了不對稱樹(Asymmetric Tree，簡寫為AT)塊分區。而且，D0117(X.Li等人，“Multi-Type-Tree”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11聯合視訊探索小組(JVET)，第四次會議：中國，成都，2016年10月15日至21日，文件：JVET-D0117)已經公開了多類型樹(Multi-Type-Tree，簡寫為MTT)結構。在QTBT中，可將遞歸二叉樹CU分區應用於四叉樹的葉節點。在MTT中，可以為CU分區選擇其他三叉樹(TT)。第2圖示出了不同塊分區類型的示例。在第2圖中，示出了四叉樹分區210、垂直二叉樹分區220、水平二叉樹分區230、垂直中心側三叉樹分區240、水平中心側三叉樹分區250、垂直左非對稱(vertical-left asymmetric)樹分區260、垂直右非對稱(vertical-right asymmetric)樹分區270、水平-頂部非對稱樹分區280和水平-底部非對稱樹分區290。
高級時間運動向量預測(ATMVP)
在具有QTBT的聯合勘探模型(Joint Exploration Model，簡寫為JEM)軟體中，每個CU對於每個預測方向最多可具有一組運動。先進的時空運動向量預測(ATMVP)模式首先是在VCEG-AZ10(W.-J.Chien等人，“Extension of Advanced Temporal Motion Vector Predictor”，ITU-T SG16/Q6文檔：VCEG-AZ10，2015年6月)中提出的。在ATMVP中，將大CU拆分為子CU，並為大CU的所有子CU導出運動資訊。ATMVP模式使用空間相鄰(neighbor)獲取初始向量，並且初始向量用於確定並置圖片上並置塊的坐標。然後，在並置圖片中的並置塊的子CU(通常為4x4或8x8)運動資訊被檢索並填充到當前合併候選的子CU(通常為4x4或8x8)運動緩衝器中。在一些實施例中，可以修改ATMVP模式的初始向量。提出了ATMVP的一些變型實施例。例如，在JVET-K0346(X.Xiu等人，"CE4-related：One simplified design of advanced temporal motion vector prediction(ATMVP)"，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11聯合視訊探索小組(JVET)，第11次會議：盧布爾雅那，SI，2018年7月10日至18日，文件：JVET-K0346)中公開了一種簡化的ATMVP模 式。
第3圖示出了ATMVP的示例，其中CU被劃分為子PU。與傳統的時間候選不同，子PU TMVP模式將當前PU劃分為多個子PU，並為每個子PU找到所有對應的時間並置運動向量。大小為MxN的當前PU具有(M/P)x(N/Q)個子PU，每個子PU的大小為PxQ，其中M可被P整除，N可被Q整除。第3圖的示例對應於當前PU 310被分為16個子PU(即，M/P=4和N/Q=4)的情況。指示了子PU 0(311)和子PU 1(312)。子PU TMVP的詳細算法描述如下。
在步驟1中，對於以子PU TMVP模式編解碼的當前PU 310，確定用於在時間並置圖片320中並置PU的子PU(321和322)的“初始運動向量”，表示為vec_init(323和324)。例如，vec_init可以是當前PU 310的第一可用空間相鄰塊的MV。在第3圖中，vec_init_0 323指向子塊325，而vec_init_1 323指向子塊326。可替代地，其他相鄰塊的MV也可以用作初始運動向量。按照慣例，vec_init是空間相鄰塊中的第一個可用候選。例如，如果第一個可用空間相鄰塊具有L0和L1 MV，並且LX是用於搜索並置資訊的第一個列表，則vec_init在LX=L0時使用L0 MV，在LX=L1時使用L1。LX的值(L0或L1)取決於哪個列表(L0或L1)更適合併置資訊。如果L0更適合併置資訊(例如，POC(圖片順序計數)距離比L1更近)，則LX等於L0，反之亦然。LX分配可以在切片級別、圖塊(brick)級別、圖塊組(tile group)級別或圖片級別執行。
然後，開始“並置圖片搜索處理”。“並置圖片搜索過程”是在子PU TMVP模式下為所有子PU查找主並置(main collocated)圖片。主並置圖片表示為main_colpic。按照慣例，它首先搜索由第一可用空間相鄰塊選擇的參考圖片。然後，在B切片中，它將搜索當前圖片的所有參考圖片，從L0(或L1)開始，參考索引0，然後為索引1，然後為索引2，依此類推(索引順序遞增)。如果完成搜索L0(或L1)，則搜索另一個列表。在P切片中，其首先搜索由第 一可用空間相鄰塊選擇的參考圖片。然後，它從參考索引0開始，然後是索引1，然後是索引2，依此類推(遞增索引順序)搜索列表中當前圖片的所有參考圖片。
在搜索期間，對於每個搜索到的圖片，執行名為“可用性檢查”的處理。“可用性檢查”處理檢查由vec_init_scaled指向的當前PU中心位置周圍的並置子PU，其中vec_init_scaled是將vec_init進行適當MV縮放的MV。可以使用各種方式來確定“圍繞中心位置(around centre position)”。“圍繞中心位置”可以對應於中心像素。例如，如果PU大小為M * N，則中心等於位置(M/2，N/2)。“圍繞中心位置”也可能對應於中心子PU的中心像素。取決於當前的PU形狀，“圍繞中心位置”可以是以上兩種方法的混合。在“可用性檢查”中，如果檢查結果為幀間(Inter)模式，則可用性為真；否則(即檢查結果為幀內模式(intra mode))，則可用性為假。在“可用性檢查”之後，如果可用性為真，則將當前搜索到的圖片標記為主並置圖片，並且搜索過程完成。如果可用性為真，則使用“圍繞中心位置”的MV並將其按比例縮放用於當前塊以得出“默認MV”。如果可用性為假，則它將搜索下一個參考圖片。
在“並置圖片搜索過程”中，當vec_init的參考圖片不等於原始參考圖片時，需要MV縮放。MV縮放使用了運動向量的縮放版本。該MV縮放大小是基於vec_init的當前圖片和參考圖片以及搜索到的參考圖片間的時間距離而得。MV縮放後，縮放後的MV表示為vec_init_scaled。
在步驟2中，對於每個子PU，它進一步在main_colpic中找到並置的位置。假設當前子PU是子PU i，並置位置的計算如下：並置位置x=Sub-PU_i_x+vec_init_scaled_i_x(整數部分)+shift_x,並置位置y=Sub-PU_i_y+vec_init_scaled_i_y(整數部分)+shift_y.
在以上等式中，Sub-PU_i_x表示當前圖片內的子PU i的水平左上 位置(整數位置)；Sub-PU_i_y表示當前圖片內子PU i的垂直左上位置(整數位置)；vec_init_scaled_i_x表示vec_init_scaled_i的水平部分，它具有整數部分和小數部分，並且在計算中僅使用整數部分；vec_init_scaled_i_y表示vec_init_scaled_i的垂直部分，它具有整數部分和小數部分，並且在計算中僅使用整數部分。shift_x表示在x方向上的偏移值，它可以是子PU寬度的一半。shift_y表示在y方向上的偏移值，可以是子PU高度的一半。也可以使用shift_x和shift_y的其他值。
最後，在步驟3中，它找到每個子PU的時間預測子的運動資訊，表示為每個子PU的SubPU_MI_i。SubPU_MI_i是來自位於並置位置x和並置位置y的collocated_picture_i_L0和collocated_picture_i_L1的運動資訊(motion information，簡寫為MI)。在此，MI被定義為{MV_x，MV_y，參考列表，參考索引}的集合。MI還可以包括其他對合併模式敏感(Merge-mode-sensitive)的資訊，例如局部照明補償標誌。此外，在一個示例中，可以根據並置圖片、當前圖片和並置MV的參考圖片之間的時間距離關係來縮放MV_x和MV_y。如果某些子PU的MI不可用，則將使用圍繞中心位置的子PU的MI。換句話說，使用默認的MV。在第3圖中，子塊325和326的運動向量分別被標記為327和328。
常規地，在候選列表中僅存在一個子PU TMVP候選。
仿射(affine)模式運動預測
沿著時間軸在圖片間發生的運動可以用許多不同的模型來描述。
假設A(x，y)是考慮中的位置(x，y)的原始像素，A'(x'，y')是當前像素A(x，y)的參考圖片中位置(x'，y')的相應像素，仿射運動模型描述如下。
仿射模型能夠描述二維塊旋轉以及二維形變(two-dimensional deformation)以將正方形(或矩形)變換成平行四邊形。此模型可以描述如下：x’=a 0 +a 1 *x+a 2 *y,and y’=b 0 +b 1 *x+b 2 *y. (1)
在向ITU-VCEG提交的ITU-T13-SG16-C1016文稿(contribution)中(Lin等人，“Affine transform prediction for next generation video coding”，ITU-U，第16研究組，問題Q6/16，文稿C1016，2015年9月，瑞士日內瓦)公開了一種四參數仿射預測，其中包括仿射合併模式。當仿射運動塊移動時，可以通過兩個控制點運動向量或以下四個參數來描述該塊的運動向量場，其中(vx，vy)表示運動向量
Figure 108131384-A0305-02-0010-2
在第4A圖中示出了四參數仿射模型的示例。變換後的塊是矩形塊。此運動塊中每個點的運動向量場可以用以下公式描述：
Figure 108131384-A0305-02-0010-3
在以上等式中，(v0x，v0y)是塊410左上角的控制點運動向量(即v0)，(v1x，v1y)是在該塊的右上角的另一個控制點運動向量(即v1)。當對兩個控制點的MV進行解碼時，可以根據上式確定該塊的每個4×4塊的MV。換句話說，可以通過兩個控制點處的兩個運動向量來指定該塊的仿射運動模型。此外，雖然將塊的左上角和右上角用作兩個控制點，但是也可以使用其他兩個控制點。第4B圖示出了根據等式(3)可以基於兩個控制點的MV為每個4×4子塊確定當前塊的運動向量的示例。在MCP之後，對每個子塊的高精度運動向量進 行舍入並保存為與普通運動向量相同的精度。
傳統的去塊濾波方法總是應用於8x8亮度塊。在新的塊劃分結構中，CU或PU可被劃分為小於8×8的塊大小。此外，對於諸如SbTMVP或仿射模式的子塊編解碼工具，CU或PU內的子CU或子Pu可小於8×8。根據常規的去塊方法，對於小尺寸CU/PU或子CU/子PU的去塊的計算負荷大大增加。此外，在一個邊界處的濾波採樣可能稍後被另一邊界處的去塊處理修改。期望開發新的去塊方法來克服這些問題。
確定用於對重構的圖片進行去塊以用於視訊編解碼或視訊解碼的方法和設備。根據該方法，在視訊編解碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。確定當前塊的塊邊界和當前塊內部的子塊邊界，其中使用子塊模式預測將當前塊劃分為多個子塊。將去塊處理應用於與當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，其中，應用去塊處理的步驟包括：將去塊處理應用於當前的濾波重構塊內部的子塊邊界。生成包括當前的濾波重構塊的濾波後的解碼圖片。
在一個實施例中，子塊模式預測是包括高級時間運動向量預測(ATMVP)模式，仿射模式或平面運動向量預測(MVP)模式的組中的一種模式。
在一個實施例中，目標子塊具有與當前塊的塊邊界對齊的第一邊界和當前塊內部的第二邊界；將目標子塊的目標寬度或高度指定為K，最多允許在第一邊界上的M個採樣通過去塊處理進行濾波，最多允許在第二邊界上的N個採樣通過去塊處理進行濾波；(M+N)被約束為小於或等於K。上述K、M和N 是正整數。第一邊界和第二邊界對應於目標子塊的兩個垂直邊界或兩個水平邊界。在一個示例中，K等於8，M小於或等於3，並且N小於或等於3。在另一個示例中，K等於8，M小於或等於5，並且N小於或等於2。
在另一個實施例中，目標子塊具有與當前塊的塊邊界對齊的第一邊界和當前塊內部的第二邊界；目標子塊的塊大小對應於KxK；並且要通過去塊處理濾波的第一邊界上的採樣數量被限制為K/2或更小。將去塊處理應用於與目標子塊相對應的重構目標子塊，以產生目標濾波重構的子塊，其中如果用於第一邊界的去塊處理的一個或多個第一參考採樣將被第二邊界的去塊處理修改，所述一個或多個第一參考採樣被一個或多個填充採樣所代替，該填充採樣不會被第二邊界的去塊處理所修改。
在另一種方法中，確定與當前塊相關聯的第一邊界和第二邊界，並且第一邊界和第二邊界對應於當前塊的兩個垂直邊界或兩個水平邊界。將去塊處理應用於與當前塊相對應的重構的當前塊，以產生濾波重構的當前塊。如果用於第一邊界的去塊處理的一個或多個第一參考採樣將被第二邊界的去塊處理修改，所述一個或多個第一參考採樣被一個或多個填充採樣所代替，該填充採樣不會被第二邊界的去塊處理所修改。生成包括濾波重構的當前塊的濾波後的解碼圖片。當前塊可以對應於編解碼單元(CU)，或者當前塊可以對應於使用子塊模式預測從編解碼單元劃分的多個子CU之一。子塊模式預測可以是包括高級時間運動向量預測(ATMVP)模式、仿射模式或平面運動向量預測(MVP)模式的組中的一個模式。
在一個實施例中，對於垂直於第一邊界和第二邊界的每條像素線，將被第二邊界的去塊處理修改的一個或多個第一參考採樣被用於第二邊界的去塊處理的目標第二參考像素代替，其中目標第二參考像素在垂直於第一邊界的所述每條像素線中最靠近所述一個或多個第一參考採樣。
在又一方法中，將去塊處理應用於與當前塊相對應的重構的當前塊以產生當前的濾波重構塊，而不管當前塊的邊界是否對應於8×8採樣網格邊界。生成包括當前的濾波重構塊的濾波後的解碼圖片。
在一個實施例中，當當前塊的塊大小等於4x4時，當前塊邊界的每一側上的至多兩個採樣被用於去塊處理。
110、510:垂直邊界
120、520:水平邊界
210:四叉樹分區
220:垂直二叉樹分區
230:水平二叉樹分區
240:垂直中心側三叉樹分區
250:水平中心側三叉樹分區
260:垂直左非對稱樹分區
270:垂直右非對稱樹分區
280:水平-頂部非對稱樹分區
290:水平-底部非對稱樹分區
310:PU
311、312、321、322:子PU
320:圖片
323、324、327、328:運動向量
325、326:子塊
410:塊
910~940、1010~1040、1110~1130:步驟
第1A圖示出了垂直邊界以及用於去塊濾波的在垂直邊界的兩側的兩個塊(P和Q)的相關採樣的示例。
第1B圖示出了水平邊界以及用於去塊濾波的在水平邊界的兩側的兩個塊(P和Q)的相關採樣的示例。
第2圖示出了各種塊分區的示例，包括(從左至右的第一行)四叉樹分區、垂直二叉樹分區、水平二叉樹分區、垂直中心側三叉樹分區、水平中心側三叉樹分區，以及(從左到右的第二行)垂直-左側非對稱樹分區、垂直-右側非對稱樹分區、水平-頂部非對稱樹分區和水平-底部非對稱樹分區。
第3圖示出了ATMVP的示例，其中，CU被劃分為子PU。
第4A圖示出了四參數仿射模型的示例，其中，變換後的塊是矩形塊。
第4B圖示出了當前塊的運動向量的示例，其中，基於兩個控制點的MV，得出每個4x4子塊的運動向量。
第5A圖示出了在N=4的情況下在水平方向上進行去塊所涉及的採樣的示例，其中示出了垂直邊界。
第5B圖示出了在N=4的情況下在垂直方向上進行去塊所涉及的採樣的示例，其中示出了水平邊界。
第6A圖示出了對當前塊的兩個垂直邊界(邊界1和邊界2)進行採樣的示例。
第6B圖示出了對當前塊的兩個水平邊界(邊界1和邊界2)進行採樣的示例。
第7A圖至第7F圖示出了在執行由虛線矩形指示的邊界2的去塊決策或操作中使用的採樣的各種示例，以及通過由粗體實心矩形指示的邊界1處的濾波操作修改的採樣的各種示例。
第8圖示出了根據本發明的一個實施例的去塊約束的示例，其中僅側邊最大M個採樣在在子CU模式下被濾波，僅內部子CU邊界兩側的最大N個採樣在子CU模式塊內被濾波，並且K是從塊邊界到第一子CU邊界的大小。
第9圖示出了根據本發明的實施例的使用約束去塊濾波器的示例性視訊編解碼的流程圖。
第10圖示出了根據本發明的實施例的使用約束去塊濾波器來減少或去除塊的兩個邊界上的去塊處理之間的交互的另一示例性視訊編解碼的流程圖。
第11圖示出了根據本發明的實施例的通過將去塊處理應用於塊邊界來使用去塊濾波器，而不管其是否對應於8x8採樣網格邊界的又一示例性視訊編解碼的流程圖。
以下描述是實施本發明的最佳構想模式。進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍最好通過參考所附的申請專利範圍來確定。
方法1
可以將去塊應用於所有CU邊界，而不管邊界是否對應於用於去塊的基本採樣網格邊界(例如8x8採樣網格邊界)。在一種變型中，當幀內或 幀間編解碼模式(例如，ATMVP或仿射模式)將CU拆分為多個子CU時，可以將去塊應用於所有子CU邊界，而不論該邊界是否對應於8x8採樣網格邊界。在另一變體中，當幀內或幀間編解碼模式(例如，ATMVP、仿射或平面MVP模式)將CU分成多個子CU時，可以將去塊應用於與子CU邊界對齊的內部CU邊界(或稱為與子CU邊界相同的位置)。令N為亮度編解碼塊的最小尺寸(寬度或高度)，將去塊應用於與NxN個亮度採樣網格邊界相對應的邊界。例如，對於QTBT結構，N等於4。
在一個實施例中，去塊每個垂直邊界所涉及的邊界採樣的數量為N，在邊界的每一側具有N/2個採樣。N=4的所涉及採樣的示例在第5A圖中示出，其中示出了垂直邊界510。去塊每個水平邊界所涉及的邊界採樣數為N，邊界的每一側有N/2個採樣。在第5B圖中示出了N=4的所涉及採樣的示例，其中示出了水平邊界520。
在另一個實施例中，通過正常濾波模式濾波的採樣是在邊界的每一側的最緊臨的(closest)N/4採樣，而通過強濾波模式濾波的採樣是在邊界的每一側的最緊臨的N/2採樣。。如果N等於4，則如第5A圖和第5B圖所示，通過正常濾波模式的濾波採樣為pi0和qi0，如第5A圖和第5B圖所示，通過強濾波模式的濾波採樣為pi0、pi1、qi0和qi1，其中i=0，...，3。
在又一個實施例中，通過正常濾波模式濾波的採樣是最緊臨的N/2個採樣，並且強濾波模式被禁用。如果N等於4，則如第5A圖和第5B圖所示，通過正常濾波模式濾波的採樣是pi0、pi1、qi0和qi1。換句話說，只有一種濾波模式，而不是兩種。
在又一個實施例中，通過正常濾波模式濾波的採樣是最緊臨的N /4個採樣，並且強濾波模式被禁用。如果N等於4，則如第5A圖和第5B圖所示，通過正常濾波模式濾波的採樣為pi0和qi0。換句話說，只有一種濾波模式，而不是兩種。
在又一個實施例中，強濾波模式被有條件地禁用。如果當前CU的寬度等於N，則對於垂直邊界禁用強濾波模式。如果當前CU的高度等於N，則針對水平邊界禁用強濾波模式。
在又一個實施例中，強濾波模式被有條件地禁用。如果當前子CU的寬度等於N，則對於垂直邊界禁用強濾波模式。如果當前子CU的高度等於N，則針對水平邊界禁用強濾波模式。
正常濾波器和強濾波器指示濾波器的平滑度。在N等於4的一個示例中，正常濾波的脈衝響應為(379-3)/16，強濾波的脈衝響應為(1221)/4。
在又一實施例中，當CU或子CU的寬度或高度為N(例如，N=4)並且小於去塊網格(即，8x8)時，正常濾波器和強濾波器被有條件地應用於一個邊界，並跳過另一個邊界。在一個示例中，將濾波器應用於第6A圖和第6B圖中的第一邊界(即邊界1)。在另一個示例中，將濾波器應用於第6A圖和第6B圖中的第二邊界(即邊界2)。正常濾波器和強濾波器的所有操作都可以保持相同。
方法2
當幀內或幀間編解碼模式將CU分割成多個子CU(例如，ATMVP或仿射模式)時，可以將去塊化應用於所有子CU邊界，而不管邊界是否對應於 8x8採樣網格邊界。
令去塊的最小大小為M。邊界上的去塊處理取決於當前CU大小。如果CU大小(寬度或高度)大於或等於M，則應用與HEVC中相同的去塊處理。
在一個實施例中，如果當前CU的寬度等於M，則去塊每個垂直邊界所涉及的邊界採樣的數量是M，在邊界的每一側具有M/2個採樣。第6A圖中示出了M=4的示例，第5A圖中示出了M=4的所涉及採樣的示例。如果當前CU的高度等於M，則去塊每個水平邊界所涉及的邊界採樣的數量為M，在邊界的每一側具有M/2個採樣。在第6B圖中示出了M=4的示例，並且在第5B圖中示出了M=4的所涉及採樣的示例。
在另一個實施例中，如果當前CU的寬度/高度等於M，則在垂直/水平邊界處通過正常濾波模式濾波的採樣是在邊界的每一側的最緊臨的M/4採樣，並且在垂直/水平邊界處通過強濾波模式濾波的採樣是邊界每一側最緊臨的M/2採樣。如果M等於4，則如第5A圖和第5B圖所示，通過正常濾波模式濾波的採樣為pi0和qi0。如第5A圖和第5B圖所示，通過強濾波模式濾波的採樣為pi0、pi1、qi0和qi1。
在又一個實施例中，如果當前CU的寬度/高度等於M，則在垂直/水平邊界處通過正常濾波模式濾波的採樣是最緊臨的M/2採樣，並且強濾波模式被禁用。如果M等於4，則如第5A圖和第5B圖所示，在垂直/水平邊界處通過正常濾波模式濾波的採樣為pi0、pi1、qi0和qi1。
在又一個實施例中，如果當前CU的寬度等於M，則在垂直邊界處禁用去塊濾波器；如果當前CU的高度等於M，則在水平邊界處禁用去塊濾波 器。
在又一實施例中，當CU的寬度或高度為N且小於去塊網格(即，M×M)時，正常濾波器和強濾波器被有條件地應用於一個邊界，而對於另一邊界被跳過。在一個示例中，將濾波器應用於第6A圖和第6B圖中的第一邊界(即邊界1)。在另一示例中，將濾波器應用於第6A圖和第6B圖中的第二邊界(即邊界2)。正常濾波器和強濾波器的所有操作都可以保持相同。
方法3
所有上述方法只能將兩側最多兩個採樣用於濾波決策和濾波操作。這意味著在濾波決策和濾波操作中僅使用pi0、pi1、qi0和qi1。在一個實施例中，以下等式是用於確定是否應用HEVC去塊濾波器的條件：|p 02-2p 01+p 00|+|p 32-2p 31+p 30|+|q 02-2q 01+q 0,0|+|q 32-2q 31+q 30|<β.
如果兩側的長度(或稱為邊的長度)均為4，則根據本發明的一個實施例，將濾波決策修改為以下方程式：|p 01-2p 01+p 00|+|p 31-2p 31+p 30|+|q 01-2q 01+q 00|+|q 31-2q 31+q 30|<β.
如果僅p側的長度為4，則將濾波決策修改為：|p 01-2p 01+p 00|+|p 31-2p 31+p 30|+|q 02-2q 01+q 00|+|q 32-2q 31+q 30|<β.
如果僅q側的長度為4，則將濾波決策修改為： |p 02-2p 01+p 00|+|p 32-2p 31+p 30|+|q 01-2q 01+q 00|+|q 31-2q 31+q 30|<β.
在另一個實施例中，以下等式是用於確定HEVC中的弱/正常和強去塊之間的條件：|p i2-2p i1+p i0|+|q i2-2q i1+q i0|<β/8,|p i3-p i0|+|q i3-q i0|<β/8，以及|p i0-q i0|<2.5t c .
此外，如果兩側的長度均為4，則將決策標準修改為：|p i1-2p i1+p i0|+|q i1-2q i1+q i0|<β/8,|p i1-p i0|+|q i1-q i0|<β/8，以及|p i0-q i0|<2.5t c .
如果僅p側的長度為4，則將決策標準修改為：|p i1-2p i1+p i0|+|q i2-2q i1+q i0|<β/8,|p i1-p i0|+|q i3-q i0|<β/8，以及|p i0-q i0|<2.5t c .
如果僅q側的長度為4，則將濾波決策的條件修改為：|p i2-2p i1+p i0|+|q i1-2q i1+q i0|<β/8,|p i3-p i0|+|q i1-q i0|<β/8，以及|p i0-q i0|<2.5t c .
在又一個實施例中，以下等式是HEVC中正常濾波模式下的去塊 決策：|p 02-2p 01+p 00|+|p 32-2p 31+p 30|<3/16β，以及|q 02-2q 01+q 00|+|q 32-2q 31+q 30|<3/16β.
此外，如果兩側的長度均為4，則將決策標準修改為：|p 01-2p 01+p 00|+|p 31-2p 31+p 30|<3/16β，以及|q 01-2q 01+q 00|+|q 31-2q 31+q 30|<3/16β.
如果僅P側的長度為4，則將決策標準修改為：|p 01-2p 01+p 00|+|p 31-2p 31+p 30|<3/16β，以及|q 02-2q 01+q 00|+|q 32-2q 31+q 30|<3/16β.
如果僅q側的長度為4，則將濾波決策修改為：|p 02-2p 01+p 00|+|p 32-2p 31+p 30|<3/16β,|q 01-2q 01+q 00|+|q 31-2q 31+q 30|<3/16β，以及|p i0-q i0|<2.5t c .
在又一個實施例中，以下等式是用於為HEVC中的pi1和qi1導出對應的δ p1和δ q1的正常濾波操作：δ p1=(((p 2+p 0+1)>>1)-p 1+Δ0)>>1，以及δ q1=(((q 2+q 0+1)>>1)-q 1_Δ0)>>1.
此外，如果兩側的長度均為4，則將正常濾波操作修改為：δ p1=(((p 1+p 0+1)>>1)-p 1+Δ0)>>1，以及 δ q1=(((q 1+q 0+1)>>1)-q 1-Δ0)>>1.
如果僅p側的長度為4，則將正常濾波操作修改為：δ p1=(((p 1+p 0+1)>>1)-p 1+Δ0)>>1，以及δ q1=(((q 2+q 0+1)>>1)-q 2-Δ0)>>1.
如果僅q側的長度為4，則將正常濾波操作修改為：δ p1=(((p 2+p 0+1)>>1)-p 2+Δ0)>>1，以及δ q1=(((q 1+q 0+1)>>1)-q 1-Δ0)>>1.
在又一個實施例中，如果任一側的長度為4，則僅改變p側的一個採樣和q側的一個採樣。
在另一實施例中，假設用於在塊邊界處進行去塊決策或濾波操作的參考採樣可以通過另一塊邊界處的濾波操作來修改。參考採樣被同一去塊線上的採樣替換，該去塊線上的該採樣具有最緊臨可以通過其他塊邊界處的濾波操作修改的採樣的位置。例如，在第7A圖-第7F圖中，虛線矩形內的採樣用於進行邊界2的去塊決策或操作，而粗體實心矩形中的採樣可以被邊界1處的濾波操作修改(即，不在粗體實心矩形中的採樣不能被邊界1處的濾波操作修改)。對於第7A圖和第7B圖的情況，在導出邊界2的去塊判定或濾波操作時，分別用p01、p11、p21和p31替代p02、p12、p22和p32。對於第7C圖和第7D圖的情況，在導出邊界2的去塊判定或濾波操作時，p02和p03被p01替代；p12和p13被p011替代；p22和p23被p21替代；p32和p33被p031替代。對於第7E圖和第7F圖中的情況，在做出邊界2的去塊判定或濾波操作時，p03、p13、p23和p33分別被p02、p12、p22和p32替代。
方法4
當幀內或幀間編解碼模式將CU分成多個子CU且每個子CU的形狀都不都是矩形(例如，三角形或梯形)時，可以將去塊應用到所有子CU邊界，而不管邊界是否為斜邊。設去塊的最小大小為M。對於跨越去塊邊界的每一行，如果p側或q側的大小大於或等於M，則將與HEVC中相同的去塊操作應用於p側或q側。否則，如前述的方法3，參考採樣被位於同一行中的採樣替換，其中該同一行中的該採樣位於與可以通過另一塊邊界處的濾波操作來修改的採樣最緊臨的位置。
方法5
當幀內或幀間編解碼模式將CU分割成多個子CU時(例如，ATMVP、仿射或平面MVP模式)，可以將去塊應用於內部CU邊界，其對應於子CU邊界(例如，與子CU邊界對齊或稱為與子CU邊界位於同一位置)。如果當前邊界的至少一側是在子CU模式下編解碼的，則在使用子CU模式編解碼的該側的僅最大M個採樣被濾波。此外，在子CU模式編解碼的塊內，僅子CU邊界兩側的最大N個採樣被濾波。然後，(M+N)必須小於或等於K(即(M+N)
Figure 108131384-A0305-02-0022-4
K)，如第8圖所示。
在一實施例中，K等於8，M小於或等於3。N小於或等於3。
在另一個實施例中，K等於8，M小於或等於5。N小於或等於2。
方法6
當幀內或幀間編解碼模式(例如ATMVP、仿射或平面MVP模式)將CU拆分為多個子CU時，可以對與子CU邊界相對應的內部CU邊界應用去塊(例如，與子CU邊界對齊或稱為與子CU邊界相同的位置)。如果當前邊界的至少一側在子CU模式下被編解碼並且子CU尺寸是K×K，則在子CU模式下被編解碼的側僅最多K/2個採樣被濾波。
在另一個實施例中，K等於8，在子CU模式下編解碼的側僅最大4個採樣被濾波。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，可以在解碼器的幀間/幀內/預測/變換模塊和/或解碼器的逆變換/幀間/幀內/預測模塊中實現任何所提出的方法。可替代地，任何提出的方法可以被實現為耦合到解碼器的逆變換/幀間/幀內/預測模塊和/或解碼器的幀間/幀內/預測/轉換模塊的電路，以提供幀間/幀內/預測/轉換模塊所需的資訊。
第9圖示出了根據本發明的實施例的使用約束去塊濾波器的示例性的視訊編解碼流程圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟910中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟920中，確定當前塊的塊邊界和當前塊內部的子塊邊界，其中，使用子塊模式預測將當前塊劃分為多個子塊。在步驟930中，將去塊處理應用於與當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，其中，所述將去塊處理應用於當前塊(其中當前塊可包括當前正被處理的塊，例如當前塊、與當前塊相對應的重構的當前塊、當前的濾波重構塊)包括將去塊處理應用於當前的濾波重構塊內部的子塊邊界。在步驟940中生成包括當前的濾波重構塊的濾波解碼圖片。
第10圖示出了根據本發明的實施例的使用約束去塊濾波器來減少或去除塊的兩個邊界上的去塊處理之間的交互的另一示例性的視訊編解碼流程圖。根據該方法，在步驟1010中，在視訊編碼器側接收與當前圖片中的當前 塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟1020中確定與當前塊相關聯的第一邊界和第二邊界，其中，第一邊界和第二邊界對應於當前塊的兩個垂直邊界或兩個水平邊界。在步驟1030中，對與當前塊相對應的重構的當前塊進行去塊處理，以得到濾波重構的當前塊，其中如果用於第一邊界的去塊處理的一個或多個第一參考採樣將被第二邊界的去塊處理修改，所述一個或多個第一參考採樣被一個或多個填充採樣所代替，該填充採樣不會被第二邊界的去塊處理所修改。在步驟1040中，生成包括當前的濾波重構塊的濾波後的解碼圖片。
第11圖示出了根據本發明的實施例的通過將去塊處理應用於塊邊界來使用去塊濾波器，而不管塊邊界是否對應於8x8採樣網格邊界的又一示例性視訊編解碼的流程圖。根據該方法，在步驟1110中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟1120中，將去塊處理應用於與當前塊相對應的重構的當前塊以產生當前的濾波重構塊，而不管當前塊的邊界是否對應於8×8採樣網格邊界。在步驟1130中生成包括當前的濾波重構塊的濾波後的解碼圖片。
所示的流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟，重新佈置步驟，拆分步驟或組合步驟以實施本發明。在本公開中，已經使用特定的語法和語義來說明用於實現本發明的實施例的示例。所屬領域具有通常知識者可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於 所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是與與本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式代碼。本發明的實施例還可以是要在數位信號處理器(DSP)上執行以執行本文描述的處理的程式代碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。可以以不同的程式語言和不同的格式或樣式來開發軟體代碼或韌體代碼。也可以為不同的目標平台編譯軟體代碼。然而，不同的代碼格式、軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。
910~940:步驟

Claims (14)

  1. 一種去塊方法，用於視訊編碼或視訊解碼中的重構圖片，該去塊方法包括：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；確定該當前塊的塊邊界和該當前塊內部的多個子塊邊界，其中，使用子塊模式預測將該當前塊劃分為多個子塊；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，其中，所述應用該去塊處理於該當前塊包括將該去塊處理應用於該當前的濾波重構塊內的該多個子塊邊界；以及產生包括該當前的濾波重構塊的濾波解碼圖片。
  2. 如申請專利範圍第1項所述之去塊方法，其中，該子塊模式預測是包括高級時間運動向量預測模式、仿射模式或平面運動向量預測模式的組中的一個模式。
  3. 如申請專利範圍第1項所述之去塊方法，其中目標子塊具有對應於該當前塊的該塊邊界的第一邊界和該當前塊內部的第二邊界；該目標子塊的目標寬度或高度指定為K，最多允許在該第一邊界上的M個採樣通過該去塊處理進行濾波，最多允許在該第二邊界上的N個採樣通過該去塊處理進行濾波；(M+N)被約束為小於或等於K；以及其中K、M和N是正整數，該第一邊界和該第二邊界對應於該目標子塊的兩個垂直邊界或兩個水平邊界。
  4. 如申請專利範圍第3項所述之去塊方法，其中，K等於8，M小於或等於3，並且N小於或等於3。
  5. 如申請專利範圍第3項所述之去塊方法，其中，K等於8，M小於 或等於5，並且N小於或等於2。
  6. 如申請專利範圍第1項所述之去塊方法，其中目標子塊具有對應於該當前塊的該塊邊界的第一邊界和該當前塊內部的第二邊界；該目標子塊的塊大小對應於KxK；並且在該第一邊界上至多K/2個採樣通過該去塊處理進行濾波。
  7. 一種用於視訊編解碼的幀間預測的裝置，該裝置包括一個或多個電子電路或處理器，其被佈置為：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；確定該當前塊的塊邊界和該當前塊內部的多個子塊邊界，其中，使用子塊模式預測將該當前塊劃分為多個子塊；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，其中，所述應用該去塊處理於該當前塊包括將該去塊處理應用於該當前的濾波重構塊內的該多個子塊邊界；以及產生包括該當前的濾波重構塊的濾波解碼圖片。
  8. 一種去塊方法，用於視訊編碼或視訊解碼中的重構圖片，該去塊方法包括：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；確定與該當前塊關聯的第一邊界和第二邊界，其中，該第一邊界和該第二邊界對應於該當前塊的兩個垂直邊界或兩個水平邊界；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生濾波重構的 當前塊，其中，如果用於該第一邊界的該去塊處理的一個或多個第一參考採樣將被該第二邊界的該去塊處理修改，則用一個或多個填充採樣代替該一個或多個第一參考採樣，該一個或多個填充採樣不會被該第二邊界的該去塊處理所修改；以及生成包括該濾波重構的當前塊的濾波解碼圖片。
  9. 如申請專利範圍第8項所述之去塊方法，其中，該當前塊對應於編解碼單元，或者該當前塊對應於使用子塊模式預測從該編解碼單元劃分的多個子編解碼單元之一。
  10. 如申請專利範圍第9項所述之去塊方法，其中，該子塊模式預測是包括高級時間運動向量預測模式、仿射模式或平面運動向量預測模式的組中的一個模式。
  11. 如申請專利範圍第8項所述之去塊方法，其中對於垂直於該第一邊界和該第二邊界的每條像素線，將被該第二邊界的該去塊處理修改的該一個或多個第一參考採樣被用於該第二邊界的該去塊處理的目標第二參考像素代替，其中該目標第二參考像素在垂直於該第一邊界的該每條像素線中最靠近該一個或多個第一參考採樣。
  12. 一種用於視訊編解碼的幀間預測的裝置，該裝置包括一個或多個電子電路或處理器，其被佈置為：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；確定與該當前塊關聯的第一邊界和第二邊界，其中，該第一邊界和該第二邊界對應於該當前塊的兩個垂直邊界或兩個水平邊界；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生濾波重構的 當前塊，其中，如果用於該第一邊界的該去塊處理的一個或多個第一參考採樣將被該第二邊界的該去塊處理修改，則用一個或多個填充採樣代替該一個或多個第一參考採樣，該一個或多個填充採樣不會被該第二邊界的該去塊處理所修改；以及生成包括該濾波重構的當前塊的濾波解碼圖片。
  13. 一種去塊方法，用於視訊編碼或視訊解碼中的重構圖片，該去塊方法包括：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，而不管該當前塊的邊界是否對應於8×8採樣網格邊界；以及產生包括該當前的濾波重構塊的濾波解碼圖片；其中，當該當前塊的該邊界的某一側的邊長為4時，通過該去塊處理來修改該當前塊的該邊界的每兩側上的至多一個採樣。
  14. 一種用於視訊編解碼的幀間預測的裝置，該裝置包括一個或多個電子電路或處理器，其被佈置為：在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流；將去塊處理應用於與該當前塊相對應的重構的當前塊，以產生當前的濾波重構塊，而不管該當前塊的邊界是否對應於8×8採樣網格邊界；以及產生包括該當前的濾波重構塊的濾波解碼圖片；其中，當該當前塊的該邊界的某一側的邊長為4時，通過該去塊處理來修改 該當前塊的該邊界的每兩側上的至多一個採樣。
TW108131384A 2018-08-31 2019-08-30 視訊編解碼中的子塊去塊及裝置 TWI729477B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862725316P 2018-08-31 2018-08-31
US62/725,316 2018-08-31
US201862747173P 2018-10-18 2018-10-18
US62/747,173 2018-10-18
US201862778324P 2018-12-12 2018-12-12
US62/778,324 2018-12-12
WOPCT/CN2019/103708 2019-08-30
PCT/CN2019/103708 WO2020043193A1 (en) 2018-08-31 2019-08-30 Method and apparatus of subblock deblocking in video coding

Publications (2)

Publication Number Publication Date
TW202021357A TW202021357A (zh) 2020-06-01
TWI729477B true TWI729477B (zh) 2021-06-01

Family

ID=69642864

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108131384A TWI729477B (zh) 2018-08-31 2019-08-30 視訊編解碼中的子塊去塊及裝置

Country Status (5)

Country Link
US (3) US11330277B2 (zh)
EP (1) EP3841743A4 (zh)
CN (3) CN116781880A (zh)
TW (1) TWI729477B (zh)
WO (1) WO2020043193A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059616A1 (ja) * 2018-09-21 2020-03-26 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11381845B2 (en) * 2018-10-30 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking between block boundaries and sub-block boundaries in a video encoder and/or video decoder
US20240040159A1 (en) * 2022-07-27 2024-02-01 Qualcomm Incorporated Systems and methods for video decoding with partial-block deblocking filtering for use by constrained directional enhancement filter
EP4351133A1 (en) * 2022-10-07 2024-04-10 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060165181A1 (en) * 2005-01-25 2006-07-27 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
WO2017045580A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd Method and apparatus of advanced de-blocking filter in video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870752A (zh) 2005-05-23 2006-11-29 其乐达科技股份有限公司 应用于视频编码/解码的解块滤波方法及其装置
CN100571391C (zh) * 2007-05-09 2009-12-16 安凯（广州）软件技术有限公司 用于视频编解码系统中解块滤波的并行处理方法
JP2012151690A (ja) 2011-01-19 2012-08-09 Hitachi Kokusai Electric Inc デブロッキングフィルタ装置、デブロッキングフィルタ処理方法、それを用いた符号化装置および復号化装置
US9872044B2 (en) 2013-05-15 2018-01-16 Texas Instruments Incorporated Optimized edge order for de-blocking filter
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
CN107005711A (zh) * 2014-11-05 2017-08-01 三星电子株式会社 逐样本预测编码设备和方法
US11240495B2 (en) * 2016-08-21 2022-02-01 Lg Electronics Inc. Image coding/decoding method and apparatus therefor
CN114286091A (zh) 2016-09-05 2022-04-05 Lg电子株式会社 图像编码和解码方法、比特流存储介质及数据传输方法
US20180109810A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
US11277635B2 (en) * 2017-03-17 2022-03-15 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
CN110692249A (zh) * 2017-04-11 2020-01-14 Vid拓展公司 使用面部连续性的360度视频编码
CN111713111B (zh) * 2017-12-19 2024-04-09 Vid拓展公司 用于360度视频译码的面不连续性滤波
CN116405674A (zh) * 2017-12-22 2023-07-07 数码士有限公司 视频信号处理方法和设备
KR20230127363A (ko) * 2018-03-27 2023-08-31 (주)휴맥스 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060165181A1 (en) * 2005-01-25 2006-07-27 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
WO2017045580A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd Method and apparatus of advanced de-blocking filter in video coding

Also Published As

Publication number Publication date
CN113039782B (zh) 2023-06-30
US11330277B2 (en) 2022-05-10
US20210344934A1 (en) 2021-11-04
WO2020043193A1 (en) 2020-03-05
CN116781880A (zh) 2023-09-19
EP3841743A1 (en) 2021-06-30
US20220264119A1 (en) 2022-08-18
US20220239931A1 (en) 2022-07-28
US11765365B2 (en) 2023-09-19
EP3841743A4 (en) 2022-10-05
US11924444B2 (en) 2024-03-05
TW202021357A (zh) 2020-06-01
CN113039782A (zh) 2021-06-25
CN116781879A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
TWI735172B (zh) 用於多個工具的互相排斥設定
TWI749394B (zh) 利用當前畫面參照編碼方式的視訊區塊編碼或解碼方法和裝置
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
TWI729477B (zh) 視訊編解碼中的子塊去塊及裝置
US11589049B2 (en) Method and apparatus of syntax interleaving for separate coding tree in video coding
TWI737119B (zh) 視訊編碼的子區塊解塊方法和裝置
TWI729483B (zh) 視訊編解碼系統的運動向量湊整統一的方法以及裝置
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
TW202044841A (zh) 在視頻編解碼中約束合併標誌信令的方法和裝置
JP7447097B2 (ja) 画像符号化／復号化方法及び装置
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
WO2020247487A1 (en) Merge candidate reorder based on global motion vector cross-reference to related applications
TWI738292B (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
TWI796979B (zh) 視訊編碼方法及相關裝置
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding
RU2793708C1 (ru) Способ и устройство для передачи размера списка кандидатов-предикторов для внутрикадровой компенсации блока
US20230396793A1 (en) Adjacent spatial motion vector predictor candidates improvement
TW202410696A (zh) 使用合併ｍｖｄ模式降低視頻編碼複雜性的方法和裝置
TW202329692A (zh) 視頻編解碼系統中低延遲模板匹配的方法和裝置
KR20230157507A (ko) 명시적 모션 시그널링을 갖는 기하학적 파티션 모드
CN115443650A (zh) 用于帧间预测的角度加权预测