TW202349953A - 視訊編解碼方法及其裝置 - Google Patents

視訊編解碼方法及其裝置 Download PDF

Info

Publication number
TW202349953A
TW202349953A TW112116014A TW112116014A TW202349953A TW 202349953 A TW202349953 A TW 202349953A TW 112116014 A TW112116014 A TW 112116014A TW 112116014 A TW112116014 A TW 112116014A TW 202349953 A TW202349953 A TW 202349953A
Authority
TW
Taiwan
Prior art keywords
sample
samples
current
luminance
current pixel
Prior art date
Application number
TW112116014A
Other languages
English (en)
Inventor
陳慶曄
莊子德
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202349953A publication Critical patent/TW202349953A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於交叉分量樣本適應性偏移（cross-component sample adaptive offset，簡稱CCSAO）的視訊編解碼方法。視訊編解碼器接收正在被編解碼的當前塊的當前像素位置處的當前樣本。視訊編解碼器選擇一個亮度樣本和兩個色度樣本作為當前像素位置的亮度和色度同位樣本。僅當前像素位置的鄰近區域的多個候選亮度樣本中的一個或子集有資格作為當前像素位置的亮度同位樣本。視訊編解碼器基於當前像素位置的所選亮度和色度同位樣本的值從多個像素分類中選擇像素分類。視訊編解碼器根據所選像素分類執行偏移的查找。視訊編解碼器應用偏移來更新當前樣本。視訊編解碼器基於更新的當前樣本對當前塊進行編碼或解碼。

Description

交叉分量樣本適應性偏移
本公開一般涉及視訊編解碼。具體而言，本公開涉及使用交叉分量樣本適應性偏移（Cross-Component Sample Aadptive Offset，簡稱CCSAO）來細化重構樣本的方法。
除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的習知技術，以及不被包含在本節中而被承認為習知技術。
高效視訊編解碼（High-Efficiency Video Coding，簡稱HEVC）是由視訊編解碼聯合協作組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）開發的國際視訊編解碼標準。HEVC基於混合的基於塊的運動補償類DCT 變換編解碼架構。壓縮的基本單元，被稱為編解碼單元（coding unit，簡稱CU），是一個2Nx2N的方形像素塊，每個CU可以遞迴地分成四個更小的CU，直到達到預定的最小大小。每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。
多功能視訊編解碼（Versatile video coding，簡稱VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組（Joint Video Expert Team，簡稱JVET）制定的最新國際視訊編解碼標準。輸入視訊訊號從重構訊號預測，該重構訊號從編解碼圖片區域導出。預測殘差訊號藉由塊變換進行處理。變換係數與位元流中的其他輔助資訊一起被量化和熵編解碼。重構訊號根據預測訊號和對去量化變換係數進行逆變換後的重構殘差訊號生成。重構訊號藉由環路濾波進一步被處理，以去除編解碼偽像。解碼後的圖片存儲在幀緩衝器中，用於預測輸入視訊訊號中的未來圖片。
在VVC中，已編解碼圖片被劃分為由相關聯的編解碼樹單元（coding tree unit，簡稱CTU）表示的非重疊方形塊區域。編解碼圖片可以由片段集合表示，每個片段包含整數個CTU。片段中的各個CTU以光柵掃描連續處理。幀內預測或幀間預測可以被用來對雙向預測（bi-predictive，簡稱B）片段進行解碼，其中最多有兩個運動向量和參考索引來預測每個塊的樣本值。預測（P）片段使用具有至多一個運動向量和參考索引的幀內預測或幀間預測來解碼以預測每個塊的樣本值。幀內（intra，簡稱I）片段僅使用幀內預測對進行解碼。
CTU可以使用巢狀多類型樹（multi-type-tree，簡稱MTT）結構的四叉樹（quadtree，簡稱QT）被劃分成一個或多個非重疊編解碼單元（coding unit，簡稱CU），以適應各種局部運動和紋理特徵。CU可以使用五種分割類型之一被進一步分割成更小的CU：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割。
每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。預測單元與關聯的CU語法一起作為用於發送預測資訊的基本單元。指定的預測處理用於預測PU內的相關像素樣本的值。每個CU可以包含一個或多個變換單元（transform unit，簡稱TU）用於表示預測殘差塊。變換單元（transform unit，簡稱TU）由亮度樣本的變換塊（transform block，簡稱TB）和兩個相應的色度樣本變換塊組成，每個TB對應於來自一種顏色分量的樣本的一個殘差塊。整數變換被應用於變換塊。量化係數的級別值與其他輔助資訊一起在位元流中進行熵編解碼。術語編解碼樹塊（coding tree block，簡稱CTB）、編解碼塊（coding block，簡稱CB）、預測塊（prediction block，簡稱PB）和變換塊（transform block，簡稱TB）被定義為指定分別與CTU、CU、PU和TU相關的一個顔色分量的2D樣本陣列。因此，一個CTU由一個亮度CTB、兩個色度CTB和相關語法元素組成。類似的關係對CU、PU和TU有效。
樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）是在視訊編解碼中使用的一種技術，用於減少重構視訊幀中的壓縮偽影。SAO用於抑制變換域中高頻分量的量化誤差引起的帶狀偽影（偽邊緣）和振鈴偽影。在HEVC中，SAO濾波器適應性地應用於滿足特定條件的所有樣本，例如基於梯度。SAO是一種在應用去塊濾波器之後基於編碼器傳輸的查閱資料表中的值有條件地將偏移添加到每個樣本來修改解碼的樣本的過程。HEVC指定可以對每個CTU選擇SAO操作的兩種SAO類型或分類：帶偏移（Band Offset，簡稱BO）或邊緣偏移（Edge Offset，簡稱EO）。兩種SAO類型都會向樣本添加一定的偏移，該偏移根據該樣本位置處的局部梯度從查閱資料表中選擇。當BO被應用時，像素強度或像素值被分類為32個固定帶。（因此，對於8位元樣本，每個帶的寬度為8個像素值。）特定帶的偏移將被添加到落在該特定帶中的所有像素。當EO被應用時，塊的相鄰像素用於將塊分類為四種EO類型之一：EO-0（0度）、EO-1（90度）、EO-2（135度）和EO- 3（45度）。對於每種EO類型，CTB內的每個樣本都被分為5個分類之一：局部最小值、正邊緣、平坦區域、負邊緣和局部最大值。每個分類都有其相應的邊緣偏移。
以下概述僅是說明性的並且不旨在以任何方式進行約束。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於決定所要求保護的主題的範圍。
本發明的一些實施例提供了一種用於交叉分量樣本適應性偏移（cross-component sample adative offset，簡稱CCSAO）的視訊編解碼方法。視訊編解碼器接收正在被編解碼的當前塊的當前像素位置處的當前樣本。視訊編解碼器選擇一個亮度樣本和兩個色度樣本作為當前像素位置的亮度和色度同位樣本。視訊編解碼器基於當前像素位置的所選亮度和色度同位樣本的值從多個像素分類中選擇像素分類。視訊編解碼器根據所選像素分類執行偏移的查找。視訊編解碼器應用偏移來更新當前樣本。視訊編解碼器基於更新的當前樣本對當前塊進行編碼或解碼。
在一些實施例中，當前像素位置的鄰近區域的多個候選亮度樣本中只有一個有資格作為當前像素位置的亮度同位樣本。當前像素位置的鄰近區域可以涵蓋當前像素位置周圍的八個候選亮度樣本和當前像素位置的鄰近區域的中心位置處的一個候選亮度樣本，以及所選擇的亮度同位樣本位於當前像素位置的該鄰近區域的中心位置。在一些實施例中，中心位置處的候選亮度樣本被隱式地選擇為亮度同位樣本，而無需在位元流中發送。
在一些實施例中，僅當前像素位置附近的多個候選亮度樣本的子集有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。例如，多個候選亮度樣本可以包括九個亮度樣本，而多個候選亮度樣本的合格子集可以僅包括四個候選亮度樣本。在一些實施例中，從多個候選亮度樣本的合格子集中選擇的兩個或多個候選亮度樣本的線性平均值被用作所選擇的亮度同位樣本。
在一些實施例中，第一分類索引基於對當前像素位置所選擇的亮度和色度同位樣本的值來計算，第二分類索引基於相鄰候選亮度樣本（當前像素位置附近）相對於特定閾值之間的差值來計算，以及像素分類藉由使用第一分類索引和第二分類索引來選擇。在一些實施例中，特定閾值基於當前樣本的位元深度來決定。
在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法、處理、組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。 Ⅰ 、交叉分量樣本適應性偏移（ Cross Component Sample Adaptive Offset ，簡稱 CCSAO ）
交叉分量樣本適應性偏移（Cross-component Sample Adaptive Offset，簡稱CCSAO）作為SAO處理的一部分操作以及利用三個顏色分量（例如，YUV）之間的相關性作為進一步指導細化重構樣本。與SAO一樣，CCSAO將重構樣本分為不同分類，對每個分類導出一個偏移，以及將該偏移添加到該分類中的重構樣本中。然而，與僅使用當前樣本的單個分量（無論是亮度還是色度）作為輸入的傳統SAO不同，CCSAO利用所有三種顏色分量（亮度和色度）將當前樣本分類為不同的分類。
第1圖示出應用交叉分量樣本適應性偏移（CCSAO）時的視訊編解碼工作流程。該圖示出視訊編碼器或解碼器的環路濾波器100的視訊編解碼工作流程。下面將參考第6圖來描述可以併入環路濾波器100的功能的示例視訊編碼器。將參考第8圖來描述可以併入環路濾波器100的功能的示例視訊解碼器。
環路濾波器100接收所有顏色分量（YUV）的當前樣本（重構或解碼的像素資料），以及應用去塊濾波器（deblock filter，簡稱DBF）110、樣本適應性偏移（sample adaptive offset，簡稱SAO）120和交叉分量樣本適應性偏移（CCSAO）130。環路濾波器100的輸出被發送到重構或解碼的圖片緩衝器，用於後續像素塊的顯示和/或編碼。
如圖所示，顏色分量的重構（或解碼）像素資料由它們相應的去塊濾波器處理。來自去塊濾波器的輸出樣本被用作SAO 120和CCSAO 130的輸入。SAO 120和CCSAO 130應用於所有三個分量。SAO 120和CCSAO 130都包括用於每個YUV分量（SAO-Y、SAO-U、SAO-V；CCSAO-Y、CCSAO-U、CCSAO-V）的單元。來自去塊濾波器110的每個顏色分量的輸出被提供給對應的相應顏色分量的SAO。來自去塊濾波器110的每個顏色分量的輸出被提供給所有三個分量的CCSAO。換句話說，顏色分量的SAO僅取決於該分量的樣本，而任一顏色分量的CCSAO取決於所有三個顏色分量的樣本，從而允許交叉分量樣本偏移。由SAO 120和CCSAO 130生成的偏移都被應用（相加）到環路濾波器100的輸出樣本。
為了在CCSAO中應用帶偏移（band offset，簡稱BO），對於當前給定的重構樣本，使用三個同位樣本{Y col、U col、V col}來表示給定樣本的三個分量。亮度同位樣本（Y col）可以從多個候選同位位置中選擇。在一些實施例中，亮度同位樣本（Y col）可以從9個候選位置中選擇，而同位色度樣本位置（U col和V col）是固定的。第2圖示出用於CCSAO分類器的候選位置。
三個選擇的同位樣本{Y col、U col、V col}用於將給定樣本分類到對應於YUV分量的不同組合的許多不同分類之一。三個同位樣本的值被分類為三個不同的帶索引{band Y、band U、band V}，每個帶索引標識一種顏色分量的一個BO分類。三個分量YUV的三個帶索引根據以下公式定義： band Y= (Y col* N Y) ＞＞ BD band U= (U col* N U) ＞＞ BD band V= (V col* N V) ＞＞ BD                                                       （1）
其中{Y col，U col，V col}是選擇用於對當前樣本進行分類的三個同位樣本；{N Y，N U，N V}分別是應用於{Y col，U col，V col}全範圍的等分頻帶的數量。BD是內部編解碼位元深度。帶索引{band Y，band U，band V}用於決定代表給定樣本的BO分類的一個聯合索引 i。聯合索引 i被定義為： i= band Y*(N U*N V) + band U*N V+ band V（2）
一個CCSAO偏移被決定以及被添加到落入由索引 i指示的分類的重構（亮度或色度）樣本中： C’ rec= Clip1(C rec+ 𝜎 CCSAO[i])                                                （3）
C rec和C’ rec分別是應用CCSAO之前和之後的重構（色度）樣本。項𝜎CCSAO[i]應用於第 i個BO分類的CCSAO偏移。
與SAO一樣，不同的分類器應用於不同的局部區域以進一步增強整體圖像品質。每個分類器的參數（例如，Y col、N Y、N U、N V和偏移的位置）在圖片級別發送，要使用的分類器在CTB級別顯式地發送和切換。對於每個分類器，{N Y, N U, N V}的最大值被設置為{16, 4, 4}，偏移限制在[-15, 15]範圍內。每幀最多使用4個分類器。
在一些實施例中，SAO、雙邊濾波器（bilateral filter，簡稱BIF）和CCSAO的輸出被添加到重構的色度樣本（由去塊緩衝器或DBF提供）以及被聯合裁剪。裁剪結果被作為色度樣本提供至適應性環路濾波器（adaptive loop filter，簡稱ALF），以便在視訊編解碼處理中進行進一步處理。
與VVC中的SAO的邊緣分類器類似，CCSAO的基於邊緣的分類器也可以使用一維方向模式來進行樣本分類：水平、垂直、135°對角線和45°對角線。第3圖概念性地示出CCSAO邊緣偏移（edge offset，簡稱EO）樣本分類的像素模式。每個像素圖案在一維方向上包括3個像素。四個一維方向圖對應於0°或水平（EO分類= 0）、90°或垂直（EO分類=1）、135°對角線（EO分類=2）和45°對角線（EO分類=3）。對於每個一維圖案，每個樣本根據標記為“c”的亮度樣本值與其沿所選一維圖案標記為“a”和“b”的兩個相鄰亮度樣本之間的樣本差值進行分類。
與SAO類似，編碼器可以使用率失真優化（rate-distortion optimization，簡稱RDO）來決定最佳1-D方向模式，以及在每個分類器/集合中發送該額外資訊。將樣本差值“a-c”和“b-c”與預定閾值（Th）進行比較，以得出最終的“class_idx”資訊。編碼器可以基於RDO從預定閾值陣列中選擇最佳“Th”值，以及“Th”陣列中的索引被發送。
此外，CCSAO基於邊緣的分類器和VVC中的SAO邊緣分類器之間的額外差值在於，在CCSAO基於邊緣的分類器的情況下，色度樣本使用共同定位的亮度樣本來導出邊緣資訊（樣本 “a”、“c”和“b”是同位的亮度樣本），而在SAO邊緣分類器的情況下，色度樣本使用其自己的相鄰樣本來導出邊緣資訊。CCSAO的基於邊緣的分類器處理表述如下： Ea=(a-c＜0)? (a-c＜(-Th)? 0:1) : (a-c＜(Th)? 2:3)                                 （4） Eb=(b-c＜0)? (b-c＜(-Th)? 0:1) : (b-c＜(Th)? 2:3)                              （5） class_idx= i B *16 + Ea*4 + Eb                                                  （6） C’ rec= Clip1 ( C rec+ 𝜎 CCSAO[ class_idx])                                         （7）
索引i B可以如下導出： i B = (cur*N cur) ＞＞ BD or i B = (col1*N col1) ＞＞ BD or i B = (col2*N col2) ＞＞ BD                                                         （8）
“cur”是當前正在處理的樣本，col1和col2是同位的樣本。當當前正在處理的樣本是亮度樣本Y時，col1和col2分別是同位C b和C r樣本。當當前正在處理的樣本是色度（C b）樣本時，col1和col2分別是同位Y和C r樣本。當當前正在處理的樣本是色度（C r）樣本時，col1和col2分別是同位Y和Cb樣本。基於率失真優化（RDO），編碼器可以發送在推導頻帶資訊時使用的樣本“cur”、“col1”、“col2”之一。 A. 亮度同位樣本的選擇
如上所述，在CCSAO-BO中，亮度同位樣本的位置可以是如第2圖所示的九個位置之一。允許多個候選的亮度同位樣本有助於處理不同顏色分量（例如，YUV420、YUV422、YUV411或YUV444）中的不同取樣速率和不同相位。然而，當CCSAO-BO應用於亮度分量時，允許多個候選的亮度同位樣本可能會引起相移問題。為了防止相移問題，在一些實施例中，當CCSAO-BO應用於亮度分量時，視訊編解碼器去除（即，不允許）亮度同位樣本（的位置）的選擇。用於指示亮度同位樣本的選定位置的相應語法不被發送，以及亮度同位樣本的選定位置被推斷為中心位置，即待處理樣本的位置（在第2圖中標記為“4”）。在一些實施例中，用於指示亮度同位樣本的所選位置的對應語法在CCSAO-BO中有條件地發送。在一些實施例中，當CCSAO-BO被應用於亮度分量時，用於指示亮度同位樣本的選定位置的對應語法總是被發送，但該值應指示中心位置，即，要處理的位置樣本。
第4圖概念性地示出當中心位置始終被選擇作為亮度同位樣本時用於CCSAO分類器的候選位置。如圖所示，位置“4”處的候選亮度樣本是唯一可以被選為CCSAO偏移分類的亮度同位樣本的合格候選。 B. 亮度同位樣本的簡化候選
如上所述，在CCSAO-BO中，亮度同位樣本的位置可以是九個位置之一（標記為“0”到“8”），如第2圖所示。允許亮度同位樣本的多個候選的動機是為了便於處理不同顏色分量（例如，YUV420、YUV422、YUV411或YUV444）中的不同取樣速率和不同子採樣相位。然而，不同取樣速率下的相位通常被限制在相應亮度位置的2x2區域內。（例如，如果一張圖片中色度位置為（x，y），以及亮度和色度的採樣比例不同，則色度相位通常位於從（2x，2y）到（2x+1， 2y+1）的2x2區域內。因此，在一些實施例中，亮度同位樣本的候選從中心位置為（2x，2y）的一個3x3正方形減少到左上角為（2x，2y）的一個2x2正方形。
更一般地，在一些實施例中，僅當前像素位置鄰近區域的候選亮度樣本的子集有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。例如，在一些實施例中，亮度同位樣本的候選從樣本位置{0,1,2,3,4,5,6,7,8}減少到樣本位置{4,5,7,8}，參照第5圖，其示出用於CCSAO偏移決定的亮度同位樣本的候選位置的簡化集合。
在一些實施例中，亮度同位樣本的候選數量大於4，但僅一個2x2正方形中的亮度樣本被用於藉由線性或非線性組合來生成對應的同位樣本。例如，線性組合可以是{4}和{7}的平均值，{4}、{5}、{7}和{8}的平均值，{4}、{5}、{7}和{8}的加權平均值等等。非線性組合可以是{4}、{5}、{7}和{8}的最大值，{4}、{5}、{7}和{8}的最小值，{4}、{5}、{7}、{8}的中值，{4}、{5}、{7}、{8}中的公共值，{4}、{5}、{7}和{8}中的不同值等等。將候選對象從中心位置為(2x, 2y)的一個3x3正方形減少到左上角位置為(2x, 2y)的2x2正方形後，CCSAO-BO邊界條件的處理（例如，圖片邊界、虛擬邊界、子圖片邊界、圖塊邊界、片段邊界等）變得與SAO-BO類似。即，SAO-BO中的邊界處理可以應用於CCSAO-BO。 C. CCSAO-EO 和 SAO-EO 的統一 EO 分類規則
在CCSAO-EO中，分類索引（等式（7）中的class_idx，或CCSAO-EO_class_idx）可以根據以下等式計算： CCSAO-EO-Ea=(a-c＜0)? (a-c＜(-Th)? 0:1) : (a-c＜(Th)? 2:3)                （9） CCSAO-EO-Eb=(b-c＜0)? (b-c＜(-Th)? 0:1) : (b-c＜(Th)? 2:3)             （10） CCSAO_EO_class_idx = i B * 16 + CCSAO-EO-Ea * 4 + CCSAO-EO-Eb （11）
等式（10）中的項i B*16是BO貢獻的分類索引，等式（11）的其餘部分是EO貢獻的分類索引。等式（11）中的分類方法是不對稱的，即相鄰樣本a和b交換時分類結果不同。另一方面，對於SAO-EO，分類索引藉由以下等式計算： SAO-EO-Ea = (a-c＜0)? (a-c＜(-Th) ? 0 : 1) : (a-c ＜ (Th) ? 1 : 2)            （12） SAO-EO-Eb = (b-c＜0)? (b-c＜(-Th) ? 0 : 1) : (b-c ＜ (Th) ? 1 : 2)             （13） SAO_EO_class_idx = SAO-EO-Ea + SAO-EO-Eb                           （14）
在SAO-EO中“Th”被設置為0。等式（14）中的分類方法是對稱的，即相鄰樣本a和b交換時分類結果相同。
一些實施例提供了一種用於統一CCSAO-EO和SAO-EO的分類方法的方法。在一些實施例中，等式SAO-EO-Ea和SAO-EO-Eb用於代替等式（10）中的CCSAO-EO-Ea和CCSAO-EO-Eb。即，等式被修改為： CCSAO_EO_class_idx = i B * 16 + SAO-EO-Ea * 3 + SAO-EO-Eb             （15）
等式（15）仍然是不對稱的，以及“Th”可以不同並在CCSAO-EO 中發送。在一些實施例中，CCSAO-EO的分類可以被修改為： CCSAO_EO_class_idx = i B * 16 + SAO-EO-Ea + SAO-EO-Eb               （16）
等式（16）是對稱的，“Th”可以不同，並在CCSAO-EO中發送。在一些實施例中，SAO-EO的分類被修改為： SAO_EO_class_idx = CCSAO-EO-Ea*4 + CCSAO-EO-Eb          （17）
等式（17）是不對稱的，以及“Th”被推斷為0。在一些實施例中，SAO-EO的分類被修改為： SAO_EO_class_idx = SAO-EO-Ea*3 + CCSAO-EO-Eb                    （18）
等式（18）是不對稱的，以及“Th”被推斷為0。在一些實施例中，在SAO-EO中支援不同的“Th”值以及在位元流中發送所選擇的值。SAO-EO中支援的“Th”值可以與CCSAO-EO中的不同，與CCSAO-EO相同，或者是CCSAO-EO的子集。
在一些實施例中，“Th”（閾值）值取決於輸入位元深度。當輸入位元深度改變時，“Th”值也會相應改變。例如，當輸入位元深度等於8時，一組“Th”值被定義。如果輸入位元深度從8增加到10，則“Th”對應的值也乘以(1＜＜ (10-8))。在一些實施例中，CCSAO-EO中支援對稱和非對稱分類方法，以及一個標誌被發送以指示使用哪一種方法。 Ⅱ 、 示例視訊編碼器
第6圖示出可以實現交叉分量預測的示例視訊編碼器600。如圖所示，視訊編碼器600從視訊源605接收輸入視訊訊號以及將訊號編碼成位元流695。視訊編碼器600具有用於對來自視訊源605的訊號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組610、量化模組611、逆量化模組614、逆變換模組615、幀內估計模組620、幀內預測模組625、運動補償模組630、運動估計模組635、環路濾波器645、重構圖片緩衝器650、MV緩衝器665、MV預測模組665和熵編碼器690。運動補償模組630和運動估計模組635是幀間預測模組640的一部分。
在一些實施例中，模組610-690是由計算設備或電子裝置的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組610-690是由電子裝置的一個或多個積體電路（integrated circuit，簡稱IC）實現的硬體電路模組。儘管模組610-690被示為單獨的模組，但一些模組可以組合成單個模組。
視訊源605提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器608計算視訊源605的原始視訊像素資料與來自運動補償模組630或幀內預測模組625的預測像素資料613之間的差值作為預測殘差609。變換模組610將差值（或殘差像素資料或殘差訊號608）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組611將變換係數量化為量化資料（或量化係數）612，其由熵編碼器690編碼為位元流695。
逆量化模組614對量化資料（或量化係數）612進行去量化以獲得變換係數，以及逆變換模組615對變換係數執行逆變換以產生重構殘差619。重構殘差619與預測像素資料613相加一起產生重構的像素資料616。在一些實施例中，重構的像素資料617被臨時存儲在行緩衝器（未展示）中用於幀內預測和空間MV預測。重構像素由環路濾波器645濾波並被存儲在重構圖片緩衝器650中。在一些實施例中，重構圖片緩衝器650是視訊編碼器600外部的記憶體。在一些實施例中，重構圖片緩衝器650是視訊編碼器600內部的記憶體。
幀內估計模組620基於重構的像素資料617執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器690以被編碼成位元流695。幀內預測資料還被幀內預測模組625用來產生預測像素資料613。
運動估計模組635藉由產生MV以參考存儲在重構圖片緩衝器650中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組630以產生預測像素資料。
視訊編碼器600不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並存儲在位元流695。
基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組675生成預測的MV。MV預測模組675從MV緩衝器665中獲取來自先前視訊幀的參考MV。視訊編碼器600將對當前視訊幀生成的MV存儲在MV緩衝器665中作為用於生成預測MV的參考MV。
MV預測模組675使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV（MC MV）之間的差值（殘差運動資料）由熵編碼器690編碼到位元流695中。
熵編碼器690藉由使用諸如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流695中。熵編碼器690將各種報頭元素、標誌連同量化的變換係數612和作為語法元素的殘差運動資料編碼到位元流695中。位元流695繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。
環路濾波器645對重構的像素資料617執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，由環路濾波器645執行的濾波或平滑操作包括去塊濾波器（deblock filter，簡稱DBF）、樣本實用性偏移（sample adaptive offset，簡稱SAO）、交叉分量適應性偏移（cross-component adaptive offset，簡稱CCSAO）和/或適應性環路濾波器（adaptive loop filter，簡稱ALF）。上面參考第1圖描述了將CCSAO偏移應用於YUV樣本的示例環路濾波器。
在一些實施例中，當決定應用於當前像素樣本的CCSAO偏移時，環路濾波器645總是選擇在當前像素位置（或最接近）的位置處的候選亮度樣本，除非熵編碼器690在位元流中另外顯式地用發送。在一些實施例中，僅當前像素位置鄰近區域的候選亮度樣本的子集（例如，9個中的4個）有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。在一些實施例中，環路濾波器645基於相鄰候選亮度樣本（在當前像素位置鄰近區域）之間相對於基於當前樣本的位元深度決定的特定閾值的差值來計算分類索引。環路濾波器845的一些CCSAO操作在上面的部分I中描述。
第7圖概念性地示出在一些實施例中用於執行CCSAO的處理700。在一些實施例中，實現編碼器600的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理700。在一些實施例中，實現編碼器600的電子裝置執行處理700。
編碼器接收（在塊710）正在被編碼的當前塊的當前像素位置處的當前樣本。
編碼器選擇（在塊720）一個亮度樣本和兩個色度樣本作為當前像素位置的亮度和色度同位樣本。在一些實施例中，當前像素位置的鄰近區域的多個候選亮度樣本中只有一個有資格作為當前像素位置的亮度同位樣本。當前像素位置的鄰近區域可以涵蓋當前像素位置周圍的八個候選亮度樣本和當前像素位置鄰近區域的中心位置處的一個候選亮度樣本，以及所選擇的亮度同位樣本位於當前像素位置的該鄰近區域的中心位置。在一些實施例中，中心位置處的候選亮度樣本被隱式地選擇為亮度同位樣本，而無需在位元流中發送。
在一些實施例中，僅當前像素位置鄰近區域的多個候選亮度樣本的子集有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。例如，多個候選亮度樣本可以包括九個亮度樣本，而多個候選亮度樣本的合格子集可以僅包括四個候選亮度樣本。在一些實施例中，從多個候選亮度樣本的合格子集中選擇的兩個或多個候選亮度樣本的線性平均值被用作所選擇的亮度同位樣本。
編碼器基於對當前像素位置選擇的亮度和色度同位樣本的值，從多個像素分類中選擇（在塊730）像素分類。在一些實施例中，第一分類索引基於對當前像素位置選擇的亮度和色度同位樣本的值來計算（例如，等式（2）或（8）），第二分類索引基於相鄰候選亮度樣本（在當前像素位置附近）相對於特定閾值之間的差值來計算（例如，等式（15）或（16）），以及像素分類藉由使用第一分類索引和第二分類索引來選擇（例如，等式（6）和（7））。在一些實施例中，特定閾值基於當前樣本的位元深度來決定。
編碼器（在塊740）基於所選擇的像素分類執行偏移的查找。編碼器藉由應用偏移來更新（在塊750）當前樣本（例如，等式（7））。
編碼器基於更新的當前樣本對當前塊進行編碼（在塊760）。 Ⅲ 、示例視訊解碼器
在一些實施例中，編碼器可以發送（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析所述一個或多個語法元素。
第8圖展示可執行CCSAO的實例視訊解碼器800。如圖所示，視訊解碼器800是圖像解碼或視訊解碼電路，該圖像解碼或視訊解碼電路接收位元流895以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器800具有用於解碼位元流895的若干組件或模組，包括選自以下的一些組件：逆量化模組811、逆變換模組810、幀內預測模組825、運動補償模組830、環路濾波器的845、解碼圖片緩衝器850、MV緩衝器865、MV預測模組875和解析器890。運動補償模組830是幀間預測模組840的一部分。
在一些實施例中，模組810-890是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組810-890是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組810-890被示為單獨的模組，但一些模組可以組合成單個模組。
解析器890（或熵解碼器）接收位元流895以及根據由視訊編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素、標誌以及量化資料（或量化係數）812。解析器890藉由使用熵編解碼技術（例如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼（Huffman encoding）解析出各種語法元素。
逆量化模組811對量化資料（或量化係數）812進行去量化以獲得變換係數，以及逆變換模組810對變換係數816進行逆變換以產生重構殘差訊號819。重構殘差訊號819與來自幀內預測模組825或運動補償模組830的預測像素資料813相加以產生解碼像素資料817。解碼像素資料由環路濾波器845濾波以及存儲在解碼圖片緩衝器850中。在一些實施例中，解碼圖片緩衝器850是視訊解碼器800外部的記憶體。在一些實施例中，解碼圖片緩衝器850是視訊解碼器800內部的記憶體。
幀內預測模組825從位元流895接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器850中的解碼像素資料817產生預測像素資料813。在一些實施例中，解碼像素資料817也被存儲在行緩衝器（未展示）中，用於幀內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器850的內容用於顯示。顯示裝置855或者獲取解碼圖像緩衝器850的內容以直接顯示，或者獲取解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器850接收像素值。
運動補償模組830根據運動補償MV（MC MV）從解碼圖片緩衝器850中存儲的解碼像素資料817產生預測像素資料813。藉由將從位元流895接收的殘差運動資料與從MV預測模組875接收的預測MV相加，這些運動補償MV被解碼。
MV預測模組875基於為解碼先前視訊幀而生成的參考MV（例如，用於執行運動補償的運動補償MV）生成預測的MV。MV預測模組875從MV緩衝器865中獲取先前視訊幀的參考MV。視訊解碼器800將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器865中作為用於產生預測MV的參考MV。
環路濾波器845對解碼的像素資料817執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。
上面參考第1圖描述了將CCSAO偏移應用於YUV樣本的示例環路濾波器。在一些實施例中，當決定應用於當前像素樣本的CCSAO偏移時，環路濾波器845總是選擇在當前像素位置（或最接近當前像素位置）的候選亮度樣本，除非另外由熵解碼器890藉由來自位元流895的語法顯式地覆蓋。在一些實施例中，僅當前像素位置鄰近區域的候選亮度樣本的子集（例如，9個中的4個）有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。在一些實施例中，環路濾波器845基於相鄰候選亮度樣本（在當前像素位置鄰近區域）之間相對於基於當前樣本的位元深度決定的特定閾值的差值來計算分類索引。環路濾波器845的一些CCSAO操作在上面的部分I中描述。
第9圖概念性地示出了在一些實施例中用於執行CCSAO的處理900。在一些實施例中，實現解碼器800的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理900。在一些實施例中，實現解碼器800的電子裝置執行處理900。
解碼器接收（在塊910）正在被解碼的當前塊的當前像素位置處的當前樣本。
解碼器選擇（在塊920）一個亮度樣本和兩個色度樣本作為當前像素位置的亮度和色度同位樣本。在一些實施例中，當前像素位置鄰近區域的多個候選亮度樣本中只有一個有資格作為當前像素位置的亮度同位樣本。當前像素位置的鄰近區域可以涵蓋當前像素位置周圍的八個候選亮度樣本和當前像素位置鄰近區域的中心位置處的一個候選亮度樣本，以及所選擇的亮度同位樣本位於當前像素位置的該鄰近區域的中心位置。在一些實施例中，中心位置處的候選亮度樣本被隱式地選擇為亮度同位樣本，而無需在位元流中發送。
在一些實施例中，僅當前像素位置鄰近區域的多個候選亮度樣本的子集有資格被選擇作為亮度同位樣本或用於導出當前像素位置的亮度同位樣本。例如，多個候選亮度樣本可以包括九個亮度樣本，而多個候選亮度樣本的合格子集可以僅包括四個候選亮度樣本。在一些實施例中，從多個候選亮度樣本的合格子集中選擇的兩個或多個候選亮度樣本的線性平均值被用作所選擇的亮度同位樣本。
解碼器基於對當前像素位置所選擇的亮度和色度同位樣本的值從多個像素分類中選擇（在塊930）像素分類。在一些實施例中，第一分類索引基於對當前像素位置選擇的亮度和色度同位樣本的值來計算（例如，等式（2）或（8）），第二分類索引基於相鄰候選亮度樣本（在當前像素位置鄰近區域）相對於特定閾值之間的差值來計算（例如，等式（15）或（16）），以及像素分類藉由使用第一分類索引和第二分類索引來選擇（例如，等式（6）和（7））。在一些實施例中，特定閾值基於當前樣本的位元深度來決定。
解碼器基於所選擇的像素分類執行（在塊940）偏移的查找。解碼器藉由應用偏移來更新（在塊950）當前樣本（例如，等式（7））。
解碼器基於更新的當前樣本來重構（在塊960）當前塊。解碼器然後可以提供重構的當前塊以作為重構的當前圖片的一部分進行顯示。 Ⅳ 、示例電子系統
許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質（也稱為電腦可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器內核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器（compact disc read-only memory，簡稱CD-ROM）、快閃記憶體驅動器、隨機存取記憶體（random-access memroy，簡稱RAM）晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體（erasable programmble read-only memory，簡稱EPROM）、電可擦除可程式設計唯讀記憶體 （electrically erasable proagrammble read-only memory，簡稱EEPROM）等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。
在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。
第10圖概念性地展示了實現本公開的一些實施例的電子系統1000。電子系統1000可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統1000包括匯流排1005，處理單元1010，圖形處理單元（graphics-processing unit，簡稱GPU）1015，系統記憶體1020，網路1025，唯讀記憶體1030，永久存放設備1035，輸入設備1040，和輸出設備1045。
匯流排1005共同表示與電子系統1000通訊連接的眾多內部設備的所有系統、週邊設備和晶片組匯流排。例如，匯流排1005將處理單元1010與GPU 1015，唯讀記憶體1030，系統記憶體1020和永久存放設備1035通訊地連接。
處理單元1010從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1015並由其執行。GPU 1015可以卸載各種計算或補充由處理單元1010提供的影像處理。
唯讀記憶體（read-only-memory，簡稱ROM）1030存儲由處理單元1010和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備1035是讀寫存放設備。該設備是即使在電子系統1000關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置（例如磁片或光碟及其對應的磁碟機）作為永久存放設備1035。
其他實施例使用卸載式存放裝置設備（例如軟碟、快閃記憶體設備等，及其對應的磁碟機）作為永久存放設備。與永久存放設備1035一樣，系統記憶體1020是讀寫記憶體設備。然而，與永久存放設備1035不同，系統記憶體1020是易失性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體1020存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體1020、永久存放設備1035和/或唯讀記憶體1030中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元1010獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。
匯流排1005還連接到輸入設備1040和輸出設備1045。輸入設備1040使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備1040包括字母數位元元鍵盤和定點設備（也被稱為“遊標控制設備”）、照相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備1045顯示由電子系統生成的圖像或者輸出資料。輸出設備1045包括印表機和顯示裝置，例如陰極射線管（cathode ray tubes，簡稱CRT）或液晶顯示器（liquid crystal display，簡稱LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。
最後，如第10圖所示，匯流排1005還藉由網路介面卡（未展示）將電子系統1000耦合到網路1025。以這種方式，電腦可以是電腦網路（例如局域網（“LAN”）、廣域網路（“WAN”）或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統1000的任一或所有組件可以與本公開結合使用。
一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質（或者被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟（read-only compact discs，簡稱CD-ROM）、可記錄光碟（recordable compact discs，簡稱CD-R）、可重寫光碟（rewritable compact discs，簡稱CD-RW）、唯讀數位多功能光碟（read-only digital versatile discs）（例如, DVD-ROM, 雙層DVD-ROM）, 各種可燒錄/可重寫DVD （例如, DVD-RAM, DVD-RW, DVD+RW等）, 快閃記憶體 （例如, SD卡, 迷你SD卡、微型SD卡等）、磁性和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®光碟、超密度光碟、任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用注釋器（interpreter）的微處理器執行的高級代碼的文檔。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路（application specific integrated circuit，簡稱ASIC）或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，簡稱PLD）、ROM或RAM器件中的軟體。
如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。
雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖（包括第7圖和第9圖）概念性地說明瞭處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的約束，而是由所附申請專利範圍限定。 補充說明
本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。
此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。
此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍內容，而約束了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確參考特定數量的介紹性內容，本領域之通常知識者可以認識到，這樣的內容應被解釋為表示所參考的數量，例如，沒有其他修改的“兩個參考”，意味著至少兩個參考，或兩個或兩個以上的參考。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統等。本領域之通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，出於説明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於約束，真實的範圍和申請由申請專利範圍表示。
100:當前塊 110:去塊濾波器 120:SAO 130:CCSAO 600:編碼器 605:視訊源 608:減法器 609:預測殘差 610:變換模組 611:量化模組 612:變換係數 613:預測像素資料 614:逆量化模組 615:逆變換模組 616:變換係數 617:重構的像素資料 619:重構殘差 620:幀內估計模組 625:幀內預測模組 630:運動補償模組 635:運動估計模組 640:幀間預測模組 645:環路濾波器 650:重構圖片緩衝器 665: MV緩衝器 675: MV預測模組 695:位元流 700:處理 710、720、730、740、750、760:步驟 800:視訊解碼器 810:逆變換模組 811:逆量化模組 812:量化資料 813:預測像素資料 816:變換係數 817:解碼像素資料 819:重構殘差訊號 825:幀內預測模組 830:運動補償模組 840:幀間預測模組 850:解碼圖片緩衝器 855:顯示裝置 865:MV緩衝器 875:MV預測模組 890:熵解碼器 895:位元流 900:處理 910、920、930、940、950、960:步驟 1000:電子系統 1005:匯流排 1010:處理單元 1015:GPU 1020:系統記憶體 1025:網路 1030:唯讀記憶體 1035:永久存放設備 1040:輸入設備 1045:輸出設備
附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明瞭本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與大小不成比例，以便清楚地說明本公開的概念。 第1圖示出應用交叉分量樣本適應性偏移（cross-component sample adaptive offset，簡稱CCSAO）時的視訊編解碼工作流程。 第2圖示出用於CCSAO分類器的候選位置。 第3圖概念性地示出CCSAO邊緣偏移（edge offset，簡稱EO）樣本分類的像素模式。 第4圖概念性地示出當中心位置始終被選擇作為亮度同位樣本時，用於CCSAO分類器的候選位置。 第5圖概念性地示出用於CCSAO偏移決定的亮度同位樣本的候選位置的簡化集合。 第6圖示出可以實現CCSAO的示例視訊編碼器。 第7圖概念性地示出了在一些實施例中用於執行CCSAO的處理。 第8圖示出可以實現CCSAO的示例視訊解碼器。 第9圖概念性地示出在一些實施例中用於執行CCSAO的處理。 第10圖概念性地示出用於實現本公開的一些實施例的電子系統。
900:處理
910、920、930、940、950、960:步驟

Claims (12)

  1. 一種視訊編解碼方法，包括： 接收正在編解碼的一當前塊的一當前像素位置處的一當前樣本； 選擇一個亮度樣本和兩個色度樣本作為該當前像素位置的多個亮度和色度同位樣本， 其中，只有該當前像素位置的一鄰近區域的多個候選亮度樣本的一子集才有資格被選擇作為該亮度同位樣本或用於導出該當前像素位置的該亮度同位樣本； 基於對該當前像素位置所選擇的該等亮度和色度同位樣本的多個值，從多個像素分類中選擇一像素分類； 根據所選擇的該像素分類執行一偏移的一查找； 應用該偏移來更新該當前樣本；以及 基於更新的該當前樣本對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，該當前像素位置的該鄰近區域包括該當前像素位置周圍的8個候選亮度樣本以及該當前像素位置的該鄰近區域的一中心位置的一個候選亮度樣本。
  3. 如請求項2所述之視訊編解碼方法，其中，所選擇的該亮度同位樣本位於該當前像素位置的該鄰近區域的該中心位置。
  4. 如請求項3所述之視訊編解碼方法，其中，該中心位置處的該候選亮度樣本被隱式地選擇作為該亮度同位樣本，而不在一位元流中發送。
  5. 如請求項1所述之視訊編解碼方法，其中，一第一分類索引基於對該當前像素位置所選擇的該等亮度和色度同位樣本的該等值來計算，該方法還包括: 基於多個相鄰候選亮度樣本（在該當前像素位置的該鄰近區域）相對於一特定閾值之間的多個差值計算一第二分類索引， 其中，該像素分類藉由使用該第一分類索引和該第二分類索引來選擇。
  6. 如請求項5所述之視訊編解碼方法，其中，該特定閾值基於該當前樣本的一位元深度來決定。
  7. 如請求項1所述之視訊編解碼方法，其中，該當前像素位置的該鄰近區域的該等候選亮度樣本中只有一個有資格作為該當前像素位置的該亮度同位樣本。
  8. 如請求項1所述之視訊編解碼方法，其中， 該等候選亮度樣本包括九個亮度樣本，以及 該等候選亮度樣本的合格的該子集包括四個候選亮度樣本。
  9. 如請求項7所述之視訊編解碼方法，其中，從該等候選亮度樣本的合格的該子集中選擇的兩個或多個候選亮度樣本的一線性平均值被用作所選擇的該亮度同位樣本。
  10. 一種電子裝置，包括： 視訊編解碼器電路被配置為執行包括以下多個操作： 接收正在編解碼的一當前塊的一當前像素位置處的一當前樣本； 選擇一個亮度樣本和兩個色度樣本作為該當前像素位置的多個亮度和色度同位樣本， 其中，只有該當前像素位置的一鄰近區域的多個候選亮度樣本的一子集才有資格被選擇作為該亮度同位樣本或用於導出該當前像素位置的該亮度同位樣本； 基於對該當前像素位置所選擇的該等亮度和色度同位樣本的多個值，從多個像素分類中選擇一像素分類； 根據所選擇的該像素分類執行一偏移的一查找； 應用該偏移來更新該當前樣本；以及 基於更新的該當前樣本對該當前塊進行編碼或解碼。
  11. 一種視訊解碼方法，包括： 接收正在解碼的一當前塊的一當前像素位置處的一當前樣本； 選擇一個亮度樣本和兩個色度樣本作為該當前像素位置的多個亮度和色度同位樣本， 其中，只有該當前像素位置的一鄰近區域的多個候選亮度樣本的一子集才有資格被選擇作為該亮度同位樣本或用於導出該當前像素位置的該亮度同位樣本； 基於對該當前像素位置所選擇的該等亮度和色度同位樣本的多個值，從多個像素分類中選擇一像素分類； 根據所選擇的該像素分類執行一偏移的一查找； 應用該偏移來更新該當前樣本；以及 基於更新的該當前樣本對該當前塊進行重構。
  12. 一種視訊編碼方法，包括： 接收正在編碼的一當前塊的一當前像素位置處的一當前樣本； 選擇一個亮度樣本和兩個色度樣本作為該當前像素位置的多個亮度和色度同位樣本， 其中，只有該當前像素位置的一鄰近區域的多個候選亮度樣本的一子集才有資格被選擇作為該亮度同位樣本或用於導出該當前像素位置的該亮度同位樣本； 基於對該當前像素位置所選擇的該等亮度和色度同位樣本的多個值，從多個像素分類中選擇一像素分類； 根據所選擇的該像素分類執行一偏移的一查找； 應用該偏移來更新該當前樣本；以及 基於更新的該當前樣本對該當前塊進行編碼。
TW112116014A 2022-04-29 2023-04-28 視訊編解碼方法及其裝置 TW202349953A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263336402P 2022-04-29 2022-04-29
US63/336,402 2022-04-29
WOPCT/CN2023/091768 2023-04-28
PCT/CN2023/091768 WO2023208219A1 (en) 2022-04-29 2023-04-28 Cross-component sample adaptive offset

Publications (1)

Publication Number Publication Date
TW202349953A true TW202349953A (zh) 2023-12-16

Family

ID=88517895

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112116014A TW202349953A (zh) 2022-04-29 2023-04-28 視訊編解碼方法及其裝置

Country Status (2)

Country Link
TW (1) TW202349953A (zh)
WO (1) WO2023208219A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10382754B2 (en) * 2014-04-29 2019-08-13 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
US11792433B2 (en) * 2020-09-28 2023-10-17 Sharp Kabushiki Kaisha Systems and methods for signaling profile and level information in video coding
CN114125445B (zh) * 2021-06-30 2023-03-24 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Also Published As

Publication number Publication date
WO2023208219A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN112042189B (zh) 照度补偿方法及相应的电子装置
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US11297320B2 (en) Signaling quantization related parameters
US11936890B2 (en) Video coding using intra sub-partition coding mode
WO2021136375A1 (en) Video encoding or decoding methods and apparatuses related to high-level information signaling
CN113196783A (zh) 去块效应滤波自适应的编码器、解码器及对应方法
US10999604B2 (en) Adaptive implicit transform setting
US20210152826A1 (en) Specifying Video Picture Information
TW202349953A (zh) 視訊編解碼方法及其裝置
WO2023198187A1 (en) Template-based intra mode derivation and prediction
WO2024016955A1 (en) Out-of-boundary check in video coding
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
WO2024012576A1 (en) Adaptive loop filter with virtual boundaries and multiple sample sources
US20240187623A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
WO2023131299A1 (en) Signaling for transform coding
WO2023208063A1 (en) Linear model derivation for cross-component prediction by multiple reference lines
US20220248031A1 (en) Methods and devices for lossless coding modes in video coding
WO2023143173A1 (en) Multi-pass decoder-side motion vector refinement
WO2023217235A1 (en) Prediction refinement with convolution model
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
US20220353516A1 (en) Method for adaptively setting resolution, and image decoding apparatus
TW202412521A (zh) 具有虛擬邊界和多樣本源的適應性環濾波器
TW202402054A (zh) 用於候選清單的相似性閾值
TW202406348A (zh) 視訊編解碼方法及其裝置
TW202412520A (zh) 具有適應性濾波強度的適應性環路濾波器