TWI811070B - 視訊編解碼方法及裝置 - Google Patents

視訊編解碼方法及裝置 Download PDF

Info

Publication number
TWI811070B
TWI811070B TW111131420A TW111131420A TWI811070B TW I811070 B TWI811070 B TW I811070B TW 111131420 A TW111131420 A TW 111131420A TW 111131420 A TW111131420 A TW 111131420A TW I811070 B TWI811070 B TW I811070B
Authority
TW
Taiwan
Prior art keywords
codec
block
color
residual block
joint
Prior art date
Application number
TW111131420A
Other languages
English (en)
Other versions
TW202310623A (zh
Inventor
賴貞延
莊子德
陳慶曄
陳俊嘉
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202310623A publication Critical patent/TW202310623A/zh
Application granted granted Critical
Publication of TWI811070B publication Critical patent/TWI811070B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用於利用多色分量的聯合編解碼的視訊編碼和解碼系統的方法和裝置被公開。在視訊編碼側,用於第一顏色塊的第一殘差塊和用於第二顏色塊的第二殘差塊被確定。確定目標條件是否被滿足,其中目標條件屬於組,該組包括與聯合殘差塊的非零量化係數的數量相關聯的第一條件。當目標條件被滿足時,聯合多色編解碼被禁用。當目標條件不被滿足時,聯合多色編解碼被啟用。因此,當目標條件被滿足時,不需要信令來指示聯合多色編解碼是否被啟用。

Description

視訊編解碼方法及裝置
本發明涉及視訊編解碼系統。具體地,本發明涉及視訊編解碼系統中多色分量的有效聯合編解碼。
多功能視訊編解碼(versatile video coding,簡稱VVC)是由ITU-T視訊編解碼專家組(Video Coding Experts Group,簡稱VCEG)和 ISO/IEC 運動圖像專家組(Moving Picture Experts Group,簡稱MPEG)的聯合視訊專家組(Joint Video Experts Team,簡稱JVET)開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈:ISO/IEC 23090-3:2021,資訊技術-沉浸式媒體的編碼表示-第3部分:多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼(High Efficiency Video Coding,簡稱HEVC)藉由添加更多的編解碼工具來提高編解碼效率並處理包括三維(3-dimensional,簡稱3D)視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編碼系統。對於幀內預測,​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112,運動估計(Motion Estimation,簡稱ME)在編碼器側執行以及運動補償(Motion Compensation,簡稱MC)基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112,以及選擇的預測資料被提供至加法器116以形成預測誤差,也被稱為殘差。然後預測誤差由變換(Transform,簡稱T) 118接著量化(Quantization,簡稱Q)120處理。然後經變換和量化的殘差由熵編碼器122進行編碼,以包括在對應於壓縮視訊資料的視訊位元流中。然後,與變換係數相關聯的位元流與輔助資訊(諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊)和其他資訊(與應用於底層圖像區域的環路濾波器相關聯的參數等)打包。如第1A圖所示,與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時,一個或多個參考圖片也必須在編碼器端重構。因此,經變換和量化的殘差由逆量化(Inverse Quantization,簡稱IQ)124和逆變換(Inverse Transformation,簡稱IT)126處理以恢復殘差。然後殘差在重構(REC)128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示,輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理,來自REC 128的重構視訊資料可能會受到各種損害。因此,在重構視訊資料被存儲在參考圖片緩衝器134中之前,環路濾波器130通常被應用於重構視訊資料,以提高視訊品質。例如,去塊濾波器(deblocking filter,簡稱DF)、樣本適應性偏移(Sample Adaptive Offset,簡稱SAO)和適應性環路濾波器(Adaptive Loop Filter,簡稱ALF)可被使用。環路濾波器資訊可能需要被合併到位元流中,以便解碼器可以正確地恢復所需的資訊。因此,環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中,在重構樣本被存儲在參考圖片緩衝器134中之前,環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼(High Efficiency Video Coding,簡稱HEVC)系統、VP8、VP9、H.264或VVC。
解碼器可以使用與編碼器相似或部分相同的功能塊,除了變換118 和量化120,因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊(例如,ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反,解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外,對於幀間預測,解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償(MC 152)無需運動估計。
根據VVC,輸入圖片被劃分為稱為編解碼樹單元(Coding Tree unit,簡稱CTU)的非重疊方形塊區域,類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元(coding unit,簡稱CU)。生成的CU分區可以是正方形或矩形。此外,VVC將CTU劃分為預測單元(prediction unit,簡稱PU)作為一個單元來應用預測處理,例如幀間預測、幀內預測等。
VVC標準結合了各種新的編解碼工具,與HEVC標準相比,進一步提高了編解碼效率。在各種新的編解碼工具中,有些已經被標準採用,有些沒有。在新的編解碼工具中,一種名為色度殘差聯合編碼(Joint coding of chroma residual,簡稱JCCR)的技術已被公開。JCCR簡要回顧如下。
色度殘差聯合 編解碼( Joint Coding of Chroma Residual ,簡稱 JCCR
VVC(Adrian Browne, et al., “Algorithm description for Versatile Video Coding and Test Model 14 (VTM 14)”, Joint Video Exploration Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 23rd Meeting, by teleconference, 7–16 July 2021, Document: W2002)支援色度殘差聯合編解碼(joint coding of chroma residual,簡稱JCCR)工具(JVET-W2002 的第 3.5.7 節),其中顏色分量的色度殘差被聯合編解碼。JCCR模式的使用(即啟用)由TU級標誌 tu_joint_cbcr_residual_flag指示,所選模式由色度編解碼塊標誌(即coded block flag,簡稱cbf)隱式指示。如果TU的一個或兩個色度cbf等於 1,則存在標誌 tu_joint_cbcr_residual_flag。在圖片參數集(Picture Parameter Set,簡稱PPS)和片段報頭中,對JCCR模式發送色度量化參數(quantization parameter,簡稱QP)偏移值以區別於通常的對常規色度殘差編解碼模式發送的色度QP偏移值。這些色度QP偏移值用於導出由JCCR模式進行編解碼的一些塊的色度QP值。JCCR模式有3個子模式。當對應的JCCR子模式(即表3-11中的子模式2)在TU中被啟用時,該色度QP 偏移會在該TU的量化和解碼期間被添加到所應用的亮度導出的色度QP。對於其他JCCR子模式(即表3-11中的子模式1和3),色度QP的導出方式與常規Cb或Cr塊相同。來自傳輸的變換塊的色度殘差(resCb 和 resCr)的重構處理在JVET-W2002的表3-11中被描述。當JCCR模式被啟用時,一個單個的聯合色度殘差塊(表3-11中的resJointC[x][y])被發送,以及Cb 的殘差塊(resCb)和Cr的殘差塊(resCr)在考慮資訊(比如tu_cbf_cb、tu_cbf_cr和CSign,其中CSign是片段報頭中指定的符號值)的情況下導出。
在編碼器端,聯合色度分量的導出如下所述。根據模式(mode),編碼器會生成resJointC{1,2},如下所示:
–如果模式等於2(具有重構Cb = C,Cr = CSign * C 的單個殘差),則聯合殘差根據下式確定: resJointC[ x ][ y ] =( resCb[ x ][ y ] + CSign * resCr[ x ][ y ] )/ 2
–否則,如果模式等於1(具有重構Cb = C,Cr=(CSign * C)/ 2的單個殘差),則聯合殘差根據下式確定: resJointC[ x ][ y ] =(4 * resCb[ x ][ y ]+2 * CSign * resCr[ x ][ y ] )/ 5
–否則(模式等於3,即單個殘差,重構Cr = C,Cb=(CSign * C)/ 2),則聯合殘差由下式確定: resJointC[ x ][ y ] =(4 * resCr[ x ][ y ]+2 * CSign * resCb[ x ][ y ])/ 5
W2002 的表 3-11- 色度殘差的 重構。 CSign 值是符號值( +1 -1 ),在片段報頭中指定, resJointC [ ][ ] 是傳輸的殘差。
tu_cbf_cb tu_cbf_cr Cb and Cr殘差的重構 模式
1 0 resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] =(CSign * resJointC[ x ][ y ])>> 1 1
1 1 resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = CSign * resJointC[ x ][ y ] 2
0 1 resCb[ x ][ y ] = ( CSign * resJointC[ x ][ y ] )>> 1 resCr[ x ][ y ] = resJointC[ x ][ y ] 3
上述表3-11中描述的三種聯合色度編解碼子模式僅在I片段中支援。在P和B片段中,僅模式2被支援。因此,在P和B片段中,語法元素 tu_joint_cbcr_residual_flag 僅在兩個色度cbf都為1時才存在(即,塊中存在至少一個非零係數)。
JCCR模式可以與色度變換跳過(transform skip,簡稱TS)模式結合使用(TS模式的更多細節可以在JVET-W2002的第3.9.3節中找到)。為了加快編碼器的決策,JCCR變換的選擇取決於Cb和Cr分量的獨立編碼是選擇DCT-2還是TS作為最佳變換,以及獨立色度編解碼中是否存在非零係數。具體來說,如果一個色度分量選擇DCT-2(或TS)而另一個分量全為零,或者兩個色度分量都選擇DCT-2(或TS),那麼JCCR編碼中將只考慮DCT-2(或TS)。否則,如果一個分量選擇DCT-2而另一個分量選擇TS,那麼在JCCR編碼中將同時考慮DCT-2和TS。
雖然JCCR編解碼工具可以提高編解碼效率,但它需要對每個塊發送一個標誌(即jccr_flag)。在一些情況下,這種開銷資訊甚至可能會損害整體編解碼效率。因此,需要開發方案以在所有情況下保持編解碼效率。
一種利用多色分量的聯合編解碼的視訊編碼和解碼系統的方法和裝置被公開。根據該方法,在視訊編碼側,包括視訊單元的多色塊的輸入資料被接收,其中所述多色塊至少包括對應於第一顏色分量的第一顏色塊和對應於第二色分量的第二顏色塊。第一顏色塊的第一殘差塊藉由使用第一預測子來確定。第二顏色塊的第二殘差塊藉由使用第二預測子來確定。確定目標條件是否被滿足,其中目標條件屬於組,該組包括與聯合殘差塊的非零量化係數的數量相關聯的第一條件或與多色塊的編解碼單元大小相關聯的第二條件;以及聯合殘差塊基於第一殘差塊和第二殘差塊生成。當目標條件被滿足時,聯合多色編解碼藉由始終分別編碼第一殘差塊和第二殘差塊來禁用。當目標條件不被滿足時,如果對應於該聯合多色編解碼的模式被啟用,則藉由編碼聯合殘差塊而不是分別編碼第一殘差塊和第二殘差塊來啟用該聯合多色編解碼。然後包括用於聯合殘差塊或分別用於第一殘差塊和第二殘差塊的編解碼資料的視訊位元流被生成。
在解碼器側,包括用於視訊單元的多色塊的編碼資料的視訊位元流被接收,其中多色塊至少包括對應於第一顏色分量的第一顏色塊和對應於第二顏色分量的第二顏色塊。確定目標條件是否被滿足,其中目標條件屬於組,該組包括與從編解碼資料解碼的聯合殘差塊的非零量化係數的數量相關聯的第一條件或與多色塊的編解碼單元大小相關聯的第二條件。當目標條件被滿足時,第一顔色塊的第一殘差塊和第二顔色塊的第二殘差塊基於編解碼資料分別導出。當目標條件不被滿足時,如果對應於聯合多色編解碼的模式被啟用於多色塊,則第一殘差塊和第二殘差塊從聯合殘差塊導出。
在另一實施例中,目標條件對應於非零量化係數的數量小於閾值。閾值可以被預先定義或從視訊位元流中解碼。閾值可以取決於與多色塊相關聯的CU大小。
在又一實施例中,第一顏色分量對應於亮度分量以及第二顏色分量對應於色度分量,或者第一顏色分量和第二顏色分量都對應於色度分量。
在又一實施例中,該組還包括對應於啟用雙亮度-色度樹的第三條件。在又一實施例中,該組還包括對應於啟用交叉分量線性模型預測(Cross-component Linear Model prediction)的第四條件。
在一實施例中,聯合多色編解碼對應的模式具有多個子模式,當目標條件不被滿足時,第一子模式基於重構的多色塊候選與L形相鄰重構像素之間的邊界匹配隱式確定。
在一實施例中,根據從視訊位元流解碼的標誌,對編解碼樹單元(Coding Tree Unit,簡稱CTU)、片段、圖塊或圖片選擇模式的不同數量的子模式。
容易理解的是,如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此,如附圖所示,本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍,而僅僅代表本發明的所選實施例。本說明書中對“實施例”,“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵,結構或特性可以包括在本發明的至少一實施例中。因此,貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外,所描述的特徵,結構或特性可在一個或多個實施例中以任何合適的方式組合。然而,相關領域的習知技藝者將認識到,可在沒有一個或多個具體細節的情況下或者利用其他方法,組件等來實施本發明。在其他情況下,未示出或詳細描述公知的結構或操作,以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例,其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例,並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
在視訊編解碼處理中,預測後,預測子與原始樣本(殘差)之間的差值將被編碼並傳輸到解碼器。對殘差進行編碼的基本流程包括變換、量化、逆量化和逆變換,如第1A圖和第1B圖所描述。
VVC支援色度殘差聯合編解碼(joint coding of chroma residual,簡稱JCCR)工具,其中色度殘差被聯合編解碼。它有助於更有效地編碼色度殘差,因為Cb和Cr顏色分量之間的強相關性的可能性很高。然而,所有顏色分量(包括亮度分量)之間的殘差通常表現出一些相關性。為了進一步提高JCCR的編解碼效率,下面公開一些改進的方法。
聯合編解碼多色分量( Joint Coding Multi-Colour Component ,簡稱 JCMC
為了利用Y、Cb和Cr殘差之間的相關性,我們公開了聯合編解碼Y、Cb和Cr顏色分量殘差的方法。變換後的殘差用於生成聯合編解碼殘差。在解碼器中,Y(resY)、Cb(resCb)和Cr(resCr)的殘差塊是在考慮位元流中發送的資訊和預定規則的情況下導出。
在一實施例中,僅一個聯合殘差被編碼以及在解碼器中被解碼。殘差塊Y、Cb和Cr可以藉由預定的公式導出。例如,殘差塊Y等於聯合殘差的像素值,殘差塊Cb等於聯合殘差的像素值的一半,殘差塊Cr等於聯合殘差的像素值乘以(-1/2)。在另一實施例中,僅一個聯合殘差被編碼以及在解碼器中被解碼。殘差塊Y、Cb和Cr可以藉由預定公式導出,該公式由位元流中發送的索引(jcmc_mode_idx) 指示。不同的公式對應不同的子模式,索引(jcmc_mode_idx)表示正在選擇的特定子模式。例如,如果jcmc_mode_idx等於1,則殘差塊Y等於聯合殘差的像素值,殘差塊Cb等於聯合殘差的像素值的一半,殘差塊Cr等於聯合殘差的像素值乘以(-1/2)。否則,如果jcmc_mode_idx等於2,則殘差塊Y等於聯合殘差的像素值,殘差塊Cb等於聯合殘差的像素值乘以(-1/2),殘差塊Cr等於聯合殘差的像素值的一半。對於另一示例,預定公式被使用。公式中使用的參數可以在位元流中發送。在下面的公式中,A和B可以由位元流中發送的資訊來表示。在另一實施例中,預定公式可以是具有或不具有非線性運算的任一線性運算,例如最小、最大或剪裁運算(clipping oprerations)。 殘差塊Y=聯合殘差塊 殘差塊Cb=殘差塊Y * A 殘差塊Cr=殘差塊Y * B
在另一實施例中,兩個聯合殘差(聯合殘差1和聯合殘差2)被編碼以及在解碼器中被解碼。它們用於藉由預定公式導出殘差塊Y、Cb和Cr。例如,殘差塊Y等於聯合殘差1和2的像素值的平均,殘差塊Cb等於聯合殘差1的像素值一半加上聯合殘差2的像素值的四分之一,殘差塊Cr等於聯合殘差1的像素值乘以(-1/2)與聯合殘差2的像素值乘以(-1/4)四分之一的總和。在另一實施例中,兩個聯合殘差被編碼以及在解碼器中被解碼。殘差塊Y、Cb和Cr的每個樣本都可以藉由轉換後的聯合殘差導出。換言之,在兩個聯合殘差被解碼後,一個或多個轉換後的聯合殘差被導出,以及殘差塊Y、Cb和Cr由一個或多個轉換後的聯合殘差生成。例如,為了導出殘差塊Y、Cb和Cr的位置(x, y)處的樣本值,逆哈達瑪變換應用於二維資料,[位置(x, y)的聯合殘差1中的樣本值,位置(x, y)的聯合殘差2中的樣本值]生成對應位置(x, y)的兩個轉換後的聯合殘差樣本[conv-value-1, conv-value-2]。之後,位置(x,y)的殘差塊Y、Cb和Cr可被導出。殘差塊Y位置(x, y)的樣本值等於conv-value-1,殘差塊Cb位置(x, y)的樣本值等於負conv-value-1加上conv-value-2,以及殘差塊Cr位置(x, y)處的樣本值等於conv-value-1加上負conv-value-2。
在另一實施例中,一個或多個聯合殘差在編碼器中測試以及不同的預定推導公式被測試。它們可以被視為不同的預測模式。在解碼器中,在位元流中發送的一組語法可被用來指示哪種模式以及哪種預定推導公式被使用。根據公式,殘差塊Y、Cb和Cr可被推導出。在另一實施例中,可以根據CU或片段資訊(例如編解碼模式)、變換類型、預測方向、運動資訊、幀內預測模式、片段類型等,隱式選擇可以在不同模式或推導公式之間進行。
在另一實施例中,編碼器不需要將JCMC子模式(用於指示預定公式)發送給解碼器;相反,解碼器可以使用邊界匹配來隱式選擇一個合適的子模式。例如,如果有3個子模式,解碼器可以使用每個子模式推導出亮度殘差,以及將殘差與預測子相加得到臨時重構;以及解碼器可以將重構與L-相鄰(即當前CU的左/上鄰重構像素)進行比較,比較邊界平滑度以及選擇具有最佳邊界平滑度的最佳子模式(從3個子模式中)。換句話說,對所有候選(即所有子模式)評估邊界平滑度,以及選擇實現最佳邊界平滑度的候選。邊界平滑度是跨邊界平滑度的度量。通常,正確重構的塊預計會在邊界上看到較少的不連續性(即更平滑)。在另一實施例中,解碼器可以藉由隱式比較臨時重構(即,將假定的JCMC子模式殘差添加到預測子)與參考圖片(使用當前MC)來選擇最佳子模式,以計算 SAD/SSD,最佳的JCMC將被隱式地決定為具有最小SAD/SSD的JCMC。
在另一實施例中,對於一個大的CU,可以將當前的CU劃分為多個子TB,而不是用於亮度的一個TB,對於每個子TB,我們可以使用不同的JCMC子模式。在另一實施例中,不同的子TB JCMC子模式可以藉由比較對應子TB的臨時重構(即,將當前子TB與對應的預測子區域相加)與參考圖片(或邊界平滑度的當前L相鄰像素)。以這種方式,不需要對不同子TB的多個JCMC子模式發送語法。
在另一實施例中,編碼器可以決定哪些模式將用於當前CTU/片段/圖塊/圖片,以及在CTU/片段/圖塊/圖片中發送標誌。例如,共有4個預定JCMC子模式。但是,對於一些CTU,只有1個子模式有用。因此,編碼器可以發送標誌來指示那些僅使用1個JCMC子模式的CTU。因此,對於此類CTU中的每個CU,JCMC模式標誌可被保存,因為只有一個子模式可用。
在另一實施例中,如果塊中的非零殘差的數量很小或CU大小很小,則對JCMC模式發送額外的標誌將是低效的。因此,建議對高QP隱式關閉JCMC 模式,或對小CU隱式關閉幀内模式。當較大的QP值被使用時,將導致較少的非零殘差。換言之,在本發明的一個實施例中,當殘差塊中的非零係數的數量較少時,JCMC模式被關閉。由於解碼器可以確定殘差塊中非零係數的數量是否很少,解碼器可以做出與編碼器相同的決定,而無需發送標誌。因此,JCMC模式可以被隱式關閉,因為發送JCMC標誌可能不利於編解碼效率。在另一種情況下,當CU的當前預測子(即不添加殘差)像素與頂部/左側相鄰重構像素非常相似時,殘差可能很小。由於解碼器在這種情況下也可以確定當前預測子是否與頂部/左側相鄰重構像素相似,因此,JCMC模式可被隱式關閉或隱式減少模式數量(例如,隱式減少CU的4個模式到2個模式),無需發送JCMC標誌。
在一實施例中,是否關閉JCMC模式可以藉由將殘差塊中的非零係數的數量與閾值(例如,閾值=3或5)進行比較來確定。如果殘差塊中非零係數的數量小於(或小於或等於)閾值,則JCMC模式被關閉(即被禁用)。否則,JCMC 模式被打開(即啟用)。閾值可預先定義或在視訊位元流中發送。此外,閾值可以取決於CU大小。 例如,對於較大的CU大小,閾值較大。
在另一實施例中,當顏色分量之間的相關性較小時,聯合編解碼多顏色分量(jointly coding multi-colour components,簡稱JCMC)技術被禁用。例如,當雙樹(例如,由不同的分區樹編解碼的亮度和色度)被啟用時JCMC將不會被應用。再比如,JCMC不會與低頻不可分離變換(Low-Frequency Non-Separable Transform,簡稱LFNST)同時啟用。眾所周知,LFNST是VVC(JVET-W2002)中包含的另一新編解碼工具。再比如,JCMC不會與多重變換選擇(Multiple Transform Selection,簡稱MTS)同時啟用。眾所周知,MTS是VVC(JVET-W2002)中包含的又一新編解碼工具。再比如,JCMC可以與MTS一起啟用,但生成聯合編解碼殘差的功能可以與DCT-2不同或相同。又比如,對於幀內編解碼的塊,當不同顏色分量的幀內預測方向不相同時,JCMC不被允許使用。在另一實施例中,當使用交叉分量線性模型(Cross-Component Linear Mode,簡稱CCLM)時,JCMC被隱式地應用。也就是說,根據本發明的實施例,不需要向解碼器發送額外語法。CCLM模式的使用意味著顏色分量之間的高度相關性。因此,如果CCLM被執行,則根據本發明的一個實施例JCMC將始終被應用。眾所周知,CCLM是VVC(JVET-W2002)中包含的另一新編解碼工具。
對於幀內預測,​​右下區域的幀內預測預測子離L相鄰更遠,並且不準確。因此,CU的右下部分往往具有較大的殘差(在空間域中)值。如果色度幀內角與亮度幀內角相似,則右下區域幀內預測的不準確性將在亮度幀內預測和色度幀內預測之間保持一致。因此,對於幀內預測,​​亮度殘差和色度殘差更可能相似。因此,根據本發明的一個實施例,僅對幀內模式啟用亮度到色度殘差JCMC模式。換言之,對於幀間模式,亮度到色度殘差JCMC模式被禁用。在另一實施例中,在幀內預測模式中,我們可以將當前的亮度TB和色度TB分成4個區域(例如,左上、右上、左下、右下)。對於右下部分,我們可以使用JCMC來處理以及;對於其他部分,我們可以使用常規的變換方法。例如,對於其他部分,我們可以簡單地使用0來填充右下部分以形成填充的整個TB,以及將Y/Cb/Cr常規變換應用於填充的整個TB。對於右下部分,我們可以應用JCMC並發送結果。在解碼器端,這4個部分可以相應地被重構。
在上述公開中,JCMC模式的“開啟”是指JCMC模式被致能,從而殘差塊被允許使用JCMC模式。只有當JCMC模式為“開啟”時,殘差塊才有使用JCMC模式的選項。殘差塊是否使用JCMC由編碼器決定。如果JCMC模式產生有利的結果,則JCMC模式被應用於(或啟用於)殘差塊。當JCMC模式被開啟時,編碼器可以決定不對殘差塊應用(或啟用於)JCMC。在上述公開中,JCMC模式的“關閉”是指JCMC模式被禁用,使得殘差塊不被允許使用JCMC模式。
任一前述提出的方法都可以在編碼器和/或解碼器中實現。例如,任一提出的方法都可以在編碼器和/或解碼器的幀間/幀內編解碼中實現。或者,所提出的任一方法都可以實現為耦合到編碼器和/或解碼器的幀間/幀內編解碼的電路,以提供幀間/幀內編解碼所需的資訊。
第2圖示出根據本發明實施例的利用多色分量的聯合編解碼的示例視訊解碼系統的流程圖。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器(例如,一個或多個CPU)上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現,例如一個或多個電子設備或處理器,這些電子設備或處理器被佈置為執行流程圖中的步驟。根據該方法,在步驟210中,視訊位元流被接收,該視訊位元流包括用於視訊單元的多色塊的編解碼資料,其中多色塊至少包括對應於第一顔色分量的第一顔色塊和對應於第二顔色分量的第二顔色塊。在步驟220中,確定目標條件是否被滿足,其中目標條件屬於組,該組包括與從編解碼資料解碼的聯合殘差塊的非零量化係數的數量相關聯的第一條件或與多色塊的編解碼單元大小相關聯的第二條件。當目標條件被滿足時,步驟230被執行。否則,步驟240被執行。在步驟230中,第一顏色塊的第一殘差塊和第二顏色塊的第二殘差塊基於編解碼資料分別被導出。在步驟240中,如果對應於聯合多色編解碼的模式被啟用於多色塊,則第一殘差塊和第二殘差塊均從聯合殘差塊導出。
第3圖示出根據本發明實施例的利用多色分量的聯合編解碼的示例性視訊編碼系統的流程圖。根據該方法,在步驟310,包括視訊單元的多色塊的輸入資料被接收,其中多色塊至少包括對應於第一顔色分量的第一顔色塊和對應於的第二顔色分量的第二顔色塊。在步驟320中,第一顔色塊的第一殘差塊藉由使用第一預測子來確定。在步驟330中,第二顔色塊的第二殘差塊藉由使用第二預測子來確定。在步驟340中,確定目標條件是否被滿足,其中目標條件屬於組,該組包括與聯合殘差塊的非零量化係數的數量相關聯的第一條件或與多色塊的編解碼單元大小相關聯的第二條件,以及其中聯合殘差塊基於第一殘差塊和第二殘差塊生成。當目標條件被滿足時,步驟350被執行。否則,步驟360被執行。在步驟350中,聯合多色編解碼藉由分別對第一殘差塊和第二殘差塊進行編碼來禁用。在步驟360中,如果對應於聯合多色編解碼的模式被啟用於多色塊,則所述聯合多色編解碼藉由編碼該聯合殘差塊而不是分別編碼第一殘差塊和第二殘差塊來啟用。在步驟370中,視訊位元流被生成,該視訊位元流包括用於聯合殘差塊的或分別用於第一殘差塊和第二殘差塊的編解碼資料。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。本領域技術人員在不脫離本發明的精神的情況下,可以修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中,特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明,而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的,並且本文定義的一般原理可以應用於其他實施例。因此,本發明不旨在限於所示和描述的特定實施例,而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中,為了提供對本發明的透徹理解,說明了各種具體細節。然而,本領域的技術人員將理解,本發明可被實施。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如,本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器(Digital Signal Processor,簡稱DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array,簡稱FPGA)執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而,軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下,本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此,本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210、220、230、240、310、320、330、330、340、350、360:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出第1A圖中的編碼器的對應解碼器。 第2圖示出根據本發明實施例的利用多色分量的聯合編解碼的示例性視訊解碼系統的流程圖。 第3圖示出根據本發明實施例的利用多色分量的聯合編解碼的示例性視訊編碼系統的流程圖。
210、220、230、240:步驟

Claims (20)

  1. 一種視訊解碼方法,該方法包括:接收包括用於一視訊單元的一多色編解碼塊的編解碼資料的一視訊位元流,其中該多色編解碼塊至少包括對應於一第一顏色分量的一第一顏色塊和對應於一第二顏色分量的一第二顏色塊;確定一目標條件是否被滿足,其中該目標條件屬於一組,該組包括與從該編解碼資料解碼的一聯合編解碼殘差塊的多個非零量化係數的一數量相關聯的一第一條件或與該多色編解碼塊的一編解碼單元大小相關聯的一第二條件;如果該目標條件被滿足:基於該編解碼資料分別導出該第一顔色塊的一第一殘差塊和該第二顔色塊的一第二殘差塊;以及否則:如果對應於聯合多色編解碼的一模式被啟用於該多色編解碼塊,從該聯合編解碼殘差塊導出一第一殘差塊和一第二殘差塊,其中,該目標條件對應於該等非零量化係數的該數量小於一閾值。
  2. 如請求項1所述之視訊解碼方法,其中,該閾值被預先定義或從該視訊位元流中解碼。
  3. 如請求項1所述之視訊解碼方法,其中,該閾值取決於與該多色編解碼塊相關聯的一編解碼單元大小。
  4. 如請求項1所述之視訊解碼方法,其中,該第一顔色分量對應於一亮度分量,該第二顔色分量對應於一色度分量,或者該第一顔色分量和該第二顔色分量對應於多個色度分量。
  5. 如請求項1所述之視訊解碼方法,其中,該組還包括對應於啟用多個雙亮度-色度樹的一第三條件。
  6. 如請求項1所述之視訊解碼方法,其中,該組還包括對應於啟用交叉分量線性模型預測的一第四條件。
  7. 如請求項1所述之視訊解碼方法,其中,該聯合多色編解碼對應的該模式具有多個子模式,當該目標條件不被滿足時,一第一子模式基於重構的聯合多色編解碼塊的多個候選與多個L形相鄰重構像素邊界之間的邊界匹配隱式確定。
  8. 如請求項1所述之視訊解碼方法,其中,根據從該視訊位元流解碼的多個標誌,對多個編解碼樹單元、片段、圖塊或圖片選擇該模式的多個不同數量的子模式。
  9. 一種視訊解碼裝置,該裝置包括一個或多個電子電路或處理器,用於:接收包括用於一視訊單元的一多色編解碼塊的編解碼資料的一視訊位元流,其中該多色編解碼塊至少包括對應於一第一顏色分量的一第一顏色塊和對應於一第二顏色分量的一第二顏色塊;確定一目標條件是否被滿足,其中該目標條件屬於一組,該組包括與從該編解碼資料解碼的一聯合編解碼殘差塊的多個非零量化係數的一數量相關聯的一第一條件或與該多色編解碼塊的一編解碼單元大小相關聯的一第二條件;如果該目標條件被滿足:基於該編解碼資料分別導出該第一顔色塊的一第一殘差塊和該第二顔色塊的一第二殘差塊;以及否則:如果對應於聯合多色編解碼的一模式被啟用於該多色編解碼塊,從該聯合編解碼殘差塊導出一第一殘差塊和一第二殘差塊,其中,該目標條件對應於該等非零量化係數的該數量小於一閾值。
  10. 一種視訊編碼方法,該方法包括:接收包括一視訊單元的一多色編解碼塊的輸入資料,其中該多色編解碼塊至少包括對應於一第一顏色分量的一第一顏色塊和對應於一第二顏色分量的一第二顏色塊;藉由使用一第一預測子確定該第一顔色塊的一第一殘差塊;藉由使用一第二預測子確定該第二顔色塊的一第二殘差塊;確定一目標條件是否被滿足,其中該目標條件屬於一組,該組包括與一聯合編解碼殘差塊的多個非零量化係數的一數量相關聯的一第一條件或與該多色編解碼塊的一編解碼單元大小相關聯的一第二條件,其中該聯合編解碼殘差塊基於該第一殘差塊和該第二殘差塊生成;如果該目標條件被滿足:藉由分別編碼該第一殘差塊和該第二殘差塊來禁用聯合多色編解碼;否則:如果對應於該聯合多色編解碼的一模式被啟用於該多色編解碼塊,則藉由編碼該聯合編解碼殘差塊而不是分別編碼該第一殘差塊和該第二殘差塊來啟用該聯合多色編解碼;以及生成一視訊位元流,該視訊位元流包括用於該聯合編解碼殘差塊或分別用於該第一殘差塊和該第二殘差塊的編解碼資料。
  11. 如請求項10所述之視訊編碼方法,其中,該目標條件對應於該等非零量化係數的該數量小於一閾值。
  12. 如請求項11所述之視訊編碼方法,其中,該閾值被預先定義或在該視訊位元流中編碼。
  13. 如請求項11所述之視訊編碼方法,其中,該閾值取決於與該多色編解碼塊相關聯的一編解碼單元大小。
  14. 如請求項10所述之視訊編碼方法,其中,該第一顔色分量對應於一亮度分量,該第二顔色分量對應於一色度分量,或者該第一顔色分量和該第二顔色分量對應於多個色度分量。
  15. 如請求項10所述之視訊編碼方法,其中,該組還包括對應於啟用多個雙亮度-色度樹的一第三條件。
  16. 如請求項10所述之視訊編碼方法,其中,該組還包括對應於啟用交叉分量線性模型預測的一第四條件。
  17. 如請求項10所述之視訊編碼方法,其中,該聯合多色編解碼對應的該模式具有多個子模式,當該目標條件不被滿足時,一第一子模式基於重構的聯合多色編解碼塊的多個候選與多個L形相鄰重構像素邊界之間的邊界匹配隱式確定。
  18. 如請求項10所述之視訊編碼方法,其中,多個不同數量的子模式被選擇用於多個編解碼樹單元、片段、圖塊或圖片。
  19. 如請求項18所述之視訊編碼方法,其中,用於該等編解碼樹單元、片段、圖塊或圖片的該等不同數量的子模式被編碼於該視訊位元流。
  20. 一種視訊編碼裝置,該裝置包括一個或多個電子電路或處理器,用於:接收包括一視訊單元的一多色編解碼塊的輸入資料,其中該多色編解碼塊至少包括對應於一第一顏色分量的一第一顏色塊和對應於一第二顏色分量的一第二顏色塊;藉由使用一第一預測子確定該第一顔色塊的一第一殘差塊;藉由使用一第二預測子確定該第二顔色塊的一第二殘差塊;確定一目標條件是否被滿足,其中該目標條件屬於一組,該組包括與一聯合編解碼殘差塊的多個非零量化係數的一數量相關聯的一第一條件或與該多色 編解碼塊的一編解碼單元大小相關聯的一第二條件,其中該聯合編解碼殘差塊基於該第一殘差塊和該第二殘差塊生成;如果該目標條件被滿足:藉由分別編碼該第一殘差塊和該第二殘差塊來禁用聯合多色編解碼;否則:如果對應於該聯合多色編解碼的一模式被啟用於該多色編解碼塊,則藉由編碼該聯合編解碼殘差塊而不是分別編碼該第一殘差塊和該第二殘差塊來啟用該聯合多色編解碼;以及生成一視訊位元流,該視訊位元流包括用於該聯合編解碼殘差塊或分別用於該第一殘差塊和該第二殘差塊的編解碼資料。
TW111131420A 2021-08-27 2022-08-22 視訊編解碼方法及裝置 TWI811070B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163237555P 2021-08-27 2021-08-27
US63/237,555 2021-08-27
WOPCT/CN2022/103718 2022-07-04
PCT/CN2022/103718 WO2023024712A1 (en) 2021-08-27 2022-07-04 Method and apparatus of joint coding for multi-colour components in video coding system

Publications (2)

Publication Number Publication Date
TW202310623A TW202310623A (zh) 2023-03-01
TWI811070B true TWI811070B (zh) 2023-08-01

Family

ID=85321370

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111131420A TWI811070B (zh) 2021-08-27 2022-08-22 視訊編解碼方法及裝置

Country Status (2)

Country Link
TW (1) TWI811070B (zh)
WO (1) WO2023024712A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202007163A (zh) * 2018-07-15 2020-02-01 大陸商北京字節跳動網絡技術有限公司 跨分量幀內預測模式導出

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
CN113906749B (zh) * 2019-04-30 2023-05-23 北京达佳互联信息技术有限公司 色度残差联合编码方法和装置
EP4070555A4 (en) * 2019-12-05 2023-01-25 Alibaba Group Holding Limited METHOD AND DEVICE FOR CHROMA SCANNING
US11375200B2 (en) * 2019-12-24 2022-06-28 Tencent America LLC Video coding method and device for controlling color component processing
WO2021138476A1 (en) * 2019-12-30 2021-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Coding of chrominance residuals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202007163A (zh) * 2018-07-15 2020-02-01 大陸商北京字節跳動網絡技術有限公司 跨分量幀內預測模式導出

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Adrian Browne et.al Algorithm description for Versatile Video Coding and Test Model 14 (VTM 14) Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 23rd Meeting, by teleconference 7–16 July 2021 https://jvet-experts.org/doc_end_user/documents/23_Teleconference/wg11/JVET-W2002-v1.zip *

Also Published As

Publication number Publication date
TW202310623A (zh) 2023-03-01
WO2023024712A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
TWI700919B (zh) 視訊編解碼方法/裝置及相應地存儲介質
WO2016066028A1 (en) Method of guided cross-component prediction for video coding
JP2022552339A (ja) ビデオコーディングにおけるクロマ量子化パラメータの使用
US9277227B2 (en) Methods and apparatus for DC intra prediction mode for video encoding and decoding
JP7322285B2 (ja) クロマデブロックフィルタリングのための量子化パラメータオフセット
US20190238843A1 (en) Devices and methods for video coding
TW201631974A (zh) 視訊編碼裝置、視訊解碼裝置、視訊編碼方法、視訊解碼方法及程式
US11871034B2 (en) Intra block copy for screen content coding
TWI768414B (zh) 用於視訊編解碼的跨分量適應性環路濾波的方法及裝置
TWI752438B (zh) 色度殘差縮放之延遲降低方法和裝置
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
TWI811070B (zh) 視訊編解碼方法及裝置
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
WO2022214055A1 (en) Interaction of multiple partitions
TW201626797A (zh) 視訊編碼裝置、視訊解碼裝置、視訊編碼方法、視訊解碼方法及程式
TW202042557A (zh) 視訊編解碼之方法和裝置
TWI853402B (zh) 視訊編解碼方法及相關裝置
TWI830482B (zh) 視訊編碼方法、裝置以及視訊解碼方法、裝置
WO2023246901A1 (en) Methods and apparatus for implicit sub-block transform coding
CN113632481B (zh) 色度残差缩放的延迟降低方法和装置
WO2023116716A1 (en) Method and apparatus for cross component linear model for inter prediction in video coding system
WO2022213966A1 (en) Neighbor Based Partitioning Constraints
TW202329688A (zh) 視訊編解碼方法及相關裝置
TW202335495A (zh) 視頻編解碼系統中多假設幀內模式的方法和裝置
TW202349956A (zh) 在視訊編解碼系統中使用解碼器導出的幀內預測的方法和裝置