TW202126044A - 視訊編碼或解碼系統中的視訊處理方法和裝置 - Google Patents

視訊編碼或解碼系統中的視訊處理方法和裝置 Download PDF

Info

Publication number
TW202126044A
TW202126044A TW109140730A TW109140730A TW202126044A TW 202126044 A TW202126044 A TW 202126044A TW 109140730 A TW109140730 A TW 109140730A TW 109140730 A TW109140730 A TW 109140730A TW 202126044 A TW202126044 A TW 202126044A
Authority
TW
Taiwan
Prior art keywords
transform
skip mode
block
transform skip
current
Prior art date
Application number
TW109140730A
Other languages
English (en)
Other versions
TWI770681B (zh
Inventor
向時達
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202126044A publication Critical patent/TW202126044A/zh
Application granted granted Critical
Publication of TWI770681B publication Critical patent/TWI770681B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊編解碼系統中的視訊處理方法和裝置包括：接收當前圖像中的當前塊的輸入視訊資料；確定變換跳過模式是否被致能用於當前圖像；當該變換跳過模式被致能時，在當前圖像所引用的SPS中發送或解析與用於致能變換跳過模式的大小約束相關聯的語法元素；當當前塊滿足大小約束時，確定變換跳過模式是否被應用於當前塊；當變換跳過模式被應用於當前塊時，根據該變換跳過模式處理該當前塊的殘差；以及對當前塊進行編碼或解碼。致能標誌在高級語法集合中發送或者從高級語法集合中解析，以確定變換跳過模式是否被致能用於當前圖像。

Description

變換跳過模式資訊傳訊方法和裝置
本發明的實施例總體上涉及視訊編碼或解碼系統中用於編碼或解碼視訊資料的視訊處理方法和裝置。更具體地，本發明的實施例涉及視訊編碼或視訊解碼系統中的變換跳過模式資訊的發送。
高效率視訊編解碼（High Efficiency Video Coding，HEVC）標準是在ITU-T研究組的視訊編解碼專家組成的聯合協作小組(Joint Collaborative Team on Video Coding, JCT-VC)開發的最新視訊編解碼標準。HEVC標準依賴於基於塊的編解碼結構，該結構將每個視訊圖像分成多個非重疊的方形編解碼樹單元（Coding Tree Unit，簡稱CTU）。視訊圖像或片段中的每個單獨CTU以光柵掃描順序處理。在HEVC主文檔中，CTU的最大和最小大小由序列參數集合（Sequence Parameter Set，簡稱SPS）中發送的語法元素指定。編解碼圖像可以由片段的集合表示，每個片段包含整數個CTU。藉由幀內預測或幀間預測使用最多兩個運動向量和參考索引，雙向預測（bi-predictive，簡稱B）片段被解碼，以預測每個塊的樣本值。藉由幀內預測或幀間預測使用最多一個運動向量和參考索引，預測（predictive，簡稱P）片段被解碼，以預測每個塊的樣本值。幀內（intra，簡稱I）片段僅使用幀內預測來進行解碼。
使用四分樹（quadtree，簡稱QT）分割結構，每個CTU被進一步遞迴地分割為一個或多個非重疊編解碼單元（Coding Units，簡稱CU），以適應各種局部特性。在QT分割結構的每個分割深度處，N×N塊是單葉CU或分成具有相等大小N/2×N/2的四個較小塊。具有M×M像素樣本大小的CTU是四分樹編解碼樹的根節點，以及四個M/2xM/2塊是從根節點分割的子四分樹節點。四個M/2xM/2塊中的每一個可成為藉由另一個QT分割而分割的父節點，以使四個子節點在每個空間維度中被進一步減小一半的大小。如果編解碼樹節點沒有被進一步分割，則其被稱為葉CU。葉CU大小被限制為大於或等於最小允許CU大小，其也在SPS中指定。第1圖中示出了遞迴四分樹分割結構的示例，其中實線指示CTU 10中的CU邊界。
根據HEVC標準，一旦CTU被分割為葉CU，根據用於預測的PU分割類型，每個葉CU被進一步分成一個或多個預測單元（Prediction Units，簡稱PU）。與用於CU的遞迴四分樹分割不同，每個葉CU可僅被分割一次以形成一個或多個PU。PU與相關聯的CU語法作為用於共用預測資訊的基本代表塊，因為相同的預測過程被應用於PU中的所有像素。指定的預測處理被用來預測PU內相關聯的像素樣本的值。預測資訊以PU為基礎傳送到解碼器。在基於PU分割類型獲得由預測過程生成的殘差數據之後，根據另一四分樹分割結構，屬於葉CU的殘差資料被分割為一個或多個變換單元（Transform Unit，簡稱TU），用於將殘差數據變換為緊湊的資料表示的變換係數。第1圖中的虛線表示CTU中的TU邊界。TU是用於對殘差資料或變換係數應用變換和量化的基本代表塊。TU由以4： 2：0顔色格式進行編解碼的圖像中大小為8x8、16x16或32x32個亮度（luminance，簡稱luma）樣本的變換塊（transform block，簡稱TB）或四個大小為4x4個亮度樣本的TB和兩個對應的色度樣本的TB組成。對於每個TU，具有與TU相同大小的變換矩陣被應用於殘差以生成變換係數，以及這些變換係數被量化，並以TU為基礎傳送給解碼器。第2圖示出了如第1圖所示的塊分割結構的相應QT表示的示例。實線表示CTU內的CU邊界，而虛線表示CTU內的TU邊界。
術語編解碼樹塊（Coding Tree Block，簡稱CTB），編解碼塊（Coding block，簡稱CB），預測塊（Prediction Block，簡稱PB）和變換塊（Transform Block，簡稱TB）被定義為指定與CTU，CU，PU和TU分別相關聯的一個顔色分量的二維（2-D）樣本陣列。例如，CTU由一個亮度（luminance，簡稱luma）CTB，兩個色度（chrominance，簡稱chroma）CTB以及與其相關聯的語法元素組成。類似的關係對CU，PU和TU有效。在HEVC標準中，相同的四分樹分割結構通常被應用於亮度和色度分量，除非達到色度塊的最小尺寸。
變換跳過（Transform Skip，簡稱TS）模式是一種編解碼工具，無需進行傳統的變換操作即可藉由熵編解碼來處理量化的殘差訊號。在TS模式下被編解碼的塊的殘差直接在樣本域中被編碼，而不是變換到頻域中。TS模式被發現對於螢幕內容編解碼特別有益，特別是對於具有銳利邊緣和簡單顔色的區域。TS模式可由高級語法元素控制，例如，在圖像參數集合（picture parameter set，簡稱PPS）中發送的致能標誌transform_skip_enabled_flag被用來指示TS模式是被致能還是被禁能，以及在PPS中發送的語法元素log2_max_transform_skip_block_size_minus2被用來表示致能TS模式的大小約束。例如，TS模式僅允許被應用於寬度和高度小於或等於32個亮度樣本的變換塊。在TS模式被致能用於當前圖像的情況下，對於每個滿足大小約束的非空變換塊，變換塊級別標誌transform_skip_flag被發送，以指示是否將TS模式應用於非空變換塊。當塊寬度小於或等於1 ＜＜（log2_max_transform_block_size_minus2 + 2）時，大小約束被滿足。當對應的變換塊級別標誌transform_skip_flag等於1時，變換塊以TS模式進行編碼。否則，常規變換操作被應用於變換塊。當該標誌未被編解碼時，變換塊級別標誌transform_skip_flag被推斷為等於0。當TS模式被應用於變換塊時，相關量化和符號資料隱藏都將被禁能。以TS模式進行編解碼的變換塊由單獨的解析過程處理。
用於在視訊圖像中對視訊資料進行編碼或解碼的視訊編碼或解碼系統中的視訊處理的方法和裝置包括：接收與當前圖像中的當前塊相關聯的輸入資料，確定變換跳過模式被致能用於當前塊，發送或解析與大小約束相關聯的語法元素，以僅在該變換跳過模式被致能時才致能該變換跳過模式，以及在該變換跳過模式被致能和該當前塊滿足用於致能變換跳過模式的大小約束時，確定變換跳過模式是否被應用於該當前塊。與用於致能該變換跳過模式的大小約束相關聯的語法元素在序列參數集合（sequence parameter set，簡稱SPS）中發送或從SPS解析，其中SPS由當前圖像引用。然後，視訊處理方法還包括：當變換跳過模式被應用於該當前塊時，根據變換跳過模式來處理與當前塊相關聯的殘差，或者當變換跳過模式不被應用於改當前塊時，藉由常規變換操作或常規逆變換操作來處理當前塊的殘差。視訊處理方法還對當前圖像中的當前塊進行編碼或解碼。
在一些實施例中，確定變換跳過模式是否被致能用於該當前塊的步驟包括：從高級語法集合中解析用於變換跳過模式的致能標誌，以及當致能標誌等於1時，變換跳過模式被致能用於該當前塊。當致能標誌等於0時，該當前塊的變換跳過模式被禁能。高級語法集合是SPS，圖像參數集合（picture parameter set，簡稱PPS），圖像報頭和片段報頭中的一種或組合。在一實施例中，當致能標誌等於1時，視訊處理方法還發送或解析SPS中的新語法元素。新語法元素指示片段級別語法元素是否存在於引用SPS的片段報頭中，以及當前片段的片段級別語法元素用於藉由常規殘差編解碼過程或變換跳過殘差編解碼過程來確定當前片段中的變換跳過塊的解析殘差。
用於視訊編解碼系統的視訊處理方法的一些實施例還包括：當該變換跳過模式被致能用於該當前塊時，發送與最小允許量化參數（Quantization Parameter，簡稱QP）值有關的資訊，該最小允許量化參數與使用該變換跳過模式處理的變換塊的殘差的量化相關聯。與最小允許QP值有關的資訊在SPS中發送。類似地，用於視訊解碼系統的視訊處理方法的一些實施例還包括：當變換跳過模式被致能用於該當前塊時，解析與最小允許QP值有關的資訊，該最小允許QP值與使用變換跳過模式處理的變換塊的量化殘差訊號的逆量化相關聯。
根據本發明一些實施例，與用於致能變換跳過模式的大小約束相關聯的語法元素對應於用於導出最大允許塊大小的資訊，該最大允許塊大小用於致能變換跳過模式。例如，用於致能變換跳過模式的最大允許塊大小與塊的總像素樣本的數量，寬度或高度有關。在一實施例中，用於致能變換跳過模式的最大允許塊大小小於或等於用於使用常規變換操作對變換塊進行編解碼的最大允許變換塊大小或最大允許非空變換塊大小。類似地，用於致能色度變換塊的變換跳過模式的最大允許塊大小小於或等於用於使用常規變換操作對色度變換塊進行編解碼的最大允許變換塊大小或最大允許非空變換塊大小。
在一些實施例中，與在SPS中發送的用於變換跳過模式的大小約束相關聯的語法元素用於亮度變換塊，以及從用於致能亮度變換塊的變換跳過模式大小約束中導出用於致能色度變換塊的變換跳過模式的大小約束。例如，用於致能色度變換塊的變換跳過模式的大小約束被設置為與用於致能亮度變換塊的變換跳過模式的大小約束具有相同值。在另一示例中，根據用於致能亮度變換塊的變換跳過模式的大小約束和用於在水平和垂直方向上指示與色度位平面（chroma bitplanes）相關聯的下取樣速率的變數SubWdithC和SubHeightC，用於致能色度變換塊的變換跳過模式的大小約束被導出。
在一實施例中，視訊處理方法還包括：當變換跳過模式被致能用於當前塊時，在高級語法集合發送第二語法標誌或從高級語法集合解析第二語法標誌。第二語法標誌被用來控制與變換跳過模式有關的一個或多個語法元素是否存在於較低級語法集合中，該較低級語法集合與引用高級語法集合的較低級視訊資料單元中的每一個相關聯。例如，高級語法集合是當前圖像所引用的SPS，PPS或與當前圖像相關聯的圖像報頭，而較低級語法集合是與當前圖像相關聯的圖像報頭或與當前圖像中的當前片段相關聯的片段報頭。在一實施例中，當一個或多個語法元素沒有在較低級語法集合中發送時，與預計在較低級語法集合中出現的變換跳過模式有關的一個或多個語法元素被設置為默認設置。例如，默認設置從高級語法集合中發送的相關參數導出，或者默認設置由高級語法集合中的一個或多個語法元素顯式發送。
本公開的各方面還提供了一種在視訊編碼或解碼系統中實現的裝置，該裝置接收當前圖像中當前塊的輸入視訊資料，確定變換跳過模式是否被致能用於當前塊，發送或解析與當變換跳過模式被致能時在當前圖像所引用的SPS中用於致能變換跳過模式的大小約束相關聯的語法元素，確定當變換跳過模式被致能和當前塊滿足用於致能變換跳過模式的大小約束時變換跳過模式是否被應用於當前塊，當變換跳過模式被應用於當前塊時，根據變換跳過模式處理與當前塊相關聯的殘差，或者當變換跳過模式未被應用於當前塊時，藉由常規變換操作或常規逆變換操作處理當前塊的殘差，以及對當前圖像中的當前塊進行編碼或解碼。
在一些實施例中，視訊編碼或解碼系統中的視訊處理方法包括：接收當前圖像中的當前變換塊的輸入視訊資料；發送或解析當前圖像引用的高級語法集合中的第一語法元素，以導出第一資訊，該第一資訊用於指示變換跳過模式是否被應用於引用參考高級語法集合的關聯視訊資料結構中的變換塊；以及當該第一資訊指示變換跳過模式被應用於關聯視訊資料結構中的變換塊，發送或解析高級語法集合中的第二語法元素；當第一資訊指示變換跳過模式被致能時，確定變換跳過模式是否被應用於當前變換塊；當變換跳過模式被應用於當前變換塊時，根據變換跳過模式處理當前變換塊的殘差，當變換跳過模式未被應用於當前變換塊時，藉由常規變換操作或常規逆變換操作處理當前變換塊的殘差；以及對當前圖像中的當前變換塊進行編碼或解碼。第二語法元素與與使用變換跳過模式編解碼的變換塊的殘差的量化相關聯的最小允許量化參數（Quantization Parameter，簡稱QP）值有關。當變換跳過模式被應用於當前變換塊時，用於量化當前變換塊的殘差的QP值大於或等於最小允許QP值。高級語法集合的一些實施例包括SPS，PPS，圖像報頭和片段報頭中的一個或組合。在一實施例中，視訊處理方法還包括：當第一語法元素指示變換跳過模式被致能時，在高級語法集合中發送或解析與用於致能變換跳過模式的大小約束相關聯的語法元素；以及根據與用於致能變換跳過模式的大小約束相關聯的語法元素，確定用於致能變換跳過模式的大小約束。僅當當前變換塊滿足用於致能變換跳過模式的大小約束時，確定變換跳過模式是否被應用於當前圖像中的當前變換塊的步驟才被執行。
藉由閱讀以下對具體實施例的描述，本發明的其他方面和特徵對於本領域之通常技術者將變得顯而易見。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著：結合實施例描述的特定特徵，結構或特性可被包括在本發明的至少一實施例中。因此，貫穿本說明書在各處出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，此外，所描述的特徵，結構或特性可在一個或多個實施例中以任一合適的方式組合。然而，本領域之通常技術者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，公知的結構或操作未示出或未被詳細描述，以避免模糊本發明的各方面。
ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家小組（Joint Video Expert Team，簡稱JVET）目前正在建立下一代視訊編解碼標準多功能視訊編解碼（Versatile Video Coding，簡稱VVC）。在VVC標準中一些有希望的新編碼工具被採用，以及在VVC草案規範中，類似於HEVC標準，編解碼圖像被分割為CTU表示的非重疊正方形塊區域。藉由使用二進位和三進位拆分的嵌套多類型樹（nested multi-type tree）的四分樹，每個CTU被分割為一個或多個較小的CU。所得的CU分區可以為正方形或矩形。藉由在SPS中將序列參數集合（sequence parameter sequence，簡稱SPS）級別致能標誌sps_transform_skip_enabled_flag設置為1，變換跳過（Transform Skip，簡稱TS）模式被致能，以及藉由圖像參數集合（picture parameter set，簡稱PPS）中的語法元素log2_max_transform_skip_block_size_minus2用於致能TS模式的最大允許塊大小被發送。本發明的實施例提高了在視訊編解碼系統中實現變換跳過模式的編解碼效率和靈活性。
用於色度的單獨的變換跳過模式控制 根據本發明的一方面，視訊編碼器發送或解析一個或多個高級語法（High-Level Syntax，簡稱HLS）元素，以分別控制色度變換塊的TS模式的使用，以及與亮度變換塊關聯的HLS元素。以此方式，視訊編碼器或解碼器可對具有不同統計特性的不同顏色分量更有效地控制TS模式的使用。
在一實施例中，視訊編解碼器對第一資訊進行編碼或解碼，該第一資訊用於指示TS模式是否被應用於使用相關高級語法結構（比如SPS，PPS，圖像報頭和片段報頭）中的一個或多個第一語法元素的視訊資料結構中的亮度變換塊。視訊編解碼器進一步對第二資訊進行編碼或解碼，該第二資訊用於指示TS模式是否被應用於使用相關高級語法結構中的一個或多個第二語法元素的視訊資料結構中的色度變換塊。在本發明的一些實施例中，TS模式的使用可被獨立地控制用於亮度和色度分量。在一具體實施例中，視訊編碼器被修改以在SPS中發送兩個致能標誌sps_transform_skip_luma_enabled_flag和sps_transform_skip_chroma_enabled_flag以指示TS模式是否被致能以分別用於在引用SPS的編解碼視訊序列中的亮度變換塊和色度變換塊。示範本發明的實施例的示例性高級語法表在表1中示出，其中ChromaArrayType！＝ 0表示在引用SPS的編解碼序列中顏色分量的數量大於1。當相應的語法元素sps_transform_skip_luma_enabled_flag或sps_transform_skip_chroma_enabled_flag等於0時，對於引用SPS的編解碼視訊序列中的亮度變換塊或色度變換塊，TS模式被禁能。當相應的語法元素sps_transform_skip_luma_enabled_flag或sps_transform_skip_chroma_enabled_flag等於1時，對於引用SPS的編解碼視訊序列中的亮度變換塊或色度變換塊，TS模式被致能。表1
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_luma_enabled_flag u(1)
  if( ChromaArrayType != 0 )  
    sps_transform_skip_chroma_enabled_flag u(1)
  ….  
}  
在一些其他實施例中，色度分量的TS模式的使用可取決於在視訊編解碼系統中亮度分量的TS模式的使用。視訊編碼器或解碼器的實施例推斷，當亮度分量的TS模式被禁能時，色度分量的TS模式被禁用。例如，視訊解碼器在解析等於0的TS模式亮度致能標誌後，亮度變換塊的TS模式被禁能，以及當該TS模式亮度致能標誌等於0時，視訊解碼器還推斷相應色度變換塊的TS模式被禁能。在一具體實施例中，視訊編碼器被修改為在SPS中用發送第一語法標誌sps_transform_skip_enabled_flag以指示TS模式是否被致能用於引用SPS的編解碼視訊序列中的亮度變換塊。當此SPS級別TS致能標誌sps_transform_skip_enabled_flag等於0時，對於引用SPS的編解碼視訊序列中的亮度變換塊，TS模式被禁能。當此SPS級別TS致能標誌sps_transform_skip_enabled_flag等於1時，對於引用SPS的編解碼視訊序列中的亮度變換塊，TS模式被致能，以及視訊編碼器進一步在SPS中發送第二語法標誌sps_transform_skip_chroma_enabled_flag，以指示TS模式是否被致能用於色度變換塊。示例性高級語法表在表2中示出，該表演示了對色度分量的TS模式的控制取決於對亮度分量的TS模式的控制。當該語法元素未被發送時，語法元素sps_transform_skip_chroma_enabled_flag被推斷為等於0，從而色度變換塊的TS模式被推斷為被禁能。表 2
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag && ChromaArrayType != 0 )  
    sps_transform_skip_chroma_enabled_flag u(1)
  ….  
}  
變換跳過模式大小約束發送 在一些實施例中，當TS模式被發送為致能用於視訊資料結構中的變換塊，使用一個或多個高級語法集合（例如，SPS，PPS，圖像報頭和片段報頭）中的一個或多個語法元素，視訊編碼器或解碼器發送與用於致能TS模式的大小約束相關聯的資訊。高級語法集合也被稱為高級參數集合。在一具體實施例中，當在高級語法集合發送或從高級語法集合解析的變換跳過致能標誌等於1（指示TS模式被致能）時，與TS模式大小約束相關聯的資訊在SPS中發送或從SPS解析。高級語法集合是SPS，PPS，圖像報頭或片段報頭中的一個或組合。例如，變換跳過致能標誌在SPS中發送。在本發明的一些實施例中，用於致能TS模式的大小約束與用於導出用於致能TS模式的最大允許塊大小的資訊有關。在一些其他實施例中，使用SPS，PPS，圖像報頭或片段報頭中的一個或多個高級語法元素，用於導出最大允許塊大小的資訊被發送，該最大允許塊大小用於致能TS模式。指定的塊大小約束可與塊的總像素樣本的數量，寬度或高度有關。在一些實施例中，在使用常規變換操作對TB進行編解碼的歸零（zero-out）TB之後，用於致能TB的TS模式的最大允許塊大小應小於或等於最大允許變換塊大小或最大允許非空變換塊大小。在一些實施例中，在使用常規變換操作對色度TB進行編解碼的歸零TB之後，用於致能色度TB的TS模式的最大允許塊大小應小於或等於最大允許變換塊大小或最大允許非空變換塊大小。
在本發明的一些實施例中，當SPS級別致能標誌sps_transform_skip_enabled_flag等於1時，藉由SPS中的語法元素log2_max_trasnform_skip_block_size_minus2，用於致能TS模式的最大允許塊大小被發送。語法元素sps_bdpcm_enabled_flag進一步被發送，以指示是否在引用SPS的編解碼分層視訊序列（Coded Layered Video Sequence，簡稱CLVS）中基於塊的增量脈衝碼調制（Blocked-based Delta Pulse Code Modulation，簡稱BDPCM）被致能。在一實施例中，當相關聯的語法元素transform_skip_flag的值等於1時，兩種編解碼過程被支援用於以TS模式對殘差塊進行編解碼。在片段報頭中的語法元素slice_ts_residual_coding_disabled_flag等於0的情況下，具有由residual_ts_coding（）指定的語法表的變換跳過殘差編解碼處理被採用，以對當前片段中的TS模式的殘差塊進行編解碼。否則，當語法元素slice_ts_residual_coding_disabled_flag等於1時，具有由rinsic_coding（）指定的語法表的常規殘差編解碼處理被採用，以對當前片段中TS模式的殘差塊進行編解碼。
在一些實施例中，用於致能色度TB的TS模式的大小約束是從由一個或多個HLS元素發送的亮度TB的相關大小約束中導出的。在一具體實施例中，當TS致能標誌sps_transform_skip_enabled_flag等於1時，視訊編碼器或解碼器被修改以在SPS中發送語法元素sps_log2_transform_skip_max_size_minus2。亮度樣本中用於致能亮度TB的TS模式的最大允許塊大小由（1 ＜＜（（sps_log2_transform_skip_max_size_minus2 + 2））導出。在一實施例中，色度樣本中用於致能色度TB的TS模式的最大允許塊大小被設置為與亮度TB的值相同。在另一實施例中，色度樣本中用於致能色度TB的TS模式的最大允許塊大小被設置為等於塊寬度（1 ＜＜（（sps_log2_transform_skip_max_size_minus2 + 2））/SubWidthC，以及等於塊高度（1 ＜＜（（sps_log2_transform_skip_max_size_minus2 + 2））/SubHeightC。變數SubWidthC和SubHeightC分別指示與水平和垂直方向上的色度位平面（Chroma bitplanes）相關的下取樣率。在另一實施例中，色度樣本中用於致能色度TB的TS模式的最大允許塊大小被設置為等於塊寬度的最小值（1 ＜＜（（sps_log2_transform_skip_max_size_minus2+2），32/SubWidthC）的最小值，以及等於塊高度的最小值（1 ＜＜ sps_log2_transform_skip_max_size_minus2+2），32/SubHeightC）。在又一實施例中，亮度樣本中用於致能色度TB的TS模式的最大允許塊大小由（1 ＜＜（（sps_log2_transform_skip_max_size_minus2+2））導出。表3和表4分別提供了從表1和表2修改的示例性語法表，以進一步發送用於致能TS模式的最大塊大小約束。表 3
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_luma_enabled_flag u(1)
  if( ChromaArrayType != 0 )  
    sps_transform_skip_chroma_enabled_flag u(1)
   if( sps_transform_skip_luma_enabled_flag || sps_transform_skip_chroma_enabled_flag )  
sps_log2_transform_skip_max_size_minus2 ue(v)
  ….  
}  
表 4
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag ) {  
    if( ChromaArrayType != 0 )  
      sps_transform_skip_chroma_enabled_flag u(1)
sps_log2_transform_skip_max_size_minus2 ue(v)
  }  
  ….  
}  
在一些實施例中，使用一個或多個單獨的HLS元素，用於致能TS模式的大小約束分別被發送用於亮度和色度分量。表5示出了從表1修改的示例性語法表，以進一步發送亮度和色度分量的最大塊大小約束。藉由（1 ＜＜（（sps_log2_transform_skip_max_size_luma_minus2 + 2）），用於致能亮度分量的TS模式的最大允許塊大小被導出，以及藉由（1 ＜＜（ sps_log2_transform_skip_max_size_chroma_minus2 + 2）），用於致能色度分量的TS模式的最大允許塊大小被導出。表 5
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_luma_enabled_flag u(1)
  if( sps_transform_skip_luma_enabled_flag )  
sps_log2_transform_skip_max_size_luma_minus2 ue(v)
  if( ChromaArrayType != 0 ) {  
    sps_transform_skip_chroma_enabled_flag u(1)
    if( sps_transform_skip_chroma_enabled_flag )  
sps_log2_transform_skip_max_size_chroma_minus2 ue(v)
}  
  ….  
}  
用於變換跳過模式的最小量化參數 在一些實施例中，使用一個或多個高級語法集合中的一個或多個第一語法元素，視訊編碼器或解碼器對第一資訊進行編碼或解碼，對於使用一個或多個高級語法集合中的一個或多個第一語法元素的關聯視訊資料結構中的變換塊，該第一資訊被用來指示TS模式是否被致能。高級語法集合也被稱為高級參數集合。高級語法集合的一些示例是SPS，PPS，圖像報頭和片段報頭。在第一資訊指示TS模式被致能用於關聯視訊資料結構中的變換塊的情況下，藉由在高級語法集合發送一個或多個第二語法元素，視訊編碼器對第二資訊進行編碼，該第二資訊與最小允許量化參數（Quantization Parameter，簡稱QP）值有關，該最小允許量化參數與TS模式的變換塊的殘差的量化相關聯。類似地，視訊解碼器藉由從高級語法集合中解析一個或多個第二語法元素，來解碼第二資訊，該第二資訊與最小允許QP值有關，該最小允許QP值與TS模式的變換塊的量化殘差訊號的逆量化相關聯。
在一具體實施例中，視訊編碼器或解碼器被修改為在SPS中發送第一語法標誌sps_transform_skip_enabled_flag，以指示對於引用SPS的編解碼視訊序列中的變換塊，TS模式是否被致能。在第一語法標誌sps_transform_skip_enabled_flag等於0的情況下，對於引用SPS的編碼視訊序列中的變換塊，TS模式被禁能。在第一語法標誌sps_transform_skip_enabled_flag等於1的情況下，對於引用SPS的編解碼視訊序列中的變換塊，TS模式被致能，以及視訊編碼器還會在SPS中發送第二語法元素（例如，min_qp_prime_ts_minus4） 以用於TS模式的最小允許量化參數的推導。表6中說明了該實施例的示例性高級語法表。表 6
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag ) {  
    min_qp_prime_ts_minus4 ue(v)
  ….  
}  
變換跳過模式的多級控制 在圖像或視訊編解碼系統中以多級別發送與TS模式下對殘差塊進行編解碼有關的資訊的各種修改方法被公開。在一實施例中，當TS模式被致能用於高級語法集合時，一個或多個語法元素在高級語法集合中進一步被發送，以控制與TS模式有關的一個或多個語法元素是否應存在於較低級語法集合中，該較低級語法集合與引用高級語法集合中的較低級視訊資料單元中的每一個相關聯。該實施例的視訊編碼器或解碼器對高級語法集合中的第一語法標誌進行編碼或解碼，以指示TS模式是否被致能以對高級視訊資料單元進行編解碼。視訊編碼器或解碼器進一步對高級語法集合中的第二語法標誌進行編碼或解碼，以及根據該第二語法標誌，視訊編碼器或解碼器適應性地編碼或解碼較低級語法集合中的一個或多個語法元素，該較低級語法集合與用於編解碼關聯的較低級視訊資料單元的TS模式有關。當第一標誌的值指示TS模式可被致能以對高級視訊資料單元進行編解碼時，視訊編碼器或解碼器進一步對高級語法集合中的第二語法標誌進行編碼或解碼。當第二語法標誌指示一個或多個語法元素存在於較低級語法集合中時，視訊編碼器或解碼器對較低級語法集合中的一個或多個語法元素進行編碼或解碼。例如，高級語法集合可以是適用於零個或多個完整CLVS的SPS，或適用於零個或多個完整編解碼圖像的PPS，也可以是適用於當前圖像中所有編解碼片段的圖像報頭。在VVC標準中，較低級語法集合可以是與當前編解碼圖像相關聯的圖像報頭，或與當前編解碼片段相關聯的片段報頭。當一個或多個語法元素未被發送時，較低級語法集合中的一個或多個語法元素被設置為默認設置。在一些實施例中，默認設置是藉由預定義方法導出的。預定義方法的示例從由當前較低級語法集合引用的高級語法集合中的相關參數導出默認設置。在另一示例中，默認設置由當前較低級別語法集合引用的高級語法集合中的一個或多個語法元素顯式發送。以此方式，當視訊編碼器或解碼器確定採用具有色度縮放的亮度映射的固定設置以用於諸如CLVS之類的高級視訊資料單元時，其可以在高級語法集合中發送第二語法標誌（例如SPS），以表示與具有色度縮放的亮度映射的使用的適應性控制有關的語法資訊在低級語法集合中被跳過，該低級語法集合與引用高級語法集合的低級視訊資料單元的每一個相關聯。
根據另一實施例，當在SPS中發送或從SPS中解析的SPS級別致能標誌sps_transform_skip_enabled_flag等於1，視訊編碼器或解碼器被修改以在SPS中發送或解析新語法元素sps_ts_residual_coding_disabled_slice_present_flag。當新語法元素sps_ts_residual_coding_disabled_slice_present_flag等於1，藉由引用的PPS在引用SPS的片段報頭中存在片段級別語法元素slice_ts_residual_coding_disabled_flag。當此新語法元素sps_ts_residual_coding_disabled_slice_present_flag等於0時，片段級語法元素slice_ts_residual_coding_disabled_flag被推斷為等於0，以及不存在於引用SPS的片段報頭中。根據該實施例的用於SPS和片段報頭的修改後的語法表在表7和表8中分別提供。表 7
seq_parameter_set_rbsp( ) { 描述符
sps_seq_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag ) {  
  log2_transform_skip_max_size_minus2 ue(v)
sps_bdpcm_enabled_flag u(1)
sps_ts_residual_coding_disabled_slice_present_flag u(1)
  }  
  ….  
}  
表 8
slice_header( ) { 描述符
picture_header_in_slice_header_flag u(1)
  …..  
   if( sps_ts_residual_coding_disabled_slice_present_flag )  
     slice_ts_residual_coding_disabled_flag u(1)
  ….  
}  
語法元素sps_ts_residual_coding_disabled_slice_present_flag和slice_ts_residual_coding_disabled_flag的相關語義在以下被顯示。語法元素sps_ts_residual_coding_disabled_slice_present_flag等於1，表示語法元素slice_ts_residual_coding_disabled_flag存在於引用SPS的片段報頭中。語法元素sps_ts_residual_coding_disabled_slice_present_flag等於0，表示語法元素slice_ts_residual_coding_disabled_flag不存在於引用SPS的片段報頭中。當語法元素sps_ts_residual_coding_disabled_slice_present_flag不存在時，其被推斷為等於0。語法元素slice_ts_residual_coding_disabled_flag等於1，表示語法結構residual_coding()被用來解析當前片段的變換跳過塊的殘差樣本。語法元素slice_ts_residual_coding_disabled_flag等於0，表示語法結構residual_ts_coding()被用來解析當前片段的變換跳過塊的殘差樣本。當語法元素slice_ts_residual_coding_disabled_flag不存在時，其被推斷為等於0。語法結構residual_coding()藉由常規殘差編解碼過程解析殘差樣本，而語法結構residual_ts_coding()藉由變換跳過殘差編解碼過程解析殘差樣本。
在可選實施例中，當語法元素sps_ts_residual_coding_disabled_slice_present_flag等於0，新語法元素sps_ts_residual_coding_disabled_slice_default_flag進一步在SPS中被發送。當語法元素slice_ts_residaul_coding_disabled_flag在引用SPS的片段報頭中不存在時，其被推斷為等於新語法元素sps_ts_residual_coding_disabled_slice_default_flag的值。表 9
seq_parameter_set_rbsp( ) { 描述符
sps_seq_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag ) {  
  log2_transform_skip_max_size_minus2 ue(v)
sps_bdpcm_enabled_flag u(1)
sps_ts_residual_coding_disabled_slice_present_flag u(1)
    if ( ! sps_ts_residual_coding_disabled_slice_present_flag)  
     sps_ts_residual_coding_disabled_slice_default_flag u(1)
  }  
  ….  
}  
表 10
slice_header( ) { 描述符
picture_header_in_slice_header_flag u(1)
  …..  
   if( sps_ts_residual_coding_disabled_slice_present_flag )  
     slice_ts_residual_coding_disabled_flag u(1)
  ….  
}  
如表9所示的在SPS中發送給的一些語法元素的相關語義在以下進行説明。有語法元素sps_ts_residual_coding_disabled_slice_present_flag等於1，表示語法元素slice_ts_residual_coding_disabled_flag存在於引用SPS的片段報頭中。語法元素sps_ts_residual_coding_disabled_slice_present_flag等於0，表示slice_ts_residual_coding_disabled_flag不存在於引用SPS的片段報頭中。如果該語法元素不存在，則其被推斷為等於0。當語法元素sps_ts_residual_coding_disabled_sice_present_flag等於0時，語法元素sps_ts_residual_coding_disabled_slice_default_flag指定語法元素slice_ts_residual_coding_disabled_flag的默認值。
如表10所示，在當前片段的片段報頭中發送的語法元素slice_ts_residual_coding_disabled_flag等於1，指定語法結構residual_coding（）被用來解析當前片段的變換跳過塊的殘差樣本。語法元素slice_ts_residual_coding_disabled_flag等於0，指定語法結構residual_ts_coding（）被用來解析當前片段的變換跳過塊的殘差樣本。如果語法元素slice_ts_residual_coding_disabled_flag不存在於片段報頭中，則此語法元素slice_ts_residual_coding_disabled_flag被推斷等於SPS中發送的語法元素sps_ts_ts_residual_coding_disabled_slice_default_flag的值。
在較低級視訊資料結構中用於變換跳過模式的適應性調整參數設置 根據本發明的另一方面，視訊編解碼器在一個或多個較低級語法結構中發送或解析一個或多個語法元素以適應性地調整參數設置，以控制較低級視訊資料結構中TS模式的使用。較低級語法結構也被稱為較低級語法集合。較低級語法結構的一些示例是PPS，圖像報頭集合和片段報頭。以這種方式，考慮到圖像內容和用於編碼圖像區域的編解碼條件，變換跳過模式的使用可被更有效地控制。在本發明的一些實施例中，視訊編碼器或解碼器對高級語法集合中的一個或多個語法元素進行編碼或解碼，該高級語法集合被用來發送用於導出參數設置的資訊，該參數設置被用來控制在高級視訊資料結構中TS模式的使用。視訊解碼器進一步對一個或多個較低級語法集合中的一個或多個語法元素進行編碼或解碼，以指示由較低級語法集合引用的高級語法集合中發送的用於控制TS模式的使用的設置是否被重新使用或被修改，以對相關聯的較低級視訊資料結構進行編碼或解碼。視訊編碼器或解碼器進一步對一個或多個較低級語法集合中的一個或多個語法元素進行編碼或解碼，該一個或多個較低級語法集合用於發送用來導出修改後的參數設置的資訊，該修改後的參數設置被用來控制TS模式的使用，以對相關聯的較低級視訊資料結構進行編碼或解碼。視訊編碼器或解碼器可進一步對高級語法結構中的語法元素進行編碼或解碼，以指示在高級語法集合的特定低級語法結構中，用於控制在高級語法結構中發送的TS模式的使用的設置是否允許被修改或替換。
在一實施例中，當TS模式被致能用於引用SPS的編解碼視訊序列中的變換塊時，視訊編解碼器被修改為對SPS中的語法元素sps_pic_transform_skip_present_flag進行編碼或解碼。當該語法元素sps_pic_transform_skip_present_flag在SPS中等於0時，當前圖像所引用的SPS中發送的TS模式的參數設置被用來對當前圖像進行編碼或解碼。否則，當前圖像中TS模式的參數設置可被進一步修改。視訊編碼器或解碼器還對當前圖像的圖像報頭中的語法元素pic_transform_skip_present_flag進行編碼或解碼，以指示用於當前圖像所引用的SPS中發送TS模式的參數設置是否被重新用於編碼或解碼。當語法元素pic_transform_skip_present_flag不存在時，該語法元素pic_transform_skip_present_flag被推斷為等於0。表11和表12中所示的示例性語法表示出了支援用於控制較低級視訊資料結構中的TS模式的使用的修改的參數設置的實施例。在該實施例中，用於發送與TS模式的參數設置的控制相關聯的語法元素的高級語法結構是SPS，以及用於發送與TS模式的參數設置的控制相關聯的語法元素的低級語法結構是圖像報頭。在圖像報頭中發送的語法元素pic_transform_skip_enabled_flag指定在當前圖像中TS模式是否被致能，在圖像報頭中發送的語法元素pic_log2_transform_skip_max_size_minus2加2指定用於致能當前圖像的TS模式的最大允許變換塊大小。在語法元素pic_transform_skip_present_flag等於0的情況下，語法元素pic_transform_skip_enabled_flag和pic_log2_transform_skip_max_size_minus2的值被推斷為分別等於相關聯的SPS級別語法元素sps_transform_skip_enabled_flag和sps_log2_transform_skip_max_size_minus2。藉由參考引用SPS的PPS，相關聯的SPS級別語法元素在當前圖像報頭所引用的SPS中發送。表 11
seq_parameter_set_rbsp( ) { 描述符
sps_decoding_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
  …..  
  sps_transform_skip_enabled_flag u(1)
   if( sps_transform_skip_enabled_flag ) {  
   sps_pic_transform_skip_present_flag u(1)
sps_log2_transform_skip_max_size_minus2 ue(v)
  }  
  ….  
}  
表 12
picture_header _rbsp( ) { 描述符
  non_reference_picture_flag u(1)
gdr _pic_flag u(1)
  no_output_of_prior_pics_flag u(1)
   if( gdr_pic_flag )  
    recovery_poc_cnt ue(v)
  ph_pic_parameter_set_id ue(v)
  …..  
   if(sps_pic_transform_skip_present_flag ) {  
   pic_transform_skip_present_flag u(1)
    if ( pic_transform_skip_present_flag ) {  
      pic_transform_skip_enabled_flag u(1)
       if( pic_transform_skip_enabled_flag )  
pic_log2_transform_skip_max_size_minus2 ue(v)
    }  
  }  
  ….  
}  
示例性流程圖 第3圖示出在視訊編碼系統中實現的視訊處理方法的示例性實施例的流程圖。在示例性實施例中的視訊編碼系統首先在步驟S302中接收與當前圖像中的當前塊相關聯的輸入資料。在步驟S304中，視訊編碼系統確定TS模式是否被致能用於當前塊。例如，致能標誌在由當前圖像所引用的高級語法集合中發送，以及致能標誌被設置為1以指示為TS模式被致能用於與該高級語法集合相關聯的一個或多個圖像。高級語法集合可以是當前圖像所引用的SPS，PPS和圖像報頭中的一種或組合。當TS模式被致能時，視訊編碼系統發送與大小約束相關聯的語法元素，該大小約束用於在當前圖像所引用的SPS中致能TS模式。在步驟S306中，視訊編碼系統檢查當前塊是否滿足用於致能TS模式的大小約束，以及僅當TS模式被致能用於當前塊以及當前塊滿足大小約束時，視訊編碼系統才確定TS模式是否被應用於當前塊（步驟S308）。當TS模式被應用於當前塊時，根據TS模式，當前塊的殘差被處理（步驟S310）；否則，當TS模式不被應用於當前塊時，藉由常規變換操作，當前塊的殘差被處理（步驟S312）。當在步驟S304中TS模式未被致能用於當前塊時，或者當在步驟S306中當前塊不滿足用於致能TS模式的大小約束時，步驟S312中的常規變換操作被選擇以處理當前塊的殘差。在步驟S314中，視訊編碼系統對當前塊進行編碼。
第4圖示出在視訊解碼系統中實現的視訊處理方法的示例性實施例的流程圖。該示例性實施例中的視訊解碼系統在步驟S402中接收當前圖像的輸入視訊資料，以及在步驟S404中獲得在高級語法集合中發送的致能標誌，該致能標誌指示TS模式是否被致能。高級語法集合可以是當前圖像所引用或與當前圖像相關聯的SPS，PPS，圖像報頭和片段報頭之一或組合。在步驟S406中，視訊解碼系統根據從步驟S404獲得的致能標誌來確定TS模式是否被致能。在步驟S408中，當TS模式被致能時，視訊解碼系統還獲得與大小約束相關聯的語法元素，該大小約束用於致能由當前圖像所引用的SPS中發送的TS模式。視訊解碼系統接收與當前塊相關聯的輸入視訊資料（步驟S410），以及在TS模式被致能用於當前圖像時，檢查當前塊是否滿足用於致能TS模式的大小約束（步驟S412）。例如，大小約束與最大允許塊大小有關，以及僅當當前塊的大小小於或等於最大允許塊大小時，TS模式才可被應用於當前塊。在步驟S414中，在當前塊滿足大小約束的情況下，視訊解碼系統確定TS模式是否被應用於當前塊。例如，視訊解碼系統根據塊級語法元素確定TS模式是否被應用於當前塊。如果TS模式被應用於當前塊，則在根據TS模式恢復當前塊的殘差（步驟S416）；否則，如果在步驟S414中TS模式不被應用於當前塊或者在步驟S412中當前塊不滿足大小約束，則藉由常規逆變換操作，當前塊的殘差被恢復（步驟S418）。視訊解碼系統解碼當前塊（步驟S418），以及檢查當前塊是否是當前圖像中的最後一個塊（步驟S422）。如果當前塊不是最後一個塊，則視訊解碼系統重複從步驟S410到步驟S420的步驟，以處理當前圖像中的每個後續塊。否則，視訊解碼系統將參考相同的高級語法集合處理後續圖像。當在步驟S406中TS模式不被用來對當前圖像進行編碼時，藉由常規的逆變換操作，當前圖像的殘差被恢復，以及當前圖像被解碼（步驟S424）。
示例性系統框圖 視訊處理方法的實施例在視訊編碼器，視訊解碼器或視訊編碼器和解碼器兩者中實現。例如，視訊處理方法在視訊編碼器的高級語法編碼模組中或在視訊解碼器的高級語法解碼模組中實施。可選地，視訊處理方法在集成到視訊編碼器的高級語法編碼模組或視訊解碼器的高級語法解碼模組的電路中實現。第5圖示出了用於實現視訊處理方法的各種實施例的視訊編碼器500的示例性系統框圖。塊結構分割模組510接收視訊圖像的輸入資料，以及確定要編碼的每個視訊圖像的塊分割結構。當前視訊畫面中的每個葉編碼塊藉由幀內預測模組512中的幀內預測或幀間預測模組514中的幀間預測來預測，以去除空間冗餘或時間冗餘。幀內預測模組512基於當前視訊圖像的重構視訊資料對葉編解碼塊提供幀內預測子。幀間預測模組514基於來自其他一個或多個視訊圖像的視訊資料執行運動估計（Motion Estimation，簡稱ME）和運動補償（Motion Compensation，簡稱MC），以對葉編解碼塊提供預測子。開關516選擇幀內預測模組512或幀間預測模組514以將預測子提供至加法器518以形成預測誤差，也被稱為殘差。當前視訊圖像中每個葉編解碼塊的殘差被分成多個變換塊。每個變換塊的殘差由變換（Transform，簡稱T）模組520，然後由量化（Quantization，簡稱Q）模組522進一步處理，以生成變換係數級別。在本發明的一些實施例中，跳過（TS）模式被致能用於當前視訊圖像，以及如果當前變換塊滿足大小約束，則TS模式可被用來處理當前變換塊的殘差。當TS模式被用來處理當前變換塊時，當前變換塊的殘差不變換到頻域中。在一實施例中，僅當TS模式被致能用於當前視訊序列時，用於致能TS模式的大小約束在當前視訊序列的SPS中發送。即，當在SPS中發送的SPS級別TS致能標誌等於1時，大小約束在SPS中發送。在另一實施例中，用於導出TS模式的最小允許QP值的語法元素的存在以在SPS中發送的SPS級別TS致能標誌為條件，其中，用於導出TS模式的最小允許QP值的語法元素是min_qp_prime_ts_minus4或用於得出TS模式的最小允許QP值的任一其他語法元素。熵編碼器534還編碼預測資訊和濾波資訊以形成視訊位元流。然後，視訊位元流中會附帶一些輔助資訊。逆量化（Inverse Quantization，簡稱IQ）模組524和逆變換（Inverse Transform，簡稱IT）模組526處理當前變換塊的變換係數級別，以恢復當前變換塊的殘差數據。在TS模式被用來處理當前變換塊的情況下，逆變換操作被跳過。如第5圖中所示，藉由在重構（Reconstruction，簡稱REC）模組528處將殘差資料加回到所選擇的預測子，重構視訊資料被恢復。重構視訊資料可被存儲在參考圖像緩衝器（Ref.Pict.Buffer）532中，以及由幀間預測模組514用於預測其他圖像。由於編碼處理，來自重構模組528的重構視訊資料可能遭受各種損害，因此，在重構圖像資料被存儲至參考圖像緩衝器532之前，環路處理濾波器530被應用於重構視訊資料以進一步提高圖像品質。
在第6圖中示出用於解碼由第5圖的視訊編碼器500生成的視訊位元流的對應的視訊解碼器600。視訊解碼器600的輸入由熵解碼器610解碼以解析和恢復每個變換塊的變換係數級別以及其他系統資訊。在一些實施例中，熵解碼器610首先從高級語法集合（比如SPS，PPS，圖像報頭或片段報頭）中解析TS模式的致能標誌。根據本發明的一些實施例，僅當TS模式的致能標誌指示TS模式被致能時，熵解碼器610才從SPS解析與用於致能TS模式的大小約束相關聯的語法元素。在一些實施例中，如果TS模式的致能標誌指示TS模式被致能，則熵解碼器510從高級語法集合中解析語法元素以導出TS模式的最小允許QP值，其中語法元素是min_qp_prime_ts_minus4或用於導出TS模式的最小允許QP值的任一其他語法元素。塊結構劃分模組612確定每個視訊圖像中的每個塊的塊劃分結構。解碼器600的解碼過程類似於編碼器500處的重構迴圈，除了解碼器600僅需要幀間預測模組616中的運動補償預測。視訊圖像中的每個葉塊都由幀內預測模組614解碼或幀間預測模組616，以及開關618根據解碼的模式資訊選擇幀內預測子或幀間預測子。當當前變換塊未被TS模式處理時，由逆量化（Inverse Quantization，簡稱IQ）模組622和逆變換（Inverse Transform，簡稱IT）模組624恢復與當前變換塊相關聯的變換係數級別。當當前變換塊以TS模式處理時，藉由逆量化（Inverse Quantization，簡稱IQ）模組622與當前變換塊相關聯的係數級別被恢復。藉由在重構（Reconstruction，簡稱REC）模組620中加回預測子來重構恢復的殘差，重構視訊被產生。重構視訊由環路處理濾波器（濾波器）626進一步處理以生成最終的解碼視訊。如果當前解碼的視訊圖像是參考圖像，則當前解碼的視訊圖像的重構視訊也存儲在參考圖像緩衝器628中，以供以後的圖像按解碼順序使用。
第5圖和第6圖中的視訊編碼器500和視訊解碼器600的各個組件可由硬體組件，執行存儲在記憶體中的程式指令的一個或多個處理器，或硬體和處理器的組合來實現。例如，當TS模式被致能時，處理器執行程式指令以控制發送或解析與大小約束相關聯的語法元素以致能TS模式。處理器配備有一個或多個處理核心。在一些示例中，處理器執行程式指令以在編碼器500和解碼器600中的特定組件中執行功能，並且與處理器電耦合的記憶體用於存儲程式指令，與重構資料相對應的資訊，和/或編碼或解碼過程中的中間資料。在一些實施例中，記憶體包括非暫時性電腦可讀介質，例如半導體或固態記憶體，隨機存取記憶體（Random Access Memory，簡稱RAM），唯讀記憶體（Read-Only Memory，簡稱ROM），硬碟，光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩個或多個非暫時性電腦可讀介質的組合。如圖所示。參照第5圖和第6圖，編碼器500和解碼器600可以在同一電子設備中實現，因此，如果在同一電子設備中實現，則編碼器500和解碼器600的各種功能組件可以被共用或重用。本發明的任一實施例可以在編碼器500的熵編碼器534和/或解碼器600的熵解碼器610中實現。可替換地，任一實施例可被實現為耦合到編碼器500的熵編碼器534和/或解碼器600的熵解碼器610的電路，以便分別提供熵編碼器534或熵解碼器610所需的資訊。
具有一個或多個分割約束的視訊處理方法的實施例可在整合到視訊壓縮晶片中的電路或整合到視訊壓縮軟體中的程式碼中實現，以執行上述處理。例如，當前塊的塊分割結構的確定可在電腦處理器，數位訊號處理器（Digital Signal Processor，簡稱DSP），微處理器或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA）上將要執行的程式碼中實現。藉由執行定義本發明所體現的具體方法的機器可讀軟體代碼或固件代碼，這些處理器可被配置為執行根據本發明的具體任務。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍的所有變化將被包括在其範圍內。
S302、S304、S306、S308、S310、S314:步驟 S402、S404、S406、S408、S410、S412、S414、S414、S416、S418、S420、S422、S424:步驟 500:編碼器 510:塊結構分割模組 512: 幀內預測模組 514:幀間預測模組 516:開關 518:加法器 520:變換模組 522:量化模組 524:逆量化模組 526:逆變換模組 528:重構模組 530:環路處理濾波器 532:參考圖像緩衝器 534:熵編碼器 600:解碼器 610:熵解碼器 612:塊結構劃分模組 614:幀內預測模組 616:幀間預測模組 618:開關 620:重構模組 622:逆量化模組 624:逆變換模組 626:環路處理濾波器 628:參考圖像緩衝器
參考以下附圖，作為示例提出的本公開的各種實施例將被詳細描述，其中，相同的標號表示相同的組件，以及其中： 第1圖示出示例性的編解碼樹，該編解碼樹用於根據四分樹分割結構將編解碼樹單元（coding tree unit，簡稱CTU）分割為編解碼單元（coding unit，簡稱CU），以及將每個CU分割為一個或多個變換單元（transform unit，簡稱TU）。 第2圖示出如第1圖所示的塊分割結構的相應四分樹表示。 第3圖示出說明視訊處理方法的實施例的流程圖，該視訊處理方法包括：僅當變換跳過模式被致能用於當前圖像時，藉由在SPS中發送與用於致能變換跳過模式的大小約束相關聯的語法元素，對當前圖像中的當前塊進行編碼。 第4圖示出說明視訊處理方法的實施例的流程圖，該視訊處理方法包括：僅當變換跳過模式被致能用於當前圖像時，藉由在SPS中解析與用於致能變換跳過模式的大小約束相關聯的語法元素，對當前圖像進行解碼。 第5圖示出結合根據本發明實施例的視訊處理方法的視訊編碼系統的示例性系統框圖。 第6圖示出結合根據本發明實施例的視訊處理方法的視訊解碼系統的示例性系統框圖。
S302、S304、S306、 S308、S310、S314:步驟

Claims (20)

  1. 一種視訊編碼或解碼系統中的視訊處理方法，包括： 接收一當前圖像中一當前塊的輸入視訊資料； 確定一變換跳過模式是否被致能用於該當前塊； 當該變換跳過模式被致能時，在由該當前塊引用的一序列參數集合中發送與一大小約束相關聯的一語法元素，該大小約束用於致能該變換跳過模式，或者當該變換跳過模式被致能時，從由該當前塊引用的一序列參數集合中解析與一大小約束相關聯的一語法元素，該大小約束用於致能該變換跳過模式； 當該變換跳過模式被致能用於該當前塊和該當前塊滿足用於致能該變換跳過模式的該大小約束時，確定該變換跳過模式是否被應用於該當前圖像的該當前塊； 當該變換跳過模式被應用於該當前塊時，根據該變換跳過模式處理與該當前塊相關聯的多個殘差，或者當該變換跳過模式未被應用於該當前塊時，藉由一常規變換操作或一常規逆變換操作對該當前塊的多個殘差進行處理；以及 對該當前圖像的該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中確定該變換跳過模式是否被致能用於該當前塊的步驟包括從一高級語法集合中解析該變換跳過模式的一致能標誌，以及當該致能標誌等於1時，該變換跳過模式被致能用於該當前塊。
  3. 如請求項2所述之視訊編碼或解碼系統中的視訊處理方法，其中，該高級語法集合包括該序列參數集合，一圖像參數集合，一圖像報頭和一片段報頭中的一個或一組合。
  4. 如請求項2所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括：當該致能標誌等於1時，發送或解析該序列參數集合中的一新語法元素，其中該新語法元素指示一片段級別語法元素是否存在於引用該序列參數集合的多個片段報頭，以及藉由一常規殘差編解碼處理或一變換跳過殘差編解碼處理，一當前片段的該片段級別語法元素被用來確定該當前片段中的多個變換跳過塊的多個解析殘差。
  5. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括：當該變換跳過模式被致能用於該當前圖像，發送與一最小允許量化參數值相關聯的資訊，該最小允許量化參數值與使用該序列參數集合中的該變換跳過模式處理的多個變換塊的多個殘差的量化相關聯，或當該變換跳過模式被致能用於該當前圖像，解析與一最小允許量化參數值相關聯的資訊，該最小允許量化參數值與來自該序列參數集合的該變換跳過模式處理的多個變換塊的一殘差訊號的逆量化相關聯。
  6. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中，與用於致能該變換跳過模式的一大小約束相關聯的該語法元素對應於用於導出該最大允許塊大小的資訊，該最大允許塊大小用於致能該變換跳過模式。
  7. 如請求項6所述之視訊編碼或解碼系統中的視訊處理方法，其中，用於致能該變換跳過模式的該最大允許塊大小與一塊的總像素樣本的一數量，一寬度或一高度相關。
  8. 如請求項6所述之視訊編碼或解碼系統中的視訊處理方法，其中，用於致能該變換跳過模式的該最大允許塊大小小於或等於用於使用該常規變換操作對多個變換塊進行編解碼的一最大允許變換塊大小或一最大允許非-空變換塊大小。
  9. 如請求項6所述之視訊編碼或解碼系統中的視訊處理方法，其中，用於致能多個色度變換塊的該變換跳過模式的該最大允許塊大小小於或等於用於使用該常規變換操作對該多個色度變換塊進行編解碼的一最大允許變換塊大小或一最大允許非-空變換塊大小。
  10. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中，與該序列參數集合中發送的該變換跳過模式的一大小約束相關聯的該語法元素用於多個亮度變換塊，以及用於致能多個色度變換塊的該變換跳過模式的一大小約束從用於致能該多個亮度變換塊的該變換跳過模式的該大小約束中導出。
  11. 如請求項10所述之視訊編碼或解碼系統中的視訊處理方法，其中，用於致能該多個色度變換塊的該變換跳過模式的該大小約束被設置為等於用於致能該多個亮度變換塊的該變換跳過模式的該大小約束的一相同值。
  12. 如請求項10所述之視訊編碼或解碼系統中的視訊處理方法，其中，根據用於致能該多個亮度變換塊的該變換跳過模式的該大小約束和表示與水平和垂直方向上的多個色度位平面相關聯的多個下取樣速率的多個變數，用於致能該多個色度變換塊的該變換跳過模式的該大小約束被導出。
  13. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括：當該變換跳過模式被致能用於該當前塊，在一高級語法集合中發送一第二語法標誌或從一高級語法集合中解析一第二語法標誌，其中該第二語法標誌被用來控制與該變換跳過模式相關的一個或多個語法元素是否存在於一低級語法集合，該低級語法集合與引用該高級語法集合的多個低級視訊資料單元的每一個相關聯。
  14. 如請求項13所述之視訊編碼或解碼系統中的視訊處理方法，其中，該高級語法集合是由該序列參數集合，該當前圖像引用的一圖像參數集合或與該當前圖像相關聯的一圖像報頭，以及該低級語法集合是與該當前圖像相關聯的一圖像報頭或與該當前圖像中的一當前片段相關聯的一片段報頭。
  15. 如請求項13所述之視訊編碼或解碼系統中的視訊處理方法，其中，當該一個或多個語法元素未在該低級語法集合中發送，與該變換跳過模式相關的該一個或多個語法元素被設置為一默認設置。
  16. 如請求項15所述之視訊編碼或解碼系統中的視訊處理方法，其中，該默認設置從在該高級語法集合中發送的多個相關參數導出，或者該默認設置由該高級語法集合中的一個或多個語法元素顯性發送。
  17. 一種視訊編碼或解碼系統中的視訊處理裝置，其中，該裝置包括一個或多個電子電路被設置為： 接收一當前圖像中一當前塊的輸入視訊資料； 確定一變換跳過模式是否被致能用於該當前塊； 當該變換跳過模式被致能時，在由該當前塊引用的一序列參數集合中發送與一大小約束相關聯的一語法元素，該大小約束用於致能該變換跳過模式，或者當該變換跳過模式被致能時，從由該當前塊引用的一序列參數集合中解析與一大小約束相關聯的一語法元素，該大小約束用於致能該變換跳過模式； 當該變換跳過模式被致能用於該當前塊和該當前塊滿足用於致能該變換跳過模式的該大小約束，確定該變換跳過模式是否被應用於該當前圖像的該當前塊； 當該變換跳過模式被應用於該當前塊時，根據該變換跳過模式處理與該當前塊相關聯的多個殘差，或者當該變換跳過模式未被應用於該當前塊時，藉由一常規變換操作或一常規逆變換操作對該當前塊的多個殘差進行處理；以及 對該當前圖像的該當前塊進行編碼或解碼。
  18. 一種視訊編碼或解碼系統中的視訊處理方法，包括： 接收一當前圖像中一當前變化塊的輸入視訊資料； 在由該當前圖像引用的一高級語法集合中發送或解析一第一語法元素以導出第一資訊，該第一資訊用於指示一變換跳過模式是否被致能用於在引用該高級語法集合的一相關聯視訊資料結構中的多個變換塊； 當該第一資訊指示該變換跳過模式被致能用於該多個變換塊時，在該高級語法集合中發送或解析一第二語法元素，其中該第二語法元素與一最小允許量化參數相關，該最小允許量化參數與使用該變換跳過模式進行編解碼的多個變換塊的多個殘差的量化相關聯； 當該第一資訊指示該變換跳過模式被致能，確定該變換跳過模式是否被應用於該當前圖像的該當前變換塊； 當該變換跳過模式被應用於該當前變換塊時，根據該變換跳過模式處理該當前變換塊的多個殘差，或當該變換跳過模式未被應用於該當前變換塊時，藉由一常規變換操作或一常規逆變換操作對該當前變換塊的多個殘差進行處理，其中當該變換跳過模式被應用於該當前變換塊時，用於該當前變換塊的該多個殘差的量化的一量化參數值大於或等於該最小允許量化參數值；以及 對該當前圖像中的該當前變換塊進行編碼或解碼。
  19. 如請求項18所述之視訊編碼或解碼系統中的視訊處理方法，其中，該高級語法集合是一序列參數集合，一圖像參數集合，一圖像報頭或一片段報頭。
  20. 如請求項18所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括：當該第一語法元素指示該變換跳過模式被致能，在該高級語法集合中發送或解析與該高級語法集合中的用於致能該變換跳過模式的一大小約束相關聯的一語法元素，根據與用於致能該變換跳過模式的該大小約束相關聯的該語法元素，確定用於致能該變換跳過模式的該大小約束，其中確定該變換跳過模式是否被應用於該當前圖像中的該當前變換塊的步驟僅在該當前變換塊滿足用於致能該變換跳過模式的該大小約束時被執行。
TW109140730A 2019-11-21 2020-11-20 視訊編碼或解碼系統中的視訊處理方法和裝置 TWI770681B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962938365P 2019-11-21 2019-11-21
US62/938,365 2019-11-21
US202062984821P 2020-03-04 2020-03-04
US62/984,821 2020-03-04
US16/952,255 US11483549B2 (en) 2019-11-21 2020-11-19 Methods and apparatuses for transform skip mode information signaling
US16/952,255 2020-11-19

Publications (2)

Publication Number Publication Date
TW202126044A true TW202126044A (zh) 2021-07-01
TWI770681B TWI770681B (zh) 2022-07-11

Family

ID=75974476

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109140730A TWI770681B (zh) 2019-11-21 2020-11-20 視訊編碼或解碼系統中的視訊處理方法和裝置

Country Status (2)

Country Link
US (2) US11483549B2 (zh)
TW (1) TWI770681B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US20230079866A1 (en) * 2020-02-05 2023-03-16 Lg Electronics Inc. Image decoding method associated with residual coding, and device therefor
WO2021158049A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 영상 정보 코딩에 대한 영상 디코딩 방법 및 그 장치
CN115349258B (zh) * 2020-02-05 2023-05-12 Lg电子株式会社 图像编码系统中用于残差编码的图像解码方法及其设备
US11638036B2 (en) * 2020-04-03 2023-04-25 Qualcomm Incorporated High-level constraints for transform skip blocks in video coding
USD1004012S1 (en) * 2021-05-20 2023-11-07 Tee Turtle, LLC Reversible coupling plush toy
KR20240019834A (ko) * 2021-06-28 2024-02-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩을 위한 잔차 및 계수 코딩

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380734B (zh) 2012-06-07 2017-09-15 寰发股份有限公司 编码以及解码视频数据的方法和装置
US10554974B2 (en) 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10674158B2 (en) * 2017-06-15 2020-06-02 Beamr Imaging Ltd Method and system of video coding optimization
WO2020149648A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 변환 스킵 플래그를 이용한 영상 코딩 방법 및 장치

Also Published As

Publication number Publication date
US11483549B2 (en) 2022-10-25
US11792388B2 (en) 2023-10-17
US20220232203A1 (en) 2022-07-21
US20210160479A1 (en) 2021-05-27
TWI770681B (zh) 2022-07-11

Similar Documents

Publication Publication Date Title
CN108713320B (zh) 视频编码中限制块尺寸的视频数据处理方法与装置
TWI770681B (zh) 視訊編碼或解碼系統中的視訊處理方法和裝置
TWI687092B (zh) 視訊編碼解系統中的視訊處理方法及裝置
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
US20200244995A1 (en) Methods and Apparatuses for Coding Transform Blocks
TWI700919B (zh) 視訊編解碼方法/裝置及相應地存儲介質
US11595656B2 (en) Method and apparatus of transform coefficient coding with TB-level constraint
TW202106022A (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
KR20110056388A (ko) 적응적 세그먼트화를 사용하는 비디오 인코딩 시스템 및 방법
CN114223207A (zh) 用次要变换编解码视讯数据的方法以及装置
TW202131685A (zh) 高層級資訊信令有關的視訊編碼或解碼方法及裝置
TWI792200B (zh) 影像或視訊處理方法及裝置
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
TWI730561B (zh) 利用圖塊分組進行視訊資料編碼的方法及裝置
US20230128378A1 (en) Method and Apparatus for Imposing Bitstream Constraints in Video Coding
US11711513B2 (en) Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
TWI830482B (zh) 視訊編碼方法、裝置以及視訊解碼方法、裝置
RU2795184C2 (ru) Увеличение глубины дерева нескольких типов для обработки границ изображения
TW202349960A (zh) 用於影像編碼系統中的熵編碼分區劃分決策的方法和裝置
TW202341732A (zh) 視訊編解碼方法和裝置