TW202147841A

TW202147841A - 視訊處理方法和裝置

Info

Publication number: TW202147841A
Application number: TW110121364A
Authority: TW
Inventors: 向時達
Original assignee: 聯發科技股份有限公司
Priority date: 2020-06-11
Filing date: 2021-06-11
Publication date: 2021-12-16
Also published as: US11711513B2; US20210400270A1; TWI792348B

Abstract

視訊處理方法和裝置包括接收與當前圖像相關聯的輸入視訊資料，該當前圖像由多個編解碼樹單元（Coding Tree Units，簡稱CTU）組成以便編碼或解碼，確定子圖像的數量，將當前圖像劃分為一個或多個子圖像以及對當前圖像中的每個子圖像進行編碼或解碼。每個子圖像包含多個完整的CTU，每個子圖像的邊界與以CTU為單位的當前圖像的網格對齊。當前圖像中的子圖像數量受允許的最大片段數量限制。

Description

視訊編碼系統中用以將分割成次圖像之圖像進行編碼之方法和裝置

本發明涉及視訊編碼或解碼方法和裝置。更具體地，本發明涉及視訊編解碼系統中對被劃分為子圖像的圖像進行編碼或解碼。

高效視訊編碼（High Efficiency Video Coding，簡稱HEVC）標準是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的視訊編解碼聯合協作組（JCT-VC）制定的國際視訊編解碼標準。HEVC標準依賴於基於塊的編解碼結構，該結構將每個視訊圖像拆分為多個不重疊的方形編解碼樹單元（Coding Tree Unit，簡稱CTU）。已編解碼圖像可以由片段集合表示，每個片段包含整數個CTU。片段中的每個單獨的CTU都按光柵掃描順序（raster order）進行處理。在HEVC主文檔中，CTU的最大和最小大小由在序列參數集（Sequence Parameter Set，簡稱SPS) 中發送的語法元素指定。雙向預測（Bi-predictive，簡稱B）片段可以使用最多兩個運動向量和參考索引的幀內預測或幀間預測進行解碼，以預測B片段中每個塊的樣本值。預測（Predictive，簡稱P）片段使用最多具有一個運動向量和參考索引的幀內預測或幀間預測進行解碼，以預測P片段中每個塊的樣本值。幀內片段（Intra slice，簡稱I片段）僅使用幀內預測進行解碼。

使用四分樹（quadtree，簡稱QT）分割結構，每個CTU被進一步遞迴地分割為一個或多個非重疊編解碼單元（Coding Units，簡稱CU），以適應各種局部特性。在QT分割結構的每個分割深度處，N×N塊是單葉CU或分成具有相等大小N/2×N/2的四個較小塊。具有M×M像素樣本大小的CTU是四分樹編解碼樹的根節點，以及四個M/2xM/2塊是從根節點分割的子四分樹節點。四個M/2xM/2塊中的每一個可成為藉由另一個QT分割而分割的父節點，以使四個子節點在每個空間維度中被進一步減小一半的大小。如果編解碼樹節點沒有被進一步分割，則其被稱為葉CU。葉CU大小被限制為大於或等於最小允許CU大小，其也在SPS中指定。第1圖中示出了遞迴四分樹分割結構的示例，其中實線指示CTU中的CU邊界。

根據HEVC標準，一旦CTU被分割為葉CU，根據用於預測的PU分割類型，每個葉CU被進一步分成一個或多個預測單元（Prediction Units，簡稱PU）。與用於CU的遞迴四分樹分割不同，每個葉CU可僅被分割一次以形成一個或多個PU。PU與相關聯的CU語法作為用於共用預測資訊的基本代表塊，因為相同的預測過程被應用於PU中的所有像素。指定的預測處理被用來預測PU內相關聯的像素樣本的值。預測資訊以PU為基礎傳送到解碼器。在基於PU分割類型獲得由預測過程生成的殘差數據之後，根據另一四分樹分割結構，屬於葉CU的殘差資料被分割為一個或多個變換單元（Transform Unit，簡稱TU），用於將殘差數據變換為緊湊的資料表示的變換係數。第1圖中的虛線表示CTU中的TU邊界。TU是用於對殘差資料或變換係數應用變換和量化的基本代表塊。TU由以4：2：0顔色格式進行編解碼的圖像中大小為8x8、16x16或32x32個亮度（luminance，簡稱luma）樣本的變換塊（transform block，簡稱TB）或四個大小為4x4個亮度樣本的TB和兩個對應的色度樣本的TB組成。對於每個TU，具有與TU相同大小的變換矩陣被應用於殘差以生成變換係數，以及這些變換係數被量化，並以TU為基礎傳送給解碼器。第2圖示出了如第1圖所示的塊分割結構的相應QT表示的示例。實線表示CTU內的CU邊界，而虛線表示CTU內的TU邊界。

術語編解碼樹塊（Coding Tree Block，簡稱CTB），編解碼塊（Coding block，簡稱CB），預測塊（Prediction Block，簡稱PB）和變換塊（Transform Block，簡稱TB）被定義為指定與CTU，CU，PU和TU分別相關聯的一個顔色分量的二維（2-D）樣本陣列。例如，CTU由一個亮度（luminance，簡稱luma）CTB，兩個色度（chrominance，簡稱chroma）CTB以及與其相關聯的語法元素組成。類似的關係對CU，PU和TU有效。在HEVC標準中，相同的四分樹分割結構通常被應用於亮度和色度分量，除非達到色度塊的最小尺寸。

通用視訊編解碼（Versatile Video Coding，簡稱VVC）標準是由ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新視訊編解碼標準。在VVC草案中，圖像被分成一個或多個圖塊行（row）和一個或多個圖塊列（column），圖塊是覆蓋圖像中特定圖塊列和特定圖塊行內的矩形區域的一系列CTU。圖塊的特徵是主要用於並行處理目的，用於形成子圖像的以圖塊分割的矩形片段也可用於基於視口（Viewport）的360度視訊應用。圖像的圖塊劃分的處理順序是圖像內圖塊光柵掃描和圖塊內CTU光柵掃描。圖塊打破了圖像內預測依賴性以及熵解碼依賴性。片段由整數個完整的圖塊或圖像的圖塊內的整數個連續的完整CTU行組成。片段的特徵是主要用於子圖像級訪問和超低延遲。光柵掃描片段模式和矩形片段模式是VVC標準支援的兩種片段結構模式，由語法元素rect_slice_flag表示。矩形片段始終為矩形，而光柵掃描片段可能是也可能不是矩形。在光柵掃描片段模式中，片段包含圖像内以圖塊光柵掃描順序的一系列完整的圖塊。光柵掃描片段內的圖塊按照光柵掃描片段內的片段光柵掃描順序進行處理。在矩形片段模式下，片段包含共同形成圖像的矩形區域的多個完整圖塊，或包含共同形成圖像的矩形區域的一個方格的多個連續完整CTU行。矩形片段內的片段按照片段光柵掃描順序進行處理，矩形區域對應於該矩形片段。圖像中的每個子圖像包含共同覆蓋圖像的矩形區域的一個或多個片段，以及每個子圖像包含多個完整的CTU。對於視口相關360度視訊流優化和感興趣區域應用等用途範例，圖像中的子圖像允許獨立編解碼和提取編解碼圖像序列的矩形子集。即使子圖像可提取，子圖像也允許編解碼塊的運動向量指向子圖像外部，因此允許在子圖像邊界填充作為圖像邊界。

第3圖示出光柵掃描片段中的圖塊的示例，其中圖像被劃分為包含在3個光柵掃描片段中的12個圖塊。如第2圖所示，圖像中有3個圖塊列和4個圖塊行，每個圖塊由18個CTU組成。圖像的第一片段由圖塊光柵掃描順序中的前2個圖塊組成，第二片段由圖塊光柵掃描順序中的5個連續圖塊組成，第三片段由剩餘的5個圖塊組成。第4圖示出矩形片段中的圖塊示例，其中圖像被劃分為包含在9個矩形片段中的24個圖塊。在此示例中有6個圖塊列和4個圖塊行。除了第四、第五和第六矩形片段各有4個圖塊外，所有其他矩形片段都由2個圖塊組成。第5圖示出圖像的子圖像分割的示例，其中圖像被分割成18個圖塊和24個不同尺寸的子圖像。圖塊邊界用粗線表示，子圖像邊界用虛線表示。在第5圖所示的例子中，每個子圖像只包含一個片段。

用於視訊編碼或解碼系統的視訊處理方法的實施例接收與當前圖像相關聯的輸入視訊資料，該當前圖像由多個編碼樹單元（CTU）組成以用於編碼或解碼，该方法確定用於對當前圖像進行分區，分區的子圖像的數量將當前圖像按照子圖像的數量分成一個或多個子圖像，並對當前圖像中的每個子圖像進行編碼或解碼。每個子圖像包含多個完整的CTU，每個子圖像的邊界與以CTU為單位的當前圖像的網格對齊。當前圖像中的子圖像數量受允許的最大片段數量限制。當前圖像中的每個子圖像被編碼以生成視訊位元流或當前圖像中的每個子圖像被解碼以生成解碼視訊。

在一些實施例中，當前圖像中的子圖像的數量由在序列參數集（sequence parameter set，簡稱SPS）中發送或解析的語法元素sps_num_subpics_minusl指示。當語法元素sps_num_subpics_minus1大於0時，參考SPS的編解碼分層視訊序列（Coded Layered Video Sequence，簡稱CLVS）中的每個圖像被確定為被劃分為多個子圖像。當語法元素sps_num_subpics_minus1等於0時，參考的CLVS中的每個圖像SPS不被劃分為多個子圖像，即每張圖像只包含一個子圖像。

根據一些實施例，當前圖像的子圖像佈局基於當前圖像的網格以CTU為單位指定。在一個實施例中，當前圖像中子圖像的數量受限於當前圖像中CTU的數量和允許的最大片段數量中的最小值。在另一個實施例中，子圖像的數量僅受允許的最大片段數量限制。所允許的最大片段數量可藉由從視訊位元流解析的語法元素導出或指示允許的最大片段數的語法元素在視訊位元流中發送。在一個實施例中，允許的最大片段數量表示每個圖像允許被分割成的最大片段數量，在另一個實施例中，允許的最大片段數量是每個訪問單元（AU）允許被分區的最大片段數量。AU是屬於不同層的一組PU，以及包含與從解碼圖像緩衝器（Decoded Picture Buffer，簡稱DPB）輸出的同一時間相關聯的編碼圖像。

當前圖像被劃分為片段，其中每個片段包含多個完整的CTU，當前圖像中的每個子圖像包含共同覆蓋當前圖像的矩形區域的一個或多個片段。

在一些實施例中，指示當前圖像引用的圖像參數集（Picture Parameter Set，簡稱PPS）中是否存在子圖像ID映射資訊的語法元素被確定，以及當語法元素指示PPS中存在子圖像ID映射資訊時，當前圖像被推斷為被矩形片段分割。在一個實施例中，指示當前圖像是被劃分為矩形片段還是光柵掃描片段的語法元素的存在以指示是否存在子圖像ID映射資訊的語法元素為條件。

在一個實施例中，一個或多個參考圖像被確定用於對當前圖像進行幀間編碼。當當前圖像被劃分為多個子圖像以及參考圖像不是包含一個子圖像的層間參考圖像（Inter Layer Reference Picture，簡稱ILRP）時，每個參考圖像具有與當前圖像相同的CTU大小。根據實施例，用於對當前圖像進行幀間編碼的每個參考圖像是與當前圖像相同層中的參考圖像或與當前圖像不同層中的ILRP。當前圖像參考的SPS和每個參考圖像參考的SPS具有相同的sps_log2_ctu_size_minus5值用於層間編碼。

本公開的方面還提供一種用於視訊編碼或解碼系統的裝置。該裝置的一些實施例接收與當前圖像相關聯的輸入視訊資料，其中當前圖像由多個用於編碼或解碼的CTU組成，確定當前圖像的子圖像數量，將當前圖像劃分為一個或多個子圖像根據子圖像的數量，對當前圖像中的每個子圖像進行編碼或解碼，生成視訊位元流或解碼視訊。當前圖像中的子圖像數量受允許的最大片段數量限制。一種存儲使裝置的處理電路執行視訊處理方法的程式指令的非暫時性電腦可讀介質。該視訊處理方法包括接收輸入的由多個CTU組成的當前圖像的視訊資料，確定當前圖像的子圖像數量，將當前圖像劃分為子圖像，以及對當前圖像中的每個子圖像進行編碼或解碼。當前圖像中的子圖像數量受允許的最大片段數量限制。

將容易理解的是，如本文附圖中一般描述和圖示的本發明的組件可以以多種不同的配置佈置和設計。因此，如附圖所示，以下對本發明的系統和方法的實施例的更詳細描述僅代表本發明的選定實施例，並非旨在限制所要求保護的本發明的範圍。

在整個說明書中對“一個實施例”、“一些實施例”或類似語言的引用意味著結合實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在本說明書各處出現的短語“在一個實施例中”或“在一些實施例中”不一定都是指同一實施例，這些實施例可以單獨實施或者與一個或多個其他實施例結合實施。此外，在一個或多個實施例中，所描述的特徵、結構或特性可以以任一合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或者通過其他方法、組件等來實施。在其他情況下，公知的結構或操作未示出或詳細描述以避免混淆本發明的方面。

子圖像 數量的上限 根據VVC標準，子圖像包含共同覆蓋圖像的矩形區域的一個或多個片段。視訊編碼器可以控制是否單獨地對每個子圖像應用跨子圖像邊界的環路濾波。即使子圖像藉由在子圖像邊界應用相同的填充來進行提取，子圖像也允許指向子圖像外部的編解碼塊的運動向量。在SPS中發送的序列參數集（Sequence Parameter Set，簡稱SPS) 級別語法元素 sps_num_subpics_minus1用於指示參考SPS的編解碼分層視訊序列（Coded Layered Video Sequence，簡稱CLVS）中每個圖像中的子圖像數量。當該SPS級別語法元素sps_number_subpics_minus1等於0時，參考SPS的每個圖像不被劃分為多個子圖像。SPS參考的圖像的每個子圖像的位置和大小也可以在SPS 中發送，其中子圖像佈局基於以CTU為單位的當前圖像的網格被指定。在VVC草案中，子圖像的數量由編解碼圖像中的CTU數量限制。但是，每個子圖像至少包含一個完整的片段，編解碼片段的數量應等於或大於編解碼圖像中子圖像的數量。根據本發明的一些實施例，編解碼圖像的子圖像的數量被限制為不大於指定的文檔和級別約束下允許的最大片段數量。每個子圖像包含多個完整的CTU，每個子圖像的邊界與以CTU為單位的編碼圖像的網格對齊。下面說明了對VVC草案9的語法和語義修改的示例性實施例，其中修改部分由底線標記。

7.4.3.3 序列參數集 RBSP 語義 sps_num_subpics_minus1 加1指定CLVS中每張圖像的子圖像數量。sps_num_subpics_minus1的值應在0到Min(MaxSlicesPerPicture,Ceil (sps_pic_width_max_in_luma_samples/CtbSizeY)*Ceil(sps_pic_height_max_in_luma_samples/CtbSizeY))–1的範圍內，包括端值。如果不存在，則sps_num_subpics_minus1 的值被推斷為等於0。

允許的最大片段數MaxSlicePerPicture的值由級別限制（Level limit）確定，以及在VVC草案9中的表中指定。在該示例性實施例中，圖像中的子圖像數量被限制在1到每個圖像的最大片段數量和圖像中的CTU數量兩者中的最小值之間。通常，圖像中CTU的數量遠大於每個圖像的最大片段數量，因此在另一個實施例中，圖像中的子圖像數量僅受片段的最大數量限制。例如，子圖像的數量必須在1到每個圖像的最大片段數量的範圍內。在另一個實施例中，子圖像的數量必須在1到每個訪問單元 (AU) 的最大片段數量的範圍內，其中每個AU是屬於不同層以及包含與同一時間相關聯的編碼圖像的一組PU用於從解碼圖像緩衝器 (DPB) 輸出。每個 AU 的最大片段數的值也可以由級別限制（Level limit）確定，以及可以在表中指定。

編解碼圖像中子圖像的數量由語法元素指示，例如，在編碼圖像所參考的SPS中發送或從其中解析的SPS級別語法元素sps_num_subpics_minus1。當在SPS發送或從其中解析的SPS級別語法元素sps_num_subpics_minus1等於0時，參考SPS的編解碼分層視訊序列（CLVS）中的每個圖像僅包含一個子圖像。當語法元素sps_num_subpics_minus1大於0時，參考SPS的CLVS中的每個圖像被劃分為一個以上的子圖像。

在一個實施例中，編解碼圖像的子圖像佈局基於以CTU為單位的編碼圖像的網格來指定。編解碼圖像被劃分為片段，每個片段由整數個完整的 CTU組成。編解碼圖像中的每個子圖像包含共同覆蓋編解碼圖像的矩形區域的一個或多個矩形片段。

本發明的實施例的代表性流程圖 第6圖示出視訊編碼或解碼系統藉由根據允許的最大片段數量限制子圖像的數量來處理輸入視訊資料的的實施例的流程圖。視訊編碼或解碼系統接收參考SPS的視訊圖像的輸入視訊資料（在步驟S602中），以及確定每個視訊圖像的子圖像數量（在步驟S604中）。每個視訊圖像的子圖像數量受允許的最大片段數量限制。在步驟S606中，根據子圖像數量和子圖像佈局，每個視訊圖像被劃分為子圖像。在步驟S608中，視訊編碼系統對每個視訊圖像中的子圖像進行編碼以生成視訊位元流，或者視訊解碼系統對每個視訊圖像中的子圖像進行解碼以生成解碼視訊。

發送 pps_rect_slice_flag 在VVC草案中，當圖像參數集（Picture Parameter Set，簡稱PPS）級別語法元素pps_subpic_id_mapping_present_flag等於1時，它指示矩形片段將用於劃分參考PPS的編解碼圖像以及PPS級別語法元素pps_rect_slice_flag的值應等於1。當pps_rect_slice_flag等於1時，矩形片段模式被用來對編解碼圖像進行分割，否則當pps_rect_slice_flag等於0時，光柵掃描片段模式被採用。在本發明的一些實施例中，指示當前圖像是被劃分為矩形片段還是光柵掃描片段的語法元素的存在以指示子圖像ID映射資訊是否存在於PPS中的語法元素為條件。例如，PPS級語法元素pps_rect_slice_flag的存在進一步取決於語法元素pps_subpic_id_mapping_present_flag。即，當語法元素pps_subpic_id_mapping_present_flag等於1時，語法元素pps_rect_slice_flag被推斷為等於1，指示當子圖像ID映射資訊存在於PPS中時，圖像被劃分為矩形片段。對VVC草案9的語法和語義修改的示例性實施例，修改部分以粗體書寫如下：

pic_parameter_set_rbsp( ) {	描述符
pps_pic_parameter_set_id	u(6)
pps_seq_parameter_set_id	u(4)
…
pps_no_pic_partition_flag	u(1)
pps_subpic_id_mapping_present_flag	u(1)
if( pps_subpic_id_mapping_present_flag ) {
if( !pps_no_pic_partition_flag )
pps_num_subpics_minus1	ue(v)
pps_subpic_id_len_minus1	ue(v)
for( i = 0; i ＜= pps_num_subpic_minus1; i++ )
pps_subpic_id[ i ]	u(v)
}
if( !pps_no_pic_partition_flag ) {
pps_log2_ctu_size_minus5	u(2)
pps_num_exp_tile_columns_minus1	ue(v)
pps_num_exp_tile_rows_minus1	ue(v)
for( i = 0; i ＜= pps_num_exp_tile_columns_minus1; i++ )
pps_tile_column_width_minus1[ i ]	ue(v)
for( i = 0; i ＜= pps_num_exp_tile_rows_minus1; i++ )
pps_tile_row_height_minus1[ i ]	ue(v)
if( NumTilesInPic ＞ 1 ) {
pps_loop_filter_across_tiles_enabled_flag	u(1)
if( ! pps_subpic_id_mapping_present_flag )
pps_rect_slice_flag	u(1)
}
…
}
…
}

具有子圖像的層間編解碼 在VVC草案中，關於子圖像佈局的資訊被編解碼於參考SPS的編解碼圖像的SPS中。當對於層間參考圖像所參考的SPS，語法元素sps_num_subpics_minus1大於0時，參考圖像和當前圖像應具有相同的子圖像佈局是位元流一致性的要求。SPS語法元素sps_log2_ctu_size_minus5的值與子圖像佈局的縮放因數有關。在本發明的一個實施例中，當當前圖像被劃分為多個子圖像以及參考圖像不是包含一個子圖像的ILRP時，用於對當前圖像進行幀間編解碼的每個參考圖像具有與當前圖像相同的CTU大小。每個參考圖像可以是與當前圖像相同層中的參考圖像或與當前圖像不同層中的ILRP。例如，當參考圖像不是包含一個子圖像的ILRP時，當前圖像引用的SPS和參考圖像引用的SPS應該具有相同的sps_log2_ctu_size_minus5值用於幀間編解碼或層間編解碼。語法元素sps_log2_ctu_size_minus5指示CTU大小。在一個實施例中，具有與當前圖像相同的CTU大小的至少一個參考圖像是用於對當前圖像進行層間編解碼的ILRP。對於參考sps_num_subpics_minus1大於0的SPS的ILRP，只有當參考層SPS和當前層SPS具有相同的sps_log2_ctu_size_minus5值時，ILRP才有資格被添加到活動參考列表條目（active reference list entry）中。對VVVC草案9的語法和語義修改的示例性實施例，其中修改部分用底線標記如下：7.4.3.3 序列參數集 RBSP 語義 sps_subpic_treatment_as_pic_flag [i] 等於1指定CLVS中每個編解碼圖像的第i個子圖像在解碼過程（不包括環路濾波操作）中被視為圖像。sps_subpic_treatment_as_pic_flag[i]等於0指定CLVS中每個編解碼圖像的第i個子圖像在解碼過程（不包括環路濾波操作）中不作為圖像處理。如果不存在，則sps_subpic_treatment_as_pic_flag[ i ]的值被推斷為等於 1。當sps_num_subpics_minus1大於0且sps_subpic_treatment_as_pic_flag[i]等於1時，對於參考SPS的當前層的每個CLVS，令targetAuSet為從包含按解碼順序排列的CLVS的第一張圖像的AU開始，到包含按解碼順序排列的CLVS的最後一張圖像的AU的所有AU（包括端值），位元流一致性的要求是，對於包含當前層和所有以當前層作為參考層的層的targetLayerSet，以下所有條件都為真： — 對於targetAuSet中的每個AU，targetLayerSet中各層的所有圖像應具有相同的pps_pic_width_in_luma_samples值和相同的pps_pic_height_in_luma_samples 值。 –targetLayerSet中各層所參考的所有SPS 應具有相同的 sps_log2_ctu_size_minus5值和相同的sps_num_subpics_minus1值，以及應具有相同的sps_subpic_ctu_top_left_x[j],sps_subpic_ctu_top_left_y[j_pics1[j_picus1], sps_sub_width][j_pics_width]值和sps_subpic_treatment_as_pic_flag[ j ]，每個j值在0到sps_num_subpics_minus1範圍內，包括端值。 –對於targetAuSet中的每個AU，targetLayerSet中各層的所有圖像具有相同的SubpicIdVal[j]值，每個j值在0到sps_num_subpics_minus1範圍內，包括端值。8.3.2 參考圖片清單構建的解碼過程 … - 當 vps_independent_layer_flag[ GeneralLayerIdx[ nuh_layer_id ] ] 等於 0 且 sps_num_subpics_minus1 大於 0 時，以下兩個條件之一（但不是兩者）應為真： o 由 RefPicList[0] 或 RefPicList[1] 中的每個活動條目參考的圖像與當前圖像具有相同的子圖像佈局（即，該圖像參考的 SPS和當前圖像具有相同的sps_log2_ctu_size_minus5值，相同的sps_num_subpics_minus1值以及分別的 sps_subpic_ctu_top_left_x[ j ]值、sps_subpic_ctu_top_left_y[ j ]值、sps_subpic_width_minus1[ j ] 值和 sps_subpic_height_minus1[ j ]值，每個j值在0到sps_num_subpics_minus1範圍內，包括端值）。 o 由 RefPicList[0] 或 RefPicList[1] 中的每個活動條目參考的圖像是 ILRP，其 sps_num_subpics_minus1 值等於 0。

實現本發明的示例性視訊 編碼 器和視訊解碼器 本發明的實施例可以在編碼器和/或解碼器中實現。例如，所公開的方法可以在編碼器的熵編碼模組和高級語法編碼模組、和/或解碼器的熵解碼模組和高級語法解碼模組中的一個或組合中實現。或者，所公開的方法中的任一可以實現為耦合到編碼器的熵編碼模組或高級語法編碼模組和/或解碼器的熵解碼模組或高級語法解碼模組的電路，以提供任一模組所需的資訊。編碼器和解碼器可以是視訊編碼器和視訊解碼器或圖像編碼器和圖像解碼器。當在圖像編碼器和/或圖像解碼器中實施前述提出的方法時，所得位元流對應於僅使用圖像內預測的一個編碼幀。視訊編碼器必須遵循上述語法設計才能生成合法的視訊位元流，而視訊解碼器只有在解析過程符合上述語法設計的情況下才能正確解碼視訊位元流。當視訊位元流中跳過任一語法元素時，視訊編碼器和解碼器將語法元素的值定義為推斷值，以保證編解碼結果匹配。

第7圖示出用於實現本發明的各種實施例中的一個或多個的視訊編碼器700的示例性系統框圖。視訊編碼器700接收由多個CTU組成的當前圖像的輸入視訊資料。每個CTU由一個亮度樣本塊以及一個或多個相應的色度樣本塊組成。當前圖像被劃分為一個或多個子圖像，每個子圖像包含整數個完整的CTU。幀內預測模組710基於當前圖像的重構視訊資料提供幀內預測子。幀間預測模組712執行運動估計（Motion Estimation，簡稱ME）和運動補償（Motion Compensation，簡稱MC）以基於參考來自其他圖像的視訊資料來提供幀間預測值。在本發明的一些實施例中，當前圖像中的子圖像的數量受到允許的最大片段數量的限制。當前圖像中子圖像的數量受限制在1到允許的最大片段數量之間的範圍內。幀內預測模組710或幀間預測模組712使用開關714向加法器716提供當前圖像中CTU內當前塊的選定預測子，以藉由從當前塊的原始視訊資料中減去選定預測子來形成殘差。例如，當前塊是編解碼單元（Coding unit，簡稱CU）。當前塊的殘差由變換模組（Transformation module，簡稱T）718和隨後的量化模組（Quantization module，簡稱Q）720進一步處理。變換和量化的殘差訊號然後由熵編碼器734編碼以形成視訊位元流。當前塊的變換和量化殘差訊號由逆量化模組（Quantization module，簡稱IQ）722和逆變換模組（Inverse Transformation module，簡稱IT）724處理以恢復預測殘差。如第7圖所示，藉由在重構模組（Reconstruction module，簡稱REC）726處將殘差加回到選定的預測子，殘差被恢復以產生重構的視訊資料。重構視訊資料可以存儲在參考圖像緩衝器（Reference Picture Buffer，簡稱Ref. Pict. Buffer）732中以及用於其他圖像的預測。由於編碼處理，來自REC 726的重構視訊資料可能受到各種損害，因此，在重構視訊資料被存儲到參考圖像緩衝器732中之前，至少一個環路處理濾波器（In-loop Processing Filter，簡稱ILPF）728有條件地應用於重構視訊資料以進一步提升畫質。去塊濾波器是ILPF 728的示例。語法元素被提供給熵編碼器734以合併到視訊位元流中。

第7圖的視訊編碼器700的對應視訊解碼器800在第8圖中示出。由視訊編碼器編碼的視訊位元流是視訊解碼器800的輸入以及由熵解碼器810解碼以解析和恢復經變換和量化的殘差訊號和當前圖像的其他系統資訊。解碼器800的解碼過程類似於編碼器700處的重構迴圈，不同之處在於解碼器800僅需要幀間預測模組814中的運動補償預測。熵解碼器810接收被劃分為一個或多個子圖像的當前圖像，其中當前圖像由多個CTU組成。當前圖像中每個CTU的每個塊由幀內預測模組812或幀間預測模組814解碼。根據解碼模式，開關816從幀內預測模組812或幀間預測模組814中選擇幀內預測子資訊。在一些實施例中，子圖像的數量受到允許的最大片段數量的限制。根據一些實施例，與允許的最大片段數量相關聯的資訊是從視訊位元流中解析出來的。經變換和量化的殘差訊號由逆量化模組（Inverse Quantization，簡稱IQ）820和逆變換模組（Transformation module，簡稱IT）822恢復。IQ模組820也被稱為去量化模組。藉由在重建（Reconstruction，簡稱REC）模組818中加回預測子來重構恢復的殘差訊號以產生重構視訊。重構視訊進一步由至少一個環內處理濾波器（In-loop Processing Filter，簡稱ILPF）824有條件地處理以生成最終解碼視訊。去塊濾波器是ILPF 824的一個示例。如果當前解碼的圖像是參考圖像，則當前解碼的圖像的重構視訊也存儲在參考圖像緩衝器（Ref. Pict. Buffer）828中，用於解碼順序中後續的圖像。

第7圖和第8圖中的視訊編碼器700和視訊解碼器800的各種組件可以由硬體組件、一個或多個被配置為執行存儲在記憶體中的程式指令的處理器、或者硬體和處理器的組合來實現。例如，處理器執行程式指令以根據允許的最大片段數來控制限制子圖像的數量。處理器配備有單個或多個處理內核。在一些示例中，處理器執行程式指令以執行編碼器700和解碼器800中的一些組件中的功能，與處理器電耦合的記憶體用於存儲程式指令、與塊的重構圖像對應的資訊、和/或編碼或解碼過程中的中間資料。在一些示例中，視訊編碼器700可以藉由在視訊位元流中包括一個或多個語法元素來發送資訊，以及對應的視訊解碼器800藉由解析和解碼一個或多個語法元素來導出這樣的資訊。在一些實施例中，記憶體包括非暫時性電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體（random access memory，簡稱RAM）、唯讀記憶體（read-only memory，簡稱ROM）、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩種或更多種非暫時性電腦可讀介質的組合。如第7圖和第8圖所示，編碼器700和解碼器800可以在相同的電子設備中實現，因此如果在相同的電子設備中實現，編碼器700和解碼器800的各種功能組件可以被共用或重複使用。例如，第7圖中的重構模組726、逆變換模組724、逆量化模組722、環路處理濾波器728和參考圖像緩衝器732中的一個或多個也可以分別用作第8圖的重構模組818、逆變換模組822、逆量化模組820、環路處理濾波器824和參考圖像緩衝器828。

更有效的視訊處理方法的實施例可以在集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中的程式碼中實現以執行上述處理。例如，對當前圖像的編碼或解碼可以在電腦處理器、數位訊號處理器（Digital Signal Processor，簡稱DSP)、微處理器或現場可程式設計閘陣列（field programmable gate aray，簡稱FPGA）上執行的程式碼中實現。這些處理器可以被配置為根據本發明藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行特定任務。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面都應被視為說明性的而非限制性的。因此，本發明的範圍由申請專利範圍而不是由前述說明指示。落入申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。

S602、S604、S606、S608:步驟 700:編碼器 710:幀內預測模組 712:幀間預測模組 714:開關 716:加法器 718:變換模組 720:量化模組 722:逆量化模組 724:逆變換模組 726:重構模組 728:環路處理濾波器 732:參考圖像緩衝器 734:熵編碼器 800:解碼器 810:熵解碼器 812:幀內預測模組 814:幀間預測模組 816:開關 818:重構模組 820:逆量化模組 822:逆變換模組 824:環路處理濾波器 828:參考圖像緩衝器

將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中相同的數字表示相同的組件，以及其中：第1圖示出用於根據四分樹分割結構將編解碼樹單元（CTU）分割成編解碼單元（CU）以及將每個CU分割成一個或多個變換單元（TU）的示例性編解碼樹。第2圖示出第1圖所示的塊分割結構的相應四分樹表示。第3圖示出應用光柵掃描片段分區將圖像劃分為12個圖塊和3個光柵掃描片段的示例。第4圖示出應用矩形片段分割將圖像劃分為24個圖塊和9個矩形片段的示例。第5圖示出將圖像劃分為18個圖塊和24個子圖像/片段的示例。第6圖示出根據本發明實施例的處理參考SPS的圖像中的視訊資料的流程圖。第7圖示出包含根據本發明實施例的視訊處理方法的視訊編碼系統的示例性系統框圖。第8圖示出包含根據本發明實施例的視訊處理方法的視訊解碼系統的示例性系統框圖。

S602、S604、S606、S608:步驟

Claims

一種在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，包括：接收與一當前圖像相關聯的輸入視訊資料，其中該當前圖像由複數個編解碼樹單元組成以用於編碼或解碼；確定該當前圖像的一子圖像數量；根據該子圖像數量將該當前圖像劃分為一個或多個子圖像，其中每個子圖像包含複數個完整的編解碼樹單元，以及每個子圖像的邊界與以編解碼樹單元為單位的該當前圖像的網格對齊，其中該當前圖像的該子圖像數量受限於一允許的最大片段數量；以及對該當前圖像中的一個或多個子圖像進行編碼以生成一視訊位元流或對該當前圖像中的一個或多個子圖像進行解碼以生成解碼視訊。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像中該子圖像數量由在一序列參數集中發送或解析的語法元素sps_num_subpics_minus1指示。
如請求項2所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，當該語法元素sps_num_subpics_minus1大於0時，參考該序列參數集的一編解碼分層視訊序列中的每個圖像被確定為被劃分為複數個子圖像。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像的一子圖像佈局基於以編解碼樹單元為單位的該當前圖像的一網格指定。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像中該子圖像數量受該當前圖像中多個編解碼樹單元的一數量和該允許的最大片段數量中的一最小者的限制。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像中的該子圖像數量被限制為不大於一指定文檔和級別約束下的該允許的最大片段數量。
如請求項6所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中該允許的最大片段數量由從該視訊位元流解析的語法元素導出，或者指示該允許的最大片段數量的一語法元素在該視訊位元流中發送。
如請求項7所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中該允許的最大片段數量指示每個圖像允許劃分成的一最大片段數量。
如請求項7所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該允許的最大片段數量是每個訪問單元允許劃分成的最大片段數量，其中該訪問單元是一組屬於不同層的預測單元，包含與從一解碼圖像緩衝器輸出的同一時間相關聯的多個編解碼圖像。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像被劃分為多個片段，每個片段包含多個完整的編解碼樹單元，其中該當前圖像中的每個子圖像包含共同覆蓋該當前圖像的一矩形區域的一個或多個片段。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該方法進一步包括：確定指示在該當前圖像所參考的一圖像參數集中是否存在子圖像識別字映射資訊的一語法元素，以及當該語法元素指示該子圖像識別字映射資訊存在於該圖像參數集時，推斷多個矩形片段被用於分割該當前圖像。
如請求項11所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，指示該當前圖像被劃分為多個矩形片段還是多個光柵掃描片段的一語法元素的存在以指示子圖像識別字映射資訊是否存在於該圖像參數集中的該語法元素為條件。
如請求項1所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該方法進一步包括：確定用於對該當前圖像進行幀間編解碼的一個或多個參考圖像，其中當該當前圖像被劃分為複數個子圖像以及該參考圖像不是包含一個子圖像的一層間參考圖像時，每個參考圖像具有與該當前圖像相同的編解碼樹單元大小。
如請求項13所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中用於對該當前圖像進行幀間編解碼的每個參考圖像是與該當前圖像相同層中的一參考圖像或與該當前圖像不同層中的一層間參考圖像。
如請求項14所述之在一視訊編碼系統或一視訊解碼系統中對多個圖像進行編解碼的視訊處理方法，其中，該當前圖像參考的一序列參數集和每個參考圖像參考的一序列參數集具有相同的sps_log2_ctu_size_minus5值用於層間編解碼，其中sps_log2_ctu_size_minus5表示CTU大小。
一種在一視訊編碼系統或一視訊解碼系統中的視訊處理方法的裝置，該裝置包括一個或多個電子電路，被配置用於：接收與一當前圖像相關聯的輸入視訊資料，其中該當前圖像由複數個編解碼樹單元組成以用於編碼或解碼；確定該當前圖像的一子圖像數量；根據該子圖像數量將該當前圖像劃分為一個或多個子圖像，其中每個子圖像包含複數個完整的編解碼樹單元，以及每個子圖像的邊界與以編解碼樹單元為單位的該當前圖像的網格對齊，其中該當前圖像的該子圖像數量受限於一允許的最大片段數量；以及對該當前圖像中的一個或多個子圖像進行編碼以生成一視訊位元流或對該當前圖像中的一個或多個子圖像進行解碼以生成解碼視訊。
一種存儲程式指令的非暫時性電腦可讀介質，該程式指令使一裝置的一處理電路對被分割成多個子圖像的多個圖像執行一視訊處理方法，其中該方法包括：接收與一當前圖像相關聯的輸入視訊資料，其中該當前圖像由複數個編解碼樹單元組成以用於編碼或解碼；確定該當前圖像的一子圖像數量；根據該子圖像數量將該當前圖像劃分為一個或多個子圖像，其中每個子圖像包含複數個完整的編解碼樹單元，以及每個子圖像的邊界與以編解碼樹單元為單位的該當前圖像的網格對齊，其中該當前圖像的該子圖像數量受限於一允許的最大片段數量；以及對該當前圖像中的一個或多個子圖像進行編碼以生成一視訊位元流或對該當前圖像中的一個或多個子圖像進行解碼以生成解碼視訊。