TWI809416B - 視訊序列編解碼方法和裝置 - Google Patents

視訊序列編解碼方法和裝置 Download PDF

Info

Publication number
TWI809416B
TWI809416B TW110120907A TW110120907A TWI809416B TW I809416 B TWI809416 B TW I809416B TW 110120907 A TW110120907 A TW 110120907A TW 110120907 A TW110120907 A TW 110120907A TW I809416 B TWI809416 B TW I809416B
Authority
TW
Taiwan
Prior art keywords
picture
equal
current
subpicture
value
Prior art date
Application number
TW110120907A
Other languages
English (en)
Other versions
TW202203648A (zh
Inventor
向時達
魯林 陳
徐志瑋
歐萊娜 邱巴赫
Original Assignee
寰發股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寰發股份有限公司 filed Critical 寰發股份有限公司
Publication of TW202203648A publication Critical patent/TW202203648A/zh
Application granted granted Critical
Publication of TWI809416B publication Critical patent/TWI809416B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

用於在多層編解碼的參考圖像列表中發送或解析受約束的活動條目的方法和裝置被公開。對於解碼器端，當當前圖像為隨機存取可解碼前置(Random Access Decodable Leadership，簡稱RADL)圖像時，當前圖像的參考圖像列表0或參考圖像列表1被强制要求不包含活動條目，該活動條目對應於pps_mixed_nalu_types_in_pic_flag等於0的隨機存取跳過前置(Random Access Skipped Leadership，簡稱RASL)圖像；或者對應於按解碼順序位於關聯的幀內隨機存取點(Intra Random Access Point，簡稱IRAP)圖像之前的圖像，以及其中RADL圖像的參考圖像列表0或參考圖像列表1中的活動條目可以參考具有pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像，以及被參考的RASL圖像屬於與包含當前圖像的層(即RADL圖像)相同的層或不同的層。

Description

視訊序列編解碼方法和裝置
本發明涉及視訊編解碼系統，以及更具體地，涉及視訊序列編解碼方法和裝置。
高效視訊編碼(High-efficiency video coding，簡稱HEVC)是由視訊編碼聯合協作組(Joint Collaborative Team on Video Coding，簡稱JCT-VC)制定的最新國際視訊編碼標準(Rec.ITU-T H.265 | ISO/IEC 23008-2 version 3：High Efficiency Video Coding,April,2015)。第1圖提供了HEVC編碼系統的框圖。由重構訊號(128)對輸入視訊訊號進行預測，預測訊號使用幀間/幀內預測(110)從編碼圖像區域中導出。預測殘差訊號由線性變換處理(118)。變換係數經量化(120)和熵編碼(122)並和其他輔助資訊一起放入位元流中。重構訊號(128)是在對去量化變換係數(124)進行逆變換(126)之後根據預測訊號和重構殘差訊號生成的。重構訊號由環路濾波(例如，去塊濾波器(DF)130和NDF(131))進一步處理以去除編解碼偽影。解碼後的圖像被存儲在參考圖像緩衝器(134)中，用於預測輸入視訊訊號中的未來圖像。
在HEVC中，已編解碼圖像被分割成由相關聯的編解碼樹單元(coding tree unit，簡稱CTU)表示的非重疊方形塊區域。已編解碼圖像可以由片段集合表示，每個片段包含整數個CTU。片段中的各個CTU按光柵掃描順序 (raster scanning order)進行處理。雙向預測(bi-predictive，簡稱B)片段可使用幀內預測或可使用最多兩個運動向量和參考索引的幀間預測來解碼以預測每個塊的樣本值。預測(predictive，簡稱P)片段可使用幀內預測或使用至多一個運動向量和參考索引的幀間預測來解碼以預測每個塊的樣本值。幀內(Intra，簡稱I)片段僅使用幀內預測進行解碼。
使用遞迴四叉樹(quadtree，簡稱QT)結構，CTU可被劃分為多個非重疊編解碼單元(coding unit，簡稱CU)以適應各種局部運動和紋理特性。一個或多個預測單元(prediction unit，簡稱PU)被指定用於每個CU。預測單元與相關聯的CU語法一起作為用於發送預測子資訊的基本單元。指定的預測過程被用來預測PU內相關像素樣本的值。使用殘差四叉樹(residual quadtree，簡稱RQT)結構，CU被進一步分割，以表示相關聯的預測殘差訊號。RQT的葉節點(leaf node)對應於變換單元(transform unit，簡稱TU)。變換單元由大小為8x8、16x16或32x32的亮度樣本的變換塊(TB)或大小為4x4的亮度樣本的四個變換塊，以及具有4：2：0顏色格式的圖像的色度樣本的兩個相應變換塊組成。整數變換被應用於變換塊，量化係數的電平值與其他邊資訊一起在位元流中進行熵編碼。第2圖示出塊分割210(左)及其對應的QT表示220(右)的示例。實線表示CU邊界，虛線表示TU邊界。
術語編解碼樹塊(coding tree block，簡稱CTB)、編解碼塊(coding block，簡稱CB)、預測塊(prediction block，簡稱PB)和變換塊(transform，簡稱TB)被定義為指定分別與CTU、CU、PU和TU相關聯的一個顏色分量的2D樣本陣列。因此，CTU由一個亮度CTB、兩個色度CTB和相關的語法元素組成。類似的關係適用於CU、PU和TU。樹分割通常同時應用於亮度和色度，但當色度達到特定最小尺寸時會出現例外情況。
ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家 組(Joint Video Experts Team，簡稱JVET)目前正在建立下一代視訊編解碼標準。JVET-Q2001的通用視訊編解碼(Versatile Video Coding，簡稱VVC)草案中採用一些有前景的新編解碼工具(B.Bross J.Chen,S.Liu,“Versatile Video Coding(Draft 8),”Document of Joint Video Experts Team of ITU_T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JVET-Q2001,17th Meeting：Brussels,BE,7-17 January 2020)。在JVET-Q2001中指定的VVC草案中，已編解碼圖像被劃分為由CTU表示的非重疊方形塊區域，類似於HEVC。每個CTU可被四叉樹分割成一個或多個較小尺寸的編解碼單元(coding unit，簡稱CU)，四叉樹使用二元和三元分割的嵌套多類型樹。生成的CU分區可以是正方形或矩形。
在JVET-Q2001中指定的通用視訊編碼(VVC)草案中，圖塊(tile)是覆蓋圖像矩形區域的CTU序列。圖塊中的CTU在該圖塊內按光柵掃描順序進行掃描。圖像被分成一個或多個圖塊行(row)和一個或多個圖塊列(column)。一個片段(slice)由整數個完整的圖塊或圖像的一個圖塊內的整數個連續的完整CTU行組成。兩種片段模式被支援，即光柵掃描片段模式和矩形片段模式，如語法元素rect_slice_flag所示。在光柵掃描片段模式中，片段包含圖像的圖塊光柵掃描中的完整圖塊序列。在矩形片段模式中，片段包含共同形成圖像的矩形區域的多個完整圖塊或共同形成圖像的矩形區域的一個圖塊的多個連續完整CTU行。在對應於該片段的矩形區域內，矩形片段內的圖塊以圖塊光柵掃描順序進行掃描。第3圖和第4圖分別提供在光柵掃描片段模式和矩形片段模式下將圖像劃分為圖塊和片段的示例。第3圖說明一個示例，其中具有18x12亮度CTU的圖像被劃分為12個圖塊和3個光柵掃描片段。每個CTU用虛線包圍的小矩形表示，每個圖塊用細實線表示，以及每個片段用粗線包圍的灰色區域表示。第4圖說明一個示例，其中具有18x12亮度CTU的圖像被劃分為24個圖塊和9個矩形片段。
VVC允許在子圖像級別進行圖像編碼，其中子圖像被定義為圖像內一個或多個(矩形)片段的矩形區域。VVC可以使用多層預測編解碼。基於預測的視訊編解碼使用先前已編解碼的圖像作為參考圖像。在多層編解碼中，參考圖像可以屬於與包含當前圖像的層相同的層或不同的層，以及參考子圖像可以具有與當前子圖像不同的解析度。第5圖示出使用預測編解碼的圖像結構示例，其中圖像類型包括隨機存取可解碼前置(Random Access Decodable Leadership，簡稱RADL)和隨機存取跳過前置(Random Access Skipped Leading，簡稱RASL)圖像。如第5圖所示，編解碼順序與輸出順序不同。圖像之間的彎曲箭頭表示預測方向。VVC還允許在圖像中混合NAL單元類型。第6圖示出在圖像內混合RASL和乾净隨機存取(Clean Random Access，簡稱CRA)NAL單元類型的示例。允許混合NAL單元類型的存在由mix_nalu_types_in_pic_flag=1的語法元素指示。
RADL圖像是指每個視訊編解碼層(Video Coding Layer，簡稱VCL)網路抽象層(Network Abstraction Layer，簡稱NAL)單元具有等於RADL_NUT的nal_unit_type的已編解碼圖像。RASL圖像是指至少有一個VCL NAL單元的nal_unit_type等於RASL_NUT以及其他VCL NAL單元的nal_unit_type都等於RASL_NUT或RADL_NUT的已編解碼圖像。
用於在多層編解碼的參考圖像列表中發送或解析受約束的活動條目的方法和裝置被公開。對於解碼器端，當當前圖像為隨機存取可解碼前置(Random Access Decodable Leadership，簡稱RADL)圖像時，當前圖像的參考圖像列表0或參考圖像列表1被强制要求不包含活動條目，該活動條目對應於包含pps_mixed_nalu_types_in_pic_flag值等於0的隨機存取跳過前置(Random Access Skipped Leadership，簡稱RASL)圖像，或對應於按解碼順序位於關聯的幀內隨機存取點(Intra Random Access Point，簡稱IRAP)圖像之前的圖像，以及其中RADL圖像的參考圖像列表0或參考圖像列表1中的活動條目可以參考pps_mixed_nalu_types_in_pic_flag值等於1的RASL圖像，以及參考RASL圖像屬於與包含當前圖像的層(即RADL圖像)相同的層或不同的層。
在編碼器側，包括當前圖像的輸入資料被接收。當前圖像被編碼，其中當當前圖像被編碼為隨機存取可解碼前置(Random Access Decodable Leadership，簡稱RADL)圖像時，當前圖像的參考圖像列表0或參考圖像列表1被强制要求不包含活動條目，該活動條目對應於pps_mixed_nalu_types_in_pic_flag值等於0的隨機存取跳過前置(Random Access Skipped Leadership，簡稱RASL)圖像；或者對應於按解碼順序位於關聯的幀內隨機存取點(Intra Random Access Point，簡稱IRAP)圖像之前的圖像，以及其中RADL圖像的參考圖像列表0或參考圖像列表1中的活動條目可以參考pps_mixed_nalu_types_in_pic_flag值等於1的RASL圖像，以及參考RASL圖像屬於與包含當前圖像的層(即RADL圖像)相同的層或不同的層。包括參考圖像列表0或參考圖像列表1中的活動條目的資訊的視訊位元流被生成。
用於在多層編解碼的參考圖像列表中發送或解析受約束的活動條目的另一種方法和裝置被公開。根據解碼端的方法，與當前圖像相關聯的視訊位元流被接收，其中當當前圖像的當前子圖像(具有nuh_layer_id等於特定值layerId，子圖像索引等於特定值subpicIdx和sps_subpic_treatment_as_pic_flag[subPicIdx]等於1)是隨機存取可解碼前置(Random Access Decodable Leading，簡稱)子圖像時，與當前子圖像相關聯的參考圖像列表0或參考圖像列表1被強制要求不包含活動條目，該活動條目對應於nuh_layer_id值等於或不等於layerId的圖像，且該圖像包含子圖像索引等於 subpicIdx的RASL子圖像的圖像；或者對應於nuh_layer_id值不等於layerId且sps_num_subpics_minus1值等於0的RASL(隨機存取跳過前置)圖像；或者按解碼順序位於關聯的幀內隨機存取點(Intra Random Access Point，簡稱IRAP)圖像之前的圖像。然後，利用包括參考圖像列表0或參考圖像列表1中的活動條目的資訊，當前圖像被解碼。
在編碼器側，包括當前圖像的輸入資料被接收。當前圖像被編碼，其中當當前圖像的當前子圖像(其具有nuh_layer_id等於特定值layerId，子圖像索引等於特定值subpicIdx以及sps_subpic_treatment_as_pic_flag[subPicIdx]值等於1)是隨機存取可解碼前置(Random Access Decodable Leading，簡稱)子圖像時，與當前子圖像相關聯的參考圖像列表0或參考圖像列表1被强制要求不包含活動條目，該活動條目對應於nuh_layer_id值等於或不等於layerId的圖像，且該圖像包含子圖像索引等於subpicIdx的RASL子圖像的圖像；或者對應於nuh_layer_id值不等於layerId且sps_num_subpics_minus1值等於0的隨機存取跳過前置(Random Access Skipped Leading)圖像；或者按解碼順序位於關聯的(Intra Random Access Point，簡稱IRAP)圖像之前的圖像。包括參考圖像列表0或參考圖像列表1的活動條目的資訊的視訊位元流被生成。
110:幀間/幀內預測
116:加法器
118:變換
120:量化
122:熵編碼器
124:逆量化
126:逆變換
128:重構
130:去塊濾波器
134:參考圖像緩衝器
210:塊分割
220:QT表示
710、720、810、820:步驟
第1圖示出示例性適應性幀間/幀內視訊編碼系統。
第2圖示出塊劃分的示例，其中塊劃分結果顯示在左側，而編碼樹(也稱為分區樹結構)顯示在右側。
第3圖示出在光柵掃描片段模式下將圖像劃分成圖塊和片段的示例，其中具有18x12亮度CTU的圖像被劃分成12個圖塊和3個光柵掃描片段。
第4圖示出在矩形片段模式下將圖像劃分為圖塊和片段的示例，其中具有18x12亮度CTU的圖像被劃分為24個圖塊和9個矩形片段。
第5圖示出使用預測編解碼的圖像結構的示例，其中圖像類型包括隨機存取可解碼前置(Random Access Decodable Leading，簡稱RADL)和隨機存取跳過前置(Random Access Skipped Leading，簡稱RASL)圖像。
第6圖示出在圖像內混合RASL和乾净隨機存取(Clean Random Access，簡稱CRA)NAL單元類型的示例。允許混合NAL單元類型的存在由mix_nalu_types_in_pic_flag=1的語法元素指示。
第7圖示出根據本發明實施例的示例性視訊解碼系統的流程圖，其中當前圖像是隨機存取可解碼前置(Random Access Decodable Leading，簡稱RADL)圖像。
第8圖示出根據本發明實施例的用於子圖像的示例性視訊解碼系統的流程圖。
以下描述是實施本發明的最佳設想模式。該描述是為了說明本發明的一般原理而進行的，不應被理解為限制性的。本發明的範圍最好藉由參考所附申請專利範圍來確定。
在分層編解碼中，可能存在不止一個層和跨層的圖像或子圖像相關性。此外，在多層編解碼中，參考圖像可以屬於與包含當前圖像的層相同的層或不同的層，以及參考子圖像可以具有與當前子圖像不同的解析度。在JVET-R2001中，RADL圖像或RADL子圖像的參考圖像列表中的活動條目的上述A項和B項的約束沒有被正確設置。因此，在本發明中，如下表A和表B對具有改進約束的RADL圖像和RADL子圖像的參考圖像列表中的活動條目上的A項和B項的約束被公開。
在JVET-S0152(Ye-Kui Wang,“AHG2：Editorial input of a text integration for the May 2020 HLS AHG meeting outcome”,Joint Video Experts Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JVET-Q2001,19th Meeting：by teleconference,22 June-1 July 2020,Document：JVET-S0152)，修訂後的VVC草案規定了對參考圖像列表的約束的位元流一致性要求。特設組專家(ad hoc group experts)對RADL圖像的推薦文字如下：
A.當當前圖像是RADL圖像時，RefPicList[0]或RefPicList[1]中不應包括以下任一活動條目：
o pps_mixed_nalu_types_in_pic_flag等於0的RASL圖像
注釋4-這意味著RADL圖像的RPL的活動條目可以參考pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像。然而，當從關聯的CRA圖像開始解碼時，這樣的RADL圖像仍然可以正確解碼，因為該參考RASL圖像中的RADL子圖像將被正確解碼，因為RADL圖像將僅參考該參考RASL圖像中的RADL子圖像，如下一個約束所施加的那樣，該約束不允許RADL子圖像參考RASL子圖像。
o 按解碼順序位於關聯IRAP圖像之前的圖像
B.當nuh_layer_id等於特定值layerId且子圖像索引等於特定值subpicIdx的當前子圖像是RADL子圖像時，RefPicList[0]或RefPicList[1]中不應包括以下任一活動條目：
o nuh_layer_id等於layerId的圖像(包含子圖像索引等於subpicIdx的RASL子圖像)
o 解碼順序按位於包含相關IRAP子圖像的圖像之前的圖像
上述推薦文本中，A項對應RADL圖像的約束，B項對應RADL子圖像的約束。IRAP圖像是指幀內隨機存取點圖像，其中所有VCL NAL單元在IDR_W_RADL到CRA_NUT範圍內具有相同的nal_unit_type值，包括端值。上述 約束中，nuh_layer_id指定VCL NAL單元所屬層的標識或者非VCL NAL單元適用的層標識。nuh_layer_id的值應在0到55的範圍內，包括0到55。nuh_layer_id的其他值保留供將來使用。
在以上約束中，RPL對應於參考圖像列表。pps_mixed_nalu_types_in_pic_flag是圖像參數集合(picture parameter set，簡稱PPS)中的標誌，表示圖像中是否使用混合NAL單元，其中pps_mixed_nalu_types_in_pic_flag等於1表示參考PPS的每個圖像具有一個以上VCL NAL單元，該些VCL NAL單元的nal_unit_type值不相同。pps_mixed_nalu_types_in_pic_flag等於0指定參考PPS的每個圖像具有一個或多個VCL NAL單元，以及參考PPS的每個圖像的VCL NAL單元具有相同的nal_unit_type值。
IRAP圖像在其解碼過程中不使用幀間預測，以及可以是CRA圖像或IDR圖像。位元流中按解碼順序的第一個圖像必須是IRAP或GDR圖像。如果必要的參數集在需要參考時是可用的，則CLVS中按解碼順序排列的IRAP圖像和所有後續非RASL圖像可被正確地解碼，而無需對按解碼順序位於IRAP圖像之前的任一圖像執行解碼過程。
IRAP圖像的pps_mixed_nalu_types_in_pic_flag值等於0。當圖像的pps_mixed_nalu_types_in_pic_flag值等於0，以及該圖像的任一片段的nal_unit_type在IDR_W_RADL到CRA_NUT的範圍內(包括端值)，該圖像的所有其他片段具有相同的nal_unit_type值，以及該圖像已知為IRAP圖像。
在一個實施例中，對具有改進約束的RADL圖像的參考圖像列表中的活動條目的約束如下所示：
A.當當前圖像是RADL圖像時，RefPicList[0]或RefPicList[1]中不應有以下任一活動條目：
o 具有pps_mixed_nalu_types_in_pic_flag值等於0的RASL圖像
注釋4-這意味著RADL圖像的RPL的活動條目可以引用pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像，以及參考RASL圖像可能屬於與包含當前RADL圖像的層相同的層或不同的層。然而，當從關聯的CRA圖像開始解碼時，這樣的RADL圖像仍然可以正確解碼，因為sps_subpic_treatment_as_pic_flag等於1的參考RASL圖像中的RADL子圖像將被正確解碼，因為RADL圖像將只參考該參考RASL圖像中的RADL子圖像，如下一個約束所強加的那樣，該約束不允許RADL子圖像參考RASL子圖像。
o 按解碼順序位於關聯的IRAP子圖像的圖像之前的圖像
B.當當前子圖像(具有nuh_layer_id等於特定值layerId，子圖像索引等於特定值subpicIdx以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於1)是RADL子圖像時，RefPicList[0]或RefPicList[1]中不應包括以下任一活動條目：
o 具有nuh_layer_id等於layerId且包含子圖像索引等於subpicIdx的RASL子圖像的圖像
o 與包含對應於當前RADL子圖像的RASL子圖像的不同的層中的圖像。
o 按解碼順序位於包含相關IRAP子圖像的圖像之前的圖像
添加到JVET-R2001中的約束的附加文本以斜體樣式顯示。特別地，在注釋4中，對於當前圖像是RADL圖像的情況，附加文本“以及參考RASL圖像可能屬於與包含當前RADL圖像的層相同的層或不同的層”被添加，使得約束變為“RADL圖像的RPL的活動條目可以參考pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像，以及參考RASL圖像可以屬於與包含當前RADL圖像的層相同的層或不同的層”。
此外，對於注釋4，對於當前圖像是RADL圖像的情況，附加文本“sps_subpic_treatment_as_pic_flag等於1”被添加，使得約束變為 “sps_subpic_treatment_as_pic_flag等於1的參考RASL圖像中的RADL子圖像將被正確解碼”。
關於對當前子圖像的約束，附加文本“以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於1”被添加，使得約束變為“子圖像索引等於特定值subpicIdx以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於1”。
另外，RefPicList[0]或RefPicList[1]中不包括的活動條目(no active entry)的表B包括附加元素“與包含對應於當前RADL子圖像的RASL子圖像的不同的層中的圖像”。
在上述約束中，sps_subpic_treatment_as_pic_flag[i]是序列參數集合(sequence parameter set，簡稱SPS)中的標誌，表示子圖像是否作為圖像處理，其中sps_subpic_treatment_as_pic_flag[i]等於1表示CLVS中的每個已編解碼圖像中的第i個子圖像被視為解碼過程中的圖像，不包括環路濾波操作。sps_subpic_treatment_as_pic_flag[i]等於0表示CLVS中每個已編解碼圖像的第i個子圖像在解碼過程中不作為圖像處理，不包括環路濾波操作。如果不存在，則sps_subpic_treatment_as_pic_flag[i]值被推斷為等於1。
雖然JVET-R2001中定義的特定語法(例如pps_mixed_nalu_types_in_pic_flag和sps_subpic_treatment_as_pic_flag[i])被使用，但其他具有相同或相似定義的語法也可被使用。本發明不限於這些特定語法。
在另一實施例中，對具有改進約束的RADL圖像的參考圖像列表中的活動條目的約束如下所示：
A.當當前圖像是RADL圖像時，RefPicList[0]或RefPicList[1]中不應有以下任一活動條目：
o pps_mixed_nalu_types_in_pic_flag等於0的RASL圖像
注釋4-這意味著RADL圖像的RPL的活動條目可以參考pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像，以及參考RASL圖像可能屬於與包含當前RADL圖像的層相同的層或不同的層。然而，當從關聯的CRA圖像開始解碼時，這樣的RADL圖像仍然可以正確解碼，因為sps_subpic_treatment_as_pic_flag等於1的參考RASL圖像中的RADL子圖像將被正確解碼，因為RADL圖像將只參考該參考RASL圖像中的RADL子圖像，如下一個約束所強加的的那樣，該約束不允許RADL子圖像參考RASL子圖像。
o 按解碼順序位於關聯的IRAP圖像之前的圖像
B.當當前子圖像(具有nuh_layer_id等於特定值layerId，子圖像索引等於特定值subpicIdx以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於1)是RADL子圖像時，RefPicList[0]或RefPicList[1]中不應包括以下任一活動條目：
o 包含子圖像索引等於subpicIdx的RASL子圖像的圖像/*其nuh_layer_id等於layerId */其nuh_layer_id值可能等於或不等於layerId
o nuh_layer_id值不等於layerId以及sps_num_subpics_minus1值等於0的RASL圖像
o 按解碼順序位於包含關聯的IRAP子圖像的圖像之前的圖像
在上述約束中，添加到JVET-R2001中的約束的附加文本以斜體形式顯示，刪除的文本顯示在一對定界符“/*”和“*/”之間。
對於當前圖像為RADL圖像的情況，JVET-R2001的變化與之前的實施例相同。
關於對當前子圖像的約束，附加文本“以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於1”被添加，使得約束變為“子圖像索引等於特定值subpicIdx以及sps_subpic_treatment_as_pic_flag[subPicIdx]等於 1”。
另外，表B中RefPicList[0]或RefPicList[1]中不包括的活動條目(no active entry)的第一元素修改為“nuh_layer_id值可能等於或不等於layerId的圖像(其包含子圖索引等於subpicIdx的RASL子圖像)”。
此外，RefPicList[0]或RefPicList[1]中不包括的活動條目的表B包括附加元素“nuh_layer_id值不等於layerId以及sps_num_subpics_minus1的值等於0的RASL圖像”。
在上述約束中，sps_num_subpics_minus1加1指定了CLVS中每個圖像的子圖像數量。sps_num_subpics_minus1值應在0到Ceil(sps_pic_width_max_in_luma_samples÷CtbSizeY)*Ceil(sps_pic_height_max_in_luma_samples÷CtbSizeY)-1的範圍內，包含端值。如果不存在，則sps_num_subpics_minus1值被推斷為等於0。Ceil()是一個取整函數(ceiling function)。
雖然JVET-R2001中定義的特定語法(例如pps_mixed_nalu_types_in_pic_flag、sps_subpic_treatment_as_pic_flag[i]、nuh_layer_id和sps_num_subpics_minus1)被使用，但是具有相同或相似定義的其他語法也可被使用。本發明不限於這些特定語法。
任一前述提出的方法可以在編碼器和/或解碼器中實現。例如，任一所提出的方法可以在編碼器的高級語法編碼模組和/或解碼器的高級語法解碼模組中實現。可替換地，任一所提出的方法可以被實現為集成到編碼器的高級語法編碼模組和/或解碼器的高級語法解碼模組的電路。任一上述提出的方法也可以在圖像編碼器和/或解碼器，其中，所述得到的對應於一個編碼幀的位元流僅使用畫面內預測來實現。
第7圖示出根據本發明實施例的示例性視訊解碼系統的流程圖， 其中當前圖像是RADL圖像。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟710中，與當前圖像相關聯的視訊位元流被接收，其中當當前圖像是RADL圖像時，當前圖像的參考圖像列表0或參考圖像列表1被强制要求不包含活動條目，該活動條目對應於pps_mixed_nalu_types_in_pic_flag等於0的RASL圖像，或者對應於按解碼順序位於關聯的IRAP圖像之前的圖像，其中RADL圖像的參考圖像列表0或參考圖像列表1可以參考pps_mixed_nalu_types_in_pic_flag等於1的RASL圖像，以及參考RASL圖像屬於與包含當前RADL圖像的層相同的層或不同的層。在步驟720中，利用包括參考圖像列表0或參考圖像列表1中的活動條目的資訊，當前圖像被解碼。
對應於第7圖中的解碼器的示例性視訊編碼系統可以相應地被推導。
第8圖示出根據本發明實施例的用於子圖像的示例性視訊解碼系統的流程圖。根據該方法，在步驟810中，與當前圖像相關聯的視訊位元流被接收，其中當當前圖像的當前子圖像(nuh_layer_id等於特定值layerId以及子圖像索引等於特定值subpicIdx和sps_subpic_treatment_as_pic_flag[subPicIdx]等於1)是RADL子圖像時，與當前子圖像相關聯的參考圖像列表0或參考圖像列表1被強制要求不包含活動條目，該活動條目對應於包含nuh_layer_id值等於或不等於layerId的圖像(其包含子圖像索引等於subpicIdx的RASL子圖像)，或者對應於包含nuh_layer_id值不等於layerId以及sps_num_subpics_minus1值等於0的RASL圖像，或者對應於按解碼順序位於關聯的IRAP圖像之前的圖像。在步驟820中，利用包括參考圖像列表0或參考圖像列表1中的活動條目的資訊，當前圖像被解 碼。
對應於第8圖中的解碼器的示例性視訊編碼系統的流程圖可以相應地被導出。
所示的流程圖旨在說明根據本發明的視訊編碼的示例。本領域技術人員在不脫離本發明的精神的情況下，可以對每個步驟進行修改、重新安排步驟、拆分步驟或合併步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明實施本發明實施例的示例。在不脫離本發明的精神的情況下，技術人員可以藉由用等效的語法和語義替換語法和語義來實施本發明。
上述描述被給出以使本领域之通常技术者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本领域之通常技術者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示出和描述的特定實施例，而是與符合本文公開的原理和新穎性特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本领域之通常技术者將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行以執行本文描述的處理的程式碼。本發明還可涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列(field programmable gate arragy，簡稱FPGA)執行的許多功能。該些處理器可被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以不同的程式設計語言和不同的格式或樣式來開發。軟體代碼也可 被編譯用於不同的目標平臺。然而，不同的代碼格式，軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落在申請專利範圍的等同含義和範圍內的所有改變均應包含在其範圍之內。
710、720:步驟

Claims (4)

  1. 一種視訊序列解碼方法，包括：接收與一當前圖像相關聯的一視訊位元流，其中當該當前圖像的一當前子圖像，具有等於一特定值layerId的nuh_layer_id值以及等於一特定值subpicIdx的一子圖像索引以及等於1的一sps_subpic_treated_as_pic_flag[subPicIdx]值，是一隨機存取可解碼前置子圖像時，與該當前子圖像相關聯的參考圖像列表0或參考圖像列表1被强制要求不包含以下活動條目：該活動條目對應於一圖像，且該圖像包含一子圖像索引等於該特定值subpicIdx的一隨機存取跳過前置子圖像；或者該活動條目對應於nuh_layer_id值不等於該特定值layerId以及一sps_num_subpics_minus1值等於0的一隨機存取跳過前置子圖像；以及利用包括該參考圖像列表0或該參考圖像列表1中的多個活動條目的資訊對該當前子圖像進行解碼。
  2. 一種視訊序列解碼裝置，包括一個或多個電子電路或處理器，被配置為：接收與一當前圖像相關聯的一視訊位元流，其中當該當前圖像的一當前子圖像，具有等於一特定值layerId的nuh_layer_id值以及等於一特定值subpicIdx的一子圖像索引以及等於1的一sps_subpic_treated_as_pic_flag[subPicIdx]值，是一隨機存取可解碼前置子圖像，與該當前子圖像相關聯的參考圖像列表0或參考圖像列表1被强制要求不包含以下活動條目：該活動條目對應於一圖像，且該圖像包含該子圖像索引等於該特定值subpicIdx的一隨機存取跳過前置子圖像；或者該活動條目對應於包含nuh_layer_id值不等於該特定值layerId以及一sps_num_subpics_minus1值等於0的一隨機存取跳過前置子圖像；以及利用包括該參考圖像列表0或該參考圖像列表1中的多個活動條目的資訊對該當前子圖像進行解碼。
  3. 一種視訊序列編碼方法，包括：接收包括一當前圖像的輸入資料；對該當前圖像進行編碼，其中當該當前圖像的一當前子圖像，具有等於一特定值layerId的nuh_layer_id值以及等於一特定值subpicIdx的一子圖像索引以及等於1的sps_subpic_treated_as_pic_flag[subPicIdx]值，是一隨機存取可解碼前置子圖像，與該當前子圖像相關聯的參考圖像列表0或參考圖像列表1被强制要求不包含以下活動條目：該活動條目對應於一圖像，且該圖像包含該子圖像索引等於該特定值subpicIdx的一隨機存取跳過前置子圖像；或者該活動條目對應於包含nuh_layer_id值不等於該特定值layerId以及一sps_num_subpics_minus1值等於0的一隨機存取跳過前置子圖像；以及生成包括該參考圖像列表0或該參考圖像列表1中的多個活動條目的資訊的一視訊位元流。
  4. 一種視訊序列解碼方法，包括：接收與一當前圖像相關聯的一視訊位元流，其中當該當前圖像是一隨機存取可解碼前置圖像時，該當前圖像的參考圖像列表0或參考圖像列表1被强制要求不包含以下活動條目：該活動條目對應於pps_mixed_nalu_types_in_pic_flag等於0的一隨機存取跳過前置圖像，以及其中該隨機存取可解碼前置圖像的該參考圖像列表0或參考圖像列表1中的一活動條目參考pps_mixed_nalu_types_in_pic_flag等於1的一隨機存取跳過前置圖像，以及一被參考的隨機存取跳過前置圖像屬於與包含該當前圖像相同的層或不同的層，其中該當前圖像是該隨機存取可解碼前置圖像；以及利用包括該參考圖像列表0或該參考圖像列表1中的多個活動條目的資訊對該當前圖像進行解碼。
TW110120907A 2020-06-09 2021-06-09 視訊序列編解碼方法和裝置 TWI809416B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063036528P 2020-06-09 2020-06-09
US63/036,528 2020-06-09
US202063037680P 2020-06-11 2020-06-11
US63/037,680 2020-06-11
US17/341,879 US11882270B2 (en) 2020-06-09 2021-06-08 Method and apparatus for video coding with constraints on reference picture lists of a RADL picture
US17/341,879 2021-06-08

Publications (2)

Publication Number Publication Date
TW202203648A TW202203648A (zh) 2022-01-16
TWI809416B true TWI809416B (zh) 2023-07-21

Family

ID=78818078

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120907A TWI809416B (zh) 2020-06-09 2021-06-09 視訊序列編解碼方法和裝置

Country Status (2)

Country Link
US (1) US11882270B2 (zh)
TW (1) TWI809416B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3831064B1 (en) 2018-08-17 2024-02-07 Huawei Technologies Co., Ltd. Reference picture management in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050752A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for interpolation filtering for intra- and inter-prediction in video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743503B2 (en) * 2020-05-14 2023-08-29 Qualcomm Incorporated Reference picture list constraints and signaling in video coding
US11558630B2 (en) * 2020-05-20 2023-01-17 Tencent America LLC Techniques for random access point indication and picture output in coded video stream

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050752A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for interpolation filtering for intra- and inter-prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Benjamin Bross et.al Versatile Video Coding (Draft 9) Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: by teleconference 15–24 April 2020 https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R2001-v11.zip *

Also Published As

Publication number Publication date
US11882270B2 (en) 2024-01-23
US20210385436A1 (en) 2021-12-09
TW202203648A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
JP2022126800A (ja) 装置
CA2951522C (en) Extensible design of nesting supplemental enhancement information (sei) messages
US9794595B2 (en) Derivation of end of sequence NAL unit information for multi-layer bitstreams
JP2021524706A (ja) コード化された画像の多様な空間分割のためのエンコーダとデコーダ、符号化方法と復号方法
KR20170026371A (ko) 스케일링 가능 비디오 코딩의 비트스트림 준수 제약들
US11665345B2 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
TWI792200B (zh) 影像或視訊處理方法及裝置
CN114586369A (zh) 视频编解码中发送子图像信息的方法和装置
JPWO2020011796A5 (zh)
TWI809416B (zh) 視訊序列編解碼方法和裝置
TWI792348B (zh) 視訊處理方法和裝置
US20130272428A1 (en) Video decoder for copy slices
TWI796676B (zh) 視訊編解碼中施加位元流約束的方法和裝置
EP4144092A1 (en) High-level syntax for video coding
WO2021203039A1 (en) Methods and devices for high-level syntax in video coding
TWI796654B (zh) 圖片和視訊編解碼中以信號通知片和切片分區資訊的方法和裝置
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
TW202349960A (zh) 用於影像編碼系統中的熵編碼分區劃分決策的方法和裝置
JP2024002451A (ja) 動画像符号化装置、動画像復号装置