TWI793629B - 視訊處理方法及裝置 - Google Patents

視訊處理方法及裝置 Download PDF

Info

Publication number
TWI793629B
TWI793629B TW110121141A TW110121141A TWI793629B TW I793629 B TWI793629 B TW I793629B TW 110121141 A TW110121141 A TW 110121141A TW 110121141 A TW110121141 A TW 110121141A TW I793629 B TWI793629 B TW I793629B
Authority
TW
Taiwan
Prior art keywords
picture
current
sub
sps
inter
Prior art date
Application number
TW110121141A
Other languages
English (en)
Other versions
TW202205854A (zh
Inventor
向時達
Original Assignee
寰發股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寰發股份有限公司 filed Critical 寰發股份有限公司
Publication of TW202205854A publication Critical patent/TW202205854A/zh
Application granted granted Critical
Publication of TWI793629B publication Critical patent/TWI793629B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊處理方法和裝置包括接收與當前圖像相關聯的輸入資料，當前圖像由複數個CTU組成以用於編碼或解碼，將當前圖像分割為複數個子圖像，確定用於對當前圖像進行幀間編碼的一個或複數個參考圖像，以及透過使用一個或複數個參考圖像進行幀間編碼，來對當前圖像的一個或複數個CTU中的一個或複數個塊進行編碼或解碼。當參考圖像不是包含一個子圖像的ILRP時，用於對當前圖像進行幀間編碼的每個參考圖像與當前圖像具有相同的CTU尺寸。

Description

視訊處理方法及裝置
本發明係相關於用於編碼或解碼視訊資料的幀間編碼(inter coding)方法及裝置，尤指視訊編碼系統中用於將圖像分割(partition)成子圖像的幀間編碼。
高效視訊編碼(High Efficiency Video Coding，HEVC)標準是由國際電信聯盟(International Telecommunication Union，ITU)電信標準化部門(Telecommunication Standardization Sector)(ITU-T)研究組視訊編碼專家組成的視訊編碼聯合工作組(Joint Collaborative Team on Video Coding，JCT-VC)開發的最新國際視訊編碼標準。HEVC標準依賴於基於塊(block)的編碼結構，基於塊的編碼結構將每個視訊圖像分裂(split)成複數個不重疊的方形編碼樹單元(Coding Tree Unit，CTU)。已編碼圖像可以由條帶(slice)集合來表示，每個條帶集合可以包括整數個CTU。條帶中的每個CTU按光柵掃描(raster scanning)的順序來處理。在HEVC主檔案(main profile)中，CTU的最大和最小尺寸由序列參數集(Sequence Parameter Set，SPS)中發送(signal)的語法元素(syntax element)來定義。雙向預測條帶(Bi-predictive Slice，B Slice)可以利用至多兩個運動向量(motion vector)和參考索引(reference index)以使用幀內預測(intra prediction)或者幀間預測(inter prediction)來進行解碼，以預測B slice中每個 塊的樣本值。預測條帶(Predictive Slice，P slice)可以利用至多一個運動向量和參考索引以使用幀內預測或者幀間預測來進行解碼，以預測P slice中每個塊的樣本值。幀內條帶(Intra slice，I slice)可僅使用幀內預測進行解碼。
還可使用四叉樹(QuadTree，QT)分裂結構將每個CTU遞迴地分割成一個或複數個不重疊的編碼單元(Coding Unit，CU)以適應不同的本地特性(local characteristic)。在QT分裂結構的每個分割深度(partition depth)上，NxN塊為單個葉CU(leaf CU)或者分裂成4個更小的塊，其中每個更小的塊的尺寸等於N/2xN/2。具有尺寸MxM圖元樣本(pixel sample)的CTU是四叉樹編碼樹的根節點(root node)，4個M/2xM/2的塊是從根節點分裂出的子四叉樹節點。四個M/2xM/2塊中的每個可能成為由另一個QT進行分割的母節點，從而使四個子節點在每個空間維度上的尺寸進一步減少一半。如果一個編碼樹節點沒有進一步分裂，則稱為葉CU。葉CU尺寸被限制為大於或等於最小允許CU尺寸，最小允許CU尺寸也在SPS中定義。第1圖可例示CTU的遞迴四叉樹分裂結構的示例，其中實線表示CTU中的CU邊界(boundary)。
一旦將CTU分割成葉CU，則根據HEVC標準的用於預測的PU分裂類型將每個葉CU進一步分裂成一個或複數個預測單元(Prediction Unit，PU)。與CU的遞迴四叉樹分裂不同，每個葉CU可能僅分裂一次以形成一個或複數個PU。因為相同的預測處理應用於PU中的所有圖元樣本，所以PU和相關聯的CU語法作為基本代表塊(basic representative block)用於共用預測資訊。指定的預測處理可用於預測PU內相關圖元樣本的值。預測資訊以PU為基礎傳送(convey)到解碼器。在基於PU分裂類型的預測處理獲得生成的殘差(residue)後，根據殘差四叉樹(Residual quadtree，RQT)分裂結構將屬於葉CU的殘差分割為一個或複數個變換單元(Transform Unit，TU)，用於將殘差轉換為變換係數(transform coefficient)以進行緊湊的資料表示。第1圖中的虛線表示CTU 中的TU邊界。TU是用於對殘差資料或變換係數進行變換和量化的基本代表塊。TU包括大小為8x8、16x16或32x32的亮度(luminance或luma)樣本的變換塊(Transform Block，TB)或大小為4x4的亮度樣本的四個TB，以及由4：2：0顏色格式編碼的圖像中的兩個相應的色度(chrominance或chroma)樣本的TB。對於每個TU來說，具有與TU相同尺寸的變換矩陣(transform matrix)被應用於殘差以生成變換係數，並且這些變換係數在TU基礎上被量化並傳送到解碼器。第2圖可例示如第1圖所示的塊分割結構的相應QT表示的示例。實線表示CU邊界，而虛線表示CTU內的TU邊界。
術語編碼樹塊(Coding Tree Block，CTB)、編碼塊(Coding block，CB)、預測塊(Prediction Block，PB)和TB可定義與CTU、CU、PU和TU相關聯的一種顏色分量的二維(two-dimensional，2-D)樣本陣列。例如，一個CTU包括一個亮度CTB、兩個色度CTB及其相關的語法元素。類似的關係還適用於CU、PU和TU。在HEVC標準中，除非達到色度塊的最小尺寸，否則通常將相同的四叉樹分裂結構應用於亮度和色度分量兩者。
通用視訊編碼(Versatile Video Coding，VVC)標準是由ITU-T研究組的視訊編碼專家組成的JCT-VC小組開發的最新視訊編碼標準。在VVC草案(Draft)中，一張圖像被劃分為一個或複數個瓦片列(tile row)和一個或複數個瓦片行(tile column)，瓦片(tile)是覆蓋圖像中特定瓦片列和特定瓦片行內的矩形區域的一系列CTU。瓦片的特徵主要用於並行處理的目的，瓦片分割的矩形條帶形成子圖像也可用於基於360度視口(viewport)的視訊應用。圖像瓦片分割的處理順序是圖像內瓦片光柵掃描和瓦片內CTU光柵掃描。瓦片打破了圖像內預測(in-picture prediction)依賴性以及熵解碼(entropy decoding)依賴性。一個條帶由整數個完整的瓦片或圖像的一個瓦片內的整數個連續的完整CTU列組成。條帶的特徵主要用於子圖像級訪問和超低延遲。光柵掃描條帶模 式和矩形條帶模式是VVC標準支援的兩種條帶結構模式，由語法元素rect_slice_flag表示。矩形條帶始終為矩形，而光柵掃描條帶可能是也可能不是矩形。在光柵掃描條帶模式中，條帶包含按照瓦片光柵掃描順序的一系列完整的圖像瓦片。光柵掃描條帶內的條帶按照光柵掃描條帶內的瓦片光柵掃描順序進行處理。在矩形條帶模式中，條帶包含共同形成圖像矩形區域的複數個完整瓦片，或者包含共同形成圖像矩形區域的一個瓦片的複數個連續完整CTU列。矩形條帶內的瓦片按照瓦片光柵掃描順序進行處理，矩形區域對應於該矩形條帶。一張圖像中的每個子圖像包含一個或複數個條帶，該一個或複數個條帶共同覆蓋圖像的一個矩形區域，每個子圖像包含複數個完整的CTU。圖像中的子圖像允許獨立編碼和提取已編碼圖像序列的矩形子集，用於與360度視口相關的視訊流優化和興感趣的應用區域等相似的使用情況。即使子圖像是可提取的，子圖像也允許編碼塊的運動向量指向子圖像外部，因此允許在子圖像邊界處進行填充(pad)以作為圖像邊界。
第3圖可例示光柵掃描條帶中的示範性瓦片，其中圖像被劃分為包含在3個光柵掃描條帶中的12個瓦片。如第2圖所示，圖像中有3個瓦片行和4個瓦片列，每個瓦片包括18個CTU。圖像的第一條帶由瓦片光柵掃描順序中的前2個瓦片組成，第二條帶由瓦片光柵掃描順序中的五個連續瓦片組成，第三條帶由剩餘的5個瓦片組成。第4圖可例示矩形條帶中的示範性瓦片，其中圖像被劃分為包含在9個矩形條帶中的24個瓦片。在此示例中有6個瓦片行和4個瓦片列。除了第四個、第五個和第六個矩形條帶各有4個瓦片外，所有其他矩形條帶各由2個瓦片組成。第5圖可示出圖像的示範性子圖像分割，其中圖像被分割成18個瓦片和24個不同尺寸的子圖像。瓦片邊界用粗線表示，子圖像邊界用虛線表示。在第5圖所示的示例中，每個子圖像僅包含一個條帶。
用於視訊編碼或解碼系統的視訊處理方法的實施例可以包括：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像，其中每個子圖像包含複數個完整的編碼樹單元，並且所述子圖像的邊界與所述當前圖像以編碼樹單元為單位的網格對齊；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中，當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼。
在一些實施例中，確定用於對所述當前圖像進行幀間編碼的所述一個或複數個參考圖像的步驟還包括：確定每個參考圖像是否被分割為複數個子圖像；以及當所述參考圖像不是包含一個子圖像的一層間參考圖像並且所述參考圖像被分割成一個以上的子圖像時，用於對所述當前圖像進行幀間編碼的所述參考圖像與所述當前圖像具有相同的編碼樹單元尺寸。當所述參考圖像所參照的序列參數集的序列參數集級語法元素sps_num_subpics_minus1大於0時，確定所述每個參考圖像被分割為所述複數個子圖像。也可以說，位元流一致性的要求可以是當參考圖像所參照的SPS的語法元素sps_num_subpics_minus1大於0時，用於對當前圖像進行幀間編碼的參考圖像使用與當前圖像相同的CTU尺寸。
在一些實施例中，在一序列參數集中發送或從一序列參數集中解析的一序列參數集級語法元素sps_log2_ctu_size_minus5用於導出一編碼樹單元尺寸，以及，一參考圖像和所述當前圖像的sps_log2_ctu_size_minus5的值相同指示所述參考圖像與所述當前圖像使用相同的編碼樹單元尺寸。
根據實施例，當前圖像中的每個子圖像在編碼或解碼期間可以被視為圖像，並且透過使用所述一個或複數個參考圖像進行幀間編碼，對所述當前圖像的所述一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼的步驟還包括：確定一當前子圖像是否被視為一圖像；當所述當前子圖像被視為圖像並且每個參考圖像不是包含一個子圖像的一層間參考圖像時，透過使用與所述當前圖像具有相同編碼樹單元尺寸的所述一個或複數個參考圖像對所述當前子圖像的一個或複數個塊進行幀間編碼，來對所述當前子圖像進行編碼；以及當所述當前子圖像不被視為圖像時，透過使用所述一個或複數個參考圖像對所述當前子圖像的一個或複數個塊進行幀間編碼來對所述當前子圖像進行編碼，而不限制每個參考圖像與所述當前圖像具有相同的編碼樹單元尺寸。
在一些實施例中，當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，用於對所述當前圖像進行幀間編碼的每個參考圖像與所述當前圖像還具有相同的一子圖像佈局。當每個參考圖像中的子圖像數量與當前圖像中的子圖像數量相同並且每個參考圖像中每個子圖像的左上角位置和尺寸與當前圖像中每個子圖像的左上角位置和尺寸相同時，每個參考圖像和當前圖像具有相同的子圖像佈局。例如，當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像所參照的一序列參數集級語法元素sps_log2_ctu_size_minus5與所述當前圖像所參照的所述序列參數集級語法元素sps_log2_ctu_size_minus5相同；當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像所參照的一序列參數集級語法元素sps_num_subpics_minus1與所述當前圖像所參照的所述序列參數集級語法元素sps_num_subpics_minus1相同；以及當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像中的每個子圖像的序列參數集級語法元素sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、 sps_subpic_width_minus1[j]和sps_subpic_height_minus1[j]與所述當前圖像中的每個子圖像的相應序列參數集級語法元素具有相同的值。
在一些實施例中，所述當前圖像在一當前層中，所述一個或複數個參考圖像是可以由當前層所參照的一個或複數個其他層中的圖像。所述一個或複數個參考圖像中的每個由一參考圖像清單0或參考圖像清單1中的一有效條目引用以用於預測所述當前圖像的一個或複數個塊。
本發明的方面還可以提供一種視訊處理裝置，用於視訊編碼或解碼系統中，所述裝置的一些實施例包括：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像，其中每個子圖像包含複數個完整的編碼樹單元，並且所述子圖像的邊界與以編碼樹單元為單位的網格對齊；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中，當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼。
一種非暫時性電腦可讀介質，用於存儲程式指令，所述程式指令使得一裝置的一處理電路執行視訊處理方法以將圖像分割成子圖像，所述方法包括：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中，當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊 進行編碼或解碼。
S602~S620:步驟
700:編碼器
710,812:幀內預測模組
712,814:幀間預測模組
714,816:開關
716:加法器
718:變換模組
720:量化模組
722,820:IQ模組
724,822:IT模組
726,818:REC模組
728,824:ILPF
732,828:緩衝器
734:熵編碼器
800:解碼器
810:熵解碼器
下面可參照附圖對本發明所提出的各種示範性實施例進行詳細描述，圖中相似的編號可表示相似的元件。
第1圖例示根據四叉樹分裂結構將CTU分割成CU並將每個CU分割成一個或複數個TU的示範性編碼樹。
第2圖例示如第1圖所示的塊分割結構的相應QT表示。
第3圖例示應用光柵掃描條帶分割將圖像劃分為3個光柵掃描條帶和12個瓦片的示例。
第4圖例示應用矩形條帶分割將圖像劃分為9個矩形條帶和24個瓦片的示例。
第5圖例示將圖像分割成18個瓦片和24個子圖像/瓦片的示例。
第6圖是根據本發明實施例的參照SPS處理圖像中的視訊資料的流程圖。
第7圖例示包含根據本發明實施例的視訊處理方法的視訊編碼系統的示範性系統框圖。
第8圖例示包含根據本發明實施例的視訊處理方法的視訊解碼系統的示範性系統框圖。
容易理解的是，如本發明附圖中概括描述和例示的本發明的組件可以以多種不同的配置佈置和設計。因此，如附圖所示，以下對本發明的系統和方法的實施例的詳細描述並非旨在限制所要求保護的本發明的範圍，而是僅代表本發明的優選實施例。
在說明書中對「一個實施例」、「一些實施例」或類似語言的引 用意味著結合實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在本說明書各處出現的短語「在一個實施例中」或「在一些實施例中」不一定指同一實施例，這些實施例可以單獨實施或者與一個或複數個其他實施例結合實施。此外，在一個或複數個實施例中，所描述的特徵、結構或特性可以以任何合適的方式組合。然而，所屬領域具有通常知識者可以認識到，本發明可以在沒有一個或複數個具體細節的情況下實施，或者可以透過其他方法、組件等來實施。在其他情況下，未示出或詳細描述公知的結構或操作以避免混淆本發明的方面。
用於具有子圖像的幀間編碼圖像的有效參考圖像
根據VVC標準，子圖像包含共同覆蓋圖像的矩形區域的一個或複數個條帶。在SPS中發送的SPS級語法元素sps_num_subpics_minus1用於指示參考SPS的每個圖像中的子圖像數量。當該SPS級語法元素sps_number_subpics_minus1等於0時，參考SPS的每個圖像不會被分割為複數個子圖像。參考SPS的圖像的每個子圖像的位置和尺寸也在SPS中發送，其中子圖像在一張圖像中的佈局(layout)可根據當前圖像的網格(grid)以CTU為單位來定義。在VVC Draft 9中，當相應的標誌(flag)sps_subpic_treatment_as_pic_flag[i]等於1時，子圖像i可被視為用於解碼處理的圖像，並且當當前的子圖像被視為一張圖像時，用於對當前子圖像進行幀間編碼的參考圖像須滿足以下兩個條件之一。第一條件可以是參考圖像被劃分為子圖像(sps_num_subpics_minus1>0)並且與當前圖像具有相同的子圖像佈局。第二條件可以是參考圖像沒有被劃分為子圖像(sps_num_subpics_minus1=0)並且對應於不同的層。在第一條件下，為了具有相同的子圖像佈局，參考圖像和當前圖像具有相同的語法元素sps_num_subpics_minus1、pps_pic_width_in_luma_samples和pps_pic_height_in_luma_samples的值，以及對 於j的每個值來說，與sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]、sps_subpic_height_minus1[j]和sps_subpic_treatment_as_pic_flag[j]具有相同的值，是位元流一致性(bitstream conformance)的要求。
本發明的一些實施例還透過考慮CTU尺寸來定義可用於對具有複數個子圖像的當前圖像進行幀間編碼的有效參考圖像。幀間編碼包括對在不同層中編碼的圖像進行的層間編碼、對不同時間實例(time instance)中的圖像進行的圖像間編碼，或者兩者。僅當參考圖像滿足一個或複數個預定義要求時，參考圖像是當前圖像的有效參考圖像。當前圖像的參考圖像清單0或參考圖像清單1中的每個有效條目(entry)可以是有效的參考圖像。在一些實施例中，用於定義參考圖像是否是用於預測被分割為子圖像的當前圖像的有效參考圖像的預定義要求之一與CTU尺寸有關。在一個實施例中，位元流一致性的要求可以是當參考圖像所參照(refer to)的SPS的語法元素sps_num_subpics_minus1大於0時，用於對當前圖像進行幀間編碼的參考圖像使用與當前圖像相同的CTU尺寸。也可以說，僅當參考圖像的CTU尺寸與當前圖像的CTU尺寸相同時，參考圖像是有效的參考圖像，並且是用於對當前圖像中的一個或複數個塊進行預測的參考圖像清單中的有效條目。例如，SPS級語法元素sps_log2_ctu_size_minus5在SPS中發送以導出(derive)已編碼圖像的CTU尺寸並且與子圖像佈局的縮放因數(scaling factor)相關。當參考圖像所參照的SPS的語法元素sps_num_subpics_minus1大於0時，位元流一致性的要求可以是用於對當前圖像進行幀間編碼的參考圖像與當前圖像具有相同的sps_log2_ctu_size_minus5值，以指示參考圖像與當前圖像使用相同的CTU尺寸。
在本發明的一些實施例中，每個參考圖像可滿足子圖像間編碼的 以下兩個條件之一。第一條件可以是當前圖像和參考圖像具有相同的子圖像佈局，包括具有相同的CTU尺寸。第二條件是參考圖像是僅包含一個子圖像的層間參考圖像(Inter Layer Reference Picture，ILRP)。
在一個實施例中，位元流一致性的要求僅適用於解碼具有子圖像索引subPicIdx且sps_subpic_treated_as_pic_flag[subPicIdx]等於1的當前子圖像。當相應的標誌sps_subpic_treated_as_pic_flag等於1時，當前子圖像可視為用於解碼處理的圖像。例如，視訊解碼系統可以根據從當前圖像所參照的SPS中解析(parse)出的相應標誌來確定當前圖像中的當前子圖像是否被視為一張圖像，並且當當前子圖像被視為圖像時，透過使用一個或複數個與當前圖像具有相同CTU尺寸的參考圖像來對當前子圖像的一個或複數個塊進行幀間編碼，以對當前子圖像進行編碼或解碼。在當前子圖像不被視為圖像的情況下，可以透過使用一個或複數個參考圖像對當前子圖像的一個或複數個塊進行幀間編碼來對當前子圖像進行編碼或解碼，而無需限制每個參考圖像具有與當前圖像相同的CTU尺寸。
在本發明的實施例中，用於定義參考圖像是否是用於預測被分割為子圖像的當前圖像的一個或複數個塊的有效參考圖像的一些其他預定義要求可以與參考圖像的子圖像佈局相關。在本實施例中，當參考圖像所參照的SPS的語法元素sps_num_subpcs_minus1大於O時，碼流一致性的要求可以是用於對當前圖像進行幀間編碼的參考圖像與當前圖像具有相同的CTU尺寸和相同的子圖像佈局。例如，參考圖像參照的SPS級語法元素sps_log2_ctu_size_minus5與當前圖像所參照的SPS級語法元素sps_log2_ctu_size_minus5相同，表示參考圖像和當前圖像的CTU尺寸相同。類似地，參考圖像參照的SPS級語法元素sps_num_subpics_minus1與當前圖像參照的SPS級語法元素sps_num_subpics_minus1相同，表示參考圖像中的子圖像數量與當前圖像中的子 圖像數量相同。用於參考圖像中的每個子圖像的包括sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]和sps_subpic_height_minus1[j]在內的各種SPS級語法元素與用於當前圖像中的每個子圖像的SPS級語法元素sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]和sps_subpic_height_minus1[j]具有相同的值，表示參考圖像中每個子圖像的左上角位置和尺寸與當前圖像中每個子圖像的左上角位置和尺寸相同。
在本發明的一些實施例中，當前圖像是當前層中的圖像，並且與當前圖像具有相同CTU尺寸的用於對當前圖像進行幀間編碼的參考圖像是可以被當前層參照的另一層中的圖像。每個參考圖像由參考圖像清單0(RefPicList[0])或參考圖像清單1(RefPicList[1])中的有效條目所引用，以用於預測當前圖像的一個或複數個塊。根據優選實施例，由RefPicList[0]或RefPicList[1]中的有效條目引用的每個參考圖像與當前圖像具有相同的圖像寬度、圖像高度、子圖像數量、CTU尺寸，以及每個子圖像的左上角位置和尺寸。類似地，根據一些其他實施例，當前層中的當前圖像和在參考圖像清單0或參考圖像清單1中的有效條目中具有當前圖像的另一層中的任何圖像具有相同的CTU尺寸。根據優選實施例，當前圖像和在RefPicList[0]或RefPicList[1]中的有效條目中具有當前圖像的另一層中的任何圖像具有相同的圖像寬度、圖像高度、子圖像數量、CTU尺寸、以及每個子圖像的左上角位置和尺寸。
以下例示根據本發明所提出方面的對VVC Draft 9進行語法和語義(semantic)修改的實施例，其中修改部分可由下劃線標記。
7.4.3.3 序列參數集的原始位元組序列有效載荷(Raw Byte Sequence Payload，RBSP)語義
sps_subpic_treated_as_pic_flag[i]等於1定義已編碼層視訊序列 (Coded Layer Video Sequence，CLVS)中每個已編碼圖像的第i個子圖像在不包括環路濾波(in-loop filtering)操作的解碼處理中被視為圖像。sps_subpic_treated_as_pic_flag[i]等於0定義CLVS中每個已編碼圖像的第i個子圖像在不包括環路濾波操作的解碼處理中不被視為圖像。如果不存在上述值，則可以推斷sps_subpic_treated_as_pic_tlag[i]的值等於1。
當sps_num_subpics_minus1大於0且sps_subpic_treated_as_pic_flag[i]等於1時，對於參照該SPS的當前層的每個CLVS來說，可使targetAuSet為按解碼順序從包含CLVS中的第一圖像的AU開始的所有訪問單元(Access Unit，AU)，到包含按解碼順序排列的CLVS中的最後一張圖像的AU(含)，對於包含當前層和將當前層作為參考層的所有層的targetLayerSet來說，位元流一致性的要求可以是以下所有條件為真：
- 對於targetAuSet中的每個AU來說，targetLayerSet中所有層的圖像具有相同的pps_pic_width_in_luma_samples值和相同的pps_pic_height_in_luma_samples值。
- 由targetLayerSet中的層參照的所有SPS具有相同的sps_log2_ctu_size_minus5值和相同的sps_num_subpics_minus1值，並且具有相同的sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]、sps_subpic_height_minus1[j]和sps_subpic_treated_as_pic_flag[j]值，其中j的值包含從0到sps_num_subpics_minus1(含)範圍內的每個值。
- 對於targetAuSet中的每個AU來說，targetLayerSet中的層的所有圖像具有相同的SubpicIdVal[j]值，其中j的值包含從0到sps_num_subpics_minus1(含)範圍內的每個值。
8.3.2 參考圖像清單構建的解碼處理
- 當vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等於0且sps_num_subpics_minus1大於0時，以下兩個條件之一(而不是兩者)應為真：
о由RefPicList[0]或RefPicList[1]中的每個有效條目所引用的圖像與當前圖片具有相同的子圖像佈局(也可以說，該圖像和當前圖像所參照的SPS的sps_log2_ctu_size_minus5的值相同以及sps_num_subpics_minus1的值相同以及sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]和sps_subpic_height_minus1[j]的值相同，其中j的值為從0到sps_num_subpics_minus1(含)範圍內的每個值)。
о由RefPicList[0]或RefPicList[1]中的每個有效條目所引用的圖像是ILRP，其中sps_num_subpics_minus1的值等於0。
本發明實施例的代表性流程圖
第6圖可例示當參考圖像不是包含一個子圖像的ILRP時，透過限制參考圖像與當前圖像具有相同的CTU尺寸來處理輸入視訊資料的視訊編碼或解碼系統以用於幀間子圖像編碼的實施例的流程圖。在步驟S602，視訊編碼或解碼系統可參照SPS來開始編碼或解碼圖像。在步驟S604，視訊編碼或解碼系統可檢查在SPS中發送或從SPS解析的SPS級語法元素，該語法元素可指示參照該SPS的每個圖像是否被分割為複數個子圖像。例如，當SPS級語法元素sps_num_subpics_minus1大於0時，參照該SPS的每個圖像可被分割為複數個子圖像。如果SPS級語法元素指示參照該SPS的每個圖像不進一步分割為複數個子圖像，則視訊編碼或解碼系統可在步驟S606中對參照該SPS的圖像進行編碼或解碼。否則，如果SPS級語法元素指示參照該SPS的每個圖像被分割為複數個子圖像，則在步驟S608中可以接收參照該SPS的當前圖像的輸入資料。在步驟S610中，可以根據子圖像佈局將當前圖像分割為複數個子圖像。例如，從SPS 解析或在SPS中發送的各種語法元素可用於定義上述子圖像佈局。在步驟S612中，當參考圖像不是包含一個子圖像的ILRP時，用於對當前圖像進行幀間編碼的每個參考圖像可被限制為與當前圖像具有相同的CTU尺寸。例如，可在參考圖像清單0或參考圖像清單1中包括與當前圖像具有相同CTU尺寸的參考圖像，以用於預測當前圖像中的一個或複數個塊。在另一實施例中，視訊編碼或解碼系統還可檢查當前子圖像是否被視為圖像，當當前子圖像被視為圖像並且參考圖像不是包含一個子圖像的ILRP時，可將用於對當前子圖像進行幀間編碼的參考圖像限制為與當前圖像具有相同的CTU尺寸。在步驟S614中，視訊編碼或解碼系統可對當前圖像進行編碼或解碼，其中可使用參考圖像對當前圖像的一個或複數個塊進行幀間編碼。在步驟S616中，視訊編碼或解碼系統可檢查當前圖像是否為參照該SPS的最後一個圖像，如果不是最後一個圖像，則可在步驟S618中將後續圖像設置為當前圖像，並從步驟S608開始重複上述處理。否則，視訊編碼或解碼系統可在步驟S620中結束對參照該SPS的圖像進行編碼或解碼。
子圖像佈局的層間繼承(Inheritance)
在VVC草案中，關於子圖像佈局的資訊被編碼在SPS中，以用於參照該SPS的已編碼圖像。還可以在SPS中發送關於已編碼圖像的子圖像標識(Identity，ID)的資訊。在本發明的一些實施例中，可以從參考層所參照的SPS推斷(infer)或預測與當前SPS中的子圖像佈局和ID有關的資訊。在層間繼承方法的一個實施例中，當針對參照當前SPS的CLVS啟用(enable)層間編碼時，可以發送第一語法元素以指示是否從參考層所參照的SPS中推斷或預測當前SPS中與子圖像佈局和子圖像ID有關的語法資訊。當第一語法元素指示從所選參考層所參照的SPS推斷或預測當前SPS中與子圖像佈局和子圖像ID有關的語法資訊時，還可發送第二語法元素以指示所選參考層以用於推斷或預測當 前的SPS。然後可以從所選參考層所參照的SPS中推斷或預測當前SPS中與子圖像佈局和子圖像ID有關的語法資訊。在一個示例中，當第一語法元素為真時，可以將用於發送當前SPS中子圖像佈局和子圖像ID的每個語法元素的值設置為等於所選參考層所參照的SPS中的每個相應的語法元素的值。在一個示例中，用於發送所選參考層的第二語法元素可對直接參考層清單的索引(direct reference layer)或者對視訊參數集(Video Parameter Set，VPS)中編碼的參考層清單的索引進行編碼。在另一示例中，第二語法元素可僅對與所選參考層相關聯的nuh_layer_id進行編碼。在一些實施例中，層間繼承方法可允許從參考層中推斷與當前SPS中的子圖像佈局有關的資訊，而無需推斷關於子圖像ID的資訊。
層間繼承方法還可以包括位元流一致性要求，即所選參考層所參照的SPS存在子圖像資訊(VVC標準中的語法元素sps_subpic_info_present_flag等於1)。層間繼承方法還可以包括位元流一致性要求，即當前SPS和所選參考層所參照的SPS中的與圖像尺寸和分割相關的每個語法元素具有相同的值。在基於VVC草案的一個實施例中，層間繼承方法可以包括位元流一致性要求，即當前SPS和所選參考層所參照的SPS中的語法元素sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples具有相同的值。層間繼承方法還可以包括位元流一致性要求，即當前SPS和所選參考層所參照的SPS中的語法元素sps_log2_ctu_size_minus5具有相同的值。
下面可示出對VVC草案9進行語法和語義修改的示範性實施例，其中修改部分可以粗體標記。
7.3.2.3 序列參數集RBSP語法
Figure 110121141-A0305-02-0018-5
Figure 110121141-A0305-02-0019-2
Figure 110121141-A0305-02-0020-3
Figure 110121141-A0305-02-0021-4
7.4.3.3 序列參數集RBSP語義
sps_inferred_subpic_info_flag等於1可定義SPS中存在sps_inferred_subpic_info_ref_layer_idx語法元素。sps_inferred_subpic_info_flag等於0可定義SPS中不存在sps_inferred_subpic_info_ref_layer_idx語法元素。如果不存在，則可推斷sps_inferred_subpic_info_flag等於0。
sps_inferred_subpic_info_ref_layer_idx可定義直接參考層清單的索引。sps_inferred_subpic_info_ref_layer_idx的值可以在0到NumDirectRefLayers[GeneralLayerIdx[nuh_layer_id]]-1(含)的範圍內。
當sps_inferred_subic_info_flag等於1且nuh_layer_id等於特定值layerId時，可以應用：
-語法元素sps_num_subpics_minus1、sps_independent_subpics_flag、sps_subpic_id_len_minus1、sps_subpic_id_mapping_explicitly_signaled_flag和sps_subpic_id_mapping_present_flag中的每個語法元素的值可被推斷為等於直接參考層所參照的SPS中的每個相應的語法元素的值，其中nuh_layer_id等於vps_layer_id[DirectRefLayerIdx[GeneralLayerIdx[layerId]][sps_inferred_subpic_info_ref_layer_idx]]。
-語法元素sps_subpic_ctu_top_left_x[i]、sps_subpic_ctu_top_left_y[i]、sps_subpic_width_minus1[i]、sps_subpic_height_minus1[i]、 sps_subpic_treated_as_pic_flag[i]、sps_loop_filter_across_subpic_enabled_flag[i]以及sps_subpic_id[i]中的每一個語法元素的值可被推斷為等於由直接參考層所參照的SPS中每個相應的語法元素的值，其中nuh_layer_id等於vps_layer_id[DirectRefLayerIdx[GeneralLayerIdx[layerld]][sps_inferred_subpic_info_ref_layer_idx]]，其中i的範圍從0到sps_num_subpics_minus1(含)。
-位元流一致性的要求是每個語法元素sps_subpic_info_present_flag、sps_log2_ctu_size_minus5、sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples的值等於由直接參考層所參照的SPS中每個相應的語法元素的值，其中nuh_layer_id等於vps_layer_id[DirectRefLayerIdx[GeneralLayerIdx[layerId]][sps_inferred_subpic_info_ref_layer_idx]]。
sps_subpic_treated_as_pic_flag[i]等於1可定義CLVS中每個已編碼圖像的第i個子圖像在不包括環路濾波操作的解碼處理中可被視為圖像。sps_subpic_treated_as_pic_flag[i]等於0可定義CLVS中每個已編碼圖像的第i個子圖像在不包括環路濾波操作的解碼處理中不被視為圖像。如果不存在，則可推斷sps_subpic_treated_as_pic_flag[i]的值等於1。
實現本發明的示範性視訊編碼器和視訊解碼器
本發明的實施例可以在編碼器和/或解碼器中實現。例如，可以在編碼器的熵編碼(entropy encoding)模組和高級語法編碼(high-level syntax encoding)模組、和/或解碼器的熵解碼模組和高級語法解碼模組中的一個或組合中實現本發明的方法。或者，所公開的方法中的任一個可以實現為電路以耦接到編碼器的熵編碼模組或高級語法編碼模組和/或解碼器的熵解碼模組或高級 語法解碼模組，目的是可以提供任何模組所需的資訊。編碼器和解碼器可以是視訊編碼器和視訊解碼器或圖像編碼器和圖像解碼器。當在圖像編碼器和/或解碼器中實施前述提出的方法時，所得位元流可對應於僅使用圖片內預測(intra-picture prediction)的一個已編碼幀(coded frame)。視訊編碼器可遵循上述語法設計以生成合法的位元流，而在解析處理符合上述語法設計的情況下，視訊解碼器能夠正確解碼上述位元流。當位元流中的任何語法元素被跳過(skip)時，視訊編碼器和解碼器可將該語法元素的值定義為推斷值以保證編碼和解碼結果相匹配。
第7圖可例示用於實現本發明各種實施例中的一個或複數個實施例的視訊編碼器700的示範性系統框圖。視訊編碼器700可接收由複數個CTU組成的當前圖像的輸入視訊資料。每個CTU可包括由一個亮度樣本塊以及一個或複數個相應的色度樣本塊。當前圖像可被分割為一個或複數個子圖像，每個子圖像可包括整數個完整的CTU，並且子圖像的邊界可以CTU為單位的網格來對齊。幀內預測模組710可基於當前圖像的重構視訊資料(reconstructed video data)來提供幀內預測器。幀間預測模組712可基於參考來自其他圖像的視訊資料來執行運動估計(Motion Estimation，ME)和運動補償(Motion Compensation，MC)以提供幀間預測器。在本發明的一些實施例中，當當前圖像被分割為複數個子圖像時，用於對當前圖像進行幀間編碼的一個或複數個參考圖像可具有與當前圖像相同的CTU尺寸。根據一些實施例，當參考圖像不是僅包含一個子圖像的ILRP時，用於對當前圖像進行幀間編碼的參考圖像還可具有與當前圖像相同的子圖像佈局。幀內預測模組710或幀間預測模組712可使用開關714向加法器716提供當前圖像中CTU的當前塊的所選預測器，以透過從當前塊的原始視訊資料中減去所選預測器來形成殘差(residue)。例如，當前塊可以是CU。當前塊的殘差可由變換(Transformation，T)模組718和隨後的量化(Quantization， Q)模組720進行進一步處理。變換和量化後的殘差訊號然後可由熵編碼器734進行編碼以形成視訊位元流。當前塊的變換和量化後的殘差訊號可由逆量化(Inverse Quantization，IQ)模組722和逆變換(Inverse Transformation，IT)模組724進行處理以恢復預測殘差。如第7圖所示，可以透過在重建(Reconstruction，REC)模組726將恢復的殘差加回到所選預測器以產生重建的視訊資料。重建的視訊資料可以存儲在參考圖像緩衝器(Reference Picture Buffer，Ref.Pict.Buffer)732中並用於預測其他圖像。由於編碼處理，所以來自REC 726的重建視訊資料可能受到各種損壞，因此，在存儲在參考圖像緩衝器732中之前，至少一個環路處理濾波器(In-loop Processing Filter，ILPF)728可有條件地應用於重建視訊資料來進一步提升畫質。ILPF 728的一個示例是解塊濾波器(deblocking filter)。可以將語法元素提供給熵編碼器734以合併到視訊位元流中。
第7圖的視訊編碼器700的對應視訊解碼器800可如第8圖所示。由視訊編碼器編碼的視訊位元流可以是視訊解碼器800的輸入，並由熵解碼器8l0解碼以解析並恢復當前圖像的變換和量化後的殘差訊號及其他系統資訊。解碼器800的解碼處理可類似於編碼器700處的重建環路(reconstruction loop)，不同之處可在於解碼器800僅需要幀間預測模組814中的運動補償預測。熵解碼器810可接收被分割為一個或複數個子圖像的當前圖像，其中當前圖像可由複數個CTU組成。當前圖像中每個CTU的每個塊可由幀內預測模組812或幀間預測模組814解碼。開關816可根據解碼模式資訊來選擇幀內預測模組812的幀內預測器或幀間預測模組814的幀間預測器。在一些實施例中，當參考圖像不是僅包含一個子圖像的ILRP時，用於對包含子圖像的當前圖像進行幀間編碼的一個或複數個參考圖像可具有與當前圖像相同的CTU尺寸。根據一些實施例，參考圖像還可具有與當前圖像相同的子圖像佈局。變換和量化後的殘差訊號可由IQ模組820和IT模組822恢復。IQ模組820也可稱為去量化 (de-quantization)模組。可以透過在REC模組818中將恢復的殘差訊號加回預測器來產生重建的視訊。重建的視訊可進一步由至少一個ILPF 824有條件地進行處理以生成最終的解碼後視訊。ILPF 824的一個示例是解塊濾波器。如果當前解碼的圖像是參考圖像，則當前解碼的圖像的重建視訊也可存儲在參考圖像緩衝器828中，以用於解碼後續的圖像。
第7圖和第8圖中的視訊編碼器700和視訊解碼器800的各種組件可以由硬體組件、被配置為執行存儲在記憶體中的程式指令的一個或複數個處理器、或者硬體和處理器的組合來實現。例如，處理器可執行程式指令以使用與當前圖像具有相同CTU尺寸的一個或複數個參考圖像來控制對被分割為子圖像的當前圖像進行幀間編碼。處理器可配備有單個或複數個處理內核。在一些示例中，處理器可執行程式指令以執行編碼器700和解碼器800中的一些組件的功能，與處理器電耦合的記憶體可用於存儲程式指令、與重建圖像塊相對應的資訊、和/或編碼或解碼處理中的中間資料。在一些示例中，視訊編碼器700可以透過在視訊位元流中包括一個或複數個語法元素來發送資訊，相應的視訊解碼器800可透過解析和解碼一個或複數個語法元素來導出上述資訊。在一些實施例中，記憶體可包括非暫時性電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩種或更多種非暫時性電腦可讀介質的組合。如第7圖和第8圖所示，編碼器700和解碼器800可以在相同的電子設備中實現，因此如果在相同的電子設備中實現，編碼器700和解碼器800的各種功能組件可以被共用或重複使用。例如，第7圖中的重建模組726、逆變換模組724、逆量化模組722、環路處理濾波器728和參考圖像緩衝器732中的一個或複數個也可以分別用作第8圖中的重建模組818、逆變換模組822、逆量化模組820、環路處理濾波器824和參 考圖像緩衝器828。
更有效的視訊處理方法的實施例可以在集成到視訊壓縮晶片中的電路中實現，或在集成到視訊壓縮軟體中的程式代碼中實現，以執行上述處理。例如，可以在電腦處理器、數位訊號處理器(Digital Signal Processor，DSP)、微處理器或現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)上執行的程式代碼中實現透過幀間編碼對當前圖像中的一個或複數個塊進行編碼或解碼。這些處理器可以被配置為根據本發明透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。
在不脫離本發明精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面均應視為是說明性的而非限制性的。因此，本發明的範圍由請求項而不是由說明書指示。落入請求項的等同含義和範圍內的所有變化均包含在本發明範圍之內。
S602~S620:步驟

Claims (12)

  1. 一種視訊處理方法，用於在視訊編碼或解碼系統中將圖像分割成子圖像，所述方法包括：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像，其中每個子圖像包含複數個完整的編碼樹單元，並且所述子圖像的邊界與所述當前圖像以編碼樹單元為單位的網格對齊；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中，當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的一編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼。
  2. 如請求項1所述之視訊處理方法，其中，確定用於對所述當前圖像進行幀間編碼的所述一個或複數個參考圖像的步驟還包括：確定每個參考圖像是否被分割為複數個子圖像；以及當所述參考圖像不是包含一個子圖像的所述層間參考圖像並且所述參考圖像被分割成一個以上的子圖像時，用於對所述當前圖像進行幀間編碼的所述參考圖像與所述當前圖像具有相同的所述編碼樹單元尺寸。
  3. 如請求項2所述之視訊處理方法，其中，每個參考圖像中的所述複數個子圖像是從所述參考圖像所參照的序列參數集的序列參數集級語法元素sps_num_subpics_minus1中導出的，並且，當相應的序列參數集級語法元素sps_num_subpics_minus1大於0時，確定所述每個參考圖像被分割為所述複 數個子圖像。
  4. 如請求項1所述之視訊處理方法，其中，在一序列參數集中發送或從一序列參數集中解析的一序列參數集級語法元素sps_log2_ctu_size_minus5用於導出所述編碼樹單元尺寸，以及，一參考圖像和所述當前圖像的sps_log2_ctu_size_minus5的值相同指示所述參考圖像與所述當前圖像使用相同的所述編碼樹單元尺寸。
  5. 如請求項1所述之視訊處理方法，其中，透過使用所述一個或複數個參考圖像進行幀間編碼，對所述當前圖像的所述一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼的步驟還包括：確定一當前子圖像是否被視為一圖像；當所述當前子圖像被視為圖像並且每個參考圖像不是包含一個子圖像的所述層間參考圖像時，透過使用與所述當前圖像具有相同編碼樹單元尺寸的所述一個或複數個參考圖像對所述當前子圖像的一個或複數個塊進行幀間編碼，來對所述當前子圖像進行編碼；以及當所述當前子圖像不被視為圖像時，透過使用所述一個或複數個參考圖像對所述當前子圖像的一個或複數個塊進行幀間編碼來對所述當前子圖像進行編碼，而不限制每個參考圖像與所述當前圖像具有相同的所述編碼樹單元尺寸。
  6. 如請求項1所述之視訊處理方法，其中，當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，用於對所述當前圖像進行幀間編碼的每個參考圖像與所述當前圖像還具有相同的一子圖像佈局。
  7. 如請求項6所述之視訊處理方法，其中，當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像和所述當前圖像還具有相同數量的子圖像、每個子圖像相同的左上角位置和每個子圖像相同的尺寸。
  8. 如請求項7所述之視訊處理方法，其中，當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像所參照的一序列參數集級語法元素sps_log2_ctu_size_minus5與所述當前圖像所參照的所述序列參數集級語法元素sps_log2_ctu_size_minus5相同；當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像所參照的一序列參數集級語法元素sps_num_subpics_minus1與所述當前圖像所參照的所述序列參數集級語法元素sps_num_subpics_minus1相同；以及當所述參考圖像不是包含一個子圖像的所述層間參考圖像時，每個參考圖像中的每個子圖像的序列參數集級語法元素sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]和sps_subpic_height_minus1[j]與所述當前圖像中的每個子圖像的相應序列參數集級語法元素具有相同的值。
  9. 如請求項1所述之視訊處理方法，其中，所述當前圖像在一當前層中，所述一個或複數個參考圖像是一個或複數個其他層中的圖像。
  10. 如請求項1所述之視訊處理方法，其中，所述一個或複數個參考圖像中的每個由一參考圖像清單中的一有效條目引用以用於預測所述當前圖像的一個或複數個塊。
  11. 一種視訊處理裝置，用於視訊編碼或解碼系統中，所述裝置包括一個或複數個被配置為執行以下操作的電路：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像，其中每個子圖像包含複數個完整的編碼樹單元，並且所述子圖像的邊界與以編碼樹單元為單位的網格對齊；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中， 當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的一編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼。
  12. 一種非暫時性電腦可讀介質，用於存儲程式指令，所述程式指令使得一裝置的一處理電路執行視訊處理方法以將圖像分割成子圖像，所述方法包括：接收與一當前圖像相關聯的輸入視訊資料，其中所述當前圖像由複數個編碼樹單元組成以用於編碼或解碼；將所述當前圖像分割為複數個子圖像，其中每個子圖像包含複數個完整的編碼樹單元，並且所述子圖像的邊界與以編碼樹單元為單位的網格對齊；確定用於對所述當前圖像進行幀間編碼的一個或複數個參考圖像，其中，當一參考圖像不是包含一個子圖像的一層間參考圖像時，所述參考圖像與所述當前圖像具有相同的一編碼樹單元尺寸；以及透過使用所述一個或複數個參考圖像進行幀間編碼，來對所述當前圖像的一個或複數個編碼樹單元中的一個或複數個塊進行編碼或解碼。
TW110121141A 2020-06-10 2021-06-10 視訊處理方法及裝置 TWI793629B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063037596P 2020-06-10 2020-06-10
US63/037,596 2020-06-10
US202063037686P 2020-06-11 2020-06-11
US63/037,686 2020-06-11
US17/343,914 US11601647B2 (en) 2020-06-10 2021-06-10 Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
US17/343,914 2021-06-10

Publications (2)

Publication Number Publication Date
TW202205854A TW202205854A (zh) 2022-02-01
TWI793629B true TWI793629B (zh) 2023-02-21

Family

ID=78826210

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110121141A TWI793629B (zh) 2020-06-10 2021-06-10 視訊處理方法及裝置

Country Status (2)

Country Link
US (2) US11601647B2 (zh)
TW (1) TWI793629B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022011463A (es) 2020-03-21 2022-10-07 Beijing Bytedance Network Tech Co Ltd Combinacion de subimagenes y escalabilidad.
CN115812304A (zh) * 2020-06-20 2023-03-17 抖音视界有限公司 具有不同的编解码块大小的层间预测
EP4351133A1 (en) * 2022-10-07 2024-04-10 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832869A (zh) * 2019-01-02 2020-02-21 深圳市大疆创新科技有限公司 用于视频编码或解码的运动信息获取方法与装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
EP3846471A4 (en) 2018-08-31 2022-02-23 SZ DJI Technology Co., Ltd. ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, AND DECODING APPARATUS
KR20210130764A (ko) 2019-03-21 2021-11-01 가온미디어 주식회사 픽쳐 분할을 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치
WO2020197236A1 (ko) 2019-03-24 2020-10-01 엘지전자 주식회사 서브 픽처 핸들링 구조 기반 영상 또는 비디오 코딩
CA3140549A1 (en) 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures
US11743503B2 (en) * 2020-05-14 2023-08-29 Qualcomm Incorporated Reference picture list constraints and signaling in video coding
US11611778B2 (en) * 2020-05-20 2023-03-21 Sharp Kabushiki Kaisha Systems and methods for signaling general constraint information in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832869A (zh) * 2019-01-02 2020-02-21 深圳市大疆创新科技有限公司 用于视频编码或解码的运动信息获取方法与装置

Also Published As

Publication number Publication date
TW202205854A (zh) 2022-02-01
US20230188717A1 (en) 2023-06-15
US11601647B2 (en) 2023-03-07
US20210392325A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
TWI750633B (zh) 用適應性次要變換信令編解碼視訊資料的方法以及裝置
CN110719478B (zh) 跨分量帧内预测模式导出
TWI793629B (zh) 視訊處理方法及裝置
CN114223207B (zh) 用次要变换编解码视讯数据的方法以及装置
TWI772951B (zh) 用於編解碼視訊序列的方法和裝置
CN110839161B (zh) 扩展四叉树分割的边界处理
TWI784362B (zh) 視訊編解碼方法及裝置
TWI792200B (zh) 影像或視訊處理方法及裝置
CN113228638A (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
TW202101981A (zh) 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
TWI792348B (zh) 視訊處理方法和裝置
TWI730561B (zh) 利用圖塊分組進行視訊資料編碼的方法及裝置
TWI809416B (zh) 視訊序列編解碼方法和裝置
KR20230003029A (ko) 비디오 코딩에서 비트스트림 제약을 부과하기 위한 방법 및 장치
TWI796654B (zh) 圖片和視訊編解碼中以信號通知片和切片分區資訊的方法和裝置
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
CN110662035A (zh) 零单元的滤波
TWI779545B (zh) 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置
TW202116068A (zh) 視訊編解碼方法及裝置
TW202341736A (zh) 視訊編解碼方法及裝置