TW202131693A - 用於編解碼視訊序列之方法和裝置 - Google Patents

用於編解碼視訊序列之方法和裝置 Download PDF

Info

Publication number
TW202131693A
TW202131693A TW109143840A TW109143840A TW202131693A TW 202131693 A TW202131693 A TW 202131693A TW 109143840 A TW109143840 A TW 109143840A TW 109143840 A TW109143840 A TW 109143840A TW 202131693 A TW202131693 A TW 202131693A
Authority
TW
Taiwan
Prior art keywords
height
width
image
video sequence
max
Prior art date
Application number
TW109143840A
Other languages
English (en)
Other versions
TWI784368B (zh
Inventor
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202131693A publication Critical patent/TW202131693A/zh
Application granted granted Critical
Publication of TWI784368B publication Critical patent/TWI784368B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Abstract

對視訊序列進行編解碼的方法和裝置被公開，其中參考圖像重採樣（Reference Picture Resampling，簡稱RPR）模式被包括作為編解碼工具。根據該方法，與視訊序列的編碼資料相對應的位元流被生成或接收；其中當RPR模式被致能時，該位元流包括與RPR模式有關的一個或多個語法；使用包括該一個或多個語法的第一資訊，RPR模式的縮放資訊被導出；以及其中藉由考慮對應於Max（8，（亮度分量的最小編解碼塊大小））的值，該一個或多個語法被約束。當RPR模式被致能用於該目標圖像時，視訊序列的目標圖像使用縮放資訊進行編碼或解碼。

Description

視訊編碼的參考畫面重取樣中考量最差情況頻寬之縮放窗限制之方法和裝置
本發明涉及包含參考圖像重採樣（Reference Picture Resampling，簡稱RPR）編解碼工具的視訊編解碼。特別地，本發明涉及約束RPR參數以減輕最壞情況的記憶體頻寬。
高效率視訊編解碼（High Efficiency Video Coding, HEVC）標準已經在ITU-T視訊編解碼專家組（Video Coding Experts Group, VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group, MPEG）標準化組織的聯合視訊項目下被開發，尤其是與稱為視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding, JCT-VC)的合作而開發的。新興的視訊編解碼標準開發被稱為多樣化視訊編解碼（Versatile Video Coding，簡稱VVC），近年來已作為HEVC以外的下一代視訊編解碼而進行。VVC支援參考圖像重採樣（Reference Picture Resampling，簡稱RPR）作為適應性流服務的工具，以支援即時（on-the-fly）的上採樣和下採樣運動補償。與適應性流服務有關的技術如下。
參考圖像重採樣 （Reference Picture Resampling，簡稱RPR）
在VVC的開發過程中，根據“Requirements for a Future Video Coding Standard”，“在適應性流服務提供了相同內容的多個表示，每個具有不同屬性（例如空間解析度或樣本位元深度）的適應性流服務的情況下，該標準應支持快速表示切換。”在即時（real-time）視訊通訊中，允許在編解碼視訊序列中更改解析度而無需插入I圖像，這不僅可以使視訊資料無縫適應動態通道條件或使用者偏好，還可以消除由I圖像引起的跳動效果。具有參考圖像重採樣（Reference Picture Resampling，簡稱RPR）的適應性解析度更改（Adaptive Resolution Change，簡稱ARC）的假設示例被顯示在第1圖中，其中，當前圖像（110）根據不同大小的參考圖像（Ref0 120和Ref1 130）被預測。如第1圖所示，參考圖像Ref0（120）具有比當前圖像（110）更低的解析度。為了將參考圖像Ref0用作參考，Ref0必須被放大到與當前圖像相同的解析度。參考圖像Ref1（130）具有比當前圖像（110）更高的解析度。為了將參考圖像Ref1用作參考，Ref1必須被縮小到與當前圖像相同的解析度。
為了支援空間可伸縮性，參考圖像的圖像大小可以與當前圖像不同，這對於流應用程式很有用。用於支援參考圖像重採樣（RPR）（也被稱為適應性解析度更改（ARC））的方法已經被研究，以將其包含在VVC規範中。在日內瓦舉行的第14屆JVET會議上，有關RPR的一些文稿已提交會議討論。
當RPR被使用時，從參考圖像的寬度和高度以及當前圖像的寬度和高度中，圖像大小比例被導出。圖像大小比例被限制在[1/8至2]的範圍內。換句話說，圖像大小比例在1/8和2之間。亮度樣本中的圖像寬度/高度可在位元流中發送，例如PPS，其語義如下所示。
pic_width_in_luma_samples 以亮度樣本為單位指定參考PPS的每個解碼圖像的寬度。pic_width_in_luma_samples不應等於0，應為Max（8，MinCbSizeY）的整數倍，以及應小於或等於pic_width_max_in_luma_samples。
當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_width_in_luma_samples的值應等於pic_width_in_luma_samples。
pic_height_in_luma_samples 以亮度樣本為單位指定參考PPS的每個解碼圖像的高度。pic_height_in_luma_samples不應等於0，應為Max（8，MinCbSizeY）的整數倍，以及應小於或等於pic_height_max_in_luma_samples。
當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_height_in_luma_samples的值應等於pic_height_in_luma_samples。
當當前圖像和參考圖像的圖像大小被指定時，以下約束應被滿足。該約束將參考圖像與當前圖像的圖像大小比例限制在[1/8，2]的範圍內。
使refPicWidthInLumaSamples和RefPicHeightInLumaSamples分別是引用該PPS的當前圖像的參考圖像的pic_width_in_luma_samples和pic_height_in_luma_samples。滿足以下所有條件是位元流一致性的要求： –pic_width_in_luma_samples * 2應大於或等於refPicWidthInLumaSamples。 –pic_height_in_luma_samples * 2應大於或等於refPicHeightInLumaSamples。 –pic_width_in_luma_samples應小於或等於refPicWidthInLumaSamples * 8。 –pic_height_in_luma_samples應小於或等於refPicHeightInLumaSamples * 8。
在VVC中，RPR的縮放比例和縮放偏移是從PPS中發送的語法資訊中得出的。PPS語法在下表被顯示。表 1. 用於縮放比例和縮放偏移的圖像參數集合 RBSP 語法
pic_parameter_set_rbsp( ) { 描述符
pps_pic_parameter_set_id ue(v)
pps_seq_parameter_set_id u(4)
pic_width_in_luma_samples ue(v)
pic_height_in_luma_samples ue(v)
conformance_window_flag u(1)
     if( conformance_window_flag ) {  
conf_win_left_offset ue(v)
conf_win_right_offset ue(v)
conf_win_top_offset ue(v)
conf_win_bottom_offset ue(v)
     }  
scaling_window_flag u(1)
     if( scaling_window_flag ) {  
scaling_win_left_offset ue(v)
scaling_win_right_offset ue(v)
scaling_win_top_offset ue(v)
scaling_win_bottom_offset ue(v)
     }  
…  
語法的語義描述如下。
scaling_window_flag 等於1表示在PPS中存在縮放視窗偏移參數。scaling_window_flag等於0表示在PPS中不存在縮放視窗偏移參數。當ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值應等於0。
scaling_win_left_offset ，scaling_win_right_offset ，scaling_win_top_offset 和scaling_win_bottom_offset 指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset + scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling _win_top_offset + scaling _win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL被導出如下： PicOutputWidthL = pic_width_in_luma_samples- （scaling_win_right_offset + scaling_win_left_offset）。 PicOutputHeightL = pic_height_in_luma_samples-（scaling_win_bottom_offset + scaleing_win_top_offset）。
在亮度樣本中，fRefWidth被設置為等於參考圖像RefPicList[i][j]的PicOutputWidthL，以及在亮度樣本中，fRefHeight被設置為等於參考圖像RefPicList [i] [j]的PicOutputHeightL。 RefPicScale [i] [j] [0] =（（fRefWidth ＜＜ 14）+（PicOutputWidthL ＞＞ 1））/ PicOutputWidthL。 RefPicScale [i] [j] [1] =（（fRefHeight ＜＜ 14）+（PicOutputHeightL ＞＞ 1））/ PicOutputHeightL。 RefPicIsScaled [i] [j] =（RefPicScale [i] [j] [0]！=（1 ＜＜ 14））| | （RefPicScale [i] [j] [1]！=（1 ＜＜ 14））。
儘管RPR為編解碼視訊位元流增加了靈活性，但與RPR縮放相關的運動補償導致計算複雜度以及存儲頻寬的增加。為了減輕最壞情況的記憶體頻寬，本發明公開了約束與RPR有關的參數的方法和裝置。
對視訊序列進行編解碼以減輕與運動補償相關聯的最壞情況的記憶體頻寬增加的方法和裝置被公開，其中，參考圖像重採樣（Reference Picture Resampling，簡稱RPR）模式被公開。根據該方法，與視訊序列的編碼資料相對應的位元流在編碼器側生成或在解碼器側接收，其中，當RPR模式被致能時，該位元流包括與RPR模式有關的一種或多種語法，以及使用包括該一個或多個語法的第一資訊，用於RPR模式的縮放資訊被導出，以及其中藉由考慮對應於Max（8，（亮度分量的最小編解碼塊大小））的值，該一個或多個語法被約束。當RPR模式被致能用於該目標圖像時，利用縮放資訊，視訊序列的目標圖像在編碼器側進行編碼，或者在解碼器側進行解碼。在一實施例中，亮度分量的最小編解碼塊大小由語法MinCbSizeY指示。
在一實施例中，語法包括對應於亮度樣本中的當前圖像寬度的第一語法和對應於亮度樣本中的最大圖像寬度的第二語法。在一實施例中，語法被約束為導致（（當前圖像寬度-Max（8，MinCbSizeY））*亮度樣本中參考圖像的縮放視窗寬度）小於或等於（最大圖像寬度*當前圖像的縮放視窗寬度）。
在一實施例中，語法包括對應於亮度樣本中的當前圖像高度的第一語法和對應於亮度樣本中的最大圖像高度的第二語法。在一實施例中，語法被約束為導致（（當前圖像高度-Max（8，MinCbSizeY））*亮度樣本中參考圖像的縮放視窗高度）小於或等於（最大圖像高度*當前圖像的縮放視窗高度）。
在一實施例中，位元流符合位元流一致性要求，即藉由不考慮用於運動補償的插值濾波器，該一種或多種語法被約束，以及藉由考慮與最大（8，（亮度分量的最小編碼塊大小））對應的值，該一種或多種語法被約束。
在一實施例中，位元流符合位元流一致性要求，即（最大圖像寬度*當前圖像的縮放視窗寬度）大於或等於（（當前圖像寬度-Max（8，MinCbSizeY））*亮度樣本中參考圖像的縮放視窗寬度。
在一實施例中，位元流符合位元流一致性要求，即（最大圖像高度*當前圖像的縮放視窗高度）大於或等於（（當前圖像高度-Max（8，MinCbSizeY））*亮度樣本中參考圖像的縮放視窗高度。
以下描述是實施本發明的最佳構想模式。該描述的進行是出於說明本發明的一般原理的目的，而不應被認為是限制性的。本發明的範圍最好透過參考所附的申請專利範圍來確定。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，本领域之通常技术者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。
藉由參考附圖，本發明的所示實施例將被最好地理解，其中，相似的部分始終由相似的數字表示。以下描述僅旨在作為示例，並且簡單地示出了與本文所要求保護的本發明一致的裝置和方法的特定選擇的實施例。
在說明書中，現在附圖和說明書中的相似的附圖標記指定不同視圖之間的對應或相似元素。
根據VVC，導出的參考圖像縮放比例（RefPicScale [i] [j] [0]，RefPicScale [i] [j] [1]）被用於運動補償。RefPicScale是從PPS中指定的縮放視窗大小/寬度/高度得出的。它影響在運動補償階段哪些濾波器將被使用，還影響用於運動補償的存儲頻寬。例如，對於一個16x16的塊，在執行運動補償時，如果縮放比例等於1（例如RefPicScale [i] [ j] [0]和RefPicScale [i] [j] [1]都等於16384），需要一個（16+L–1）x（16+L–1）參考塊，其中L是運動補償的濾波器抽頭長度。在SPS中，序列的最大圖像大小被指定。根據最大圖像大小，最壞情況下的頻寬可被計算和約束。但是，當縮放比例等於2時（例如RefPicScale [i] [j] [0]和RefPicScale [i] [j] [1]都等於32768），則需要（32+L–1） x（32+L–1）參考塊。考慮到濾波器抽頭長度的影響，頻寬幾乎是原來的四倍。所需頻寬受縮放比例的影響。例如，如果當前圖像的大小等於最大圖像大小，以及參考圖像之一的縮放比例大於1，則此當前圖像的所需頻寬可能會大於系統預期的頻寬。為了constrian最壞情況的頻寬，幾種方法被提出。
方法 -1 ： 約束 縮放比例
在本發明中，（參考圖像大小與當前圖像大小的）縮放比例被約束為不大於（SPS中的最大圖像大小與當前圖像大小的比例）的比例。例如，scaling_ratio_x * current_picture_width * scaleing_ratio_y * current_picture_height應小於或等於max_picture_width * max_picture_height。current_picture_width或current_picture_height可以是圖像的寬度或高度（例如，以PPS表示或導出），或者是一致性視窗（例如，以PPS表示或導出），或縮放視窗（例如，以PPS表示或導出）。max_picture_width或max_picture_height height可以是當前序列的最大圖像寬度或高度（例如，在SPS中發送或導出）。在一實施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled [] [] [0]和RefPicIsScaled [] [] [1]。例如，RefPicIsScaled [] [] [0] * current_picture_width * RefPicIsScaled [] [] [1] * current_picture_height應小於或等於max_picture_width*max_picture_height*2^K，或（（（RefPicIsScaled [] [] [0] * RefPicIsScaled [] [] [1] * current_picture_width * current_picture_height）＞＞ K）應小於或等於max_picture_width * max_picture_height。K可以是28。
在另一實施例中，水平縮放比和垂直縮放可以被分別地約束。例如，（參考圖像大小與當前圖像大小的）水平和垂直縮放比例被分別約束為不大於（SPS中的最大圖像寬度與當前圖像寬度）的比例和（SPS中的最大圖像高度與當前圖像高度）的比例。例如，scaling_ratio_x * current_picture_width應小於或等於max_picture_width。scaling_ratio_y * current_picture_height應小於或等於max_picture_height。current_picture_width或current_picture_height可以是圖像的寬度或高度（例如，以PPS表示或導出，或者是一致性視窗（例如，以PPS表示或導出），或縮放視窗（例如，以PPS表示或導出）。max_picture_width或max_picture_height height可以是當前序列的最大圖像寬度或高度（例如，在SPS中發送或導出）。在一實施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled [] [] [0]和RefPicIsScaled [] [] [1]。例如，RefPicIsScaled [] [] [0] * current_picture_width應小於或等於max_picture_ 2 ^ K，或（（（RefPicIsScaled [] [0] * current_picture_width）＞＞ K）應小於或等於max_picture_width。同樣，RefPicIsScaled [] [] [1] * current_picture_height應小於或等於max_picture_height * 2 ^ K，或（（（RefPicIsScaled [] [] [1] * current_picture_height）＞＞ K）＞＞ max_picture_height。K可以為14。
在另一實施例中，縮放視窗的大小，當前圖像大小，參考圖像大小和/或當前序列中的最大圖像大小受到約束。例如，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下所有條件是位元流一致性的要求： –refPicOutputWidthL * current_picture_width * refPicOutputHeightL * current_picture_height應小於或等於PicOutputWidthL * max_picture_width * PicOutputHeightL * max_picture_height。
在另一實施例中，縮放視窗的寬度和高度，當前圖像的寬度和高度，參考圖像的寬度和高度，和/或當前序列中圖像的最大寬度和高度被分別約束。例如，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下所有條件是位元流一致性的要求： –refPicOutputWidthL * current_picture_width應小於或等於PicOutputWidthL * max_picture_width， –refPicOutputHeightL * current_picture_height應小於或等於PicOutputHeightL * max_picture_height。
current_picture_width和current_picture_height可以是在SPS或PPS中發送的圖像寬度和高度。例如，圖像的寬度和高度可以是pic_width_in_luma_samples和pic_height_in_luma_samples，或者可以是一致性裁剪視窗的寬度和高度，或者可以是縮放視窗的寬度和高度。
在另一實施例中，插值濾波器被考慮。當前圖像的最壞情況MC記憶體頻寬等於CurPicWidth * CurPicHeight * WorstCaseBlockBW / WorstCaseBlockSize。因此，如果滿足以下條件，則最壞情況下的MC記憶體頻寬不會增加。 CurPicWidth * CurPicHeight * (8 * ScalingRatioX + 7) * (8 * ScalingRatioY + 7) / (8 * 8) ＜= SpsMaxPicWidth * SpsMaxPicHeight * (8 + 7) * (8 + 7) / (8 * 8)。
在以上等式中，ScalingRatioX等於（refPicOutputWidthL / PicOutputWidthL），ScalingRatioY等於（refPicOutputHeightL / PicOutputHeightL），SpsMaxPicWidth是SPS中發送的最大圖像寬度，SpsMaxPicHeight是SPS中發送的最大圖像高度。
在公式簡化之後，以下等式可被重寫為以下形式。 CurPicWidth * CurPicHeight *（8 * refPicOutputWidthL + 7 * PicOutputWidthL）*（8 * refPicOutputHeightL + 7 * PicOutputHeightL）＜= SpsMaxPicWidth * SpsMaxPicHeight * 225 * PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下： CurPicWidth * CurPicHeight * (8/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) * (8/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜= SpsMaxPicWidth * SpsMaxPicHeight * (8/SubWidthC+3) * (8/SubHeightC+3) * PicOutputWidthL * PicOutputHeightL。
在以上等式中，對於4：2：0，4：2：2和4：4：4，(SubWidthC，SubHeightC) 分別是(2，2) ， (2， 1)和(1，1) 。
關於縮放視窗大小的建議文本如下。
scaling_win_left_offset ，scaling_win_right_offset ，scaling_win_top_offset 和scaling_win_bottom_offset指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling _win_top_offset + scaling _win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下： PicOutputWidthL = pic_width_in_luma_samples- （scaling _win_right_offset + scaling _win_left_offset）。 PicOutputHeightL = pic_height_in_luma_samples- （scaling _win_bottom_offset + scaling _win_top_offset）。
在另一示例中，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset以色度樣本為單位發送。變數PicOutputWidthL和PicOutputHeightL的導出如下： PicOutputWidthL = pic_width_in_luma_samples- SubWidthC *（scaling_win_right_offset + scaling_win_left_offset）。 PicOutputHeightL = pic_height_in_luma_samples- SubHeightC *（scaling_win_bottom_offset + scaling_win_top_offset）。
在以上等式中，SubWidthC和SubHeightC分別指定水平方向和垂直方向上的亮度採樣與色度採樣的採樣比。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為參考該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求： –pic_width_in_luma_samples * pic_height_in_luma_samples *（8 * refPicOutputWidthL + 7 * PicOutputWidthL）*（8 * refPicOutputHeightL + 7 * PicOutputHeightL）必須小於或等於pic_width_max_in_luma_samples * pic_height_max_in_lum_samples height * 225 * PicOutputWidthL * PicOutputHeightL。 –pic_width_in_luma_samples * pic_height_in_luma_samples *（8 / SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL）*（8 / SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL）小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * (8 / SubWidthC + 3) * (8 / SubHeightC + 3) * PicOutputWidthL * PicOutputHeightL。
在另一種方法中，我們可以只考慮亮度分量。縮放視窗大小的建議文本如下。
scaling_win_left_offset ，scaling_win_right_offset ，scaling_win_top_offset 和scaling_win_bottom_offset 指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling_win_top_offset + scaling_win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下： PicOutputWidthL = pic_width_in_luma_samples- （scaling_win_right_offset + scaling_win_left_offset）。 PicOutputHeightL = pic_height_in_luma_samples- （scaling_win_bottom_offset + scaling_win_top_offset）。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為參考該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求： –pic_width_in_luma_samples * pic_height_in_luma_samples *（8 * refPicOutputWidthL + 7 * PicOutputWidthL）*（8 * refPicOutputHeightL + 7 * PicOutputHeightL）必須小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 225 * PicOutputWidthL * PicOutputHeightL。
注意，以上的數字8、7和3可以用其他數字代替。例如，在公式簡化後，其可被重寫如下。 CurPicWidth * CurPicHeight *（M * refPicOutputWidthL + N * PicOutputWidthL）*（O * refPicOutputHeightL + P * PicOutputHeightL）＜= SpsMaxPicWidth * SpsMaxPicHeight *（M + N）*(O+P) * PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下。 CurPicWidth * CurPicHeight * (A/SubWidthC * refPicOutputWidthL + B * PicOutputWidthL) * (C/ SubHeightC * refPicOutputHeightL + D * PicOutputHeightL) ＜= SpsMaxPicWidth*SpsMaxPicHeight*(A/SubWidthC+B)*(C/SubHeightC+D)*PicOutputWidthL * PicOutputHeightL.
在以上等式中，對於4：2：0，4：2：2和4：4：4，（SubWidthC，SubHeightC）分別是（2，2），（2，1）和（1，1）。
在一實施例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。
在一實施例中，16x4和4x16被用作塊大小以計算最壞情況的頻寬。約束可被重寫如下。
在公式簡化之後，其被重寫如下： CurPicWidth * CurPicHeight * (16 * refPicOutputWidthL + 7 * PicOutputWidthL) * (4*refPicOutputHeightL+7*PicOutputHeightL) ＜= SpsMaxPicWidth * SpsMaxPicHeight * 253 * PicOutputWidthL * PicOutputHeightL， CurPicWidth * CurPicHeight * (4 * refPicOutputWidthL + 7 * PicOutputWidthL) * (16*refPicOutputHeightL+7*PicOutputHeightL)＜=SpsMaxPicWidth* SpsMaxPicHeight * 253 * PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下： CurPicWidth * CurPicHeight * (16/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) * (4/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜= SpsMaxPicWidth*SpsMaxPicHeight*(16/SubWidthC+3)*(4/SubHeightC+3)*PicOutputWidthL * PicOutputHeightL， CurPicWidth * CurPicHeight * (4/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) * (16/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜= SpsMaxPicWidth*SpsMaxPicHeight*(4/SubWidthC+3)*(16/SubHeightC+3)*PicOutputWidthL * PicOutputHeightL。
在以上等式中，對於4：2：0、4：2：2和4：4：4，（SubWidthC，SubHeightC）分別是（2，2），（2，1）和（1，1）。
縮放視窗大小的建議文本如下。
s caling_win_left_offset ，scaling_win_right_offset ，scaling_win_top_offset 和scaling_win_bottom_offset 指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時， scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，以及scaling_win_top_offset + scaling_win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下： PicOutputWidthL = pic_width_in_luma_samples − ( scaling_win_right_offset + scaling_win_left_offset )。 PicOutputHeightL = pic_height_in_luma_samples − ( scaling_win_bottom_offset + scaling_win_top_offset )。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求： –pic_width_in_luma_samples * pic_height_in_luma_samples *（16 * refPicOutputWidthL + 7 * PicOutputWidthL）*（4 * refPicOutputHeightL + 7 * PicOutputHeightL）應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_lum_samples height * 253 * PicOutputWidthL * PicOutputHeightL。 –pic_width_in_luma_samples * pic_height_in_luma_samples *（4 * refPicOutputWidthL + 7 * PicOutputWidthL）*（16 * refPicOutputHeightL + 7 * PicOutputHeightL）應小於或等於pic_width_max_in_luma_samples * pic_height_Width_sample height * 253 * PicOutputWidthL * PicOutputHeightL。 – pic_width_in_luma_samples * pic_height_in_luma_samples *（16 / SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL）*（4 / SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL）應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * (16 / SubWidthC + 3) * (4 / SubHeightC + 3) * PicOutputWidthL * PicOutputHeightL。 –pic_width_in_luma_samples * pic_height_in_luma_samples *（4 / SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL）*（16 / SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL）應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * (4 / SubWidthC + 3) * (16 / SubHeightC + 3) * PicOutputWidthL * PicOutputHeightL。
另外，在另一示例中，我們可以僅考慮亮度分量。
在另一實施例中，公差比可被調用。例如，Ty可以是亮度的公差值。Tc可以是色度的公差值。Ty和Tc可以是整數或實數（例如1.0、1.2、1.1、1.5等）。
例如，在公式簡化之後，約束可被重寫如下。 CurPicWidth * CurPicHeight * (M * refPicOutputWidthL + N * PicOutputWidthL) * (O * refPicOutputHeightL + P * PicOutputHeightL) ＜= SpsMaxPicWidth * SpsMaxPicHeight * (M+N)*(O+P) * PicOutputWidthL * PicOutputHeightL * Ty。
類似地，對於色度分量，約束如下。 CurPicWidth * CurPicHeight * (A/SubWidthC * refPicOutputWidthL + B * PicOutputWidthL) * (C/ SubHeightC * refPicOutputHeightL + D * PicOutputHeightL) ＜= SpsMaxPicWidth * SpsMaxPicHeight * (A/SubWidthC+B) * (C/SubHeightC+D) * PicOutputWidthL * PicOutputHeightL * Tc，
在以等式中，對於4：2：0、4：2：2和4：4：4，（SubWidthC，SubHeightC）分別是（2，2），（2，1）和（1，1）。
在一示例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。在一示例中，M和O可以是8，N和P可以是7或8，A和C可以是8，B和D可以是3或4。在一示例中，M可以是16 O可以是4，N和P可以是7或8，A可以是16，C可以是4，B和D可以是3或4。在一示例中，M可以是4 O可以是16，N和P可以是7或8，A可以是4和C可以是16，B和D可以是3或4。
在另一實施例中，垂直方向約束和水平方向約束可以分開。例如，在公式簡化之後，約束可按如下方式重寫。 CurPicWidth * (M * refPicOutputWidthL + N * PicOutputWidthL) ＜= SpsMaxPicWidth *  (M+N) * PicOutputWidthL * Ty_x。 CurPicHeight * (O * refPicOutputHeightL + P * PicOutputHeightL) ＜= SpsMaxPicHeight * (O+P) * PicOutputHeightL * Ty_y。
類似地，對於色度分量，約束如下。 CurPicWidth *（A / SubWidthC * refPicOutputWidthL + B * PicOutputWidthL）＜= SpsMaxPicWidth *（A / SubWidthC + B）* PicOutputWidthL * Tc_x。 CurPicHeight *（C / SubHeightC * refPicOutputHeightL + D * PicOutputHeightL）＜= SpsMaxPicHeight *（C / SubHeightC + D）* PicOutputHeightL * Tc_y。
在以上等式中，對於4：2：0、4：2：2和4：4：4，（SubWidthC，SubHeightC）分別是（2，2），（2，1）和（1，1）。
在一示例中，在公式簡化之後，約束可重寫如下。 CurPicWidth * (16 * refPicOutputWidthL + 7 * PicOutputWidthL) ＜= SpsMaxPicWidth *  (16+7) * PicOutputWidthL * Ty_x。 CurPicHeight * (4 * refPicOutputHeightL + 7 * PicOutputHeightL) ＜= SpsMaxPicHeight * (4+7) *  PicOutputHeightL * Ty_y。 CurPicWidth * (4 * refPicOutputWidthL + 7 * PicOutputWidthL) ＜= SpsMaxPicWidth *  (4+7) * PicOutputWidthL * Ty_x。 CurPicHeight * (16 * refPicOutputHeightL + 7 * PicOutputHeightL) ＜= SpsMaxPicHeight * (16+7) *  PicOutputHeightL * Ty_y。
在另一示例中，約束可重寫如下： CurPicWidth * (4 * refPicOutputWidthL + 7 * PicOutputWidthL) ＜= SpsMaxPicWidth *  (4+7) * PicOutputWidthL * Ty_x。 CurPicHeight * (4 * refPicOutputHeightL + 7 * PicOutputHeightL) ＜= SpsMaxPicHeight * (4+7) *  PicOutputHeightL * Ty_y。
在另一示例中，約束可重寫如下： CurPicWidth * (16 * refPicOutputWidthL + 7 * PicOutputWidthL) ＜= SpsMaxPicWidth *  (16+7) * PicOutputWidthL * Ty_x。 CurPicHeight * (16 * refPicOutputHeightL + 7 * PicOutputHeightL) ＜= SpsMaxPicHeight * (16+7) *  PicOutputHeightL * Ty_y。
類似地，對於色度分量，約束如下： CurPicWidth * (16/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) ＜= SpsMaxPicWidth * (16/SubWidthC+3) * PicOutputWidthL * Tc_x。 CurPicHeight * (4/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜=  SpsMaxPicHeight * (4/SubHeightC+3) * PicOutputHeightL * Tc_y。 CurPicWidth * (4/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) ＜= SpsMaxPicWidth * (4/SubWidthC+3) * PicOutputWidthL * Tc_x。 CurPicHeight * (16/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜=  SpsMaxPicHeight * (16/SubHeightC+3) * PicOutputHeightL * Tc_y。
在另一示例中，約束可重寫如下： CurPicWidth * (4/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) ＜= SpsMaxPicWidth * (4/SubWidthC+3) * PicOutputWidthL * Tc_x。 CurPicHeight * (4/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜=  SpsMaxPicHeight * (4/SubHeightC+3) * PicOutputHeightL * Tc_y。
在另一示例中，約束可重寫如下： CurPicWidth * (16/SubWidthC * refPicOutputWidthL + 3 * PicOutputWidthL) ＜= SpsMaxPicWidth * (16/SubWidthC+3) * PicOutputWidthL * Tc_x。 CurPicHeight * (16/ SubHeightC * refPicOutputHeightL + 3 * PicOutputHeightL) ＜=  SpsMaxPicHeight * (16/SubHeightC+3) * PicOutputHeightL * Tc_y。
在以上等式中，對於4：2：0、4：2：2和4：4：4，（SubWidthC，SubHeightC）分別是（2，2），（2，1）和（1，1）。
在另一實施例中，濾波器抽頭長度可被忽略。例如，在公式簡化之後，約束可重寫如下： CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL  ＜= SpsMaxPicWidth * SpsMaxPicHeight * PicOutputWidthL * PicOutputHeightL * T。
在另一示例中，約束可重寫如下： CurPicWidth * refPicOutputWidthL ＜= SpsMaxPicWidth * PicOutputWidthL *Tx。 CurPicHeight * refPicOutputHeightL ＜= SpsMaxPicHeight * PicOutputHeightL *Ty。
然而，在參考圖像是全高清（例如1920x1080）以及當前圖像是全高清的四分之一大小（例如960x544）的情況下，參考圖像的縮放視窗是1920x1080，以及如果當前圖像為960x540，則高度約束不被滿足。因此，約束應稍稍鬆開。在一實施例中，當前圖像的寬度或高度被減去一項（term）。例如，該項可以是8、16，正整數，與minCbSizeY或minCbSizeC有關的值，與CTU / CU約束有關的值，或者可以是Max（8，MinCbSizeY）或Max（k，MinCbSizeY），其中k是一正整數。例如，約束可修改如下： –（pic_width_in_luma_samples – Max（8，MinCbSizeY））* refPicOutputWidthL小於或等於pic_width_max_in_luma_samples * PicOutputWidthL。 –（pic_height_in_luma_samples – Max（8，MinCbSizeY））* refPicOutputHeightL小於或等於pic_height_max_in_luma_samples * PicOutputHeightL。 或者 –PicOutputWidthL * pic_width_max_in_luma_samples大於或等於refPicOutputWidthL *（pic_width_in_luma_samples − Max（8，MinCbSizeY））。 –PicOutputHeightL * pic_height_max_in_luma_samples大於或等於refPicOutputHeightL *（pic_height_in_luma_samples − Max（8，MinCbSizeY））。
在另一示例中，約束可重寫如下： (CurPicWidth – Max( 8, MinCbSizeY )) *  refPicOutputWidthL  ＜= SpsMaxPicWidth *  PicOutputWidthL。 (CurPicHeight – Max( 8, MinCbSizeY ))* refPicOutputHeightL  ＜= SpsMaxPicHeight * PicOutputHeightL。
在另一示例中，約束可重寫如下： (CurPicWidth–Max( 8, MinCbSizeY )) * refPicOutputWidthL ＜= SpsMaxPicWidth *  PicOutputWidthL * Tx。 (CurPicHeight–Max( 8, MinCbSizeY ))*refPicOutputHeightL＜= SpsMaxPicHeight * PicOutputHeightL * Ty。
在另一示例中，約束可重寫如下： (CurPicWidth – Max( 8, MinCbSizeY )) *  (CurPicHeight – Max( 8, MinCbSizeY )) * refPicOutputWidthL * refPicOutputHeightL ＜= SpsMaxPicWidth *  PicOutputWidthL *  SpsMaxPicHeight * PicOutputHeightL。
在另一示例中，約束可重寫如下： (CurPicWidth – Max( 8, MinCbSizeY )) *  (CurPicHeight – Max( 8, MinCbSizeY )) * refPicOutputWidthL * refPicOutputHeightL ＜= SpsMaxPicWidth *  PicOutputWidthL *  SpsMaxPicHeight * PicOutputHeightL * T。
在另一實施例中，最大圖像的寬度或高度可加上一項。例如，該項可以是8、16，正整數，與minCbSizeY / C有關的值，與CTU / CU約束有關的值，或者可以是Max（8，MinCbSizeY）或Max（k，MinCbSizeY），其中k是一正整數。例如，約束可修改如下： –pic_width_in_luma_samples * refPicOutputWidthL應小於或等於（pic_width_max_in_luma_samples + Max（8，MinCbSizeY））* PicOutputWidthL。 –pic_height_in_luma_samples * refPicOutputHeightL應小於或等於（pic_height_max_in_luma_samples + Max（8，MinCbSizeY））* PicOutputHeightL。
在另一示例中，約束可重寫如下： CurPicWidth *  refPicOutputWidthL  ＜= (SpsMaxPicWidth + Max( 8, MinCbSizeY ))*  PicOutputWidthL。 CurPicHeight * refPicOutputHeightL  ＜= (SpsMaxPicHeight + Max( 8, MinCbSizeY ))* PicOutputHeightL。
在另一示例中，約束可重寫如下： CurPicWidth *  refPicOutputWidthL  ＜= (SpsMaxPicWidth + Max( 8, MinCbSizeY ))*  PicOutputWidthL * Tx。 CurPicHeight * refPicOutputHeightL  ＜= (SpsMaxPicHeight + Max( 8, MinCbSizeY ))* PicOutputHeightL * Ty。
在另一示例中，約束可重寫如下： CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL ＜=（SpsMaxPicWidth + Max（8，MinCbSizeY））* PicOutputWidthL *（SpsMaxPicHeight + Max（8，MinCbSizeY））* PicOut。
在另一示例中，約束可重寫如下： CurPicWidth *  CurPicHeight  * refPicOutputWidthL * refPicOutputHeightL ＜= (SpsMaxPicWidth + Max( 8, MinCbSizeY ))*  PicOutputWidthL *  (SpsMaxPicHeight + Max( 8, MinCbSizeY )) * PicOutputHeightL * T.
在另一實施例中，如上所述，當前圖像的寬度或高度都可減去一項，而最大圖像的寬度或高度都可加上一項。
在另一實施例中，在上述方法中，圖像或縮放視窗的寬度或高度可由圖像/縮放視窗的寬度/高度中的CTU數量替換。
方法 2 ：當縮放比例大於閾值時，小的幀間塊被禁能。
對於運動補償，由於插值濾波器的作用，較小的塊每個樣本需要較大的頻寬。為了減小記憶體頻寬，當縮放比例大於閾值時，建議禁能小的幀間塊。例如，當縮放比例大於K或大於或等於K時，高度和/或高度小於N的幀間塊被禁能。在另一示例中，當縮放比例大於K時，面積小於M的幀間塊被禁能。K可以是1、1.25、1.5、1.75或2.0。N可以是8、16或32。M可以是32、64、128、256、512或1024。
在一實施例中，RefPicIsScaled [] [] [0]和/或RefPicIsScaled [] [] [1]可被使用。例如，當RefPicIsScaled [] [] [0]和/或RefPicIsScaled [] [] [1]大於K或大於或等於K時，高度和/或高度小於N的幀間塊被禁能。在另一示例中，當RefPicIsScaled [] [] [0]和/或RefPicIsScaled [] [] [1]大於K時，面積小於M的幀間塊被禁能。K可以是（1、1.25、1.5、1.75或2.0）* 2 ^ P，其中P可以是14。N可以是8、16或32。M可以是32、64、128、256、512或1024。
方法 -3 ：在當前縮放視窗之外沒有幀間預測
在所提出的方法中，如果當前CU在當前圖像縮放視窗之外，則編碼器不應對該幀CU使用幀間模式。因此，位元流應具有這樣的一致性，即縮放視窗外的CU全部都不應處於幀間模式。在另一實施例中，相關的語法可被保存。例如，縮放視窗之外的任一CU將僅需要發送與幀內模式有關的語法，從而所有與幀間模式有關的語法可被保存。這種方法還將保證最壞情況下的頻寬。
在以上公開的方法中，對RPR的縮放的約束在各種等式或公式中被示出。這些等式或公式並非旨在提供基於本發明實施例的可能實現的詳盡列表。如本領域中已知的，藉由重新排列或重新組合這些等式或公式中的術語，這些等式或公式可具有各種形式。本發明的實施例涵蓋所有等效等式或公式。
實現任一上述提出的方法可在編碼器和/或解碼器中。例如，任一所提出的方法可在編碼器的縮放或運動補償模組或參數確定模組和/或解碼器的縮放或運動補償模組或參數確定模組中實現。可替代地，所提出的方法中的任一實現為與編碼器的縮放或運動補償模組或參數確定模組和/或解碼器的縮放或運動補償模組或參數確定模組耦合的一個或多個電路，以便提供縮放或運動補償模組或參數確定模組所需的資訊。
視訊編碼器必須遵循上述語法設計以便生成合法的位元流，以及只有在解析過程符合上述語法設計的情況下，視訊解碼器才能夠正確地解碼位元流。當語法在位元流中被跳過時，編碼器和解碼器應將語法值設置為推斷值，以確保編碼和解碼結果匹配。
第2圖示出根據本發明的實施例的引入約束的參考圖像重採樣（RPR）參數的系統的示例性框圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式碼。流程圖中所示的步驟還可基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器之類的硬體來實現。根據該方法，在步驟210中，與視訊序列的編碼資料相對應的位元流在編碼器側生成或在解碼器側接收，其中，當RPR模式被致能時，該位元流包括與RPR模式有關的一種或多種語法，以及用於RPR模式的縮放資訊使用包括該一個或多個語法的第一資訊來導出，以及其中藉由考慮與Max（8，（亮度分量的最小編解碼塊大小））相對應的值，該一個或多個語法被約束。在步驟220中，當RPR模式被致能用於視訊序列的目標圖像時，利用縮放資訊，視訊序列的目標圖像在編碼器側進行編碼，或者在解碼器側進行解碼。
所示的流程圖旨在說明根據本發明的實施例的示例。本領域之通常技術者可以修改每個步驟，重新佈置步驟，拆分步驟或組合步驟以實踐本發明，而不背離本發明的精神。
上述描述被給出以使本领域之通常技术者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本领域之通常技术者將是顯而易見的，以及本文中定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示出和描述的特定實施例，而是與符合本文公開的原理和新穎性特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本领域之通常技术者將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是在數位訊號處理器（Digital Signal Processor，DSP）上執行以執行本文描述的處理的程式碼。本發明還可涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate arragy，簡稱FPGA）執行的許多功能。該些處理器可被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以不同的程式設計語言和不同的格式或樣式來開發。軟體代碼也可被編譯用於不同的目標平臺。然而，不同的代碼格式，軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是上述描述來指示。落在申請專利範圍的等同含義和範圍內的所有改變均應包含在其範圍之內。
110:當前圖像 120:參考圖像 130:參考圖像 210、220:步驟
第1圖示出具有參考圖像重採樣（Adaptive Resolution Change，簡稱RPR）的適應性解析度更改（Adaptive Resolution Change，簡稱ARC）的假設示例，其中當前圖像根據不同大小的參考圖像（Ref0和Ref1）預測。 第2圖示出根據本發明的實施例的引入約束的參考圖像重採樣（Adaptive Resolution Change，簡稱RPR）參數的系統的示例性框圖。
210、220:步驟

Claims (18)

  1. 一種用於編解碼一視訊序列的方法，其中一參考圖像重採樣模式被支援，該方法包括： 在一編碼器側生成或在一解碼器側接收對應於該視訊序列的編碼資料的一位元流，其中當該參考圖像重採樣模式被致能時，該位元流包括與該參考圖像重採樣模式相關的一個或多個語法，以及該參考圖像重採樣模式的縮放資訊使用該一個或多個語法來導出，以及其中藉由考慮與Max（8，一亮度分量的最小編解碼塊大小）相對應的值，該一個或多個語法被約束；以及 使用該縮放資訊，在該編碼器側編碼或在該解碼器側解碼該視訊序列。
  2. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該亮度分量的該最小編解碼塊大小由一語法MinCbSizeY指示。
  3. 如請求項2所述之用於編解碼一視訊序列的方法，其中，該一個或多個語法包括多個亮度樣本中對應於當前圖像寬度的一第一語法，以及該多個亮度樣本中對應於最大圖像寬度的一第二語法。
  4. 如請求項3所述之用於編解碼一視訊序列的方法，其中，該一個或多個語法被約束使得（（該當前圖像寬度-Max(8,MinCbSizeY)）*該多個亮度樣本中參考圖像的縮放視窗寬度）小於或等於（該最大圖像寬度*一當前圖像的縮放視窗寬度）。
  5. 如請求項2所述之用於編解碼一視訊序列的方法，其中，該一個或多個語法包括多個亮度樣本中對應於當前圖像高度的一第三語法，以及該多個亮度樣本中對應於最大圖像高度的一第四語法。
  6. 如請求項5所述之用於編解碼一視訊序列的方法，其中，該一個或多個語法被約束使得（（該當前圖像高度-Max(8,MinCbSizeY)）*該多個亮度樣本中參考圖像的縮放視窗高度）小於或等於（該最大圖像高度*當前圖像的縮放視窗高度）。
  7. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該位元流符合一位元流一致性要求：藉由不考慮用於運動補償的插值濾波器，該一個或多個語法被約束，以及藉由考慮與Max（8，（該亮度分量的最小編解碼塊大小）對應的該值，該一個或多個語法被約束。
  8. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該位元流符合一位元流一致性要求：（最大圖像寬度*當前圖像的縮放視窗寬度）大於或等於（（當前圖像寬度-Max（8,MinCbSizeY））*多個亮度樣本中參考圖像的縮放視窗寬度）。
  9. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該位元流符合一位元流一致性要求：（最大圖像高度*當前圖像的縮放視窗高度）大於或等於（（當前圖像高度-Max（8,MinCbSizeY））*多個亮度樣本中參考圖像的縮放視窗高度）。
  10. 一種用於編解碼一視訊序列的裝置，其中一參考圖像重採樣模式被支援，該裝置包括一個或多個電子電路，被設置為： 在一編碼器側生成或在一解碼器側接收對應於該視訊序列的編碼資料的一位元流，其中當該參考圖像重採樣模式被致能時，該位元流包括與該參考圖像重採樣模式相關的一個或多個語法，以及該參考圖像重採樣模式的縮放資訊使用該一個或多個語法來導出，以及其中藉由考慮與Max（8，一亮度分量的最小編解碼塊大小）相對應的值，該一個或多個語法被約束；以及 使用該縮放資訊，在該編碼器側編碼或在該解碼器側解碼該視訊序列。
  11. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該亮度分量的該最小編解碼塊大小由一語法MinCbSizeY指示。
  12. 如請求項11所述之用於編解碼一視訊序列的裝置，其中，該一個或多個語法包括多個亮度樣本中對應於當前圖像寬度的一第一語法，以及該多個亮度樣本中對應於最大圖像寬度的一第二語法。
  13. 如請求項12所述之用於編解碼一視訊序列的裝置，其中，該一個或多個語法被約束使得（（該當前圖像寬度-Max(8,MinCbSizeY)）*該多個亮度樣本中參考圖像的縮放視窗寬度）小於或等於（該最大圖像寬度*一當前圖像的縮放視窗寬度）。
  14. 如請求項11所述之用於編解碼一視訊序列的裝置，其中，該一個或多個語法包括多個亮度樣本中對應於當前圖像高度的一第三語法，以及該多個亮度樣本中對應於最大圖像高度的一第四語法。
  15. 如請求項14所述之用於編解碼一視訊序列的裝置，其中，該一個或多個語法被約束使得（（該當前圖像高度-Max(8,MinCbSizeY)）*該多個亮度樣本中參考圖像的縮放視窗高度）小於或等於（該最大圖像高度*當前圖像的縮放視窗高度）。
  16. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該位元流符合一位元流一致性要求：藉由不考慮用於運動補償的插值濾波器，該一個或多個語法被約束，以及藉由考慮與Max（8，（該亮度分量的最小編解碼塊大小）對應的該值，該一個或多個語法被約束。
  17. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該位元流符合一位元流一致性要求：（最大圖像寬度*當前圖像的縮放視窗寬度）大於或等於（（當前圖像寬度-Max（8,MinCbSizeY））*多個亮度樣本中參考圖像的縮放視窗寬度）。
  18. 如請求項10所述之用於編解碼一視訊序列的方法，其中，該位元流符合一位元流一致性要求：（最大圖像高度*當前圖像的縮放視窗高度）大於或等於（（當前圖像高度-Max（8,MinCbSizeY））*多個亮度樣本中參考圖像的縮放視窗高度）。
TW109143840A 2020-01-14 2020-12-11 用於編解碼視訊序列之方法和裝置 TWI784368B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062960782P 2020-01-14 2020-01-14
US62/960,782 2020-01-14
US17/117,757 2020-12-10
US17/117,757 US11445176B2 (en) 2020-01-14 2020-12-10 Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding

Publications (2)

Publication Number Publication Date
TW202131693A true TW202131693A (zh) 2021-08-16
TWI784368B TWI784368B (zh) 2022-11-21

Family

ID=76763759

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143840A TWI784368B (zh) 2020-01-14 2020-12-11 用於編解碼視訊序列之方法和裝置

Country Status (6)

Country Link
US (1) US11445176B2 (zh)
EP (1) EP4088470A4 (zh)
KR (1) KR20220122763A (zh)
CN (1) CN114930854B (zh)
TW (1) TWI784368B (zh)
WO (1) WO2021143413A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470358B2 (en) 2020-04-02 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for signaling scaling window information in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135068B1 (en) 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8675738B2 (en) 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US20140241439A1 (en) * 2012-06-29 2014-08-28 Telefonaktiebolaget L M Ericsson (pulb) Transmitting Apparatus and Method Thereof for Video Processing
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
US9992493B2 (en) 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN105359525A (zh) * 2013-07-14 2016-02-24 夏普株式会社 瓦片对齐信令和一致性约束
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
KR102274321B1 (ko) * 2014-01-09 2021-07-07 삼성전자주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
MX2017008774A (es) 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
JP2018533286A (ja) * 2015-09-23 2018-11-08 エルジー エレクトロニクス インコーポレイティド 画像の符号化／復号化方法及びこれのために装置
AU2017261992A1 (en) * 2016-05-13 2018-11-22 Sony Corporation Image processing device and method
WO2017206803A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding
JP6781340B2 (ja) * 2016-09-22 2020-11-04 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
CN109792522B (zh) * 2016-09-30 2021-10-15 索尼公司 图像处理装置和方法
EP3566445A4 (en) 2017-01-03 2020-09-02 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR VIDEO CODING AND DECODING
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
CN115699756A (zh) * 2020-05-21 2023-02-03 抖音视界有限公司 视频编解码中的缩放窗口

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Also Published As

Publication number Publication date
TWI784368B (zh) 2022-11-21
EP4088470A1 (en) 2022-11-16
KR20220122763A (ko) 2022-09-02
US20210218956A1 (en) 2021-07-15
CN114930854B (zh) 2023-11-21
CN114930854A (zh) 2022-08-19
EP4088470A4 (en) 2024-02-21
US11445176B2 (en) 2022-09-13
WO2021143413A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
US20200092579A1 (en) Block vector prediction in video and image coding/decoding
JP2022531965A (ja) ビデオ処理におけるコーディングツールの選択的使用
TWI770681B (zh) 視訊編碼或解碼系統中的視訊處理方法和裝置
JP2015523029A (ja) デブロッキングにおけるクロマ量子化パラメータ・オフセットの使用
KR20090106505A (ko) 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
JP7420965B2 (ja) 隣接するサブピクチャのコーディング
JP2007235456A (ja) 動画像復号装置及び動画像復号方法
US11665345B2 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
JP2024015158A (ja) ビデオコーディングにおける予測タイプシグナリング
CN114641992B (zh) 参考图片重采样的信令
TW202131693A (zh) 用於編解碼視訊序列之方法和裝置
TW202130186A (zh) 用於編解碼視訊序列之方法和裝置
JP2024501685A (ja) クロスランダムアクセスポイント信号通知拡張
JP2024038255A (ja) 映像コーディングにおけるスライスタイプ
TW202123709A (zh) 於360度虛擬實境視訊編碼中用於傳訊水平環繞移動補償之方法和裝置
TWI796676B (zh) 視訊編解碼中施加位元流約束的方法和裝置
US20210314571A1 (en) Methods and Apparatuses of Coding Pictures with CTU Based Slice Partitions in Video Coding System
RU2824188C2 (ru) Способ определения позиций опорных отсчетов при кодировании видео
CN113286152B (zh) 视频解码方法、装置、计算机设备及存储介质
JP7372483B2 (ja) 映像ピクチャヘッダにおけるフィルタリングパラメータ信号通知
TW202344053A (zh) 使用梯度和模板改進幀內模式推導和預測的方法和裝置
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約
TW202349951A (zh) 塊分區圖像及視訊資料
TW202139717A (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
TW202412522A (zh) 約束卷積模型的係數