TW201717633A - 用於視訊編碼及解碼的彈性參考影像管理 - Google Patents

用於視訊編碼及解碼的彈性參考影像管理 Download PDF

Info

Publication number
TW201717633A
TW201717633A TW105133510A TW105133510A TW201717633A TW 201717633 A TW201717633 A TW 201717633A TW 105133510 A TW105133510 A TW 105133510A TW 105133510 A TW105133510 A TW 105133510A TW 201717633 A TW201717633 A TW 201717633A
Authority
TW
Taiwan
Prior art keywords
image
reference image
images
video
encoding
Prior art date
Application number
TW105133510A
Other languages
English (en)
Inventor
Bin Li
Ji-Zheng Xu
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201717633A publication Critical patent/TW201717633A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本案描述彈性參考影像管理新方法。舉例而言，視訊編碼器及視訊解碼器使用保留在記憶體中之參考影像的全域參考影像集(「GRPS」)，因而該等全域參考影像可較習知參考影像更長時間地供使用於視訊編碼及視訊解碼中。特定言之，GRPS的參考影像跨越隨機存取邊界時仍保持可用。或，作為另一範例，視訊編碼器及視訊解碼器裁切參考影像，以便參考影像的有用區域保留於記憶體中，同時捨棄參考影像之無用(或冗餘)區域。參考影像裁切可藉由提供更佳的用於移動補償之選項來減少儲存參考影像所需的記憶體量或來改善可用記憶體的利用度。或，作為另一範例，視訊編碼器及視訊解碼器對參考影像濾波以移除隨機雜訊(例如，肇因於攝影期間之攝影機缺陷的攝影雜訊)。

Description

用於視訊編碼及解碼的彈性參考影像管理
本發明係與用於視訊編碼及解碼的彈性參考影像管理相關。
工程師使用壓縮(亦稱為訊源編碼(coding或encoding))以減少數位視訊的位元速率。壓縮藉由將資訊轉換為較低的位元速率形式來減少儲存及傳送視訊資訊的成本。解壓縮(亦稱為解碼) 自經壓縮形式重建原始資訊的版本。「編解碼器」為編碼器/解碼器系統。
在過去25年，已採用各種視訊編碼標準，該等各種視訊編碼標準包含ITU- TH.261、H.262 (MPEG-2或ISO/IEC 13818-2)、H.263、H.264(MPEG-4 AVC或ISO/IEC 14496-10)標準、MPEG-1 (ISO/IEC 11172-2)及MPEG-4視覺( ISO/IEC 14496-2)標準及SMPTE 421M(VC-1)標準。最近已認可H.265/HEVC標準(ITU-T H.265或ISO/IEC 23008-2)。視訊編解碼器標準典型地定義用於經編碼視訊位元流之語法之選項，及當在編碼及解碼中使用特定特徵時之位元流中的詳細參數。在許多情況中，視訊編解碼器標準亦提供關於解碼操作的細節，視訊解碼器應執行以在解碼中實現一致結果。除了編解碼器標準外，各種專有編解碼器格式定義用於經編碼視訊位元流之語法及對應解碼操作的其他選項。
在典型的視訊序列中，相較於在給定影像前及在給定影像後的影像來說，給定影像的大部分區域是相同的(或僅小幅度變化)。大部分的視訊編解碼器標準及格式使用影像間預測以利用此類影像至影像冗餘於視訊序列中。舉例而言，若使用影像間預測來預測給定影像中之樣本值的區塊，則視訊編碼器估計區塊相對於彼此的移動及當編碼/解碼給定影像時可供參考之先前經編碼/經解碼的影像的移動。其他先前經編碼/經解碼的影像被稱作參考影像。當視訊編碼器發現參考影像內的匹配區塊(匹配給定影像之區塊)時，視訊編碼器呈現匹配區塊；例如 ，使用參考影像的辨識符及匹配區塊的位置(相對於給定影像之區塊的位置而言)。視訊編碼器可決定給定影像之區塊及匹配區塊間的差異，隨後編碼這些差異。
根據一些視訊編解碼器標準及格式，視訊編碼器及視訊解碼器應用簡單規則來決定哪個參考影像保留在緩衝器中以用於影像間預測及決定哪個參考影像要自緩衝器移除。根據其他視訊編解碼器標準及格式，視訊編碼器在哪個參考影像要被保留或自緩衝器移除方面具有更多控制，及視訊編碼器信號傳遞資訊至視訊解碼器，使得視訊解碼器因而可更新參考影像。先前的視訊編解碼器標準及格式在參考影像管理選項方面不夠彈性，該等參考影像管理選項可在視訊編碼/解碼期間傷害編碼效率及導致資源的低效使用。
簡言之，[實施方式]呈現彈性的參考影像管理新方法。舉例而言，視訊編碼器及視訊解碼器使用保持於記憶體中之參考影像的全域參考影像集(「GRPS」)，因而該等全域參考影像可較習知參考影像更長時間地供使用於視訊編碼及視訊解碼中。使用GRPS可藉由在整個視訊編碼/解碼中使特定選擇的參考影像為可用的，而有效改善視訊編碼。或，作為另一範例，視訊編碼器及視訊解碼器可裁切參考影像，以便參考影像的有用區域保留於記憶體中，同時捨棄參考影像之無用或冗餘的區域。參考影像裁切可藉由儲存更多樣的參考影像集來減少儲存參考影像所需的記憶體量或改善可用記憶體的利用度。或，作為另一範例，視訊編碼器及視訊解碼器對參考影像集濾波以移除攝影雜訊(例如 ，肇因於攝影期間之攝影機缺陷的雜訊)。經去雜訊的參考影像可提供影像間預測的更佳結果，從而改善視訊編碼效率。
根據本文所描述之發明的一態樣，視訊編碼器編碼視訊序列的一或多個影像以產生經編碼資料，隨後作為位元流的部分來輸出該經編碼資料。作為編碼的部分，視訊編碼器決定為GRPS部分的全域參考影像。視訊編碼器編碼全域參考影像以產生用於該全域參考影像的經編碼資料。視訊編碼器亦編碼其他影像以產生用於該等其他影像的經編碼資料。其他影像包含經指派為隨機存取影像(「RAP」)的至少一影像，其定義了一或多個隨機存取邊界。全域參考影像跨越一或多個隨機存取邊界時仍為可用，此可改善編碼效率。
對應的視訊解碼器接收作為位元流部分之用於視訊序列的一或多個影像的經編碼資料，及解碼該經編碼資料以重建影像。經編碼資料包含用於全域參考影像 (該全域參考影像為GRPS部分)的經編碼資料及用於其他影像的經編碼資料。其他影像包含經指定為RAP的至少一影像，該至少一影像定義一或多個隨機存取邊界。作為解碼的部分，視訊解碼器解碼全域參考影像。視訊解碼器亦解碼其他影像。全域參考影像跨越一或多個隨機存取邊界時仍為可用。
根據本文所描述之新方法的另一態樣，視訊編碼器編碼視訊序列的一或多個影像以產生經編碼資料，及輸出該經編碼資料作為位元流的部分。作為編碼的部分，視訊編碼器重建(多個)影像的給定一者。視訊編碼器根據裁切參數來裁切經重建影像。如此一來，視訊編碼器裁剪經重建影像的至少一些區域以產生經裁切影像。視訊編碼器儲存經裁切影像於緩衝器中以作為參考影像，隨後該視訊編碼器使用該參考影像於移動補償操作中。參考影像的裁切可允許視訊編碼器減少用來緩衝參考影像之記憶體的量。或，參考影像的裁切可允許視訊編碼器儲存更有用的參考影像集於給定的記憶體量中。
對應的視訊解碼器接收作為位元流部分之用於視訊序列的一或多個影像的經編碼資料，隨後該對應的視訊解碼器解碼該經編碼資料以重建影像。作為解碼的部分，視訊解碼器重建(多個)影像的給定一者。視訊解碼器根據裁切參數來裁切經重建影像。如此一來，視訊解碼器裁剪經重建影像的至少一些區域以產生經裁切影像。視訊解碼器儲存經裁切影像於緩衝器中以作為參考影像，隨後該視訊解碼器使用該參考影像於移動補償操作中。參考影像的裁切可允許視訊解碼器減少用來緩衝參考影像之記憶體的量。或，參考影像的裁切可允許視訊解碼器儲存更有用的參考影像集於給定的記憶體量中。
根據本文所描述之發明的另一態樣，視訊編碼器編碼視訊序列的一或多個影像以產生經編碼資料，及作為位元流的部分來輸出該經編碼資料。作為編碼的部分，視訊編碼器重建(多個)影像的給定一者。視訊編碼器以經調適以移除攝影雜訊的濾波器來對經重建影像濾波，以產生經去雜訊影像。視訊編碼器儲存經去雜訊影像於緩衝器中以作為參考影像，隨後該視訊編碼器使用該參考影像於移動補償操作中。在一些示例性實施中，去雜訊的參考影像可改善影像間預測以改善視訊編碼效率。
對應的視訊解碼器接收作為位元流部分之用於視訊序列的一或多個影像的經編碼資料，隨後該對應的視訊解碼器解碼該經編碼資料以重建影像。作為解碼的部分，視訊解碼器重建(多個)影像的給定一者。視訊解碼器以經調適以移除攝影雜訊的濾波器來對經重建影像濾波，以產生經去雜訊影像。視訊解碼器儲存經去雜訊影像於緩衝器中以作為參考影像，隨後該視訊解碼器使用參考影像於移動補償操作中。
可將本發明實施為方法的部分、經配置以執行用於方法之操作之計算系統的部分或一或多個電腦可讀取媒體的部分，該一或多個電腦可讀取儲存媒體係儲存用於使計算系統執行方法操作的電腦可執行指令。可結合地或單獨地使用各種發明。提供本[發明內容]以用簡化形式介紹精選概念，及於以下[實施方式]中進一步地描述該等精選概念。本[發明內容]不意欲辨識所主張之標的之關鍵特徵或必要特徵，亦不意欲用來限制所主張之標的之範疇。本發明之上述及其他物件、特徵及優勢將自以下[實施方式]而變得更顯而易見，該[實施方式]參考附圖來進行敘述。
[實施方式]呈現彈性參考影像管理新方法。舉例而言，視訊編碼器及視訊解碼器使用保留於記憶體中之參考影像的全域參考影像集(「GRPS」)，因而該等全域參考影像可較習知參考影像更長時間地供使用於視訊編碼及視訊解碼中。使用GRPS可藉由在整個視訊編碼及視訊解碼中使特定選擇的參考影像為可用的，而有效改善視訊編碼。或，作為另一範例，視訊編碼器及視訊解碼器可裁切參考影像，以便參考影像的有用區域保留於記憶體中，同時捨棄參考影像之無用或冗餘區域。參考影像裁切可藉由儲存更多樣的參考影像集來減少儲存參考影像所需的記憶體量或改善可用記憶體的利用度。或，作為另一範例，視訊編碼器及視訊解碼器對參考影像集濾波以移除攝影雜訊(例如 ，肇因於攝影期間之攝影機缺陷的雜訊)。經去雜訊的參考影像可提供影像間預測的更佳結果，從而改善視訊編碼效率。
參考特定於H.265標準的術語來圖示說明本文所述的一些發明，以用於H.265標準的擴展或變化。亦可實施本文所述的發明以用於其他視訊編解碼器標準或格式(例如 ，VP9格式及H.264標準)的擴展或變化，該等擴展或變化包含未來之允許使用參考影像以用於影像間預測的視訊編解碼器標準或格式。
在本文所描述的範例中，不同圖示中的相同元件編號係只是相同元件、模組或操作。取決於上下文，給定元件或模組可接受不同類型的資訊為輸入及/或產生不同類型的資訊為輸出。
更廣泛來說，各種對本文所描述範例之替代係為可能的。舉例而言，可藉由變化所描述之方法行為的順序、藉由分開、重複或省略某些方法行為等來修改本文所描述的一些範例。可結合地或單獨地使用所揭露技術的各種態樣。舉例而言，視訊編碼器及視訊解碼器可與參考影像的裁切及/或參考影像的去雜訊(潛在地包含GRPS中之全域參考影像的裁切或去雜訊)結合來使用 GRPS。或，作為另一範例，視訊編碼器及視訊解碼器可在沒有使用GRPS的情況下使用參考影像的裁切及/或去雜訊。不同的實施例使用一或多個所描述的新方法。本文所描述的一些新方法解決註記在[先前技術]中的一或多個問題。典型地，給定的技術/工具不會解決所有此類問題。1. 範例電腦系統
圖1圖示說明合適計算系統(100)的通用範例，其中可實施一些所描述的新方法。因可在各式各樣通訊或專用計算系統中實施新方法，故計算系統(100) 並不意欲建立關於使用或功能範疇的任何限制。
參考圖1，計算系統(100)包含一或多個處理單元(110、115)及記憶體(120、125)。處理單元(110、115)執行電腦可執行指令。處理單元可為專用中央處理單元(「CPU」) 、特殊應用積體電路(「ASIC」)中之處理器或任何其他類型的處理器。在多處理系統中，多個處理單元執行電腦可執行指令以增加處理能力。舉例而言，圖1展示中央處理單元(110)及圖形處理單元或協作處理單元 (115)。 有形的記憶體(120、125)可為可由(多個)處理單元所存取之揮發性記憶體(例如 ，暫存器、快取及RAM)、非揮發性記憶體(例如 ，ROM、EEPROM及快閃記憶體等)或揮發性記憶體及非揮發性記憶體兩者的一些結合。記憶體(120、125)儲存軟體(180)，該軟體(180) 以適於(多個)處理單元執行之電腦可執行指令形式來實施一或多個用於彈性參考影像管理的新方法。
計算系統可具有額外特徵。舉例而言，計算系統(100)包含存儲(140)、一或多個輸入裝置(150)、一或多個輸出裝置(160)及一或多個通訊連接(170)。如匯流排、控制器或網路的互連機制(未展示)互連計算系統(100)的元件。典型地，作業系統軟體(未展示)提供用於執行於計算系統(100)中之其他軟體的作業環境，及該作業系統軟體協調計算系統(100)之元件的動作。
有形存儲(140)可為可移除的或不可移除的，且該有形存儲(140)包含磁性媒體(如磁碟、磁帶或盒式磁帶)、光學媒體(如CD-ROM或DVD)或可被使用以儲存資訊及可在計算系統(100)內被存取的任何其他媒體。存儲(140)儲存用於軟體(180)的指令，該軟體(180)係實施一或多個用於彈性參考影像管理的新方法。
(多個)輸入裝置150可為觸控輸入裝置，該觸控輸入裝置如鍵盤、滑鼠、觸控筆、或軌跡球、聲音輸入裝置、掃描裝置或提供輸入至計算系統(100)的另一裝置。對於視訊來說，(多個)輸入裝置150可為攝影機、視訊卡、螢幕捕捉模組、TV調諧卡或接收類比或數位形式之視訊輸入的相似裝置，或為將視訊輸入讀取至計算系統(100)中的CD-ROM或CD-RW。(多個)輸出裝置(160)可為顯示器、印表機、揚聲器、CD寫入器或其他提供來自計算系統(100)之輸出的裝置。
(多個)通訊連接(170)致動通訊媒體上之至另一計算實體的通訊。通訊媒體傳送如電腦可執行指令、音訊或視訊輸入或輸出或經調變資料信號中之其他資料之資訊。經調變資料信號為具有一或多個該資料調變信號本身之特徵集或以關於編碼資訊於信號中之方式變化的信號。舉例而言(並非限制)，通訊媒體可使用電、光、RF或其他載波。
可用電腦可讀取媒體的一般背景來描述新方法。電腦可讀取媒體為可在計算環境內被存取的任何可用的有形媒體。舉例而言(並非限制)，與計算系統(100)一起來看，電腦可讀取媒體包含記憶體(120、125)、存儲(140)及該記憶體(120、125)及該存儲(140)之結合。因此，電腦可讀取媒體可為(舉例而言)揮發性記憶體、非揮發性記憶體、光學媒體或磁性媒體。如本文所使用地，術語「電腦可讀取媒體」不包含暫時信號或傳播載波。
可用電腦可執行指令的一般背景來描述新方法，該等電腦可執行指令如包含於在目標真實或虛擬處理器上的計算系統中所執行的程式模組中。一般來說，程式模組包含執行特定工作或實施特定抽象資料類型的常式、程式、函式庫、物件、類別、元件及資料結構等。可結合程式模組的功能，或可如各個實施例所描述地在程式模組間將程式模組的功能分開。可在本地或分散式計算系統內執行用於程式模組的電腦可執行指令。
除非內文以其他方式清楚指明任一術語係暗示任何在計算系統類型或計算裝置類型上的限制，不然可於本文中交換使用術語「系統」及「裝置」。一般來說，計算系統或計算裝置可為本地端或分散式，且該計算系統或該計算裝置包含專用硬體及/或通用硬體與實施本文所描述之功能之軟體的任何結合。
可使用專用計算硬體來實施所揭露方法，該專用計算硬體經配置以實施任何所揭露之方法。舉例而言，可藉由經特別指派或配置以實施任何所揭露方法的積體電路(例如 ，如ASIC數位信號處理器(「DSP」)的ASIC、圖形處理單元(「GPU」)或如現場可程式化閘陣列(「FPGA」)的可程式化邏輯裝置(「PLD」))來實施所揭露方法。
為了介紹，[實施方式]使用如「決定」及「衡量」之術語來描述計算系統中之電腦操作。這些術語為電腦所執行之操作的高度抽象化，及該等術語不應與人類所執行動作搞混。對應至該等術語的確切電腦操作取決於實施而變化。2. 範例網路環境
圖2a及圖2b展示範例網路環境(201、202)，該等範例網路環境包含視訊編碼器(220)及視訊解碼器(270)。使用合適的通訊協定而在網路(250)上連接編碼器(220)及解碼器(270)。網路(250)可包含網際網路或其他電腦網路。
在展示於圖2a中的網路環境(201)中，每個即時通訊(「RTC」)工具(210)包含用於雙向通訊之編碼器(220)及解碼器(270)兩者。給定編碼器(220)可產生與H.265/HEVC標準、SMPTE 421M標準、ISO/IEC 14496-10標準(或稱為H.264/AVC)、另一標準或如VP8或VP9之專用格式之變化或延伸兼容及與接收來自編碼器(220)的經編碼資料之對應解碼器(270)兼容的輸出。雙向通訊可為視訊會議、視訊電話呼叫或其他兩方或多方通訊請況的部分。儘管圖2a中的網路環境(201)包含兩個即時通訊工具(210)，但網路環境(201)仍可改為包含三個或更多個參與多方通訊的即時通訊工具(210)。
即時通訊工具(210)管理由編碼器(220)所執行的編碼。圖3展示可包含於即時通訊工具(210)中之示例性的編碼器系統(300)。作為替代地，即時通訊工具(210)使用另一個編碼器系統。即時通訊工具(210)亦管理解碼器(270)所執行的解碼。圖5展示可包含於即時通訊工具(210)中之示例性的解碼器系統(500)。作為替代地，即時通訊工具(210)使用另一個解碼器系統。
在展示於圖2b中的網路環境(202)中，編碼工具(212)包含編碼器(220)，該編碼器(220)編碼視訊以傳送到多個包含解碼器(270)的播放工具(214)。可提供單向通訊給視訊監控系統、網路攝影機監控系統、遠端桌面會議展示或分享、無線螢幕錄影、雲端計算或遊戲或其中將視訊編碼及將該視訊自一位置發送至一或多個其他位置的其他情況。儘管圖2b中的網路環境(202)包含兩個播放工具(214)，但網路環境(202)仍可包含兩個或更少的播放工具(214)。一般來說，播放工具(214)與編碼工具(212)通訊以決定用於播放工具(214)的視訊串流以接收。播放工具(214)接收串流、於適當的一段時間內緩衝該經接收之經編碼資料，及開始解碼與播放。
圖3展示範例編碼器系統(300)，該範例編碼器系統(300)包含於編碼工具(212)中。作為替代地，編碼工具(212)使用另一編碼器系統。編碼工具(212)亦可包含用於管理與一或多個播放工具(214)之連接的伺服器端控制器邏輯。播放工具(214)可包含用於管理與編碼工具(212)之連接的客戶端控制器邏輯。圖5展示可包含於播放工具(214)中之範例解碼器系統(500)。作為替代地，播放工具(214)使用另一解碼器系統。3. 範例編碼器系統
圖3展示範例編碼器系統(300)，與該範例編碼器系統(300)結合可實施一些所描述的實施例。視訊編碼器系統(300)包含帶有彈性參考影像管理的視訊編碼器(340)，其進一步的詳細說明展示於圖4a及圖4b中。
視訊編碼器系統(300)可為能操作多個編碼模式(如用於即時通訊的低延遲編碼模式、轉碼模式、用於媒體(該媒體係自檔案或串流所產生以用於播放)的高延遲編碼模式)之任一者的通用編碼工具，或該視訊編碼器系統(300)可為經調適以用於一種此類編碼模式的專用編碼工具。視訊編碼器系統(300)可經調適以用於特定類型內容之編碼。可將視訊編碼器系統(300)實施為作業系統模組的部分、應用程式函式庫的部分、單機應用程式的部分或使用專用硬體來實施該視訊編碼器系統(300)。整體來說，視訊編碼器系統(300)自視訊來源(310)接收一系列的來源視訊影像(311)及產生經編碼資料以作為至通道(390)的輸出。經輸出至通道的經編碼資料可包含使用本文所描述之新方法之一或多者所編碼的內容。
視訊來源(310)可為攝影機、調諧卡、儲存媒體、螢幕捕捉模組或其他數位視訊來源。視訊來源(310) 以(舉例而言)每秒30幀的幀率來產生一系列的視訊影像。如本文所使用地，術語「影像」一般係指來源、經編碼或經重建的影像資料。對於逐行掃描視訊來說，影像為逐行掃描視訊幀。對於交錯視訊來說，交錯視訊幀可在編碼前去交錯。作為替代地，兩個互補交錯視訊場(field)一起被編碼為單一視訊幀或被編碼為兩個個別經編碼場。除了指示逐行掃描視訊幀或交錯掃描視訊幀外，術語 「影像」可指示單一非成對的視訊場、互補成對的視訊場、於給定時間觸呈現視訊物件的視訊物件平面或在較大影像中感興趣之區域。視訊物件平面或區域可為包含場景的多個物件或區域之較大影像的部分。
傳送來源影像(311)儲存於來源影像的暫時記憶體儲存區域(320)中，該來源影像的暫時記憶體儲存區域(320)包含多個影像暫存儲存區域(321、322、……32n)。影像緩衝器(321及322等)維持一來源影像於來源影像儲存區域(320)。在一或多個來源影像(311) 已被儲存於影像緩衝器(321及322等)中時，影像選擇器(330)自來源影像儲存區域(320)選擇個別的來源影像，以編碼為目前影像(331)。其中之影像係由影像選擇器(330)所選擇的以輸入至視訊編碼器(340)之順序可不同於其中之影像係由視訊來源(310)所產生的順序；例如 ，一些影像的編碼可按順序延遲，以便允許一些較遲的影像先編碼，因而助於暫時的向後預測。在視訊編碼器(340)前，視訊編碼器系統(300)可包含預處理器(未展示)，該預處理器在編碼前執行目前影像(331)的預處理(例如 ，濾波)。預處理可包含色彩空間轉換至主要(例如 ，亮度)及次要(例如 ，對於紅色及對於藍色的色度差異)元件及再取樣處理(例如 ，以減少色度元件的空間解析度)以用於編碼。一般來說，像素為一或多個收集以用於影像之位置的樣本值之集合，該一或多個樣本值可用不同方式排列以用於不同的色度取樣格式。
視訊編碼器(340)對目前影像(331)取樣以產生經編碼影像(341)。如圖4a及圖4b所展示地，視訊編碼器(340)接收目前影像(331)來作為輸入視訊信號(405)及在經編碼的視訊位元流(495)中產生用於經編碼影像(341)的經編碼資料以作為輸出。作為編碼的部分，在一些情況中的視訊編碼器(340)使用如本文所描述之彈性參考影像管理的一或多個特徵。
一般來說，視訊編碼器(340)包含多個編碼模組，該等多個編碼模組執行編碼工作，該等編碼工作如分割為方塊(tile)、節點影像預測估計及預測、移動估計及補償、頻率轉換、量化及熵編碼。使用視訊編碼器(340)的眾多元件以用於節點影像編碼及影像內編碼兩者。視訊編碼器(340)所執行的確切操作可取決於壓縮格式而變化且亦可取決於編碼器可選實施決定來變化。輸出經編碼資料之格式可為視窗媒體視訊格式(Windows Media Video format)、VC-1格式、MPEG-x格式(例如 ，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如 ，H.261、H.262、H.263、H.264及H.265)、或VPx格式或另一格式之變化或擴展。
如圖4a所展示地，視訊編碼器(340)可包含分塊(tiling)模組(410)。視訊編碼器(340)可用分塊模組(410)來分割影像為多個相同尺寸或不同尺寸的方塊。舉例而言，分塊模組(410) 沿著方塊列方向及方塊行方向來分割影像，該方塊列及方塊行係以影像邊界來定義影像內之方塊的水平邊界及垂直邊界，其中每個方塊為矩形區域。經常使用方塊以提供平行處理的選項。亦可組織化影像為一或多個切片(slice)，其中切片可為整張影像或影像的部分。可與影像中的其他切片分開來獨立解碼切片，此改善了錯誤復原。進一步將切片或方塊的內容分割成區塊或其他樣本值集合，以用於編碼及解碼目的。可在不同階段時(例如 ，在預測時、頻率轉換及/或熵編碼階段時)進一步地細分區塊。舉例而言，可將影像分割成64x64區塊、32x32區塊或16x16區塊，該等區塊可挨次分割成樣本值的更小區塊，以用於編碼及解碼。
對於根據H.264/AVC標準的語法來說，視訊編碼器(340)可將影像分割成一或多個相同大小或不同大小的切片。視訊編碼器(340)將影像(或切片)內容分割成16x16的宏區塊(macroblock)。宏區塊包含經組織為四個8x8的亮度區塊的亮度樣本值及對應之經組織為8x8的色度區塊的色度樣本值。一般來說，宏區塊具有如畫面間(inter)預測或畫面內(intra)預測的預測模式。宏區塊包含一或多個預測單元(例如，8x8區塊及4x4區塊，該等區塊可稱為用於影像間預測的分割)，以用於預測資訊(如預測模式細節及移動向量(「MV」)資訊等)之信號傳遞及/或預測處理之目的。宏區塊亦具有一或多個殘量資料單元，以用於殘量編碼/解碼之目的。
對於根據H.265/HEVC標準的語法來說，視訊編碼器(340)分割影像(或切片或方塊)的內容為編碼樹單元。編碼樹單元(「CTU」) 包含經組織為亮度編碼樹區區塊(「CTB」)的亮度樣本值及經組織為兩個色度CTB之對應的色度樣本值。CTU之大小(及該CTU的CTB)係由視訊編碼器所選擇。亮度CTB可包含(舉例而言)64x64、32x32或16x16亮度樣本值。CTU包含一或多個編碼單元。編碼單元(「CU」)具有亮度編碼區塊(「CB」)及兩個對應的色度CB。舉例而言，根據四分樹語法，可將帶有64x64亮度CTB及兩個64x64色度CTB的CTU(YUV 4:4:4格式)分割成四個CU，每個CU包含32x32亮度CB及兩個32x32色度CB，每個CU可能進一步根據四分樹語法而被分割成較小的CU。或，作為另一範例，根據四分樹語法，可將帶有64x64亮度CTB及兩個32x32色度CTB的CTU(YUV 4:2:0格式)分割成四個CU，每個CU包含32x32亮度CB及兩個16x16色度CB，每個CU可能進一步根據四分樹語法而被分割成較小的CU。
在H.265/HEVC實施中，CU具有如畫面間預測或畫面內預測的預測模式。CU典型包含一或多個用於預測資訊(如預測模式細節及位移值等)之信號傳遞及/或預測處理的預測單元。預測單元(「PU」)具有亮度預測區塊(「PB」)及兩個色度PB。根據H.265/HEVC標準，對於節點影像預測CU來說，除非CU具有較小大小(例如 ，8x8)，不然PU具有如CU大小的相同大小。在此種情況中，如CU的語法元素所指示地，可將CU分割成較小的PU(例如 ，對於節點影像預測來說，若最小的CU大小是8x8，則為四個4x4 PU)或PU可具有最小的CU大小。對於節點影像預測CU來說，CU可具有一個、兩個或四個PU，其中僅若CU係具有最小的可允許大小，則允許分割成四個PU。
在H.265/HEVC實施中，CU亦典型地具有一或多個轉換單元以用於殘量編碼/解碼，其中轉換單元(「TU」)具有亮度轉換區塊(「TB」)及兩個色度TB。CU可包含單一TU(其大小等於CU的大小)或多個TU。根據四分樹語法，可將TU分割成四個較小TU，該等四個較小TU可根據四分樹語法而挨次地被分割成更小的TU。視訊編碼器決定如何將視訊分割成CTU(CTB)、CU(CB)、PU(PB)及TU(TB)。
在H.265/HEVC實施中，切片可包含單一切片片段(獨立切片片段)或該切片可被分割成多個切片片段(獨立切片片段及一或多個依賴切片片段)。切片片段為包含於單一網路抽象層(「NAL」)單元之整數個方塊掃描中連續排序的CTU。對於獨立切片片段來說，切片片段標頭包含應用至獨立切片片段之語法元素的值。對於依賴切片片段來說，經截切的切片片段標頭包含較少的應用至該依賴切片片段之語法元素的值，及自解碼順序中之用於先前獨立切片片段的值來推斷用於依賴切片片段之其他語法元素的值。
如本文所使用地，術語「區塊」可指示宏區塊、殘量資料單元、CTB、CB、PB或TB、或一些其他的樣本值集(取決於上下文)。術語「單元」可指示宏區塊、CTU、CU、PU、TU、或一些其他的區塊集，或該術語「單元」可指示單一區塊(取決於上下文)。
如圖4a所展示地，視訊編碼器(340)包含一般的編碼控制(420)，該編碼控制(420) 自視訊編碼器(340)的各種模組來接收用於目前影像(331)的輸入視訊信號(405)及反饋(未展示)。整體而言，一般的編碼控制(420)提供控制信號(未展示)至其他模組(如分塊模組(410)、轉換器/縮放器/量化器(430)、縮放器/逆轉換器(435) 、節點影像預測估計器(440)、移動估計器(450)及畫面內/畫面間轉換)，以在編碼期間設定及改變編碼參數。一般的編碼控制(420)可典型地考慮到不同選項的位元率成本及/或失真成本而在編碼期間衡量中間結果。特定言之，一般的編碼控制(420)決定是使用節點影像預測或使用影像間預測以用於目前影像(331)的單元。若結合移動估計器(450)來使用影像間預測以用於單元，則一般的編碼控制(420)決定要使用哪個(些)參考影像以用於畫面內預測。一般的編碼控制(420)決定哪些參考影像要(例如，從GRPS)保留於經解碼的影像緩衝器(「DPB」)中或其他緩衝器中。與濾波控制(460)結合，一般的編碼控制(420)決定是否及如何應用裁切及去雜訊至參考影像。一般的編碼控制(420)產生一般的控制資料(422)，該一般的控制資料(422)指示在編碼期間做出的決定，以便對應的編碼器可做出一致的決定。舉例而言，一般的控制資料(422)包含指示如何更新保留於DPB中或其他緩衝器中之參考影像的資訊。將一般的控制資料(422)提供至標頭格式化器/熵編碼器(490)。
參考圖4b，若使用影像間預測來預測目前影像(331)之單元，則移動估計器(450)估計單元之樣本值之區塊之相對於一或多個參考影像的移動。可使用影像間預測來完整地或部分地編碼目前影像(331)。當使用多個參考影像時，該等多個參考影像可來自不同的時間方向或相同的時間方向。移動估計器(450)潛在地衡量上下文移動模式中的候選MV及其他候選MV。對於上下文移動模式來說，如同用於單元的候選MV，移動估計器(450)衡量一或多個被用在本地鄰近處中某些鄰近單元的移動補償的MV或一或多個由規則所導出的MV。用於上下文移動模式的候選MV可包含來自空間相鄰單元的MV、來自時間相鄰單元的MV及由規則所導出的MV。H.265/HEVC標準中的合併模式為上下文移動模式的範例。在一些情況中，上下文移動模式可涉及多個經導出的MV間的競爭及多個經導出的MV之一者的選擇。移動估計器(450)可衡量用於目前影像(331)之給定單元之部分(例如 ，用於H.265/HEVC標準中之CU之PU的2Nx2N、2NxN、Nx2N或NxN部分)之用於移動補償之不同部分模式。
為如圖3所展示之經解碼影像的暫時記憶體儲存區域(360)之範例之DPB(470)緩衝一或多個用作參考影像之經重建的、先前所編碼的影像。在一給定時間處，DPB(470)可儲存一或多個GRPS的參考影像、一或多個經去雜訊的參考影像及/或一或多個其他參考影像。作為替代地，GRPS的參考影像、經裁切的參考影像及/或經去雜訊的參考影像可儲存於不同的緩衝器中。
移動估計器(450)產生移動資料(452)以做為邊資訊。特定言之，移動資料(452)可包含資訊，該資訊指示是否使用上下文移動模式(例如 ，H.265/HEVC標準中的合併模式)及(若是的話) 用於上下文移動模式的候選MV(例如 ，H.265/HEVC標準中的合併模式索引值)。更廣泛來說，移動資料(452)可包含MV資料及參考影像選擇資料。將移動資料(452)提供至標頭格式化器/熵編碼器(490)及移動補償器(455)。移動補償器(455)將用於區塊的MV應用至來自DPB(470)或其他緩衝器之經重建的參考影像。當使用經裁切的參考影像時，移動補償器(455)可調整MV所參考之位置，以如下文所描述地補償裁切及/或縮放。對於區塊來說，移動補償器(455)產生移動補償預測，該移動補償預測為經使用以產生用於區塊之移動補償預測值之參考影像中之樣本值之區域。
參考圖4b，若使用節點影像預測來預測目前影像(331)之單元，則節點影像預測估計器(440)決定如何執行用於單元之樣本值之區塊的節點影像預測。可使用節點影像預測來整體地或部分地對目前影像(331)編碼。使用目前影像(331)的重建(438)之值，對於畫面內空間預測來說，節點影像預測估計器(440)決定如何自目前影像(331) 之鄰近的、先前所重建的樣本值來空間預測目前影像(331)之區塊的樣本值；例如 ，估計至區塊之鄰近經重建樣本值的外推。或，對於內部區塊複製模式來說，節點影像預測估計器(440) 使用指示目前影像(331)之先前經編碼/經解碼部分的偏移(一些時候稱作區塊向量)來決定如何預測目前影像(331)之區塊的樣本值。可將內部區塊複製模式實施為節點影像預測的特殊情況，該特殊情況其中參考影像為目前影像(331)，及僅可使用目前影像 (331)之先前經編碼/解碼的樣本值來用於預測。 作為邊資訊，節點影像預測估計器(440)產生畫面內預測資料(442)；如預測模式/所使用的方向。將畫面內預測資料(442)提供至標頭格式化器/熵編碼器(490)及節點影像預測估計器(445)。根據畫面內預測資料(442)，節點影像預測器(445) 自目前影像(331)之鄰近的、先前所重建的樣本值來空間預測目前影像(331)之區塊之樣本值及產生用於區塊的節點影像預測值。或，節點影像預測器(445)使用內部區塊複製預測及使用用於區塊的偏移(區塊向量)來預測區塊的樣本值。
如圖4b所展示地，畫面內/畫面間轉換選擇用於給定單元的預測(458)係將為移動補償預測或為節點影像預測。可使用各種準則來做出用於目前影像(331)之單元的畫面內/畫面間轉換決定。
視訊編碼器(340)可決定是否要編碼及傳送區塊之預測值(畫面內或畫面間)及對應原始值間之差異(若有的話)。預測(458)之區塊及輸入視訊信號(405)的原始目前影像(331)之對應部分間之差異(若有的話)提供殘量(418)之值。若經編碼/經傳送，則使用頻率轉換(若不跳過頻率轉換)、量化及熵編碼來編碼殘量(418)之值。在一些情況中，不為單元計算殘量。取而代之的是，跳過殘量編碼及使用經預測的樣本值來作為經重建的樣本值。
參考圖4a，當編碼殘量(418)的值時，在轉換器/縮放器/量化器(430)中，頻率轉換器轉換空間域視訊資訊至頻率域(即 ，頻譜、轉換)資料。對於基於區塊的視訊編碼來說，頻率轉換器應用離散餘弦變換(「DCT」)、該DCT的整數近似值或另一類型的正向區塊轉換(例如 ，離散正弦轉換或該離散正弦轉換的整數近似值)至殘量(418)之值之區塊(或至樣本值資料(若預測(458)是空值的話))，產生頻率轉換係數之區塊。轉換器/縮放器/量化器(430)可應用帶有各種區塊尺寸的轉換。在一些情況中，轉換器/縮放器/量化器(430)可決定哪個轉換區塊尺寸要用於目前區塊的殘量值。舉例而言，在H.265/HEVC實施中，轉換器/縮放器/量化器(430)可藉由四分樹分解將TU分割成四個較小的TU，每個TU可依次被分解成四個更小的TU至最小的TU尺寸。TU尺寸可為32x32、16x16、8x8或4x4(參考TU中之亮度TB的尺寸)。在H.265/HEVC實施中，可跳過頻率轉換。在此情況中，可量化及熵編碼殘量(418)的值。
參考圖4a，在轉換器/縮放器/量化器(430)中，縮放器/量化器縮放及量化轉換係數。舉例而言，量化器應用死區縮放量化至帶有量化步階大小的頻率域資料，該量化步階大小在逐個影像基礎上、逐個方塊基礎上、逐個片段基礎上、逐個區塊基礎上、特定頻率基礎上或其他基礎上變化。量化步階大小可取決於量化參數(「QP」)，該量化參數之值經設定以用於影像、方塊、片段及/或其他部分的視訊。當量化轉換係數時，視訊編碼器(340)可使用位元率-失真-最佳化量化(「RDOQ」)，該RDOQ是相當花費時間的，或該視訊編碼器(340)應用較簡單的量化規則。將經量化的轉換係數資料(432)提供給標頭格式化器/熵編碼器(490)。若跳過頻率轉換，則縮放器/量化器可縮放及量化預測殘量資料的區塊(或樣本值資料(若預測(458)為空值的話))，產生經提供給標頭格式化器/熵編碼器(490)之經量化的值。
如圖4a及4b所展示地，標頭格式化器/熵編碼器(490)格式化及/或熵編碼一般控制資料(422)、經量化的轉換係數資料(432)、畫面內預測資料(442)、移動資料(452)及濾波器控制資料(462)。視訊編碼器(340)的熵編碼器壓縮經量化的轉換係數值及某些邊資訊(例如 ，MV資訊、QP值、模式決定、參數選擇、裁切參數及濾波器參數)。典型的熵編碼技術包含指數哥倫布碼編碼、哥倫布編碼、前文之自適應性二元算術編碼(「CABAC」)、差分編碼、霍夫曼編碼、運行長度編碼、可變長度至可變長度(「V2V」)編碼、可變長度至固定長度(「V2F」)編碼、Lempel-Ziv(「LZ」)編碼、辭典編碼及上述編碼之結合。熵編碼器可使用用於不同種類資訊的不同編碼技術、可結合地應用多個技術(例如 ，藉由將指數哥倫布碼編碼或哥倫布編碼應用為用於CABAC之二值化)，及可自特定編碼技術內之多個碼表間選擇。
視訊編碼器(340) 在基本位元流中產生用於經編碼影像(341)的經編碼資料(如圖4a中所展示的經編碼的視訊位元流(495))。在圖4a中，標頭格式化器/熵編碼器(490)提供經編碼資料於經編碼的視訊位元流(495)中。典型地將基本位元流的語法定義於編解碼器標準或格式中、或該編解碼器標準或格式之擴展或變化中。舉例而言，經編碼的視訊位元流(495)之格式可為視窗媒體視訊格式(Windows Media Video format)、VC-1格式、MPEG-x格式(例如 ，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如 ，H.261、H.262、H.263、H.264及H.265)、或VPx格式或另一格式之變化或擴展。如以下所解釋地，在自視訊編碼器(340)輸出後典型地將基本位元流封包化或組織化於容器(container)格式中。
基本位元流中之經編碼資料包含經組織為語法結構的語法元素。一般來說，語法元素可為任何資料元素，及語法結構為在特定順序中之基本位元流中之零或多個語法元素。在H.264/AVC標準及H.265/HEVC標準中，NAL單元為語法結構，該語法結構包含(1)要遵循之資料類型的指示及(2)一連串的零或多個資料位元組。舉例而言，NAL單元可包含用於片段的經編碼資料(經編碼片段)。或，NAL單元可包含標記用於GRPS之參考影像的經編碼資料。在NAL單元外部指示NAL單元的尺寸(位元組) 。經編碼的片段NAL單元及一些其他經定義的NAL單元類型被稱為視訊編碼層(「VCL」)NAL單元。存取單元為一組在連續位元流順序中之一或多個NAL單元，其包含用於影像之(多個)片段的經編碼資料且可能包含其他相關資料(如元資料)。
對於根據H.264/AVC標準或H.265/HEVC標準的語法而言，影像參數集( 「PPS」)為包含語法元素的語法結構，該等語法元素可與影像相關。可將PPS用於單一影像，或可將PPS再次用於序列中的多個影像。PPS典型地獨立於用於影像之經編碼資料(例如 ，用於PPS的一NAL單元，及一或多個其他的用於影像之經編碼資料的NAL單元)而被信號傳遞。在用於影像之經編碼資料內，語法元素指示哪個PPS要用於影像。相似地，對於根據H.264/AVC標準或H.265/HEVC標準的語法而言，序列參數集( 「SPS」)為包含語法元素的語法結構，該等語法元素可與影像之序列相關。位元流可包含單一SPS或多個SPS。SPS典型地獨立於用於序列的其他資料而被信號傳遞，及其他資料中的語法元素指示要使用哪個SPS。對於根據H.264/AVC標準或H.265/HEVC標準的語法而言，SPS或PPS係可跨越於經指定為隨機存取影像(「RAP」)之影像處所定義的隨機存取邊界而被存取的。即，對影像來說，在位元流順序中之隨機存取邊界前，SPS及PPS皆為可存取的；且對影像來說，在位元流順序中之隨機存取邊界後， SPS及PPS皆為可存取的。在一些示例性實施中，GRPS為包含與全域參考影像相關之語法元素的語法結構。類似於SPS或PPS，GRPS可跨越於經指定為RAP之影像處所定義的隨機存取邊界而被存取的。不同於SPS或PPS，GRPS亦具有與其相關之影像之經編碼資料。
如圖3所展示地，視訊編碼器(340)亦產生記憶體管理控制操作(「MMCO」)信號(342)或參考影像集(「RPS」)資訊。RPS為可用於目前影像或任何後續影像之移動補償中之參考的影像集。若目前影像(331)非為已被編碼的第一影像，則當執行其編碼程序時，視訊編碼器(340)可使用已被儲存於經解碼影像的暫時記憶體儲存區域(360)中之一或多個先前經編碼/經解碼的影像(369)。使用此類所儲存之經解碼的影像(369)來作為參考影像以用於目前影像(331)之內容的節點影像預測。MMCO/RPS資訊(342) 可向視訊解碼器指示使用哪些經重建影像作為參考影像，因而應儲存那些經重建影像於影像儲存區域。圖4a及圖4b中的DPB (470)為經解碼影像的暫時記憶體儲存區域(360)的範例。
參考圖3，藉由解碼程序模擬器(350)來處理經編碼影像(341)和MMCO/RPS資訊(342)(或等同於MMCO/RPS資訊(342)的資訊，因在視訊編碼器(340)處已知道影像之依賴及排序結構)。解碼程序模擬器(350)實施視訊解碼器的一些功能；舉例而言，解碼重建參考影像之任務。解碼程序模擬器(350) 以與MMCO/RPS資訊(342)一致之方法來決定是否需要重建給定的經編碼影像(341)及是否儲存該給定的經編碼影像(341)以作為後續要被編碼之影像的影像間預測的參考影像，及決定是否應在參考影像上執行任何修改(如裁切或去雜訊)。若需儲存(及可能需修改)經編碼影像(341)，則解碼程序模擬器(350)模型化將由視訊解碼器所實施的解碼程序，該解碼程序接收經編碼影像(341)及產生對應的經解碼影像(351)。如此一來，當視訊編碼器(340)已使用已被儲存於經解碼影像儲存區域(360)中的(多個)經解碼影像(369)時，解碼程序模擬器(350)亦使用來自儲存區域(360)的(多個)經解碼影像(369)以作為解碼程序的部分。
可將解碼程序模擬器(350)實施為視訊編碼器(340)的部分。舉例而言，解碼程序模擬器(350)包含如圖4a及4b所展示的某些模組及邏輯。在目前影像(331)重建期間，當已編碼/信號傳遞殘量(418)之值時，將經重建的殘量之值與預測(458)結合，以自用於目前影像(331)之視訊信號(405)產生原始內容之大約或確切的重建(438)。(在有損壓縮中，一些資訊自視訊信號(405)喪失)。
參考圖4a，為了重建殘量之值，在縮放器/逆轉換器(435)中，縮放器/反量化器執行反縮放及反量化在經量化的轉換係數上。當尚未跳過轉換階段時，逆變換器執行反向的頻率轉換及產生一批經重建的預測殘量值或樣本值。若已跳過轉換階段，則亦跳過反向的頻率轉換。在此情況中，縮放器/反量化器可執行反縮放及反量化在多批預測殘量資料(或簡單值資料)上及產生經重建值。當已編碼/信號傳遞殘量值時，視訊編碼器(340)將經重建的殘量值與預測(458)值(例如 ，移動補償預測值及節點影像預測值)結合，以形成重建(438)。當尚未編碼/信號傳遞殘量值時，視訊編碼器(340)使用預測(458)之值來做為重建(438)。
參考圖4a及圖4b，對於節點影像預測來說，可將重建(438)之值反饋回節點影像預測估計器(440)及節點影像預測器(445)。可將重建(438)之值用於後續影像之移動補償預測。可進一步過濾重建(438)之值。濾波控制(460)決定如何在值上執行去區塊濾波及取樣自適應偏移(「SAO」)濾波，該等重建(438)之值係用於目前影像(331)。如以下所描述地，濾波控制(460)亦可決定如何裁切及/或執行去雜訊於目前影像(331)之重建(438)之值上，以作為參考影像。濾波控制(460)產生濾波器控制資料(462)，該濾波器控制資料(462)係被提供給標頭格式化器/熵編碼器(490)及(多個)合併器/濾波器(465)。
在(多個)合併器/濾波器(465)中，視訊編碼器(340)將來自不同方塊的內容合併至目前影像的經重建版本。視訊編碼器(340)選擇性地根據濾波器控制資料(462)及用於濾波器適應之規則來執行去區塊濾波及SAO濾波，以便適應性地平順跨越目前影像(331)中之邊界的不連續。如下文所描述地，在(多個)合併器/濾波器中，視訊編碼器(340)亦可裁切目前影像(331)及/或執行去雜訊。可選擇性地或額外地應用其他濾波(如去環效應濾波器或自適應環路濾波器(「ALF」)；未展示)。可取決於視訊編碼器(340)的設定而選擇性過濾或根本不過濾方塊邊界，及視訊編碼器(340)可提供經編碼位元流內之語法元素以指示是否要應用此類濾波器。
在圖4a及圖4b中，DPB(470)緩衝經重建的目前影像，以用於後續的移動補償預測。更廣泛來說，如圖3中所展示地，經解碼影像的暫時記憶體儲存區域(360)包含多個影像緩衝儲存區域(361、362….36n)。解碼程序模擬器(350)以與MMCO/RPS資訊(342)一致之方法來管理儲存區域(360)的內容，以辨識具有視訊編碼器(340)不再需要用為參考影像之影像的任何影像緩衝器(361及362等)。在模型化解碼程序後，解碼程序模擬器(350)儲存新經解碼影像(351)於已以此方式所辨識之影像緩衝器(361及362等)中。除了經重建的目前影像外，經解碼影像的暫時記憶體儲存區域(360)可儲存一或多個GRPS的全域參考影像、一或多個經裁切的參考影像及/或一或多個經去雜訊的參考影像。
如圖3所展示地，經編碼影像(341)及MMCO/RPS資訊(342)經緩衝於暫時的經編碼資料區域(370)中。聚合於經編碼資料區域(370)中之經編碼資料包含(作為基本位元流之語法的部分之)用於一或多個影像(例如 ，GRPS的全域參考影像及其他影像)的經編碼資料。聚合於經編碼資料區域(370)中之經編碼資料亦可包含相關於經編碼的視訊資料之媒體元資料(例如 如一或多個補充增強資訊(「SEI」)訊息或視訊可用資訊(「VUI」)訊息中的一或多個參數)。
藉由通道編碼器(380)處理來自暫時的經編碼資料區域(370)之經聚合資料(371)。通道編碼器(380)可封包化及/或多工傳輸經聚合資料以作為媒體串流傳輸或儲存(例如 ，根據如ITU-T H.222.0| ISO/IEC 13818-1之媒體程式串流或傳輸串流格式或如IETF RFC 3550的網際網路即時傳輸協定格式)，其中通道編碼器(380)可新增語法元素以作為媒體傳輸串流之語法的部分。或，通道編碼器(380)可組織化經聚合資料以儲存為檔案(例如 ，根據如ISO/IEC 14496-12之媒體容器格式)，其中通道編碼器(380)可新增語法元素，以作為媒體儲存檔案之語法之部分。或，更廣泛來說，通道編碼器(380)可實施一或多個媒體系統多工傳輸協定或傳輸協定，其中通道編碼器(380)可新增語法元素以作為(多個)協定之語法的部分。通道編碼器(380)提供輸出至通道(390)，該通道(390)係表示存儲、通訊連接或另一用於輸出的通道。通道編碼器(380)或通道(390)亦可包含其他元素(未展示)；例如 ，用於前向錯誤更正(「FEC」)編碼及類比信號調變。
取決於所欲壓縮之實施及類型，可增加及省略視訊編碼器系統(300)及/或視訊編碼器(340)之模組及可將該等視訊編碼器系統(300)及/或視訊編碼器(340)之模組分割成多個模組、將該等視訊編碼器系統(300)及/或視訊編碼器(340)之模組與其他模組結合及/或用相似模組取代該等視訊編碼器系統(300)及/或視訊編碼器(340)之模組。在替代實施例中，具有不同模組的編碼器系統或編碼器及/或其他模組配置執行一或多個所欲技術。編碼器系統的特定實施例典型地使用視訊編碼器系統(300)的變化或補充版本。編碼器系統的特定實施例典型地使用視訊編碼器系統(340)的變化或補充版本。經展示於視訊編碼器系統(300)及視訊編碼器(340)之模組間的關係係個別地指示視訊編碼器系統(300)及視訊編碼器(340)之資訊的一般流；為簡明起見未展示其它關係。一般來說，可藉由可執行在CPU上之軟體、藉由控制專用硬體(例如 ，用於視訊加速的圖形硬體)的軟體或藉由專用硬體(例如 ，ASIC中)來實施視訊編碼器系統(300)或視訊編碼器(340)的給定模組。IV . 範例解碼器系統
圖5為範例視訊解碼器系統(500)之方塊圖；可與該範例視訊解碼器系統(500)結合來實施一些所描述的實施例。視訊解碼器系統(500)包含視訊解碼器(550)，該視訊解碼器(500)進一步描述於圖6中。
視訊解碼器系統(500)可為能在多個解碼模式(如用於即時通訊的低延遲解碼模式、轉碼模式及用於媒體(該媒體係來自檔案或串流以用於播放)的高延遲解碼模式)中的任何一者中操作的通用目的解碼工具，或該視訊解碼器系統(500)可為經調適以用於一種此類解碼模式的專用解碼工具。可作為作業系統模組之部分、作為應用程式函式庫之部分、作為單機應用程式之部分或使用專用硬體來實施視訊解碼器系統(500)。整體來說，視訊解碼器系統(500)自通道(510)接收經編碼資料，及產生經重建影像以作為用於輸出目的地(590)的輸出。所接收到的經編碼資料可包含使用本文所描述之一或多個新方法所編碼之內容。
解碼器系統(500)包含通道(510)，該通道(510)可表示儲存、通訊連接或用於作為輸入的經編碼資料的另一通道。通道(510)產生已被通道編碼的經編碼資料。通道解碼器(520)可處理經編碼資料。舉例而言，通道解碼器(520)解封包化及/或解多工已被組織化以用於作為媒體串流之傳輸或儲存(例如 ，根據如ITU-T H.222.0|ISO/IEC 13818-1之媒體程式串流或傳輸串流格式，或如IETF RFC 3550之網際網路即時傳輸協定格式)的傳輸資料，其中通道解碼器(520)可解析經新增以作為媒體傳輸串流之語法之部分的語法元素。或，通道編碼器(520)分割已被組織化以用於作為檔案之儲存(例如，根據如ISO/IEC 14496-12之媒體容器格式)的經編碼視訊資料，其中通道編碼器(520) 可解析經新增以作為媒體儲存檔案之語法之部分的語法元素。或，更廣泛來說，通道解碼器(520)可新增一或多個媒體系統解多工傳輸協定或傳輸協定，其中通道解碼器(520)可解析經新增以作為協定之語法之部分的語法元素。通道(510)或通道解碼器(520)亦可包含(例如 ，用於FEC解碼及類比信號解調變的)其他元素(未展示)。
直到已收到足夠數量的此類資料前，皆將自通道解碼器(520)所輸出之經編碼資料(521)儲存於暫時的經編碼資料區域(530)中。經編碼資料(521)包含經編碼影像(531)及MMCO/RPS資訊(532)。經編碼資料區域(530)中之經編碼資料(521)包含作為基本經編碼視訊位元流之語法之部分之用於一或多個影像的經編碼資料(例如 ，GRPS的全域參考影像及其他影像)。經編碼資料區域(530)中之經編碼資料(521)亦可包含與經編碼視訊資料相關之媒體元資料(例如，如一或多個SEI訊息或VUI訊息中的一或多個參數)。
一般來說，直到視訊解碼器(550)使用此類經編碼資料(521)前，經編碼資料區域(530)皆暫時儲存經編碼資料(521)。在那時候，將用於經編碼影像(531)及MMCO/RPS資訊(532)之經編碼資料自經編碼資料區域(530)傳輸至視訊解碼器(550)。隨著解碼持續，新編碼資料經新增至經編碼資料區域(530)及保留在經編碼資料區域(530)中之最舊的經編碼資料經傳輸至視訊解碼器(550)。
視訊解碼器(550)解碼經編碼影像(531)以產生對應的經解碼影像(551)。如圖6所展示地，視訊解碼器(550)接收經編碼影像(531)以作為經編碼的視訊位元流(605)之部分輸入，及視訊解碼器(550)產生對應的經解碼影像(551)以作為經重建的視訊(695)輸出。作為解碼之部分，視訊解碼器(550)在一些情形中使用如本文所描述之彈性參考影像管理之一或多個特徵。
一般來說，視訊解碼器(550)包含執行解碼工作的多個解碼模組，該等解碼工作如熵解碼、反量化、反頻率轉換、移動補償、節點影像預測及濾波。使用解碼器(550)之多個元件來用於節點影像解碼及影像間解碼兩者。由這些元件所執行的確切操作可取決於被解壓縮的資訊類型而變化。經編碼的視訊位元流(605)之格式可為視窗媒體視訊格式(Windows Media Video format)、VC-1格式、MPEG-x格式(例如 ，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如 ，H.261、H.262、H.263、H.264及H.265)、或VPx格式或另一格式之變化或擴展。
可將影像組織化成多個相同大小或不同大小的方塊。亦可將影像組織化成一或多個切片。可將切片或方塊的內容進一步組織化成方塊或其他樣本值集合。可在不同階段處將區塊進一步細分。舉例而言，可將影像劃分成64x64區塊、32x32區塊或16x16區塊，該等區塊可依次經劃分為較小的樣本值區塊。在H.264/AVC標準的解碼實施中，(舉例而言)將影像劃分成宏區塊及區塊。在H.265/HEVC標準的解碼實施中，(舉例而言)將影像分割成CTU(CTB)、CU(CB)、PU(PB)及TU(TB)。
參考圖6，緩衝器接收經編碼視訊位元流(605)中之經編碼資料及使所接收的經編碼資料對於解析器/熵解碼器(610)來說為可用的。解析器/熵解碼器(610)熵解碼經熵編碼資料，典型地係應用執行在編碼器(340)中之熵編碼之反向(例如，以使用指數哥倫布碼編碼或哥倫布編碼的二進制化來做上下文自適應二進制算術解碼)。作為解析及熵解碼的結果，解析器/熵解碼器(610)產生一般控制資料(622)、經量化的轉換係數資料(632)、畫面內預測資料(642)、移動資料(652)及濾波控制資料(662)(例如 ，是否及如何應用裁切及去雜訊至參考影像)。
一般解碼控制(620)接收一般控制資料(622)。舉例而言，一般控制資料(622)包含資訊，該資訊係指示那些參考影像要被保留(例如，來自GRPS)於DPB(670)中。一般解碼控制(620)提供控制信號(未展示)至其他模組(如縮放器/逆轉換器(635)、節點影像預測器(645)、移動補償器(655)及畫面內/畫面間轉換器)，以在解碼期間設定及改變解碼參數。
參考圖5，在適當的情況下，當執行視訊解碼器(550)的解碼程序時，該視訊解碼器(550)可使用一或多個先前經解碼影像(569)來做為用於節點影像預測的參考影像。視訊編碼器(550) 自經解碼影像的暫時記憶體儲存區域(560)讀取此類先前經編碼影像(569)，該經解碼影像的暫時記憶體儲存區域(560)舉例而言為DPB (670)。在給定時間處，DPB(670)可儲存一或多個GRPS的參考影像、一或多個經裁切的參考影像、一或多個經去雜訊的參考影像及/或一或多個其他參考影像。作為替代地，可將GRPS的參考影像、經裁切的(多個)參考影像及/或經去雜訊的(多個)參考影像儲存於不同的緩衝器中。
參考圖6，若使用影像間預測來預測目前影像，則移動補償器(655)接收如MV資料、參考影像選擇資料及合併模式索引值之移動資料(652)。移動補償器(655)應用MV至來自DPB(670)或其他緩衝器之經重建的(多個)參考影像。當使用經裁切參考影像時，移動補償器(655)可如下文所描述地調整MV所參考之位置以補償裁切及/或縮放。移動補償器(655)產生用於目前影像之畫面間編碼區塊的移動補償預測。
在視訊編碼器(550)內的個別路徑中，節點影像預測器(645)接收畫面內預測資料(642)，如指示所使用的預測模式/方向的資訊。對於畫面內空間預測來說，節點影像預測器(645) 根據預測模式/方向來使用目前影像之重建(638)之值，而自目前影像之鄰近的、先前所重建的樣本值來空間預測目前影像之目前區塊的樣本值。或，對於畫面內方塊複製模式來說，節點影像預測器(645)預測使用參考區塊之先前所重建的樣本值之目前區塊的樣本值，其係由用於目前區塊之偏移(區塊向量)所指示。
畫面內/畫面間轉換選擇移動補償預測或節點影像預測之值，以作為用於給定區塊的預測(658)。舉例而言，當遵循H.265/HEVC語法時，可基於為可包含畫面內預測CU及畫面間預測CU之影像之CU編碼的語法元素來控制畫面內/畫面間轉換。當已編碼/信號傳遞殘量值時，視訊解碼器(550)將預測(658)與經重建的殘量值結合，以自視訊信號產生內容之重建(638)。 當尚未編碼/信號傳遞殘量值時，視訊解碼器(550)使用預測(658)之值以作為重建(638)。
視訊解碼器(550)亦重建預測殘量值。為重建殘量，當已編碼/信號傳遞殘量值時，縮放器/逆轉換器(635)接收及處理經量化的轉換係數資料(632)。在縮放器/逆轉換器(635)中，縮放器/逆量化器執行反縮放及反量化在經量化的轉換係數上。縮放器/逆轉換器(635) 基於位元流中之語法元素來設定用於影像、方塊、切片及/或視訊之其他部分之QP之值。逆變換器執行逆頻率變換及產生一批經重建的預測殘量值或樣本值。舉例而言，逆變換器應用反向的區塊轉換至頻率變換係數及產生樣本值資料或預測殘量資料。逆變換可為逆DCT、該逆DCT之整數近似或另一類型的逆變換(例如 ，逆離散正弦變換或該逆離散正弦變換的整數近似)。若在編碼期間跳過頻率變換，則亦跳過逆變換。在此情況中，縮放器/逆轉換器可執行逆縮放及逆量化在預測殘量資料(或樣本值資料)之區塊上及產生經重建的值。視訊解碼器(550)將經重建的預測殘量值與預測(658)之預測值結合及產生重建(638)之值。
對於節點影像預測來說，可將重建(638)之值反饋回節點影像預測器(645)。對於影像間預測來說，可進一步地將重建(638)之值濾波。在(多個)合併器/濾波器(665)中，視訊解碼器(550)將來自不同方塊的內容與影像之經重建版本結合。視訊解碼器(550) 根據濾波控制資料(662)及用於濾波器適應性的規則來選擇性地執行去區塊濾波及SAO濾波，以便適應性地平順跨越影像中之邊界的不連續。如下文所描述地，在(多個)合併器/濾波器中，視訊解碼器(550)亦可裁切目前影像(以作為參考影像)及/或執行去雜訊。可選擇性地或額外地應用其他濾波(如去環效應濾波或ALF；未展示)。取決於視訊解碼器(550)的設定或經編碼位元流資料內的語法元素而選擇性過濾或根本不過濾方塊邊界。DPB(670)緩衝經重建的目前影像以做為後續移動補償預測中的參考影像。除了經重建的目前影像外，DPB(670)可儲存一或多個GRPS的全域參考影像、一或多個經裁切的參考影像及/或一或多個經去雜訊的參考影像。作為替代地，可將(多個)GRPS的全域參考影像、(多個)經裁切的參考影像及/或(多個)經去雜訊的參考影像儲存於另一緩衝器中。
視訊解碼器(550)亦可包含後處理濾波器。後處理濾波器可包含去區塊濾波、去環效應濾波、自適應維納濾波、顆粒噪聲再現濾波、SAO濾波或另一種類濾波。鑒於「迴路」濾波係經執行於移動補償迴路中之影像之經重建的樣本值上，因此該「迴路」濾波係影響參考影像的樣本值；在為顯示輸出前，後處理濾波器係經應用至在移動補償迴路外之經重建的樣本值。
參考圖5，經解碼影像的暫時記憶體儲存區域(560)包含多個影像緩衝儲存區域(561、562…56n)。經解碼影像儲存區域(560)舉例而言為DPB(670)。解碼器(550)使用MMCO/RPS資訊(532)以辨識其中可儲存經解碼影像(551)的影像緩衝器(561及562等)。解碼器(550)儲存經解碼影像(551)於該影像緩衝器中。解碼器(550) 亦以與MMCO/RPS資訊(532)一致之方法來決定是否需要自多個影像緩衝儲存區域(561、562…56n)移除任何參考影像。在藉由(多個) 合併器 /濾波器(665) 修改(如裁切或去雜訊)參考影像後，多個影像緩衝儲存區域(561、562…56n)可包含經裁切的參考影像及/或經去雜訊的參考影像及GRPS的參考影像。
輸出定序器(580)辨識在經解碼影像儲存區域(560)中，以顯示順序(亦稱為輸出順序)所產生之下個影像何時為可用的。當在經解碼影像儲存區域(560)中以顯示順序中所產生之下個影像(581)為可用時，係由輸出定序器(580)讀取該下個影像(581)及將該下個影像(581)輸出至輸出目的地(590)(例如 ，顯示器)。一般來說，藉由輸出定序器(580)而自經解碼影像儲存區域(560)輸出影像之順序(顯示順序)可不同於藉由解碼器(550)解碼影像之順序(位元流順序)。
取決於所欲實施及解壓縮之類型，可增加及省略視訊解碼器系統(500)及/或視訊解碼器(550)之模組及可將該等視訊解碼器系統(500)及/或視訊解碼器(550)之模組分割成多個模組、將該等視訊解碼器系統(500)及/或視訊解碼器(550)之模組與其他模組結合及/或用相似模組取代該等視訊解碼器系統(500)及/或視訊解碼器(550)之模組。在替代實施例中，具有不同模組的解碼器系統或解碼器及/或其他模組配置執行一或多個所欲技術。解碼器系統的特定實施例典型地使用視訊解碼器系統(500)的變化或補充版本。視訊解碼器的特定實施例典型地使用視訊解碼器 (550)的變化或補充版本。經展示於視訊解碼器系統(500)及視訊解碼器(550)之模組間的關係係個別地指示視訊解碼器系統(500)及視訊解碼器(550)之資訊的一般流；為簡明起見未展示其它關係。一般來說，可藉由可執行在CPU上之軟體、藉由控制專用硬體(例如 ，用於視訊加速的圖形硬體)的軟體或藉由專用硬體(例如 ，ASIC中)來實施視訊解碼器系統(500)或視訊解碼器(550)的給定模組。V . 彈性參考影像管理
本章節描述彈性參考影像管理的新方法。舉例而言，新方法包含在視訊編碼/解碼期間使用全域參考影像集(「GRPS」)、在視訊編碼/解碼期間裁切參考影像及/或在視訊編碼/解碼期間將參考影像去雜訊。在一些情況(例如 ，使用GRPS及將參考影像去雜訊)中，新方法可藉由提供較佳之用於影像間預測的參考影像來改善編碼效率。在其他情況中(例如 ，參考影像的裁切)，新方法可減少經使用以在視訊編碼/解碼期間儲存參考影像的記憶體量，及節省計算資源。A. 大體而言的彈性參考影像管理
圖7展示一般性之用於視訊編碼的技術(700)，該技術(700)包含彈性參考影像管理。視訊編碼器系統(如參考圖3所描述的視訊編碼器系統(300)或另一個視訊編碼器系統)執行技術(700)。
視訊編碼器系統編碼(710)視訊序列的一或多個影像，以產生經編碼資料。作為編碼的部分，視訊編碼器系統使用彈性參考影像管理的一或多個特徵。舉例而言，視訊編碼器在編碼期間使用GRPS(見章節V.B及(舉例而言)圖11)、在編碼期間執行參考影像之裁切(見章節V.C及(舉例而言)圖15)及/或在編碼期間執行參考影像之去雜訊(見章節V.D及(舉例而言)圖17)。
視訊編碼器系統作為位元流之部分地輸出(720)經編碼資料。如下文所描述地，經編碼資料可包含用於視訊序列之(多個)影像之經編碼資料及用於彈性參考影像管理之功能的控制資料。視訊編碼器系統確認(730)是否要持續編碼視訊序列中之一或多個下個影像；若是，則編碼(710)(多個)下個影像。
如圖7中所展示的技術(700)可藉由電腦系統執行為方法。或，電腦系統可包含視訊編碼器，該視訊編碼器經配置以執行如圖7中所展示之技術(700)的視訊編碼操作，及該電腦系統進一步包含緩衝器，該緩衝器經配置以儲存位元流的部分。或，一或多個電腦可讀取媒體可儲存電腦可執行指令，該等電腦可執行指令係使電腦系統藉由該等電腦可執行指令程式化以執行圖7中所展示之技術(700)的視訊編碼操作。一或多個電腦可讀取媒體可儲存由圖7中所展示之技術(700)所產生之經編碼資料。
圖8展示對應之一般性之用於視訊解碼的技術(800)，該技術(800)包含彈性參考影像管理。視訊解碼器系統(如參考圖5所描述的視訊解碼器系統(500)或另一視訊解碼器系統)執行技術(800)。
視訊解碼器系統接收(810)作為位元流之部分的用於視訊序列之一或多個影像的經編碼資料。如下文所描述地，經編碼資料可包含用於視訊序列之(多個)影像的經編碼資料及用於彈性參考影像管理之功能的控制資料。
視訊解碼器系統解碼(820)經編碼資料，以重建視訊序列的(多個)影像。作為解碼的部分，視訊解碼器系統使用彈性參考影像管理的一或多個功能。舉例而言，視訊解碼器系統在解碼期間使用GRPS(見章節V.B及(舉例而言)圖12)、在解碼期間執行參考影像之裁切(見章節V.C及(舉例而言)圖15)及/或在解碼期間執行參考影像的去雜訊(見章節V.D及(舉例而言)圖17)。視訊解碼器系統確認(830) 是否要持續解碼視訊序列中之一或多個下個影像；若是，則接收(810)用於(多個)下個影像的經編碼影像。
如圖8中所展示的技術(800)可藉由電腦系統執行為方法。或，電腦系統可包含視訊解碼器，該視訊解碼器經配置以執行如圖8中所展示之技術(800)的視訊解碼操作，及該電腦系統進一步包含緩衝器，該緩衝器經配置以儲存位元流的部分。或，一或多個電腦可讀取媒體可儲存電腦可執行指令，該等電腦可執行指令係使電腦系統藉由該等電腦可執行指令程式化以執行圖8中所展示之技術(800)的視訊解碼操作。一或多個電腦可讀取媒體可儲存經編碼資料，該經編碼資料經配置以由具有用於圖8中所展示之技術(800)之視訊解碼操作之視訊解碼器解碼。B. 全域參考影像集
此章節描述在視訊編碼及視訊解碼期間使用GRPS的新方法。舉例而言，視訊編碼器及視訊解碼器使用保留於記憶體中之參考影像的GRPS，因而該GRPS相較習知參考影像可更長時間地供使用於視訊編碼及視訊解碼中。使用GRPS可藉由使經特別選擇的全域參考影像在視訊編碼及視訊解碼各處皆為可用，而有效率地改善視訊編碼。1. GRPS 的簡介
在眾多視訊編解碼器標準及格式中，視訊序列可包含經指定給隨機存取影像(「RAP」)的影像。一般來說，僅使用節點影像編碼(沒有任何的影像間預測)來編碼要被指定為RAP的影像。修正解碼可在經指定RAP處開始。位元流順序(亦稱為編碼順序或解碼順序)及顯示順序中之在經指定RAP後的影像不依賴在位元流順序中之經指定RAP前的參考影像。除了一些少數例外之外，在經指定RAP後之經編碼/解碼的影像不依賴在經指定RAP前之經編碼/解碼的參考影像。(在一些編解碼器標準中，位元流順序中之在經指定RAP後但在顯示順序中之經指定RAP前的影像可依賴較早的參考影像，但此類影像典型地於隨機存取時被捨棄)。當視訊解碼器偵測到經指定為RAP的影像時，視訊解碼器典型地自該視訊解碼器之DPB移除所有參考影像。在具有習知RAP之編碼/解碼助於播放中的各種功能(例如 ，錯誤恢復、通道切換及不同位元流之串流間的切換)的同時，RAP因不使用節點影像預測故難以有效率地壓縮。
對於根據H.264標準或H.265標準的語法來說，影像參數集(「PPS」)包含可相關於影像的語法元素。PPS可用於單一影像，或PPS可重複用於序列中的多個影像。相似地，對於根據H.264標準或H.265標準的語法來說，序列參數集(「SPS」)包含可相關於序列影像的語法元素。一般來說，直到以另一個SPS或PPS取代SPS或PPS前，該SPS或該PPS在編碼或解碼期間一直維持活躍。不同於參考影像，SPS或PPS在經指派的RAP處跨越隨機存取邊界而維持活躍。即，在位元流順序中之經指派的RAP後的經編碼/經解碼影像仍可使用位元流順序中之經指派的RAP前的SPS或PPS。若當視訊解碼器偵測到經指派的RAP時，SPS或PPS不可用，則視訊解碼器可瀏覽用於SPS或PPS的位元流，或視訊解碼器可請求SPS或PPS的再傳輸。為了更容易定位SPS或PPS，可在位元流中週期性地重複SPS或PPS。
舉例而言，經編碼資料的位元流可如下所示地組織化：SPS0 ,PPS0 ,RAP00 ,P1 , …,P29 ,RAP130 ,P31 , …,P59 ,RAP260 ,P61 , … 其中SPS0 指示第一SPS(該第一SPS可於位元流中由第二SPSSPS1 及第三SPSSPS2 等跟隨)，及PPS0 指示第一PPS (該第一PPS可於位元流中由第二PPSPPS1 及第三PPSPPS2 等跟隨)。RAP00 ,、 RAP130 , 及RAP260 指示每30個影像出現的經指派的RAP。RAP00 是第一個RAP、RAP130 是第二個RAP及RAP260 是第三個RAP等。P1 、P2 ...指示使用相關於一或多個參考影像之影像間預測所編碼的影像。用於經編碼資料之單元的位元流順序是為單元所展示的順序。對於經解碼及經顯示的影像來說，由下標值指示顯示順序。舉例而言，RAP1 30 為第二RAP，及該RAP1 30 之顯示順序為30。不顯示(例如 ，用於SPS或PPS之)經編碼資料的一些單元。在此範例中，當偵測到經指派的RAP時，視訊解碼器自該視訊解碼器之DPB移除所有參考影像。因此，在經指定RAP處截斷參考影像之鏈。在位元流順序中之經指定 RAP後之影像Pn 無法參考任何在位元流順序中之經指定RAP前的影像。另一方面，即使是在視訊解碼器偵測到經指定RAP後，在解碼期間的SPS0 及PPS0 直到被取代前皆仍維持活躍 。
根據此章節所描述的新方法，GRPS包含一或多個全域參考影像。如同SPS或PPS，GRPS的全域參考影像不論經指派的RAP處之隨機存取邊界而為全域可用的。經指派的RAP之偵測不會導致GRPS之(多個)全域參考影像之自DPB或其他緩衝器之移除。取而代之的是，在視訊解碼器遇到經指派的RAP後，GRPS之(多個)全域參考影像保持為可用以做為參考影像。在一些示例性實施中，經指派的RAP可使用GRPS的全域參考影像來做為影像間預測中的參考影像，此事使經指派的RAP之編碼更具效率。因此，可將GRPS整合至視訊編碼/解碼以支援隨機存取，同時亦改善用於經指定RAP的編碼效率。2. GRPS 的範例
圖9展示當視訊編碼或視訊解碼使用GRPS時對DPB(460，670)之更新之範例(900)。在視訊編碼/解碼期間的某一點處，DPB(460，670)包含GRPS之三個全域參考影像(GRPS0 、GRPS1 及GRPS2 )及五個常規參考影像(ref0 …ref4 )。GRPS0 為第一GRPS、GRPS1 為第二GRPS及GRPS2 為第三GRPS等。可顯示GRPS(在此情況中其在下述範例中包含下標)或不顯示GRPS(在此情況中其在下述範例中缺乏下標)。當遇到經指派的RAP時，視訊編碼器或視訊解碼器自DPB(470，670)移除五個常規參考影像(ref0 …ref4 )。然而，DPB(470，670)保留GRPS之三個全域參考影像(GRPS0 、GRPS1 及GRPS2 )。因此，三個全域參考影像(GRPS0 、GRPS1 及GRPS2 ) 跨越由經指派的RAP所定義之RAP邊界而維持可存取。經指派的RAP可使用三個全域參考影像(GRPS0 、GRPS1 及GRPS2 )之任何一者來做為參考影像。甚至可以說，在位元流順序中及在顯示順序中之經指派的RAP後的影像可使用三個全域參考影像(GRPS0 、GRPS1 及GRPS2 )之任何一者來做為參考影像。
圖9展示DPB(470，670)中之全域參考影像，該DPB(470，670)亦儲存其他的、常規的參考影像。作為替代地，個別儲存GRPS的全域參考影像。舉例而言，將全域參考影像儲存於個別的用於GRPS的緩衝器中。儲存全域參考影像在個別的緩衝器中可簡化全域參考影像的管理。
視訊編碼器決定何時增加全域參考影像至GRPS。全域參考影像可為視訊序列中的確切影像，該確切影像要被解碼及被顯示。或，全域參考影像可為自視訊序列之影像所產生或人工建立的虛擬影像，該虛擬影像要被解碼及在影像間預測中使用(但不被顯示)。章節V.B.4描述做出何時決定GRPS之部分的全域參考影像之決斷的各種方法。視訊解碼器解碼全域參考影像及將用於全域參考影像經編碼資料標記為GRPS之部分。舉例而言，NAL單元類型標記位元流中的GRPS單元。作為替代地，以一些其他指示器來標記用於GRPS之全域參考影像的經編碼資料。視訊解碼器解碼及緩衝全域參考影像。
圖10a至圖10d展示位元流中包含GRPS單元之經編碼資料之單元的範例序列(1010、1020、1030及1040)。用於經編碼資料之單元的位元流順序是為圖10a至圖10d中之單元所展示的順序。對於要被解碼及要被顯示的影像來說，係由下標值指示顯示順序。不顯示(例如 ，用於SPS或PPS之及在一些情況中用於GRPS的全域參考影像之)經編碼資料的一些單元。因此，對於要被解碼但不被顯示的影像(例如 ，一些GRPS)來說，沒有下標值顯示於圖10a至圖10d中。在一些情況中，(例如 ，肇因移動補償中之雙向預測或向後預測)位元流順序不同於顯示順序。舉例而言，在圖10a及圖10b中，一些影像(P59 ，P60 )在顯示順序中早於經指定RAP(RAP261 )，但在位元流順序中晚於經指定RAP(RAP261 )。
在圖10a中，範例序列(1010)包含用於GRPS之全域參考影像(GRPS00 )、SPS (SPS0 )及PPS(PPS0 )的編碼資料。範例序列(1010)亦包含用於三個經指派的RAP(RAP01 、RAP131 及RAP261 )之經編碼資料，該三個經指派的RAP係每30個影像出現，及該三個經指派的RAP係與用於其他影像(Pn )之經編碼資料一起來定義隨機存取邊界。GRPS、SPS及PPS跨越由指定的RAP所定義之隨機存取邊界仍為可存取的。舉例而言，在圖10a中，第三經指派的RAP(RAP261 )定義隨機存取邊界。GRPS00 、SPS0 及PPS0 對在位元流順序及顯示順序中之第三經指派的RAP(RAP261 )前之影像(P58 )來說為可存取的、對在顯示順序中之第三經指派的RAP(RAP261 )前但在位元流順序中之該第三經指派的RAP(RAP261 )後之影像(P59 )來說為可存取的，及對在位元流順序及顯示順序中之第三經指派的RAP(RAP261 )後之影像(P62 )來說為可存取的。因此，全域參考影像(GRPS00 )具有參數集之特性(其跨越隨機存取變數仍可存取，其係意味不同隨機存取時期之影像可分享全域參考影像)及常規影像之特性(其包含用於個別的、可解碼影像之內容之位元流中之經編碼資料)。
視訊編碼器及視訊解碼器可使用參考影像辨識符(「ID」)以辨識GRPS的全域參考影像。當另一影像使用用於節點影像預測之GRPS的全域參考影像時，其他影像使用參考影像ID以定位全域參考影像於緩衝器中。視訊編碼器及視訊解碼器可使用單獨的一組用於GRPS的全域參考影像之參考影像ID(即，全域參考影像ID)的集。舉例而言，將唯一的全域參考影像ID指派給GRPS中之每個全域參考影像。作為替代地。視訊編碼器及視訊解碼器可使用相同的用於全域參考影像及其他的、常規的參考影像之參考影像ID的集。
視訊編碼器及視訊解碼器可整合全域參考影像至使用參考影像於移動補償操作中之現有處理中。舉例而言，視訊編碼器/解碼器建立參考影像集及一或多個參考影像列表。對於要被解碼之給定影像來說，目前的參考影像集包含可用來作為給定影像之移動補償操作之參考的影像及任何晚於位元流順序中之給定影像的影像。當使用GRPS時，目前的參考影像集包含一或多個全域參考影像。接著，視訊編碼器/解碼器自目前參考影像集建立一或多個參考影像列表。參考影像列表包含可被作為給定影像或該給定影像之部分(例如 ，切片)之移動補償操作之參考的影像。
在一些示例性實施中，可使用具有一或多個GRPS的全域參考影像之節點影像編碼或影像間預測來編碼經指派的RAP。圖10b在位元流中展示包含GRPS單元之經編碼資料之單元的另一範例序列(1020)。在此範例序列(1020)中，自GRPS的全域參考影像(GRPS00 )使用影像間預測來編碼經指派的RAP兩者(RAP01 及RAP261 )。使用節點影像編碼來編碼其他經指派的RAP(RAP131 )。自GRPS的全域參考影像以影像間預測來隊經指派的RAP編碼可戲劇性地減少所使用以編碼經指派的RAP的位元量。用於經改善的編碼效率之成本係依賴於全域參考影像，該全域參考影像係經解碼及經緩衝以讓該全域參考影像可用於後續解碼。
若全域參考影像無法用於經指派的RAP或其他影像之節點間影像預測，則視訊解碼器可本地瀏覽位元流的可用部分以發現用於全域參考影像的經編碼資料、接著解碼及緩衝全域參考影像。或，視訊解碼器可在串流期間請求全域參考影像的再傳輸；接著解碼及緩衝全域參考影像。該等操作可新增延遲至使用用於節點間預測之全域參考影像的解碼。
為了冗餘，位元流可包含用於全域參考影像之經編碼資料的多個副本。圖10c展示在位元流中展示包含多個GRPS單元之經編碼資料之單元的另一範例序列(1030)。在範例序列(1030)中，用於第一全域參考影像(GRPS0 )之經編碼資料出現兩次。第一全域參考影像(GRPS0 )經解碼及可經使用於影像間預測，但不顯示該第一全域參考影像(GRPS0 )。在圖10c之範例中，另一全域參考影像(GRPS10 )經解碼及經顯示，及該另一全域參考影像(GRPS10 )可被用於影像間預測。更廣泛來說，與SPS及PPS相似地，GRPS的全域參考影像可在位元流各處出現。
在先前範例中，使用節點影像壓縮編碼全域參考影像之每者。圖10d展示在位元流中展示包含多個GRPS單元之經編碼資料之單元的另一範例序列(1040)。在圖10d之範例序列(1040)中，使用以位元流順序中之較早的全域參考影像(GRPS0 )作為參考影像之影像間預測來編碼全域參考影像(GRPS2 )之一者。使用節點影像編碼來編碼另一全域參考影像(GRPS10 )。，當使用節點間預測編碼GRPS的全域參考影像時，該GRPS的全域參考影像僅參考在位元流順序之前的全域參考影像。潛在地，全域參考影像可依賴較早的全域參考影像之鏈，其中視訊解碼器在預測鏈中解碼及緩衝尚未提供之任何較早的全域參考影像。為了限制解碼延遲，視訊編碼器可限制用於GRPS影像間預測之預測鏈的長度。若限制為0，則使用節點影像編碼來編碼每個全域參考影像。在此情況中，使用用於任何影像之影像間預測之全域參考影像來新增最多一影像的解碼延遲。
為減少由影像間預測中之全域參考影像之使用所引入的解碼延遲，視訊解碼器可緩衝GRPS的全域參考影像。可在DPB或其他緩衝器中緩衝GRPS的全域參考影像。在一些示例性實施中，視訊解碼器基於由視訊解碼器所信號傳遞的控制資訊來更新緩衝器中的全域參考影像。作為替代地，視訊解碼器基於「最大努力」來緩衝GRPS的全域參考影像，及根據需要而藉由瀏覽位元流或請求用於GRPS的全域參考影像之經編碼資料的再傳輸來恢復遺失的全域參考影像。舉例而言，視訊解碼器緩衝最多n 個全域參考影像(其中n 係取決於實施)，接著該視訊解碼器開始捨棄全域參考影像(例如 ，以最近最少使用的全域參考影像或最舊的全域參考影像開始，或辨識全域參考影像以用一些其他方式捨棄)。在此情況中，視訊解碼器在稍後解碼期間根據需要來恢復經捨棄的全域參考影像。3. 使用 GRPS 的範例編碼
圖11展示使用為GRPS之部分的全域參考影像來視訊編碼的範例技術(1100)。當編碼視訊序列之一或多個影像時，視訊編碼器系統(如參考圖3所描述之視訊編碼器系統(300)或另一視訊編碼器系統)執行技術(1100)以產生經編碼資料。
視訊編碼器系統決定(1110)為GRPS之部分的全域參考影像。舉例而言，視訊編碼器系統自視訊序列之一或多個影像間選擇全域參考影像。或，做為另一範例，視訊編碼器系統自視訊序列之兩個或更多個影像建立全域參考影像。下個章節描述決定為GRPS之部分的全域參考影像的各種方法。
視訊編碼器系統編碼(1120)全域參考影像以產生用於全域參考影像之經編碼資料。舉例而言，視訊編碼器系統僅使用節點影像壓縮操作來編碼全域參考影像。作為替代地，視訊編碼器系統使用影像間壓縮操作來編碼全域參考影像。在此情況中，編碼全域參考影像係使用另一全域參考影像來作為移動補償操作之參考。限制條件可限制GRPS內之預測鏈之深度(例如 ，一個影像、兩個影像)。
視訊編碼器系統亦編碼(1130)其他影像以產生用於其他影像的經編碼資料。其他影像包含經指定為RAP的影像。全域參考影像跨越隨機存取邊界仍為可用的。因此，全域參考影像係可存取的，以編碼在位元流順序及顯示順序中之經指派的RAP前之其他影像之至少一影像，及全域參考影像亦為可存取的以編碼在位元流順序及顯示順序中之經指派的RAP後之其他影像之至少一影像。作為編碼其他影像之部分，經指派的RAP可使用全域參考影像以作為移動補償操作的參考。或，非RAP影像可使用全域參考影像以作為移動補償操作的參考。
在一些示例性實施中，視訊編碼器系統亦定義一或多個控制其他影像之編碼的參數集。舉例而言，(多個)參數集包含SPS及PPS。(多個)參數集跨越隨機存取邊界係為可用的。該等參數集為可存取的，以編碼在位元流順序之經指派的RAP前之其他影像之至少一影像；及該等參數集為可存取的以編碼在位元流順序之經指派的RAP後之其他影像之至少一影像。
可將包含全域參考影像之經編碼資料及其他影像之經編碼資料的經編碼資料輸出為位元流之部分。可用位元流中之單元類型來將全域參考影像之經編碼資料標記為GRPS之部分。作為替代地，用一些其他方式來標記全域參考影像之經編碼資料。4. 當使用 GRPS 之範例編碼器端之決策
視訊編碼器系統可使用各種方法之任何一方法來決定何時新增全域參考影像至GRPS。在不同方法中，視訊編碼器系統以不同方式來決定新的全域參考影像。
根據不同方法的第一集合，視訊編碼器系統週期性地新增另一全域參考影像至GRPS。若全域參考影像之計數已到達閥值，則視訊編碼器系統可自GRPS移除全域參考影像(例如 ，移除最舊的全域參考影像、移除最近使用的全域參考影像)。在方法的第一集合中，在全域參考影像間之時期的持續時間係取決於實施。舉例而言，持續時間是10秒、15秒或一些其他數量的秒數。在全域參考影像間之時期內，視訊編碼器系統可用一或多個先前的全域參考影像(例如 ，使用GRPS之緊接在前的全域參考影像)來週期性地指定影像為要使用節點影像預測或使用影像間預測來被編碼的RAP。
根據方法的第二集合，視訊編碼器系統偵測視訊序列中的場景變化。在已偵測到場景變化後，視訊編碼器系統插入GRPS之新的全域參考影像。特定言之，可將全域參考影像作為用於屬於場景之影像的參考影像。舉例而言，視訊編碼器系統自一或多個在場景變化後之影像來選擇或建立全域參考影像。或，作為另一範例，視訊編碼器系統自GRPS內辨識先前相關於視訊序列中之相似場景(或相同場景)的全域參考影像。當重複場景時或當場景來回轉換時，此事可為有用的。在此情況中，視訊編碼器系統可重複使用先前之用於相同(或相似)場景的全域參考影像。當視訊解碼器系統已經有先前之用於相同(或相似)場景的全域參考影像時，視訊編碼器系統可跳過用於全域參考影像之經編碼資料之輸出。在方法的第二集合中，如方法的第一集合所述地，若全域參考影像之計數已到達閥值，則視訊編碼器系統可自GRPS移除全域參考影像(例如 ，移除最舊的全域參考影像、移除最近使用的全域參考影像)。
根據方法的第三集合，視訊編碼器系統將視訊序列之至少一些影像衡量為用於全域參考影像之選項，及該視訊編碼系統自經衡量選項中辨識全域參考影像。此類方法可為計算密集的，此事使該等此類方法可更適於離線視訊編碼(相較於即時視訊編碼而言)。舉例而言，假設視訊編碼器系統衡量一連串的影像以辨識一組一或多個全域參考影像。視訊編碼器系統將經指派的RAP(RAP0、RAP1、RAP2及RAP3等)視為用於全域參考影像的候選者。為簡化分析，經指派的RAP之每者使用最多一個用於影像間預測的全域參考影像，及全域參考影像為使用節點影像壓縮編碼的全域參考影像本身。對於經指派的RAP之每個RAPi 來說，視訊編碼器系統使用作為全域參考影像之經指派的RAP的另一RAPj 來計算編碼的RAPi 之成本ci,j 。當i 等於j 時，以節點影像壓縮編碼經指派的RAPRAPi 。成本ci,j 可為位元率-失真成本或其他成本計量。視訊編碼器系統選擇系列的GRPcount 全域參考影像(例如 ，GRPcount 可有1、2、3或一些其他數量的全域參考影像)。特定言之，對於GRPcount 全域參考影像之集合中的全域參考影像a ,b ,…g 而言，視訊編碼器系統選擇GRPtotal_cost 為最小化的GRPcount 全域參考影像：GRPtotal_cost =ca,a +cb,b + … +cg,g +，i 非為a ,b ,…g 之一者及j 為a ,b ,…g 之一者。總成本解釋以節點影像壓縮來編碼候選全域參考影像之每者的成本(即，ca,a +cb,b + … +cg,g )。總成本亦解釋了使用最佳候選全域參考影像來編碼所有剩餘之經指派的RAP之成本()。視訊編碼器系統可做為替代地允許自其他全域參考影像使用影像間預測(不需全域參考影像之節點影像編碼)來編碼全域參考影像。
作為替代地，視訊編碼器系統使用另一方法來決定合適新增全域參考影像至GRPS及決定新的全域參考影像。5. 使用 GRPS 的範例解碼
圖12展示使用為GRPS之部分的全域參考影像來視訊解碼的範例技術(1200)。當解碼經編碼資料以重建視訊序列之一或多個影像時，視訊解碼器系統(如參考圖5所描述的視訊解碼器系統(500)或另一視訊解碼器系統)執行技術(1200)。用於視訊序列之(多個)影像之經編碼資料包含用於為GRPS之部分的全域參考影像的經編碼資料及用於其他影像的經編碼資料。其他影像包含至少一經指定為RAP的影像。
參考圖12，視訊解碼器系統使用用於全域參考影像之經編碼資料來解碼(1210)全域參考影像。舉例而言，視訊解碼器系統僅使用節點影像解壓縮操作來解碼全域參考影像。作為替代地，視訊解碼器系統使用節點間解壓縮操作來解碼全域參考影像。在此情況中，解碼全域參考影像使用另一個全域參考影像，以用於移動補償操作之參考。
視訊解碼器系統亦使用用於其他影像之經編碼資料來解碼(1220)其他影像。全域參考影像跨越隨機存取邊界仍為可用的。因此，全域參考影像為可存取的，以解碼在位元流順序中及顯示順序中之經指派的RAP前之其他影像之至少一影像，及全域參考影像亦為可存取的以解碼在位元流順序中及顯示順序中之經指派的RAP後之其他影像之至少一影像。作為解碼其他影像之部分，經指派的RAP可使用全域參考影像，以用於移動補償操作之參考。或，非RAP影像可使用全域參考影像以用於移動補償操作之參考。
在一些示例性實施中，視訊解碼器系統亦接收一或多個控制其他影像之解碼的參數集。舉例而言，(多個)參數集包含SPS及PPS。(多個)參數集跨越隨機存取邊界為可用的。該等參數集為可存取的，以解碼在位元流順序中之經指派的RAP前之其他影像之至少一影像，及該等參數集為可存取的以解碼在位元流順序中之該經指派的RAP後之其他影像之至少一影像。
視訊解碼器系統可用各種方式在該視訊解碼器系統之DPB中或其他緩衝器中更新參考影像。舉例而言，在視訊序列之(多個)影像之重建後，視訊解碼器系統自該視訊解碼器系統之DPB或其他緩衝器移除至少一參考影像，及該視訊解碼器系統儲存全域參考影像於該視訊解碼器系統之DPB或其他緩衝器中。
在解碼期間，視訊解碼器系統可決定全域參考影像為不可用的。在此情況中，視訊解碼器系統可瀏覽位元流以定位用於全域參考影像的經編碼資料。或，視訊解碼器系統可請求用於全域參考影像之經編碼資料的再傳輸。C. 參考影像裁切
此章節係描述在視訊編碼及視訊解碼期間裁切參考影像之新方法。舉例而言，視訊編碼器及視訊解碼器裁切參考影像，以便保持參考影像之有用區域於記憶體中同時捨棄參考影像之無用或冗餘區域。參考影像裁切可減少儲存參考影像所需之記憶體量。或，參考影像裁切可藉由儲存之更多樣的參考影像集來改善可用記憶體之利用度，以提供用於移動補償之更佳選項。1. 參考影像裁切之簡介
當視訊編碼/解碼使用用於影像間預測之參考影像時，可經常存取參考影像之一些區域但從不存取參考影像之其他區域。更進一步說，當緩衝器儲存多個參考影像時，不同的參考影像可包含用於不會自影像至影像變化之區域的相同影像內容。儲存不用於影像間預測之區域的影像內容或儲存用於重複區域之相同影像內容的冗餘副本係浪費視訊編碼器及視訊解碼器處的記憶體。
視訊編碼器及視訊解碼器可使用參考影像之裁切以在視訊編碼/解碼期間減少記憶體利用度。視訊編碼器/解碼器儲存參考影像之一或多個區域於DPB或其他緩衝器中(取代「儲存完整影像於DPB中或其他緩衝器中」之方法)。若仔細裁切參考影像，則維持高編碼效率。
作為替代地，視訊編碼器及視訊解碼器可使用參考影像之裁切以在視訊編碼/解碼期間提供更多樣的參考影像集。對於可用來緩衝參考影像之給定的記憶體量而言，參考影像之裁切允許視訊編碼器/解碼器自更多參考影像儲存多樣內容；此事可藉由提供更多之用於移動補償的選項來改善編碼效率。2. 範例參考影像裁切之使用
圖13a展示參考影像裁切的簡單範例(1310)。經重建影像(1311)為原始參考影像。裁切參數定義經重建影像(1311)內之用於經裁切影像(1312)之區域。捨棄經裁切影像(1312)外部的經重建影像(1311)之區域。
在圖13a中，自原始參考影像建立單一經裁切的參考影像。作為替代地，可自單一原始參考影像來建立多個經裁切的參考影像。圖13b展示範例(1320)，其中自一經重建影像(1321)建立兩個經裁切影像(1322、1323)。裁切參數定義兩個經裁切影像(1322、1323)，該兩個經裁切影像並未重疊。捨棄在經裁切影像(1322、1323)外部的經重建影像(1321)之區域。圖13c展示，其中自經重建影像(1331)建立兩個重疊之經裁切影像(1332、1333)之範例(1330)。在此範例中，由裁切參數所定義之兩個經裁切影像(1332、1333)分享一些來自經重建影像(1331)的相同影像內容。捨棄在經裁切影像(1332、1333)之經重建影像(1331)之區域。
在圖13a至圖13c之範例中，不縮放經裁切影像。作為替代地，可縮放經裁切影像。圖13d展示其中自經重建影像(1341)建立經裁切的經縮放影像(1342)的範例(1340)。裁切參數定義經裁切的經縮放影像(1342)。捨棄在經裁切的經縮放影像(1342)外部之經重建影像(1341)之區域。典型地，縮小經裁切影像以減少記憶體用量。當內容係自影像至影像「鏡頭拉遠」時，縮小經裁切影像亦可改善編碼效率。反過來說，當內容係自影像至影像「鏡頭拉近」時，放大經裁切影像亦可改善編碼效率。作為替代地，可在沒有裁切的情況下放大或縮小參考影像。
在圖13a至圖13d中，一或多個經裁切的參考影像取代原始參考影像。作為替代地，亦可包含原始參考影像以用於影像間預測。圖13e展示其中自經重建影像(1351)建立經裁切影像(1352)且亦保留完整經重建影像(1351)以用於影像間預測的範例(1350)。
在圖13a至圖13e之範例中，經裁切影像為矩形。作為替代地，經裁切影像可具有另一形狀(例如，非矩形形狀)。
可指定參考影像索引給經裁切參考影像之每者。當經裁切參考影像用於影像間預測時，參考影像索引辨識個別之經裁切參考影像。參考影像索引亦可用來定位個別的經裁切參考影像於緩衝器中。可藉由視訊編碼器及視訊解碼器指定用於經裁切參考影像之參考影像索引值，該視訊編碼器及視訊解碼器係應用相似規則來指定值。或，可藉由視訊編碼器指定經裁切參考影像之參考影像索引值及信號傳遞該等經裁切參考影像之參考影像索引值。
在一些示例性實施中，視訊編碼器決定是否要裁切參考影像；若是，決定如何裁切參考影像。視訊編碼器發送裁切資訊至視訊解碼器，以便視訊解碼器可用相同方式裁切參考影像。在其他示例性實施中，視訊編碼器及視訊解碼器每者應用規則來決定是否裁切參考影像；若是，決定如何裁切參考影像。在此情況中，因視訊解碼器獨立地得到用於經裁切參考影像之裁切參數，故視訊編碼器不需信號傳遞裁切資訊至該視訊解碼器。章節V.C.4描述各種做出用於參考影像裁切之決定的方法。
為個別經裁切的參考影像來決定及儲存裁切參數。舉例而言，用於經裁切參考影像之裁切參數包含影像順序計數或辨識原始經重建影像、原始經重建影像之空間解析度及原始經重建影像內之經裁切參考影像之位置的其他資訊。可用經裁切參考影像之兩個角落(例如，左上角及右下角)的座標、經裁切參考影像之一角落之座標及經裁切參考影像之寬度/高度或以一些其他方式來具體指定原始經重建影像內之經裁切參考影像之位置。因此，裁切參數具體指定虛擬參考影像帶有原先經重建影像的大小但具有僅用於在原始參考影像內之經裁切參考影像位置處之該經裁切參考影像的確切影像內容。縮放因子可指示任何被應用至經裁切參考影像的縮放。
視訊編碼器及視訊解碼器可在移動補償期間藉由用於裁切的補償(及可能是縮放)來使用經裁切參考影像於影像間預測。視訊編碼器及視訊解碼器正常處理移動資訊─用於目前區塊的MV指示參考影像中之相對於參考影像中之目前區塊的排列位置的移位。在用於參考影像的原始解析度中具體指定移位。用於移動資訊(例如 ，預測、熵編碼/解碼)之編碼及解碼程序為不改變的(即，使用用於常規參考影像之處理)。對於影像間預測來說，視訊編碼器及視訊解碼器藉由結合(由裁切參數中之位置資訊所指示的)偏移與由MV所參考的位置(例如 ，自MV值減去偏移、自參考影像中之目前區塊之排列位置減去偏移或自MV所指示的最後位置減去偏移)來補償裁切。當已應用縮放參數至參考影像時，視訊編碼器及視訊解碼器使用縮放參數以自用於參考影像之原始解析度至經縮放參考影像的解析度而適當地縮放MV之值。又，對於經裁切、經縮放的參考影像來說，視訊編碼器及視訊解碼器縮放經應用至由MV所參考之位置的偏移。
圖14圖示說明涉及到經裁切參考影像之移動補償之範例(1400)。在圖14中，目前影像(1410)包含具有MV(1414)的目前區塊(1412)。目前影像(1410)中之目前區塊(1412)的左上角為位置(256，192)。MV (1414)指示相對於目前區塊(1412)之左上角的移位(-127，-66)。
圖14展示經重建影像(1420)，該經重建影像(1420)為原始參考影像及經重建影像(1420)內之經裁切的參考影像(1422)。在經重建影像(1420)中，經裁切的參考影像(1422)為左上角是(94，64)及右下角是(512，256)的矩形。
MV(1414)指示左上角為經裁切的參考影像(1422)中之位置(33，66)的預測區塊(1424)。經裁切的參考影像(1422)中之預測區塊(1424)之位置為目前區塊(1412)之位置加上MV(1414)、再自經裁切的參考影像(1422)之位置減去偏移： (256，192)+(-127，-66)-(96，64)=(33，62)
為了比較之目的，MV (1414)將在原始參考影像中指示左上角為位置(129，126)的預測區塊(1424)。原始參考影像(1420)中之預測區塊(1424)之位置將為目前區塊(1412)之位置加上MV(1414)： (256，192)+(-127，-66) =(129，126)
裁切參考影像可顯著地減少儲存參考影像所使用的記憶體量。舉例而言，考慮到帶有影片群組(「GOP」)大小為8及啟用時間可適性的階層式B畫面編碼結構。對於最低層來說，使用相關於最低層中之先前影像的節點影像編碼或影像間預測來編碼每第8個影像(例如 ，顯示順序中之影像0、影像8、影像16及影像24等)。對於下一層來說，使用雙向影像間預測來新增及編碼在最低層之影像間中間的影像(例如 ，顯示順序中之影像4、影像12、影像20及影像28等)。對於下一層來說，使用雙向影像間預測來新增及編碼在較低兩層之影像間中間的影像(例如 ，顯示順序中之影像2、影像6、影像10及影像14等)。最後，對於最後一層來說，使用雙向影像間預測來新增及編碼在先前三層之影像間的影像(例如 ，顯示順序中的影像1、影像3、影像5及影像7等)。對於此編碼結構來說，視訊編碼器及視訊解碼器可能需要在解碼期間緩衝四個參考影像：來自最底層的兩個經重建影像、來自第二層的經重建影像及來自第三層的經重建影像。若電腦系統僅有足夠緩衝兩個完整參考影像的記憶體，則對於在帶有GOP大小為8的階層式B畫面編碼結構中編碼的視訊來說，將不可能解碼(因無法緩衝四個完整參考影像)。可替代地以減少的編碼效率來使用較小的GDP大小(如2)。或，參考影像之裁切可減少當GDP大小為8時用來緩衝四個參考影像的記憶體量。在此情況中，視訊編碼器及視訊解碼器選擇性地保留經重建影像之區域於經裁切參考影像中(受制於用來緩衝參考影像之總記憶體的上限)。
更廣泛來說，參考影像之裁切可減少用來緩衝用於視訊之參考影像的記憶體量，該視訊係用啟用或不啟用時間可適性之各種編碼結構之任一結構(例如 ，階層式B畫面編碼結構、非階層式B畫面編碼結構、階層式P畫面編碼結構及非階層式P畫面編碼結構)所編碼。3. 示例性之編碼 / 解碼期間的參考影像裁切
圖15展示在視訊編碼或視訊解碼期間用來裁切參考影像的範例技術(1500)。視訊編碼器系統(如參考圖3所描述的視訊編碼器系統(300)或另一視訊編碼器系統) 在編碼視訊序列的一或多個影像時執行技術(1500)，以產生經編碼資料。或，視訊解碼器系統(如參考圖5所描述的視訊解碼器系統(500)或另一視訊解碼器系統)在解碼經編碼資料時執行技術(1500)，以重建視訊序列的一或多個影像。
參考圖15，視訊編碼器系統或視訊解碼器系統重建(1510)視訊序列之一或多個影像的給定影像。視訊編碼器/解碼器系統根據裁切參數裁切(1520)經重建影像。如此一來，視訊編碼器/解碼器系統裁剪經重建影像的至少一些區域以產生經裁切影像。視訊編碼器/解碼器系統亦可併入空間解析度的縮放。舉例而言，視訊編碼器/解碼器系統在裁切前縮放經重建影像。或，作為另一範例，視訊編碼器/解碼器系統縮放經裁切影像。
在一些示例性的實施例中，視訊編碼器系統及視訊解碼器系統根據一或多個規則來決定裁切參數。在此情況中，因視訊解碼器系統係獨立導出裁切參數，故視訊編碼器系統將不信號傳遞指示裁切參數之位元流中的裁切資訊。下個章節描述設定裁切參數的範例方法，該等範例方法可應用至視訊編碼器系統及視訊解碼器系統。
作為替代地，視訊編碼器系統可決定及作為位元流之部分來輸出指示裁切參數的裁切資訊。在此情況中，視訊解碼器系統接收裁切資訊及使用該裁切資訊以決定裁切參數。舉例而言，裁切資訊包含指示經重建影像內之經裁切影像之位置的資訊。可用經重建影像中之經裁切影像之左上角及右下角座標來具體指定位置。或，可用經裁切影像之左上角座標及寬度/高度來具體指定位置。或，可用一些其他方式來具體指定經裁切影像之位置。裁切資訊亦可包含經重建影像之辨識符及經重建影像之原始空間解析度。位元流中之縮放因子可在裁切前指示如何縮放經重建影像或如何縮放經裁切影像。下個章節描述設定裁切參數的範例方法，該等方法可由視訊解碼器系統在定義裁切資訊時所應用。
視訊編碼器/解碼器系統儲存(1530)經裁切影像於緩衝器中以作為參考影像。緩衝器可為DPB或在視訊編碼器/解碼器系統處的其他緩衝器。視訊編碼器/解碼器系統後續使用(1540)參考影像於移動補償操作中。在一些示例性的實施中，當編碼/解碼目前影像的目前區塊時，視訊編碼器/解碼器系統決定用於目前區塊的MV。目前區塊在移動補償操作之至少一操作中參考了參考影像(經裁切的參考影像)。視訊編碼器/解碼器系統調整由MV所參考之位置，以補償裁切。舉例而言，視訊編碼器/解碼器系統結合(增加或減去)水平偏移及/或垂直偏移，以說明原始經重建影像內之經裁切影像的位置。視訊編碼器/解碼器系統亦可調整MV以補償參考影像之縮放。舉例而言，視訊編碼器/解碼器系統藉由與(經裁切的)參考影像相同的縮放因子來縮放MV。視訊編碼器/解碼器系統亦可調整用於裁切的偏移，以補償參考影像的縮放。
視訊編碼器系統或視訊解碼器系統指定參考影像索引給(經裁切的)參考影像。視訊編碼器系統及視訊解碼器系統可根據一或多個規則來指定參考影像索引。或，視訊編碼器系統可指定參考影像索引及信號資訊於指示參考影像的位元流中，在此情況中視訊解碼器系統接收資訊及因而指定參考影像索引。
視訊編碼器系統或視訊解碼器系統可自一個經重建影像來產生多個經裁切參考影像。舉例而言，視訊編碼器/解碼器系統根據第二(或第三、第四等)裁切參數來裁切經重建影像，該等裁切參數不同於先前所使用的第一裁切參數。如此一來，視訊編碼器/解碼器系統裁剪經重建影像的至少一些區域，以產生不同於第一經裁切影像的第二 (或第三、第四等)經裁切影像。視訊編碼器/解碼器系統儲存第二(或第三、第四等) 經裁切影像於緩衝器中以作為影像間預測的參考影像及指定不同的參考影像索引給不同的經裁切參考影像。當自相同的經重建影像建立多個經裁切影像時，多個經裁切影像可重疊或不重疊。
除了緩衝自經重建影像所產生的一或多個經裁切的參考影像外，視訊編碼器系統或視訊解碼器系統可儲存原始經重建影像於緩衝器中以作為參考影像。4. 當設定裁切參數時之示例性決定
視訊編碼器系統及視訊解碼器系統可使用各種方法的任一方法來設定用來從經重建影像產生經裁切參考影像的裁切參數。
根據方法的第一集合，視訊編碼器系統或視訊解碼器系統設定裁切參數以避免儲存冗餘的影像內容於參考影像中。舉例而言，視訊編碼器系統或視訊解碼器系統比較經重建影像及一或多個先前所重建的其他影像。基於比較結果，視訊編碼器系統或視訊解碼器系統辨識經重建影像中的新區域，之後定義裁切參數以包含新區域但排除經重建影像的至少一其他區域。或，做為另一範例，視訊編碼器系統或視訊解碼器系統辨識自另一影像所複製之經重建影像之區域。視訊編碼器系統或視訊解碼器系統定義裁切參數以排除經複製區域但包含經重建影像的至少一其他區域(新的、非經複製的區域)。以此方式，視訊編碼器/解碼器系統可(在沒有殘量值的情況中)丟棄直接自另一影像所複製的區域，但儲存其他區域來做為經裁切參考影像之部分。
視訊編碼器系統/視訊解碼器系統可不使用基於低層級、每區塊每區塊來辨識新區域之方法，而是做出用於經重建影像之較大部分的決定。舉例而言，視訊編碼器系統或視訊解碼器系統決定部分中之區塊之閥值比例是否缺少殘量值(即，自另一影像所複製的)。若是，則保留部分為經裁切參考影像之部分。或，視訊編碼器系統或視訊解碼器系統決定部分中之區塊之閥值比例是否為畫面內編碼的(及因而被假設為具有新的影像內容)。若是，則保留部分為經裁切參考影像之部分。對於任一測試來說，閥值比例係取決於實施(例如 ，80%及90%)。
根據方法的第二集合，視訊編碼器系統設定裁切參數以保留確切用於參考影像的影像內容。舉例而言，視訊編碼器系統量測經重建影像的使用率來作為用於一或多個其他影像之移動估計中的參考影像。視訊編碼器系統辨識經重建影像中的經使用區域，且之後定義裁切參數以包含經使用區域但排除經重建影像的至少一其他區域。視訊編碼器系統可同時衡量多個經重建影像以決定哪個區域是確切用於給定影像之區塊之影像間預測中之參考。若經重建影像之一影像之一區域從未用於影像間預測中之參考，則視訊編碼器系統移除區域。在以此方式消除不使用區域後，視訊編碼器系統可使用給定影像之區塊之影像間預測中之保留區域(現在為一或多個經裁切參考影像之部分)。
視訊編碼器系統可不使用基於低層級、每區塊每區塊來辨識用於影像間預測之區域之方法，而是做出用於經重建影像之較大部分的決定。舉例而言，視訊編碼器系統決定是否將部分中之內容之閥值比例用於影像間預測之參考。若是，則保留部分為經裁切參考影像之部分。閥值比例係取決於實施(例如 ，70%、80%及90%)。
作為替代地，視訊編碼器系統或視訊解碼器系統使用設定裁切參數的另一方法。若視訊編碼器系統及視訊解碼器系統獨立導出裁切參數，則視訊編碼器系統不須信號傳遞裁切參數至視訊解碼器系統。D. 參考影像的去雜訊
此章節係描述在視訊編碼及視訊解碼期間對參考影像去雜訊的新方法。舉例而言，視訊編碼器及視訊解碼器對參考影像濾波以移除攝影雜訊(例如 ，肇因於攝影期間之攝影機缺陷的雜訊)。經去雜訊的參考影像可提供更佳結果於影像間預測中，從而改善視訊編碼效率。 1.對參考影像的去雜訊之簡介
當攝影機捕捉視訊影像時，經捕捉的視訊影像可包含由攝影機在攝影程序期間所隨機引入的雜訊。在一些情況中，輸入影像中之隨機雜訊在編碼及解碼期間(例如，肇因為量化)經衰減、或經平滑。然，在其他情況中， 在整個編碼/解碼處理中保留輸入影像中之隨機雜訊，以便影像之經重建版本亦包含隨機雜訊。
隨機雜訊不同於不同的輸入影像。肇因為隨機雜訊，相同物件在不同影像中可具有不同的樣本值。因此，參考影像中之隨機雜訊可傷害使用參考影像之影像間預測的品質。舉例而言，經編碼的目前區塊中的隨機雜訊不會匹配在參考影像之對應區塊中的隨機雜訊。
視訊編碼器及視訊解碼器可對參考影像濾波以移除參考影像中的隨機雜訊(例如 ，來自攝影機攝影的雜訊)。「經去雜訊的」參考影像典型地提供相當接近匹配的經編碼區塊之預測區塊；此事減少了殘量值中之資訊量或能量，從而改善了編碼效率。典型地，視訊編碼器及視訊解碼器除了參考影像之其他濾波外(例如 ，在參考影像之其他濾波後)還執行參考影像的去雜訊以自輸入影像移除隨機雜訊，以移除被新增至編碼/解碼程序中的區塊效應、漣漪效應及其他類型的錯誤。
視訊編碼器及視訊解碼器儲存經去雜訊的參考影像於DPB或其他緩衝器中，該經去雜訊的參考影像有效地取代原始參考影像。作為替代地，視訊編碼器及視訊解碼器亦可儲存原始參考影像於DPB或其他緩衝器中，來提供另一用於影像間預測的選項。 2.示例性使用參考影像的去雜訊
當對參考影像濾波時，視訊編碼器及視訊解碼器每者可應用相同的規則集，以移除隨機雜訊。在此情況中，視訊編碼器不須信號傳遞任何濾波資訊給視訊解碼器。視訊編碼器及視訊解碼器獨立地導出任何用於濾波器的濾波參數及應用濾波器至參考影像。濾波器可為固定濾波器，該固定濾波器在編碼/解碼期間不變化。或，濾波器可為自適應性濾波器，該自適應性濾波器在編碼/解碼期間變化。舉例而言，視訊編碼器及視訊解碼器應用低通濾波器於頻域中(例如 ，在頻率資料上)。或，視訊編碼器及視訊解碼器計算平均樣本值於空間/時間域中。或，視訊編碼器及視訊解碼器計算中位數樣本值於空間/時間域中。或，視訊編碼器及視訊解碼器應用使用區塊匹配及三維濾波(「BM3D」)的濾波器。作為替代地，視訊編碼器及視訊解碼器執行一些其他類型的濾波以自經重建影像移除隨機雜訊。
決定用於在每影像每影像基礎上去雜訊的濾波器參數可為計算密集程序(特別是若濾波使用BM3D濾波或相似程序的話)。在一些情況中，視訊解碼器系統缺少決定用於去雜訊之濾波器參數的資源。為解決此問題，視訊編碼器可在編碼期間決定用於去雜訊之濾波器參數，之後信號傳遞指示濾波器參數的濾波器資訊至視訊解碼器。視訊編碼器可使用濾波器資訊以快速決定視訊解碼器所使用以用於去雜訊之濾波器的濾波器參數。
圖16a及圖16b個別圖示說明視訊編碼器(1600)及視訊解碼器(1650)之範例，該等範例使用參考影像的去雜訊，其中視訊編碼器(1600)決定濾波器參數及信號傳遞該等濾波器參數至視訊解碼器(1650)。圖16a及圖16b中所展示的一些元件係對應至圖4a及圖6中之元件。
參考圖16a，視訊編碼器(1600)包含濾波控制(460)及一或多個濾波器(465)，該濾波控制(460)及該一或多個濾波器(465)執行參考影像的去雜訊。濾波控制(460)接收給定影像的輸入版本(1605)及給定影像的經重建版本(1607)(即，參考影像)。
濾波控制(460)計算濾波器參數(1612)。舉例而言，濾波控制(460) 使用BM3D濾波或另一類型的濾波來執行給定影像之輸入版本(1605)上之去雜訊。之後，濾波控制(460)使用給定影像的經去雜訊的輸入版本為最佳化目標，以導出濾波器參數(1612)。最佳化產生濾波器參數，該等濾波器參數將使給定影像的經重建版本(1607)更像給定影像的經去雜訊的輸入版本。在一些示例性的實施例中，濾波器參數(1612)為自適應環路濾波器(「ALF」)參數或用於維納濾波器之參數的一些其他變化。作為替代地，濾波器參數(1612)為另一類型的濾波器參數。
將濾波器參數(1612)提供至(多個)濾波器(465)及至標頭格式化器/熵編碼器(490)。標頭格式化器/熵編碼器(490)產生用於經編碼資料的位元流中之輸出的濾波器資訊。濾波器資訊指示濾波器參數。視訊編碼器中之(多個)濾波器(465)使用濾波器參數(1612)以決定如何將給定影像(參考影像)的經重建版本(1607)去雜訊。濾波產生經提供至DPB(470)或另一緩衝器的給定影像(參考影像)的經去雜訊版本(1622)。
參考圖16b，視訊解碼器(1600)包含一或多個濾波器(665)，該一或多個濾波器(665)執行參考影像的去雜訊。(多個)濾波器(665)自解析器/熵解碼器 (610)接收濾波器參數(1612)。舉例而言，濾波器參數(1612)為ALF參數或用於維納濾波器之參數的一些其他變化。作為替代地，濾波器參數(1612)為另一類型的濾波器參數。
(多個)濾波器(665)亦接收給定影像(即，參考影像)的經重建版本(1607)。視訊解碼器中之(多個)濾波器(665)使用濾波器參數(1612)以決定如何將給定影像(參考影像) 的經重建版本(1607)去雜訊。濾波產生經提供至DPB(670)或另一緩衝器的給定影像 (參考影像) 的經去雜訊版本(1622)。3. 示例性之在編碼 / 解碼期間之參考影像的去雜訊
圖17展示用於在視訊編碼或視訊解碼期間對參考影像去雜訊的範例技術(1700)。視訊編碼器系統(如參考圖3所描述的視訊編碼器系統(300)或另一視訊編碼器系統) 於編碼視訊序列之一或多個影像時執行技術(1700)，以產生經編碼資料。或，視訊解碼器系統(如參考圖5所描述的視訊解碼器系統(500)或另一視訊解碼器系統) 於解碼經編碼資料時執行技術(1700)，以重建視訊序列的一或多個影像。
參考圖17，視訊編碼器系統或視訊解碼器系統重建(1710)視訊序列的一或多個影像的給定影像。視訊編碼器/解碼器系統以經調適以移除隨機雜訊的濾波器來對經重建影像濾波(1720)，以產生經去雜訊影像。舉例而言，濾波器為頻域低通濾波器之變化、空間/時間域低通濾波器之變化、空間/時間域中值濾波器之變化或使用區塊匹配及三維濾波的濾波器。
在一些示例性實施中，視訊編碼器系統及視訊解碼器系統每者根據一或多個規則來決定用於濾波器的濾波器參數。在此情況中，因視訊解碼器系統獨立導出濾波器參數，故視訊編碼器系統不需信號傳遞指示濾波器參數之位元流中的濾波器資訊。
做為替代地，視訊編碼器系統可決定濾波器參數及做為位元流的部分來輸出指示濾波器參數的濾波器資訊。在此情況中，視訊解碼器系統接收濾波器資訊，及使用該濾波器資訊以決定濾波器參數。舉例而言，視訊編碼器系統對給定影像的輸入版本濾波以產生給定影像的經去雜訊的輸入版本，該視訊編碼器系統之後基於比較給定影像的經去雜訊的輸入版本與經重建影像的結果來決定用於濾波器的濾波器參數。特定言之，可將給定影像的經去雜訊的輸入版本做為用於經重建影像的最佳化目標。
視訊編碼器/解碼器系統儲存(1730)經去雜訊影像於緩衝器中以作為參考影像。緩衝器可為DPB或在視訊編碼器/解碼器系統處的其他緩衝器。視訊編碼器/解碼器系統後續使用(1740)參考影像於移動補償操作中。
視訊編碼器系統或視訊解碼器系統指定參考影像索引給(經去雜訊的)參考影像。可由視訊編碼器系統及視訊解碼器系統根據一或多個規則來指定參考影像索引。或，視訊編碼器系統可指定參考影像索引及信號傳遞指示參考影像索引之位元流中之資訊，在此情況中視訊解碼器系統接收資訊及因而指定參考影像索引。
除了緩衝由經重建影像所產生的經去雜訊的參考影像外，視訊編碼器系統或視訊解碼器系統可儲存原始經重建影像於緩衝器中以作為參考影像。E. 特徵
不同實施例可包含一或多個展示於下列特徵表格中的發明特徵。
鑒於眾多可應用本發明所揭露之原則的可能實施例，應瞭解經圖示說明的實施例僅為本發明的較佳範例，該等經圖示說明的實施例應不被視為限制本發明之範疇。取而代之的是，係由下列申請專利範圍來定義本發明之範疇。因此我們聲稱本發明係全來自本案申請專利範圍之範疇及精神。
100‧‧‧計算系統 110‧‧‧中央處理單元 115‧‧‧圖形或協作處理單元 120‧‧‧記憶體 125‧‧‧記憶體 140‧‧‧存儲 150‧‧‧輸入裝置 160‧‧‧輸出裝置 170‧‧‧通訊連接 180‧‧‧軟體 201‧‧‧網路環境 202‧‧‧網路環境 210‧‧‧RTC工具 212‧‧‧編碼工具 214‧‧‧播放工具 220‧‧‧視訊編碼器 250‧‧‧網路 270‧‧‧視訊解碼器 300‧‧‧視訊編碼器系統 310‧‧‧視訊來源 311‧‧‧來源視訊影像 320‧‧‧來源影像的暫時記憶體儲存區域 321‧‧‧影像緩衝器 322‧‧‧影像緩衝器 32n‧‧‧影像緩衝器 330‧‧‧影像選擇器 331‧‧‧目前影像 340‧‧‧視訊編碼器 341‧‧‧經編碼影像 342‧‧‧MMCO/RPS資訊 350‧‧‧解碼程序模擬器 351‧‧‧經解碼影像 360‧‧‧經解碼影像的暫時記憶體儲存區域 361‧‧‧影像緩衝器 362‧‧‧影像緩衝器 363‧‧‧影像緩衝器 36n‧‧‧影像緩衝器 369‧‧‧經解碼影像 370‧‧‧暫時的經編碼資料區域 371‧‧‧經聚合資料 380‧‧‧通道編碼器 390‧‧‧通道 405‧‧‧視訊信號 410‧‧‧分塊模組 418‧‧‧殘量 420‧‧‧編碼控制 422‧‧‧一般的控制資料 430‧‧‧轉換器/縮放器/量化器 432‧‧‧經量化的轉換係數資料 435‧‧‧縮放器/逆轉換器 438‧‧‧重建 440‧‧‧節點影像預測估計器 442‧‧‧畫面內預測資料 445‧‧‧節點影像預測器 450‧‧‧移動估計器 452‧‧‧移動資料 455‧‧‧移動補償器 458‧‧‧預測 460‧‧‧濾波控制 462‧‧‧濾波器控制資料 465‧‧‧合併器/濾波器 470‧‧‧DPB 490‧‧‧標頭格式化器/熵編碼器 495‧‧‧經編碼的視訊位元流 500‧‧‧解碼器系統 510‧‧‧通道 520‧‧‧通道解碼器 521‧‧‧經編碼資料 530‧‧‧經編碼資料區域 531‧‧‧經編碼影像 532‧‧‧MMCO/RPS資訊 550‧‧‧視訊解碼器 551‧‧‧經解碼影像 560‧‧‧經解碼影像的暫時記憶體儲存區域 561‧‧‧影像緩衝器 562‧‧‧影像緩衝器 563‧‧‧影像緩衝器 56n‧‧‧影像緩衝器 569‧‧‧經解碼影像 580‧‧‧輸出定序器 581‧‧‧下個影像 590‧‧‧輸出目的地 605‧‧‧經編碼的視訊位元流 610‧‧‧解析器/熵解碼器 620‧‧‧一般解碼控制 622‧‧‧一般控制資料 632‧‧‧經量化的轉換係數資料 635‧‧‧縮放器/逆轉換器 638‧‧‧重建 642‧‧‧畫面內預測資料 645‧‧‧節點影像預測器 652‧‧‧移動資料 655‧‧‧移動補償器 658‧‧‧預測 662‧‧‧濾波控制資料 665‧‧‧合併器/濾波器 670‧‧‧DPB 695‧‧‧經重建的視訊 700‧‧‧用於視訊編碼的技術 710‧‧‧編碼 720‧‧‧輸出 730‧‧‧確認 800‧‧‧用於視訊解碼的技術 810‧‧‧接收 820‧‧‧解碼 830‧‧‧確認 900‧‧‧範例 1010‧‧‧範例序列 1020‧‧‧範例序列 1030‧‧‧範例序列 1040‧‧‧範例序列 1100‧‧‧技術 1110‧‧‧決定 1120‧‧‧編碼 1130‧‧‧編碼 1200‧‧‧技術 1210‧‧‧解碼 1220‧‧‧解碼 1310‧‧‧範例 1311‧‧‧經重建影像 1312‧‧‧經裁切影像 1320‧‧‧範例 1321‧‧‧經重建影像 1322‧‧‧經裁切影像 1323‧‧‧經裁切影像 1330‧‧‧範例 1331‧‧‧經重建影像 1332‧‧‧經裁切影像 1333‧‧‧經裁切影像 1340‧‧‧範例 1341‧‧‧經重建影像 1342‧‧‧經裁切的經縮放影像 1350‧‧‧範例 1351‧‧‧經重建影像 1352‧‧‧經裁切影像 1400‧‧‧範例 1410‧‧‧目前影像 1412‧‧‧目前區塊 1414‧‧‧MV 1420‧‧‧經重建影像 1422‧‧‧經裁切的參考影像 1424‧‧‧預測區塊 1500‧‧‧技術 1510‧‧‧重建 1520‧‧‧裁切 1530‧‧‧儲存 1540‧‧‧使用 1600‧‧‧視訊編碼器 1605‧‧‧給定影像的輸入版本 1607‧‧‧給定影像的經重建版本 1612‧‧‧濾波器參數 1622‧‧‧給定影像(參考影像)的經去雜訊版本 1650‧‧‧視訊解碼器
圖1為圖示說明範例計算系統之圖，該範例計算系統其中可實施一些經描述的實施例。
圖2a及圖2b為圖示說明範例網路環境之圖，該範例網路環境其中可實施一些經描述的實施例。
圖3為圖示說明範例視訊編碼器系統之圖，與該範例視訊編碼器系統結合可實施一些經描述的實施例。
圖4a及4b為圖示說明範例視訊編碼器之圖，與該範例視訊編碼器結合可實施一些經描述的實施例。
圖5為範例解碼器系統之圖，與該範例解碼器系統結合可實施一些經描述的實施例。
圖6為圖示說明範例視訊解碼器之圖，與該範例視訊解碼器結合可實施一些經描述的實施例。
圖7及圖8為流程圖，該等流程圖個別圖示說明用於視訊編碼及視訊解碼之包含彈性參考影像管理的廣義技術。
圖9為流程圖，該流程圖圖示說明當編碼或解碼使用全域參考影像集(「 GRPS」)時對經解碼影像緩衝(「 DPB」)更新的範例。
圖10a至10d為圖示說明在位元流中經編碼資料之單元(包含GRPS單元)的範例序列之圖。
圖11及圖12為流程圖，該等流程圖個別圖示說明使用為GRPS部分的全域參考影像來做視訊編碼及視訊解碼的範例技術。
圖13a至圖13e為圖示說明參考影像之裁切的範例之圖。
圖14為圖示說明涉及經裁切參考影像之移動補償之圖。
圖15為流程圖，該流程圖圖示說明用於在視訊編碼或視訊解碼期間裁切參考影像的範例技術。
圖16a至圖16b為流程圖，該等流程圖個別圖示說明使用參考影像之去雜訊的視訊編碼器及視訊解碼器之範例。
圖17為流程圖，該流程圖圖示說明在視訊編碼或視訊解碼期間將參考影像去雜訊的範例技術。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
(請換頁單獨記載) 無
470‧‧‧DPB
670‧‧‧DPB
900‧‧‧範例

Claims (20)

  1. 一種電腦系統，包含一緩衝器及一視訊編碼器，該視訊編碼器經配置以執行視訊編碼操作，該等視訊編碼操作包含以下操作： 編碼一視訊序列的一或多個影像以產生經編碼資料，該編碼一視訊序列的一或多個影像以產生經編碼資料之操作包含：決定一全域參考影像，該全域參考影像為一全域參考影像集的部分；編碼該全域參考影像以產生用於該全域參考影像的經編碼資料；編碼其他影像以產生用於該等其他影像的經編碼資料，該等其他影像包含經指派為一隨機存取影像之至少一影像，其中該全域參考影像可跨越一或多個隨機存取邊界得到，該一或多個隨機存取邊界係由該經指派為一隨機存取影像之至少一影像所定義；及輸出該經編碼資料為一位元流的部分，該經編碼資料包含用於該全域參考影像之該經編碼資料及用於該等其他影像之該經編碼資料；該緩衝器經配置以儲存該位元流的該部分。
  2. 如請求項1所述之電腦系統，其中，作為該編碼該等其他影像之操作之部分，該經指派的隨機存取影像使用該全域參考影像以作為移動補償操作的參考，其中該全域參考影像具有一參考影像辨識符，及其中該等移動補償操作使用該參考影像辨識符以定位該全域參考影像於一緩衝器中。
  3. 如請求項1所述之電腦系統，其中該編碼該視訊序列的該一或多個影像之操作包含以下操作： 定義一或多個控制該編碼該等其他影像之操作的參數集，其中該一或多個參數集可跨越該一或多個隨機存取邊界得到。
  4. 如請求項1所述之電腦系統，其中該編碼該全域參考影像之操作包含以下操作： 僅使用節點影像壓縮操作；或 使用另一全域參考影像以作為移動補償操作的參考。
  5. 如請求項1所述之電腦系統，其中以該位元流中之一單元類型來標記用於該全域參考影像的該經編碼資料，以作為該全域參考影像集的部分。
  6. 如請求項1所述之電腦系統，其中該編碼該等其他影像之操作包含以下操作：對於該等其他影像之一給定影像來說： 建立一目前參考影像集，該目前參考影像集包含可作為移動補償操作參考的影像，該等移動補償操作係用於該給定影像及在位元流順序中該給定影像後的任何影像，該目前參考影像集包含該全域參考影像；及 自該目前參考影像集建立一或多個參考影像列表。
  7. 如請求項1所述之電腦系統，其中該決定該全域參考影像之操作包含以下操作中之一操作，該等以下操作為： 自該視訊序列之該一或多個影像間選擇該全域參考影像；及 自該視訊序列之兩個或多個影像來建立該全域參考影像。
  8. 如請求項1所述之電腦系統，其中該決定該全域參考影像之操作包含以下操作中的一操作，該等以下操作為： 週期性新增另一全域參考影像至該全域參考影像集； 偵測該視訊序列中之一場景變化，及自該場景變化後的該一或多個影像中的那些影像來選擇或建立該全域參考影像； 偵測該視訊序列中之一場景至一場景變化，及自該全域參考影像集內將該全域參考影像辨識為先前與該視訊序列中的該場景相關；及 衡量該視訊序列之至少一些影像為用於該全域參考影像的選項，及自該等經衡量選項間辨識該全域參考影像。
  9. 一種電腦可讀取媒體，該電腦可讀取媒體具有儲存於其中的電腦可執行指令，該等電腦可執行指令係使一電腦系統藉由該等電腦可執行指令程式化以執行視訊編碼操作，該等視訊編碼操作包含以下操作： 編碼一視訊序列的一或多個影像，以產生經編碼資料，該編碼操作包含以下操作： 重建該一或多個影像的一給定影像； 根據裁切參數來裁切該經重建影像，該裁切操作包含以下操作：裁剪該經重建影像的至少一些區域以產生一經裁切影像； 儲存該經裁切影像於一緩衝器中以作為一參考影像；及 使用該參考影像於移動補償操作中；及 作為一位元流的部分來輸出該經編碼資料。
  10. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作中的一或多個操作，該等以下操作為： 在該裁切操作前縮放該經重建影像；及 縮放該經裁切影像。
  11. 如請求項9所述之電腦可讀取媒體，其中該位元流中的裁切資訊指示該等裁切參數，及其中該裁切資訊包含指示該經重建影像內之該經裁切影像之位置的資訊。
  12. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作，該以下操作為： 根據一或多個規則來決定該等裁切參數。
  13. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作，該等以下操作為： 決定用於一目前影像之一目前區塊的一移動向量，其中該目前區塊於該等移動補償操作之至少一者中參考該參考影像；及 調整由該移動向量所參考的一位置，以補償該裁切。
  14. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作，該等以下操作為： 將該經重建影像與一或多個其他影像做比較，該一或多個其他影像先前已被重建； 於該經重建影像中辨識一新區域；及 定義該等裁切參數以包含該新區域但排除該經重建影像的至少一其他區域。
  15. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作，該等以下操作為： 量測該經重建影像之使用率以作為用於一或多個其他影像之移動估計中的一參考影像； 辨識該經重建影像中之一經使用區域；及 定義該等裁切參數以包含該經使用區域但排除該經重建影像之至少一其他區域。
  16. 如請求項9所述之電腦可讀取媒體，其中該編碼該視訊序列的該一或多個影像之操作更包含以下操作，該等以下操作為： 辨識之前自另一影像所複製之該經重建影像的區域； 定義該等裁切參數以排除該等經複製區域但包含該經重建影像之至少一其他區域。
  17. 一種在實施一視訊編碼器的一電腦系統中的方法，該方法包含以下步驟： 編碼一視訊序列的一或多個影像以產生經編碼資料，該編碼一視訊序列的一或多個影像以產生經編碼資料之步驟包含以下步驟： 重建該一或多個影像的一給定影像； 對該給定影像的一輸入版本濾波以產生該給定影像的一經去雜訊的輸入版本；及 基於該給定影像的該經去雜訊的輸入版本與該經重建影像的比較結果，來決定用於經調適以移除隨機雜訊之一濾波器的濾波器參數，其中該經編碼資料包含該等濾波器參數； 以該濾波器對該經重建影像濾波，以產生一經去雜訊的影像； 儲存該經去雜訊的影像於一緩衝器中，以作為一參考影像；及 使用該參考影像於移動補償操作中；及 輸出該經編碼資料為一位元流的部分。
  18. 如請求項17所述之方法，其中該決定步驟使用該給定影像的該經去雜訊的輸入版本來做為用於該經重建影像的一最佳化目標。
  19. 如請求項17所述之方法，其中該濾波器係選自由以下濾波器所構成的組，該等濾波器為： 頻域低通濾波器的一變化； 空間/時域低通濾波器的一變化； 空間/時域中值濾波器的一變化；及 使用區塊匹配及三維濾波的一濾波器。
  20. 如請求項17所述之方法，其中該編碼步驟更包含以下步驟： 儲存該經重建影像於該緩衝器中以作為一參考影像。
TW105133510A 2015-11-06 2016-10-18 用於視訊編碼及解碼的彈性參考影像管理 TW201717633A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/093985 WO2017075804A1 (en) 2015-11-06 2015-11-06 Flexible reference picture management for video encoding and decoding

Publications (1)

Publication Number Publication Date
TW201717633A true TW201717633A (zh) 2017-05-16

Family

ID=58661447

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133510A TW201717633A (zh) 2015-11-06 2016-10-18 用於視訊編碼及解碼的彈性參考影像管理

Country Status (5)

Country Link
US (5) US10531111B2 (zh)
EP (1) EP3371974B1 (zh)
CN (1) CN107113422B (zh)
TW (1) TW201717633A (zh)
WO (1) WO2017075804A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195666A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
EP3610649A1 (en) * 2017-04-11 2020-02-19 VID SCALE, Inc. 360-degree video coding using face continuities
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US10602178B1 (en) * 2017-12-21 2020-03-24 Mozilla Corporation Systems and methods for frame context selection
JP2022500914A (ja) * 2018-09-14 2022-01-04 ヴィド スケール インコーポレイテッド フレキシブルグリッドリージョンのための方法および装置
WO2020057648A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种帧间预测方法和装置
WO2020056798A1 (zh) 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
CN111416977B (zh) * 2019-01-07 2024-02-09 浙江大学 视频编码器、视频解码器及相应方法
MX2021009140A (es) * 2019-02-01 2021-10-13 Fraunhofer Ges Forschung Codec de video que permite el acceso aleatorio a subimágenes o regiones y concepto para la composición de video usando el mismo.
WO2020156054A1 (zh) * 2019-02-03 2020-08-06 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN111526368B (zh) * 2019-02-03 2021-09-03 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
JP7379518B2 (ja) * 2019-03-11 2023-11-14 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン プロファイルおよびレベル依存コーディングオプションによる符号化器および復号器、符号化方法および復号方法
EP3941066A4 (en) * 2019-03-24 2022-06-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. FILTER METHOD AND APPARATUS AND COMPUTER STORAGE MEDIUM
SG11202112263YA (en) * 2019-05-04 2021-12-30 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods using an adaptive loop filter
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
WO2021052453A1 (en) 2019-09-18 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Two-part signaling of adaptive loop filters in video coding
CN117278747A (zh) 2019-09-22 2023-12-22 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
CN117834924A (zh) 2019-09-27 2024-04-05 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
US11564018B2 (en) 2019-10-02 2023-01-24 Qualcomm Incorporated Random access at resync points of dash segments
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
KR20220083715A (ko) 2019-10-29 2022-06-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 루마 차이를 이용한 크로스 컴포넌트 적응적 루프 필터
US20210168354A1 (en) * 2019-12-03 2021-06-03 Mellanox Technologies, Ltd. Video Coding System
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
TWI761166B (zh) * 2020-04-01 2022-04-11 聯發科技股份有限公司 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
KR20230029670A (ko) 2020-06-30 2023-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 경계 위치

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258147A1 (en) * 2003-06-23 2004-12-23 Tsu-Chang Lee Memory and array processor structure for multiple-dimensional signal processing
US7400681B2 (en) 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7437013B2 (en) 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US7271749B2 (en) 2004-09-14 2007-09-18 Hewlett-Packard Development Company, L.P. Context-based denoiser that simultaneously updates probabilities for multiple contexts
US8369417B2 (en) 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
TW200843510A (en) * 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
FR2912237A1 (fr) * 2007-02-07 2008-08-08 Thomson Licensing Sas Procede de traitement d'image
US8023562B2 (en) 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
CN101389034B (zh) * 2007-09-14 2010-06-09 华为技术有限公司 一种图像编/解码方法、装置及一种图像处理方法、系统
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
US9241160B2 (en) 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
WO2013022281A2 (ko) * 2011-08-09 2013-02-14 삼성전자 주식회사 다시점 비디오 예측 부호화 방법 및 그 장치, 다시점 비디오 예측 복호화 방법 및 그 장치
JP2013055569A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置、情報処理装置、それらの制御方法、および、プログラム
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US8693793B2 (en) 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
EP2680219A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
US10044913B2 (en) 2012-11-07 2018-08-07 Vid Scale, Inc. Temporal filter for denoising a high dynamic range video
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US9142009B2 (en) * 2013-07-30 2015-09-22 Adobe Systems Incorporated Patch-based, locally content-adaptive image and video sharpening
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
KR102521870B1 (ko) * 2014-01-02 2023-04-13 브이아이디 스케일, 인크. 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置

Also Published As

Publication number Publication date
US20210185345A1 (en) 2021-06-17
WO2017075804A1 (en) 2017-05-11
CN107113422A (zh) 2017-08-29
US10958929B2 (en) 2021-03-23
US20200092574A1 (en) 2020-03-19
EP3371974A1 (en) 2018-09-12
CN107113422B (zh) 2020-08-25
US20220167003A1 (en) 2022-05-26
US20240080470A1 (en) 2024-03-07
US11277631B2 (en) 2022-03-15
US11831899B2 (en) 2023-11-28
EP3371974B1 (en) 2024-05-01
US10531111B2 (en) 2020-01-07
US20180302640A1 (en) 2018-10-18
EP3371974A4 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
US11277631B2 (en) Flexible reference picture management for video encoding and decoding
KR102369117B1 (ko) 비대칭 구획을 갖는 인트라 블록 카피 예측 및 인코더측 검색 패턴, 검색 범위 및 구획화 접근법
CA2935340C (en) Selection of motion vector precision
EP3416386B1 (en) Hash-based encoder decisions for video coding
EP3158751B1 (en) Encoder decisions based on results of hash-based block matching
KR20170021302A (ko) 통합된 인트라 블록 카피 및 인터 예측 모드
EP3254463A1 (en) Skipping evaluation stages during media encoding
KR101747058B1 (ko) 서브 pu 레벨 진보된 레지듀얼 예측
CN115209153B (zh) 编码器、解码器及对应方法
WO2016205154A1 (en) Intra/inter decisions using stillness criteria and information from previous pictures
KR20160129076A (ko) 스크린 컨텐츠의 딕셔너리 인코딩 및 디코딩
KR20160031498A (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
TW202315409A (zh) 運動向量(mv)候選重新排序