TW202110178A - 具有可切換濾波器之參考圖像重新取樣 - Google Patents

具有可切換濾波器之參考圖像重新取樣 Download PDF

Info

Publication number
TW202110178A
TW202110178A TW109121956A TW109121956A TW202110178A TW 202110178 A TW202110178 A TW 202110178A TW 109121956 A TW109121956 A TW 109121956A TW 109121956 A TW109121956 A TW 109121956A TW 202110178 A TW202110178 A TW 202110178A
Authority
TW
Taiwan
Prior art keywords
current
filter
image
filter index
video
Prior art date
Application number
TW109121956A
Other languages
English (en)
Inventor
法迪姆 塞瑞金
穆漢麥德 傑德 柯本
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202110178A publication Critical patent/TW202110178A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

技術針對使用具有可切換濾波器之參考圖像重新取樣之視訊編碼及解碼加以描述。一個實例涉及獲得一當前圖像及一參考圖像，識別用於該當前圖像之一當前區塊之濾波器索引資訊，及判定該當前圖片之第一圖像大小值與該參考圖像之第二圖像大小值不同。基於該判定該當前圖像之該第一圖像大小值與該參考圖像之該第二圖像大小值不同，使用一默認濾波器索引替代由該濾波器索引資訊識別之一當前濾波器索引來執行一重新取樣程序。額外實例可將由該濾波器索引資訊識別之該當前濾波器索引用於後續區塊中。在各個實例中，該當前濾波器索引可經導出或傳信。

Description

具有可切換濾波器之參考圖像重新取樣
本申請案係關於視訊寫碼及壓縮。更具體言之，本申請案係關於提供具有可切換濾波器之參考圖像重新取樣之系統及方法。
許多裝置及系統允許處理並輸出視訊資料以供消耗。數位視訊資料包括大量資料以滿足消費者及視訊提供者之需求。舉例而言，視訊資料之消費者需要具有最優品質(具有高保真度、解析度、圖框速率及其類似者)之視訊。因此，滿足此等需求所需之大量視訊資料對處理及儲存視訊資料之通信網路及裝置造成負擔。
各種視訊寫碼技術可用於壓縮視訊資料。根據一或多個視訊寫碼標準來執行視訊寫碼。舉例而言，視訊寫碼標準包括高效視訊寫碼(high-efficiency video coding；HEVC)、進階視訊寫碼(advanced video coding；AVC)、活動圖像專家組(moving picture experts group；MPEG)-2第2部分寫碼、VP9、開放媒體聯盟(Alliance of Open Media；AOMedia)視訊1 (AOMedia Video 1；AV1)、基本視訊寫碼(Essential Video Coding；EVC)或其類似者。視訊寫碼通常使用利用存在於視訊影像或序列中之冗餘的預測方法(例如，框間預測、框內預測或其類似者)。視訊寫碼技術之重要目標為將視訊資料壓縮成使用較低位元率之形式，同時避免視訊品質之降級或使視訊品質之降級最小化。隨著不斷演進的視訊服務變得可用，需要具有較佳寫碼效率之編碼技術。
本文中描述用於提供改良視訊處理技術之系統及方法。視訊處理之一些實例使用具有預測之視訊壓縮技術來有效率地編碼及解碼視訊資料。舉例而言，視訊編碼器可執行預測以用於藉由將當前區塊與預測區塊(例如，尚未編碼或先前已解碼之區塊)中之像素值進行比較來編碼之當前區塊。預測誤差(亦稱為殘差)可經判定為當前區塊與預測區塊之間的差。當使用來自一或多個其他圖像之一或多個區塊來執行對圖像中之區塊之預測(稱作框間預測)時，運動向量可用於指示預測區塊相對於當前區塊之方位。視訊編碼器可將變換應用於預測誤差(例如，離散餘弦變換(discrete cosine transform；DCT)或其他適合之變換)以生成變換係數。在變換之後，視訊編碼器可量化變換係數。可使用語法元素來表示經量化變換係數及運動向量，且其連同控制資訊一起形成視訊序列之經寫碼表示。在一些情形下，視訊編碼器可熵寫碼語法元素，其可進一步減小表示語法元素所需之位元的數目。
在一些實例中，取樣率轉換可應用於視訊資料。取樣率轉換可包括重新取樣、下取樣、上取樣、內插及/或其他取樣率轉換技術。舉例而言，內插可包括分段常數內插、線性內插、多項式內插以及樣條內插，以及其他內插技術。重新取樣可包括下取樣、上取樣及/或下取樣與上取樣之組合，或在不同取樣速率下獲得新樣本。
在一些實例中，運動預測可藉由框間預測區塊合併技術來增強以簡化逐區塊運動資料傳信。內插任務用於此類情形中，此係由於圖像之間(例如，當前圖像與參考圖像之間)的對象移位獨立於影像之像素柵格。分數準確度(例如，影像中之像素之間的估計置放)可由此用於更準確地捕捉運動。內插濾波器可用於視訊處理以實施分數準確度，尤其當正處理之參考圖像及當前圖像共用相同大小時。內插濾波器用於對影像資料進行濾波以估計分數位置處之影像值，且此分數位置資料可與預測或其他影像處理操作一起使用。
重新取樣指代對影像取某些樣本(例如，某一柵格中之像素)，及在維持來自初始樣本之資料時修改該等樣本(例如，在不同柵格上創建新像素)。如上所指出，重新取樣可包括上取樣，其中來自較低解析度柵格之像素用於在較高解析度柵格中創建像素，以及下取樣，其中來自較高解析度柵格之像素用於在較低解析度柵格中生成像素。在上文所描述之運動預測及運動向量之情形下，當相比較之參考圖像及當前圖像具有不同大小時，參考圖像重新取樣可用於將像素柵格標準化為生成具有分數準確度之影像之部分。當影像處理系統經組態以允許參考圖片具有與當前圖像不同之大小時，由濾波器索引指示之濾波器可適合於處理用於內插濾波(例如，當參考為與當前圖像相同之大小時的分數準確度)之影像但不適合於處理用於利用參考圖像重新取樣之分數準確度(例如，當參考圖像為與當前圖像不同之大小時的分數準確度)之影像。在一些系統中，例如，用於分數準確度之平滑化濾波器可在參考圖像與當前圖像為相同大小時利用內插生成良好結果，但可在與參考圖像重新取樣一起使用時創建較差結果，其中該參考圖像具有與當前圖像不同之像素柵格(例如，不同大小)。本文中所描述之實例藉由識別適當濾波器值來改良解碼及編碼裝置之操作，及在編碼及解碼裝置之操作期間生成改良之編碼及解碼結果。
在各個實例中，此類改良可藉由以下來實施：識別用於當前圖像之當前區塊之濾波器索引資訊，及判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同(例如，其中使用參考圖像重新取樣)。在此情形下，實例使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引(例如，在不使用當前濾波器索引之情況下)來執行重新取樣程序。
在一個說明性實例中，提供一種用於處理視訊資料之設備。設備包括記憶體及在電路中實施之一或多個處理器。一或多個處理器經組態以獲得當前圖像及參考圖像。處理器亦經組態以識別用於當前圖像之當前區塊之濾波器索引資訊及判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同。基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同，一或多個處理器可使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。
在另一實例中，提供一種處理視訊資料之方法。方法包括獲得當前圖像及參考圖像。方法進一步包括識別用於當前圖像之當前區塊之濾波器索引資訊及判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同。方法包括基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同而使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。
在另一實例中，電腦可讀儲存媒體儲存當經執行時引起用於處理視訊資料之裝置之一或多個處理器進行以下操作之指令：獲得當前圖像及參考圖像；識別用於當前圖像之當前區塊之濾波器索引資訊及判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同；及基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同而使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。
在另一實例中，提供一種用於處理視訊資料之設備。設備包括：用於獲得當前圖像及參考圖像之裝置；用於識別用於當前圖像之當前區塊之濾波器索引資訊的裝置；用於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同之裝置；及用於基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同而使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序的裝置。
在一些實例中，儲存於電腦可讀儲存媒體中之方法、設備及指令包括：獲得當前圖像及參考圖像；識別用於當前圖像之當前區塊之濾波器索引資訊；判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同；及基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同而在不使用由濾波器索引資訊識別之當前濾波器索引之情況下執行取樣率轉換程序。
在一些實例中，儲存於電腦可讀儲存媒體中之方法、設備及指令包括：獲得當前圖像及參考圖像；識別用於當前圖像之當前區塊之濾波器索引資訊；判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同；及基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同而使用默認索引值替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括利用當前區塊來儲存由濾波器索引資訊識別之當前濾波器索引及基於由濾波器索引資訊識別之當前濾波器索引而將當前濾波器索引用於運動向量候選推導中以用於後續區塊。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括當在不使用當前濾波器索引來創建默認濾波器索引之情況下執行取樣率轉換程序時指派用於當前濾波器索引之默認值以暫時地替換初始值，及在取樣率轉換程序之後指派用於當前濾波器索引之初始值。在一些情況下，用於當前濾波器索引之默認值指示替代可切換濾波並不應用為取樣率轉換程序之部分。
在一些情況下，濾波器索引資訊包含相鄰區塊資訊且其中當前濾波器索引在合併模式運動向量候選清單推導期間自相鄰區塊資訊推導出。在一些情況下，濾波器索引資訊包含自適應運動向量解析度(adaptive motion vector resolution；AMVR)模式傳信且當前濾波器索引經由AMVR模式傳信來傳信。在一些情況下，取樣率轉換程序為運動補償程序。在一些情況下，取樣率轉換程序為重新取樣程序。在一些情況下，取樣率轉換程序為內插程序。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令使用用於當前圖像之當前區塊之框間預測之參考圖像來操作。在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括判定當前濾波器索引並不用於取樣率轉換程序及回應於判定當前濾波器索引並不用於取樣率轉換程序而用默認值替換當前濾波器索引之值。在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括處理默認值以判定並不應用替代可切換濾波器。在一些實例中，替代可切換濾波器為平滑化濾波器。
在一些情況下，當前濾波器索引值回應於判定當前濾波器索引並不用於取樣率轉換程序中而並不傳信。在一些情況下，當前濾波器索引選自濾波器集合，其中濾波器集合之子集用於執行取樣率轉換程序，且其中濾波器集合之剩餘部分不可用於取樣率轉換。在一些情況下，使用語法元素來選擇當前濾波器索引，該語法元素指示禁止自濾波器集合之剩餘部分選擇當前濾波器索引。
在一些情況下，取樣率轉換程序包括重新取樣程序。在此類情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括識別用於內插之第一濾波器群組及用於重新取樣之第二濾波器群組，其中當前濾波器索引來自第二濾波器群組。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括：獲得第二當前圖像及第二參考圖像；判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值；及基於判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值，使用第二所選濾波器來執行用於第二當前區塊之第二重新取樣程序，其中第二所選濾波器來自第一濾波器群組。
在一些情況下，第一濾波器群組及第二濾波器群組之每一濾波器由相關聯濾波器索引識別。相關聯濾波器索引指示來自用於內插之濾波器集合或用於重新取樣之濾波器集合的相關聯索引值。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括：藉由用於所選濾波器索引值之查找操作而自濾波器索引獲得當前濾波器索引，其中所選濾波器索引值與第二濾波器群組相關聯，且其中所選濾波器索引值與第二濾波器群組之間的關聯係基於判定第一圖像大小值與第二圖像大小值不同。
在一些情況下，儲存於所描述之電腦可讀儲存媒體中之方法、設備及指令進行操作，其中判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同包含判定以下中之至少一者：當前圖像寬度不同於參考圖像寬度，及當前圖像高度不同於參考圖像高度。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括生成包含當前圖像及參考圖像之經編碼視訊位元流。在一些實例中，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括將經編碼視訊位元流發送至解碼裝置。經編碼視訊位元流可利用傳信資訊來發送。傳信資訊包含默認濾波器索引。在一些實例中，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括儲存經編碼視訊位元流。
在一些情況下，儲存於上文所描述之電腦可讀儲存媒體中之方法、設備及指令包括：獲得包含當前圖像及參考圖像之經編碼視訊位元流；識別與經編碼視訊位元流相關聯之傳信資訊，傳信資訊包含濾波器索引資訊；及自經編碼視訊位元流解碼當前圖像之當前區塊。在一些實例中，自經編碼視訊位元流解碼當前圖像之當前區塊包含基於默認濾波器索引而重建構當前區塊。
在一些態樣中，用於處理視訊資料之設備可包括解碼裝置或設備及/或編碼裝置或設備。用於處理視訊資料之設備可為攝影機、行動裝置(例如，行動電話或所謂的「智慧型手機」或其他行動裝置)、可穿戴式裝置、擴展實境裝置(例如，虛擬實境(virtual reality；VR)裝置、擴增實境(augmented reality；AR)裝置或混合實境(mixed reality；MR)裝置)、個人電腦、膝上型電腦、伺服器電腦或其他裝置。在一些態樣中，用於處理視訊資料之設備包括用於捕捉一或多個影像之一或多個攝影機。在一些態樣中，用於處理視訊資料之設備包括用於顯示一或多個影像、通知及/或其他可顯示資料之顯示器。
與方法、設備及電腦可讀媒體中之任一者有關的上文所描述之態樣可個別地或以任何適合組合來使用。
此發明內容並不意欲識別所主張主題之關鍵或基本特徵，亦不意欲單獨使用以判定所主張主題之範疇。應參考此專利之整個說明書之適當部分、任何或所有圖式及每一請求項來理解主題。
在參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
相關申請案之交叉參考
本申請案主張2019年7月9日申請且標題為「具有可切換濾波器之參考圖像重新取樣(Reference Picture Resampling with Switchable Filters)」之美國臨時申請案第62/872,225號之益處，該臨時申請案以全文引用之方式及出於所有目的併入本文中。
在下文提供本發明之某些態樣及實施例。此等態樣及實施例中之一些可獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本申請案之實施例之透徹理解。然而，將顯而易見的是，可在無此等特定細節之情況下實踐各種實施例。圖式及描述並不意欲為限制性的。
隨後之描述僅提供例示性實施例，且並不意欲限制本發明之範疇、可應用性或組態。實際上，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應理解，可在不背離如所附申請專利範圍中所闡述之本申請案之精神及範疇的情況下對元件之功能及配置做出各種變化。
視訊寫碼裝置實施視訊壓縮技術以有效率地編碼及解碼視訊資料。視訊壓縮技術可包括應用不同預測模式(包括空間預測(例如，圖框內預測或框內預測)、時間預測(例如，圖框間預測或框間預測)、層間預測(橫越視訊資料之不同層)及/或其他預測技術)以減少或移除為視訊序列所固有的冗餘。視訊編碼器可將初始視訊序列之每一圖像分割成稱作視訊區塊或寫碼單元(下文更詳細地描述)之矩形區。可使用特定預測模式來編碼此等視訊區塊。
視訊區塊可以一或多種方式劃分成較小區塊之一或多個群組。區塊可包括寫碼樹型區塊、預測區塊、變換區塊及/或其他適合區塊。除非另外指定，否則通常對「區塊」之參考可指此類視訊區塊(例如，寫碼樹型區塊、寫碼區塊、預測區塊、變換區塊或其他適當區塊或子區塊，如一般熟習此項技術者將理解)。另外，此等區塊中之每一者在本文中亦可互換地稱為「單元」(例如，寫碼樹型單元(coding tree unit；CTU)、寫碼單元、預測單元(prediction unit；PU)、變換單元(transform unit；TU)或其類似者)。在一些情況下，單元可指示經編碼於位元流中之寫碼邏輯單元，而區塊可指示程序針對之視訊圖框緩衝器的一部分。
對於框間預測模式，視訊編碼器可搜尋類似於經編碼於定位於另一時間方位中之圖框(或圖像) (稱作參考圖框或參考圖像)中之區塊的區塊。視訊編碼器可將搜尋限定於自待編碼區塊之某一空間移位。可使用包括水平移位分量及垂直移位分量之二維(two-dimensional；2D)運動向量來定位最好匹配。對於框內預測模式，視訊編碼器可基於來自同一圖像內之先前經編碼相鄰區塊之資料而使用空間預測技術來形成預測區塊。
視訊編碼器可判定預測誤差。舉例而言，預測可經判定為經編碼區塊與預測區塊中之像素值之間的差。預測誤差亦可稱作殘差。視訊編碼器亦可將變換應用於預測誤差(例如，離散餘弦變換(DCT)或其他適合之變換)從而生成變換係數。在變換之後，視訊編碼器可量化變換係數。可使用語法元素來表示經量化變換係數及運動向量，且其連同控制資訊一起形成視訊序列之經寫碼表示。在一些情形下，視訊編碼器可熵寫碼語法元素，藉此進一步減小其表示所需之位元的數目。
視訊解碼器可使用上文所論述之語法元素及控制資訊來建構用於解碼當前圖框之預測性資料(例如，預測性區塊)。舉例而言，視訊解碼器可將所預測區塊與經壓縮預測誤差相加。視訊解碼器可藉由使用經量化係數而加權變換基底函數來判定經壓縮預測誤差。經重建構圖框與初始圖框之間的差稱作重建構誤差。
在一些實例中，取樣率轉換可應用於視訊資料。取樣率轉換可包括重新取樣、下取樣、上取樣、內插及/或其他取樣率轉換技術。舉例而言，內插可包括分段常數內插、線性內插、多項式內插以及樣條內插，以及其他內插技術。重新取樣可包括下取樣、上取樣及/或下取樣與上取樣之組合，或在不同取樣速率下獲得新樣本。
在某些系統中，運動預測可藉由框間預測區塊合併技術來增強以簡化逐區塊運動資料傳信。內插任務用於此類情形中，此係由於圖像之間的對象移位獨立於影像之像素柵格。分數準確度(例如，影像中之像素之間的估計置放)可由此用於更準確地捕捉運動。此分數準確度可允許自先前解碼之區塊推斷運動資料。對於內插及分數參考圖像樣本，高精確度可改良濾波。實例系統可取決於系統而支援具有四分之一像素準確度、八分之一像素準確度、十六分之一像素準確度或其他此類準確度之運動向量。在一些實例中，明度及色度分量可在同一系統中具有不同分數準確度。內插濾波器可在此情形下用於處理影像。另外，多個不同內插濾波器可用於不同情形(例如，基於運動向量值)。在可用之不同內插濾波器之間選擇在本文中稱為內插濾波器切換。
重新取樣係指自一個影像獲取像素值及對來自該像素值之資料「重新取樣」以生成用於新影像之新像素值。如上文所描述，重新取樣可包括下取樣，其中來自較高解析度影像之像素值用於生成較低解析度下之影像，以及上取樣，其中來自較低解析度影像之像素值用於生成較高解析度下之影像。在上文所描述之運動預測之情形下，具有不同大小(例如，解析度)之參考影像及當前影像可用於生成運動向量及執行運動預測。重新取樣可在此類情形下用來管理參考圖像與當前圖像之間的按比例調整之差。另外，當參考圖像及當前圖像大小不相同時，濾波器可由濾波器索引指示，該濾波器索引適於在不重新取樣之情況下的內插濾波但不適於在參考圖像重新取樣之情況下的內插濾波。在一些影像處理系統中，例如，用於內插之平滑化濾波器可在用於參考圖像重新取樣時創建較差結果。本文中所描述之實例藉由識別適當濾波器值來改良解碼及編碼裝置之操作，及在編碼及解碼裝置之操作期間生成改良之編碼及解碼結果。在一個實例中，此改良藉由以下來實施：識別用於當前圖像之當前區塊之濾波器索引資訊，及判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同(例如，使用參考圖像重新取樣)。在此情形下，實例使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引(例如，在不使用當前濾波器索引之情況下)來執行重新取樣程序。在下文描述各種實例之額外態樣。
本文中所描述之技術可應用於現有視訊編解碼器中之任一者(例如，高效視訊寫碼(HEVC)、進階視訊寫碼(AVC)或其他適合現有視訊編解碼器)，及/或可為用於正開發之任何視訊寫碼標準及/或將來視訊寫碼標準(諸如多功能視訊寫碼(Versatile Video Coding；VVC)、聯合探索模型(joint exploration model；JEM)及/或在開發中或將開發之其他視訊寫碼標準)的高效寫碼工具。
圖1為說明包括編碼裝置104及解碼裝置112之系統100之實例的方塊圖。編碼裝置104可為源裝置之部分，且解碼裝置112可為接收裝置之部分。源裝置及/或接收裝置可包括電子裝置，諸如行動或靜止電話手機(例如，智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置、網際網路協定(Internet Protocol；IP)攝影機或任何其他適合之電子裝置。在一些實例中，源裝置及接收裝置可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術可適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。
編碼裝置104 (或編碼器)可用於使用視訊寫碼標準或協定來編碼視訊資料以生成經編碼視訊位元流。視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(Scalable Video Coding；SVC)及多視圖視訊寫碼(Multiview Video Coding；MVC)擴展，及高效視訊寫碼(HEVC)或ITU-T H.265。存在涉及多層視訊寫碼之HEVC之各種擴展，包括範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。HEVC及其擴展已藉由ITU-T視訊寫碼專家組(Video Coding Experts Group；VCEG)及ISO/IEC動畫專家組(Motion Picture Experts Group；MPEG)之視訊寫碼聯合協作小組(Joint Collaboration Team on Video Coding；JCT-VC)以及3D視訊寫碼擴展開發聯合協作小組(Joint Collaboration Team on 3D Video Coding Extension Development；JCT-3V)開發。MPEG及ITU-T VCEG已亦形成聯合探索視訊小組(joint exploration video team；JVET)以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體稱作聯合探索模型(JEM)。藉由JVET開發之新的視訊寫碼標準稱作多功能視訊寫碼(VVC)。
HEVC在2013年由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)完成。聯合視訊專家小組(JVET)、藉由MPEG及ITU-T研究組16之VCEG形成的協作小組正致力於新的VVC視訊寫碼標準。VVC之目標係提供對於現有HEVC標準的壓縮效能之顯著改良，輔助較高品質視訊服務及新興應用(例如360°全向沉浸式多媒體、高動態範圍(high-dynamic-range；HDR)視訊，以及其他)的部署。
本文中所描述之許多實施例提供使用JEM模型、VVC、HEVC標準及/或其擴展之實例。然而，如上所指出，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、JPEG (或用於靜止影像之其他寫碼標準)、其擴展，或已經可用或尚未可用或開發之其他適合寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。
參看圖1，視訊源102可將視訊資料提供至編碼裝置104。視訊源102可為源裝置之部分，或可為除源裝置以外的裝置之部分。視訊源102可包括視訊捕捉裝置(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊服務器或內容提供者、自視訊服務器或內容提供者接收視訊之視訊饋入接口、用於生成電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他適合的視訊源。
來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。圖像或圖框為在一些情況下為視訊之部分的靜態影像。在一些實例中，來自視訊源102之資料可為並非視訊之一部分的靜態影像。編碼裝置104之編碼器引擎106 (或編碼器)編碼視訊資料以生成經編碼視訊位元流。在一些實例中，經編碼視訊位元流(或「視訊位元流」或「位元流」)為一系列之一或多個經寫碼視訊序列。經寫碼視訊序列(coded video sequence；CVS)包括一系列存取單元(access unit；AU)，其始於具有在基礎層中且具有某些性質的隨機存取點圖像之AU，直至且不包括具有在基礎層中且具有某些性質的隨機存取點圖像之下一AU。舉例而言，開始CVS之隨機存取點圖像之某些性質可包含等於1的RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊在位元流層級中囊封至稱作網路抽象層(network abstraction layer；NAL)單元之資料單元中。舉例而言，HEVC視訊位元流可包括一或多個CVS，其包括NAL單元。NAL單元中之每一者具有NAL單元標頭。在一個實例中，標頭對於H.264/AVC (除了多層擴展以外)為一個位元組且對於HEVC為兩個位元組。NAL單元標頭中之語法元素採取指定位元，且因此對所有種類之系統及輸送層可見，諸如輸送流、即時輸送(RTP)協定、檔案格式以及其他。
兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。在一些情況下，NAL單元可稱作封包。HEVC AU包括含有經寫碼圖像資料之VCL NAL單元及對應於經寫碼圖像資料之非VCL NAL單元(若存在)。
NAL單元可含有形成視訊資料之經寫碼表示(諸如視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元流、位元流之CVS或類似者)。編碼器引擎106藉由將每一圖像分割成多個圖塊而生成圖像之經寫碼表示。一圖塊獨立於其他圖塊，以使得在不依賴於來自同一圖像內之其他圖塊之資料的情況下寫碼該圖塊中之資訊。圖塊包括一或多個圖塊片段，該一或多個圖塊片段包括獨立圖塊片段及(若存在)相依於先前圖塊片段之一或多個相依圖塊片段。圖塊接著分割成明度樣本及色度樣本之寫碼樹型區塊(coding tree block；CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法稱為寫碼樹型單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可分裂成具有變化大小之多個寫碼單元(CU)。CU含有稱作寫碼區塊(CB)之明度及色度樣本陣列。
明度及色度CB可進一步分裂成預測區塊(prediction block；PB)。PB為對於框間預測或塊內複製預測(在可用或經啟用以供使用時)使用相同運動參數的明度分量或色度分量之樣本之區塊。明度PB及一或多個色度PB以及相關聯語法形成預測單元(PU)。對於框間預測，在位元流中對於每一PU傳信一組運動參數(例如，一或多個運動向量、參考索引或類似者)，且該組運動參數用於明度PB及一或多個色度PB之框間預測。運動參數亦可稱作運動資訊。CB亦可分割成一或多個變換區塊(transform block；TB)。TB表示顏色分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB及對應語法元素。
CU之大小對應於寫碼模式之大小，且可為正方形形狀。舉例而言，CU之大小可為8 × 8樣本、16 × 16樣本、32 × 32樣本、64 × 64樣本或達至對應CTU之大小的任何其他適當大小。片語「N × N」在本文中用以指就垂直及水平尺寸而言之視訊區塊的像素尺寸(例如，8像素 × 8像素)。可按列及行來配置區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯的語法資料亦可描述(例如)根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。
根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(residual quad tree；RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可接著由編碼器引擎106量化。
一旦視訊資料之圖像經分割成CU，編碼器引擎106便使用預測模式來預測每一PU。接著自初始視訊資料減去預測單元或預測區塊以得到殘差(如下描述)。對於每一CU，可使用語法資料在位元流內部傳信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。框內預測利用圖像內之空間相鄰樣本之間的相關性。舉例而言，在使用框內預測之情況下，使用(例如) DC預測以發現PU之平均值、使用平面預測以使平面表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他適合類型之預測，自同一圖像中之相鄰影像資料預測每一PU。框間預測使用圖像之間的時間相關性以便推導影像樣本之區塊的運動補償預測。舉例而言，在使用框間預測之情況下，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)在CU層級處作出使用圖像間預測或圖像內預測來寫碼圖像區域的決策。
在一些實例中，圖像之一或多個圖塊經指派圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(框內預測圖框，可獨立解碼)為僅藉由框內預測寫碼之圖像的圖塊，且因此可獨立解碼，此係因為I圖塊僅需要圖框內之資料來預測圖塊之任何預測單元或預測區塊。P圖塊(單向預測圖框)為可藉由框內預測及藉由單向框間預測寫碼之圖像的圖塊。藉由框內預測或框間預測寫碼P圖塊內之每一預測單元或預測區塊。當應用框間預測時，僅藉由一個參考圖像預測該預測單元或預測區塊，且因此參考樣本僅來自一個圖框之一個參考區。B圖塊(雙向預測性圖框)為可藉由框內預測及藉由框間預測(例如，雙向預測或單向預測)寫碼的圖像之圖塊。B圖塊之預測單元或預測區塊可自兩個參考圖像雙向地預測，其中每一圖像貢獻一個參考區且兩個參考區之樣本集合經加權(例如，運用相等權重或運用不同權重)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊經獨立寫碼。在一些情況下，圖像可僅作為一個圖塊而經寫碼。
如上文所指出，圖像內預測利用圖像內之空間相鄰樣本之間的相關性。圖像間預測使用圖像之間的時間相關性以便推導影像樣本之區塊的運動補償預測。使用平移運動模型，先前解碼之圖像(參考圖像)中的區塊之位置係藉由運動向量
Figure 02_image001
指示，其中
Figure 02_image003
指定水平移位且
Figure 02_image005
指定參考區塊相對於當前區塊之位置的垂直移位。在一些情況下，運動向量
Figure 02_image007
可在整數樣本準確度(亦稱作整數準確度)中，在此情況下運動向量指向參考圖框之整數像素柵格(或整數像素取樣柵格)。在一些情況下，運動向量
Figure 02_image009
可具有分數樣本準確度(亦稱為分數像素準確度或非整數準確度)以更準確地捕捉底層對象之移動，而不限於參考圖框之整數像素柵格。運動向量之準確度可由運動向量之量化等級表達。舉例而言，量化等級可為整數準確度(例如，1像素)或分數像素準確度(例如，¼像素、½像素或其他子像素值)。當對應運動向量具有分數樣本準確度時，對參考圖像應用內插以推導預測信號。舉例而言，可對在整數位置處可用之樣本進行濾波(例如，使用一或多個內插濾波器)以估計分數位置處之值。先前經解碼參考圖像由參考圖像清單之參考索引(refIdx)指示。運動向量及參考索引可稱作運動參數。可執行兩個種類之圖像間預測，包括單向預測及雙向預測。
在框間預測使用雙向預測之情況下，兩組運動參數(
Figure 02_image011
、
Figure 02_image013
、
Figure 02_image015
及
Figure 02_image017
、
Figure 02_image019
、
Figure 02_image021
)用於生成兩個經運動補償之預測(自相同參考圖像或可能自不同參考圖像)。舉例而言，藉由雙向預測，每一預測區塊使用兩個經運動補償之預測信號，且生成B預測單元。接著組合兩個經運動補償之預測以得到最終經運動補償之預測。舉例而言，可藉由取平均值來組合兩個經運動補償之預測。在另一實例中，可使用加權預測，在此情況下，不同權重可應用於每一經運動補償之預測。可用於雙向預測中之參考圖像儲存於兩個分開的清單(表示為清單0及清單1)中。可使用運動估計程序在編碼器處推導運動參數。
在框間預測使用單向預測之情況下，一組運動參數(
Figure 02_image023
、
Figure 02_image025
、
Figure 02_image027
)用以自參考圖像生成經運動補償之預測。舉例而言，藉由單向預測，每一預測區塊使用至多一個經運動補償之預測信號，且生成P預測單元。
PU可包括與預測程序相關之資料(例如，運動參數或其他適合資料)。舉例而言，當使用框內預測來編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測來編碼PU時，PU可包括定義用於PU之運動向量的資料。定義用於PU之運動向量的資料可描述(例如)運動向量之水平分量(
Figure 02_image029
)、運動向量之垂直分量(
Figure 02_image031
)、運動向量之解析度(例如，整數精確度、四分之一像素精確度或八分之一像素精確度)、運動向量指向的參考圖像、參考索引、用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)或其任何組合。
編碼裝置104可接著執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含正經寫碼的像素之當前區塊(PU)與用於預測當前區塊之預測區塊(例如，當前區塊之預測版本)之間的像素差值。舉例而言，在(例如，使用框間預測或框內預測)生成預測區塊之後，編碼器引擎106可藉由自當前區塊減去由預測單元產生之預測區塊來生成殘餘區塊。殘餘區塊包括量化當前區塊之像素值與預測區塊之像素值之間的差的一組像素差值。在一些實例中，殘餘區塊可以二維區塊格式(例如，像素值之二維矩陣或陣列)表示。在此等實例中，殘餘區塊為像素值之二維表示。
使用區塊變換來變換可在執行預測之後剩餘的任何殘餘資料，此變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他適合的變換函數或其任何組合。在一些情況下，一或多個區塊變換(例如，大小32 × 32、16 × 16、8 × 8、4 × 4或其他適合的大小)可應用於每一CU中之殘餘資料。在一些實施例中，TU可用於由編碼器引擎106實施之變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且隨後可使用TU來量化且掃描殘餘值以產生用於熵寫碼之串列化變換係數。
在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所指出，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括CU之殘餘資料的TU，且接著可變換TU以產生CU之變換係數。
編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減小用於表示係數之資料量而提供進一步壓縮。舉例而言，量化可減小與係數中之一些或全部相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間經降值捨位為m位元值，其中n大於m。
一旦執行了量化，則經寫碼視訊位元流包括經量化變換係數、預測資訊(例如，預測模式、運動向量、區塊向量或其類似者)、分割資訊及任何其他適合之資料，諸如其他語法資料。可接著由編碼器引擎106熵編碼經寫碼視訊位元流之不同元素。在一些實例中，編碼器引擎106可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之串列化向量。在一些實例中，編碼器引擎106可執行自適應掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文自適應性可變長度寫碼、上下文自適應性二進位算術寫碼、基於語法之上下文自適應性二進位算術寫碼、機率區間分割熵寫碼或另一適合之熵編碼技術。
編碼裝置104之輸出端110可經由通信鏈路120將構成經編碼視訊位元流資料之NAL單元發送至接收裝置之解碼裝置112。解碼裝置112之輸入端114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合的無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(radio frequency；RF)、UWB、WiFi-Direct、蜂巢式、長期演進(Long-Term Evolution；LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(digital signal line；DSL)或其類似者)。可使用各種裝備來實施有線及/或無線網路，該等裝備諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者。可根據通信標準(諸如，無線通信協定)調變經編碼視訊位元流資料，且將其傳輸至接收裝置。
在一些實例中，編碼裝置104可將經編碼視訊位元流資料儲存於儲存裝置108中。輸出端110可自編碼器引擎106或自儲存裝置108擷取經編碼視訊位元流資料。儲存裝置108可包括各種分佈式或本端存取之資料儲存媒體中之任一者。舉例而言，儲存裝置108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合的數位儲存媒體。
解碼裝置112之輸入端114接收經編碼視訊位元流資料，且可將視訊位元流資料提供至解碼器引擎116，或提供至儲存裝置118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)及提取構成經編碼視訊資料之一或多個經寫碼視訊序列的元素來解碼經編碼視訊位元流資料。解碼器引擎116可接著重新按比例調整經編碼視訊位元流資料且對經編碼視訊位元流資料執行逆變換。殘餘資料接著經傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如，PU)。在一些實例中，預測經添加至逆變換之輸出(殘餘資料)。
解碼裝置112可將經解碼視訊輸出至視訊目的地裝置122，該視訊目的地裝置122可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出裝置。在一些態樣中，視訊目的地裝置122可為接收裝置之部分，該接收裝置包括解碼裝置112。在一些態樣中，視訊目的地裝置122可為不同於接收裝置的單獨裝置之部分。
在一些實施例中，視訊編碼裝置104及/或視訊解碼裝置112可分別與音訊編碼裝置及音訊解碼裝置整合。視訊編碼裝置104及/或視訊解碼裝置112亦可包括實施上文所描述之寫碼技術所必要的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(digital signal processor；DSP)、特殊應用積體電路(application specific integrated circuit；ASIC)、場可程式化閘陣列(field programmable gate array；FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼裝置104及視訊解碼裝置112可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。下文參考圖7描述編碼裝置104之特定細節的實例。下文參考圖8描述解碼裝置112之特定細節的實例。
對HEVC標準之擴展包括多視圖視訊寫碼擴展(稱作MV-HEVC)及可調式視訊寫碼擴展(稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元流中。經寫碼視訊序列中之每一層係由唯一層識別符(identifier；ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重建構保真度表示視訊位元流的不同可調式層。可調式層可包括基礎層(其中層ID = 0)及一或多個增強層(其中層ID = 1、2、…n)。基礎層可符合HEVC之第一版本的設定檔，且表示位元流中之最低可用層。相較於基礎層，增強層具有增大之空間解析度、時間解析度或圖框率及/或重建構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基礎層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。
大體而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元經指派特定層ID值。在層可取決於較低層之意義上，層可為階層式的。層集合指表示於位元流內之獨立的層之集合，意謂層集合內之層在解碼程序中可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元流。可藉由子位元流提取程序之操作自另一位元流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時經解碼之層集合。
如先前所描述，HEVC位元流包括NAL單元之群組，包括VCL NAL單元及非VCL NAL單元。VCL NAL單元包括形成經寫碼視訊位元流之經寫碼圖像資料。舉例而言，形成經寫碼視訊位元流之位元的序列存在於VCL NAL單元中。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元流相關之高層級資訊的參數集。舉例而言，參數集可包括視訊參數集(video parameter set；VPS)、序列參數集(sequence parameter set；SPS)及圖像參數集(picture parameter set；PPS)。參數集之目標的實例包括位元率效率、錯誤復原(error resiliency)及提供系統層介面。每一圖塊參考單一作用中PPS、SPS及VPS以存取解碼裝置112可用於解碼圖塊之資訊。可針對每一參數集寫碼識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一圖塊標頭包括PPS ID。使用ID，可識別針對給定圖塊之作用中參數集。
PPS包括適用於給定圖像中之所有圖塊的資訊。因此，圖像中之所有圖塊參考同一PPS。不同圖像中之圖塊亦可參考同一PPS。SPS包括適用於同一經寫碼視訊序列(CVS)或位元流中之所有圖像的資訊。如先前所描述，經寫碼視訊序列為一系列存取單元(AU)，其始於在基礎層中且具有某些性質(如上文所描述)之隨機存取點圖像(例如，瞬時解碼參考(instantaneous decode reference；IDR)圖像或斷鏈存取(broken link access；BLA)圖像或其他適當的隨機存取點圖像)，直至且不包括具有在基礎層中且具有某些性質之隨機存取點圖像的下一AU (或位元流之末端)。SPS中之資訊可能不在經寫碼視訊序列內在圖像間改變。經寫碼視訊序列中之圖像可使用同一SPS。VPS包括適用於經寫碼視訊序列或位元流內之所有層的資訊。VPS包括具有適用於整個經寫碼視訊序列之語法元素的語法結構。在一些實施例中，可與經編碼位元流同帶傳輸VPS、SPS或PPS。在一些實施例中，可在與含有經寫碼視訊資料之NAL單元分開的傳輸中帶外傳輸VPS、SPS或PPS。
視訊位元流亦可包括補充增強資訊(Supplemental Enhancement Information；SEI)訊息。舉例而言，SEI NAL單元可為視訊位元流之部分。在一些情況下，SEI訊息可含有解碼程序未必需要的資訊。舉例而言，SEI訊息中之資訊對於解碼器解碼位元流之視訊圖像可能並不重要，但解碼器可使用資訊來改良圖像之顯示或處理(例如，經解碼輸出)。SEI訊息中之資訊可為嵌入型後設資料。在一個說明性實例中，SEI訊息中之資訊可由解碼器側實體使用來改良內容之可見性。在一些情形下，某些應用標準可強制此等SEI訊息在位元流中之存在以使得符合應用標準之所有裝置可達成品質之改良(例如，用於圖框可相容平面立體3DTV視訊格式之圖框封裝SEI訊息的攜載，其中針對視訊之每一圖框攜載SEI訊息，恢復點SEI訊息之處置，拉移式掃描矩形SEI訊息在DVB中之使用，外加許多其他實例)。
在一些實施例中，視訊編碼裝置104及/或視訊解碼裝置112可分別與音訊編碼裝置及音訊解碼裝置整合。視訊編碼裝置104及/或視訊解碼裝置112亦可包括實施上文所描述之寫碼技術所必要的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼裝置104及視訊解碼裝置112可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。下文參考圖7描述編碼裝置104之特定細節的實例。下文參考圖8描述解碼裝置112之特定細節的實例。
圖1中展示之實例系統為可在本文中使用的一個說明性實例。用於使用本文中所描述之技術處理視訊資料的技術可藉由任何數位視訊編碼及/或解碼裝置來執行。儘管通常本發明之技術由視訊編碼裝置或視訊解碼裝置來執行，但該等技術亦可由組合式視訊編碼器-解碼器(通常稱作「編解碼器」)執行。另外，本發明之技術亦可由視訊預處理器執行。源裝置及接收裝置僅為此類寫碼裝置之實例，其中源裝置生成經寫碼視訊資料以供傳輸至接收裝置。在一些實例中，源裝置及接收裝置可以大體上對稱之方式操作，使得該等裝置中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊裝置之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
如上文所描述，對於每一區塊，一組運動資訊(在本文中亦稱作運動參數)可為可用的。運動資訊之集合含有用於前向及後向預測方向之運動資訊。前向及後向預測方向為雙向預測模式之兩個預測方向，在此情況下術語「前向」及「後向」未必具有幾何涵義。實際上，「前向」及「後向」對應於當前圖像之參考圖像清單0 (RefPicList0或L0)及參考圖像清單1 (RefPicList1或L1)。在一些實例中，當僅僅一個參考圖像清單可用於圖像或圖塊時，僅僅RefPicList0係可用的且圖塊之每一區塊的運動資訊係始終前向的。
在一些情況下，運動向量連同其參考索引用於寫碼程序中(例如，運動補償)。具有相關聯參考索引之此類運動向量表示為單向預測性運動資訊集合。對於每一預測方向，運動資訊可含有參考索引及運動向量。在一些情況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有提供自當前圖像中之座標位置至藉由參考索引識別的參考圖像中之座標的偏移的水平及垂直分量。舉例而言，參考索引可指示應用於當前圖像中之區塊的特定參考圖像，且運動向量可指示在參考圖像中最佳匹配區塊(最佳匹配當前區塊的區塊)在參考圖像中之何處。
圖像次序計數(picture order count；POC)可用於視訊寫碼標準以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元流中存在多個經寫碼視訊序列時，就解碼次序而言，具有相同POC值之圖像可更接近於彼此。圖像之POC值可用於參考圖像清單建構、如HEVC中之參考圖像集合之推導及運動向量按比例調整。
在H.264/AVC中，每一框間巨集區塊(macroblock；MB)可以四種不同方式分割，包括：一個16×16 MB分區；兩個16×8 MB分區；兩個8×16 MB分區；及四個8×8 MB分區。一個MB中之不同MB分區可具有對每一方向的不同參考索引值(RefPicList0或RefPicList1)。在一些情況下，當MB未分割成四個8×8 MB分區時，每一MB分區在每一方向上可具有僅一個運動向量。在一些情況下，當MB分割成四個8×8 MB分區時，每一8×8 MB分區可經進一步分割成子區塊，在此情況下每一子區塊可在每一方向上具有不同運動向量。在一些實例中，存在自8×8 MB分區得到子區塊的四種不同方法，包括：一個8×8子區塊；兩個8×4子區塊；兩個4×8子區塊；及四個4×4子區塊。每一子區塊在每一方向上可具有不同運動向量。因此，運動向量以等於高於子區塊之層級呈現。
在AVC中，可在B圖塊中針對跳過及/或直接模式而在MB層級或MB分區層級處啟用時間直接模式。對於每一MB分區，與當前區塊之RefPicList1[0]中之當前MB分區同置的區塊之運動向量可用於推導運動向量。同置區塊中之每一運動向量基於POC距離而按比例調整。
空間直接模式亦可在AVC中執行。舉例而言，在AVC中，直接模式亦可自空間相鄰者預測運動資訊。
在HEVC中，圖塊中之最大寫碼單元稱作寫碼樹型區塊(CTB)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小在HEVC主規範中可介於16×16至64×64之範圍內。在一些情況下，可支援8×8 CTB大小。寫碼單元(CU)可與CTB具有相同大小，且小如8×8。在一些情況下，每一寫碼單元運用一個模式進行寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)，或可當不應用進一步分割時變為僅一個PU。當一個CU中存在兩個PU時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形。
當CU經框間寫碼時，針對每一PU存在一個運動資訊集合。另外，每一PU經唯一框間預測模式寫碼以推導運動資訊集合。
對於HEVC中之運動預測，存在用於預測單元(PU)之兩個框間預測模式，包括合併模式及進階運動向量預測(AMVP)模式。跳過視為合併之特殊情況。在AMVP或合併模式中，為多個運動向量預測符維持運動向量(motion vector；MV)候選清單。當前PU之運動向量(以及合併模式中之參考索引)藉由自MV候選清單獲取一個候選而生成。在一些實例中，如下文所描述，一或多個儲存之局域照明補償(local illumination compensation；LIC)旗標可連同所儲存運動向量一起包括於MV候選清單中。
在其中MV候選清單用於區塊之運動預測(且適用時，照明補償)的實例中，MV候選清單可藉由編碼裝置及解碼裝置單獨地建構。舉例而言，MV候選清單可藉由編碼裝置在編碼區塊時生成，且可藉由解碼裝置在解碼區塊時生成。與MV候選清單中之運動資訊候選相關的資訊(例如，與一或多個運動向量相關的資訊、在一些情況下與可儲存於MV候選清單中之一或多個LIC旗標相關的資訊，及/或其他資訊)可在編碼裝置與解碼裝置之間傳信。舉例而言，在合併模式中，至所儲存運動資訊候選之索引值可自編碼裝置傳信至解碼裝置(例如，在語法結構中，諸如圖像參數集(PPS)、序列參數集(SPS)、視訊參數集(VPS)、圖塊標頭、在視訊位元流中或單獨地自視訊位元流發送的補充增強資訊(SEI)訊息，及/或其他傳信)。解碼裝置可建構MV候選清單並使用所傳信參考或索引以自所建構MV候選清單中獲得一或多個運動資訊候選以用於運動補償預測。舉例而言，解碼裝置112可建構MV候選清單並使用自索引方位之運動向量(且在一些情況下，LIC旗標)以用於區塊之運動預測。在AMVP模式之情況下，除參考或索引之外，差或殘餘值亦可經傳信為增量。舉例而言，對於AMVP模式，解碼裝置可建構一或多個MV候選清單並在執行區塊之運動補償預測時將增量值應用於使用所傳信索引值獲得的一或多個運動資訊候選。
在一些實例中，MV候選清單含有針對合併模式的至多五個候選及針對AMVP模式的兩個候選。在其他實例中，不同數目個候選可包括於針對合併模式及/或AMVP模式的MV候選清單中。合併候選可含有運動資訊之集合。舉例而言，運動資訊之集合可包括對應於兩個參考圖像清單(清單0及清單1)的運動向量及參考索引。若藉由合併索引識別合併候選，則參考圖像用於當前區塊之預測，且判定相關聯之運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一潛在預測方向，需要明確地將參考索引連同針對MV候選清單之MVP索引一起傳信，此係因為AMVP候選僅含有運動向量。在AMVP模式中，可進一步細化經預測運動向量。
如可自上文看出，合併候選對應於運動資訊之完整集合，而AMVP候選僅含有用於特定預測方向之一個運動向量及參考索引。以類似方式自相同空間及時間相鄰區塊推導用於兩種模式之候選。
在一些實例中，合併模式允許經框間預測PU自經框間預測PU繼承相同一或多個運動向量、預測方向及一或多個參考圖像索引，該經框間預測PU包括選自空間相鄰運動資料位置之群組及兩個時間同置運動資料位置中之一者的運動資料位置。對於AMVP模式，PU之一或多個運動向量可相對於來自藉由編碼器及/或解碼器所建構之AMVP候選清單的一或多個運動向量預測器(motion vector predictor；MVP)來預測寫碼。在一些情形下，對於PU之單個方向框間預測，編碼器及/或解碼器可生成單個AMVP候選清單。在一些情形下，對於PU之雙向預測，編碼器及/或解碼器可生成兩個AMVP候選清單，一個使用來自前向預測方向的空間及時間相鄰PU之運動資料，且一個使用來自後向預測方向的空間及時間相鄰PU之運動資料。
用於兩個模式之候選可自空間及/或時間相鄰區塊推導出。舉例而言，圖2A及圖2B包括說明HEVC中之空間相鄰候選之概念圖。
圖2A說明用於合併模式之空間相鄰運動向量(MV)候選。圖2B說明用於AMVP模式之空間相鄰運動向量(MV)候選。儘管方法從針對合併及AMVP模式不同之區塊生成候選，但空間MV候選自特定PU (PU0)之相鄰區塊推導出。
在合併模式中，編碼器及/或解碼器可藉由考慮自各種運動資料位置之合併候選而形成合併候選清單。舉例而言，如圖2A中所展示，可相對於圖2A中之數字0至4所展示之空間相鄰運動資料位置來推導至多四個空間MV候選。MV候選可按藉由數字0至4所展示之次序在合併候選清單中定序。舉例而言，位置及次序可包括：左位置(0)、上位置(1)、右上位置(2)、左下位置(3)及左上位置(4)。
在圖2B中所展示之AVMP模式中，相鄰區塊劃分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上群組。對於每一群組，參考與由經傳信參考索引所指示之相同參考圖像的相鄰區塊中之潛在候選具有待選擇之最高優先級以形成群組之最終候選。有可能所有相鄰區塊均不含指向相同參考圖像之運動向量。因此，若無法發現此類候選，則將按比例調整第一可用候選以形成最終候選，由此可補償時間距離差。
本文中所描述之一些實例可使用自適應運動向量解析度(AMVR)模式，如上文所指出。AMVR係指在影像處理期間適應性地調整運動向量之範圍或解析度。AMVR之使用實現在運動向量差之寫碼中之不同等級的精確度(其允許經改良之寫碼效率)，且可涉及分數樣本單元(例如，一半像素或在任何解析度等級下之其他此類分數樣本)之使用。在一些實施方案中，均一分數樣本單元、整數樣本單元或其類似者可用於整個範圍，或樣本單元之範圍可根據區來適應性地設置。前者可稱作線性AMVR，且後者可稱作非線性AMVR。AMVR模式之使用可進一步涉及濾波器索引值之顯式傳信(例如，使用視訊位元流中之語法元素)以用於當前影像之運動補償處理中。
在上文所描述之情形中，參考圖像重新取樣(reference picture resampling；RPR)為可用於允許編碼或解碼具有與當前圖像之圖像大小不同的圖像大小之參考圖像的重新取樣程序。當參考圖像具有與當前圖像不同之大小時，圖像重新取樣程序可經調用以提供圖像中之一者的經上取樣或下取樣版本以匹配另一圖像之大小(例如，將該參考圖像上取樣或下取樣以匹配當前圖像大小)。在一些實例中，此重新取樣可類似於在H.265/HEVC標準之可調式擴展(SHVC)中使用之空間可調性的操作。RPR程序可應用於具有不同大小之單層的圖像及/或可應用於具有不同大小之不同層的圖像。在下文相對於圖3描述將RPR應用於來自不同層之具有不同大小之圖像的說明性實例。
圖3為說明在不同按比例調整之值(例如，不同大小)下之系統中之圖像資料之態樣的圖式。圖像或圖像之資料(例如，存取單元)可構造於層中。每一層可用於具有不同大小(例如，解析度)之圖像圖框。圖3中說明的一個此類實例包括兩個層，且其他各種實例可使用其他數目個層(例如，三層、四層等)。如上所指出，單層內之圖像可具有不同大小，在此情況下可執行RPR程序。在圖3的實例中，展示三個圖像之資料，其中每一圖像與兩個不同圖像大小相關聯。第一圖像在第一圖像大小下與層1單元314相關聯，且在第二圖像大小下與層0單元312相關聯。類似地，第二圖像在第一圖像大小下與層1單元324相關聯，且在第二圖像大小下與層0單元322相關聯，且第三圖像在第一圖像大小下與層1單元334相關聯且在第二圖像大小下與層0單元332相關聯。在傳信期間，參考圖像清單可經建構以識別參考圖像以供用於處理當前圖像。在一些實例中，來自一個層(例如，在第一解析度下)之圖像可用作用於在第二層處(例如，在第二解析度下)之當前圖像的參考圖像。在另一實例中，單層可具有不同大小之圖像，如上所指出。
藉由RPR，不同大小之圖像(或圖像之區塊) (例如，來自單層之圖像或來自不同層之圖像)可用作用於當前圖像之區塊的參考圖像。此類參考圖像可儲存於經解碼圖像緩衝器(decoded picture buffer；DPB)中(例如，使用用於濾波器單元(諸如圖8之濾波器單元91)之記憶體或參考圖像儲存裝置，諸如圖8之圖像記憶體92)。參考圖像取樣工具可用於自參考圖像生成必要參考資料以用於處理當前圖像。在一些實例中，此參考圖像取樣工具可為濾波器單元(例如，圖8之濾波器單元91)之部分，或在其他實例中，可為用於如本文中所描述來編碼或解碼之裝置之任何態樣的部分。
圖4為說明根據本文中所描述之實例的參考圖像重新取樣之其他態樣的圖式。圖4包括參考圖像410及當前圖像420。參考圖像410具有第一水平柵格間距414及第一垂直柵格間距412。當前圖像420具有不同於第一水平柵格間距414的第二水平柵格間距424。當前圖像亦具有不同於第一垂直柵格間距412的第二垂直柵格間距422。第一柵格間距412及414可例如與第一層相關聯，且第二柵格間距422及424可與第二層相關聯。參考圖像410可為視訊流中之與來自第二層之當前圖像420連續之第一層圖像，其中作為預測操作之部分，參考圖像410經選擇為用於當前圖像420之參考圖像。
參考圖像410及當前圖像420各自包含像素之柵格，該等像素包括參考圖像410之像素418及419以及當前圖像420之像素428。每一像素可具有相關聯資料，諸如像素之紅色、綠色及藍色部分之顏色值。每一顏色將具有每一像素處之資料值。每一圖像之每一像素可與圖像之柵格中之整數位置(例如，大小或按比例調整之值)相關聯。直接自一個像素指向另一像素之標準運動向量430可使用像素之整數位置。然而，如上文所描述，分數準確度可允許運動向量430指在像素之間。一半像素準確度可(例如)允許運動向量430指在像素419與418之間的中間。四分之一像素準確度允許運動向量430指在像素之間的三個不同位置(例如，四分之一、一半及四分之三)處以及直接指向像素之整數位置。
如上文所描述，AMVR允許將運動向量進動適應性地設置在不同分數準確度等級下。當實施使用AMVR模式之影像處理時，可適應性地選擇在整數像素精確度下之MV準確度(例如，其中MV在僅柵格間距412、414、422及424之柵格點處，不具有分數準確度)或在由所實施AMVR模式支援之任何分數準確度等級下之MV準確度(例如，允許MV指在柵格間距412、414、422及424之在分數準確度等級下之柵格點之間)。允許系統適應性地判定解析度之等級(例如，在柵格間距等級下之整數解析度或在柵格間距之間的準確度之分數解析度)實現經改良寫碼效率。此經改良寫碼效率可使用額外語法元素以用於傳信，其可進一步明確地指示用於當前圖像之濾波器索引，如在本文中針對各種實例所描述。
內插用於選擇在考慮預期運動或其他改變之像素位置處之(例如，用於紅色、綠色及藍色之)資料值，包括框內像素資料(例如，來自使用分數準確度之運動向量)。在處理(例如，解碼或編碼)期間，對每一像素或對每一像素之每一樣本(例如，明度樣本及/或色度樣本)執行處理。對每一像素或對每一像素之每一樣本執行濾波，包括內插及由於RPR之任何重新取樣補償，以在視訊資料處理期間生成當前圖像420之像素或樣本值。在另一實例中，內插及重新取樣濾波可合併至一個濾波程序中。每一像素或樣本在處理期間將具有所附按比例調整之值及運動向量。如上文所描述，不同濾波器可在不同情況(例如，運動向量430之不同值或參考圖像410與當前圖像420之間的不同按比例調整之值)下使用。
下表1提供具有用於在不同之一半像素內插濾波器之間切換的內插濾波器之濾波器索引的濾波器係數之實例表格：
分數樣本位置 內插濾波器係數
A B C D E F G H
1 0 1 −3 63 4 −2 1 0
2 −1 2 −5 62 8 −3 1 0
3 −1 3 −8 60 13 −4 1 0
4 −1 4 −10 58 17 −5 1 0
5 −1 4 −11 52 26 −8 3 −1
6 −1 3 −9 47 31 −10 4 −1
7 −1 4 −11 45 34 −10 4 −1
8 (濾波器索引值1) −1 4 −11 40 40 −11 4 −1
8 (濾波器索引值2) 0 3 9 20 20 9 3 0
9 −1 4 −10 34 45 −11 4 −1
10 −1 4 −10 31 47 −9 3 −1
11 −1 3 −8 26 52 −11 4 −1
12 0 1 −5 17 58 −10 4 −1
13 0 1 −4 13 60 −8 3 −1
14 0 1 −3 8 62 −5 2 −1
15 0 1 −2 4 63 −3 1 0
表1
表1展示用於在十六分之一分數準確度位置處濾波之內插濾波器係數的表格。取決於分數準確度位置(例如，第一行中之分數樣本位置1至15，其中0位置為非分數或整數位置)，可使用不同濾波器係數(例如，來自對應於分數位置之列的係數)。另外，在一半像素位置(例如，表1之十六分之一分數準確度中之分數樣本位置8)處，兩個內插濾波器可用且傳信可用於在此等級下之濾波器之間切換。雖然藉由用於在一半像素等級下切換(例如，在濾波器索引值1與2之間選擇)之內插濾波器之表1描述兩個濾波器，其他實例可使用用於切換之超過兩個濾波器，或可包括用於在任何分數位置處切換之額外濾波器。用於內插濾波器切換之額外濾波器之添加可以額外傳信及處理資源為代價在影像處理期間增大分數準確度。
在出於所有目的特此以全文引用之方式併入之JVET-N0279及JVET-O0242中，提出RPR。在建議中，當前圖像(例如，當前正經編碼或解碼之圖像)及參考圖像可具有如上文所描述之不同解析度(例如，大小、柵格間距、按比例調整之值等)。在此類情況下，在運動補償期間，當藉由調整內插濾波器相位來執行內插濾波時考慮解析度之不同。舉例而言，在即時視訊通信中，在不插入經框內預測圖像(I圖像)之情況下允許經寫碼視訊序列內之解析度改變可不僅無縫地將視訊資料調整為動態通道條件或使用者偏好，且亦可移除由I圖像引起之影響。當自適應解析度改變發生時，可自具有不同大小之參考圖像預測當前圖像。在下文描述參考圖像重新取樣(或按比例調整)程序之說明性實例。
在以全文引用之方式且出於所有目的併入本文中之JVET-O0057中，向VVC提出可切換內插濾波器概念。在此文獻中，可切換一或多個內插濾波器。舉例而言，濾波器索引可(例如，藉由解碼器)傳信或推測以指示另一內插濾波器用於區塊。濾波器索引可在區塊基礎上經傳信(例如，明確地或經由一半像素AMVR模式傳信)。舉例而言，在具有一半像素AMVR之系統中，在位元流中傳信之語法元素可明確地指示待用於處理與語法元素(例如，指示表1之特定濾波器索引值之語法元素)相關聯之當前區塊之濾波器索引。在具有使用除一半像素以外之分數精確度之AMVR的實例中，類似傳信可使用經組態為AMVR實施方案之特定解析度選項之語法元素。
在其他實施方案中，濾波器索引並不需要經由位元流中之特別指示待使用之濾波器索引的語法元素來明確地傳信。在無顯式傳信之此類其他實例中，可經由合併類模式(諸如上文關於圖2A及2B所描述之合併模式)中之運動向量候選來(例如，藉由解碼器)推測濾波器索引。
在一個說明性實例中，可界定具有不同特性(例如，濾波器長度、截止頻率、過渡帶或波紋量)之總計N 個濾波器。對於每一區塊，可界定N 個濾波器之子集，且可將子集中之所選濾波器之索引明確地或隱式地傳信至解碼器(例如，使用旗標或如表1中所說明之濾波器索引值)。子集可基於某些規則(例如，先前經寫碼區塊中之濾波器之命中率、運動向量值、按比例調整值等)而在一個區塊至另一區塊之間變化。
當內插濾波器切換發生時，由濾波器索引指示之濾波器可適於內插目的，但可不可用於圖像重新取樣目的(且在一些情況下其他取樣率轉換程序)。舉例而言，平滑化濾波器可不為良好重新取樣濾波器。不同濾波器之間的切換(例如，內插濾波器切換)允許影像處理操作取決於正經濾波之像素之特性(例如，當前圖像及相關聯參考圖像中之像素之相關聯運動向量及按比例調整之值)而創建影像之間的穩定性。舉例而言，濾波器索引可具有用於不同濾波器之濾波器索引值。在一些實例中，待使用之濾波器經傳信(例如，使用旗標)以指示索引中之哪些濾波器待使用(例如，在內插濾波器之間切換)。在另一實例中，待使用之濾波器可來自空間候選(例如，參考圖像)，其中濾波器索引與運動向量資料一起儲存且自參考圖像傳播以與當前圖像一起使用。
本文中描述解決以上識別問題以及其他問題之方法、設備及電腦可讀媒體。在一些實例中，如下文更詳細地描述，可執行條件檢查以識別當前圖像大小及參考圖像大小是否為相同大小。可在如下文所詳述之不同層級處執行條件檢查。
圖5為說明用於處理視訊資料之方法500之流程圖。在一些實例中，方法500由包括記憶體及一或多個處理器之裝置執行。在一些實例中，方法500可由諸如裝置104之編碼裝置執行。在一些實例中，方法500可由諸如裝置112之解碼裝置執行。在一些實例中，方法500經實施為儲存於電腦可讀儲存裝置中之指令，當指令由一或多個處理器執行時，該等指令引起一或多個處理器執行方法500。
在操作505處，方法500包括獲得當前圖像及參考圖像。如上文所描述，在各個實例中，可以各種方式(例如，各種單元、圖塊等)劃分及組織當前圖像及參考圖像。
方法500之操作510包括識別用於當前圖像之當前區塊之濾波器索引資訊。在不同實例中，可自相鄰區塊推測或可作為AMVR之部分來傳信此濾波器索引資訊。在一些實例中，濾波器索引資訊包含AMVR模式傳信資料，其中當前濾波器索引經由AMVR模式傳信來傳信。在一些實例中，濾波器索引資訊包含相鄰區塊資訊，且當前濾波器索引接著在合併模式運動向量候選清單推導期間自相鄰區塊資訊推導出。濾波器索引資訊包括運動資訊，諸如濾波器索引或濾波器索引值。在合併模式中，可自相鄰區塊傳播或暗示此濾波器索引資訊。藉由AMVR模式，可使用AMVR傳信明確地傳信濾波器索引資訊。
方法500之操作515包括判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同。在一些實例中，此判定可涉及寬度及高度比較。在其他實例中，可使用任何其他此類比較。在一個實例中，判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同包含判定以下中之至少一者：當前圖像寬度不同於參考圖像寬度；及當前圖像高度不同於參考圖像高度。此圖像大小檢查可充當用於改變濾波器索引之條件。取決於圖像大小檢查及濾波器索引之相關聯改變，初始索引值(例如，在若藉由圖像大小檢查指示替換之前的當前索引值)之傳播可經組態(例如，藉由儲存初始索引值且在傳播步驟中將其替換，或在默認值並不替換初始索引值之情況下藉由將其保持)。
在操作520處，方法500包括使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。在一些實例中，取樣率轉換程序包括重新取樣程序。舉例而言，操作520可包括使用默認濾波器索引替代由濾波器索引資訊識別之當前濾波器索引來執行重新取樣程序。在一些實例中，取樣率轉換程序包括內插程序。該執行可基於判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同。在各個實例中，當當前圖像及參考圖像具有不同大小值時，在不使用當前濾波器索引之情況下執行取樣率轉換程序(例如，重新取樣程序)。在一些此類實例中，用於當前濾波器索引之默認值由裝置解譯或包括替代可切換濾波並不應用為取樣率轉換程序(例如，重新取樣程序)之部分的指示。
在各個實例中，當推導出的濾波器索引(例如，由傳信或推導指示之當前索引)時，值隨區塊保持，且可用於(例如，傳播至)由系統處理之後續區塊。在此類實例中，若默認濾波器索引值用於當前圖像(例如，並不使用替代可切換濾波器)，則默認濾波器索引值並不自當前圖像傳播，但可儲存初始值或在用於傳播至後續圖像之後可用初始值替換默認值。
在一些實例中，方法可進一步涉及用於以下之操作：藉由當前區塊儲存由濾波器索引資訊識別之當前濾波器索引，及基於由濾波器索引資訊識別之當前濾波器索引而將當前濾波器索引用於運動向量候選推導中以用於後續區塊。在一些實例中，方法可進一步涉及用於以下之操作：當在不使用當前濾波器索引來創建默認濾波器索引之情況下執行取樣率轉換程序時指派用於當前濾波器索引之默認值以暫時地替換初始值，及在取樣率轉換程序(例如，重新取樣程序)之後指派用於當前濾波器索引之初始值。即使當當前濾波器索引值並不用於當前圖像時，該初始值之此再指派亦允許當前濾波器索引值(例如，初始值)傳播至後續圖像。
一些此類實例可藉由以下來操作：判定當前濾波器索引並不用於取樣率轉換程序(例如，重新取樣程序)，及回應於判定當前濾波器索引並不用於取樣率轉換程序(例如，重新取樣程序)而用默認值替換當前濾波器索引之值。類似地，一些此類實例藉由處理默認值以判定並不應用替代可切換濾波器來操作。
一些實例可操作，其中當前濾波器索引值回應於判定當前濾波器索引並不用於取樣率轉換程序(例如，重新取樣程序)中而並不傳信。一些實例可操作，其中當前濾波器索引選自濾波器集合，在此情況下濾波器集合之子集用於執行取樣率轉換程序(例如，重新取樣程序)，且濾波器集合之剩餘部分不可用於取樣率轉換(例如，不可用於重新取樣)。一些此類實例進行操作，其中使用語法元素來選擇當前濾波器索引，該語法元素指示禁止自濾波器集合之剩餘部分選擇當前濾波器索引。
只要解碼或編碼操作需要則可接著重複方法500。在一些操作中，方法500將不用於一些迭代(例如，內插，其中不涉及重新取樣或其他取樣率轉換程序，諸如當參考圖像具有與當前圖像相同之大小時)。如上所指出，取樣率轉換程序在一些實例中包括重新取樣程序。方法500之操作可進一步包括識別用於內插之第一濾波器群組及用於重新取樣之第二濾波器群組，其中當前濾波器索引來自第二濾波器群組。方法500之操作可進一步包括獲得第二當前圖像及第二參考圖像，判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值。基於判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值，方法500之操作可包括使用第二所選濾波器來執行用於第二當前區塊之第二重新取樣程序，其中第二所選濾波器來自第一濾波器群組。在一些此類實例中，第一濾波器群組及第二濾波器群組之每一濾波器由相關聯濾波器索引識別，相關聯濾波器索引指示來自用於內插之濾波器集合或用於重新取樣之濾波器集合的相關聯索引值。一些此類實例進一步包括藉由用於所選濾波器索引值之查找操作而自濾波器索引獲得當前濾波器索引，其中所選濾波器索引值與第二濾波器群組相關聯，且其中所選濾波器索引值與第二濾波器群組之間的關聯係基於判定第一圖像大小值與第二圖像大小值不同。
在一些實例中，當當前圖像寬度不同於參考圖像寬度或當前圖像高度不同於參考圖像高度時，當前濾波器索引並不用於重新取樣程序中(例如，經忽略，或重新取樣程序或其他取樣率轉換程序並不取決於當前濾波器索引之值)。經推導或傳信之濾波器索引可與當前區塊一起儲存且在下一區塊中用於運動向量候選推導程序中。當判定並不使用經推導或傳信之濾波器索引時，濾波器索引之默認值可時間上指派於重新取樣程序中，而經推導或傳信之濾波器索引值在重新取樣程序之後保持不變。在此情況下，默認值可指示並不應用替代可切換濾波器。
在一些此類實例中，在用於合併模式之運動向量候選清單推導程序期間自相鄰區塊推導出濾波器索引，如上文所描述。在其他實例中，經由AMVR模式來傳信濾波器索引。在一些實例中，取樣率轉換程序為運動補償程序。在一些此類實例中，參考圖像為用於當前圖像之當前區塊之框間預測之參考圖像。
在一些實例中，當判定並不使用經推導或傳信之濾波器索引時，可用默認值替換濾波器索引值。在一些此類實例中，默認值指示並不應用替代可切換濾波器，其中在一個實例中替代濾波器可為平滑化濾波器。在一些其他實例中，當判定濾波器索引並不用於重新取樣程序(或其他取樣率轉換程序)中時，並不傳信濾波器索引值。
在一些實施方案中，本文中所描述的程序(或方法)可藉由計算裝置或設備(諸如圖1中展示之系統100)執行。舉例而言，程序可藉由圖1及圖7中展示之編碼裝置104、藉由另一視訊源側裝置或視訊傳輸裝置、藉由圖1及圖8中展示之解碼裝置112及/或藉由另一用戶端側裝置(諸如播放器裝置、顯示器或任何其他用戶端側裝置)執行。在一些情況下，計算裝置或設備可包括處理器、微處理器、微電腦，或經組態以實施本文中所描述的程序之步驟的裝置之其他組件。在一些實例中，計算裝置或設備可包括經組態以捕捉包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。在一些實例中，攝影機或捕捉視訊資料之其他捕捉裝置與計算裝置分離，在此情況下，計算裝置接收或獲得所捕捉視訊資料。計算裝置可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(Internet Protocol；IP)之資料或其他類型之資料。在一些實例中，計算裝置或設備可包括用於顯示輸出視訊內容(諸如，視訊位元流之圖像的樣本)之顯示器。
圖6為根據一些實例之說明參考圖像重新取樣之態樣的流程圖，在圖6中展示為方法600。方法600可執行為影像或視訊處理程序之部分，諸如根據VVC、JEM之處理程序或如上文所描述之其他視訊寫碼標準程序。
在視訊處理期間，作為方法600之實施方案之部分，操作602包括識別當前圖像。當前圖像可使用如上文所描述之POC或使用任何其他操作來識別，以識別與正經處理之影像集合之影像(例如，視訊)相關聯的資料。
對於處理在操作602中識別之當前圖像，在操作604中識別參考圖像。作為此識別之部分，一或多個參考圖像或參考圖像候選(例如，來自DPB)可經選擇以用於如上文及下文詳細描述之參考圖像清單(例如，使用POC)。取決於實施方案，個別參考圖像可接著選自用於處理當前圖像之態樣之參考圖像清單。在一些實施方案中，不同參考圖像可用於處理當前圖像之不同部分，但在處理期間，使用來自個別參考圖像之資料(例如，用於使用參考圖像410來創建諸如運動向量430之運動向量的影像資料)。
另外，在根據方法600之視訊處理期間，各種不同模式可用作視訊處理之部分。此等模式可包括用於如上文所描述之運動預測之不同模式，諸如AMVR及合併模式。在不同實施方案中，此等模式可在個別影像、影像之部分或影像之群組的處理期間改變。
不同處理模式可傳信用於待用於以不同方式處理當前圖像之濾波器之資訊。舉例而言，如本文中所描述，AMVR可明確地傳信語法元素，該等語法元素指示識別關於待用於處理當前影像之濾波器之資訊的濾波器索引值。相反地，合併模式可在無顯式濾波器索引傳信之情況下藉由自其他圖像(例如，相鄰圖像、參考圖像等)推導濾波器索引資訊來操作。在操作608中，判定用於識別濾波器索引資訊之適當操作，且處理操作繼續該適當操作以搜集濾波器索引資訊。若使用顯式濾波器索引傳信，則在操作610中，顯式傳信之語法元素經剖析以搜集濾波器索引資訊(例如，濾波器索引之值)。若並不使用顯式濾波器索引傳信，則在操作612中，推導(例如，自相鄰影像或影像部分傳播)濾波器索引資訊。
在操作610中或在操作612中已搜集濾波器索引資訊後，濾波器索引資訊用於在操作614中設置當前濾波器索引值。舉例而言，在使用表1之實施方案中，濾波器索引值可基於濾波器索引資訊而設置為與一半像素分數索引位置相關聯之兩個濾波器索引值中之一者。
操作616包括條件檢查，該等條件檢查用於取決於是否使用重新取樣而選擇適當濾波器。條件檢查涉及將當前圖像及在操作604中識別之參考圖像之大小進行比較。如本文所描述，此條件檢查可涉及將水平大小、垂直大小、解析度值或與當前圖像及參考圖像之大小相關聯之任何其他此類資訊進行比較。在一些實例中，可在區塊基礎上執行條件檢查(例如，將參考圖像大小及當前圖像大小進行比較或按比例調整)。舉例而言，可執行條件檢查以檢查含有區塊之當前圖像及在區塊中由參考索引指示之參考圖像是否具有相同圖像大小或其是否並不具有相同大小。在一些實例中，可在圖塊、影像塊、子圖像或區塊層級之其他群組上執行條件檢查。舉例而言，條件檢查可檢查可用於框間預測之任何參考圖像及當前圖像是否具有相同大小。
在一些實例中，可在序列層級處檢查條件，例如以檢查具有不同圖像大小之可能性是否為可能的。在一個實例中，可在參數集中(例如，藉由PPS、SPS及/或VPS中之旗標)指示是否可應用圖像重新取樣。
在一些情況下，當推導(例如，當前圖像及參考圖像兩者之)圖像大小時，該大小可為經解碼圖像大小或經裁剪圖像大小。舉例而言，一致性窗口可在位元流中傳信且可藉由解碼器或媒體播放器應用以將該經解碼圖像裁剪為經裁剪圖像大小。在一些情況下，可基於經解碼圖像大小及各種偏移(例如，左偏移、右偏移、頂部偏移及/或底部偏移)來推導用於條件檢查之圖像大小。經解碼圖像大小及/或偏移可在參數集(例如，PPS、SPS及/或VPS)中或其他處(例如，在SEI訊息、圖塊標頭或其他傳信機構中)傳信。在此情況下，可考慮當前圖像之圖像大小及具有所施加偏移之參考圖像之大小來推導用於重新取樣之按比例調整之比率。在一些實施方案中，偏移可類似於在HEVC標準中(例如，在可調式擴展中)使用之按比例調整之偏移。當前圖像及參考圖像之此按比例調整之比率及/或大小值可接著用於判定哪些濾波器應用於處理當前圖像。本文中所描述之技術可使用檢查當前圖像大小及參考圖像大小是否為相同大小之任何方法。
取決於操作616之結果，可接著以不同方式(例如，使用不同濾波器)處理當前影像。若當前圖像及參考圖像經識別為相同大小，則在操作618中，當前索引值(例如，如上經傳信或推導)用於處理當前影像。
當當前圖像及參考圖像不為相同大小時，接著在操作620中，忽略在操作614中設置之當前濾波器索引值。此可涉及在系統內設置以用於涉及參考圖像重新取樣之濾波的默認濾波器值或用於其中此檢查條件為真之操作的默認濾波器循環之使用。在一些實例中，若識別出檢查條件為真(例如，當前圖像及參考圖像之圖像大小或雙向預測中之一個或兩個參考圖像不同)，則可在SPS中之序列層級、經由PPS傳信之圖像層級上，在圖塊及/或影像塊層級上，及/或在區塊層級上禁用可切換內插濾波器之使用。可切換內插濾波之此禁用(例如，當在系統內使用可切換內插濾波時經設置當前濾波器索引值之使用)可視為選擇默認濾波器或任何替換濾波器以用於在操作614中設置之可切換內插濾波器。
無論選擇哪一濾波器，在操作622中使用所選濾波器來處理當前圖像。此處理可為濾波當前影像之不同部分的寫碼循環之部分，且因此取決於實施方案，方法600之操作可以不同方式重複及循環以使用不同濾波器來處理當前影像或當前影像之部分。在方法600之實例中，操作624包括傳播當前濾波器索引值以使得此資訊可與後續區塊一起使用(若需要)。此可涉及生成顯式傳信，或可涉及儲存當前濾波器索引值以使得其可在操作612之後續迭代期間經存取以推導濾波器索引值(例如，當當前圖像或當前圖像之部分變為用於正經處理之後續當前圖像之相鄰或參考圖像時)。方法600可接著結束且可循環以用於視訊流之處理。將顯而易見，取決於如何使用可切換內插濾波之使用(例如，其中在SPS中之序列層級、經由PPS傳信之圖像層級上，在圖塊及/或影像塊層級上，及/或在區塊層級上禁用用於可切換內插濾波之結構)，方法600可藉由額外重複或介入操作來實施。另外，在某些模式或處理操作期間，可不使用可切換內插濾波(例如，藉由可切換內插濾波選擇單個四分之一像素或除表1之一半像素索引值以外的其他值)，且因此當方法600用於相同視訊之其他部分時，該方法可不用於處理視訊之部分。
在一些情況下，當在區塊層級上禁用可切換內插濾波器之使用時(例如，當識別出檢查條件為真時)，指示濾波器索引之語法元素(例如，一半像素AMVR模式傳信，其中不同之一半像素內插經隱式地暗示)並不經傳信用於區塊。在此類情況下，在圖像大小檢查(例如，當前圖像大小及參考圖像大小是否為相同大小)上調節用以指示不同內插濾波器之一半像素AMVR之與可切換濾波相關聯之語法元素(例如濾波器索引)。
在一些情況下，當在區塊層級上禁用可切換內插濾波器之使用時(例如，當識別出檢查條件為真時)，若濾波器索引或不同濾波器之使用(例如，經由例如一半像素AMVR傳信或在合併模式或其他合併類模式中)經傳信或自相鄰區塊推測，則濾波器索引經修改及設置為默認濾波器索引值以用於來自相鄰區塊之經推導運動向量候選。在一個實例中，默認濾波器可指示並不應用可切換濾波器。根據各種實例，可明確地或隱式地指示所選濾波器。在一些實例中，經由AMVR模式傳信來傳信顯式語法元素。在其他實例中，自相鄰區塊或參考區塊暗示、推導或傳播濾波器。當由於禁用可切換內插濾波而並不使用(例如，明確地或隱式地)經傳信之濾波器索引時，可使用默認濾波器索引值。此默認濾波器可指示並不使用可切換濾波(例如，當並不允許可切換內插濾波時作為禁用可切換內插濾波之程序之部分)。
在一些情況下，當在區塊層級上禁用可切換內插濾波器之使用時(當識別出檢查條件為真時)，若濾波器索引(或經由例如一半像素AMVR傳信之不同濾波器之使用)自相鄰區塊推測，則例如，在合併模式或其他合併類模式中，濾波器索引(或經由例如一半像素AMVR模式之隱式傳信)自相鄰區塊推導出，但在重新取樣程序期間，忽略經推導濾波器索引，且應用重新取樣濾波器，即使其可指示應使用可切換濾波。用於當前區塊之經推導濾波器索引可與區塊一起儲存且可用於後續區塊(在當前區塊之後)，在此情況下濾波器索引傳播。
在一些實例中，延伸以上想法，在當濾波器可選自濾波器集合(例如，表1之兩個一半像素濾波器)時之情況下，僅濾波器之子集可用於重新取樣，且阻止選擇不可用於重新取樣之其他濾波器(在一個實例中，可基於圖像大小不同之條件而禁止指示此類選擇之語法元素)或當執行重新取樣程序時忽略此類選擇。
在一些實例中，可提供濾波器之兩個群組或集合，其中濾波器之一個群組用於內插(例如，用於使用在操作618中選擇之濾波器來處理操作622)且濾波器之另一群組用於重新取樣(例如，使用在操作620中選擇之濾波器來處理操作622)。在此類實例中，若指示濾波器之切換，則濾波器基於圖像大小不同之條件而選自群組，亦即執行重新取樣。舉例而言，濾波器索引可指示將濾波器與來自濾波器集合(或群組)之彼濾波器索引一起使用，其中基於是否針對區塊執行僅內插或重新取樣而識別該集合(或群組)。
在更詳細實例中，假定存在用於內插之濾波器集合(表示為interpolationSet )及用於重新取樣之另一濾波器集合(表示為resamplingSet )。濾波器集合可具有一個濾波器或超過一個濾波器(濾波器集合之大小可為1或大於1)。可選擇待用於區塊中之具有filterIndex 之值的濾波器索引。藉由查找具有索引filterIndex 之濾波器而自濾波器集合獲得用於區塊中之濾波器。濾波器可來自interpolationSet 或resamplingSet 集合，且基於當前圖像及參考圖像大小是否相同之條件而識別濾波器集合。若當前圖像及參考圖像大小相同(在此情況下不需要重新取樣)，則濾波器集合經識別為interpolationSet 。若當前圖像及參考圖像大小不同(在此情況下執行重新取樣)，則濾波器集合經識別為resamplingSet 。此技術之優點在於不需要改變濾波器索引傳信及濾波器索引推斷(例如，濾波器索引值可在經內插或重新取樣之相鄰區塊之間傳播)，且僅最終濾波器選自基於圖像大小條件之集合。
現將描述參考圖像重新取樣(或按比例調整) RPR程序之說明性實例。如上所指出，當存在解析度改變(例如，在經寫碼視訊序列(CVS)內)時，圖像可具有與其參考圖像中之一或多者不同之大小。RPR程序可經執行以將所有運動向量標準化為當前圖像柵格而非其對應參考圖像柵格。此類程序可有益於保持設計一致且使解析度改變對運動向量預測程序透明。否則，指向具有不同大小之參考圖像之相鄰運動向量可由於不同比例而不直接用於空間運動向量預測。
當解析度改變發生時，在進行經運動補償之預測時，可按比例調整運動向量及參考區塊兩者。在一些情況下，按比例調整之範圍限於[1/8, 2] (例如，按比例放大限於1:8且按比例縮小限於2:1)。此處，按比例放大(或上取樣)係指其中參考圖像小於當前圖像之情況，而按比例縮小(或下取樣)係指其中參考圖像大於當前圖像之情況。下文更詳細地描述按比例調整程序。
對於明度區塊，按比例調整因數及其定點表示可定義為：
Figure 02_image033
等式(1)
Figure 02_image035
等式(2)。
RPR程序可包括兩個部分，包括：(1)將當前區塊之左上角像素映射至參考圖像；及(2)使用水平及垂直步長大小來解決當前區塊之其他像素的參考方位。在一些情況下，若當前區塊之左上角像素之座標為(x, y)，則指定藉由1/16像素之單元中的運動向量(mvX, mvY)所指之參考圖像中之子像素(subpel)方位(
Figure 02_image037
,
Figure 02_image039
)，其中參考圖像中之水平方位為：
Figure 02_image041
,  等式(3)
且
Figure 02_image043
經進一步按比例縮小以僅保持10個分數位元：
Figure 02_image045
等式(4)
類似地，參考圖像中之垂直方位為：
Figure 02_image047
，等式(5)
且
Figure 02_image049
經進一步按比例縮小為：
Figure 02_image051
等式(6)
此時，當前區塊之左上角像素之參考方位在
Figure 02_image053
處。另一參考子像素/像素(pel)方位可相對於具有水平及垂直步長大小之
Figure 02_image055
來計算。彼等步長大小可自以上水平及垂直按比例調整因數在1/1024像素準確度(或其他像素準確度)下如下推導： x_step = ( hori_scale_fp + 8) ＞＞ 4，等式(7) y_step = ( vert_scale_fp + 8) ＞＞ 4 等式(8)
在一個實例中，若當前區塊中之像素為遠離左上角像素(或樣本)之i行及j列，則其對應參考像素之水平及垂直座標藉由以下推導出：
Figure 02_image057
，等式(9)
Figure 02_image059
等式(10)
在子像素內插中，
Figure 02_image061
及
Figure 02_image063
可需要如下分解成全像素部分及分數像素部分，其中用於定址參考區塊之全像素部分等於：
Figure 02_image065
，等式(11)
Figure 02_image067
等式(12)
用於選擇內插濾波器之分數像素部分等於
Figure 02_image069
，等式(13)
Figure 02_image071
等式(14)
在判定參考圖像內之全像素及分數像素方位後，可在無任何額外改變之情況下使用現有運動補償內插器。全像素方位將用於自參考圖像提取參考區塊補丁且分數像素方位將用於選擇恰當內插濾波器。
現描述用於色度區塊之RPR程序之實例。舉例而言，當色度格式為4:2:0時，色度運動向量具有1/32像素準確度。在此實例中，除引入色度格式相關之調整之外，色度運動向量及色度參考區塊之按比例調整程序與明度區塊類似。
當當前色度區塊之左上角像素之座標為(xc , yc )時，參考色度圖像中之初始水平及垂直方位為
Figure 02_image073
，等式(15)
Figure 02_image075
等式(16)
其中mvX及mvY為初始明度運動向量但現應在1/32像素準確度下經檢查。
Figure 02_image077
及
Figure 02_image079
經進一步按比例縮小以保持1/1024像素準確度如下：
Figure 02_image081
，等式(17)
Figure 02_image083
等式(18)
相較於相關聯明度等式，右上方移位增大一個額外位元。
所用之步長大小可與明度相同。對於相對於左上角像素在(i, j)處之色度像素，其參考像素之水平及垂直座標藉由以下推導出：
Figure 02_image085
，等式(19)
Figure 02_image087
等式(20)
在子像素內插中，
Figure 02_image089
及
Figure 02_image091
亦分解成全像素部分及分數像素部分，且用於定址參考區塊之全像素部分等於：
Figure 02_image093
，等式(21)
Figure 02_image095
等式(22)
用於選擇內插濾波器之分數像素部分等於：
Figure 02_image097
，等式(23)
Figure 02_image099
等式(24)
程序可關於邏輯流程圖描述，其操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上之當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲理解為限制，且任何數目個所描述操作可按任何次序及/或與實施該等程序並行地組合。
另外，程序可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可實施為共同在一或多個處理器上執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用)、藉由硬體實施或其組合。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性。
本文中所論述之寫碼技術可實施於實例視訊編碼及解碼系統(例如，系統100)中。在一些實例中，系統包括提供稍後待由目的地裝置解碼之經編碼視訊資料之源裝置。特定言之，源裝置經由電腦可讀媒體將視訊資料提供至目的地裝置。源裝置及目的地裝置可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」手機)、所謂的「智慧型」板、電視機、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些情況下，源裝置及目的地裝置可經裝備以用於無線通信。
目的地裝置可經由電腦可讀媒體來接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源裝置移動至目的地裝置的任何類型之媒體或裝置。在一個實例中，電腦可讀媒體可包含通信媒體以使得源裝置能夠即時地將經編碼視訊資料直接傳輸至目的地裝置。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地裝置。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置至目的地裝置之通信的任何其他裝備。
在一些實例中，經編碼資料可自輸出介面輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括各種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合的數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置生成之經編碼視訊之另一中間儲存裝置。目的地裝置可經由串流傳輸或下載自儲存裝置存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如用於網站)、FTP伺服器、網路附接儲存(network attached storage；NAS)裝置或本端磁碟機。目的地裝置可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此目的地裝置可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適於存取儲存於檔案伺服器上之經編碼視訊資料之兩者的組合。自儲存裝置的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
在一個實例中，源裝置包括視訊源、視訊編碼器及輸出介面。目的地裝置可包括輸入介面、視訊解碼器及顯示裝置。源裝置之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣，目的地裝置可與外部顯示裝置介接，而非包括整合式顯示裝置。
以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置執行。儘管通常本發明之技術由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常稱作「編解碼器」)執行。另外，本發明之技術亦可由視訊預處理器執行。源裝置及目的地裝置僅為源裝置生成經寫碼視訊資料以供傳輸至目的地裝置之此類寫碼裝置的實例。在一些實例中，源裝置及目的地裝置可以大體上對稱之方式操作，使得該等裝置中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊裝置之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
視訊源可包括視訊捕捉裝置，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代，視訊源可生成基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦生成之視訊的組合。在一些情況下，若視訊源為視訊攝影機，則源裝置及目的地裝置可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器編碼所捕捉、經預捕捉或電腦生成之視訊。經編碼視訊資訊可接著由輸出介面輸出至電腦可讀媒體上。
如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源裝置接收經編碼視訊資料，且將經編碼視訊資料提供至目的地裝置，例如，經由網路傳輸。類似地，媒體生產設施(諸如，光碟衝壓設施)之計算裝置可自源裝置接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體包括各種形式之一或多個電腦可讀媒體。
目的地裝置之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(group of pictures；GOP))之特性及/或處理的語法元素。顯示裝置將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(cathode ray tube；CRT)、液晶顯示器(liquid crystal display；LCD)、電漿顯示器、有機發光二極體(organic light emitting diode；OLED)顯示器或另一類型之顯示裝置。已描述本申請案之各種實施例。
編碼裝置104及解碼裝置112之特定細節分別展示於圖7及圖8中。圖7為說明可實施本發明中所描述之技術中之一或多者的實例編碼裝置104之方塊圖。編碼裝置104可(例如)生成本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼裝置104可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之相鄰或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中之任一者。
編碼裝置104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼裝置104亦包括逆量化單元58、逆變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解塊濾波器、自適應迴路濾波器(adaptive loop filter；ALF)及樣本自適應偏移(sample adaptive offset；SAO)濾波器。儘管濾波器單元63在圖7中展示為迴路濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。後處理裝置57可對由編碼裝置104生成之經編碼視訊資料執行額外處理。在一些情況下本發明之技術可藉由編碼裝置104實施。然而，在其他情況下，本發明之技術中的一或多者可藉由後處理裝置57實施。
如圖7中所展示，編碼裝置104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括分割成圖塊、圖塊片段、影像塊或其他較大單元，以及視訊區塊分割，例如根據LCU及CU之四分樹結構。編碼裝置104一般說明編碼待編碼之視訊圖塊內之視訊區塊的組件。圖塊可劃分成多個視訊區塊(且可能劃分成稱作影像塊之視訊區塊集合)。預測處理單位41可基於錯誤結果(例如，寫碼速率及失真等級，或其類似者)而選擇複數個可能寫碼模式中之一者(諸如複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以生成殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為生成運動向量之程序，該等運動向量估計視訊區塊之運動。運動向量例如可指示當前視訊圖框或圖像內之視訊區塊之預測單元(PU)相對於參考圖像內之預測性區塊的移位。
預測性區塊為就像素差而言經發現緊密地匹配待寫碼之視訊區塊之PU的區塊，該像素差可由絕對差總和(sum of absolute difference；SAD)、平方差總和(sum of square difference；SSD)或其他差度量判定。在一些實例中，編碼裝置104可計算儲存於圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，編碼裝置104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置來計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，清單0或清單1中之每一者識別儲存於圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確度)判定之運動向量而提取或生成預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼裝置104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可生成與視訊區塊及視訊圖塊相關聯之語法元素以由解碼裝置112用於解碼視訊圖塊之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代方案，框內預測處理單元46可對當前區塊進行框內預測。特定而言，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46可自經測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與初始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之所選框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。編碼裝置104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元流組態資料中。位元流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表)。
在預測處理單元41經由框間預測或框內預測來生成用於當前視訊區塊之預測性區塊之後，編碼裝置104藉由自當前視訊區塊減去預測性區塊來形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元率。量化程序可減小與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(context adaptive variable length coding；CAVLC)、上下文自適應性二進位算術寫碼(context adaptive binary arithmetic coding；CABAC)、基於語法之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding；SBAC)、機率區間分割熵(probability interval partitioning entropy；PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元流傳輸至解碼裝置112，或加以存檔以供稍後由解碼裝置112傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊之運動向量及其他語法元素。
逆量化單元58及逆變換處理單元60分別應用逆量化及逆變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可對經重建構殘餘區塊應用一或多個內插濾波器以計算用於在運動估計中使用之子整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生參考區塊以用於儲存於圖像記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。
以此方式，圖7之編碼裝置104表示經組態以執行本文中所描述之技術(包括上文相對於圖5所描述之方法500)中之任一者的視訊編碼器之實例。在一些情況下，本發明之技術中之一些亦可藉由後處理裝置57實施。
圖7為說明實例解碼裝置112之方塊圖。解碼裝置112包括熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼裝置112可執行大體上與相對於來自圖7之編碼裝置104描述的編碼遍次互逆的解碼遍次。
在解碼程序期間，解碼裝置112接收經編碼視訊位元流，其表示經編碼視訊圖塊之視訊區塊及藉由編碼裝置104發送的相關聯語法元素。在一些實施例中，解碼裝置112可自編碼裝置104接收經編碼視訊位元流。在一些實施例中，解碼裝置112可自諸如以下之網路實體79接收經編碼視訊位元流：伺服器、媒體感知網路元件(media-aware network element；MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類裝置。網路實體79可或可不包括編碼裝置104。本發明中所描述之技術中的一些可在網路實體79將經編碼視訊位元流傳輸至解碼裝置112之前由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼裝置112可為單獨裝置之部分，而在其他情況下，相對於網路實體79所描述之功能性可由包含解碼裝置112之相同裝置執行。
解碼裝置112之熵解碼單元80對位元流進行熵解碼以生成經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉送至預測處理單元81。解碼裝置112可接收視訊圖塊層級及/或視訊區塊層級處之語法元素。熵解碼單元80可處理且剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊之資料而生成當前視訊圖塊之視訊區塊的預測資料。當將視訊圖塊寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單內之參考圖像中的一者產生。解碼裝置112可基於儲存於圖像記憶體92中之參考圖像而使用默認建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊來產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素來判定用於寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼裝置104使用之內插濾波器來計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由編碼裝置104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。
逆量化單元86逆量化(或解量化)位元流中所提供且由熵解碼單元80解碼之經量化變換係數。逆量化程序可包括使用由編碼裝置104針對視訊圖塊中之每一視訊區塊計算之量化參數以判定應應用之量化程度及(同樣地)逆量化程度。逆變換處理單元88將逆變換(例如，逆DCT或其他適合的逆變換)、逆整數變換或概念上類似之逆變換程序應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素而生成當前視訊區塊之預測性區塊之後，解碼裝置112藉由將來自逆變換處理單元88之殘餘區塊與由運動補償單元82所生成之對應預測性區塊求和來形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。必要時，迴路濾波器(在寫碼循環中或在寫碼循環之後)亦可用於使像素轉變平滑，或另外改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如解塊濾波器、自適應迴路濾波器(adaptive loop filter；ALF)及樣本自適應偏移(sample adaptive offset；SAO)濾波器。儘管濾波器單元91在圖8中展示為迴路濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示裝置(諸如圖1中展示之目的地裝置122)上。
以此方式，圖8之解碼裝置112表示經組態以執行本文中所描述之技術(包括上文相對於圖3所描述之方法300)中之任一者的視訊解碼器之實例。
本發明之技術不必限於無線應用或設置。該等技術可應用於支援各種多媒體應用中之任一者之視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應串流(dynamic adaptive streaming over HTTP；DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
如本文中所使用，術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存裝置、光學儲存裝置及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料且不包括無線地或經由有線連接傳播之載波及/或暫時性電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體，諸如緊密光碟(compact disk；CD)或數位化通用光碟(digital versatile disk；DVD)、快閃記憶體、記憶體或記憶體裝置。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函數、子程式、程式、常式、次常式、模組、套裝軟體、類別，或指令、資料結構或程式語句之任何組合。碼段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何適合方式傳遞、轉送或傳輸。
在一些實施例中，電腦可讀儲存裝置、媒體及記憶體可包括含有位元流及其類似者之電纜或無線信號。然而，當提及時，非暫時性電腦可讀儲存媒體明確地排除諸如能量、載波信號、電磁波及信號本身之媒體。
在以上描述中提供特定細節以提供對本文中所提供之實施例及實例的透徹理解。然而，一般熟習此項技術者將理解，實施例可在無此等特定細節的情況下實踐。出於解釋之清楚起見，在一些情況下，本發明技術可呈現為包括個別功能區塊，其包括包含軟體或硬體與軟體之組合中所體現的裝置、裝置組件、方法中之步驟或常式的功能區塊。除諸圖中展示及/或本文中所描述的彼等組件以外，可使用額外組件。舉例而言，電路、系統、網路、程序及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實施例。在其他情況下，可在無不必要之細節的情況下展示熟知電路、程序、演算法、結構及技術以免混淆實施例。
個別實施例可在上文描述為描繪為流程圖(flowchart/flow diagram)、資料流程圖、結構圖或方塊圖的程序或方法。儘管流程圖可將操作描述為依序程序，但許多操作可並行地或同時執行。另外，操作之次序可重新配置。過程在其操作完成時終止，但可具有不包括於圖中之額外步驟。過程可對應於方法、函數、程序、次常式、子程式等。當程序對應於函數時，其終止可對應於函數傳回至呼叫函數或主函數。
可使用儲存或以其他方式可自電腦可讀媒體獲得的電腦可執行指令來實施根據上文所描述之實例的程序及方法。此類指令可包括(例如)導致或以其他方式組態通用電腦、專用電腦或處理裝置以執行某一功能或功能群組之指令及資料。可經由網路存取所使用的電腦資源之部分。電腦可執行指令可為(例如)二進位中間格式指令，諸如組合語言、韌體、原始程式碼等。可用於儲存指令、所使用資訊及/或根據所描述實例之方法期間所創建之資訊的電腦可讀媒體之實例包括磁碟或光碟、快閃記憶體、具備非揮發性記憶體之USB裝置、網絡連接式儲存裝置等等。
實施根據此等揭示內容之程序及方法的裝置可包括硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合，且可採取多種外觀尺寸中之任一者。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。外觀尺寸之典型實例包括膝上型電腦、智慧型手機、行動電話、平板電腦裝置或其他小外觀尺寸個人電腦、個人數位助理、機架式裝置、獨立裝置等等。本文中所描述之功能性亦可體現於周邊裝置或附加卡中。作為進一步實例，此類功能性亦可實施於在單個裝置中執行之不同晶片或不同程序當中的電路板上。
該等指令、用於輸送此等指令之媒體、用於執行此等媒體之計算資源及用於支援此等計算資源之其他結構為用於提供本發明中所描述之功能的實例裝置。
在前述描述中，參考其特定實施例描述申請案之態樣，但熟習此項技術者將認識到本申請案不限於此。因此，儘管本文中已詳細描述本申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此類變化。上文所描述之申請案之各種特徵及態樣可個別地或聯合地使用。此外，實施例可用於超出本文中所描述之彼等環境及應用的任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式視為說明性而非限制性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同的次序來執行該等方法。
一般熟習此項技術者將瞭解，在不脫離本說明書之範疇之情況下，本文中所使用之小於(「＜」)及大於(「＞」)符號或術語可分別用小於或等於(「≤」)及大於或等於(「≥」)符號替換。
在組件經描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此類組態。
片語「耦接至」係指任何組件直接地或間接地實體連接至另一組件，及/或任何組件直接地或間接地與另一組件通信(例如，經由有線或無線連接及/或其他合適之通信介面連接至另一組件)。
列舉集合「中之至少一者」及/或集合中之「一或多者」的技術方案語言或其他語言指示該集合之一個成員或該集合之多個成員(以任何組合)滿足該技術方案。舉例而言，列舉「A及B中之至少一者」或「A或B中之至少一者」的技術方案語言意謂A、B或A及B。在另一實例中，列舉「A、B及C中之至少一者」或「A、B或C中之至少一者」的技術方案語言意謂A、B、C、或A及B、或A及C、或B及C，或A及B及C。語言集合「中之至少一者」及/或集合中之「一或多者」並不將該集合限制為該集合所列出之項。舉例而言，列舉「A及B中之至少一者」或「A或B中之至少一者」的技術方案語言可意謂A、B或A及B，且可另外包括A及B之集合中未列出的項。
結合本文所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可經實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。是否將此類功能性實施為硬體或軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以不同之方式實施所描述功能性，但不應將此類實施決策解譯為導致脫離本申請案之範疇。
本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此類技術可實施於多種裝置中之任何者中，諸如通用電腦、無線通信裝置手機或具有多種用途(包括在無線通信裝置手機及其他裝置中之應用)之積體電路裝置。可將描述為模組或組件之任何特徵一起實施於積體邏輯裝置中或分開實施為離散但可互操作之邏輯裝置。若以軟體實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現，該程式碼包括在經執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(random access memory；RAM)，諸如同步動態隨機存取記憶體(synchronous dynamic random access memory；SDRAM)、唯讀記憶體(read-only memory；ROM)、非揮發性隨機存取記憶體(non-volatile random access memory；NVRAM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory；EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似者。另外或替代地，該等技術可至少部分由電腦可讀通信媒體實現，電腦可讀通信媒體攜載或傳達呈指令或資料結構形式且可由電腦存取、讀取及/或執行的程式碼，諸如經傳播的信號或波。
程式碼可由可包括一或多個處理器之處理器執行，該處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。此類處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可為微處理器，但在替代方案中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如，DSP及微處理器的組合、複數個微處理器、結合DSP核心之一或多個微處理器或任何其他此類組態。因此，如本文中所使用之術語「處理器」可指前述結構中之任一者、前述結構之任何組合或適合於實施本文中所描述之技術的任何其他結構或設備。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組內，或併入於經組合視訊編碼器-解碼器(編解碼器)中。
本發明之說明性實例包括：
實例1： 一種處理視訊資料的方法，方法包含：獲得視訊資料之當前圖像；判定當前圖像之大小不同於至少一個參考圖像之大小；基於當前圖像之大小不同於至少一個參考圖像之大小而判定禁用可切換內插濾波之使用；及基於當前圖像之大小不同於至少一個參考圖像之大小而執行至少一個參考圖像之參考圖像重新取樣。
實例2. 如實例1之方法，其中在區塊基礎上執行判定大小。
實例3. 如實例1之方法，其中在圖塊基礎上執行判定大小。
實例4. 如實例1之方法，其中在影像塊基礎上執行判定大小。
實例5. 如實例1之方法，其中在子圖像基礎上執行判定大小。
實例6. 如實例1之方法，其中在序列層級處執行判定大小。
實例7. 如實例1至6中任一例之方法，其中當前圖像之大小為當前圖像之經解碼圖像大小。
實例8. 如實例1至6中任一例之方法，其中在應用一或多個一致性窗口之後，當前圖像之大小為當前圖像之經裁剪圖像大小。
實例9. 如實例1至8中任一例之方法，其中基於當前圖像之經解碼圖像大小及一或多個偏移而判定參考圖像之大小。
實例10. 如實例1至9中任一例之方法，其進一步包含：基於當前圖像之大小及具有所施加偏移之參考圖像之大小而判定用於執行參考圖像重新取樣之按比例調整比率。
實例11. 如實例1至10中任一例之方法，其中與可切換內插濾波相關聯之一或多個語法元素基於在區塊層級處禁用可切換內插濾波而並不傳信用於具有經編碼視訊位元流之區塊。
實例12. 如實例11之方法，其中與可切換內插濾波相關聯之一或多個語法元素包括指示用於當前圖像之區塊之濾波器索引的語法元素。
實例13. 如實例1至12中任一例之方法，其中，當在區塊層級處禁用可切換內插濾波時及當自區塊之一或多個相鄰區塊推測區塊之濾波器索引時，濾波器索引經修改及設置為默認濾波器索引以用於來自區塊之相鄰區塊之經推導運動向量候選。
實例14. 如實例13之方法，其中默認濾波器索引指示並不應用可切換內插濾波。
實例15. 如實例13或14中任一例之方法，其中默認濾波器索引對區塊而言經忽略且與區塊一起儲存以用於一或多個後續區塊。
實例16. 如實例1至15中任一例之方法，其進一步包含生成包括當前圖像之經編碼視訊位元流。
實例17. 如實例1至15中任一例之方法，其進一步包含：解碼當前圖像。
實例18. 一種設備，其包含經組態以儲存視訊資料之記憶體及經組態以如實例1至17中任一例來處理視訊資料之處理器。
實例19. 如實例18之設備，其中設備包括編碼器。
實例20. 如實例18之設備，其中設備包括解碼器。
實例21. 如實例18至20中任一例之設備，其中設備為行動裝置。
實例22. 如實例18至21中任一例之設備，其進一步包含經組態以顯示視訊資料之顯示器。
實例23. 如實例18至22中任一例之設備，其進一步包含經組態以捕捉一或多個圖像之攝影機。
實例24. 一種電腦可讀媒體，其具有儲存於其上之指令，該等指令在由處理器執行時執行如實例1至17中任一例之方法。
實例24. 一種處理視訊資料之方法，方法包含：獲得視訊資料之當前圖像；判定當前圖像之大小是否不同於至少一個參考圖像之大小；獲得指示濾波器之濾波器索引以用以自第一濾波器集合或第二濾波器集合選擇，第一濾波器集合包括一或多個內插濾波器，且第二集合包括用於執行至少一個參考圖像之參考圖像重新取樣之一或多個濾波器；及基於當前圖像之大小是否不同於至少一個參考圖像之大小而判定是否自第一濾波器集合或第二濾波器集合選擇濾波器。
實例25. 如實例24之方法，其進一步包含：判定當前圖像之大小及至少一個參考圖像之大小為相同大小；及基於判定當前圖像之大小及至少一個參考圖像之大小為相同大小而自第一濾波器集合選擇濾波器。
實例26. 如實例24之方法，其進一步包含：判定當前圖像之大小不同於至少一個參考圖像之大小；及基於判定當前圖像之大小不同於至少一個參考圖像之大小而自第二濾波器集合選擇濾波器。
實例27. 一種設備，其包含經組態以儲存視訊資料之記憶體及經組態以如實例24至26中任一例來處理視訊資料之處理器。
實例28. 如實例27之設備，其中設備包括編碼器。
實例29. 如實例27之設備，其中設備包括解碼器。
實例30. 如實例27至29中任一例之設備，其中設備為行動裝置。
實例31. 如實例27至30中任一例之設備，其進一步包含經組態以顯示視訊資料之顯示器。
實例32. 如實例27至31中任一例之設備，其進一步包含經組態以捕捉一或多個圖像之攝影機。
實例33. 一種電腦可讀媒體，其具有儲存於其上之指令，該等指令在由處理器執行時執行如實例24至26中任一例之方法。
實例34. 一種用於處理視訊資料之設備，設備包含：一或多個記憶體單元，其儲存指令；及一或多個處理器，其執行指令，其中藉由一或多個處理器之指令之執行引起一或多個處理器：獲得當前圖像及參考圖像；識別用於當前圖像之當前區塊之濾波器索引資訊；判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同；及基於判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同，在不使用由濾波器索引資訊識別之當前濾波器索引之情況下執行重新取樣程序。
實例35. 一種用於處理視訊資料之設備，設備包含：一或多個記憶體單元，其儲存指令；及一或多個處理器，其執行指令，其中藉由一或多個處理器之指令之執行引起一或多個處理器：獲得當前圖像及參考圖像；識別用於當前圖像之當前區塊之濾波器索引資訊；判定當前圖像之第一圖像大小值與參考圖像之第二圖像大小值不同；及基於判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同，使用默認濾波器索引(例如，默認索引值)替代由濾波器索引資訊識別之當前濾波器索引來執行取樣率轉換程序。
實例36. 如實例34或35中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：將由濾波器索引資訊識別之當前濾波器索引與當前區塊一起儲存；及基於當前濾波器索引藉由濾波器索引資訊識別而將當前濾波器索引用於運動向量候選推導中以用於後續區塊。
實例37. 如實例34或35中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：當取樣率轉換程序在不使用當前濾波器索引來創建默認濾波器索引之情況下執行時，指派用於當前濾波器索引之默認值以暫時地替換初始值；及在取樣率轉換程序之後指派用於當前濾波器索引之初始值。
實例38. 如實例37之設備，其中用於當前濾波器索引之默認值指示替代可切換濾波並不應用為重新取樣程序之部分。
實例39. 如實例34至38中任一例之設備，其中濾波器索引資訊包含相鄰區塊資訊；且其中當前濾波器索引在合併模式運動向量候選清單推導期間自相鄰區塊資訊推導出。
實例40. 如實例34至39中任一例之設備，其中濾波器索引資訊包含自適應運動向量解析度(AMVR)模式傳信；且其中當前濾波器索引經由AMVR模式傳信來傳信。
實例41. 如實例34至40中任一例之設備，其中取樣率轉換程序為運動補償程序。
實例42. 如實例34至41中任一例之設備，其中取樣率轉換程序包括重新取樣程序。
實例43. 如實例34至42中任一例之設備，其中取樣率轉換程序包括內插程序。
實例44. 如實例34至43中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器使用參考圖像以用於當前圖像之當前區塊之框間預測。
實例45. 如實例34或44中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：判定當前濾波器索引並不用於取樣率轉換程序；及回應於判定當前濾波器索引並不用於取樣率轉換程序而用默認值替換當前濾波器索引之值。
實例46. 如實例34至45中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器處理默認值以判定並不應用替代可切換濾波器。
實例47. 如實例46之設備，其中替代可切換濾波器為平滑化濾波器。
實例48. 如實例34至47中任一例之設備，其中當前濾波器索引值回應於判定當前濾波器索引並不用於取樣率轉換程序中而並不傳信。
實例49. 如實例34至48中任一例之設備，其中當前濾波器索引選自濾波器集合，其中濾波器集合之子集用於執行取樣率轉換程序，且其中濾波器集合之剩餘部分不可用於取樣率轉換。
實例50. 如實例49中任一例之設備，其中使用語法元素來選擇當前濾波器索引，該語法元素指示禁止自濾波器集合之剩餘部分選擇當前濾波器索引。
實例51. 如實例34至50中任一例之設備，其中取樣率轉換程序包括重新取樣程序，且其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：識別用於內插之第一濾波器群組及用於重新取樣之第二濾波器群組，其中當前濾波器索引來自第二濾波器群組。
實例52. 如實例51之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：獲得第二當前圖像及第二參考圖像；判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值；及基於判定第二當前圖像之第三圖像大小值及第二參考圖像之第四圖像大小值為相同大小值，使用第二所選濾波器來執行用於第二當前區塊之第二重新取樣程序，其中第二所選濾波器來自第一濾波器群組。
實例53. 如實例51或52中任一例之設備，其中第一濾波器群組及第二濾波器群組之每一濾波器由相關聯濾波器索引識別，相關聯濾波器索引指示來自用於內插之濾波器集合或用於重新取樣之濾波器集合的相關聯索引值。
實例54. 如實例51至53中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：藉由用於所選濾波器索引值之查找操作而自濾波器索引獲得當前濾波器索引；其中所選濾波器索引值與第二濾波器群組相關聯；且其中所選濾波器索引值與第二濾波器群組之間的關聯係基於判定第一圖像大小值與第二圖像大小值不同。
實例55. 如實例34至54中任一例之設備，其中判定當前圖像之第一圖像大小值及參考圖像之第二圖像大小值不同包含判定以下中之至少一者：當前圖像寬度不同於參考圖像寬度；及當前圖像高度不同於參考圖像高度。
實例56. 如實例34至55中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器生成包含當前圖像及參考圖像之經編碼視訊位元流。
實例57. 如實例56之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器將經編碼視訊位元流發送至解碼裝置，經編碼視訊位元流利用傳信資訊來發送，傳信資訊包含默認濾波器索引。
實例58. 如實例56或57中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器儲存經編碼視訊位元流。
實例59. 如實例56至58中任一例之設備，其中藉由一或多個處理器之指令之執行進一步引起一或多個處理器：獲得包含當前圖像及參考圖像之經編碼視訊位元流；識別與經編碼視訊位元流相關聯之傳信資訊，傳信資訊包含濾波器索引資訊；及自經編碼視訊位元流解碼當前圖像之當前區塊。
實例60. 如實例34至55中任一例之設備，其中自經編碼視訊位元流解碼當前圖像之當前區塊包含基於默認濾波器索引而重建構當前區塊。
實例61. 如實例34至60中任一例之設備，其中設備為行動裝置。
實例62：如實例34至61中任一例之設備，其中設備包括經組態以顯示視訊資料之顯示器。
實例63. 如實例34至62中任一例之設備，其中設備包括經組態以捕捉視訊資料之一或多個視訊圖框之攝影機。
實例64. 一種方法，根據以上實例34至63中任一例。
實例65. 一種非暫時性電腦可讀儲存媒體，其包含在由裝置執行時引起裝置根據以上實例34至63中任一例來執行操作之指令。
實例66. 一種設備，其包括用於根據以上實例34至63來執行任何操作之裝置。
35:分割單元 41:預測處理單元 42:運動估計單元 44:運動補償單元 46:框內預測處理單元 50:求和器 52:變換處理單元 54:量化單元 56:熵編碼單元 57:後處理裝置 58:逆量化單元 60:逆變換處理單元 62:求和器 63:濾波器單元 64:圖像記憶體 79:網路實體 80:熵解碼單元 81:預測處理單元 82:運動補償單元 84:框內預測處理單元 86:逆量化單元 88:逆變換處理單元 90:求和器 91:濾波器單元 92:圖像記憶體 100:系統 102:視訊源 104:編碼裝置 106:編碼器引擎 108:儲存裝置 110:輸出端 112:解碼裝置 114:輸入端 116:解碼器引擎 118:儲存裝置 120:通信鏈路 122:視訊目的地裝置 312:層0單元 314:層1單元 322:層0單元 324:層1單元 332:層0單元 334:層1單元 410:參考圖像 412:第一垂直柵格間距 414:第一水平柵格間距 418:像素 419:像素 420:當前圖像 422:第二垂直柵格間距 424:第二水平柵格間距 428:像素 430:運動向量 500:方法 505:操作 510:操作 515:操作 520:操作 600:方法 602:操作 604:操作 608:操作 610:操作 612:操作 614:操作 616:操作 618:操作 620:操作 622:操作 624:操作
下文參考以下圖式詳細描述本申請案之說明性實施例：
圖1為根據一些實例之說明包括編碼裝置及解碼裝置之系統之實例的方塊圖；
圖2A為根據一些實例之說明用於合併模式之實例空間相鄰運動向量候選的概念圖；
圖2B為根據一些實例之說明用於進階運動向量預測(advanced motion vector prediction；AMVP)模式之實例空間相鄰運動向量候選之概念圖；
圖3為說明用於處理視訊資料之技術之流程圖；
圖4為根據一些實例之說明參考圖像重新取樣之態樣的圖式；
圖5為根據一些實例之說明用於參考圖像重新取樣之方法之態樣的流程圖；
圖6為根據一些實例之說明參考圖像重新取樣之態樣的流程圖；
圖7為根據一些實例之說明實例視訊編碼裝置之方塊圖；及
圖8為根據一些實例之說明實例視訊解碼裝置之方塊圖。
410:參考圖像
412:第一垂直柵格間距
414:第一水平柵格間距
418:像素
419:像素
420:當前圖像
422:第二垂直柵格間距
424:第二水平柵格間距
428:像素
430:運動向量

Claims (55)

  1. 一種處理視訊資料之方法，該方法包含： 獲得一當前圖像及一參考圖像； 識別用於該當前圖像之一當前區塊之濾波器索引資訊； 判定該當前圖像之第一圖像大小值與該參考圖像之第二圖像大小值不同；及 基於該判定該當前圖像之該第一圖像大小值與該參考圖像之該第二圖像大小值不同，使用默認濾波器索引替代由該濾波器索引資訊識別之一當前濾波器索引來執行一取樣率轉換程序。
  2. 如請求項1之方法，其進一步包含： 將由該濾波器索引資訊識別之該當前濾波器索引與該當前區塊一起儲存；及 基於由該濾波器索引資訊識別之該當前濾波器索引而將該當前濾波器索引用於運動向量候選推導中以用於一後續區塊。
  3. 如請求項1之方法，其進一步包含： 當該取樣率轉換程序在不使用該當前濾波器索引來創建該默認濾波器索引之情況下執行時，指派用於該當前濾波器索引之默認值以暫時地替換初始值；及 在該取樣率轉換程序之後，指派用於該當前濾波器索引之該初始值。
  4. 如請求項3之方法，其中用於該當前濾波器索引之該默認值指示替代可切換濾波並不應用為該取樣率轉換程序之部分。
  5. 如請求項1之方法，其中該濾波器索引資訊包含相鄰區塊資訊，且其中該當前濾波器索引在一合併模式運動向量候選清單推導期間自該相鄰區塊資訊推導出。
  6. 如請求項1之方法，其中該濾波器索引資訊包含自適應運動向量解析度(AMVR)模式傳信，且其中該當前濾波器索引經由該AMVR模式傳信來傳信。
  7. 如請求項1之方法，其中該取樣率轉換程序為一運動補償程序。
  8. 如請求項1之方法，其中該取樣率轉換程序包括一重新取樣程序。
  9. 如請求項1之方法，其中該取樣率轉換程序包括一內插程序。
  10. 如請求項1之方法，其進一步包含將該參考圖像用於該當前圖像之該當前區塊之框間預測。
  11. 如請求項1之方法，其進一步包含： 判定該當前濾波器索引並不用於該取樣率轉換程序；及 回應於該判定該當前濾波器索引並不用於該取樣率轉換程序而用默認值替換該當前濾波器索引之值。
  12. 如請求項11之方法，其進一步包含： 處理該默認值以判定並不應用一替代可切換濾波器。
  13. 如請求項12之方法，其中該替代可切換濾波器為一平滑化濾波器。
  14. 如請求項1之方法，其中當前濾波器索引值回應於判定該當前濾波器索引並不用於該取樣率轉換程序中而並不傳信。
  15. 如請求項1之方法，其中該當前濾波器索引選自一濾波器集合，其中該濾波器集合之一子集用於執行該取樣率轉換程序，且其中該濾波器集合之一剩餘部分不可用於取樣率轉換。
  16. 如請求項15之方法，其中使用一語法元素來選擇該當前濾波器索引，該語法元素指示禁止自該濾波器集合之該剩餘部分選擇該當前濾波器索引。
  17. 如請求項1之方法，其中該取樣率轉換程序包括一重新取樣程序，且其進一步包含： 識別用於內插之一第一濾波器群組及用於重新取樣之一第二濾波器群組，其中該當前濾波器索引來自該第二濾波器群組。
  18. 如請求項17之方法，其進一步包含： 獲得一第二當前圖像及一第二參考圖像； 判定該第二當前圖像之第三圖像大小值及該第二參考圖像之第四圖像大小值為相同大小值；及 基於判定該第二當前圖像之該第三圖像大小值及該第二參考圖像之該第四圖像大小值為相同大小值，使用一第二所選濾波器來執行用於一第二當前區塊之一第二重新取樣程序，其中該第二所選濾波器來自該第一濾波器群組。
  19. 如請求項17之方法，其中該第一濾波器群組及該第二濾波器群組之每一濾波器由一相關聯濾波器索引識別，該相關聯濾波器索引指示來自用於內插之一濾波器集合或用於重新取樣之一濾波器集合的一相關聯索引值。
  20. 如請求項17之方法，其進一步包含： 藉由用於一所選濾波器索引值之一查找操作而自一濾波器索引獲得該當前濾波器索引； 其中該所選濾波器索引值與該第二濾波器群組相關聯；且 其中該所選濾波器索引值與該第二濾波器群組之間的關聯係基於判定該第一圖像大小值與該第二圖像大小值不同。
  21. 如請求項1之方法，其中判定該當前圖像之該第一圖像大小值及該參考圖像之該第二圖像大小值不同包含判定以下中之至少一者： 一當前圖像寬度不同於一參考圖像寬度；及 一當前圖像高度不同於一參考圖像高度。
  22. 如請求項1之方法，其進一步包含： 生成包含該當前圖像及該參考圖像之一經編碼視訊位元流。
  23. 如請求項22之方法，其進一步包含： 將該經編碼視訊位元流發送至一解碼裝置，該經編碼視訊位元流利用傳信資訊來發送，該傳信資訊包含該默認濾波器索引。
  24. 如請求項22之方法，其進一步包含： 儲存該經編碼視訊位元流。
  25. 如請求項1之方法，其進一步包含： 獲得包含該當前圖像及該參考圖像之一經編碼視訊位元流； 識別與該經編碼視訊位元流相關聯之傳信資訊，該傳信資訊包含該濾波器索引資訊；及 自該經編碼視訊位元流解碼該當前圖像之該當前區塊。
  26. 如請求項25之方法，其中自該經編碼視訊位元流解碼該當前圖像之該當前區塊包含基於該默認濾波器索引而重建構該當前區塊。
  27. 一種用於處理視訊資料之設備，該設備包含： 一或多個記憶體單元，其儲存指令；及 一或多個處理器，其執行該等指令，其中藉由該一或多個處理器執行該等指令引起該一或多個處理器進行以下操作： 獲得一當前圖像及一參考圖像； 識別用於該當前圖像之一當前區塊之濾波器索引資訊； 判定該當前圖像之第一圖像大小值與該參考圖像之第二圖像大小值不同；及 基於判定該當前圖像之該第一圖像大小值與該參考圖像之該第二圖像大小值不同，使用一默認濾波器索引替代由該濾波器索引資訊識別之一當前濾波器索引來執行一取樣率轉換程序。
  28. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 將由該濾波器索引資訊識別之該當前濾波器索引與該當前區塊一起儲存；及 基於由該濾波器索引資訊識別之該當前濾波器索引而將該當前濾波器索引用於運動向量候選推導中以用於一後續區塊。
  29. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 當該取樣率轉換程序在不使用該當前濾波器索引來創建該默認濾波器索引之情況下執行時，指派用於該當前濾波器索引之默認值以暫時地替換初始值；及 在該取樣率轉換程序之後，指派用於該當前濾波器索引之該初始值。
  30. 如請求項29之設備，其中用於該當前濾波器索引之該默認值指示替代可切換濾波並不應用為該取樣率轉換程序之部分。
  31. 如請求項27之設備，其中該濾波器索引資訊包含相鄰區塊資訊，且其中該當前濾波器索引在一合併模式運動向量候選清單推導期間自該相鄰區塊資訊推導出。
  32. 如請求項27之設備，其中該濾波器索引資訊包含自適應運動向量解析度(AMVR)模式傳信，且其中該當前濾波器索引經由該AMVR模式傳信來傳信。
  33. 如請求項27之設備，其中該取樣率轉換程序為一運動補償程序。
  34. 如請求項27之設備，其中該取樣率轉換程序包括一重新取樣程序。
  35. 如請求項27之設備，其中該取樣率轉換程序包括一內插程序。
  36. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器將該參考圖像用於該當前圖像之該當前區塊之框間預測。
  37. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 判定該當前濾波器索引並不用於該取樣率轉換程序；及 回應於該判定該當前濾波器索引並不用於該取樣率轉換程序而用默認值替換該當前濾波器索引之值。
  38. 如請求項37之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器處理該默認值以判定並不應用一替代可切換濾波器。
  39. 如請求項38之設備，其中該替代可切換濾波器為一平滑化濾波器。
  40. 如請求項27之設備，其中當前濾波器索引值回應於判定該當前濾波器索引並不用於該取樣率轉換程序中而並不傳信。
  41. 如請求項27之設備，其中該當前濾波器索引選自一濾波器集合，其中該濾波器集合之一子集用於執行該取樣率轉換程序，且其中該濾波器集合之一剩餘部分不可用於取樣率轉換。
  42. 如請求項41之設備，其中使用一語法元素來選擇該當前濾波器索引，該語法元素指示禁止自該濾波器集合之該剩餘部分選擇該當前濾波器索引。
  43. 如請求項27之設備，其中該取樣率轉換程序包括一重新取樣程序，且其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 識別用於內插之一第一濾波器群組及用於重新取樣之一第二濾波器群組，其中該當前濾波器索引來自該第二濾波器群組。
  44. 如請求項43之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 獲得一第二當前圖像及一第二參考圖像； 判定該第二當前圖像之第三圖像大小值及該第二參考圖像之第四圖像大小值為相同大小值；及 基於判定該第二當前圖像之該第三圖像大小值及該第二參考圖像之該第四圖像大小值為相同大小值，使用一第二所選濾波器來執行用於一第二當前區塊之一第二重新取樣程序，其中該第二所選濾波器來自該第一濾波器群組。
  45. 如請求項43之設備，其中該第一濾波器群組及該第二濾波器群組之每一濾波器由一相關聯濾波器索引識別，該相關聯濾波器索引指示來自用於內插之一濾波器集合或用於重新取樣之一濾波器集合的一相關聯索引值。
  46. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令進一步引起該一或多個處理器進行以下操作： 藉由用於一所選濾波器索引值之一查找操作而自一濾波器索引獲得該當前濾波器索引； 其中該所選濾波器索引值與一第二濾波器群組相關聯；且 其中該所選濾波器索引值與該第二濾波器群組之間的關聯係基於判定該第一圖像大小值與該第二圖像大小值不同。
  47. 如請求項27之設備，其中判定該當前圖像之該第一圖像大小值與該參考圖像之該第二圖像大小值不同包含判定以下中之至少一者： 一當前圖像寬度不同於一參考圖像寬度；及 一當前圖像高度不同於一參考圖像高度。
  48. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令引起該一或多個處理器進行以下操作： 生成包含該當前圖像及該參考圖像之一經編碼視訊位元流。
  49. 如請求項48之設備，其中藉由該一或多個處理器執行該等指令引起該一或多個處理器進行以下操作： 將該經編碼視訊位元流發送至一解碼裝置，該經編碼視訊位元流利用傳信資訊來發送，該傳信資訊包含該默認濾波器索引。
  50. 如請求項48之設備，其中藉由該一或多個處理器執行該等指令引起該一或多個處理器進行以下操作： 儲存該經編碼視訊位元流。
  51. 如請求項27之設備，其中藉由該一或多個處理器執行該等指令引起該一或多個處理器進行以下操作： 獲得包含該當前圖像及該參考圖像之一經編碼視訊位元流； 識別與該經編碼視訊位元流相關聯之傳信資訊，該傳信資訊包含該濾波器索引資訊；及 自該經編碼視訊位元流解碼該當前圖像之該當前區塊。
  52. 如請求項51之設備，其中自該經編碼視訊位元流解碼該當前圖像之該當前區塊包含基於該默認濾波器索引而重建構該當前區塊。
  53. 如請求項27之設備，其中該設備為一行動裝置。
  54. 如請求項27之設備，其中該設備包括經組態以顯示該視訊資料之一顯示器。
  55. 如請求項27之設備，其中該設備包括經組態以捕捉該視訊資料之一或多個視訊圖框之一攝影機。
TW109121956A 2019-07-09 2020-06-29 具有可切換濾波器之參考圖像重新取樣 TW202110178A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962872225P 2019-07-09 2019-07-09
US62/872,225 2019-07-09
US16/912,660 2020-06-25
US16/912,660 US11563933B2 (en) 2019-07-09 2020-06-25 Reference picture resampling with switchable filters

Publications (1)

Publication Number Publication Date
TW202110178A true TW202110178A (zh) 2021-03-01

Family

ID=74102083

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121956A TW202110178A (zh) 2019-07-09 2020-06-29 具有可切換濾波器之參考圖像重新取樣

Country Status (14)

Country Link
US (1) US11563933B2 (zh)
EP (1) EP3997873A1 (zh)
JP (1) JP2022539455A (zh)
KR (1) KR20220030988A (zh)
CN (1) CN114303374A (zh)
AU (1) AU2020311851A1 (zh)
BR (1) BR112021026705A2 (zh)
CA (1) CA3144976A1 (zh)
CL (1) CL2022000026A1 (zh)
CO (1) CO2022000028A2 (zh)
IL (1) IL289255A (zh)
MX (1) MX2022000300A (zh)
TW (1) TW202110178A (zh)
WO (1) WO2021007048A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242427A (zh) * 2021-04-14 2021-08-10 中南大学 一种基于vvc中自适应运动矢量精度的快速方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7307191B2 (ja) 2019-04-01 2023-07-11 北京字節跳動網絡技術有限公司 履歴に基づく動きベクトル予測のための補間フィルタの使用
MX2021013752A (es) * 2019-05-13 2021-12-10 Samsung Electronics Co Ltd Metodo y dispositivo para codificar video en funcion del tama?o del video y metodo y dispositivo para decodificar video en funcion del tama?o del video.
BR112022002204A2 (pt) * 2019-08-06 2022-10-18 Op Solutions Llc Redimensionamento de previsão de gerenciamento de resolução adaptativa
CN114270856A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
US20230031886A1 (en) * 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
WO2023028965A1 (en) * 2021-09-02 2023-03-09 Nvidia Corporation Hardware codec accelerators for high-performance video encoding
WO2023200246A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2023200243A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 Mvd 부호 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720311B1 (en) * 2005-03-03 2010-05-18 Nvidia Corporation Memory and compute efficient block-based two-dimensional sample-rate converter for image/video applications
KR20160085891A (ko) * 2013-11-24 2016-07-18 엘지전자 주식회사 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242427A (zh) * 2021-04-14 2021-08-10 中南大学 一种基于vvc中自适应运动矢量精度的快速方法及装置
CN113242427B (zh) * 2021-04-14 2024-03-12 中南大学 一种基于vvc中自适应运动矢量精度的快速方法及装置

Also Published As

Publication number Publication date
JP2022539455A (ja) 2022-09-09
IL289255A (en) 2022-02-01
CL2022000026A1 (es) 2022-10-28
EP3997873A1 (en) 2022-05-18
WO2021007048A1 (en) 2021-01-14
AU2020311851A1 (en) 2022-01-27
KR20220030988A (ko) 2022-03-11
CO2022000028A2 (es) 2022-01-17
MX2022000300A (es) 2022-02-03
BR112021026705A2 (pt) 2022-02-15
CN114303374A (zh) 2022-04-08
US11563933B2 (en) 2023-01-24
CA3144976A1 (en) 2021-01-14
US20210014478A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
TWI826546B (zh) 對以歷史為基礎之運動向量預測器之改良
TWI724008B (zh) 在視訊寫碼中限制雙向預測之方法及系統
TW202110178A (zh) 具有可切換濾波器之參考圖像重新取樣
TW202037163A (zh) 改善的子劃分內預測
TWI654875B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信色彩值
TW202112130A (zh) 用於產生縮放比例和完整解析度圖片的系統和方法
US11190758B2 (en) Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
TW201841502A (zh) 用於視訊寫碼之框內預測技術
US20140198846A1 (en) Device and method for scalable coding of video information
EP3959877A1 (en) Adaptation parameter sets (aps) for adaptive loop filter (alf) parameters
TWI650004B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信分割區資訊
TW201926991A (zh) 色度量化參數偏移
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
CN114982246B (zh) 环路滤波器的自适应舍入
TW201320754A (zh) 支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器
KR20180017019A (ko) 스케일러블 비디오 코딩에서의 컬러 개머트 스케일러빌리티 파라미터들 및 테이블들의 도출
TW202121899A (zh) 針對局部雙樹的調色板預測器更新
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
TW202042552A (zh) 用於照明補償之區塊大小限制
TWI666919B (zh) 用於色域可擴展性的３ｄ色彩預測之信令參考層
TW202103496A (zh) 用於適應性迴路濾波器之剪切值計算之簡化
TW202203650A (zh) 解碼圖片緩衝器（ｄｐｂ）操作和存取單元定界符（ａｕｄ）
TW202236852A (zh) 高效視訊編碼器架構
TW202031052A (zh) 用於照明補償模式之刪剪
US20220201329A1 (en) Intra prediction using enhanced interpolation filters