TWI814755B - 視訊編碼器及視訊解碼器 - Google Patents

視訊編碼器及視訊解碼器 Download PDF

Info

Publication number
TWI814755B
TWI814755B TW107143950A TW107143950A TWI814755B TW I814755 B TWI814755 B TW I814755B TW 107143950 A TW107143950 A TW 107143950A TW 107143950 A TW107143950 A TW 107143950A TW I814755 B TWI814755 B TW I814755B
Authority
TW
Taiwan
Prior art keywords
block
prediction
samples
image
gradient
Prior art date
Application number
TW107143950A
Other languages
English (en)
Other versions
TW201926989A (zh
Inventor
安倍清史
西孝啓
遠間正真
加納龍一
宗順 林
廖如伶
海威 孫
史寇敘 巴曼 夏西達
漢文 張
李靜雅
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201926989A publication Critical patent/TW201926989A/zh
Application granted granted Critical
Publication of TWI814755B publication Critical patent/TWI814755B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本發明提供用於視訊寫碼之系統及方法。該等系統包括例如一圖像編碼器，該圖像編碼器包含：電路系統；以及一記憶體，其耦接至該電路系統，其中該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之該第一區塊以形成預測樣本之一第二區塊，其中該第二區塊大於該第一區塊；使用預測樣本之該第二區塊計算至少一梯度；以及使用所計算之至少該梯度來編碼該當前區塊。

Description

視訊編碼器及視訊解碼器
發明領域
本發明係關於視訊寫碼，且特定而言，係關於用於執行一框間預測功能以基於一參考圖框來預測一當前圖框之視訊編碼及解碼系統、組件及方法。
發明背景
被稱為高效視訊寫碼(HEVC)之視訊寫碼標準已藉由視訊寫碼聯合協作小組(JCT-VC)標準化。
隨著視訊寫碼技術自H.261及MPEG-1至H.264/AVC(進階視訊寫碼)、MPEG-LA、H.265/HEVC(高效率視訊寫碼)以及H.266/VVC(通用視訊編解碼器)的進步，仍持續需要提供對視訊寫碼技術之改良及最佳化以處理各種應用中的不斷增長之數位視訊資料量。本發明進一步係關於視訊寫碼中，特別係基於參考圖框建置當前圖框之預測的框間預測功能中的進步、改良及最佳化。
發明概要
在寫碼及解碼技術中需要進一步改良壓縮效率及減少處理負載。
因此，本發明提供能夠實現進一步改良壓縮效率及減少處理負載之編碼器、解碼器、編碼方法及解碼方法。
本發明之一個態樣係一種用於使用框間預測來編碼一圖片中之待寫碼之一區塊的編碼器，該編碼器包含一處理器及記憶體，且該處理器使用該記憶體執行以下步驟：藉由使用對應於兩個參考圖片中之各者的運動向量執行運動補償而自該等兩個參考圖片獲取兩個預測圖像；自該等兩個參考圖片獲取對應於該等兩個預測圖像之兩個梯度圖像；在藉由劃分待寫碼之該區塊而獲得的子區塊中，使用該等兩個預測圖像及該等兩個梯度圖像來導出局部運動估計值；以及使用該等兩個預測圖像、該等兩個梯度圖像及該子區塊之該等局部運動估計值產生待寫碼之該區塊的一最終預測圖像。
根據本發明之另一態樣，提供一種圖像編碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之該第一區塊以形成預測樣本之一第二區塊，其中該第二區塊大於該第一區塊；使用預測 樣本之該第二區塊計算至少一梯度；以及使用所計算之至少該梯度來編碼該當前區塊。
根據本發明之另一態樣，提供一種圖像編碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之該第一區塊以形成預測樣本之一第二區塊，其中該第二區塊大於該第一區塊；使用預測樣本之該第二區塊執行一內插程序；以及至少使用該內插程序之一所得區塊來編碼該當前區塊。
根據本發明之另一態樣，提供一種圖像編碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之一第二區塊以形成預測樣本之一第三區塊，其中該第二區塊相鄰於該當前區塊；至少使用預測樣本之該第一區塊及該第三區塊執行一重疊區塊運動補償程序；以及至少使用該重疊區塊運動補償程序之一所得區塊來編碼該當前區塊。
根據本發明之另一態樣，提供一種圖像編碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當 前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一第一運動向量的一預測程序；藉由一動態運動向量再新(DMVR)程序至少使用該第一運動向量導出用於該當前區塊之一第二運動向量；使用該第二運動向量對該當前區塊執行一內插程序，其中該內插程序包括一填補程序；以及至少使用該內插程序之一所得區塊來編碼該當前區塊。
根據本發明之另一態樣，提供一種圖像解碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之該第一區塊以形成預測樣本之一第二區塊，其中該第二區塊大於該第一區塊；使用預測樣本之該第二區塊計算至少一梯度；以及使用所計算之至少該梯度來解碼該當前區塊。
根據本發明之另一態樣，提供一種圖像解碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之該第一區塊以形成預測樣本之一第二區塊，其中該第二區塊大於該第一區塊；使用預測樣本之該第二區塊執行一內插程序；以及至少使用該內插 程序之一所得區塊來解碼該當前區塊。
根據本發明之另一態樣，提供一種圖像解碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一運動向量的一預測程序；填補預測樣本之一第二區塊以形成預測樣本之一第三區塊，其中該第二區塊相鄰於該當前區塊；至少使用預測樣本之該第一區塊及該第三區塊執行一重疊區塊運動補償程序；以及至少使用該重疊區塊運動補償程序之至少一所得區塊來解碼該當前區塊。
根據本發明之另一態樣，提供一種圖像解碼器，其包含電路系統及耦接至該電路系統之一記憶體。該電路系統在操作中執行以下步驟：預測用於一圖片之一當前區塊的預測樣本之一第一區塊，其中預測預測樣本之該第一區塊至少包括使用來自一不同圖片之一第一運動向量的一預測程序；藉由一動態運動向量再新(DMVR)程序至少使用該第一運動向量導出用於該當前區塊之一第二運動向量；使用該第二運動向量對該當前區塊執行一內插程序，其中該內插程序包括一填補程序；以及至少使用該內插程序之一所得區塊來解碼該當前區塊。
根據本發明之另一態樣，提供一種圖像編碼方法。該圖像編碼方法包含使一圖像編碼器能夠執行根據如本文中所描述之本發明之各個態樣的步驟。
根據本發明之另一態樣，提供一種圖像解碼方法。該圖像解碼方法包含使一圖像解碼器能夠執行根據如本文中所描述之本發明之各個態樣的步驟。
此等一般及特定實施例可使用系統、方法、積體電路、電腦程式或諸如電腦可讀CD-ROM之媒體來實現，且可藉由系統、方法、積體電路、電腦程式及媒體之組合來實現。
本發明能提供可以實現進一步改良壓縮效率及減少處理負載之編碼器、解碼器、編碼方法及解碼方法。
本發明之實施例的一些實現可改良編碼效率，可簡化編碼/解碼程序，可使編碼/解碼程序速度加速，可高效地選擇用於編碼及解碼中之適當的組件/操作，諸如適當的濾波器、區塊尺寸、運動向量、參考圖片、參考區塊等。
所揭示實施例之額外益處及優點將自說明書及圖式變得顯而易見。該等益處及/或優點可個別地藉由說明書及圖式之各種實施例及特徵來獲得，要獲得此等益處及/或優點中之一或多者並不需要提供所有該等各種實施例及特徵。
應注意，一般或特定實施例可實施為系統、方法、積體電路、電腦程式、儲存媒體或其之任何選擇性組合。
10:128×128區塊
11、12:16×64區塊
13:32×64區塊
14、15:64×32區塊
16:16×32區塊
17、18:16×16區塊
19、20:32×32區塊
21、22:32×16區塊
23:64×64區塊
100:編碼器
102:分裂器
104:減法器
106:變換器
108:量化器
110:熵編碼器
112、204:反量化器
114、206:反變換器
116、208:加法器
118、210:區塊記憶體
120、212:迴路濾波器
122、214:圖框記憶體
124、216:框內預測器
126、218:框間預測器
128、220:預測控制器
200:解碼器
202:熵解碼器
1000:當前圖片
1001:當前區塊
1100:第一參考圖片
1110:第一運動向量
1120:第一預測區塊
1121、1221:預測子區塊
1122、1222:左上方樣本
1130、1130A:第一內插參考範圍
1131、1131A、1132、1132A、1231、1231A、1232、1232A:參考範圍
1135、1135A:第一梯度參考範圍
1140:第一預測圖像
1150:第一梯度圖像
1200:第二參考圖片
1210:第二運動向量
1220:第二預測區塊
1230、1230A:第二內插參考範圍
1235、1235A:第二梯度參考範圍
1240:第二預測圖像
1250:第二梯度圖像
1300:局部運動估計值
1400:最終預測圖像
1700:圖像編碼/解碼方法之實例
1702、1704、1706、1708、2202、2204、2206、2208、2210、2302、2306、2308、2402、2404、2406、2408、2410、2502、2504、2506、2508、2510、2702A、2702B、2702C、2704B、2704C、2706A、2706B、2706C、2708A、2708B、2708C、2710C、2802、2804、2806、2808、2902、2904、2906、2908、2910、3002、3004、3006、3008、3502、3504、3506、3508、3602、3604、3606、3608、3802、3804、3806、3808、3904、S101、S102、S103、S104、S105、S106、S107、S108、S109、S110、S111:步驟
1900、1901:第二區塊
1902、1904、2002、2004、2006、2008:4×4第一區塊
2000、2001、2050、2051:8×8第二區塊
2200:圖像編碼/解碼方法之實施例
2300:概念圖
2304、2704A:填補步驟
2400、2700A、2700B、2700C、3500、3800:編碼方法之實施例
ex100:內容提供系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流伺服器
ex104:通訊網路
ex106、ex107、ex108、ex109、ex110:基地台
ex111:電腦
ex112:遊戲裝置
ex113、ex465:攝影機
ex114:家用電器
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:傳輸器/接收器
ex452:調變器/解調變器
ex453:多工器/解多工器
ex454:音訊信號處理器
ex455:視訊信號處理器
ex456:音訊輸入單元
ex457:音訊輸出單元
ex458:顯示器
ex459:顯示控制器
ex460:主控制器
ex461:電力供應電路
ex462:使用者介面輸入控制器
ex463:攝影機介面
ex464:插槽
ex466:使用者介面
ex467:記憶體
ex468:SIM
ex470:匯流排
ex500:LSI
Pred、Pred_U、Pred_L:預測圖像
MV_U、MV_L、MV0、MV1、v0、v1:運動向量
MV:預測運動向量
TD0、TD1、τ0、τ1:時間距離
Ref0、Ref1:參考圖片
在圖式中，相同參考編號識別類似元件。圖式中的元件之尺寸及相對位置未必按比例繪製。
[圖1]
圖1係說明根據一實施例之一編碼器之一功能組態的方塊圖。
[圖2]
圖2說明區塊分裂之一個實例。
[圖3]
圖3係指示各種變換類型之變換基礎函數的表。
[圖4A]
圖4A說明用於自適應迴路濾波器(adaptive loop filter；ALF)中之濾波器形狀的一個實例。
[圖4B]
圖4B說明用於ALF中之濾波器形狀的另一實例。
[圖4C]
圖4C說明用於ALF中之濾波器形狀的另一實例。
[圖5A]
圖5A說明用於框內預測之實例中的67種框內預測模式。
[圖5B]
圖5B係說明在重疊區塊運動補償(overlapped block motion compensation；OBMC)處理中執行的預測圖像校正程序之一個實例的流程圖。
[圖5C]
圖5C係說明在OBMC處理中執行的預測圖像校正程序之一個實例的概念圖。
[圖5D]
圖5D係說明圖框速率向上轉換(frame rate up conversion；FRUC)處理之一個實例的流程圖。
[圖6]
圖6說明沿著運動軌跡之兩個區塊之間的圖案匹配(雙側匹配)之一個實例。
[圖7]
圖7說明當前圖片中之模板與參考圖片中之區塊之間的圖案匹配(模板匹配)之一個實例。
[圖8]
圖8說明採用均勻線性運動之模型。
[圖9A]
圖9A說明基於相鄰區塊之運動向量導出各子區塊之運動向量的一個實例。
[圖9B]
圖9B說明用於在合併模式下導出運動向量之程序的一個實例。
[圖9C]
圖9C係說明動態運動向量再新(dynamic motion vector refreshing；DMVR)處理之實例的概念圖。
[圖9D]
圖9D說明使用藉由局部照明補償(local illumination compensation；LIC)處理執行之一明度校正程序的預測圖像產生方法之一個實例。
[圖10]
圖10係說明根據一實施例之解碼器之一功能組態的方塊圖。
[圖11]
圖11係展示根據另一實施例之一框間預測程序的流程圖。
[圖12]
圖12係用以解釋根據圖11中所展示之實施例之該框間預測的概念圖。
[圖13]
圖13係用以解釋根據圖11中所展示之實施例之一實例的運動補償濾波器及梯度濾波器之參考範圍之一實例的概念圖。
[圖14]
圖14係用以解釋根據圖11中所展示之實施例之修改實例1的運動補償濾波器之參考範圍之一實例的概念圖。
[圖15]
圖15係用以解釋根據圖11中所展示之實施例之修改實例1的梯度濾波器之參考範圍之一實例的概念圖。
[圖16]
圖16係展示根據圖11中所展示之實施例之修改實例 2的由導出局部運動估計值所參考之像素圖案之一實例的圖。
[圖17]
圖17係說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之一個實例的流程圖。
[圖18A]
圖18A係說明該圖片及該不同圖片之圖片次序計數之一實例的概念圖。在圖18A中，該圖片可被參考作為一當前圖片，且該不同圖片可被參考作為一第一圖片或一第二圖片。
[圖18B]
圖18B係說明該圖片及該不同圖片之圖片次序計數之另一實例的概念圖。
[圖18C]
圖18C係說明該圖片及該不同圖片之圖片次序計數之又一實例的概念圖。
[圖19A]
圖19A說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的填補方向之一實例。
[圖19B]
圖19B說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的填補方向之另一 實例。
[圖20A]
圖20A說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之一實例。
[圖20B]
圖20B說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之另一實例。
[圖20C]
圖20C說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之另一實例。
[圖20D]
圖20D說明根據如圖17中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之又一實例。
[圖21A]
圖21A說明用於一區塊之一梯度濾波器的實例。
[圖21B]
圖21B說明用於一區塊之多個梯度濾波器的實例。
[圖21C]
圖21C說明用於一區塊之一梯度濾波器的又一實例。
[圖21D]
圖21D說明用於一區塊之一梯度濾波器的又一實例。
[圖22]
圖22係說明根據如圖17中所展示之實例的圖像編碼/解碼方法之一實施例的流程圖。
[圖23]
圖23係說明如圖22中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖24]
圖24係說明根據如圖17中所展示之實例的圖像編碼/解碼方法之另一實施例的流程圖。
[圖25]
圖25係說明如圖24中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖26]
圖26說明藉由如圖24及圖25中所展示之圖像編碼/解碼方法之實施例中的填補程序所產生之一區塊的實例。
[圖27A]
圖27A係說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之另一替代實例的流程圖。
[圖27B]
圖27B係說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之另一替代實例的流程圖。
[圖27C]
圖27C係說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之又一替代實例的流程圖。
[圖28]
圖28係說明如圖27A中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖29]
圖29係說明如圖27B中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖30]
圖30係說明如圖27C中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖31]
圖31展示一當前區塊之相鄰區塊的實例。
[圖32A]
圖32A說明根據如圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之一實例。
[圖32B]
圖32B說明根據如圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之另一實例。
[圖32C]
圖32C說明根據如圖27A、圖27B及圖27C中所展 示之圖像編碼/解碼方法之實例的用於填補預測樣本之一區塊的程序之另一實例。
[圖33A]
圖33A說明根據如圖17、圖22、圖24、圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補一區塊之填補方向的一實例。
[圖33B]
圖33B說明根據如圖17、圖22、圖24、圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補一區塊之填補方向的另一實例。
[圖33C]
圖33C說明根據如圖17、圖22、圖24、圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補一區塊之填補方向的另一實例。
[圖33D]
圖33D說明根據如圖17、圖22、圖24、圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的用於填補一區塊之填補方向的又一實例。
[圖34]
圖34展示根據如圖17、圖22、圖24、圖27A、圖27B及圖27C中所展示之圖像編碼/解碼方法之實例的預測樣本之區塊的替代實例。在此等替代實例中，預測樣本之區塊係呈非矩形形狀。
[圖35]
圖35展示流程圖，其說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之另一替代實例。
[圖36]
圖36係說明如圖35中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖37A]
圖37A說明根據如圖35中所展示之圖像編碼/解碼方法之實例的用於依據一第二運動向量填補預測樣本之一區塊的程序之實例。
[圖37B]
圖37B說明根據如圖35中所展示之圖像編碼/解碼方法之實例的用於依據一第二運動向量填補預測樣本之一區塊的程序之另一實例。
[圖38]
圖38展示流程圖，其說明使用一框間預測功能以基於一不同圖片中之參考區塊來產生一圖片之當前區塊之預測的圖像編碼/解碼方法之又一替代實例。圖38之流程圖類似於圖35之流程圖，除了步驟3804中之動態運動向量再新(DMVR)程序進一步包括填補程序之外。
[圖39]
圖39係說明如圖38中所展示之圖像編碼/解碼方法之實施例的概念圖。
[圖40]
圖40說明用於實施內容分配服務之一內容提供系統的總體組態。
[圖41]
圖41說明可調式編碼中之編碼結構的一個實例。
[圖42]
圖42說明可調式編碼中之編碼結構的一個實例。
[圖43]
圖43說明一網頁之一顯示螢幕的實例。
[圖44]
圖44說明一網頁之一顯示螢幕的實例。
[圖45]
圖45說明智慧型手機之一個實例。
[圖46]
圖46係說明智慧型手機之一組態實例的方塊圖。
實施例之詳細說明
在下文中，將參見圖式來描述實施例。應注意，下文所描述之實施例各自展示一般或特定的實例。以下實施例中所指出的數值、形狀、材料、組件、組件之配置及連接、步驟、步驟之關係及次序等僅為實例，且不欲限制申請專利範圍之範圍。因此，那些被揭示於以下實施例中、但未被敍述於任一個界定最廣泛發明概念的獨立請求項中之組件可被理解為可選的組件。
將在下文描述編碼器及解碼器之實施例。該 等實施例係本發明之態樣之描述中所呈現的程序及/或組態可適用的編碼器及解碼器之實例。該等程序及/或組態亦可被實施於不同於根據該等實施例之編碼器及解碼器的編碼器及解碼器中。舉例而言，關於應用於該等實施例之程序及/或組態，可實施以下情況中之任一者：
(1)根據本發明之態樣之描述中所呈現的實施例之編碼器或解碼器之組件中的任一者可用在本發明之態樣之描述中任一處所呈現的另一組件替代或與該另一組件組合。
(2)在根據實施例之編碼器或解碼器中，可對藉由編碼器或解碼器之一或多個組件所執行的功能或程序做出任意改變，諸如添加、替代、移除該等功能或程序等。舉例而言，任何功能或程序可用在本發明之態樣之描述中任一處所呈現的另一功能或程序替代或與該另一功能或程序組合。
(3)在藉由根據實施例之編碼器或解碼器所實施之方法中，可做出任意改變，諸如添加、替代及移除包括於該方法中的程序中之一或多者。舉例而言，方法中之任何程序可用在本發明之態樣之描述中任一處所呈現的另一程序替代或與該另一程序組合。
(4)一或多個包括於根據實施例之編碼器或解碼器中的組件可與在本發明之態樣之描述中任一處所呈現之一組件組合、可與一個包括在本發明之態樣之描述中任一處所呈現之一或多個功能的組件組合、且可與一個實 現藉由在本發明之態樣之描述中所呈現之一組件實施的一或多個程序之組件組合。
(5)一個包括根據實施例之編碼器或解碼器之一或多個功能的組件或一個實現根據實施例之編碼器或解碼器之一或多個程序的組件可與以下各者組合或被以下各者替代：在本發明之態樣之描述中任一處所呈現的一組件；一個包括在本發明之態樣之描述中任一處所呈現的一或多個功能之組件；或一個實現在本發明之態樣之描述中任一處所呈現的一或多個程序之組件。
(6)在藉由根據實施例之編碼器或解碼器所實施之方法中，任一個包括於該方法中的程序可用以下各者替代或與以下各者組合：在本發明之態樣之描述中任一處所呈現的一程序；或任何對應的或等效的程序。
(7)一或多個包括於藉由根據實施例之編碼器或解碼器所實施之方法中的程序可與在本發明之態樣之描述中任一處所呈現的一程序組合。
(8)本發明之態樣之描述中所呈現的程序及/或組態之實施係不限於根據實施例之編碼器或解碼器。舉例而言，該等程序及/或組態可實施在用於目的不同於實施例中所揭示之動畫編碼器或動畫解碼器的裝置之中。
(編碼器)
首先，將描述根據實施例之編碼器。圖1係說明根據實施例之編碼器100之一功能組態的方塊圖。編碼器100係一種逐區塊編碼動畫之動畫編碼器。
如圖1中所說明，編碼器100係一種逐區塊編碼圖片之裝置，並且包括有分裂器102、減法器104、變換器106、量化器108、熵編碼器110、反量化器112、反變換器114、加法器116、區塊記憶體118、迴路濾波器120、圖框記憶體122、框內預測器124、框間預測器126及預測控制器128。
編碼器100實現為例如通用的處理器及記憶體。在此狀況下，當儲存於記憶體中之軟體程式係藉由處理器執行時，該處理器作用為分裂器102、減法器104、變換器106、量化器108、熵編碼器110、反量化器112、反變換器114、加法器116、迴路濾波器120、框內預測器124、框間預測器126及預測控制器128。替代地，編碼器100可實現為對應於以下各者之一或多個專用電子電路：分裂器102、減法器104、變換器106、量化器108、熵編碼器110、反量化器112、反變換器114、加法器116、迴路濾波器120、框內預測器124、框間預測器126及預測控制器128。
在下文中，將描述包括於編碼器100中之各組件。
(分裂器)
分裂器102將包括於一輸入動畫中之各圖片分裂成區塊，且將各區塊輸出至減法器104。舉例而言，分裂器102首先將一圖片分裂成固定尺寸(例如，128×128)之區塊。固定尺寸區塊亦可被意指作寫碼樹型單元(CTU)。分裂器 102接著基於例如遞迴四分樹及/或二元樹區塊分裂來將各固定尺寸區塊分裂成可變尺寸(例如，64×64或小於64×64)之區塊。可變尺寸區塊亦可被意指作寫碼單元(CU)、預測單元(PU)或變換單元(TU)。在各種實施中，可能並不需要區分CU、PU與TU；圖片中之全部或一些區塊可按照CU、PU或TU來處理。
圖2說明根據實施例之區塊分裂之一個實例。在圖2中，實線表示按照四分樹區塊分裂來分裂之區塊的區塊邊界，而虛線表示按照二元樹區塊分裂來分裂之區塊的區塊邊界。
此處，區塊10係正方形的128×128像素區塊(128×128區塊)。此128×128區塊10首先分裂成四個正方形的64×64區塊(四分樹區塊分裂)。
左上方的64×64區塊進一步垂直地分裂成兩個矩形的32×64區塊，且左方的32×64區塊進一步垂直地分裂成兩個矩形的16×64區塊(二元樹區塊分裂)。結果，左上方的64×64區塊分裂成兩個16×64區塊11及12以及一個32×64區塊13。
右上方的64×64區塊水平地分裂成兩個矩形的64×32區塊14及15(二元樹區塊分裂)。
左下方的64×64區塊首先分裂成四個正方形的32×32區塊(四分樹區塊分裂)。四個32×32區塊當中之左上方區塊及右下方區塊將進一步分裂。左上方的32×32區塊垂直地分裂成兩個矩形的16×32區塊，且右方 的16×32區塊進一步水平地分裂成兩個16×16區塊(二元樹區塊分裂)。右下方的32×32區塊水平地分裂成兩個32×16區塊(二元樹區塊分裂)。結果，左下方的64×64區塊分裂成16×32區塊16、兩個16×16區塊17及18、兩個32×32區塊19及20以及兩個32×16區塊21及22。
右下方的64×64區塊23未分裂。
如上文所描述，在圖2中，區塊10基於遞迴四分樹及二元樹區塊分裂而分裂成13個可變尺寸的區塊11至23。此類型之分裂亦被意指作四分樹加二元樹(QTBT)分裂。
雖然在圖2中，一個區塊被分裂成四個或兩個區塊(四分樹或二元樹區塊分裂)，但分裂不限於此等實例。舉例而言，一個區塊可分裂成三個區塊(三元區塊分裂)。包括此種三元區塊分裂之分裂亦被意指作多類型樹(multi-type tree；MBT)分裂。
(減法器)
減法器104針對藉由分裂器102分裂且自分裂器輸入的各區塊而自原始信號(原始樣本)減去預測信號(將在下文所描述的自預測控制器128輸入之預測樣本)。換言之，減法器104計算待編碼之區塊(在下文中被意指作「當前區塊」)的預測誤差(亦被意指作「殘餘」)。減法器104接著將所計算之預測誤差(殘餘)輸出至變換器106。
原始信號係輸入至編碼器100中之信號，且係表示包括於動畫中之各圖片之圖像的信號(例如，一明度 信號及兩個色度信號)。在下文中，表示圖像之信號亦被意指作樣本。
(變換器)
變換器106將空間域預測誤差變換成頻域變換係數，且將該等變換係數輸出至量化器108。更具體而言，變換器106將例如預定義離散餘弦變換(DCT)或離散正弦變換(DST)應用於空間域預測誤差。
應注意，變換器106可自多個變換類型當中自適應地選出一變換類型，且藉由使用對應於該選定變換類型之變換基礎函數來將預測誤差變換成變換係數。此種變換亦被意指作顯式多核心變換(explicit multiple core transform；EMT)或自適應多變換(adaptive multiple transform；AMT)。
變換類型包括例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3係指示用於各變換類型之變換基礎函數的圖表。在圖3中，N指示輸入像素之數目。舉例而言，自多個變換類型當中選擇一變換類型可取決於預測類型(框內預測及框間預測)以及框內預測模式。
指示是否應用EMT或AMT之資訊(被意指作例如EMT旗標或AMT旗標)及指示選定變換類型之資訊通常在CU層級發信。應注意，此資訊之發信並非必須在CU層級執行，而可在另一層級(例如，在位元序列層級、圖片層級、圖塊(slice)層級、圖像塊(tile)層級或CTU 層級)執行。
此外，變換器106可將二次變換應用於變換係數(變換結果)。此種二次變換亦被意指作自適應二次變換(adaptive secondary transform；AST)或不可分二次變換(non-separable secondary transform；NSST)。舉例而言，變換器106將二次變換應用於包括在對應於框內預測誤差之變換係數之區塊中的各子區塊(例如，各4×4子區塊)。指示是否應用NSST之資訊及與NSST中所使用的變換矩陣相關之資訊通常在CU層級發信。應注意，此資訊之發信並非必須在CU層級執行，而可在另一層級(例如，在序列層級、圖片層級、圖塊層級、圖像塊層級或CTU層級)執行。
存在可應用於變換器106中之單獨變換及不可分變換。單獨變換係一種藉由根據維度輸入之數目而對各方向單獨地執行變換來將變換執行多次的方法。不可分變換係一種執行共同變換的方法，其中多維輸入中之兩個或多於兩個維度被共同地視為單一維度。
在不可分變換之一個實例中，當輸入係4×4區塊時，4×4區塊被視為包括16個分量的單一陣列，且變換將16×16變換矩陣應用於該陣列。
在不可分變換之另一實例中，在輸入4×4區塊被視為包括16個分量的單一陣列之後，執行多個吉文斯(Givens)旋轉之變換(例如，超立方體吉文斯變換)可被應用於該陣列。
(量化器)
量化器108量化自變換器106輸出之變換係數。更具體而言，量化器108按預定掃描次序來掃描當前區塊之變換係數，且基於對應於該等變換係數之量化參數(QP)而量化經掃描變換係數。量化器108接著將當前區塊之經量化變換係數(在下文中被意指作經量化係數)輸出至熵編碼器110及反量化器112。
預定掃描次序係一種用於量化/反量化變換係數之次序。舉例而言，預定掃描次序係定義為頻率之升序(從低頻率至高頻率)或頻率之降序(從高頻率至低頻率)。
量化參數(QP)係一種定義量化步長(量化寬度)之參數。舉例而言，若量化參數之值增大，則量化步長亦增大。換言之，若量化參數之值增大，則量化誤差增大。
(熵編碼器)
熵編碼器110基於自量化器108輸入之經量化係數而產生經編碼信號(經編碼位元串流)。更具體而言，例如，熵編碼器110將經量化係數二進位化且算術編碼二進位信號，以輸出壓縮位元串流或序列。
(反量化器)
反量化器112反量化自量化器108輸入之經量化係數。更具體而言，反量化器112按預定掃描次序來反量化當前區塊之經量化係數。反量化器112接著將當前區塊之經反量化變換係數輸出至反變換器114。
(反變換器)
反變換器114藉由反變換自反量化器112輸入之變換係數來恢復預測誤差(殘餘)。更具體而言，反變換器114藉由對變換係數應用對應於由變換器106所應用之變換的一反變換來恢復當前區塊之預測誤差。反變換器114接著將已恢復的預測誤差輸出至加法器116。
應注意，由於資訊在量化時通常被丟失，故已恢復的預測誤差並不匹配藉由減法器104所計算的預測誤差。換言之，已恢復的預測誤差通常包括量化誤差。
(加法器)
加法器116藉由對自反變換器114輸入之預測誤差及自預測控制器128輸入之預測樣本進行加總來重建構當前區塊。加法器116接著將經重建構區塊輸出至區塊記憶體118及迴路濾波器120。經重建構區塊亦被意指作局部經解碼區塊。
(區塊記憶體)
區塊記憶體118係一種用於儲存待編碼之圖片(被意指作「當前圖片」)中之區塊以供例如在框內預測時參考的儲存器。更具體而言，區塊記憶體118儲存自加法器116輸出之經重建構區塊。
(迴路濾波器)
迴路濾波器120將迴路濾波器應用於由加法器116所重建構之區塊，且將經濾波的重建構區塊輸出至圖框記憶體122。迴路濾波器係一種用於編碼迴路中之濾波器(迴路 內濾波器)，且包括例如解區塊濾波器(DF)、樣本自適應偏移(SAO)及自適應迴路濾波器(ALF)。
在ALF中，應用一種用於移除壓縮假影之最小平方誤差濾波器。舉例而言，基於局部梯度之方向及活動性而為當前區塊中之各2×2子區塊選擇來自多個濾波器當中的一個濾波器，並且應用該濾波器。
更具體而言，首先，將各子區塊(例如，各2×2子區塊)分類成出自多個類別(例如，15或25個類別)中的一個類別。子區塊之分類係基於梯度方向性及活動性。舉例而言，分類索引C係基於梯度方向性D(例如，0至2或0至4)及梯度活動性A(例如，0至4)來導出(例如，C=5D+A)。接著，基於分類索引C，將各子區塊分類成出自多個類別中的一個類別。
舉例而言，梯度方向性D係藉由比較多個方向(例如，水平、垂直及兩個對角線方向)之梯度來計算。此外，例如，梯度活動性A係藉由對多個方向之梯度進行加總及量化總和來計算。
待用於各子區塊之濾波器係基於此分類之結果而自多個濾波器之中判定。
待用於ALF中之濾波器形狀為例如圓形對稱的濾波器形狀。圖4A、圖4B及圖4C說明用於ALF中之濾波器形狀之實例。圖4A說明5×5菱形濾波器，圖4B說明7×7菱形濾波器，而圖4C說明9×9菱形濾波器。指示濾波器形狀之資訊通常在圖片層級發信。應注意，指 示濾波器形狀之資訊之發信並非必須在圖片層級執行，而可在另一層級(例如，在序列層級、圖塊層級、圖像塊層級、CTU層級或CU層級)執行。
ALF之啟用或停用可在圖片層級或CU層級被判定。舉例而言，對於明度，是否應用ALF之決策可在CU層級進行，且對於色度，是否應用ALF之決策可在圖片層級進行。指示是啟用抑或停用ALF之資訊通常在圖片層級或CU層級發信。應注意，指示是啟用抑或停用ALF之資訊之發信並非必須在圖片層級或CU層級執行，而可在另一層級(例如，在序列層級、圖塊層級、圖像塊層級或CTU層級)執行。
用於多個可選擇濾波器(例如，15或25個濾波器)之係數集合通常在圖片層級發信。應注意，係數集合之發信並非必須在圖片層級執行，而可在另一層級(例如，在序列層級、圖塊層級、圖像塊層級、CTU層級、CU層級或子區塊層級)執行。
(圖框記憶體)
圖框記憶體122係一種用於儲存例如被用在框間預測中之參考圖片的儲存器，且亦被意指作圖框緩衝器。更具體而言，圖框記憶體122儲存由迴路濾波器120進行濾波之經重建構區塊。
(框內預測器)
框內預測器124藉由參考如儲存於區塊記憶體118中之當前圖片中的一個區塊或多個區塊而框內預測 當前區塊(亦被意指作框內圖框預測)來產生預測信號(框內預測信號)。更具體而言，框內預測器124藉由參考相鄰於當前區塊之一個區塊或多個區塊的樣本(例如，明度值及/或色度值)進行框內預測來產生框內預測信號，且接著將該框內預測信號輸出至預測控制器128。
舉例而言，框內預測器124藉由使用來自多個預定義框內預測模式當中之一個模式來執行框內預測。該等框內預測模式通常包括一或多個非方向性預測模式及多個方向性預測模式。
一或多個非方向性預測模式包含例如定義於H.265/HEVC標準中之平面預測模式及DC預測模式。
多個方向性預測模式包括例如定義於H.265/HEVC標準中之33種方向性預測模式。應注意，除了33種方向性預測模式以外，多個方向性預測模式還可進一步包括32種方向性預測模式(總計65種方向性預測模式)。
圖5A說明用於框內預測中的總計67種框內預測模式(兩種非方向性預測模式及65種方向性預測模式)。實線箭頭表示定義於H.265/HEVC標準中的33個方向，而虛線箭頭表示額外的32個方向。(兩種「非方向性」預測模式在圖5A中並未說明。)
在各種實施中，可在色度區塊框內預測中參考明度區塊。亦即，可基於當前區塊之明度分量來預測當前區塊之色度分量。此種框內預測亦被意指作交叉分量線 性模型(cross-component linear model；CCLM)預測。參考明度區塊之色度區塊框內預測模式(被意指作例如CCLM模式)可被添加作為色度區塊框內預測模式中之一者。
框內預測器124可基於水平/垂直參考像素梯度來校正框內預測後像素值。此種校正所伴隨之框內預測亦被意指作位置相依框內預測組合(position dependent intra prediction combination；PDPC)。指示是否應用PDPC之資訊(被意指作例如PDPC旗標)通常在CU層級發信。應注意，此資訊之發信並非必須在CU層級執行，而可在另一層級(例如，在序列層級、圖片層級、圖塊層級、圖像塊層級或CTU層級上)執行。
(框間預測器)
框間預測器126藉由參考一參考圖片中之一個區塊或多個區塊而框間預測當前區塊來產生預測信號(框間預測信號)，該參考圖片係不同於當前圖片且被儲存於圖框記憶體122中(亦被意指作框間圖框預測)。針對每個當前區塊或當前區塊中之每個當前子區塊(例如，每個4×4區塊)執行框間預測。舉例而言，框間預測器126在用於當前區塊或當前子區塊之一參考圖片中執行運動估計，以找到該參考圖片中最佳匹配當前區塊或子區塊之一參考區塊或子區塊。框間預測器126接著基於運動估計而執行運動補償(或運動預測)以獲得補償(或預測)自參考區塊或子區塊至當前區塊或子區塊之移動或改變的運動資訊(例如，運動向 量)，且基於該運動資訊來產生當前區塊或子區塊之框間預測信號。框間預測器126接著將所產生的框間預測信號輸出至預測控制器128。
運動補償中所使用之運動資訊可按各種形式作為框間預測信號被發信。舉例而言，可發信運動向量。作為另一實例，可發信運動向量與運動向量預測值之間的差。
應注意，除了自運動估計所獲得的當前區塊之運動資訊以外，還可使用相鄰區塊之運動資訊來產生框間預測信號。更具體而言，可藉由計算一個基於自運動估計所獲得之運動資訊的預測信號(在參考圖片中)與一個基於相鄰區塊之運動資訊的預測信號(在當前圖片中)的加權和，來針對當前區塊中之每個子區塊產生框間預測信號。此框間預測(運動補償)亦被意指作重疊區塊運動補償(OBMC)。
在OBMC模式下，指示用於OBMC之子區塊尺寸(被意指作例如OBMC區塊尺寸)之資訊可在序列層級被發信。另外，指示是否應用OBMC模式之資訊(被意指作例如OBMC旗標)可在CU層級被發信。應注意，此資訊之發信並非必須在序列層級及CU層級執行，而可在另一層級(例如，在圖片層級、圖塊層級、圖像塊層級、CTU層級或子區塊層級)執行。
在下文中，將更詳細地描述OBMC模式。圖5B係說明藉由OBMC處理所執行之預測圖像校正程序 的流程圖，而圖5C係說明該預測圖像校正程序的概念圖。
參見圖5C，首先，使用指派給目標(當前)區塊之運動向量(MV)經由典型運動補償來獲得預測圖像(Pred)。在圖5C中，箭頭「MV」指向參考圖片，以指示為了要獲得預測圖像，當前圖片中之當前區塊正在參考什麼圖像。
接下來，藉由將已針對經編碼相鄰左方區塊所導出之運動向量(MV_L)應用(再使用)於如由源自當前區塊且指向參考圖片之箭頭「MV_L」所指示的目標(當前)區塊以獲得預測圖像Pred_L，而來獲得預測圖像(Pred_L)。接著，將兩個預測圖像Pred及Pred_L疊加以執行第一遍次之預測圖像之校正，在一個態樣中，該第一遍次具有混合相鄰區塊間的邊界之效果。
類似地，藉由將已針對經編碼相鄰上部區塊所導出之運動向量(MV_U)應用(再使用)於如由源自當前區塊且指向參考圖片之箭頭「MV_U」所指示的目標(當前)區塊以獲得預測圖像Pred_U，而來獲得預測圖像(Pred_U)。接著，將預測圖像Pred_U與由第一遍次產生之預測圖像(亦即，Pred及Pred_L)疊加以執行第二遍次之預測圖像之校正，在一個態樣中，該第二遍次具有混合相鄰區塊間的邊界之效果。第二遍次之結果係當前區塊之最終預測圖像，當前區塊與其之相鄰區塊具有經混合(經平滑)的邊界。
應注意，以上實例係使用相鄰的左方區塊及 上部區塊之兩遍次校正方法，但該方法可為亦使用相鄰的右方區塊及/或下部區塊的三遍次或多於三遍次之校正方法。
應注意，經受疊加之區可為區塊之整個像素區，且替代地，可為部分區塊邊界區。
應注意，此處，OBMC之預測圖像校正程序係描述為基於單一參考圖片以導出與額外預測圖像Pred_L及Pred_U疊加的單一預測圖像Pred，但當基於多個參考圖片來校正預測圖像時，相同程序可應用於多個參考圖片中之各者。在此狀況下，在藉由分別基於多個參考圖片而執行OBMC之圖像校正來獲得多個經校正預測圖像之後，進一步疊加所獲得的多個經校正預測圖像以獲得最終預測圖像。
應注意，在OBMC中，目標區塊之單位可為預測區塊，且替代地，可為藉由進一步劃分預測區塊所獲得之子區塊。
用以判定是否實施OBMC處理之方法的一個實例要使用obmc_flag，其係指示是否實施OBMC處理之信號。作為一個特定實例，編碼器可判定目標區塊是否屬於包括複雜運動之區。編碼器在區塊屬於包括複雜運動之區時將obmc_flag設定為值「1」並在編碼期間實施OBMC處理，且在區塊不屬於包括複雜運動之區時將obmc_flag設定為值「0」並在不實施OBMC處理之情況下編碼區塊。解碼器藉由解碼被寫入串流(亦即，壓縮序列) 中之obmc_flag及根據旗標值執行解碼而在是否實施OBMC處理之間切換。
應注意，運動資訊可在解碼器端導出而不自編碼器端被發信。舉例而言，可使用定義於H.265/HEVC標準中之合併模式。此外，例如，可藉由在解碼器端執行運動估計而導出運動資訊。在此狀況下，解碼器端可在不使用當前區塊之像素值的情況下執行運動估計。
此處，將描述一種用於在解碼器端執行運動估計之模式。用於在解碼器端執行運動估計之模式亦被意指作圖案匹配運動向量導出(PMMVD)模式或圖框速率向上轉換(FRUC)模式。
FRUC處理之一個實例被說明於圖5D中。首先，參考在空間上或在時間上相鄰於當前區塊之經編碼區塊的運動向量來產生各自包括預測運動向量(MV)之候選者的候選者清單(候選者清單可為合併清單)。接下來，自候選者清單中所登記之多個候選MV之中選出最佳候選MV。舉例而言，計算包括於候選者清單中之候選MV的評估值且基於所計算之評估值來選擇一個候選MV。
接下來，當前區塊之運動向量係自選定候選者之運動向量所導出。更具體而言，例如，按現狀將當前區塊之運動向量計算為選定候選者之運動向量(最佳候選MV)。替代地，可藉由在參考圖片中之對應於選定候選者之運動向量的位置附近執行的圖案匹配來導出當前區塊之運動向量。換言之，當使用參考圖片中之圖案匹配及評估 值來搜尋最佳候選MV的附近區且找到具有較佳評估值之MV時，可將最佳候選MV更新為具有較佳評估值的MV，且可將具有較佳評估值的MV用作當前區塊之最終MV。亦可接受未實施用以更新具有較佳評估值的MV之處理的組態。
在以子區塊為單位執行處理之狀況下，相同的程序可被執行。
可用各種方式來計算評估值。舉例而言，可將參考圖片中之對應於運動向量的區之經重建構圖像與預定區之經重建構圖像(其可在，例如，如下文所描述的另一參考圖片中或在當前圖片中之相鄰區塊中)進行比較，且可計算兩個經重建構圖像之間的像素值之差且將該差用作運動向量之評估值。應注意，除了該差以外，還可藉由使用某些其他資訊來計算評估值。
接下來，詳細地描述圖案匹配。首先，選擇包括於候選者清單(例如，合併清單)中之一個候選MV作為用於根據圖案匹配之搜尋的開始點。所使用之圖案匹配為第一圖案匹配或第二圖案匹配。第一圖案匹配及第二圖案匹配亦分別被意指作雙側匹配及模板匹配。
在第一圖案匹配中，在均沿著當前區塊之運動軌跡的兩個不同參考圖片中之兩個區塊之間執行圖案匹配。因此，在第一圖案匹配中，對於參考圖片中之區，符合當前區塊之運動軌跡的另一參考圖片中之區被用作為用於候選者之評估值的上述計算之預定區。
圖6說明沿著運動軌跡之兩個參考圖片中的兩個區塊之間的第一圖案匹配(雙側匹配)之一個實例。如圖6中所說明，在第一圖案匹配中，藉由找到沿著當前區塊(Cur區塊)之運動軌跡的兩個不同參考圖片(Ref0、Ref1)中之兩個區塊之間的最佳匹配來導出兩個運動向量(MV0、MV1)。更具體而言，可獲得(i)在第一經編碼參考圖片(Ref0)中之藉由候選MV所指定之位置處的經重建構圖像與(ii)在第二經編碼參考圖片(Ref1)中之藉由候選MV所指定之位置處的經重建構圖像(其根據顯示時間間隔對稱地按比例調整)之間的差。接著，該差可用來導出當前區塊之評估值。可選擇多個候選MV當中的具有最佳評估值之候選MV作為最終MV。
在連續運動軌跡之假設下，指向兩個參考區塊之運動向量(MV0、MV1)係與當前圖片(Cur Pic)與兩個參考圖片(Ref0、Ref1)之間的時間距離(TD0、TD1)成比例。舉例而言，當當前圖片在時間上處於兩個參考圖片之間且從當前圖片至兩個參考圖片之時間距離為相同時，第一圖案匹配導出兩個鏡像的雙向運動向量。
在第二圖案匹配(模板匹配)中，在當前圖片中之模板(當前圖片中的相鄰於當前區塊之區塊；例如，上方及/或左方相鄰的區塊)與參考圖片中之區塊之間執行圖案匹配。因此，在第二圖案匹配中，將當前圖片中的相鄰於當前區塊之區塊用作為用於候選者評估值的上述計算之預定區。
圖7說明當前圖片中之模板與參考圖片中之區塊之間的圖案匹配(模板匹配)之一個實例。如圖7中所說明，在第二圖案匹配中，藉由在參考圖片(Ref0)中搜尋以找到最佳匹配當前圖片(Cur Pic)中之當前區塊(Cur區塊)之相鄰區塊的區塊來導出當前區塊之運動向量。更具體而言，可獲得(i)相對於當前區塊的經編碼相鄰上部及左方區中之一者或兩者之經重建構圖像與(ii)相對於經編碼參考圖片(Ref0)中之由候選MV所指定之區塊位置的相同區之經重建構圖像之間的差。接著，該差可用來導出當前區塊之評估值。可選擇多個候選MV當中的具有最佳評估值之候選MV作為最佳候選MV。
指示是否應用FRUC模式之資訊(被意指作例如FRUC旗標)可在CU層級被發信。另外，當應用FRUC模式時(例如，當將FRUC旗標被設定為真(true)時)，指示圖案可適用匹配方法(例如，第一圖案匹配或第二圖案匹配)之資訊可在CU層級被發信。應注意，此資訊之發信並非必須在CU層級執行，而可在另一層級(例如，在序列層級、圖片層級、圖塊層級、圖像塊層級、CTU層級或子區塊層級)執行。
接下來，描述導出運動向量之方法。首先，給出對用於基於一個採用均勻線性運動之模型來導出運動向量之模式的描述。此模式亦被意指作雙向光流(BIO)模式。
圖8說明一種採用均勻線性運動之模型。在 圖8中，(vx,vy)代表速度向量，且τ0及τ1分別代表當前圖片(Cur Pic)與兩個參考圖片(Ref0、Ref1)之間的時間距離。(MVx0,MVy0)代表對應於參考圖片Ref0之運動向量，且(MVx1,MVy1)代表對應於參考圖片Ref1之運動向量。
此處，在藉由速度向量(vx,vy)所展現的均勻線性運動之假設下，(MVx0,MVy0)及(MVx1,MVy1)分別表示為(vxτ0,vyτ0)及(-vxτ1,-vyτ1)，且給出以下光流等式(等式1)。
Figure 107143950-A0305-02-0039-1
此處，I(k)代表在運動補償之後來自參考圖片k(k=0、1)之明度值。該光流等式展示以下各項之總和為等於零：(i)明度值之時間導數、(ii)水平速度與參考圖片之空間梯度的水平分量之乘積以及(iii)垂直速度與參考圖片之空間梯度的垂直分量之乘積。可基於該光流等式與厄米特(Hermite)內插之組合來逐像素地校正自例如合併清單所獲得之各區塊的運動向量。
應注意，可在解碼器端使用除了基於一個採用均勻線性運動之模型來導出運動向量以外的方法來導出運動向量。舉例而言，可基於相鄰區塊之運動向量來針對各子區塊導出運動向量。
接下來，給出對基於相鄰區塊之運動向量來 針對各子區塊導出運動向量之模式的描述。此模式亦被意指作仿射運動補償預測模式。
圖9A說明基於相鄰區塊之運動向量來導出各子區塊之運動向量的一個實例。在圖9A中，當前區塊包括16個4×4子區塊。此處，當前區塊中之左上角控制點之運動向量v0係基於相鄰子區塊之運動向量而導出。類似地，當前區塊中之右上角控制點之運動向量v1係基於相鄰區塊之運動向量而導出。接著，使用兩個運動向量v0及v1，當前區塊中之各子區塊之運動向量(vx,vy)使用以下等式2被導出。
Figure 107143950-A0305-02-0040-2
此處，x及y分別為子區塊之水平位置及垂直位置，且w為預定加權係數。
仿射運動補償預測模式可包括導出左上及右上角控制點之運動向量的不同方法之數個模式。指示仿射運動補償預測模式之資訊(被意指作例如仿射旗標)可在CU層級被發信。應注意，指示仿射運動補償預測模式之資訊之發信並非必須在CU層級執行，而可在另一層級(例如，在序列層級、圖片層級、圖塊層級、圖像塊層級、CTU層級或子區塊層級)執行。
(預測控制器)
預測控制器128選擇框內預測信號(自框內預測器124輸出)或框間預測信號(自框間預測器126輸出)，且將選定預測信號輸出至減法器104及加法器116。
如圖1中所說明，在各種實施中，預測控制器128可輸出預測參數，該等預測參數被輸入至熵編碼器110。熵編碼器110可基於自預測控制器128所輸入之預測參數及自量化器108所輸入之經量化係數來產生經編碼位元串流(或序列)。該等預測參數可由接收及解碼經編碼位元串流之解碼器所使用，以進行與框內預測器124、框間預測器126及預測控制器128中所執行之預測處理相同的預測處理。該等預測參數可包括選定預測信號(例如，框內預測器124或框間預測器126中所使用之運動向量、預測類型或預測模式)，或基於或指示框內預測器124、框間預測器126及預測控制器128中所執行之預測處理的任何索引、旗標或值。
在一些實施中，預測控制器128在合併模式下操作以最佳化使用來自框內預測器124之框內預測信號及來自框間預測器126之框間預測信號兩者而針對當前圖片所計算之運動向量。圖9B說明用於在合併模式下導出當前圖片中之運動向量之程序的一個實例。
首先，產生預測MV清單，預測MV候選者登記在該預測MV清單中。預測MV候選者之實例包括：在空間上相鄰之預測MV，其係定位在目標區塊之空間附近的經編碼區塊之MV；在時間上相鄰之預測MV，其係 經編碼參考圖片中的相鄰於與目標區塊處在相同位置之區塊的區塊之MV；耦合預測MV，其係藉由組合在空間上相鄰之預測MV及在時間上相鄰之預測MV的MV值而產生之MV；以及零預測MV，其係值為零的MV。
接下來，藉由自登記在預測MV清單中之多個預測MV當中選擇一個預測MV來判定目標區塊之MV。
另外，在可變長度編碼器中，一merge_idx(其係指示選擇了哪個預測MV之信號)被寫入及編碼至串流中。
應注意，圖9B中所說明的登記在預測MV清單中之預測MV構成一個實例。登記在預測MV清單中之預測MV之數目可不同於圖9B中所說明的數目，且登記在預測MV清單中之預測MV可省略圖9B中之實例所給出的預測MV之類型中之一或多者，且登記在預測MV清單中之預測MV還可包括除了圖9B中之實例中所給出的類型以外或不同於該等類型的一或多個類型之預測MV。
最終MV可藉由使用在合併模式下導出的目標區塊之MV而執行DMVR(動態運動向量再新)處理(稍後將描述)來判定。
圖9C係說明用以判定MV之DMVR處理之實例的概念圖。
首先，針對當前區塊所設定之最適當MV(例 如，在合併模式下)被視為候選MV。接著，根據候選MV(L0)，在第一參考圖片(L0)中識別參考像素，第一參考圖片係在L0方向上之經編碼圖片。類似地，根據候選MV(L1)，在第二參考圖片(L1)中識別參考像素，第二參考圖片係在L1方向上之經編碼圖片。該等參考像素接著被求平均以形成模板。
接下來，使用該模板，搜尋第一參考圖片(L0)及第二參考圖片(L1)之候選MV的周圍區，且判定具有最小成本之MV為最終MV。可例如使用模板中之各像素值與使用候選MV搜尋之區中的各像素值之間的差等等來計算成本值。
應注意，此處所描述之程序的組態及操作在下文將描述之編碼器端及解碼器端兩者中係基本上相同的。
可使用除了上文所描述之處理外的任何處理，只要該處理係能夠藉由搜尋候選MV之周圍區來導出最終MV即可。
接下來，給出對使用LIC(局部照明補償)處理來產生預測圖像(一預測)之模式之實例的描述。
圖9D說明使用由LIC處理所執行之明度校正程序的預測圖像產生方法之一個實例。
首先，自經編碼參考圖片來導出一MV，以獲得對應於當前區塊之參考圖像。
接下來，對於當前區塊，基於當前圖片中的 經編碼相鄰左方參考區及經編碼相鄰上部參考區域之明度像素值，且基於如由該MV所指定之參考圖片中的相同位置之明度像素值，獲得指示明度值在參考圖片與當前圖片之間如何改變的資訊。使用指示明度值如何改變的資訊來計算明度校正參數。
藉由執行明度校正程序來產生用於當前區塊之預測圖像，該明度校正程序對由MV所指定之參考圖片中的參考圖像應用明度校正參數。
應注意，圖9D中所說明之周圍參考區之形狀僅為一個實例；周圍參考區可具有不同的形狀。
此外，儘管預測圖像在此實例中係自單一參考圖片所產生，但在預測圖像係自多個參考圖片所產生之狀況下，預測圖像可在對自參考圖片所獲得之參考圖像執行如上文所描述的明度校正程序之後被產生。
用於判定是否實施LIC處理之方法的一個實例為使用lic_flag，其係指示是否實施LIC處理之信號。作為一個特定實例，編碼器判定當前區塊是否屬於具有明度改變之區。編碼器在區塊屬於具有明度改變之區時將lic_flag設定至值「1」，且在編碼時實施LIC處理。編碼器在區塊不屬於具有明度改變之區時將lic_flag設定至值「0」，且執行實施LIC處理之編碼。解碼器可藉由解碼被寫入串流中之lic_flag及根據旗標值執行解碼來在是否實施LIC處理之間切換。
判定是否實施LIC處理之一不同方法之一 個實例包括辨別針對周圍區塊判定是否實施LIC處理。在一個特定實例中，當對當前區塊使用合併模式時，判定在編碼周圍經編碼區塊時是否應用LIC處理，該周圍經編碼區塊係當在合併模式下導出MV時被選擇。接著，使用該判定來進一步判定是否對當前區塊實施LIC處理。應注意，在此實例，同樣亦適用於在解碼器端所執行之處理。
(解碼器)
接下來，將描述能夠解碼自編碼器100輸出之經編碼信號(經編碼位元串流)之解碼器。圖10係說明根據一實施例之解碼器200之一功能組態的方塊圖。解碼器200係一種逐區塊解碼動畫之動畫解碼器。
如圖10中所說明，解碼器200包括熵解碼器202、反量化器204、反變換器206、加法器208、區塊記憶體210、迴路濾波器212、圖框記憶體214、框內預測器216、框間預測器218及預測控制器220。
解碼器200實現為例如通用的處理器及記憶體。在此狀況下，當藉由處理器執行儲存於記憶體中之軟體程式時，處理器作用為熵解碼器202、反量化器204、反變換器206、加法器208、迴路濾波器212、框內預測器216、框間預測器218及預測控制器220。替代地，解碼器200可實現為對應於以下各者之一或多個專用電子電路：熵解碼器202、反量化器204、反變換器206、加法器208、迴路濾波器212、框內預測器216、框間預測器218及預測控制器220。
在下文中，將描述包括於解碼器200中之各組件。
(熵解碼器)
熵解碼器202熵解碼一經編碼位元串流。更具體而言，例如，熵解碼器202將經編碼位元串流算術解碼成二進位信號。熵解碼器202接著對二進位信號去二進位化。熵解碼器202將各區塊之經量化係數輸出至反量化器204。熵解碼器202亦可將能被包括於經編碼位元串流中(參見圖1)之預測參數輸出至框內預測器216、框間預測器218及預測控制器220，使得該框內預測器、該框間預測器及該預測控制器可進行與對編碼器端在框內預測器124、框間預測器126及預測控制器128中所執行之預測處理相同的預測處理。
(反量化器)
反量化器204反量化待解碼之區塊(在下文中被意指作當前區塊)之經量化係數，該等經量化係數係自熵解碼器202輸入。更具體而言，反量化器204基於對應於該等經量化係數之量化參數而反量化當前區塊之經量化係數。反量化器204接著將當前區塊之經反量化係數(亦即，變換係數)輸出至反變換器206。
(反變換器)
反變換器206藉由反變換自反量化器204輸入之變換係數來恢復預測誤差(殘餘)。
舉例而言，當自經編碼位元串流剖析之資訊 指示EMT或AMT之應用時(例如，當AMT旗標設定為真時)，反變換器206基於指示經剖析之變換類型而反變換當前區塊之變換係數。
此外，例如，當自經編碼位元串流剖析之資訊指示NSST之應用時，反變換器206將二次反變換應用於變換係數。
(加法器)
加法器208藉由對自反變換器206輸入之預測誤差及作為來自預測控制器220之輸入的預測樣本進行加總來重建構當前區塊。加法器208接著將經重建構區塊輸出至區塊記憶體210及迴路濾波器212。
(區塊記憶體)
區塊記憶體210係一種用於儲存待解碼之圖片(在下文中被意指作當前圖片)中之區塊以供在框內預測時參考的儲存器。更具體而言，區塊記憶體210儲存自加法器208輸出之經重建構區塊。
(迴路濾波器)
迴路濾波器212將迴路濾波器應用於由加法器208所重建構之區塊，且將經濾波的重建構區塊輸出至圖框記憶體214以及例如輸出至顯示裝置。
當自經編碼位元串流剖析的指示ALF之啟用或停用之資訊指示經啟用時，基於局部梯度之方向及活動性來選出多個濾波器中的一個濾波器，且將選定濾波器應用於經重建構區塊。
(圖框記憶體)
圖框記憶體214係一種用於儲存被用在框間預測中之參考圖片的儲存器，且亦被意指作圖框緩衝器。更具體而言，圖框記憶體214儲存由迴路濾波器212進行濾波之經重建構區塊。
(框內預測器)
框內預測器216藉由參考如儲存於區塊記憶體210中之當前圖片中的一個區塊或多個區塊進行框內預測來產生預測信號(框內預測信號)。更具體而言，框內預測器216藉由參考相鄰於當前區塊之一個區塊或多個區塊的樣本(例如，明度值及/或色度值)進行框內預測來產生框內預測信號，且接著將該框內預測信號輸出至預測控制器220。
應注意，當選擇自明度區塊來框內預測色度區塊的框內預測模式時，框內預測器216可基於當前區塊之明度分量來預測當前區塊之色度分量。
此外，當自經編碼位元串流剖析指示應用PDPC之資訊(例如，在自熵解碼器202輸出之預測參數中)時，框內預測器216基於水平/垂直參考像素梯度來校正框內預測後像素值。
(框間預測器)
框間預測器218參見儲存於圖框記憶體214中之參考圖片來預測當前區塊。針對每個當前區塊或當前區塊中之每個子區塊(例如，每個4×4區塊)執行框間預測。舉例而言，框間預測器218基於使用自經編碼位元串流所剖析之 運動資訊(例如，運動向量)(例如，在自熵解碼器202輸出之預測參數中)的運動補償來產生當前區塊或子區塊之框間預測信號，且將該框間預測信號輸出至預測控制器220。
當自經編碼位元串流剖析之該資訊指示OBMC模式之應用時，框間預測器218除了使用自運動估計所獲得的當前區塊之運動資訊以外，還可使用相鄰區塊之運動資訊來產生框間預測信號。
此外，當自經編碼位元串流剖析之該資訊指示FRUC模式之應用時，框間預測器218藉由根據自經編碼位元串流剖析的圖案匹配方法(雙側匹配或模板匹配)執行運動估計來導出運動資訊。框間預測器218接著使用所導出之運動資訊來執行運動補償(預測)。
此外，當將要應用BIO模式時，框間預測器218基於一個採用均勻線性運動之模型來導出運動向量。另外，當自經編碼位元串流剖析之該資訊指示將應用仿射運動補償預測模式時，框間預測器218基於相鄰區塊之運動向量來導出各子區塊之運動向量。
(預測控制器)
預測控制器220選擇框內預測信號或框間預測信號，且將選定預測信號輸出至加法器208。此外，預測控制器220可執行如上文參考在編碼器端之預測控制器128所描述的各種功能及操作，諸如合併模式(參見圖9B)、DMVR處理(參見圖9C)及LIC處理(圖9D)。一般而言，解碼器 端之預測控制器220、框間預測器218及框內預測器216的組態、功能及操作可對應於編碼器端之預測控制器128、框間預測器126及框內預測器124的組態、功能及操作。
(框間預測之詳細描述)
下文描述根據本申請案之根據框間預測之另一實施例的實例。本實施例係關於在所謂的BIO模式下之框間預測。在本實施例中，區塊之運動向量並非如在如圖1至圖10中所展示之實施例中以像素為單位進行校正，而是以子區塊為單位進行校正。本實施例之解釋將集中在相對於如圖1至圖10中所展示之實施例的差異點。
因為在本實施例中之編碼器及解碼器的組態實質上相同於那些如圖1至圖10中所展示之實施例中的組態，故已省略對此等組態之描繪及描述。
(框間預測)
圖11係展示本實施例中之框間預測的流程圖。圖12係用以解釋本實施例中之框間預測的概念圖。以下處理係由編碼器100中之框間預測器126及解碼器200中之框間預測器218來執行。
如圖11中所展示，首先對待寫碼/解碼之圖片(當前圖片1000)中的多個區塊執行區塊迴路處理(S101至S111)。在圖12中，自該等多個區塊當中選出待編碼/解碼之一區塊作為當前區塊1001。
在區塊迴路處理中，在作為經處理圖片之第 一參考圖片1100(L0)及第二參考圖片1200(L1)上的參考圖片中執行迴路處理(S102至S106)。
在參考圖片迴路處理中，為了要自參考圖片獲得預測圖像(S103)，首先導出或獲取區塊運動向量。在圖12中，針對第一參考圖片1100來導出或獲取第一運動向量1110(MV_L0)且針對第二參考圖片1200來導出或獲取第二運動向量1210(MV_L1)。可使用之運動向量導出方法的實例包括普通框間預測模式、合併模式及FRUC模式。在普通框間預測模式之狀況下，編碼器100使用運動搜尋導出運動向量，且解碼器200自位元串流獲得運動向量。
接下來，藉由使用所導出或獲取之運動向量來執行運動補償而自參考圖片獲得預測圖像(S104)。在圖12中，藉由使用第一運動向量1110來執行運動補償而自第一參考圖片1100獲得第一預測圖像1140。又，藉由使用第二運動向量1210來執行運動補償而自第二參考圖片1200獲得第二預測圖像1240。
在運動補償中，將運動補償濾波器應用於參考圖片。運動補償濾波器係一種使用以獲得具有子像素精度之預測圖像的內插濾波器。在使用圖12中之第一參考圖片1100的情況下，在由第一運動向量1110所指示之第一預測區塊1120中藉由運動補償濾波器參考包括第一預測區塊1120中之像素及周圍像素的第一內插範圍1130中之像素。又，在使用第二參考圖片1200之情況下，在由 第二運動向量1210所指示之第二預測區塊1220中藉由運動補償濾波器參考包括第二預測區塊1220中之像素及周圍像素的第二內插範圍1230中之像素。
應注意，第一內插參考範圍1130及第二內插範圍1230包括用以執行使用局部運動估計值執行處理的普通框間預測中之當前區塊1001之運動補償的第一普通參考範圍及第二普通參考範圍。第一普通參考範圍被包括於第一參考圖片1100中，且第二普通參考範圍被包括於第二參考圖片1200中。在普通框間預測中，使用運動搜尋在區塊中導出運動向量，基於所導出之運動向量在區塊中執行運動補償，且將經運動補償之圖像用作為最終預測圖像。換言之，在普通框間預測中不使用局部運動估計值。應注意，第一內插參考範圍1130及第二內插參考範圍1230可匹配第一普通參考範圍及第二普通參考範圍。
接下來，自參考圖片來獲得對應於預測圖像之梯度圖像(S105)。梯度圖像中之各像素具有指示明度或色差之空間斜率的梯度值。藉由將梯度濾波器應用於參考圖片來獲得梯度值。在圖12中之第一參考圖片1100中，使用一個用於第一預測區塊1120之梯度濾波器來參考包括第一預測區塊1120中之像素及周圍像素的第一梯度參考範圍1135中之像素。第一梯度參考範圍1135被包括於第一內插參考範圍1130中。在第二參考圖片1200中，使用一個用於第二預測區塊1220之梯度濾波器來參考包括第二預測區塊1220中之像素及周圍像素的第二梯度參考 範圍1235中之像素。第二梯度參考範圍1235被包括於第二內插參考範圍1230中。
當已自第一參考圖片及第二參考圖片兩者獲得預測圖像及梯度圖像時，結束參考圖片迴路處理(S106)。此後，對藉由進一步劃分區塊而獲得之子區塊執行迴路處理(S107至S110)。各子區塊具有小於當前區塊之尺寸的一尺寸(例如，4×4像素的尺寸)。
在子區塊迴路處理中，首先使用自第一參考圖片1100及第二參考圖片1200所獲得之第一預測圖像1140、第二預測圖像1240、第一梯度圖像1150及第二梯度圖像1250來導出局部運動估計值1300(S108)。舉例而言，參考第一預測圖像1140、第二預測圖像1240、第一梯度圖像1150及第二梯度圖像1250之各者中的預測子區塊中之像素，且針對子區塊來導出局部運動估計值1300。經預測子區塊係第一預測區塊1140及第二預測區塊1240中對應於當前區塊1001中之一子區塊的區域。局部運動估計值有時被意指作經校正運動向量。
接下來，使用第一預測圖像1140及第二預測圖像1240中之像素值、第一梯度圖像1150及第二梯度圖像1250中之梯度值以及局部運動估計值1300來產生子區塊之最終預測圖像1400。當已針對當前區塊中之各子區塊產生最終預測圖像時，針對當前區塊產生最終預測圖像且結束子區塊迴路處理(S110)。
當已結束區塊迴路處理(S111)時，結束圖11 中之處理。
應注意，可在子區塊層級藉由將當前區塊之子區塊的運動向量配置至子區塊中之各者來獲得預測圖像及梯度圖像。
(本實施例之實例中的運動補償濾波器及梯度濾波器之參考範圍)
下文描述根據本實施例之運動補償濾波器及梯度濾波器的參考範圍之實例。
圖13係用以解釋根據本實施例之實例的運動補償濾波器及梯度濾波器之參考範圍的實例之概念圖。
在圖13中，各圓圈表示一樣本。在圖13中所展示之實例中，當前區塊之尺寸係8×8個樣本且子區塊之尺寸係4×4個樣本。
參考範圍1131係被應用於第一預測區塊1120之左上方樣本1122的運動補償濾波器之參考範圍(例如，具有8×8個樣本之正方形範圍)。參考範圍1231係被應用於第二預測區塊1220之左上方樣本1222的運動補償濾波器之參考範圍(例如，具有8×8個樣本之正方形範圍)。
參考範圍1132係被應用於第一預測區塊1120之左上方樣本1122的梯度濾波器之參考範圍(例如，具有6×6個樣本之正方形範圍)。參考範圍1232係被應用於第二預測區塊1220之左上方樣本1222的梯度濾波器之參考範圍(例如，具有6×6個樣本之正方形範圍)。
將運動補償濾波器及梯度濾波器應用於第一預測區塊1120及第二預測區塊1220中之其他樣本，同時參考一相同尺寸參考範圍中對應於各樣本之位置處的樣本。結果，為了要獲得第一預測圖像1140及第二預測圖像1240，參考第一內插範圍1130及第二內插範圍1230中之樣本。又，為了要獲得第一梯度圖像1150及第二梯度圖像1250，參考第一梯度範圍1135及第二梯度範圍1235中之樣本。
(效果等)
以此方式，本實施例中之編碼器及解碼器可在子區塊中導出局部運動估計值。因此，相較於以樣本為單位導出局部運動估計值，可減少處理負擔或處理時間，同時以子樣本為單位使用局部運動估計值而減小預測誤差。
又，本實施例中之編碼器及解碼器可使用普通參考範圍中之內插參考範圍。因此，當使用子區塊中之局部運動估計值產生最終預測圖像時，在運動補償期間不必自圖框記憶體來載入新的樣本資料且可限制任何記憶體容量及記憶體頻寬之增加。
又，本實施例中之編碼器及解碼器可使用普通參考範圍中之梯度參考範圍。因此，不必自圖框記憶體來載入新的樣本資料以獲得梯度圖像且可限制任何記憶體容量及記憶體頻寬之增加。
本實施例可與其他實施例之至少一些態樣組合。又，在本實施例之流程圖中所描述的一些處理、一 些裝置中之元件及一些語法可與其他實施例之態樣組合。
(本實施例之修改實例1)
下文係根據本實施例之運動補償濾波器及梯度濾波器的修改實例之詳細描述。在修改實例1中，與第二預測圖像相關之處理係類似於與第一預測圖像相關之處理，因此已省略或簡化進一步之解釋。
(運動補償濾波器)
首先將解釋運動補償濾波器。圖14係用以解釋本實施例之修改實例1中的運動補償濾波器之參考範圍之實例的概念圖。
在下文解釋中，將在水平方向上具有1/4個樣本且在垂直方向上具有1/2個樣本的運動補償濾波器應用於第一預測區塊1120。運動補償濾波器係所謂的八分接頭濾波器且由以下等式(3)所表示。
Figure 107143950-A0305-02-0056-4
w 0.25=(-1,4,-10,58,17,-5,1,0)
w 0.5=(-1,4,-11,40,40,-11,4,-1)
此處，Ik[x,y]在k係0時表示具有子樣本精度之第一預測圖像中的樣本值，且在k係1時表示具有子樣本精度之第二預測圖像中的樣本值。樣本值係一種用於樣本之值，例如，預測圖像中之明度值或色差值。此處，w0.25及w0.5係用於1/4樣本精度及1/2樣本精度之加權因 子。I0 k[x,y]在k係0時表示具有全樣本精度之第一預測圖像中的樣本值，且在k係1時表示具有全樣本精度之第二預測圖像中的樣本值。
舉例而言，當等式(3)中之運動補償濾波器係應用於圖14中之左上方樣本1122時，對在參考範圍1131A中以水平方向配置之樣本的值進行加權且在各行中加總，且亦對該等行之相加結果進行加權及加總。
在本修改實例中，用於左上方樣本1122之運動補償濾波器參考在參考範圍1131A中之樣本。參考範圍1131A係向左延行三個樣本、向右延行四個樣本、向上延行三個樣本且在左上方樣本1122下方延行四個樣本的矩形範圍。
此運動補償濾波器被應用於第一預測區塊1120中之所有樣本。因此，第一內插參考範圍1130A中之樣本係由用於第一預測區塊1120之運動補償濾波器所參考。
運動補償濾波器係以與第一預測區塊1120相同之方式應用於第二預測區塊1220。換言之，針對左上方樣本1222來參考在參考範圍1231A中之樣本，且在整個第二預測區塊1220中參考在第二內插範圍1230A中之樣本。
(梯度濾波器)
下文係關於梯度濾波器之解釋。圖15係用以解釋本實施例之修改實例1中的梯度濾波器之參考範圍之實例的概 念圖。
本修改實例中之梯度濾波器係所謂的五分接頭濾波器且由以下等式(4)及等式(5)所表示。
Figure 107143950-A0305-02-0058-5
Figure 107143950-A0305-02-0058-6
w=(2,-9,0,9,-2)
此處，Ix k[x,y]在k係0時指示第一梯度圖像中之各樣本的水平梯度值且在k係1時指示第二梯度圖像中之各樣本的水平梯度值。Iy k[x,y]在k係0時指示第一梯度圖像中之各樣本的垂直梯度值且在k係1時指示第二梯度圖像中之各樣本的垂直梯度值。在此等等式中，w為加權因子。
舉例而言，當將等式(4)及等式(5)中之梯度濾波器應用於圖15中之左上方樣本1122時，水平梯度樣本值係在水平方向上配置之包括左上方樣本1122的五個樣本之樣本值，且係藉由對具有全樣本精度之預測圖像中的樣本值進行加權及加總來計算。此時，對於左上方樣本1122的上方或下方及左方或右方之樣本，加權因子具有正值或負值。
在本修改實例中，用於左上方樣本1122之 梯度濾波器參考在參考範圍1132A中之樣本。參考範圍1132A係十字形且在左上方樣本1122的上方及下方以及向左方及右方延伸兩個樣本。
將此梯度濾波器應用於第一預測區塊1120中之所有樣本。因此，由用於第一預測區塊1120之運動補償濾波器來參考第一梯度參考範圍1135A中之樣本。
梯度濾波器係以與第一預測區塊1120相同之方式應用於第二預測區塊1220。換言之，針對左上方樣本1222來參考在參考範圍1232A中之樣本，且在整個第二預測區塊1220中參考在第二梯度範圍1235A中之樣本。
當指示參考範圍之運動向量指示子樣本位置時，梯度濾波器之參考範圍1132A及1232A中的樣本值可被轉換成具有子樣本精度之樣本值，且梯度濾波器應用於經轉換之樣本值。又，可將具有藉由對用於轉換成子樣本精度之係數值及用於導出梯度值之係數值進行摺積而獲得的係數值的梯度濾波器應用於具有全樣本精度之樣本值。在此狀況下，梯度濾波器在各子樣本位置處係不同的。
(導出用於子區塊之局部運動估計值)
下文係有關導出用於子區塊之局部運動估計值的解釋。在此實例中，針對當前區塊中之子區塊當中的左上方子區塊來導出局部運動估計值。
在本修改實例中，基於以下等式(6)而針對子區塊來導出水平局部運動估計值u及垂直局部運動估計值 v。
Figure 107143950-A0305-02-0060-7
此處，sGxGy、sGx 2、sGy 2、sGxdI及sGydI係在子區塊中所計算之值且係基於以下等式(7)所導出。
Figure 107143950-A0305-02-0060-8
此處，Ω係對應於子區塊之預測區塊的區/區域中之預測子區塊中的所有樣本之座標的集合。Gx[i,j]指示第一梯度圖像之水平梯度值及第二梯度圖像之水平梯度值的總和，且Gy[i,j]指示第一梯度圖像之垂直梯度值及第二梯度圖像之垂直梯度值的總和。△I[i,j]指示第一預測圖像及第二預測圖像之差值。w[i,j]指示取決於預測子區塊中之樣本位置的加權因子。然而，具有相同值之加權因子可被用於預測子區塊中之所有樣本。
更具體而言，Gx[i,j]、Gy[i,j]及△I[i,j]係由以下等式(8)所表示。
Figure 107143950-A0305-02-0061-9
以此方式，在子區塊中導出局部運動估計值。
(產生最終預測圖像)
下文係關於產生最終預測圖像之解釋。基於以下等式(9)而使用第一預測圖像中之樣本值I0[x,y]及第二預測圖像中之樣本值I1[x,y]來導出最終預測圖像中之各樣本值p[x,y]。
[數學式9]p[x,y]=(I 0[x,y]+I 1[x,y]+b[x,y])≫1 (9)
此處，b[x,y]指示各樣本之校正值。在等式(9)中，藉由將第一預測圖像中之樣本值I0[x,y]、第二預測圖像中之樣本值I1[x,y]及校正值b[x,y]之總和向右移位一個位元來計算最終預測圖像中之各樣本值p[x,y]。校正值b[x,y]係由以下等式(10)所表示。
Figure 107143950-A0305-02-0061-10
在等式(10)中，藉由以下步驟來計算校正值 b[x,y]：將水平局部運動估計值(u)乘以第一梯度圖像及第二梯度圖像中之水平梯度值的差(Ix 0[x,y]-Ix 1[x,y])；將垂直局部運動估計值(v)乘以第一梯度圖像及第二梯度圖像中之垂直梯度值的差(Iy 0[x,y]-Iy 1[x,y])；以及將該等乘積加在一起。
使用等式(6)至等式(10)所解釋之計算僅為一實例。亦可使用具有相同效果之等式。
(效果等)
以此方式，當在本修改實例中使用運動補償濾波器及梯度濾波器時，可在子區塊中導出局部運動估計值。當使用以此方式在子區塊中導出之局部運動估計值來產生當前區塊之最終預測圖像時，可獲得類似於本實施例中之那些結果的結果。
本實施例可與其他實施例之至少一些態樣組合。又，在本實施例之流程圖中所描述的一些處理、一些裝置中之元件及一些語法可與其他實施例之態樣組合。
(本實施例之修改實例2)
在本實施例及本實施例之修改實例1中，當導出局部移動估計值時，參考對應於當前區塊中之子區塊的預測區塊內部之預測子區塊中的所有樣本。然而，本發明不限於此等實例。舉例而言，可僅參考預測子區塊中之一些樣本。此情境作為本實施例之修改實例2被描述於以下段落中。
在解釋本修改實例時，當在子區塊中導出局部運動估計值時，僅參考預測子區塊中之一些樣本。舉例 而言，在修改實例1中之等式(7)中，使用預測子區塊中之一些樣本的座標之集合而非預測子區塊中之所有樣本的座標之集合Ω。各種圖案可被用作為預測子區塊中之一些樣本的座標之集合。
圖16係展示在本實施例之修改實例2中藉由導出局部運動估計值而參考的樣本圖案之實例的圖。在圖16中，預測區塊1121或1221中之具有網狀線的圓圈指示參考樣本，且不具有網狀線之圓圈指示未參考樣本。
圖16(a)至圖16(g)中之七個樣本圖案中之各者指示預測子區塊1121或1221中之一些樣本。此等七個樣本圖案皆為不同。
在圖16(a)至圖16(c)中，僅參考預測子區塊1121或1221中之十六個樣本中之八個樣本。在圖16(d)至圖16(g)中，僅參考預測子區塊1121或1221中之十六個樣本中之四個樣本。換言之，在圖16(a)至圖16(c)中，已減少十六個樣本中之八個樣本，且在圖16(d)至圖16(g)中，已減少十六個樣本中之十二個樣本。
更具體而言，在圖16(a)中，參考水平及垂直方向上之八個樣本或每隔一個樣本。在圖16(b)中，參考在左方及在右方水平但交替地垂直配置之兩對樣本。在圖16(c)中，在預測子區塊1121或1221中參考在中心之四個樣本及在角落之四個樣本。
在圖16(d)及圖16(e)中，在第一列及第三列中分別水平地且垂直地參考兩個樣本。在圖16(f)中，參 考四個角落樣本。在圖16(g)中，參考四個中心樣本。
可基於兩個預測圖像自多個預定圖案當中自適應地選擇參考圖案。舉例而言，可選擇包括對應於兩個預測圖像中之代表性梯度值之樣本的樣本圖案。更具體而言，當代表性梯度值小於一臨限值時，可選擇包括四個樣本之樣本圖案(例如，(d)至(g)中之任一者)。當代表性梯度值不小於該臨限值時，可選擇包括八個樣本之樣本圖案(例如，(a)至(c)中之任一者)。
當已自多個樣本圖案當中選出一樣本圖案時，參考指示選定樣本圖案之預測子區塊中的樣本且針對子區塊來導出局部運動估計值。
應注意，可將指示選定樣本圖案之資訊寫入至位元串流。在此狀況下，解碼器可自位元串流獲取資訊且基於所獲取之資訊來選擇樣本圖案。可將指示選定樣本圖案之資訊寫入至區塊、圖塊、圖片或串流單元中之標頭。
以此方式，本實施例中之編碼器及解碼器可僅參考預測子區塊中之一些樣本且在子區塊中導出局部運動估計值。因此，相較於參考所有的樣本，可減少處理負載或處理時間。
又，本實施例中之編碼器及解碼器可僅參考自多個樣本圖案當中所選出之一樣本圖案中的樣本，且在子區塊中來導出局部運動估計值。藉由切換樣本圖案，可參考適合用在子區塊中導出局部運動估計值之樣本且可減小預測誤差。
本實施例可與其他實施例之至少一些態樣組合。又，在本實施例之流程圖中所描述的一些處理、一些裝置中之元件及一些語法可與其他實施例之態樣組合。
(本實施例之其他修改實例)
參考實施例及實施例之修改實例來解釋本發明之一或多個態樣中的編碼器及解碼器。然而，本發明並不限於此等實施例及實施例之修改實例。熟習此項技術者可易於想到適用於此等實施例及實施例之修改實例中而不背離本發明之精神及範圍且被包括於本發明之一或多個態樣內的變化。
舉例而言，本實施例之實例及此實施例之修改實例1中所使用的運動補償濾波器中之分接頭之數目係八個樣本。然而，本發明並不限於此實例。運動補償濾波器中之分接頭之數目可能係任何數目個分接頭，只要內插參考範圍被包括於普通參考範圍中即可。
本實施例之實例及此實施例之修改實例1中所使用的梯度中之分接頭之數目係五個或六個樣本。然而，本發明並不限於此實例。梯度濾波器中之分接頭之數目可能係任何數目個分接頭，只要梯度參考範圍被包括於內插參考範圍中即可。
在本實施例之實例及此實施例之修改實例1中，第一梯度參考範圍及第二梯度參考範圍被包括於第一內插參考範圍及第二內插參考範圍中。然而，本發明並不限於此實例。舉例而言，第一梯度參考範圍可匹配第一內 插參考範圍，而第二梯度參考範圍可匹配第二內插參考範圍。
當在子區塊中導出局部運動估計值時，可對樣本值進行加權使得向在預測子區塊中心之樣本的值給予優先的處理。具體而言，當導出局部運動估計值時，可在第一預測區塊及第二預測區塊兩者中對預測子區塊中之多個樣本的值進行加權。在此狀況下，可向在預測子區塊中心之樣本給予較大的權重。亦即，可用高於被用在預測子區塊中心外部之那些樣本之值的值來對在預測子區塊中心之樣本進行加權。更具體而言，在本實施例之修改實例1中，等式(7)中之加權因子w[i,j]可使得較接近於預測子區塊中心之座標值為較大的。
當在子區塊中導出局部運動估計值時，可參考屬於鄰近預測子區塊之樣本。具體而言，在第一預測區塊及第二預測子區塊兩者中，鄰近預測子區塊中之樣本可被加至預測子區塊中之樣本且被參考以在子區塊中導出局部運動估計值。
本實施例之實例及此實施例之修改實例1中的運動補償濾波器及梯度濾波器之參考範圍僅係用於說明之目的。本發明不必被限於此等實例。
在本實施例之修改實例2中，提供七個樣本圖案作為實例。然而，本發明並不限於此等樣本圖案。舉例而言，可使用藉由旋轉七個樣本圖案中之各者而獲得的樣本圖案。
本實施例之修改實例1中的加權因子之值僅係實例，且本發明並不限於此等實例。又，本實施例及此等實施例之兩個修改實例中的區塊尺寸及子區塊尺寸僅係實例。本發明係不限於8×8樣本尺寸及4×4樣本尺寸。可使用其他尺寸以與本實施例之實例及此實施例之兩個修改實例相同的方式來執行框間預測。
本實施例可與其他實施例之至少一些態樣組合。又，在本實施例之流程圖中所描述的一些處理、一些裝置中之元件及一些語法可與其他實施例之態樣組合。
如參見圖4及圖5所描述，關於應用梯度濾波器以獲得梯度值之周圍樣本的參考範圍，藉由指派給用於預測程序中之預測區塊之運動向量所指示的參考區塊中之樣本值可被補償為其他值而非如參見圖4及圖5所論述之樣本值。
舉例而言，當指派給預測區塊之運動向量指示十進位樣本位置時，可補償及使用對應於十進位樣本位置之樣本值。
然而，若為了要獲得對應於十進位樣本位置之樣本值而應用參考周圍樣本之濾波程序，則將不必參考在一個寬於有關圖4及圖5所描述之範圍的範圍中之周圍樣本。
為了要解決以上問題，在本發明中提供例如以下之方法。
圖17展示一流程圖，其說明使用一框間預 測功能以基於不同圖片中之參考區塊來產生圖片之當前區塊之預測的圖像編碼/解碼方法之一個實例1700。
在本申請案之實施例中，編碼方法係藉由如圖1中所展示且描述於對應描述中之編碼器100來實施。在一實施例中，該編碼方法係藉由編碼器100之框間預測器126與編碼器100之其他組件協同而實施。
類似地，在本申請案之實施例中，解碼方法係藉由如圖10中所展示且描述於對應描述中之解碼器200來實施。在一實施例中，該解碼方法係藉由解碼器200之框間預測器218與解碼器200之其他組件協同而實施。
如圖17中所展示，根據本實例之編碼方法係包括有以下步驟： 步驟1702：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序； 步驟1704：填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊； 步驟1706：使用預測樣本之第二區塊計算至少一梯度；以及 步驟1708：使用所計算之至少該梯度來編碼當前區塊。
在一實施例中，不同圖片可具有不同於串流之時域中的圖片之圖片次序計數(POC)的一POC。如圖18A、圖18B及圖18C中所展示，該圖片可被意指作當前 圖片，且該不同圖片可被意指作第一圖片或第二圖片。舉例而言，在圖18A中，若不同圖片係第一圖片，則不同圖片之POC係小於左方時域中之圖片的POC，但係大於右方時域中之圖片的POC。在圖18B中，若不同圖片係第一圖片，則不同圖片之POC係小於左方時域及右方時域兩者中之圖片的POC。在圖18C中，若不同圖片係第一圖片，則不同圖片之POC係大於左方時域及右方時域兩者中之圖片的POC。
在另一實施例中，不同圖片可為係可在時間上及/或在空間上相鄰於該圖片之經編碼參考圖片。經編碼參考圖片可具有在時間上及/或在空間上小於或大於圖片之POC的一POC。
可在圖片中任意地選擇當前區塊。舉例而言，當前區塊可能係正方形4×4樣本區塊。可根據實際預測準確度需求來修改當前區塊之尺寸。
類似於圖5C中所展示之運動向量，編碼方法之本實例中之運動向量自當前區塊指向不同圖片，該不同圖片可能為圖18A至圖18C中所展示之第一圖片或第二圖片。在一實施例中，該運動向量係藉由框間預測器126自不同圖片接收，尤其在該不同圖片為藉由相同運動向量所編碼之經編碼參考圖片時。
在步驟1702處，編碼器100之框間預測器126藉由如描述於先前描述中之至少一預測程序使用來自不同圖片之運動向量來預測該圖片之當前區塊的預測樣本 之第一區塊。
在一實施例中，預測樣本之第一區塊可與如描述於先前描述中之針對像合併模式或框間預測模式之預測模式而執行的預測程序中所使用的預測區塊相同。
在另一實施例中，預測樣本之第一區塊可與如描述於先前描述中之針對像合併模式或框間預測模式之預測模式而執行的運動補償程序中所使用的參考區塊相同。
在步驟1704處，編碼器100之框間預測器126填補預測樣本之第一區塊以形成預測樣本之第二區塊。預測樣本之第二區塊大於預測樣本之第一區塊。以此方式，更多資訊可保留於第二區塊中以供後續處理且有利地為框間預測方法提供改良之程序，藉此減少框間預測方法之記憶體頻寬存取。此為硬體友善的。
舉例而言，步驟1704可藉由編碼器100之框間預測器126來執行填補預測樣本之第一區塊的至少兩側的樣本，其中預測樣本之第一區塊的該等至少兩側不正交。
在一些實施例中，編碼器100之框間預測器126可在平行的填補方向上填補預測樣本之第一區塊的至少兩側。如圖19A中所展示，編碼器100之框間預測器126可按如圖19A中之虛線所描繪的方式來填補預測樣本之4×4第一區塊1902的兩個垂直側面。替代地，如圖19B中所展示，編碼器100之框間預測器126可按如圖19B 中之虛線所描繪的方式來填補預測樣本之4×4第一區塊1904的兩個水平側面。
在一些其他實施例中，如圖20A、圖20B、圖20C及圖20D中所說明，編碼器100之框間預測器126可填補預測樣本之第一區塊的四個側面。此外，圖20A、圖20B、圖20C及圖20D進一步說明可用來填補預測樣本之第一區塊的四個填補程序。熟習此項技術者可理解，此等填補程序可進一步被用於填補任何樣本區塊。
在一實例中，如圖20A中所展示，可藉由以如圖20A中之虛線所描繪的方式鏡像處理預測樣本之第一區塊2002來執行填補程序。舉例而言，編碼器100之框間預測器126可藉由以關於第一區塊2002之各邊緣對稱的方式鏡像處理預測樣本之第一區塊2002來填補預測樣本之第一區塊。鏡像處理可包括以對稱方式將預測樣本之第一區塊2002的樣本值(例如，「A」、「B」等)複製至預測樣本之第一區塊2002周圍的樣本以形成預測樣本之第二區塊2000。
在另一實例中，如圖20B中所展示，填補程序可藉由以如圖20B中之虛線所描繪的方式複製預測樣本之第一區塊2004來執行。舉例而言，編碼器100之框間預測器126可藉由將位於預測樣本之第一區塊2004之各邊緣處的樣本之樣本值(例如，「A」、「B」等)複製至在預測樣本之第一區塊周圍且鄰近位於第一區塊2004之各邊緣處之各別樣本的對應樣本來填補預測樣本之第一區 塊2004，以形成預測樣本之第二區塊2001。
應注意，對應樣本可能係鄰近於第一區塊之一列樣本。被填補之樣本列之數目愈小，第二區塊2001之準確度愈高。此外，對應樣本可能係包括鄰近於第一區塊之一列的多列樣本。具體而言，對應樣本為相鄰於位於第一區塊2004之各邊緣處的各別樣本。被填補之樣本列之數目愈大，記憶體頻寬可減少得愈多。此外，可例如基於第一區塊之尺寸來設定待填補之樣本列之數目，且可根據標準等預先判定該數目。
在另一實例中，如圖20C中所展示，填補程序可藉由以如圖20C中之虛線所描繪的方式將固定值(例如，如圖20C中所展示之「Q」)填補至預測樣本之第一區塊周圍的樣本來執行。舉例而言，可自以下各者中之至少一者選出固定值：0、128、512、正整數、預測樣本之第一區塊的平均值，及預測樣本之第一區塊的中位值。平均值及中位值可與預測樣本之第一區塊的樣本值相關。在圖20C之實例中，固定值係正整數Q，編碼器100之框間預測器126可藉由將固定值Q填補至預測樣本之第一區塊周圍的樣本來填補預測樣本之第一區塊以形成預測樣本之第二區塊2050。
在另一實例中，填補程序可藉由對預測樣本之第一區塊執行一函數來執行。函數之實例可包括濾波器、多項式函數、指數函數及限幅(clipping)函數。為簡單起見，並未說明此實例。
在另外其他實例中，如圖20D中所展示，填補程序可藉由執行如上文所描述的鏡像處理、複製、填補第一值及對預測樣本執行一函數之任何組合來執行。在圖20D之實例中，編碼器100之框間預測器126可藉由執行將預測樣本之第一區塊2008複製至在與第一區塊2008相距一第一特定距離處之樣本及將固定值Q填補至在與第一區塊2008相距一第二特定距離處之樣本的組合來填補預測樣本之第一區塊2008，以形成預測樣本之第二區塊2050。
在圖20A至圖20D中所展示之實例中，編碼器100之框間預測器126填補預測樣本之4×4第一區塊2002、2004、2006、2008以形成預測樣本之8×8第二區塊2000、2001、2050、2051。
返回參見圖19A及圖19B中之實例，可見編碼器100之框間預測器126藉由鏡像處理預測樣本之4×4第一區塊1902、1904來填補預測樣本之第一區塊1902、1904，以形成預測樣本之第二區塊1900、1901。在圖19A中，預測樣本之第二區塊1900係8×4樣本區塊。在圖19B中，預測樣本之第二區塊1900係4×8樣本區塊。
因此，熟習此項技術者可理解，能根據實際預測準確度需求來修改自填補程序所期望的預測樣本之第二區塊之尺寸。有利地，填補程序減少用以在稍後階段執行框間預測程序的資料。
因此，本編碼方法之填補步驟1704可經謹 慎地設計以基於上文關於圖19A、圖19B及圖20A至圖20D所描述之不同的填補方向及/或程序/技術而基於實際預測準確度需求來填補具有M×N尺寸之預測樣本的第一區塊，以形成具有任何期望尺寸(M+d1)×(N+d2)之預測樣本的第二區塊。熟習此項技術者可推知，M可與N為相同或不同，而d1及d2可為大於或等於0。
借助於填補，可將小尺寸資料填補至較大的尺寸使得包括更多資訊以產生當前區塊之準確預測。以此方式，本編碼方法係有利的，此係因為其僅需要小尺寸資料作為輸入，藉此減少框間預測之記憶體頻寬存取且提供更硬體友善之程序。
在步驟1706處，編碼器100之框間預測器126使用預測樣本之第二區塊計算至少一梯度。在一實施例中，在計算至少該梯度時，編碼器100之框間預測器126可將梯度濾波器應用於預測樣本之第二區塊以產生至少一差分值來用作為至少一個梯度。上文在梯度濾波器之部分中描述了應用梯度濾波器以產生至少一個梯度的實例。以此方式，當前圖片之當前區塊中的資料藉由來自用參考區塊與當前區塊之間的各別梯度(亦即，差分值)所編碼的參考圖片之參考區塊的資料參考。此步驟有利地促進減少框間預測之記憶體頻寬存取且提供更硬體友善之程序。
梯度濾波器之兩個實例被分別展示於圖21A及圖21B中。在圖21A中，將一個梯度濾波器{2,-9,0,9,-2}應用於預測樣本之第二區塊中的所有樣本值，而 不管運動向量之分數部分。在圖21A中，應用梯度濾波器{2,-9,0,9,-2}之程序係類似於上文在梯度濾波器之部分中描述的程序。在圖21A之實例中，等式(4)及(5)被用於所有運動向量。
在圖21B中，存在經提供以根據運動向量之分數部分而被應用於預測樣本之第二區塊中之樣本值的九個梯度濾波器：{8,-39,-3,46,-17,5}、{8,-32,-13,50,-18,5}、{7,-27,-20,54,-19,5}、{6,-21,-29,57,-18,5}、{4,-17,-36,60,-15,4}、{3,-9,-44,61,-15,4}、{1,-4,-48,61,-13,3}、{0,1,-54,60,-9,2}、{-1,4,-57,57,-4,1}。在圖21B之實例中，運動向量之分數部分係運動向量之子樣本部分，例如1/4樣本。因此，不同的梯度濾波器係基於運動向量之子樣本部分來選擇。舉例而言，在水平方向上之運動向量係1+(1/4)樣本，運動向量之分數部分係1/4。接著，選擇梯度濾波器{4,-17,-36,60,-15,4}以計算水平梯度。用{4,-17,-36,60,-15,4}替換等式(4)中之w[i]。在另一實例中，若垂直方向上之運動向量係4+(7/16)，則運動向量之分數部分係7/16。在此實例中，選擇梯度濾波器{0,1,-54,60,-9,2}以計算垂直梯度。用{0,1,-54,60,-9,2}替換等式(5)中之w[i]。
圖21C及圖21D描繪梯度濾波器之兩個其他實例。在圖21C中，將一個梯度濾波器{-1,0,1}應用於預測樣本之第二區塊中的所有樣本值，而不管運動向量之分數部分。
在圖21D中，將一個梯度濾波器{-1,1}應用於預測樣本之第二區塊中的所有樣本值，而不管運動向量之分數部分。在圖21C及圖21D中，應用各別梯度濾波器{-1,0,1}或{-1,1}之程序係類似於上文在梯度濾波器之部分中描述的程序。
在步驟1708處，編碼器100之框間預測器126使用所計算之至少該梯度來編碼圖片之當前區塊。
如圖17之實例1700中所展示，解碼方法中之步驟係類似於那些在編碼方法中之步驟，除了編碼器100使用至少一梯度來編碼當前區塊而解碼器200使用至少該梯度來解碼當前區塊的最後步驟1708之外。
以上實例及實施例使用預測區塊(可互換地被意指作預測樣本之區塊)作為輸入以預測當前區塊。下文進一步描述根據本編碼方法之其他實施例，其中兩個預測區塊被用作為輸入以預測當前區塊。
當兩個預測區塊(亦即，預測樣本之兩個區塊)被用作為輸入以預測當前區塊時，如上文所描述之步驟1702包括使用來自另一不同圖片之另一運動向量來進一步預測當前區塊之預測樣本的另一區塊。預測預測樣本之另一區塊的程序與預測預測樣本之第一區塊的程序相同。此外，如上文所描述之填補的步驟1704包括進一步填補預測樣本之另一區塊以形成預測樣本之又一區塊。
利用兩個參考圖片以預測當前區塊之圖像編碼/解碼方法的實施例2200被展示於圖22中。在此實 施例中，進一步使用額外預測區塊作為輸入，一內插程序亦因為子樣本精度而被部署。實施例包括有步驟，該等步驟包含：
步驟2202：至少使用一個利用來自不同圖片之第一及第二運動向量的預測程序來預測用於圖片之當前區塊的預測樣本之第一及第二區塊。
步驟2204：填補預測樣本之第一及第二區塊以形成預測樣本之第三及第四區塊。
步驟2206：對預測樣本之第三及第四區塊執行內插程序。
步驟2208：使用內插程序之結果來計算梯度。
步驟2210：至少使用內插程序之結果及所計算之梯度來編碼/解碼當前區塊。
步驟2202至2210被描繪於圖23中之概念圖2300中。如圖22及圖23中所展示之編碼方法的實施例2200可藉由圖像編碼器100來執行。應注意，藉由圖像解碼器200所執行之解碼方法係與如圖22及圖23中所展示之藉由圖像編碼器100所執行的編碼方法相同。
作為步驟2202，至少使用一預測程序來預測用於圖片之當前區塊的預測樣本之第一區塊，其中該預測程序使用來自不同圖片之第一運動向量來預測樣本。在一實施例中，第一運動向量可指向第一圖片，其中第一圖片係不同於當前圖片。
類似地，至少使用一預測程序來預測用於圖片之當前區塊的預測樣本之第二區塊，其中該預測程序使用來自另一不同圖片之第二運動向量來預測樣本。第二運動向量可指向第二圖片，其中第二圖片係不同於當前圖片。
在一個實例中，第一圖片可不同於第二圖片。在其他實例中，第一圖片可與第二圖片相同。
在一個實例中，如圖18A中所展示，第一及第二圖片之圖片次序計數(POC)中之至少一者係小於當前圖片之POC，且第一及第二圖片之POC中之至少一者係大於當前圖片之POC。
在另一實例中，如圖18B中所展示，第一及第二圖片之POC可小於當前圖片之POC。
在又一實例中，如圖18C中所展示，第一及第二圖片之POC可大於當前圖片之POC。
圖18A至圖18C中所展示之第一、第二及當前圖片的POC在時域中且描繪資料串流中之此等圖片的編碼次序。編碼次序可與資料串流(例如，視訊剪輯)中之此等圖片的播放次序相同或不同。熟習此項技術者可理解，POC亦可指空間域中之此等圖片的次序。
在一個實例中，在步驟2202中所預測之預測樣本的第一及第二區塊可與用於針對像合併模式、框間預測模式等之預測模式而執行的運動補償程序中之參考區塊相同。
在一個實例中，預測樣本之第一及第二區塊 可等於或大於當前區塊。
如圖23中所展示，圖22之預測步驟2202的實施例被描繪於步驟2302中。在此實施例中，當前區塊具有M×N之尺寸，其中M可與N相同或不同。編碼器100之框間預測器126可預測各自具有(M+d1)×(N+d2)之尺寸的預測樣本之第一及第二區塊，其中d1及d2可等於或大於零。預測樣本之第一區塊的一實例係以虛線來描繪。預測樣本之第二區塊具有與第一區塊相同的尺寸。可推知，預測樣本之第二區塊可具有不同於預測樣本之第一區塊之尺寸的一尺寸。
預測尺寸大於當前區塊之預測樣本的第一及第二區塊可能更為有利，此係因為更多資訊可被包括於預測樣本中，此促成更準確的預測結果。
在步驟2204處，填補預測樣本之第一區塊以形成預測樣本之第三區塊，且類似地，填補預測樣本之第二區塊以形成預測樣本之第四區塊。
在一實例中，預測樣本之第三區塊係大於預測樣本之第一區塊，且預測樣本之第四區塊係大於預測樣本之第二區塊。如圖23之填補步驟2304中所展示，第三及第四區塊可各自具有(M+d1+d3)×(N+d2+d4)之尺寸，其中d3及d4係大於零。預測樣本之第三區塊的一實例係以虛線來描繪。預測樣本之第四區塊具有與第三區塊相同的尺寸。如上文所描述，可推知預測樣本之第四區塊能具有不同於預測樣本之第三區塊之尺寸的一尺寸。
在一個實例中，填補可包括鏡像處理預測樣本之第一及第二區塊，如圖20A中所展示。在另一實例中，填補可包括複製預測樣本之第一及第二區塊，如圖20B中所展示。在另一實例中，填補可包括填補固定值，如圖20C中所展示，其中固定值可能係0、128、512、正整數、預測樣本之平均值及預測樣本之中位值中的至少一者。在一些實例中，填補可包括對預測樣本執行一函數。函數之實例可能為濾波器、多項式函數、指數函數及限幅函數。在一些實例中，填補可包括鏡像處理、複製、填補固定值及對預測樣本執行一函數之任何組合，如圖20D中所展示。
在步驟2206處，對預測樣本之第三及第四區塊執行一內插程序。內插程序可包括分別根據第一及第二運動向量將內插濾波器應用於預測樣本之第三及第四區塊。
在一個實例中，內插濾波器可與用於針對諸如合併模式、框間預測模式等之預測模式而執行之運動補償程序中的濾波器相同。在其他實例中，內插濾波器可不同於如上文所描述的用於針對預測模式而執行之運動補償程序中的濾波器。
如圖23之步驟2306中所展示，對預測樣本之第三及第四區塊執行內插程序產生內插程序之所得區塊。內插程序之所得區塊可各自具有(M+d5)×(N+d6)之尺寸，其中d5及d6係大於零。對預測樣本之第三區塊執行 的內插程序之所得區塊的一實例係以虛線來描繪。對預測樣本之第四區塊執行的內插程序之所得區塊係類似的。內插程序之所得區塊中之各者的一部分可被用來寫碼當前區塊，其中該部分具有M×N之尺寸。該部分可與針對諸如合併模式、框間預測模式等之預測模式而執行的運動補償程序之所得區塊相同。
在步驟2208處，使用內插程序之所得區塊來計算梯度。梯度計算可包括將梯度濾波器應用於內插程序之所得區塊中的樣本值以產生差分值。如圖23之步驟2308中所展示，所計算之梯度可形成M×N尺寸之區塊。
在一個實例中，可僅存在一個待應用於內插程序之所得區塊中的所有樣本值而不管第一及第二運動向量之分數部分的梯度濾波器，如圖21A中所展示。
在另一實例中，可存在九個根據第一及第二運動向量之分數部分而應用於內插程序之所得區塊中的樣本值的梯度濾波器，如圖21B中所展示。
在步驟2210處，至少使用內插程序之所得區塊及所計算之梯度來編碼當前區塊。經編碼區塊之實例被展示於圖23之步驟2310中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟2210處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟2210之描述中的「編碼」及「寫碼」一詞。
在本實施例中，借助於將填補程序引入框間 預測，本編碼及解碼方法有利地減少框間預測程序之記憶體頻寬存取。此外，藉由使用填補程序，本實施例可僅執行一個內插程序以產生令人滿意的預測結果。以此方式，本申請案有利地自硬體友善之框間預測程序移除額外內插程序。
應注意，在對第三區塊及第四區塊中之各者執行的內插程序中，可使用具有相互不同之數目個分接頭的內插濾波器。舉例而言，為了要獲得以上實例中之具有(M+d5)×(N+d6)之尺寸的內插程序之所得區塊，僅使用八分接頭內插濾波器。然而，用以獲得所得區塊中之具有M×N尺寸之第一區的內插濾波器之分接頭之數目與用以獲得第二區之內插濾波器的分接頭之數目可為不同，該第二區係所得區塊中之除了第一區以外的區且被用來產生梯度區塊。舉例而言，用以獲得第二區之內插濾波器的分接頭之數目可少於用以獲得第一區之內插濾波器的分接頭之數目。具體而言，若用以獲得第一區之內插濾波器的分接頭之數目為八個，則用以獲得第二區之內插濾波器的分接頭之數目可小於八個。因此，可減少處理負載，同時防止圖像品質之降低。
利用兩個參考圖片以預測當前區塊之圖像編碼/解碼方法的另一實施例被展示於圖24中。在此實施例中，此實施例中之內插程序係在填補程序之前執行。該實施例包括有步驟，該等步驟包含：
步驟2402：至少使用一個利用來自不同圖 片之第一及第二運動向量的預測程序來預測用於圖片之當前區塊的預測樣本之第一區塊及第二區塊。
步驟2404：對預測樣本之第一及第二區塊執行內插程序。
步驟2406：填補內插程序之結果以形成預測樣本之第三及第四區塊。
步驟2408：使用預測樣本之第三及第四區塊來計算梯度。
步驟2410：至少使用內插程序之結果及所計算之梯度來編碼/解碼當前區塊。
步驟2402至2410被描繪於圖25中之概念圖中。如圖24及圖25中所展示之編碼方法的實施例2400可藉由圖像編碼器100來執行。應注意，藉由圖像解碼器200所執行之解碼方法係與如圖24及圖25中所展示之藉由圖像編碼器100所執行的編碼方法相同。
在步驟2402處，至少使用一預測程序來預測用於圖片之當前區塊的預測樣本之第一區塊，其中該預測程序使用來自不同圖片之第一運動向量來預測用於當前區塊之樣本。在一實施例中，第一運動向量可指向第一圖片，其中第一圖片係不同於當前圖片。
類似地，至少使用一預測程序來預測用於圖片之當前區塊的預測樣本之第二區塊，其中該預測程序使用來自另一不同圖片之第二運動向量來預測樣本。第二運動向量可指向第二圖片，其中第二圖片係不同於當前圖片。
在一個實例中，第一圖片可不同於第二圖片。在其他實例中，第一圖片可與第二圖片相同。
在一個實例中，如圖18A中所展示，第一及第二圖片之圖片次序計數(POC)中之至少一者係小於當前圖片之POC，且第一及第二圖片之POC中之至少一者係大於當前圖片之POC。
在另一實例中，如圖18B中所展示，第一及第二圖片之POC可小於當前圖片之POC。
在又一實例中，如圖18C中所展示，第一及第二圖片之POC可大於當前圖片之POC。
圖18A至圖18C中所展示之第一、第二及當前圖片的POC在時域中且描繪資料串流中之此等圖片的編碼次序。編碼次序可與資料串流(例如，視訊剪輯)中之此等圖片的播放次序相同或不同。熟習此項技術者可理解，POC亦可指空間域中之此等圖片的次序。
在一個實例中，在步驟2402中所預測之預測樣本的第一及第二區塊可與用於針對像合併模式、框間預測模式等之預測模式而執行的運動補償程序中之參考區塊相同。
在一個實例中，預測樣本之第一及第二區塊可等於或大於當前區塊。
如圖25中所展示，圖24之預測步驟2402的實施例被描繪於步驟2502中。在此實施例中，當前區塊具有M×N之尺寸，其中M可與N相同或不同。編碼器 100之框間預測器126可預測各自具有(M+d1)×(N+d2)之尺寸的預測樣本之第一及第二區塊，其中d1及d2可等於或大於零。預測樣本之第一區塊的一實例係以虛線來描繪。預測樣本之第二區塊具有與第一區塊相同的尺寸。如上文所描述，可推知預測樣本之第二區塊可具有不同於預測樣本之第一區塊之尺寸的一尺寸。
預測尺寸大於當前區塊之預測樣本的第一及第二區塊可能更為有利，此係因為更多資訊可被包括於預測樣本中，此促成更準確的預測結果。
在步驟2404處，對預測樣本之第一及第二區塊執行一內插程序。內插程序可包括分別根據第一及第二運動向量將內插濾波器應用於預測樣本之第一及第二區塊。
在一個實例中，內插濾波器可與用於針對諸如合併模式、框間預測模式等之預測模式而執行之運動補償程序中的濾波器相同。在其他實例中，內插濾波器可不同於如上文所描述的用於針對預測模式而執行之運動補償程序中的濾波器。
如圖25之步驟2504中所展示，對預測樣本之第一及第二區塊執行內插程序產生內插程序之所得區塊。內插程序之所得區塊可各自具有M×N之尺寸。內插程序之所得區塊可被用來寫碼當前區塊，且可與針對諸如合併模式、框間預測模式等之預測模式而執行的運動補償程序之所得區塊相同。
在步驟2406處，填補對第一區塊執行之內插程序的所得區塊以形成預測樣本之第三區塊，其中預測樣本之第三區塊係大於當前區塊。類似地，填補對第二區塊執行之內插程序的所得區塊以形成預測樣本之第四區塊，其中預測樣本之第四區塊係大於當前區塊。
如圖25之步驟2506中所展示，預測樣本之第三區塊的實例可具有(M+d3)×(N+d4)之尺寸，其中d3及d4係大於零。預測樣本之第四區塊具有相同的尺寸。如上文所描述，可推知預測樣本之第四區塊可具有不同於預測樣本之第三區塊之尺寸的一尺寸。
在一個實例中，填補可包括鏡像處理內插程序之所得區塊，如圖20A中所展示。在另一實例中，填補可包括複製內插程序之所得區塊，如圖20B中所展示。在另一實例中，填補可包括填補固定值，如圖20C中所展示，其中固定值可能係0、128、512、正整數、預測樣本之平均值及預測樣本之中位值中的至少一者。在一些實例中，填補可包括對內插程序之所得區塊執行一函數。函數之實例可能為濾波器、多項式函數、指數函數及限幅函數。在其他實例中，填補可包括使用第一及第二區塊之預測樣本，如圖26中所展示。
在其他實例中，填補可包括將第二內插濾波器應用於第一及第二區塊，其中第二內插濾波器係不同於在步驟2404中所執行之內插濾波器且第二內插濾波器之分接頭數目少於在步驟2404中所執行之內插的分接頭數 目。在其他實例中，填補可包括以下者之任何組合：鏡像處理、複製、填補固定值、對內插程序之所得區塊執行一函數、使用第一及第二區塊填補樣本及將第二內插濾波器應用於第一及第二區塊，如圖20D中所展示。
在步驟2408處，使用預測樣本之第三及第四區塊來計算梯度。梯度計算可包括將梯度濾波器應用於預測樣本之第三及第四區塊的樣本值以產生差分值。梯度濾波器如上文關於圖21A、圖21B所描述。如圖25之步驟2508中所展示，所計算之梯度可形成M×N尺寸之區塊。
在步驟2410處，至少使用內插程序之所得區塊及所計算之梯度來編碼當前區塊。經編碼區塊之實例被展示於圖25之步驟2510中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟2410處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟2410之描述中的「編碼」及「寫碼」一詞。
在本實施例中，借助於將填補程序引入框間預測，本編碼及解碼方法有利地減少框間預測程序之記憶體頻寬存取。此外，藉由使用填補程序，本實施例可僅執行一個內插程序以產生令人滿意的預測結果。以此方式，本申請案有利地自硬體友善之框間預測程序移除額外內插程序。此可使內插濾波器之操作數目與用於針對諸如合併模式、框間預測模式等之預測模式而執行的運動補償程序中之操作數目相同。
圖27A係說明使用框間預測功能以產生圖片之當前區塊之預測的圖像編碼/解碼方法之替代實例的流程圖。
圖27A之步驟2702A至2708A被描繪於圖28中之概念圖中。如圖27A及圖28中所展示之編碼方法的實施例2700A可藉由圖像編碼器100來執行。應注意，藉由圖像解碼器200所執行之解碼方法係與如圖27A及圖28中所展示之藉由圖像編碼器100所執行的編碼方法相同。
如實例2700A中所展示，步驟2702A及2704A係與如關於圖17所描述之步驟1702及1704相同。在圖27A之步驟2702A中所預測的預測樣本之第一區塊的實施例被描繪於圖28之步驟2802中。在步驟2802中所描繪之實施例中，針對M×N尺寸之當前區塊預測(M+d1)×(N+d2)尺寸之預測樣本的第一區塊。熟習此項技術者可推知，M可與N相同或不同，而d1及d2可大於、等於或小於0。
藉由如按照圖27A之步驟2704A來填補預測樣本之第一區塊所形成的預測之第二區塊的實施例被描繪於圖28之步驟2804中。如圖28之步驟2804中所描繪，圖27A之填補步驟2704A可經謹慎地設計以基於上文關於圖19A、圖19B及圖20A至圖20D所描述之不同的填補方向及/或程序/技術而基於實際預測準確度需求來填補(M+d1)×(N+d2)尺寸之預測樣本的第一區塊，以形成 具有任何期望尺寸(M+d1+d3)×(N+d2+d4)之預測樣本的第二區塊。熟習此項技術者可推知，d3及d4係大於0。
在步驟2706A處，對預測樣本之第二區塊執行內插程序。內插程序可包括根據第一運動向量將內插濾波器應用於預測樣本之第二區塊。在一個實例中，內插濾波器可與用於針對諸如合併模式、框間預測模式等之預測模式而執行之運動補償程序中的濾波器相同。在其他實例中，內插濾波器可不同於如上文所描述的用於針對預測模式而執行之運動補償程序中的濾波器。在圖27A之步驟2706A中所執行的內插程序之結果的實施例被描繪於圖28之步驟2806中。
在步驟2708A處，至少使用對預測樣本之第二區塊所執行的內插程序之所得區塊來編碼當前區塊。如圖27A之步驟2708A中所描繪的使用內插程序之所得區塊來編碼的當前區塊之實施例被描繪於圖28之步驟2808中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟2708A處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟2708A之描述中的「編碼」及「寫碼」一詞。
圖27B係說明使用框間預測功能以基於不同圖片中之參考區塊及當前區塊之相鄰區塊來產生圖片之當前區塊之預測的圖像編碼/解碼方法之另一替代實例的流程圖。
圖27B之步驟2702B至2708B被描繪於圖29中之概念圖中。如圖27B及圖29中所展示之編碼方法的實施例2700B可藉由圖像編碼器100來執行。應注意，藉由圖像解碼器200所執行之解碼方法係與如圖27B及圖29中所展示之藉由圖像編碼器100所執行的編碼方法相同。
在步驟2701B處，預測用於圖片之當前區塊的預測樣本之第一區塊，其中該預測至少包括使用來自不同圖片之第一運動向量的預測程序。如圖29中所展示，在圖27B之步驟2702B中所預測的預測樣本之第一區塊的實施例被描繪於步驟2902中。
在步驟2704B處，填補預測樣本之第二區塊以形成預測樣本之第三區塊。第二區塊可相鄰於當前區塊。第二區塊之實施例被描繪於圖29之步驟2904中。在此實施例中，第二區塊具有M×N之尺寸，其中M可與N相同或不同。
如圖29之步驟2906中所展示，編碼器100之框間預測器126可經組配以執行步驟2704B，用來填補預測樣本之第二區塊以形成預測樣本之第三區塊。預測樣本之第三區塊可具有(M+d3)×N之尺寸，其中d3可等於或大於零。預測樣本之第三區塊的實例係以虛線來描繪。
在圖29中所描繪之實例中，預測樣本之第二區塊具有與第一區塊相同的尺寸。可推知，預測樣本之第二區塊可具有不同於預測樣本之第一區塊之尺寸的一尺 寸。
此外，在圖29之實例中，第二區塊係相鄰於第一區塊之一左方區塊。可推知，第二區塊可能為以下各者中之至少一者：相鄰於第一區塊之上方區塊、左方區塊、右方區塊、下方區塊、左上方區塊、右上方區塊、左下方區塊及右下方區塊，第二區塊之可能位置的說明被展示於圖31中，其中第二區塊係相鄰於當前區塊。
在一個實例中，步驟2704B中之填補可包括鏡像處理第二區塊之樣本，如圖32A中所展示。在其他實例中，步驟2704B中之填補可包括複製第二區塊之樣本，如圖32B中所展示。在其他實例中，步驟2704B中之填補可包括填補固定值，如圖32C中所展示，其中固定值可能係0、128、512、正整數、第二區塊之平均值及第二區塊之中位值中的至少一者。在其他實例中，步驟2704B中之填補可包括對第二區塊之樣本執行一函數。函數之實例可能為濾波器、多項式函數、指數函數及限幅函數。在其他實例中，步驟2704B中之填補可包括鏡像處理、複製、填補第一值及對第二區塊之樣本執行一函數之任何組合。
在圖29之實例中，步驟2704B中之填補可包括填補僅用於第二區塊之一側的樣本，如圖33A中所描繪。可推知，在其他實例中，步驟2704B中之填補可包括填補用於第二區塊之兩側的樣本，其中第二區塊之兩側如圖33C中所描繪係平行的或如圖33B中所描繪係正交的。在其他實例中，步驟2704B中之填補可包括填補用於 第二區塊之多於兩側的樣本，如圖33D中所描繪。
在步驟2706B處，至少使用預測樣本之第一及第三區塊來執行重疊區塊運動補償程序。重疊區塊運動補償程序係如本申請案之先前段落中所描述。重疊區塊運動補償程序產生重疊區塊運動補償區塊OBMC，如圖29之步驟2908中所展示。
在步驟2708B處，至少使用重疊區塊運動補償程序之結果來編碼當前區塊。經編碼區塊之實例被展示於圖29之步驟2910中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟2708B處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟2708B之描述中的「編碼」及「寫碼」一詞。
在本實施例中，借助於將填補程序引入重疊區塊運動補償程序，本編碼及解碼方法有利地減少框間預測程序之記憶體頻寬存取。
圖27C係說明使用框間預測功能以基於不同圖片中之參考區塊產生圖片之當前區塊之預測的圖像編碼/解碼方法之又一替代實例的流程圖。
圖27之步驟2702C至2410C被描繪於圖30中之概念圖中。如圖27C及圖30中所展示之編碼方法的實施例2700C可藉由圖像編碼器100來執行。應注意，藉由圖像解碼器200所執行之解碼方法係與如圖24及圖25中所展示之藉由圖像編碼器100所執行的編碼方法相 同。
如實例2700C中所展示，步驟2702C及2704C係與如關於圖17所描述之步驟1702及1704相同。
如圖30中所展示，圖27之預測步驟2702C的實施例被描繪於步驟3002中。在此實施例中，當前區塊具有M×N之尺寸，其中M可與N相同或不同。編碼器100之框間預測器126可預測具有(M+d1)×(N+d2)之尺寸的預測樣本之第一區塊，其中d1及d2可等於或大於零。如圖30之步驟3002中所展示，當前區塊可具有能稍後在方法之本實例中利用的一或多個相鄰區塊。
如圖30中所展示，預測尺寸大於當前區塊之預測樣本的第一區塊可能更為有利，此係因為更多資訊可被包括於預測樣本中，此促成更準確的預測結果。預測樣本之第一區塊的實例係以虛線描繪於圖30之步驟3002中。
如圖30之步驟3004中所展示，編碼器100之框間預測器126可經組配以執行步驟2704C，用來填補預測樣本之第一區塊以形成預測樣本之第二區塊。預測樣本之第二區塊可具有(M+d1+d3)×(N+d2+d4)之尺寸，其中d3及d4可等於或大於零。預測樣本之第二區塊的實例係以細的虛線描繪於圖30之步驟3004中，其中預測樣本之第一區塊的實例係以粗的虛線來描繪。
如圖30中所展示，形成尺寸大於第一區塊之預測樣本的第二區塊可能更為有利，此係因為更多資訊 可被包括於預測樣本之填補區塊中，此促成當前區塊之更準確的預測結果。
在步驟2706C處，對預測樣本之第二區塊執行一內插程序。內插程序可包括根據第一運動向量將內插濾波器應用於預測樣本之第二區塊。在一個實例中，內插濾波器可與用於針對諸如合併模式、框間預測模式等之預測模式而執行之運動補償程序中的濾波器相同。在其他實例中，內插濾波器可不同於如上文所描述的用於針對預測模式而執行之運動補償程序中的濾波器。
如圖30之步驟3006中所展示，對預測樣本之第二區塊執行內插程序可產生內插程序之所得區塊。內插程序之所得區塊可具有(M+d5)×(N+d6)之尺寸，其中d5及d6大於零。對預測樣本之第三區塊執行的內插程序之所得區塊的實例係以虛線描繪於圖30之步驟3006中。內插程序之所得區塊之一部分可被用來寫碼當前區塊，其中該部分可具有M×N之尺寸，如圖30之步驟3008中所展示。該部分可與針對諸如合併模式、框間預測模式等之預測模式而執行的運動補償程序之所得區塊相同。
在步驟2708C處，至少使用對預測樣本之第二區塊執行的內插程序之所得區塊來編碼當前區塊。經編碼區塊之實例被展示於圖30之步驟3008中。
與步驟2708C同時、在步驟2708C之後或在步驟2708C之前，於步驟2710C處對當前區塊之一或多個相鄰區塊執行重疊區塊運動補償程序。重疊區塊運動 補償程序可至少使用內插程序之所得區塊。
步驟2708C中之重疊區塊運動補償程序係如本申請案之先前段落中所描述。重疊區塊運動補償程序可產生一或多個相鄰區塊與當前區塊之間的一或多個重疊區塊運動補償OBMC區塊，如圖29之步驟2906中所展示。在同時產生一或多個相鄰區塊與當前區塊之間的一或多個重疊區塊運動補償OBMC區塊的情況下，本發明之方法有利地減少OBMC程序所需之記憶體頻寬存取(亦即，自晶片外記憶體DRAM所提取之資料)。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟2708C處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟2708C之描述中的「編碼」及「寫碼」一詞。
在本發明中，可用預測樣本之非矩形形狀分割區來替換描述於以上實例及實施例中之預測樣本的區塊。非矩形形狀分割區之實例可能為三角形分割區、L形分割區、五邊形分割區、六邊形分割區及多邊形分割區中之至少一者，如圖34中所展示。
熟習此項技術者可理解，非矩形形狀分割區並不限於圖34中所描繪之形狀分割區。此外，可自由地組合圖34中所描繪之形狀分割區。
圖35展示流程圖，其說明使用框間預測功能以基於不同圖片中之參考區塊產生圖片之當前區塊之預測的圖像編碼/解碼方法之另一替代實例。
圖35之步驟3502至3508被描繪於圖36中之概念圖中。如圖35及圖36中所展示之編碼方法的實施例3500可藉由圖像編碼器100來執行。可推知，藉由圖像解碼器200所執行之解碼方法係與如圖35及圖36中所展示之藉由圖像編碼器100所執行的編碼方法相同。
在步驟3502處，預測用於圖片之當前區塊的預測樣本之第一區塊，其中該預測至少包括使用來自不同圖片之第一運動向量的預測程序。如圖36中所展示，在圖35之步驟3502中所預測的預測樣本之第一區塊的實施例被描繪於步驟3602中。在此實施例中，當前區塊具有M×N之尺寸，其中M可與N相同或不同。編碼器100之框間預測器126可預測具有(M+d1)×(N+d2)之尺寸的預測樣本之第一區塊，其中d1及d2可等於或大於零。
在步驟3504處，藉由如描述於先前段落中之DMVR程序至少使用第一運動向量導出用於當前區塊之第二運動向量。第二運動向量之實施例被描繪於圖36之步驟3604中。在此實施例中，自當前區塊指向第一區塊之第二運動向量係以虛線描繪。
在步驟3506處，可使用第二運動向量對當前區塊執行一內插程序。內插程序可包括填補程序。在步驟3506之實施例中，編碼器100之框間預測器126可經組配以根據第二運動向量將預測樣本之第一區塊填補成預測樣本之第二區塊，且至少使用預測樣本之第二區塊對預測樣本之第二區塊執行內插程序。如圖36之步驟3606中 所描繪，預測樣本之第二區塊可具有(M+d1+d3)×(N+d2+d4)之尺寸，其中d3及d4可等於或大於零。
在圖36中所展示之實施例中，第二區塊係相鄰於第一區塊之L形分割區，如圖34中所展示。可推知，第二區塊亦可能為以下各者中之至少一者：相鄰於第一區塊之上方區塊、左方區塊、右方區塊、下方區塊、左上方區塊、右上方區塊、左下方區塊及右下方區塊。替代地，第二區塊亦可能為相鄰於第一區塊之三角形分割區、L形分割區、五邊形分割區、六邊形分割區及多邊形分割區。
圖37A及圖37B說明步驟3506中之填補程序的兩個實例。
在圖37A中所展示之實例中，步驟3506中之填補程序包括使用在步驟3504中所導出之第二運動向量來填補僅用於第一區塊之一側的樣本以形成預測樣本之第二區塊。
在圖37B中所展示之實例中，步驟3506中之填補程序包括使用在步驟3504中所導出之第二運動向量來填補用於第一區塊之兩側的樣本以形成預測樣本之第二區塊。在圖37B之實例中，第一區塊之兩側係正交的，亦如圖33B中所描繪。替代地，第一區塊之兩側係平行的，如圖33C中所描繪。可推知，在其他實例中，步驟3506中之填補程序可包括填補用於第二區塊之多於兩側 的樣本，如圖33D中所描繪。
在一些實例中，步驟3506中之填補程序可包括鏡像處理第一區塊之樣本，如圖32A中所展示。在其他實例中，步驟3506中之填補程序可包括複製第二區塊之樣本，如圖32B中所展示。在其他實例中，步驟3506中之填補程序可包括填補固定值，如圖32C中所展示，其中固定值可能係0、128、512、正整數、第二區塊之平均值及第二區塊之中位值中的至少一者。在其他實例中，步驟3506中之填補程序可包括對第二區塊之樣本執行一函數。函數之實例可能為濾波器、多項式函數、指數函數及限幅函數。在其他實例中，步驟3506中之填補程序可包括鏡像處理、複製、填補第一值及對第二區塊之樣本執行一函數之任何組合。
如步驟3606中所展示，對預測樣本之第二區塊執行一內插程序。內插程序可包括根據第二運動向量將內插濾波器應用於預測樣本之第二區塊。在一個實例中，內插濾波器可與用於針對諸如合併模式、框間預測模式等之預測模式而執行之運動補償程序中的濾波器相同。在其他實例中，內插濾波器可不同於如上文所描述的用於針對預測模式而執行之運動補償程序中的濾波器。
如圖36之步驟3606中所展示，對預測樣本之第二區塊執行內插程序可產生內插程序之所得區塊。內插程序之所得區塊可具有M×N之尺寸。
在步驟3508處，至少使用在步驟3506處對 預測樣本之第二區塊執行的內插程序之所得區塊來編碼當前區塊。經編碼區塊之實例被展示於圖36之步驟3608中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟3508處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟3508之描述中的「編碼」及「寫碼」一詞。
在本實施例中，借助於將填補程序引入重疊區塊運動補償程序，本編碼及解碼方法有利地減少DMVR程序之記憶體頻寬存取。
圖38展示流程圖，其說明使用框間預測功能以基於不同圖片中之參考區塊產生圖片之當前區塊之預測的圖像編碼/解碼方法之又一替代實例。
圖38之步驟3802、3804、3806及3808被描繪於圖39中之概念圖中。如圖38及圖39中所展示之編碼方法的實施例3800可藉由圖像編碼器100來執行。可推知，藉由圖像解碼器200所執行之解碼方法係與如圖38及圖39中所展示之藉由圖像編碼器100所執行的編碼方法相同。
如上文所描述，圖38之步驟3802、3804、3806及3808係類似於那些圖35之步驟，除了步驟3804中之動態運動向量再新(DMVR)程序進一步包括填補程序之外。在圖3904中所展示之實施例中，步驟3804中之填補程序包括根據第一運動向量來填補預測樣本之第一區塊。就此而言，在步驟3804處，藉由如描述於先前段落 中之DMVR程序基於經填補之第一區塊至少使用第一運動向量而針對當前區塊導出第二運動向量。第二運動向量之實施例係以自當前區塊指向第一區塊之虛線描繪於圖39之步驟3904中。
應注意，對於藉由圖像解碼器200執行之解碼方法，可在步驟3808處用「解碼」一詞來替換被用於藉由圖像編碼器100執行之編碼方法的步驟3808之描述中的「編碼」及「寫碼」一詞。
在本實施例中，借助於將填補程序引入重疊區塊運動補償程序，本編碼及解碼方法有利地減少DMVR程序之記憶體頻寬存取。
在本申請案中，可用「預測單元」一詞來替換描述於以上實例及實施例中之「區塊」一詞。亦可用「子預測單元」一詞來替換描述於各態樣中之「區塊」一詞。亦可用「寫碼單元」一詞來替換描述於各態樣中之「區塊」一詞。
(實施及應用)
如以上實施例中之各者中所描述，各功能或操作區塊通常可實現為例如微處理單元(micro processing unit；MPU)及記憶體。此外，藉由功能區塊中之各者所執行之程序可實現為程式執行單元，諸如讀取及執行記錄於諸如ROM之記錄媒體上的軟體(程式)之處理器。軟體可被分配。軟體可被記錄於諸如半導體記憶體之多種記錄媒體上。當然應注意，各功能區塊亦可實現為硬體(專用電路)。
實施例中之各者中所描述之處理可使用單一設備(系統)經由整合式處理來實現，且替代地，可使用多個設備經由分散式處理來實現。此外，執行上述程式之處理器可能為單一處理器或多個處理器。換言之，可執行整合式處理，且替代地，可執行分散式處理。
本發明之實施例並不限於以上例示性實施例；可對該等例示性實施例進行各種修改，修改之結果亦被包括於本發明之實施例的範圍內。
接下來，將描述以上實施例中之各者中所描述的動畫編碼方法(圖像編碼方法)及動畫解碼方法(圖像解碼方法)之應用實例，以及實施該等應用實例的各種系統。此系統之特性可在於包括使用圖像編碼方法之圖像編碼器、使用圖像解碼方法之圖像解碼器或包括圖像編碼器及圖像解碼器兩者的圖像編碼器-解碼器。在逐狀況基礎上可修改此系統之其他組態。
(使用實例)
圖40說明適合用於實施內容分配服務之內容提供系統ex100之總體組態。提供通訊服務之區域係劃分成具有期望尺寸的小區，且在所說明實例中為固定無線台之基地台ex106、ex107、ex108、ex109以及ex110係位於各別小區中。
在內容提供系統ex100中，包括電腦ex111、遊戲裝置ex112、攝影機ex113、家用電器ex114及智慧型手機ex115之裝置係經由網際網路服務提供者 ex102或通訊網路ex104及基地台ex106至ex110連接至網際網路ex101。內容提供系統ex100可組合且連接以上裝置之任何組合。在各種實施中，該等裝置可經由電話網路或近場通訊而非經由基地台ex106至ex110被直接地或間接地連接在一起。另外，串流伺服器ex103可經由例如網際網路ex101連接至包括電腦ex111、遊戲裝置ex112、攝影機ex113、家用電器ex114及智慧型手機ex115之裝置。串流伺服器ex103亦可經由衛星ex116連接至例如飛機ex117中之熱點中的終端機。
應注意，替代基地台ex106至ex110，可使用無線存取點或熱點。串流伺服器ex103可直接地而非經由網際網路ex101或網際網路服務提供者ex102連接至通訊網路ex104，且可直接地而非經由衛星ex116連接至飛機ex117。
攝影機ex113係能夠擷取靜態圖像及視訊之裝置，諸如數位攝影機。智慧型手機ex115係可根據2G、3G、3.9G及4G系統以及下一代5G系統之行動通訊系統標準而操作的智慧型手機裝置、蜂巢式電話或個人手機系統(PHS)。
家用電器ex118係例如冰箱或被包括於家用燃料電池共生型系統中之裝置。
在內容提供系統ex100中，包括圖像及/或視訊擷取功能之終端機，舉例而言，能夠藉著經由例如基地台ex106連接至串流伺服器ex103而進行實況串流傳 輸。當進行實況串流傳輸時，終端機(例如，電腦ex111、遊戲裝置ex112、攝影機ex113、家用電器ex114、智慧型手機ex115或飛機ex117)可對由使用者經由該終端機所擷取之靜態圖像或視訊內容來執行以上實施例中所描述的編碼處理，可對經由編碼所獲得之視訊資料及藉由編碼對應於視訊之音訊所獲得的音訊資料進行多工，且可將所獲得之資料傳輸至串流伺服器ex103。換言之，該終端機作用為根據本發明之一個態樣的圖像編碼器。
串流伺服器ex103將經傳輸之內容資料串流傳輸至請求該串流之用戶端。用戶端實例包括電腦ex111、遊戲裝置ex112、攝影機ex113、家用電器ex114、智慧型手機ex115及在飛機ex117內部之終端機，其等係能夠解碼上述經編碼資料。接收經串流傳輸之資料的裝置解碼及再現所接收之資料。換言之，該等裝置可各自作用為根據本發明之一個態樣的圖像解碼器。
(分散式處理)
串流伺服器ex103可實現為多個伺服器或電腦，諸如資料之處理、記錄及串流傳輸的工作在該等多個伺服器或電腦之間被劃分。舉例而言，串流伺服器ex103可實現為內容遞送網路(CDN)，其經由連接位於全世界之多個邊緣伺服器的網路來串流傳輸內容。在CDN中，將實體地靠近用戶端之邊緣伺服器動態地指派給用戶端。快取內容且將內容串流傳輸至邊緣伺服器以減少載入時間。在例如由例如訊務中之尖峰引起的連接性中之某類型之錯誤或改變 的情況下，有可能以高速度穩定地串流傳輸資料，此係因為有可能藉由例如將處理劃分在多個邊緣伺服器之間或將串流工作切換至不同邊緣伺服器且繼續串流傳輸來避開網路受影響之部分。
分散化並不限於僅劃分針對串流傳輸之處理；所擷取資料之編碼可在終端之間劃分且由終端機執行、在伺服器端執行，或兩種情況皆可。在一個實例中，在典型編碼中，處理係在兩個迴路中執行。第一迴路用於偵測圖像在逐圖框或逐場景基礎上有多複雜的程度，或偵測編碼負載。第二迴路用於維持圖像品質且改良編碼效率之處理。舉例而言，有可能藉由使終端機執行編碼之第一迴路及使接收內容的伺服器端執行編碼之第二迴路來減少終端機之處理負載且改良內容之品質及編碼效率。在此狀況下，在接收到解碼請求後，有可能要接收由藉著一個終端機所執行之第一迴路而產生的經編碼資料且近乎即時地在另一個終端上再現該經編碼資料。此使得有可能實現流暢的即時串流傳輸。
在另一實例中，攝影機ex113或其類似者自圖像提取特徵量，將與該特徵量相關之資料壓縮為元資料，且將經壓縮的元資料傳輸至伺服器。舉例而言，伺服器基於特徵量來判定物件之重要性，且相應地改變量化準確度以執行適合用於圖像之含義(或內容重要性)的壓縮。特徵量資料對於改良在藉由伺服器所執行之第二壓縮遍次期間的運動向量預測之精度及效率特別有效。此外，具有 相對較低處理負載之編碼(諸如，可變長度寫碼(VLC))可藉由終端機來處置，且具有相對較高處理負載之編碼(諸如，上下文自適應二進位算術寫碼(CABAC))可藉由伺服器來處置。
在又一實例中，存在大致相同場景之多個視訊係藉由例如體育場、購物中心或工廠中之多個終端機來擷取的情況。在此狀況下，例如，編碼可藉由基於每個單位在擷取視訊之多個終端機與在必要時不擷取視訊之其他終端機以及伺服器之間劃分處理工作來分散。該等單位可為例如圖片群組(GOP)、圖片或由劃分圖片而產生之圖像塊。此使得有可能減少載入時間且達成更接近即時之串流傳輸。
由於視訊係關於大致相同的場景，因此可藉由伺服器來進行管理及/或指示，使得由終端機所擷取之視訊能被交叉參考。此外，伺服器可自終端機接收經編碼資料，改變資料項目之間的參考關係，或校正或替換圖片本身，且接著執行編碼。此使得有可能產生具有資料之個別項目的品質及效率被提高之串流。
此外，伺服器可在執行轉換視訊資料之編碼格式的轉碼之後串流傳輸視訊資料。舉例而言，伺服器可將編碼格式自MPEG轉換至VP(例如，VP9)，且可將H.264轉換至H.265。
以此方式，編碼可藉由一終端機或一或多個伺服器來執行。據此，儘管執行編碼之裝置被意指作「伺 服器」或「終端機」，但在以下描述中，藉由伺服器所執行之一些或全部的程序係可藉由終端機來執行，且同樣地，藉由終端機所執行之一些或全部的程序係可藉由伺服器來執行。此亦適用於解碼程序。
(3D，多角度)
自藉由諸如攝影機ex113及/或智慧型手機ex115之多個終端機同時地擷取的不同場景或自不同角度擷取的同一場景的圖像或視訊所組合的圖像或視訊之使用已增加。藉由終端機所擷取之視訊係基於例如終端機之間單獨地獲得之相對位置關係或視訊中之具有匹配特徵點之區而組合。
除了二維動畫之編碼以外，伺服器還可自動地或在由使用者所指定之時間點基於對動畫之場景分析來編碼靜態圖像，且將經編碼之靜態圖像傳輸至接收終端機。此外，當伺服器可獲得視訊擷取終端機之間的相對位置關係時，除了二維動畫以外，伺服器還可基於自不同角度所擷取的同一場景之視訊來產生場景之三維幾何形狀。伺服器可單獨地編碼自例如點雲所產生之三維資料，且基於使用三維資料辨識或追蹤個人或物件的結果，可自藉由多個終端機所擷取之視訊選擇或重建構及產生待傳輸至接收終端機之視訊。
此允許使用者藉由自由地選擇對應於視訊擷取終端機之視訊來享用場景，且允許使用者享用藉由在選定的視角處自根據多個圖像或視訊重建構之三維資料提 取視訊所獲得的內容。此外，如同視訊，聲音可自相對不同的角度來記錄，且伺服器可對來自具有對應視訊之特定角度或空間之音訊進行多工，且傳輸經多工之視訊及音訊。
近年來，複合真實世界與虛擬世界之內容(諸如，虛擬實境(VR)及擴增實境(AR)內容)亦已變得盛行。在VR圖像之狀況下，伺服器可自左眼及右眼兩者之視角來建立圖像，且執行包容兩種視角圖像之間的參考之編碼，諸如多視圖寫碼(MVC)，且替代地，可不用參考而將圖像編碼為單獨串流。當圖像被解碼為單獨串流時，該等串流在再現時可被同步，以便根據使用者之視角來重建虛擬的三維空間。
在AR圖像之狀況下，伺服器基於三維位置或源自使用者視角之移動而將存在於虛擬空間中之虛擬物件資訊疊加至表示真實世界空間之攝影機資訊上。解碼器可獲得或儲存虛擬物件資訊及三維資料，基於源自使用者視角之移動而產生二維圖像，且接著藉由無縫地連接圖像來產生疊加資料。替代地，除了對虛擬物件資訊之請求以外，解碼器還可將源自使用者視角之運動傳輸至伺服器。伺服器可基於儲存於伺服器中之根據所接收運動的三維資料來產生疊加資料，且編碼所產生之疊加資料並將其串流傳輸至解碼器。應注意，除了RGB值以外，疊加資料還包括指示透明度之α值，且伺服器將除了自三維資料產生之物件以外的區段之α值設定為例如0，且可在那些區段為透明時執行編碼。替代地，伺服器可將背景設定至諸如 色度鍵之預定RGB值，且產生資料，其中除了物件以外的區域經設定為背景。
類似地串流傳輸之資料的解碼可藉由用戶端(亦即，終端機)來執行、在伺服器端執行，或在兩種情況之間劃分執行。在一個實例中，一個終端機可將接收請求傳輸至伺服器，所請求之內容可由另一終端機接收及解碼，且經解碼信號可被傳輸至具有顯示器之裝置。有可能藉由分散處理及適當地選擇內容來再現高圖像品質資料，而不管通訊終端機本身之處理能力。在又一實例中，當TV例如正在接收大尺寸的圖像資料時，諸如藉由劃分圖片所獲得之圖像塊的圖片之區可經解碼且被顯示於TV之一個觀看者或多個觀看者之一個人終端機或多個終端機上。此使得觀看者有可能共用大圖片視圖，以及使得各觀看者有可能檢查他或她的經指派區域，或近距離更詳細地查驗一區。
於可能在近距離、中間距離及遠距離、在室內或在室外進行多個無線連接的情形中，有可能使用諸如MPEG-DASH之串流系統標準來無縫地接收內容。使用者可在自由地選擇包括使用者之終端機的解碼器或顯示設備、配置在室內或室外之顯示器等時，即時地在資料之間切換。此外，使用例如關於使用者之位置的資訊，可在切換哪個終端機處置解碼及哪個終端機處置內容之顯示的同時執行解碼。此使得有可能在使用者在移動前往目的地之途中映射資訊且在嵌有能夠顯示內容之裝置的附近建築物 之牆壁上、在地面之部分上顯示資訊。此外，亦有可能基於對網路上之經編碼資料的可存取性來切換所接收資料之位元速率，諸如當在可自接收終端機快速地存取之伺服器上快取經編碼資料時，或當在內容遞送服務中將經編碼資料複製至邊緣伺服器時。
(可調式編碼)
將參考圖41中所說明的可調式串流來描述內容之切換，經由實施以上實施例中所描述之動畫編碼方法來壓縮寫碼該可調式串流。伺服器可具有如下組態：在利用串流之時間及/或空間可調性時切換內容，此係藉由劃分成多個層及編碼該等層來達成，如圖41中所說明。應注意，可存在內容相同但品質不同的多個個別串流。換言之，藉由基於諸如解碼器端之處理能力的內部因素及諸如通訊頻寬的外部因素來判定哪個層要解碼，解碼器端可在解碼時自由地在低解析度內容與高解析度內容之間切換。舉例而言，在使用者希望繼續例如在家中於諸如連接至網際網路之TV的裝置上觀看使用者先前已在移動時於智慧型手機ex115上觀看之視訊的狀況下，裝置可簡單地解碼同一串流直至不同層，此減少伺服器端負載。
此外，除了上文所描述之組態(其中可調性係作為按層來編碼圖片之結果而達成)以外，在增強層係位於基礎層之上的情況下，增強層還可包括基於例如關於圖像之統計資訊的元資料。解碼器端可藉由基於元資料對基礎層中之圖片執行超解析度成像來產生高圖像品質內容。超 解析度成像可改良SN比，同時維持解析度及/或增加解析度。元資料包括用於識別在超解析度處理中所使用的線性或非線性濾波器係數之資訊，或識別超解析度處理中所使用的濾波器處理、機器學習或最小平方方法中之參數值的資訊。
替代地，可提供如下之組態：其中圖片係根據例如圖像中之物件之含義而劃分成例如圖像塊。在解碼器端，僅部分區係藉由選擇待解碼之圖像塊而解碼。另外，藉由儲存物件(人、汽車、球等)之屬性及視訊中之物件的位置(在相同圖像中之座標)作為元資料，解碼器端可基於該元資料來識別所期望物件之位置且判定哪個圖像塊或哪些圖像塊包括該物件。舉例而言，如圖42中所說明，可使用不同於諸如HEVC中之補充增強資訊(SEI)訊息之樣本資料的資料儲存結構來儲存元資料。此元資料指示例如主要物件之位置、尺寸或色彩。
元資料可按諸如串流、序列或隨機存取單元之多個圖片為單位來儲存。解碼器端可獲得例如特定人員在視訊中出現的時間，且藉由使時間資訊與圖片單元資訊配合，可識別該物件存在之圖片及圖片中之該物件的位置。
(網頁最佳化)
圖43說明網頁在例如電腦ex111上之顯示螢幕的實例。圖44說明網頁在例如智慧型手機ex115上之顯示螢幕的實例。如圖43及圖44中所說明，網頁可包括連結至圖像內容之多個圖像連結，且網頁之外觀取決於被用來查 看網頁之裝置而有所不同。當可在螢幕上查看到多個圖像連結時，直至使用者明確地選擇圖像連結，或直至圖像連結係處於螢幕之大致中心或整個圖像連結配合螢幕，顯示設備(解碼器)可顯示被包括於內容或I圖片中之靜態圖像作為圖像連結，可使用多個靜態圖像或I圖片來顯示諸如動畫gif之視訊，或可僅接收基礎層且解碼及顯示視訊。
當圖像連結係由使用者選擇時，顯示設備執行解碼，同時給予基礎層最高的優先權。應注意，若網頁之HTML程式碼中存在指示內容為可調的資訊，則顯示設備可解碼直至增強層。另外，為了要保證即時再現，在做出選擇之前或在頻寬嚴重受限時，顯示設備可藉由僅解碼及顯示前向參考圖片(I圖片、P圖片、前向參考B圖片)來減少解碼前置圖片時的時間點與顯示經解碼圖片時的時間點之間的延遲(亦即，內容解碼開始至內容顯示之間的延遲)。又另外，顯示設備可故意地忽略圖片之間的參考關係，且粗略地解碼所有B及P圖片作為前向參考圖片，且接著執行正常解碼，此係因為隨時間推移而接收之圖片的數目增大。
(自動駕駛)
當傳輸及接收諸如用於汽車之自動駕駛或輔助駕駛之二維或三維地圖資訊的靜態圖像或視訊資料時，除了屬於一或多個層之圖像資料以外，接收終端機還可接收關於例如天氣或道路構造的資訊作為元資料，且在解碼後立即將該元資料與圖像資料聯合。應注意，可每層指派元資料， 且替代地，可簡單地將元資料與圖像資料一起進行多工。
在此狀況下，由於包括接收終端機之汽車、無人機、飛機等係行動的，因此接收終端機可藉由傳輸指示接收終端機之位置之資訊而在基地台ex106至ex110中的基地台之間切換時，無縫地接收及執行解碼。此外，根據使用者做出之選擇、使用者之情形及/或連接之頻寬，接收終端機可動態地選擇接收元資料之範圍，或例如更新地圖資訊之範圍。
在內容提供系統ex100中，用戶端可即時地接收、解碼及再現藉由使用者所傳輸之經編碼資訊。
(個別內容之串流傳輸)
在內容提供系統ex100中，除了高圖像品質以外，藉由視訊分配實體所分配的長內容、低圖像品質之單播或多播串流傳輸及來自個人之短內容亦為可能的。此種來自個人之內容很可能進一步日益盛行。為了要改進個別內容，伺服器可在編碼處理之前首先對內容執行編輯處理。舉例而言，此處理可使用以下組態來達成。
即時地，當擷取視訊或圖像內容時，或在已擷取且積累內容之後，伺服器基於原始資料或經編碼資料來執行辨識處理，諸如擷取誤差處理、場景搜尋處理、含義分析及/或物件偵測處理。接著，基於辨識處理之結果，伺服器在經提示時或自動地編輯內容時，內容之實例包括：諸如聚焦及/或運動模糊校正的校正；移除低優先權場景，諸如與其他圖片相比亮度較低或離焦的場景；物件邊 緣調整；以及色調調整。伺服器基於編輯之結果來編碼經編輯之資料。過長的視訊傾向於接收較少視圖為已知的。據此，為了要將內容保持在隨原始視訊之長度按比例調整的特定長度內，除了上文所描述之低優先權場景以外，伺服器還可基於圖像處理結果而自動地剪除具有少量移動的場景。替代地，伺服器可基於對場景含義之分析結果來產生及編碼視訊摘錄。
可存在個別內容能包括侵犯版權、道德權、肖像權等之內容的情況。此情況可導致對建立者不利之情形，諸如在超出建立者所預期之範圍而共用內容時。據此，在編碼之前，伺服器可例如編輯圖像，以便例如使在螢幕周邊之人的面部模糊或使房子之內部模糊。另外，伺服器可經組配以辨識除了待編碼之圖像中之經登記人員以外的人之面部，且當此等面部出現在圖像中時，可將例如馬賽克濾波器應用於人員之面部。替代地，作為用於編碼之預處理或後處理，使用者可出於版權原因而指定待處理的包括人之圖像區或背景區。伺服器可藉由例如用不同圖像替換指定區或使指定區模糊來處理該區。若該區包括人員，則該人員可在動畫中被追蹤，且該人員之頭部區可在該人員移動時用另一圖像來替換。
由於存在即時地觀看由個人所產生之內容(其資料尺寸上傾向於為小的)的需求，解碼器首先接收基礎層作為最高優先權，且執行解碼及再現，然而此操作可取決於頻寬而不同。當內容被再現兩次或多於兩次時，諸 如當解碼器在基礎層之解碼及再現期間接收增強層且使再現循環時，解碼器可再現包括增強層之高圖像品質視訊。若串流係使用此可調式編碼來進行編碼，則視訊在處於未選擇狀態時或在視訊開始時可為低品質的，但視訊可提供體驗，其中串流之圖像品質係以智慧型方式逐漸地提高。此並不僅限於可調式編碼；相同的體驗可藉由組配來自第一次再現之低品質串流之單一串流及使用第一串流編碼作為參考來編碼的第二串流而被提供。
(其他實施及應用實例)
編碼及解碼可藉由通常被包括於各終端機中之LSI ex500(參見圖40)所執行。LSI ex500可由單一晶片或多個晶片所組配。用於編碼及解碼動畫之軟體能被整合至可藉由例如電腦ex111讀取之某類型之記錄媒體(諸如，CD-ROM、軟性磁碟或硬碟)中，且編碼及解碼可使用軟體來執行。此外，當智慧型手機ex115係配備有攝影機時，可傳輸藉由該攝影機所獲得之視訊資料。在此狀況下，藉由被包括於智慧型手機ex115中之LSI ex500來寫碼該視訊資料。
應注意，LSI ex500可經組配以下載及啟動應用程式。在此狀況下，終端機首先判定其與被用來編碼內容之方案是否相容，或判定該終端機是否能夠執行特定服務。當終端機與內容之編碼方案為不相容時，或當終端機係不能夠執行特定服務時，該終端機首先下載編解碼器或應用軟體，且接著獲得及再現內容。
除使用網際網路ex101之內容提供系統ex100之實例外，至少以上實施例中所描述之動畫編碼器(圖像編碼器)或動畫解碼器(圖像解碼器)可在數位廣播系統中被實施。可應用相同的編碼處理及解碼處理以使用例如衛星來傳輸及接收與經多工音訊及視訊資料疊加的廣播無線電波，縱使此設計適用於多播，單播卻對於內容提供系統ex100而言為更容易的。
(硬體組態)
圖45說明圖40中所展示之智慧型手機ex115的更多細節。圖46說明智慧型手機ex115之組態實例。智慧型手機ex115包括用於傳輸無線電波至基地台ex110及自基地台ex110接收無線電波的天線ex450、能夠擷取視訊及靜態圖像的攝影機ex465，以及顯示經解碼資料(諸如，由攝影機ex465所擷取之視訊及由天線ex450接收之視訊)的顯示器ex458。智慧型手機ex115進一步包括：使用者介面ex466，諸如觸控面板；音訊輸出單元ex457，諸如用於輸出話音或其他音訊之揚聲器；音訊輸入單元ex456，諸如用於音訊輸入之麥克風；記憶體ex467，其能夠儲存經解碼資料，諸如所擷取之視訊或靜態圖像、經記錄之音訊、經接收之視訊或靜態圖像及郵件以及經解碼資料；以及插槽ex464，其係用於授權對網路及各種資料之存取之SIM ex468的介面。應注意，可替代記憶體ex467而使用外部記憶體。
主控制器ex460(其全面地控制顯示器 ex458及使用者介面ex466)、電力供應電路ex461、使用者介面輸入控制器ex462、視訊信號處理器ex455、攝影機介面ex463、顯示控制器ex459、調變器/解調變器ex452、多工器/解多工器ex453、音訊信號處理器ex454、插槽ex464以及記憶體ex467係經由匯流排ex470連接。
當使用者打開電力供應電路ex461之電源按鈕時，智慧型手機ex115被通電進入可操作狀態，且各組件以來自電池組之電力被供電。
智慧型手機ex115基於由包括CPU、ROM及RAM之主控制器ex460所執行的控制來執行用於例如呼叫及資料傳輸的處理。當進行呼叫時，由音訊輸入單元ex456所記錄之音訊信號藉由音訊信號處理器ex454被轉換成數位音訊信號，藉由調變器/解調變器ex452及對數位音訊信號應用展頻處理，且藉由傳輸器/接收器ex451應用數位至類比轉換及頻率轉換處理，且經由天線ex450來傳輸所得信號。藉由調變器/解調變器ex452對所接收之資料進行放大、頻率轉換及類比至數位轉換、反展頻處理，藉由音訊信號處理器ex454將所接收之資料轉換成類比音訊信號，且接著自音訊輸出單元ex457輸出所接收之資料。在資料傳輸模式下，文字、靜態圖像或視訊資料係藉由主控制器ex460例如基於主體之使用者介面ex466的操作而經由使用者介面輸入控制器ex462來傳輸。類似之傳輸及接收處理被執行。在資料傳輸模式下，當發送視訊、靜態圖像或視訊及音訊時，視訊信號處理器ex455經由在 以上實施例中所描述之動畫編碼方法來壓縮編碼儲存於記憶體ex467中的視訊信號或自攝影機ex465輸入的視訊信號，且將經編碼視訊資料傳輸至多工器/解多工器ex453。音訊信號處理器ex454在攝影機ex465正在擷取視訊或靜態圖像的同時編碼藉由音訊輸入單元ex456所記錄之音訊信號，且將經編碼音訊資料傳輸至多工器/解多工器ex453。多工器/解多工器ex453使用預定方案對經編碼視訊資料及經編碼音訊資料進行多工，且使用調變器/解調變器(調變器/解調變器電路)ex452及傳輸器/接收器ex451來調變及轉換該資料，且經由天線ex450傳輸結果。
當接收到隨附在電子郵件或聊天中之視訊、或自網頁連結之視訊例如為了要解碼經由天線ex450所接收的經多工資料時，多工器/解多工器ex453對經多工資料進行解多工以將經多工資料劃分成視訊資料之位元串流及音訊資料之位元串流，經由同步匯流排ex470將經編碼視訊資料供應至視訊信號處理器ex455，且經由同步匯流排ex470將經編碼音訊資料供應至音訊信號處理器ex454。視訊信號處理器ex455使用對應於以上實施例中所描述之動畫編碼方法的動畫解碼方法來解碼視訊信號，且經由顯示控制器ex459在顯示器ex458上顯示包括於所連結動畫檔案中之視訊或靜態圖像。音訊信號處理器ex454解碼音訊信號且自音訊輸出單元ex457輸出音訊。由於即時串流變得日益盛行，可能存在音訊之再現取決於使用者之環境而可能在社會上並不適當的情況。據此，作 為初始值，僅再現視訊資料，亦即，不再現音訊信號的組態為較佳的。音訊可被同步且僅在接收到輸入時，諸如當使用者點選視訊資料時被再現。
儘管在以上實例中使用智慧型手機ex115，但可設想到三個其他的實施：包括編碼器及解碼器兩者之收發器終端機；僅包括編碼器之傳輸器終端機；以及僅包括解碼器之接收器終端機。在數位廣播系統之描述中，給定如下實例：其中接收或傳輸作為將視訊資料與音訊資料一起進行多工之結果而獲得的經多工資料。然而，經多工資料可為與除了音訊資料以外的諸如與視訊相關之文字資料的資料一起進行多工之視訊資料。另外，可接收或傳輸視訊資料本身而非經多工資料。
儘管包括CPU之主控制器ex460係描述為控制編碼或解碼程序，但各種終端機常常包括有GPU。據此，如下組態係可接受的：藉由經由CPU及GPU所共用的記憶體或包括經管理以便允許CPU及GPU共同使用之位址的記憶體利用GPU之執行能力來同時處理大的區域。此使得有可能縮短編碼的時間、維持串流之即時性質以及減少延遲。特定而言，與運動估計、解區塊濾波、樣本自適應偏移(SAO)以及變換/量化相關之處理係可藉由GPU而非CPU以圖片為單位(例如，全部同時地)來有效地進行。
熟習此項技術者將瞭解，可對如特定實施例中所展示之本發明進行眾多變化及/或修改，而不背離如廣 泛地所描述之本發明之精神或範圍。因此，本發明實施例要在所有方面被視為說明性而非限制性的。
根據本發明，提供有各種特徵，諸如：
1.一種用於使用框間預測來編碼圖片中之待寫碼之區塊的編碼器，該編碼器包含：處理器，以及記憶體；該處理器使用該記憶體來執行以下步驟：藉由使用對應於兩個參考圖片中之各者的運動向量來執行運動補償而自兩個參考圖片獲取兩個預測圖像；自兩個參考圖片獲取對應於兩個預測圖像之兩個梯度圖像；在藉由劃分待寫碼之區塊而獲得的子區塊中，使用兩個預測圖像及兩個梯度圖像來導出局部運動估計值；以及使用兩個預測圖像、兩個梯度圖像以及子區塊之局部運動估計值來產生待寫碼之區塊的最終預測圖像。
2.如表述1之編碼器，其中當要在獲取兩個預測圖像中以子像素精度獲得兩個預測圖像時，藉由參考在兩個參考圖片中之各者中的由運動向量所指示之預測區塊周圍之內插參考範圍中的像素來以子像素精度對像素進行內插，該內插參考範圍被包括於普通參考範圍中，該普通參考範圍經參考為了要在使用局部運動估計值執行處理之普通框間預測中對待寫碼之區塊執行運動補償。
3.如表述2之編碼器，其中該內插參考範圍匹配該普通參考範圍。
4.如表述2或3之編碼器，其中在獲取兩個梯度圖像時參考在兩個參考圖片中之各者中之預測區塊周圍的梯度參考範圍中的像素，且其中該梯度參考範圍被包括於該內插參考範圍中。
5.如表述4之編碼器，其中該梯度參考範圍匹配該內插參考範圍。
6.如表述1至5中任一項之編碼器，其中被包括於對應於兩個參考圖片中之各者中之子區塊的區域中之預測子區塊中的像素之值經加權且被用於導出局部運動估計值，且其中此等像素當中被定位於該區域之中心處的像素係用高於被用在該區域之中心外部的那些像素之值的值來進行加權。
7.如表述6之編碼器，其中在導出局部運動估計值時，除了對應於兩個參考圖片中之各者中之子區塊的區域中之預測子區塊中的像素以外，還參考被包括於由運動向量所指示之預測區塊中的另一預測子區塊中之像素，該另一預測子區塊係鄰近於該預測子區塊。
8.如表述6至7中任一項之編碼器，其中在導出局部運動估計值時僅參考兩個參考圖片中之各者中的對應於子區塊之區域中的預測子區塊中之一些像素。
9.如表述8之編碼器，其中在導出局部運動估計值時， (i)在兩個參考圖片中之各者中自指示預測子區塊中之一些像素的多個像素圖案選出一像素圖案，該等像素圖案係彼此不同，且(ii)參考指示選定像素圖案之預測子區塊中的像素以導出用於子區塊之局部運動估計值，處理器經組配以將指示選定像素圖案之資訊寫入至位元串流。
10.如表述8之編碼器，其中在導出局部運動估計值時，(i)基於兩個參考圖片中之各者中的兩個預測圖像自指示預測子區塊中之一些像素的多個像素圖案自適應地選出一像素圖案，該等像素圖案係彼此不同，且(ii)參考指示選定像素圖案之預測子區塊中的像素以導出用於子區塊之局部運動估計值。
11.一種用於使用框間預測來編碼圖片中之待寫碼之區塊的編碼方法，該編碼方法包含以下步驟：藉由使用對應於兩個參考圖片中之各者的運動向量來執行運動補償而自兩個參考圖片獲取兩個預測圖像；自兩個參考圖片獲取對應於兩個預測圖像之兩個梯度圖像；在藉由劃分待寫碼之區塊而獲得的子區塊中，使用兩個預測圖像及兩個梯度圖像來導出局部運動估計值；以及使用兩個預測圖像、兩個梯度圖像以及子區塊之局部運動估計值來產生待寫碼之區塊的最終預測圖像。
12.一種用於使用框間預測來解碼圖片中之待解碼之區塊的解碼器，該解碼器包含：處理器，以及記憶體；該處理器使用該記憶體來執行以下步驟：藉由使用對應於兩個參考圖片中之各者的運動向量來執行運動補償而自兩個參考圖片獲取兩個預測圖像；自兩個參考圖片獲取對應於兩個預測圖像之兩個梯度圖像；在藉由劃分待解碼之區塊而獲得的子區塊中，使用兩個預測圖像及兩個梯度圖像來導出局部運動估計值；以及使用兩個預測圖像、兩個梯度圖像以及子區塊之局部運動估計值來產生待解碼之區塊的最終預測圖像。
13.如表述12之解碼器，其中當要在獲取兩個預測圖像中以子像素精度獲得兩個預測圖像時，藉由參考在兩個參考圖片中之各者中的由運動向量所指示之預測區塊周圍之內插參考範圍中的像素來以子像素精度對像素進行內插，該內插參考範圍被包括於普通參考範圍中，該普通參考範圍經參考為了要在使用局部運動估計值執行處理之普通框間預測中對待解碼之區塊執行運動補償。
14.如表述13之解碼器，其中該內插範圍匹配該普通參考範圍。
15.如表述13或14之解碼器，其中在獲 取兩個梯度圖像時參考在兩個參考圖片中之各者中之預測區塊周圍的梯度參考範圍中的像素，且其中該梯度參考範圍被包括於該內插參考範圍中。
16.如表述15之解碼器，其中該梯度參考範圍匹配該內插參考範圍。
17.如表述12至16中任一項之解碼器，其中被包括於對應於兩個參考圖片中之各者中之子區塊的區域中之預測子區塊中的像素之值經加權且被用於導出局部運動估計值，且其中此等像素當中被定位於該區域之中心處的像素係用高於被用在該區域之中心外部的那些像素之值的值來進行加權。
18.如表述17之解碼器，其中在導出局部運動估計值時，除了對應於兩個參考圖片中之各者中之子區塊的區域中之預測子區塊中的像素以外，還參考被包括於由運動向量所指示之預測區塊中的另一預測子區塊中之像素，該另一預測子區塊係鄰近於該預測子區塊。
19.如表述17至18中任一項之解碼器，其中在導出局部運動估計值時僅參考兩個參考圖片中之各者中的對應於子區塊之區域中的預測子區塊中之一些像素。
20.如表述19之解碼器，其中處理器自位元串流獲得指示選定像素圖案之資訊，且在導出局部運動估計值時，(i)在兩個參考圖片中之各者中基於所獲得之資訊自指 示預測子區塊中之一些像素的多個像素圖案選出一像素圖案，該等像素圖案係彼此不同，且(ii)參考指示選定像素圖案之預測子區塊中的像素以導出用於子區塊之局部運動估計值。
21.如表述19之解碼器，其中在導出局部運動估計值時，(i)基於兩個參考圖片中之各者中的兩個預測圖像自指示預測子區塊中之一些像素的多個像素圖案自適應地選出一像素圖案，該等像素圖案係彼此不同，且(ii)參考指示選定像素圖案之預測子區塊中的像素以導出用於子區塊之局部運動估計值。
22.一種用於使用框間預測來解碼圖片中之待解碼之區塊的解碼方法，該解碼方法包含以下步驟：藉由使用對應於兩個參考圖片中之各者的運動向量來執行運動補償而自兩個參考圖片獲取兩個預測圖像；自兩個參考圖片獲取對應於兩個預測圖像之兩個梯度圖像；在藉由劃分待解碼之區塊而獲得的子區塊中，使用兩個預測圖像及兩個梯度圖像來導出局部運動估計值；以及使用兩個預測圖像、兩個梯度圖像以及子區塊之局部運動估計值來產生待解碼之區塊的最終預測圖像。
23.一種圖像編碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統； 其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊計算至少一梯度；以及使用所計算之至少該梯度來編碼當前區塊。
24.如請求項23之圖像編碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之預測程序中的預測區塊，其中預測模式係合併模式或框間預測模式。
25.如請求項23之圖像編碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之運動補償程序中的參考區塊，其中預測模式係合併模式或框間預測模式。
26.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：填補預測樣本之第一區塊的至少兩側以形成預測樣本之第二區塊，其中第一區塊之至少兩側不正交。
27.如請求項23之圖像編碼器，其中在計算至少一梯度時，該電路系統執行以下步驟：將梯度濾波器應用於預測樣本之第二區塊以產生至少一差分值。
28.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：鏡像處理第一區塊之預測樣本以形成預測樣本之第二區塊。
29.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：複製第一區塊之預測樣本以形成預測樣本之第二區塊。
30.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：將固定值填補至預測樣本之第一區塊以形成預測樣本之第二區塊，其中該固定值可能係0、128、正整數、預測樣本之第一區塊的平均值或預測樣本之第一區塊的中位值。
31.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：對預測樣本之第一區塊執行函數以形成預測樣本之第二區塊。
32.如請求項23之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該 電路系統執行以下步驟：組合鏡像處理、複製、填補固定值及對預測樣本之第一區塊執行函數中之至少兩者以形成預測樣本之第二區塊。
33.如請求項23之圖像編碼器，其中在預測用於圖片之當前區塊的預測樣本之第一區塊時，該電路系統進一步執行以下步驟：預測用於圖片之當前區塊的預測樣本之另一區塊，其中預測預測樣本之另一區塊至少包括使用來自另一不同圖片之另一運動向量的預測程序。
34.如請求項33之圖像編碼器，其中另一不同圖片具有不同於不同圖片之圖片次序計數及/或圖片之圖片次序計數的一圖片次序計數。
35.如請求項34之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統進一步執行以下步驟：填補預測樣本之另一區塊以形成預測樣本之又一區塊。
36.如請求項23之圖像編碼器，其中在該電路系統填補預測樣本之第一區塊以形成預測樣本之第二區塊之後，該電路系統針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
37.如請求項23之圖像編碼器，其中在該電路系統填補預測樣本之第一區塊以形成預測樣本之第二 區塊之前，該電路系統針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
38.如請求項23之圖像編碼器，其中在使用所計算之至少該梯度來編碼當前區塊時，該電路系統執行以下步驟：使用藉由內插程序產生之預測樣本的所得區塊及至少所計算之梯度來編碼當前區塊。
39.如請求項38之圖像編碼器，其中在計算至少該梯度時，該電路系統執行以下步驟：將一或多個梯度濾波器應用於藉由內插程序產生之預測樣本之所得區塊以產生一或多個差分值。
40.一種圖像編碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊來執行內插程序；以及至少使用內插程序之所得區塊來編碼當前區塊。
41.如請求項40之圖像編碼器，其中該電路系統在操作中執行以下步驟： 執行用於預測當前區塊之一或多個相鄰區塊的重疊區塊運動補償程序，其中重疊區塊運動補償程序至少使用內插程序之所得區塊。
42.如請求項40之圖像編碼器，其中當該電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的兩側之樣本，其中第一區塊之兩側彼此平行。
43.如請求項40之圖像編碼器，其中當該電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的多於兩側之樣本。
44.一種圖像編碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第二區塊以形成預測樣本之第三區塊，其中第二區塊相鄰於當前區塊；至少使用預測樣本之第一區塊及第三區塊執行重疊區塊運動補償程序；以及至少使用重疊區塊運動補償程序之所得區塊來編碼當 前區塊。
45.一種圖像編碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之第一運動向量的預測程序；藉由動態運動向量再新(DMVR)程序至少使用第一運動向量導出用於當前區塊之第二運動向量；使用第二運動向量對當前區塊執行內插程序，其中內插程序包括填補程序；以及至少使用內插程序之所得區塊來編碼當前區塊。
46.如請求項45之圖像編碼器，其中在對當前區塊執行內插程序時，該電路系統經組配以執行以下步驟：根據第二運動向量將預測樣本之第一區塊填補成預測樣本之第二區塊；以及至少使用預測樣本之第二區塊執行內插程序。
47.如請求項46之圖像編碼器，其中在將預測樣本之第一區塊填補成預測樣本之第二區塊時，該電路系統經組配以根據第二運動向量填補預測樣本之第一區塊的一或多個側面。
48.如請求項45之圖像編碼器，其中在使 用DMVR程序導出第二運動向量時，該電路系統經組配以根據第一運動向量對預測樣本之第一區塊執行填補程序。
49.一種圖像編碼器，其包含：分裂器，其在操作中接收原始圖片且將原始圖片分裂成區塊，第一加法器，其在操作中接收來自分裂器之區塊及來自預測控制器之預測，且自其對應區塊減去各預測以輸出殘餘，變換器，其在操作中對自加法器輸出之殘餘執行變換以輸出變換係數，量化器，其在操作中量化變換係數以產生經量化變換係數，熵編碼器，其在操作中編碼經量化變換係數以產生位元串流，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，第二加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經編碼參考圖片中之參考區塊產生當前區塊之預測，其中在基於經編碼參考圖片中之參考區塊產生當前區 塊之預測時，該框間預測器執行：預測用於當前區塊之預測樣本的第一區塊，其中預測預測樣本之第一區塊至少包括使用來自經編碼參考圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊計算至少一梯度；以及使用所計算之至少該梯度來編碼當前區塊。
50.如請求項49之圖像編碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之預測程序中的預測區塊，其中預測模式係合併模式或框間預測模式。
51.如請求項49之圖像編碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之運動補償程序中的參考區塊，其中預測模式係合併模式或框間預測模式。
52.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：填補預測樣本之第一區塊的至少兩側以形成預測樣本之第二區塊，其中第一區塊之至少兩側不正交。
53.如請求項49之圖像編碼器，其中在計算至少一梯度時，該框間預測器執行以下步驟：將梯度濾波器應用於預測樣本之第二區塊以產生至少一差分值。
54.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：鏡像處理第一區塊之預測樣本以形成預測樣本之第二區塊。
55.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：複製第一區塊之預測樣本以形成預測樣本之第二區塊。
56.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：將固定值填補至預測樣本之第一區塊以形成預測樣本之第二區塊，其中該固定值可能係0、128、正整數、預測樣本之第一區塊的平均值或預測樣本之第一區塊的中位值。
57.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：對預測樣本之第一區塊執行函數以形成預測樣本之第二區塊。
58.如請求項49之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該 框間預測器執行以下步驟：組合鏡像處理、複製、填補固定值及對預測樣本之第一區塊執行函數中之至少兩者以形成預測樣本之第二區塊。
59.如請求項49之圖像編碼器，其中在預測用於圖片之當前區塊的預測樣本之第一區塊時，該框間預測器進一步執行以下步驟：預測用於當前區塊的預測樣本之另一區塊，其中預測預測樣本之另一區塊至少包括使用來自另一經編碼參考圖片之另一運動向量的預測程序。
60.如請求項59之圖像編碼器，其中另一經編碼參考圖片具有不同於經編碼參考圖片之圖片次序計數及/或原始圖片之圖片次序計數的一圖片次序計數。
61.如請求項60之圖像編碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器進一步執行以下步驟：填補預測樣本之另一區塊以形成預測樣本之又一區塊。
62.如請求項49之圖像編碼器，其中在該框間預測器填補預測樣本之第一區塊以形成預測樣本之第二區塊之後，該框間預測器針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
63.如請求項49之圖像編碼器，其中在該框間預測器填補預測樣本之第一區塊以形成預測樣本之第 二區塊之前，該框間預測器針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
64.如請求項49之圖像編碼器，其中在使用所計算之至少該梯度來編碼當前區塊時，該框間預測器執行以下步驟：使用藉由內插程序產生之預測樣本的所得區塊及至少所計算之梯度來編碼當前區塊。
65.如請求項64之圖像編碼器，其中在計算至少該梯度時，該框間預測器執行以下步驟：將一或多個梯度濾波器應用於藉由內插程序產生之預測樣本之所得區塊以產生一或多個差分值。
66.一種圖像編碼器，其包含：分裂器，其在操作中接收原始圖片且將原始圖片分裂成區塊，第一加法器，其在操作中接收來自分裂器之區塊及來自預測控制器之預測，且自其對應區塊減去各預測以輸出殘餘，變換器，其在操作中對自加法器輸出之殘餘執行變換以輸出變換係數，量化器，其在操作中量化變換係數以產生經量化變換係數，熵編碼器，其在操作中編碼經量化變換係數以產生位元串流，反量化器及反變換器，其在操作中反量化經量化變換 係數以獲得變換係數且反變換該等變換係數以獲得殘餘，第二加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經編碼參考圖片中之參考區塊產生當前區塊之預測，其中在基於經編碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊執行內插程序；以及至少使用內插程序之所得區塊來編碼當前區塊。
67.如請求項66之圖像編碼器，其中該框間預測器在操作中執行以下步驟：執行用於預測當前區塊之一或多個相鄰區塊的重疊區塊運動補償程序，其中重疊區塊運動補償程序至少使用內插程序之所得區塊。
68.如請求項66之圖像編碼器，其中當該框間預測器在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器經組配以執行以下步驟： 填補用於預測樣本之第一區塊的兩側之樣本，其中第一區塊之兩側彼此平行。
69.如請求項66之圖像編碼器，其中當該框間預測器在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器經組配以執行以下步驟：填補用於預測樣本之第一區塊的多於兩側之樣本。
70.一種圖像編碼器，其包含：分裂器，其在操作中接收原始圖片且將原始圖片分裂成區塊，第一加法器，其在操作中接收來自分裂器之區塊及來自預測控制器之預測，且自其對應區塊減去各預測以輸出殘餘，變換器，其在操作中對自加法器輸出之殘餘執行變換以輸出變換係數，量化器，其在操作中量化變換係數以產生經量化變換係數，熵編碼器，其在操作中編碼經量化變換係數以產生位元串流，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，第二加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中 該框間預測器在操作中基於經編碼參考圖片中之參考區塊產生當前區塊之預測，其中在基於經編碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第二區塊以形成預測樣本之第三區塊，其中第二區塊相鄰於當前區塊；至少使用預測樣本之第一區塊及第三區塊執行重疊區塊運動補償程序；以及至少使用重疊區塊運動補償程序之所得區塊來編碼當前區塊。
71.一種圖像編碼器，其包含：分裂器，其在操作中接收原始圖片且將原始圖片分裂成區塊，第一加法器，其在操作中接收來自分裂器之區塊及來自預測控制器之預測，且自其對應區塊減去各預測以輸出殘餘，變換器，其在操作中對自加法器輸出之殘餘執行變換以輸出變換係數，量化器，其在操作中量化變換係數以產生經量化變換係數，熵編碼器，其在操作中編碼經量化變換係數以產生位 元串流，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，第二加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經編碼參考圖片中之參考區塊產生當前區塊之預測，其中在基於經編碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之第一運動向量的預測程序；藉由動態運動向量再新(DMVR)程序至少使用第一運動向量導出用於當前區塊之第二運動向量；使用第二運動向量對當前區塊執行內插程序，其中內插程序包括填補程序；以及至少使用內插程序之所得區塊來編碼當前區塊。
72.如請求項71之圖像編碼器，其中在對當前區塊執行內插程序時，該框間預測器經組配以執行以下步驟：根據第二運動向量將預測樣本之第一區塊填補成預測樣本之第二區塊；以及 至少使用預測樣本之第二區塊執行內插程序。
73.如請求項72之圖像編碼器，其中在將預測樣本之第一區塊填補成預測樣本之第二區塊時，該框間預測器經組配以根據第二運動向量填補預測樣本之第一區塊的一或多個側面。
74.如請求項71之圖像編碼器，其中在使用DMVR程序導出第二運動向量時，該框間預測器經組配以根據第一運動向量對預測樣本之第一區塊執行填補程序。
75.一種圖像解碼器，其包含：電路系統；記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊計算至少一梯度；以及使用所計算之至少該梯度來解碼當前區塊。
76.如請求項75之圖像解碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之預測程序中的預測區塊，其中預測模式係合併模式或框間預測模式。
77.如請求項75之圖像解碼器，其中預測 樣本之第一區塊係用於針對預測模式而執行之運動補償程序中的參考區塊，其中預測模式係合併模式或框間預測模式。
78.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：填補預測樣本之第一區塊的至少兩側以形成預測樣本之第二區塊，其中第一區塊之至少兩側不正交。
79.如請求項75之圖像解碼器，其中在計算至少一梯度時，該電路系統執行以下步驟：將梯度濾波器應用於預測樣本之第二區塊以產生至少一差分值。
80.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：鏡像處理第一區塊之預測樣本以形成預測樣本之第二區塊。
81.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：複製第一區塊之預測樣本以形成預測樣本之第二區塊。
82.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該 電路系統執行以下步驟：將固定值填補至預測樣本之第一區塊以形成預測樣本之第二區塊，其中該固定值可能係0、128、正整數、預測樣本之第一區塊的平均值或預測樣本之第一區塊的中位值。
83.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：對預測樣本之第一區塊執行函數以形成預測樣本之第二區塊。
84.如請求項75之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統執行以下步驟：組合鏡像處理、複製、填補固定值及對預測樣本之第一區塊執行函數中之至少兩者以形成預測樣本之第二區塊。
85.如請求項75之圖像解碼器，其中在預測用於圖片之當前區塊的預測樣本之第一區塊時，該電路系統進一步執行以下步驟：預測用於圖片之當前區塊的預測樣本之另一區塊，其中預測預測樣本之另一區塊至少包括使用來自另一不同圖片之另一運動向量的預測程序。
86.如請求項85之圖像解碼器，其中另一不同圖片具有不同於不同圖片之圖片次序計數及/或圖片 之圖片次序計數的一圖片次序計數。
87.如請求項86之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統進一步執行以下步驟：填補預測樣本之另一區塊以形成預測樣本之又一區塊。
88.如請求項75之圖像解碼器，其中在該電路系統填補預測樣本之第一區塊以形成預測樣本之第二區塊之後，該電路系統針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
89.如請求項75之圖像解碼器，其中在該電路系統填補預測樣本之第一區塊以形成預測樣本之第二區塊之前，該電路系統針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
90.如請求項75之圖像解碼器，其中在使用所計算之至少該梯度來編碼當前區塊時，該電路系統執行以下步驟：使用藉由內插程序產生之預測樣本的所得區塊及至少所計算之梯度來解碼當前區塊。
91.如請求項90之圖像解碼器，其中在計算至少該梯度時，該電路系統執行以下步驟：將一或多個梯度濾波器應用於藉由內插程序產生之預測樣本之所得區塊以產生一或多個差分值。
92.一種圖像解碼器，其包含： 電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊執行內插程序；以及至少使用內插程序之所得區塊來解碼當前區塊。
93.如請求項92之圖像解碼器，其中該電路系統在操作中執行以下步驟：執行用於預測當前區塊之一或多個相鄰區塊的重疊區塊運動補償程序，其中重疊區塊運動補償程序至少使用內插程序之所得區塊。
94.如請求項92之圖像解碼器，其中當該電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的兩側之樣本，其中第一區塊之兩側彼此平行。
95.如請求項92之圖像解碼器，其中當該電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的多於兩側之樣本。
96.一種圖像解碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第二區塊以形成預測樣本之第三區塊，其中第二區塊相鄰於當前區塊；至少使用預測樣本之第一區塊及第三區塊執行重疊區塊運動補償程序；以及至少使用重疊區塊運動補償程序之至少一所得區塊來解碼當前區塊。
97.一種圖像解碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之第一運動向量的預測程序；藉由動態運動向量再新(DMVR)程序至少使用第一運動向量導出用於當前區塊之第二運動向量；使用第二運動向量對當前區塊執行內插程序，其中內插程序包括填補程序；以及 至少使用內插程序之所得區塊來解碼當前區塊。
98.如請求項97之圖像解碼器，其中在對當前區塊執行內插程序時，該電路系統經組配以執行以下步驟：根據第二運動向量將預測樣本之第一區塊填補成預測樣本之第二區塊；以及至少使用預測樣本之第二區塊執行內插程序。
99.如請求項98之圖像解碼器，其中在將預測樣本之第一區塊填補成預測樣本之第二區塊時，該電路系統經組配以根據第二運動向量填補預測樣本之第一區塊的一或多個側面。
100.如請求項97之圖像解碼器，其中在使用DMVR程序導出第二運動向量時，該電路系統經組配以根據第一運動向量對預測樣本之第一區塊執行填補程序。
101.一種圖像解碼器，其包含：熵解碼器，其在操作中接收且解碼經編碼位元串流以獲得經量化變換係數，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經解碼參考圖片中之參考區塊 產生圖片之當前區塊的預測，其中在基於經解碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於當前區塊之預測樣本的第一區塊，其中預測預測樣本之第一區塊至少包括使用來自經解碼參考圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊計算至少一梯度；以及使用所計算之至少該梯度來解碼當前區塊。
102.如請求項101之圖像解碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之預測程序中的預測區塊，其中預測模式係合併模式或框間預測模式。
103.如請求項101之圖像解碼器，其中預測樣本之第一區塊係用於針對預測模式而執行之運動補償程序中的參考區塊，其中預測模式係合併模式或框間預測模式。
104.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：填補預測樣本之第一區塊的至少兩側以形成預測樣本之第二區塊，其中第一區塊之至少兩側不正交。
105.如請求項101之圖像解碼器，其中在計算至少一梯度時該框間預測器執行以下步驟，該框間預 測器執行以下步驟：將梯度濾波器應用於預測樣本之第二區塊以產生至少一差分值。
106.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：鏡像處理第一區塊之預測樣本以形成預測樣本之第二區塊。
107.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：複製第一區塊之預測樣本以形成預測樣本之第二區塊。
108.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：將固定值填補至預測樣本之第一區塊以形成預測樣本之第二區塊，其中該固定值可能係0、128、正整數、預測樣本之第一區塊的平均值或預測樣本之第一區塊的中位值。
109.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：對預測樣本之第一區塊執行函數以形成預測樣本之第 二區塊。
110.如請求項101之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器執行以下步驟：組合鏡像處理、複製、填補固定值及對預測樣本之第一區塊執行函數中之至少兩者以形成預測樣本之第二區塊。
111.如請求項101之圖像解碼器，其中在預測用於圖片之當前區塊的預測樣本之第一區塊時，該框間預測器進一步執行以下步驟：預測用於當前區塊的預測樣本之另一區塊，其中預測預測樣本之另一區塊至少包括使用來自另一經解碼參考圖片之另一運動向量的預測程序。
112.如請求項111之圖像解碼器，其中另一經解碼參考圖片具有不同於經解碼參考圖片之圖片次序計數及/或圖片之圖片次序計數的一圖片次序計數。
113.如請求項112之圖像解碼器，其中在填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該框間預測器進一步執行以下步驟：填補預測樣本之另一區塊以形成預測樣本之又一區塊。
114.如請求項101之圖像解碼器，其中在框間預測器填補預測樣本之第一區塊以形成預測樣本之第二區塊之後，該框間預測器針對預測模式執行內插程序， 其中預測模式係合併模式或框間預測模式。
115.如請求項101之圖像解碼器，其中在框間預測器填補預測樣本之第一區塊以形成預測樣本之第二區塊之前，該框間預測器針對預測模式執行內插程序，其中預測模式係合併模式或框間預測模式。
116.如請求項101之圖像解碼器，其中在使用所計算之至少該梯度來解碼當前區塊時，該框間預測器執行以下步驟：使用藉由內插程序產生之預測樣本的所得區塊及至少所計算之梯度來解碼當前區塊。
117.如請求項116之圖像解碼器，其中在計算至少該梯度時，該框間預測器執行以下步驟：將一或多個梯度濾波器應用於藉由內插程序產生之預測樣本之所得區塊以產生一或多個差分值。
118.一種圖像解碼器，其包含：熵解碼器，其在操作中接收且解碼經編碼位元串流以獲得經量化變換係數，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經解碼參考圖片中之參考區塊產生圖片之當前區塊的預測， 其中在基於經解碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第一區塊以形成預測樣本之第二區塊，其中第二區塊大於第一區塊；使用預測樣本之第二區塊執行內插程序；以及至少使用內插程序之所得區塊來解碼當前區塊。
119.如請求項118之圖像解碼器，其中電路系統在操作中執行以下步驟：執行用於預測當前區塊之一或多個相鄰區塊的重疊區塊運動補償程序，其中重疊區塊運動補償程序至少使用內插程序之所得區塊。
120.如請求項118之圖像解碼器，其中當電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的兩側之樣本，其中第一區塊之兩側彼此平行。
121.如請求項118之圖像解碼器，其中當電路系統在操作中填補預測樣本之第一區塊以形成預測樣本之第二區塊時，該電路系統經組配以執行以下步驟：填補用於預測樣本之第一區塊的多於兩側之樣本。
122.一種圖像解碼器，其包含： 熵解碼器，其在操作中接收且解碼經編碼位元串流以獲得經量化變換係數，反量化器及反變換器，其在操作中反量化經量化變換係數以獲得變換係數且反變換該等變換係數以獲得殘餘，加法器，其在操作中將自反量化器及反變換器輸出之殘餘與自預測控制器輸出之預測相加以重建構區塊，以及該預測控制器，其耦接至框間預測器及記憶體，其中該框間預測器在操作中基於經解碼參考圖片中之參考區塊產生圖片之當前區塊的預測，其中在基於經解碼參考圖片中之參考區塊產生當前區塊之預測時，該框間預測器執行：預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之運動向量的預測程序；填補預測樣本之第二區塊以形成預測樣本之第三區塊，其中第二區塊相鄰於當前區塊；至少使用預測樣本之第一區塊及第三區塊執行重疊區塊運動補償程序；以及至少使用重疊區塊運動補償程序之至少一所得區塊來解碼當前區塊。
123.一種圖像解碼器，其包含：電路系統；以及記憶體，其耦接至該電路系統；其中該電路系統在操作中執行以下步驟： 預測用於圖片之當前區塊的預測樣本之第一區塊，其中預測預測樣本之第一區塊至少包括使用來自不同圖片之第一運動向量的預測程序；藉由動態運動向量再新(DMVR)程序至少使用第一運動向量導出用於當前區塊之第二運動向量；使用第二運動向量對當前區塊執行內插程序，其中內插程序包括填補程序；以及至少使用內插程序之所得區塊來解碼當前區塊。
124.如請求項123之圖像解碼器，其中在對當前區塊執行內插程序時，該電路系統經組配以執行以下步驟：根據第二運動向量將預測樣本之第一區塊填補成預測樣本之第二區塊；以及至少使用預測樣本之第二區塊執行內插程序。
125.如請求項124之圖像解碼器，其中在將預測樣本之第一區塊填補成預測樣本之第二區塊時，該電路系統經組配以根據第二運動向量填補預測樣本之第一區塊的一或多個側面。
126.如請求項123之圖像解碼器，其中在使用DMVR程序導出第二運動向量時，該電路系統經組配以根據第一運動向量對預測樣本之第一區塊執行填補程序。
127.一種圖像編碼方法，其包含使一圖像編碼器能夠執行如請求項1至48中任一項之步驟。
128.一種圖像解碼方法，其包含使一圖像解碼器能夠執行如請求項75至100中任一項之步驟。
[工業應用性]
舉例而言，本發明可被應用於電視接收器、數位視訊記錄器、汽車導航系統、行動電話、數位攝影機及數位視訊攝影機。
S101、S102、S103、S104、S105、S106、S107、S108、S109、S110、S111:步驟

Claims (2)

  1. 一種視訊編碼器，具備：記憶體；及連接於前述記憶體的電路，前述電路在操作中，運用包含於在當前區塊的編碼中被參考的參考圖片之樣本的值來進行內插程序，藉此產生相對於前述當前區塊的預測區塊，使用前述預測區塊來產生與前述預測區塊相同尺寸的梯度區塊，使用前述梯度區塊來產生預測圖像，前述預測圖像是相對於前述當前區塊的最終預測圖像，根據前述預測圖像來編碼前述當前區塊，前述梯度區塊的產生包含計算梯度值的程序，前述計算梯度值的程序指示下方樣本的值與上方樣本的值的差，前述下方樣本鄰接於前述預測區塊所含之目標樣本之位置的下方，前述上方樣本鄰接於前述目標樣本的上方，位於前述梯度區塊內之上端的第1梯度值是使用前述預測區塊中的與前述第1梯度值相同位置之第1樣本的值作為前述上方樣本而計算出，鄰接於前述第1梯度值的位置的下方之第2梯度值是使用前述第1樣本的值作為前述上方樣本而計算出。
  2. 一種視訊解碼器，具備：記憶體；及 連接於前述記憶體的電路，前述電路在操作中，運用包含於在當前區塊的解碼中被參考的參考圖片之樣本的值來進行內插程序，藉此產生相對於前述當前區塊的預測區塊，使用前述預測區塊來產生與前述預測區塊相同尺寸的梯度區塊，使用前述梯度區塊來產生預測圖像，前述預測圖像是相對於前述當前區塊的最終預測圖像，根據前述預測圖像來解碼前述當前區塊，前述梯度區塊的產生包含計算梯度值的程序，前述計算梯度值的程序指示下方樣本的值與上方樣本的值的差，前述下方樣本鄰接於前述預測區塊所含之目標樣本之位置的下方，前述上方樣本鄰接於前述目標樣本的上方，位於前述梯度區塊內之上端的第1梯度值是使用前述預測區塊中的與前述第1梯度值相同位置之第1樣本的值作為前述上方樣本而計算出，鄰接於前述第1梯度值的位置的下方之第2梯度值是使用前述第1樣本的值作為前述上方樣本而計算出。
TW107143950A 2017-12-08 2018-12-06 視訊編碼器及視訊解碼器 TWI814755B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762596396P 2017-12-08 2017-12-08
US62/596,396 2017-12-08
SG10201807934T 2018-09-13
SG10201807934T 2018-09-13

Publications (2)

Publication Number Publication Date
TW201926989A TW201926989A (zh) 2019-07-01
TWI814755B true TWI814755B (zh) 2023-09-11

Family

ID=66749901

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107143950A TWI814755B (zh) 2017-12-08 2018-12-06 視訊編碼器及視訊解碼器
TW112131501A TW202349945A (zh) 2017-12-08 2018-12-06 圖像編碼器及圖像解碼器

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112131501A TW202349945A (zh) 2017-12-08 2018-12-06 圖像編碼器及圖像解碼器

Country Status (8)

Country Link
US (3) US11218717B2 (zh)
JP (3) JP7046186B2 (zh)
KR (3) KR102694426B1 (zh)
CN (4) CN111713110B (zh)
BR (1) BR112020010935A2 (zh)
MX (2) MX2020005757A (zh)
TW (2) TWI814755B (zh)
WO (1) WO2019111835A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11641488B2 (en) * 2017-11-01 2023-05-02 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
CN117956191A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
JP7195073B2 (ja) * 2018-07-10 2022-12-23 古野電気株式会社 グラフ生成装置
US11146800B2 (en) * 2018-09-24 2021-10-12 Tencent America LLC Low latency local illumination compensation
WO2020258052A1 (zh) * 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 图像分量预测方法、装置及计算机存储介质
WO2021071145A1 (ko) * 2019-10-06 2021-04-15 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
TWI768364B (zh) 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
US11689715B2 (en) * 2020-09-28 2023-06-27 Tencent America LLC Non-directional intra prediction for L-shape partitions
CN113155288B (zh) * 2020-11-30 2022-09-06 齐鲁工业大学 一种光伏电池热斑的图像识别方法
CN112927353B (zh) * 2021-02-25 2023-05-19 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
WO2022262693A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023277755A1 (en) * 2021-06-30 2023-01-05 Telefonaktiebolaget Lm Ericsson (Publ) Selective subblock-based motion refinement
CN117546466A (zh) * 2021-06-30 2024-02-09 瑞典爱立信有限公司 重叠解码器侧运动细化
CN116341689B (zh) * 2023-03-22 2024-02-06 深圳大学 机器学习模型的训练方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192825A1 (en) * 2007-02-14 2008-08-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus using residual resizing
US20130114708A1 (en) * 2011-11-04 2013-05-09 Qualcomm Incorporated Secondary boundary filtering for video coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
US8559512B2 (en) * 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
ES2869204T3 (es) * 2011-06-24 2021-10-25 Mitsubishi Electric Corp Dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes, método de codificación de imágenes, método de decodificación de imágenes
EP2777284B1 (en) * 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
KR20140089486A (ko) 2013-01-04 2014-07-15 삼성전자주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
KR20140124441A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 엣지 방향 보간을 이용한 비디오 부호화/복호화 방법 및 장치
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
KR20170078682A (ko) * 2014-11-04 2017-07-07 삼성전자주식회사 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
CN116962721A (zh) 2016-05-04 2023-10-27 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测的方法
WO2017195554A1 (ja) * 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
CN110115032B (zh) * 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
WO2018230493A1 (ja) 2017-06-14 2018-12-20 シャープ株式会社 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192825A1 (en) * 2007-02-14 2008-08-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus using residual resizing
US20130114708A1 (en) * 2011-11-04 2013-05-09 Qualcomm Incorporated Secondary boundary filtering for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Jianle Chen, Algorithm Description of Joint Exploration Test Model 7 (JEM 7), Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Document: JVET-G1001-v1, 7th Meeting: Torino, IT, 13–21 July 2017, retrieved from https://mpeg.chiariglione.org/standards/mpeg-i/versatile-video-coding *

Also Published As

Publication number Publication date
MX2020005757A (es) 2020-08-20
KR102694426B1 (ko) 2024-08-13
JP7562760B2 (ja) 2024-10-07
US20220086476A1 (en) 2022-03-17
US20200304827A1 (en) 2020-09-24
US20230171423A1 (en) 2023-06-01
WO2019111835A1 (en) 2019-06-13
MX2023011455A (es) 2023-10-18
CN118741150A (zh) 2024-10-01
TW202349945A (zh) 2023-12-16
JP7286832B2 (ja) 2023-06-05
BR112020010935A2 (pt) 2020-11-17
JP7046186B2 (ja) 2022-04-01
KR20240125065A (ko) 2024-08-19
KR20200096917A (ko) 2020-08-14
CN118741152A (zh) 2024-10-01
CN111713110B (zh) 2024-08-23
CN118741151A (zh) 2024-10-01
US11601669B2 (en) 2023-03-07
TW201926989A (zh) 2019-07-01
JP2022082608A (ja) 2022-06-02
KR102625609B1 (ko) 2024-01-16
US12063383B2 (en) 2024-08-13
JP2023099740A (ja) 2023-07-13
CN111713110A (zh) 2020-09-25
US11218717B2 (en) 2022-01-04
JP2021506178A (ja) 2021-02-18
KR20240011241A (ko) 2024-01-25

Similar Documents

Publication Publication Date Title
TWI814755B (zh) 視訊編碼器及視訊解碼器
JP7364752B2 (ja) 復号方法及び符号化方法
JP2023159390A (ja) 符号化装置及び復号装置
TWI838995B (zh) 圖像解碼裝置及解碼方法
JP7375113B2 (ja) 符号化装置及び復号装置
KR20220009385A (ko) 비디오 코딩을 위한 시스템 및 방법
JP2023126387A (ja) 符号化装置及び符号化方法
KR20220024008A (ko) 비디오 코딩 시스템 및 방법
TWI854443B (zh) 編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體
TW202418802A (zh) 編碼裝置、解碼裝置及非暫時性記憶媒體