TW202015403A

TW202015403A - 視訊編碼和解碼

Info

Publication number: TW202015403A
Application number: TW108134043A
Authority: TW
Inventors: 吉羅姆拉契; 克里斯托吉克; 派翠斯昂諾; 喬納森泰格特
Original assignee: 日商佳能股份有限公司
Priority date: 2018-09-21
Filing date: 2019-09-20
Publication date: 2020-04-16
Also published as: CN112740696A; GB201815444D0; US20220360804A1; TWI815969B; KR20220028162A; JP2023065581A; US12058360B2; GB2577318A; TW202402049A; JP2022501870A; JP7530465B2; KR102408765B1; GB2577318B; KR20210056431A; US20220053204A1; US12034953B2; WO2020058371A1; EP3854094A1

Abstract

本發明係有關於告知一已編碼視訊流中之仿射模式；特別是判定相應於鄰接一目前區塊之區塊的合併候選者之一列表；及針對該目前區塊告知仿射模式；其中告知該仿射模式包含從該資料流解碼一背景已編碼旗標，及其中該旗標之該背景變數係基於該等相鄰區塊是否使用仿射模式來判定。亦揭露相關的編碼和解碼方法及裝置。

Description

視訊編碼和解碼

本發明係有關於視訊編碼和解碼。

近來，聯合視訊專家小組(JVET)(由MPEG及ITU-T研究群組16之VCEG所形成的合作小組)開始對於稱為多樣視訊編碼(VVC)的新視訊編碼標準工作。VVC之目標是提供在壓縮效能上超越現存HEVC標準之顯著增進(亦即，通常為之前的兩倍之多)且被完成於2020。主要目標應用及服務包括─但不限定於─360度且高動態範圍(HDR)視訊。總之，JVET係使用由獨立測試實驗室所執行的正式主觀測試以評估來自32個組織之回應。一些提議係展示通常為40%或更多(當相較於使用HEVC時)的壓縮效率增益。特別有效性被顯示於超高解析度(UHD)視訊測試材料上。因此，我們可預期顯著超越最終標準之目標50%的壓縮效能增益。 JVET探索模型(JEM)係使用所有HEVC工具。不存在HEVC中之進一步工具係使用「仿射移動模式」，當應用移動補償時。HEVC中之移動補償被限制於變換，但實際上有許多種移動，例如，放大/縮小、旋轉、透視移動及其他不規則移動。當利用仿射移動模式時，更複雜的變換被應用至區塊以嘗試更準確地預測此類形式的移動。然而，仿射移動模式之使用可能加諸編碼/解碼程序之複雜度且亦可能加諸信號負擔。因此，針對上述問題之至少一個的解決方式是理想的。

在本發明之一第一形態中，有提供一種針對一位元流之一部分告知一移動預測模式之方法，該方法包含：判定一用於該位元流之該部分的間預測模式；根據用於該位元流之該部分的該間預測模式以告知仿射移動模式。選擇性地，所使用的該間預測模式係基於該位元流之該部分中的一跳躍旗標之狀態來判定。選擇性地，假如該跳躍旗標存在則仿射模式不被致能。選擇性地，該方法進一步包含當該仿射模式被致能時致能合併模式。選擇性地，假如該間預測模式為先進移動向量預測(AMVP)的話則仿射模式被致能。選擇性地，該判定係基於一高階語法旗標來履行，其中該高階語法旗標係指示以下至少一者的處理：切片階、框階、序列階、及編碼樹單元(CTU)階。選擇性地，判定間預測模式包含判定鄰接一目前區塊之一或更多區塊的一模式。在本發明之一第二形態中，有提供一種告知一位元流中之一移動預測模式的方法，該方法包含：判定一目前區塊之一或更多相鄰區塊的一模式；及根據該模式，告知該目前區塊之仿射移動模式。選擇性地，該等相鄰區塊僅由區塊A1及B1組成。替代地，該等相鄰區塊包含區塊A2及B3；較佳地僅由區塊A2及B3組成。選擇性地，該方法包含假如該等相鄰區塊之一者或兩者使用仿射移動模式的話則致能仿射移動模式。選擇性地，該等相鄰區塊進一步包含B0、A0及B2。選擇性地，該相鄰區塊中之仿射模式的該使用被連續地判定，且假如該等相鄰區塊之一使用仿射模式的話則針對該目前區塊致能仿射模式。較佳地，該等相鄰區塊之序列為A2、B3、B0、A0、B2。在本發明之一第三形態中，有提供一種針對一位元流之一部分告知一移動預測模式之方法，該方法包含：判定相應於鄰接一目前區塊之區塊的合併候選者之一列表；及假如該等合併候選者之一或更多者使用仿射模式的話則針對該目前區塊致能仿射模式。選擇性地，該列表開始以其已被用以判定相關於該區塊之一背景變數的該等區塊。選擇性地，該列表開始以依該順序的該等區塊A2及B3。選擇性地，該列表為依該順序的A2、B3、B0或A0或B2。選擇性地，假如該相鄰區塊不使用合併模式的話則針對該目前區塊致能仿射模式。選擇性地，假如該相鄰區塊不使用合併跳躍模式的話則針對該目前區塊致能仿射模式。選擇性地，告知一仿射模式包含將一背景已編碼旗標插入該資料流中，及其中該旗標之該背景變數係基於相鄰區塊是否使用仿射模式來判定。在本發明之進一步形態中，有提供一種針對一位元流內所編碼之一區塊告知一移動預測模式之方法，該方法包含：判定鄰接該位元流內所編碼之該區塊的區塊是否使用仿射模式；及將一背景已編碼旗標插入該位元流中；其中該背景已編碼旗標之一背景變數係取決於該判定鄰接該位元流內所編碼之該區塊的區塊是否使用仿射模式。選擇性地，該等相鄰區塊包含區塊A1及B1。選擇性地，假如一移動預測模式所被致能之該區塊的該模式是合併模式的話，則該等相鄰區塊包含區塊A1及B1。選擇性地，該仿射旗標之該背景係依據以下式子來獲得：Ctx = IsAffine(A1) + IsAffine(B1)，其中Ctx為該仿射旗標之該背景變數而IsAffine為一函數，假如該區塊不是仿射區塊則該函數回覆0而假如該區塊是仿射則該函數回覆1。在本發明之一第四形態中，有提供一種針對一位元流內所編碼之一區塊告知一移動預測模式之方法，其係根據相鄰區塊是否使用合併模式及/或合併跳躍模式。在本發明之一第五形態中，有提供一種告知一位元流中之一移動預測模式的方法，該方法包含：編譯候選移動預測子之一列表；及將仿射合併模式插入為一合併候選者。選擇性地，該仿射合併模式候選者是在合併候選者之該列表中的相鄰區塊移動向量之後。選擇性地，該仿射合併模式候選者是在合併候選者之該列表中的一替代時間移動向量預測子(ATMVP)候選者之前。選擇性地，候選者之該列表中的仿射合併模式候選者之位置(合併指標)是固定的。選擇性地，候選者之該列表中的仿射合併模式候選者之該位置是可變的。選擇性地，該仿射合併模式候選者之該位置係基於以下之一或更多者來判定：a)一跳躍旗標之狀態；b)相鄰區塊之移動資訊；c)一替代時間移動向量預測子(ATMVP)候選者；及d)相鄰區塊是否使用仿射模式。選擇性地，該仿射合併模式被置於候選者之該列表中的較低處(被指派一較高的合併指標)，假如以下條件之一或更多者被滿足的話：a)一跳躍旗標存在；b)相鄰區塊之移動資訊相等；c)一ATMVP候選者僅含有一個移動資訊；及d)多於一個相鄰區塊使用仿射模式。選擇性地，該等相鄰區塊包含區塊A1及B1。選擇性地，該仿射合併模式被置於相比於一空間移動向量候選者在候選者之該列表中的較低處(被指派一較高的合併指標)，假如以上條件a)–d)之一或更多者被滿足的話。選擇性地，該仿射合併模式被置於相比於一時間移動向量候選者的較低處(被指派一較高的合併指標)，假如以上條件a)–d)之一或更多者被滿足的話。選擇性地，該仿射合併模式被指派一合併指標，其係相關於其使用仿射模式之相鄰區塊的數目數。選擇性地，該仿射合併模式被指派一合併指標，其係等於5減去其使用五個A1、B1、B0、A0、B2中的仿射模式之相鄰區塊的數量。在本發明之另一形態中，有提供一種告知一位元流中之一仿射移動模式的方法，該方法包含：判定仿射模式被用於一目前區塊的可能性；編譯候選移動預測子之一列表；根據該判定仿射模式用於該目前區塊的可能性以將仿射合併模式插入為一合併候選者。選擇性地，該可能性係基於以下之至少一者來判定：a)一跳躍旗標之狀態；b)相鄰區塊之移動資訊；及c)一ATMVP候選者。選擇性地，假如以下條件之一或更多者被滿足的話則仿射合併模式不被插入為一合併候選者：a)一跳躍旗標之狀態；b)相鄰區塊之移動資訊相等；及c)一ATMVP候選者僅含有一個移動資訊。選擇性地，該等相鄰區塊包含區塊A1及B1。選擇性地，仿射模式係根據一用以記錄相應於被編碼之該位元流的視訊之裝置的一特徵而被告知。本發明之形態提供對於編碼效率之增進及/或編碼複雜度之減少，相較於現存的編碼標準或提議。以此一方式，一種更有效率的、更快速的視訊編碼及/或解碼方法和系統被提供。本發明之進一步形態係有關於使用上述形態之任一者的方法之編碼和解碼方法。本發明之又進一步形態係有關於一種用以告知一位元流中之一仿射模式的使用之裝置，該位元流代表一已編碼視訊，如申請專利範圍第14項所界定。本發明之又進一步形態係有關於一種編碼器及一種解碼器，如個別地由申請專利範圍第17及18項所界定。本發明之又進一步形態係有關於一種程式，如由申請專利範圍第19項所界定。該程式可由本身所提供或者可由載體媒體所攜載或被攜載於載體媒體中。載體媒體可為非暫態，例如，儲存媒體，特別是電腦可讀取儲存媒體。載體媒體亦可為暫態，例如，信號或其他傳輸媒體。信號可經由任何適當網路來傳輸，包括網際網路。本發明之又進一步形態係有關於一種周邊裝置(諸如相機或行動裝置)，如由申請專利範圍第15及16項所界定。選擇性地，該相機進一步包含調焦機構且可被調適以指示該調焦機構何時操作並根據其該調焦機構正操作中之該指示以告知仿射模式。選擇性地，該相機進一步包含平移機構且可被調適以指示該平移機構何時操作並根據其該平移機構正操作中之該指示以告知仿射模式。選擇性地，該行動裝置進一步包含至少一位置感測器，被調適以感測該行動裝置之定向的改變且可被調適以根據該感測該行動裝置之定向的改變來告知仿射模式。本發明之進一步特徵係由其他獨立項及附屬項申請專利範圍所特徵化。本發明之一形態中的任何特徵可被應用至本發明之其他形態，於任何適當的組合中。特別地，方法形態可被應用至設備形態，而反之亦然。再者，硬體中所實施的特徵可被實施於軟體中，而反之亦然。對於文中之軟體及硬體特徵的任何參考應因此被建構。如文中所述之任何設備特徵亦可被提供為方法特徵，而反之亦然。如文中所使用，手段功能特徵可被替代地表達以其相應結構，諸如適當地編程的處理器及相關記憶體。亦應理解：在本發明之任何形態中所描述及定義的各種特徵之特定組合可被獨立地實施及/或供應及/或使用。

本發明係有關於仿射移動模式之改良的告知–特別是判定其中仿射模式很可能導致編碼效率之增進的情況並確保其仿射模式被使用及/或因此被優先化。圖1係相關於高效率視訊編碼(High Efficiency Video Coding (HEVC))視訊標準中所使用的編碼結構。視訊序列1係由一連串數位影像i所組成。各此等數位影像係由一或更多矩陣所表示。矩陣係數代表像素。該序列之影像2可被分割為切片3。切片可於某些例子中構成完整影像。這些切片被分割為無重疊編碼樹單元(CTU)。編碼樹單元(CTU)是高效率視訊編碼(HEVC)視訊標準之基本處理單元且觀念上其結構係相應於數種先前視訊標準中所使用的巨集區塊單元。CTU亦有時被稱為最大編碼單元(LCU)。CTU具有亮度及色度成分部分，其成分部分之各者被稱為編碼樹區塊(CTB)。這些不同顏色成分未顯示於圖1中。 CTU針對HEVC通常為大小64像素x 64像素，而針對VVC此大小可為128像素x128像素。各CTU可接著使用四元樹分解而被疊代地分割為較小的可變大小編碼單元(CU)5。編碼單元為基本編碼元件且係由稱為預測單元(PU)及變換單元(TU)之兩種子單元所構成。PU或TU之最大大小係等於CU大小。預測單元係相應於針對像素值之預測的CU之分割。CU之各種不同分割為PU是可能的(如圖所示)，藉由606分割為4個方形PU及兩不同的分割為2個矩形PU。變換單元為基本單元，其係接受使用DCT之空間變換。CU可根據四元樹表示607而被分割為TU。各切片被嵌入一個網路抽象化層(NAL)單元中。此外，視訊序列之編碼參數被儲存在專屬NAL單元(稱為參數集)中。在HEVC及H.264/AVC中，兩種參數集NAL單元被利用：第一，序列參數集(SPS)NAL單元，其係收集在整個視訊序列期間未改變的所有參數。通常，其係處置編碼輪廓、視訊框之大小及其他參數。第二，圖片參數集(PPS)NAL單元包括其可從一個影像(或框)改變至序列中之另一個的參數。HEVC亦包括視訊參數集(VPS)NAL單元，其含有描述位元流之整體結構的參數。VPS是一種以HEVC定義的新類型參數集，且應用於位元流之所有層。一層可含有多數時間子層，且所有版本1的位元流被限制於單一層。HEVC具有用於可擴縮性及多重視角之分層延伸，且這些將致能多數層，具有向後相容的版本1基礎層。圖2繪示一資料通訊系統，其中本發明之一或更多實施例可被實施。資料通訊系統包含傳輸裝置(於此情況下為伺服器201)，其可操作以經由資料通訊網路200而傳輸資料流之資料封包至接收裝置(於此情況下為客戶終端202)。資料通訊網路200可為廣域網路(WAN)或區域網路(LAN)。此一網路可為(例如)無線網路(Wifi / 802.11a或b或g)、乙太網路、網際網路或由數個不同網路所組成的混合網路。於本發明之特定實施例中，資料通訊系統可為數位電視廣播系統，其中伺服器201傳送相同的資料內容至多數客戶。由伺服器201所提供的資料流204可由其表示視訊及音訊資料之多媒體資料所組成。音訊及視訊資料流可(於本發明之一些實施例中)由伺服器201個別地使用麥克風及相機來擷取。於一些實施例中，資料流可被儲存在伺服器201上或者由伺服器201從另一資料提供器所接收、或者被產生在伺服器201上。伺服器201被提供有一用以編碼視訊及音訊流之編碼器，特別是用以提供用於傳輸之壓縮位元流，其為被提出為針對編碼器之輸入的資料之更簡潔的表示。為了獲得已傳輸資料之品質相對於已傳輸資料之量的較佳比例，視訊資料之壓縮可(例如)依據HEVC格式或H.264/AVC格式。客戶202接收已傳輸位元流並解碼已重建位元流以將視訊影像再生於顯示裝置上並由揚聲器再生音訊資料。雖然串流情境被考量於圖2之範例中，但應理解：於本發明之一些實施例中，介於編碼器與解碼器之間的資料通訊可使用媒體儲存裝置(諸如光碟)來履行。於本發明之一或更多實施例中，視訊影像被傳輸以其代表補償偏移之資料以利應用於影像之已重建像素來提供已過濾像素於最終影像中。圖3概略地繪示處理裝置300，其係組態成實施本發明之至少一實施例。處理裝置300可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。裝置300包含一連接至以下的通訊匯流排313： - 中央處理單元311，諸如微處理器，標示為CPU； - 唯讀記憶體306，標示為ROM，用以儲存供實施本發明之電腦程式； - 隨機存取記憶體312，標示為RAM，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，調適成記錄用以實施編碼數位影像的序列之方法及/或解碼位元流之方法所需的變數和參數，依據本發明之實施例；及 - 通訊介面302，連接至通訊網路303，待處理數位資料係透過該通訊網路來傳輸或接收。選擇性地，設備300亦可包括以下組件： - 資料儲存機構304(諸如硬碟)，用以儲存電腦程式及資料，該等電腦程式係用以實施本發明之一或更多實施例的方法，該資料係在本發明之一或更多實施例的實施期間所使用或產生的； - 碟片306之碟片驅動305，該碟片驅動被調適成從碟片306讀取資料或將資料寫至該碟片上； - 螢幕309，用以顯示資料及/或作用為與使用者之圖形介面，藉由鍵盤310或任何其他指針機構。設備300可被連接至各種周邊，諸如(例如)數位相機320或麥克風308，各被連接至輸入/輸出卡(未顯示)以供應多媒體資料至設備300。通訊匯流排提供介於設備300中所包括的或連接至該設備300的各個元件之間的通訊及可交互操作性。匯流排之表示是非限制性的；且特別地，中央處理單元可操作以將指令傳遞至設備300之任何元件，直接地或者藉由設備300之另一元件。碟片306可被取代以任何資訊媒體，諸如(例如)光碟(CD-ROM)(可寫入或不可寫入)、ZIP碟或記憶卡；及(以一般性術語)藉由資訊儲存機構，其可由微電腦或由微處理器所讀取、被集成(或不集成)入該設備、可能為可移除的且調適成儲存一或更多程式，該等程式的執行係致能編碼數位影像之序列的方法及/或解碼位元流的方法，依據待實施之本發明。可執行碼可被儲存於唯讀記憶體306中、於硬碟304上或者於可移除數位媒體(諸如，例如碟片306，如先前所述)上。依據變體，程式之可執行碼可藉由通訊網路303來接收，經由介面302，以被儲存於設備300(在被執行前)的儲存機構(諸如硬碟304)之一中。中央處理單元311係調適成依據本發明以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機時，其被儲存於非揮發性記憶體(例如在硬碟304上或者在唯讀記憶體306中)中之程式或多數程式被轉移入隨機存取記憶體312，其接著含有程式或多數程式之可執行碼、以及用以儲存供實施本發明所需之變數和參數的暫存器。於此實施例中，該設備為可編程設備，其係使用軟體以實施本發明。然而，替代地，本發明可被實施以硬體(例如，以特定應用積體電路或ASIC之形式)。圖4繪示一種依據本發明之至少一實施例的編碼器之方塊圖。編碼器係由已連接模組所表示，各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種方法之至少一相應步驟，該方法係依據本發明之一或更多實施例以實施編碼影像序列之影像的至少一實施例。數位影像i 0 至i n 401之原始序列係由編碼器400接收為輸入。各數位影像係由一組樣本(已知為像素)所表示。位元流410係由編碼器400所輸出，在編碼程序之實施後。位元流410包含複數編碼單元或切片，各切片包含切片標頭及切片本體，該切片標頭係用以傳輸其用來編碼該切片之編碼參數的編碼值，而該切片本體包含已編碼視訊資料。輸入數位影像i 0至i n 401係由模組402分割為像素之區塊。該等區塊係相應於影像部分且可有可變大小(例如，4x4、8x8、16x16、32x32、64x64、128x128像素且數個矩形區塊大小亦可被考量)。編碼模式係針對各輸入區塊來選擇。編碼模式之兩個家族被提供：根據空間預測編碼之編碼模式(內預測)、及根據時間預測之編碼模式(間編碼、合併、SKIP)。可能的編碼模式被測試。模組403係實施內預測程序，其中待編碼的既定區塊係藉由預測子來預測，該預測子係從待編碼的該區塊附近之像素所計算。選定的內預測子以及介於既定區塊與其預測子之間的差異之指示被編碼以提供殘餘，假如內編碼被選擇的話。時間預測係由移動估計模組404及移動補償模組405來實施。首先來自一組參考影像416中的參考影像被選擇，且該參考影像之一部分(亦稱為參考區域或影像部分，其為針對待編碼的既定區塊之最接近區域)係由移動估計模組404所選擇。移動補償模組405接著使用該選定區域以預測待編碼的區塊。介於選定參考區域與既定區塊(亦稱為殘餘區塊)之間的差異係由移動補償模組405所計算。選定參考區域係由移動向量所指示。因此，於兩情況(空間及時間預測)下，殘餘係藉由從原始區塊減去該預測來計算。於藉由模組403所實施的INTRA預測中，預測方向被編碼。於時間預測中，至少一移動向量被編碼。相對於移動向量及殘餘區塊之資訊被編碼，假如間預測被選擇的話。為了進一步減少位元率，假設其移動為同質的，則移動向量係藉由相關於移動向量預測子之差異而被編碼。一組移動資訊預測子之移動向量預測子係由移動向量預測及編碼模組417從移動向量場418獲得。編碼器400進一步包含選擇模組406，用於藉由應用編碼成本準則(諸如率-失真準則)來選擇編碼模式。為了進一步減少冗餘，由變換模組407對殘餘區塊應用變換(諸如DCT)，所獲得的變換資料接著係藉由量化模組408而被量化且藉由熵編碼模組409而被熵編碼。最後，目前正被編碼之區塊的已編碼殘餘區塊被插入位元流410中。編碼器400亦履行已編碼影像之解碼以產生用於後續影像之移動估計的參考影像。此致能編碼器及解碼器接收位元流以具有相同的參考框。反量化模組411履行已量化資料之反量化，接續以藉由反變換模組412之反變換。反內預測模組413使用預測資訊以判定應使用哪個預測子於給定區塊，而反移動補償模組414實際地將其由模組412所獲得的殘餘加至從該組參考影像416所獲得的參考區域。接著由模組415應用後過濾以過濾像素之已重建框。於本發明之實施例中，SAO迴路過濾器被使用，其中補償偏移被加至已重建影像之已重建像素的像素值。圖5繪示其可被用以從編碼器接收資料的解碼器60之方塊圖，依據本發明之實施例。解碼器係由已連接模組所表示，各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種由解碼器60所實施之方法的相應步驟。解碼器60接收一包含編碼單元之位元流61，各編碼單元係由標頭及本體所組成，該標頭含有關於編碼參數之資訊而該本體含有已編碼視訊資料。如相關於圖4所解釋，已編碼視訊資料被熵編碼，而移動向量預測子的指標被編碼(針對既定區塊)於預定數目的位元上。所接收的已編碼視訊資料係由模組62所熵解碼。殘餘資料接著由模組63所去量化，且接著由模組64應用反變換以獲得像素值。指示編碼模式之模式資料亦被熵解碼；且根據該模式，INTRA類型解碼或INTER類型解碼被履行在影像資料之已編碼區塊上。在INTRA模式之情況下，INTRA預測子係由內反預測模組65根據位元流中所指明的內預測模式來判定。假如該模式為INTER，則移動預測資訊被提取自該位元流以找出由編碼器所使用的參考區域。移動預測資訊係由參考框指標及移動向量殘餘所組成。移動向量預測子被加至移動向量殘餘以由移動向量解碼模組70獲得移動向量。移動向量解碼模組70將移動向量解碼應用於其由移動預測所編碼的各目前區塊。一旦移動向量預測子之指標(針對目前區塊)已被獲得，則與目前區塊相關聯的移動向量之實際值可被解碼並用以由模組66應用反移動補償。由已解碼移動向量所指示之參考影像部分被提取自參考影像68以應用反移動補償66。移動向量場資料71被更新以已解碼移動向量來用於後續已解碼移動向量之反預測。最後，獲得已解碼區塊。由後過濾模組67應用後過濾。已解碼視訊信號69最後由解碼器60所提供。 CABAC HEVC使用數種類型的熵編碼，如背景為基的調適性二元算術編碼(CABAC)、哥倫布(Golomb-rice)碼、或者稱為固定長度編碼之簡單二元表示。在大部分時間，二元編碼程序被履行以表示不同的語法元素。此二元編碼程序亦為極特定的並取決於不同語法元素。算術編碼代表依據其目前機率之語法元素。CABAC為算術編碼之延伸，其係根據由背景變數所界定的「背景」來分離語法元素之機率。此係相應於條件式機率。背景變數可被導出自其已被解碼之左上區塊(圖6b中之A2，如以下更詳細地描述)以及上方左邊區塊(圖6b中之B3)的目前語法之值。間編碼 HEVC使用3個不同INTER模式：間模式、合併模式及合併跳躍模式。介於這些模式之間的主要差異是位元流中之資料發信。針對移動向量編碼，目前HEVC標準包括用於移動向量預測之競爭為基的方案，其並未出現在該標準的較早版本中。其表示數個候選者正以率失真準則競爭(在編碼器側上)以找出個別地針對內或合併模式之最佳移動向量預測子及最佳移動資訊。相應於最佳預測子或移動資訊之最佳候選者的指標係插入位元流中。解碼器可導出預測子或候選者的相同集合並使用依據該已解碼指標之最佳一者。於HEVC之螢幕內容延伸(Screen Content Extension)中，稱為內區塊複製(Intra Block Copy)的新編碼工具被告知為那三種INTER模式之任一者，藉由檢查參考框是否為目前框以發現介於IBC與同等INTER模式之間的差異。此可藉由(例如以下)來實施：檢查列表L0之參考指標、及推斷此為內區塊複製(假如此為該列表中之最後框的話)。另一執行方式是比較目前與參考框之圖片順序計數：假如相等的話，則此為內區塊複製。預測子及候選者之導出的設計對於獲得最佳編碼效率而沒有對於複雜度之不成比例的影響是很重要的。於HEVC中使用兩種移動向量導出：一種係用於間模式(先進移動向量預測(AMVP))及一種用於合併模式(合併導出程序)。以下描述這些程序。圖6a及6b繪示空間及時間區塊，其可被用以產生移動向量預測子，於HEVC編碼和解碼系統之先進移動向量預測(AMVP)及合併模式中，而圖7顯示AMVP預測子集合導出之程序的簡化步驟。兩個預測子(亦即，AMVP模式之兩個空間移動向量)被選擇在包括頂部角落區塊(區塊B2)及左角落區塊(區塊A0)的頂部區塊(由字母「B」所指示)與左區塊(由字母「A」所指示)之中，而一個預測子被選擇在如圖6a中所示之共置區塊的右下區塊(H)與中心區塊(中心)之間。以下表1概述當參考相對於如圖6a及6b中所述之目前區塊時所使用的術語。此術語被使用為簡寫，但應理解：可使用標記之其他系統，特別是在標準之未來版本中。

表1 應注意：「目前區塊」可為大小上可變的，例如4x4、16x16、32x32、64x64、128x128或介於其間的任何大小。區塊之尺寸最好是2的倍數(亦即，2^n x 2^m，其中n及m為正整數)因為此導致位元之更有效率的使用(當使用二元編碼時)。目前區塊無須為方形，雖然此經常為用於編碼複雜度之較佳實施例。回到圖7，第一步驟旨在選擇在左下區塊A0及A1之中的第一空間預測子(Cand 1, 706)，其空間位置被繪示於圖6中。至此，這些區塊一個接一個被選擇(700, 702)，依既定順序；且(針對各選定區塊)後續條件依既定順序被評估(704)，滿足以下條件之第一區塊被設為預測子： - 來自相同參考列表之移動向量及相同參考影像； - 來自其他參考列表之移動向量及相同參考影像； - 來自相同參考列表之經擴縮移動向量及不同參考影像；或 - 來自其他參考列表之經擴縮移動向量及不同參考影像。假如無值被發現，則左預測子被視為不可用的。於此情況下，其指示相關區塊被INTRA編碼或那些區塊不存在。接下來的步驟旨在選擇在右上區塊B0、上方區塊B1、及左上區塊B2之中的第二空間預測子(Cand 2, 716)，其空間位置被繪示於圖6中。至此，這些區塊一個接一個被選擇(708, 710, 712)，依既定順序；且(針對各選定區塊)上述條件依既定順序被評估(714)，滿足上述條件之第一區塊被設為預測子。再次地，假如無值被發現，則頂部預測子被視為不可用的。於此情況下，其指示相關區塊被INTRA編碼或那些區塊不存在。在下一步驟(718)中，兩個預測子(假如兩者均可用的話)被相互比較以移除其中之一，假如其相等的話(亦即，相同移動向量值、相同參考列表、相同參考指標及相同方向類型)。假如僅有一個空間預測子為可用的，則演算法便在以下步驟中找尋時間預測子。時間移動預測子(Cand 3, 726)被導出如下：在先前框中之共置區塊的右下(H, 720)位置被首先考量於可用性檢查模組722中。假如其不存在或假如移動向量預測子為不可用，則共置區塊之中心(中心, 724)被選擇為待檢查。這些時間位置(中心及H)被描繪在圖6中。於任何情況下，擴縮723被應用於那些候選者以匹配介於目前框與參考列表中的第一框之間的時間距離。移動預測子值被接著加至該組預測子。接下來，預測子之數目(Nb_Cand )與預測子之最大數目(Max_Cand )進行比較(728)。如上所述，AMVP之導出程序所必須產生之移動向量預測子的預測子之最大數目(Max_Cand )是二，在HEVC標準之目前版本中。假如到達此最大數目，則AMVP預測子之最後列表或集合(732)被建立。否則，零預測子被加(730)至該列表。零預測子為等於(0, 0)之移動向量。如圖7中所示，AMVP預測子之最後列表或集合(732)被建立自空間移動預測子之子集(700至712)以及自時間移動預測子之子集(720, 724)。如上所述，合併模式或合併跳躍模式之移動預測子候選者代表所有必要的移動資訊：方向、列表、參考框指標、及移動向量。數個候選者之經編排列表係由合併導出程序所產生。於目前HEVC設計中，針對兩合併模式之候選者的最大數目等於五(4個空間候選者及1個時間候選者)。圖8為合併模式之移動向量導出程序之概圖。在該導出程序之第一步驟中，五個區塊位置被考量(800至808)。這些位置為圖3中所描繪之空間位置，參考A1、B1、B0、A0、及B2。在以下步驟中，空間移動向量之可用性被檢查且最多五個移動向量被選擇(810)。預測子被視為可用的，假如其存在的話以及假如該區塊未被INTRA編碼的話。因此，將相應於該等五個區塊之移動向量選擇為候選者係依據以下條件來進行：假如「左」A1移動向量(800)為可用(810)，亦即，假如其存在以及假如此區塊未被INTRA編碼，則「左」區塊之移動向量被選擇並使用為候選者之列表(814)中的第一候選者；假如「上方」B1移動向量(802)為可用(810)，則候選者「上方」區塊移動向量與「左」A1移動向量(812)進行比較，假如其存在的話。假如B1移動向量等於A1移動向量，則B1不被加至空間候選者之列表(814)。反之，假如B1移動向量不等於A1移動向量，則B1被加至空間候選者之列表(814)；假如「右上」B0移動向量(804)為可用(810)，則「右上」之移動向量與B1移動向量(812)進行比較。假如B0移動向量等於B1移動向量，則B0移動向量不被加至空間候選者之列表(814)。反之，假如B0移動向量不等於B1移動向量，則B0移動向量被加至空間候選者之列表(814)；假如「左下」A0移動向量(806)為可用(810)，則「左下」之移動向量與A1移動向量(812)進行比較。假如A0移動向量等於A1移動向量，則A0移動向量不被加至空間候選者之列表(814)。反之，假如A0移動向量不等於A1移動向量，則A0移動向量被加至空間候選者之列表(814)；及假如空間候選者之列表不含四個候選者，則「左上」B2移動向量(808)之可用性被檢查(810)。假如其為可用，則其與A1移動向量以及B1移動向量進行比較。假如B2移動向量等於A1移動向量或等於B1移動向量，則B2移動向量不被加至空間候選者之列表(814)。反之，假如B2移動向量不等於A1移動向量或B1移動向量，則B2移動向量被加至空間候選者之列表(814)。在此階段之結束時，空間候選者之列表包含高達四個候選者。針對時間候選者，可使用兩個位置：共置區塊之右下位置(816，圖6中標示為H)以及共置區塊之中心(818)。這些時間位置被描繪在圖6中。至於AMVP移動向量導出程序，第一步驟旨在檢查(820)H位置上之區塊的可用性。接下來，假如其不是可用的，則在中心位置上之區塊的可用性被檢查(820)。假如這些位置之至少一個移動向量是可用的，則時間移動向量可被擴縮(822)，假如需要的話，至具有指標0之參考框，針對兩列表L0及L1，以產生其被加至合併移動向量預測子候選者之列表的時間候選者(824)。其被定位在該列表中之空間候選者後。列表L0及L1為含有零、一或更多參考框之2參考框列表。假如候選者之數目(Nb_Cand )絕對地少(826)於候選者之最大數目(Max_Cand ，該值被告知在位元流切片標頭中且在HEVC設計中係等於五)且假如目前框屬於B類型，則產生結合候選者(828)。結合候選者係基於合併移動向量預測子候選者之列表來產生。其主要包括結合列表L0之一個候選者的移動向量與列表L1之一個候選者的移動向量。假如候選者之數目(Nb_Cand )維持絕對地少(830)於候選者之最大數目(Max_Cand )，則零移動候選者被產生(832)直到合併移動向量預測子候選者之列表到達候選者之最大數目。在此程序之結束時，合併移動向量預測子候選者之列表或集合被建立(834)。如圖8中所示，合併移動向量預測子候選者之列表或集合被建立(834)自空間候選者之子集(800至808)以及自時間候選者之子集(816, 818)。替代時間移動向量預測(ATMVP) 替代時間移動向量預測(ATMVP)是一種特定的移動補償。取代僅考量來自時間參考框之目前區塊的一個移動資訊，各共置區塊之各移動資訊被考量。所以此時間移動向量預測提供了具有各子區塊之相關移動資訊的目前區塊之分段，如圖9中所描繪。在目前VTM參考軟體中，ATMVP被告知為插入合併候選者之列表中的合併候選者。當ATMVP被致能在SPS階時，最大數目的合併候選者被增加一。因此當此模式被除能時考量6個候選者而非5個。此外，當此預測被致能在SPS階時，合併指標之所有二元被CABAC所背景編碼。而在HEVC中或者當ATMVP不被致能在SPS階時，僅有第一二元被背景編碼而剩餘的二元被背景旁路編碼。圖10(a)繪示針對HEVC(或者當ATMVP不被致能在SPS階時)之合併指標的編碼。此係相應於一元最大編碼。此外，第一位元被CABAC編碼而其他位元被旁路CABAC編碼。圖10(b)繪示當ATMVP被致能在SPS階時之合併指標的編碼。此外，所有位元被CABAC編碼(從第1至第5位元)。應注意：各指標具有其本身的背景 – 換言之，其機率是分離的。仿射模式在HEVC中，僅有變換移動模型被應用於移動補償預測(MCP)。而在真實世界中，有許多種移動，例如，放大/縮小、旋轉、透視移動及其他不規則移動。在JEM中，簡化的仿射變換移動補償預測被應用而仿射模式之一般原則被描述於下，基於在Torino(2017年七月13-21)之JVET會議上所提出的文件JVET-G1001之摘錄。此完整文件被併入於此以供參考，只要其描述JEM中所使用的其他演算法。如圖11(a)中所示，區塊之仿射移動場係由兩個控制點移動向量所描述。區塊之移動向量場(MVF)係由以下方程式所描述：

其中(v_0x ,v_0y )為左上角落控制點之移動向量，而(v_1x ,v_1y )為右上角落控制點之移動向量。為了進一步簡化移動補償預測，子區塊為基的仿射變換預測被應用。子區塊大小M ×N 被導出如在方程式2中，其中MvPre 為移動向量分數準確度(JEM中之1/16)， (v_2x ,v_2y ) 為左下控制點之移動向量，依據方程式1所計算。

在由方程式2導出後，M及N可被向下調整(假如需要的話)以使其成為w及h之除數(個別地)。為了導出各MxN子區塊之移動向量，各子區塊之中心樣本的移動向量(如圖6a所示)係依據方程式1而被計算，且被捨入至1/16分數準確度。接著移動補償內插過濾器被應用以產生具有已導出移動向量之各子區塊的預測。仿射模式是移動補償模式，如間模式(AMVP、合併、合併跳躍)。其原理係依據2或3相鄰移動資訊以產生每像素一移動資訊。在目前VTM參考軟體中，仿射模式係針對各4x4區塊以導出一個移動資訊，如圖11(a)中所描繪。此模式可用於AMVP且兩個合併模式被致能(由於一旗標)。此旗標被CABAC編碼。於一實施例中，該背景係取決於左區塊(圖6b之位置A2)與左上區塊(圖6b之位置B3)之仿射旗標的總和。因此三個背景變數(0、1或2)在JEM中是可能的，針對由以下式所給定的仿射旗標：

其中IsAffine(區塊)是函數，其在該區塊不是仿射區塊時回覆0而在該區塊是仿射區塊時回覆1。仿射合併候選者導出在JEM中，仿射合併模式(合併或合併跳躍)被導出自第一相鄰區塊，其係在位置A1、B1、B0、A0、B2上的區塊之間仿射。這些位置被描繪在圖6a及6b中。然而，仿射參數如何被導出並未完全界定，而本發明旨在增進至少此形態。仿射合併發信圖12為相關於編碼模式之一些語法元素的部分解碼程序之流程圖。於此圖形中，跳躍旗標(1201)、預測模式(1211)、合併旗標(1203)、合併指標(1208)及仿射旗標(1207)可被解碼。針對間切片之所有CU，跳躍旗標被解碼(1201)。假如CU不是跳躍(1202)，pred模式(預測模式)被解碼(1211)。此語法元素指示該目前CU是間模式或是內模式。請注意：假如CU是跳躍(1202)，則其目前模式是間模式。假如CU(1212)，則CU被編碼於AMVP或者於合併模式。假如CU是間(1212)，則合併旗標被解碼(1203)。假如CU是合併(1204)或假如CU是跳躍(1202)，則驗證(1205)仿射旗標(1206)是否需被解碼。假如目前CU為2Nx2N CU則此旗標被解碼，其表示在目前VVC中該CU之高度與寬度應相等。此外，至少一個相鄰CU A1或B1或B0或A0或B2需被編碼以仿射模式(合併或AMVP)。最後，目前CU不應為4x4 CU但預設其CU 4x4被除能在VTM參考軟體中。假如此狀況(1205)為錯誤，則確定其目前CU被編碼以傳統合併模式或合併跳躍模式且合併指標被解碼(1208)。假如仿射旗標(1206)被設為等於1(1207)，則CU為合併仿射CU或合併跳躍仿射CU且合併指標(1208)無須被解碼。否則，目前CU為傳統(基本)合併或合併跳躍CU且合併指標候選者(1208)被解碼。於本說明書中，「發信」可指稱將一或更多語法元素插入(或提取自)位元流，該語法元素代表模式之致能或除能其他資訊。仿射候選者導出圖13為闡明合併候選者導出之流程圖。此導出已被建立在圖8中所表示之HEVC的合併列表導出之頂部上。相較於HEVC之主要改變是ATMVP候選者(1319, 1321, 1323)之加入、候選者(1320, 1325)之全複製檢查以及候選者之新順序。ATMVP預測被設為特殊候選者，因為其代表目前CU之數個移動資訊。第一子區塊(左上)之值係與時間候選者進行比較，而假如其相等的話則該時間候選者不被加入合併之列表中(1320)。ATMVP候選者不與其他空間候選者進行比較。相反於時間候選者，其係與已經在該列表中之各空間候選者進行比較(1325)且不被加入列表中(假如其為複製候選者的話)。當空間候選者被加入該列表中時，該空間候選者便與該列表中之其他空間候選者進行比較(1310)，其在HEVC之最終版本中並非如此。在目前VTM版本中，合併候選者之列表被設為以下順序，因為其已被判定為提供涵蓋編碼測試條件之最佳結果： ‧　A1 ‧　B1 ‧　B0 ‧　A0 ‧　ATMVP ‧　B2 ‧　時間 ‧　已結合 ‧　Zero_MV 重要的是注意其空間候選者B2被設定在ATMVP候選者之後。此外，當ATMVP被致能在切片階時，候選者之列表中的最大數目是6而非5。本發明之一目的係以一種考量編碼效率及複雜度的有效率方式來告知一位元流之一部分中的仿射模式。本發明之亦一目的係以一種需要對於現存視訊編碼框架之最少量結構修改的方式來告知仿射模式。現在將參考圖13-21以描述本發明之範例實施例。應注意：除非另外明確地聲明否則實施例可被結合；例如實施例之某些結合可增進編碼效率而增加複雜度，但此為某些使用情況下所能接受的。概述之，藉由修改告知移動預測子模式之語法以利用仿射模式(當其更有可能提供增進的移動補償時)，則得以在編碼複雜度之可接受的增加下增進編碼效率。第一實施例在第一實施例中，仿射移動預測模式可針對至少一間模式之位元流的一部分而被告知(例如，致能或除能)。用於該位元流之該部分的間預測模式被判定，且仿射移動模式係根據該位元流之該部分中所使用的間預測模式而被告知(致能或除能)。此實施例之優點是藉由移除未使用的語法而有較佳的編碼效率。此外，其係藉由避免其無須被評估的一些間編碼可能性而減少了編碼器複雜度。最後，在解碼器側上，一些被CABAC編碼的仿射旗標無須被提取自位元流，其增加了解碼程序之效率。第一實施例之一範例，跳躍模式不針對仿射模式來致能。其表示當CU是已跳躍CU(基於資料流中之跳躍旗標的狀態或存在)時，則仿射旗標無須被提取自該位元流。圖14(其係共用如圖12之相同結構且相應的描述適用於此)繪示此範例。在圖14中，當CU為跳躍(1402)時，仿射旗標(1406)不被解碼且1405中之條件不被評估。假如CU是跳躍，則合併旗標被解碼(1406)。此範例之優點是針對具有少量移動之序列的編碼效率增進，且針對具有較多移動之序列沒有編碼效率之減少。這是因為跳躍模式通常被使用在當有極少或沒有移動時，而如此一來不太可能其仿射模式將是適當的。如以上所解釋，編碼和解碼程序之複雜度亦被減少。在一額外範例中，仿射合併跳躍模式可被致能或除能在高階–例如在切片、框、序列或CTU階。此可基於高階語法旗標來判定。於此一情況下，仿射合併跳躍可針對具有少量移動的序列或框而被除能，且在當移動量增加時被致能。此額外範例之優點是對於仿射合併跳躍之使用的彈性。於一實施例中，仿射合併跳躍模式永不被評估在編碼器側上，因此，無任何位元流含有仿射合併跳躍模式。優點在於其可觀察到編碼效率但是小於第一實施例。合併及跳躍模式可不針對仿射而被致能(或者仿射僅針對AMVP而被致能)。在進一步範例中，合併及合併跳躍模式不針對仿射模式而被致能。其表示當CU是已跳躍或合併時，則仿射旗標無須被提取自該位元流。相較於圖14，於此實施例中，模組1405、1406及1407被移除。此範例之優點係類似於緊接於上的範例。優點是針對具有少量移動之序列的編碼效率增進，且針對具有較多移動之序列有相同的編碼效率。如以上所解釋，編碼和解碼程序之複雜度被減少。高階語法元素告知其仿射合併可被致能。在又進一步範例中，仿射合併模式及合併跳躍模式可被致能或除能在高階，如具有一旗標之切片、框、序列或CTU階。於該情況下，仿射合併可針對具有少量移動的序列或框而被除能，且在當移動量增加時被致能。此額外實施例之優點是對於仿射跳躍之使用的彈性。在替代範例中，一旗標係針對合併跳躍模式而被告知，且一旗標係針對合併模式而被告知。於另一範例中，仿射合併跳躍模式及合併模式永不被評估在編碼器側上。因此，無任何位元流含有仿射合併跳躍模式。優點在於可觀察到編碼效率。第二實施例在第二實施例中，告知目前區塊之仿射模式係根據一或更多相鄰區塊之模式。對於相鄰區塊如何被編碼可能有相關，其可被利用以增進編碼效率。特別地，假如某些相鄰區塊之一或更多者使用仿射模式的話，則很可能其仿射模式將適於目前模式。於一實施例中，針對仿射合併或仿射合併跳躍模式之候選者的數目被減至僅2候選者。此實施例之優點是在解碼器側上之複雜度減少，因為較少的仿射旗標針對合併模式而被解碼且仿射合併檢查條件(1205)需要較少的比較以及記憶體緩衝存取。在編碼器側上，較少的仿射合併模式需被評估。在第二實施例之一範例中，在該目前區塊左邊之一相鄰區塊以及在該目前區塊上方之一相鄰區塊(例如，圖6中所示之候選者A1及B1)被評估以得知仿射旗標是否需被解碼且用於仿射合併候選者之導出。針對仿射合併僅佔據2位置的優點是如目前VTM實施方式(具有複雜度減少)般保持5個候選者的類似編碼效率。圖15繪示此實施例。在相較於圖12之此圖形中，模組1505已藉由僅A1及B1位置之檢查而被改變。在第二實施例之進一步範例中，僅候選者A2及B3(如圖6b中所示)被評估以判定該仿射旗標是否需被解碼且用於仿射合併候選者之導出。此範例之優點係相同於先前範例，但其亦減少在相較於先前範例之「最差情況」下的記憶體存取。確實以位置A2及B3，該些位置係相同於那些用於仿射旗標背景導出者。確實針對仿射旗標，背景導出係取決於圖6b之位置A2及B3上的相鄰區塊。因此，假如仿射旗標需被解碼，則A2及B3之仿射旗標值已在用於目前仿射旗標之背景導出的記憶體中，而如此一來進一步記憶體存取是不需要的。第三實施例在第三實施例中，告知目前區塊之仿射模式係根據相應於鄰接目前區塊之區塊的合併候選者之列表。在第三實施例之一範例中，該列表開始以其已被用以判定相關於該區塊之背景變數的區塊，因為此等區塊之仿射旗標值已在用於目前仿射旗標之背景導出的記憶體中且如此一來進一步記憶體存取是不需要的。例如，可能的仿射合併候選者為A2或B3或B0或A0或B2，依此順序(而非A1或B1或B0或A0或B2)，如圖6(b)中所示。此提供了相較於目前VTM之編碼效率增進。且其亦限制了仿射旗標之量，該些仿射旗標需針對最差情況情境之仿射旗標的解碼而被存取。利用目前版本，5個用於模組1205以及2個用於仿射旗標背景導出；而利用本實施例，僅5個，因為A2及B3之仿射旗標值已在用於背景導出的記憶體中且如此一來進一步記憶體存取是不需要的。第三實施例之變化係相關於背景對準。告知一仿射模式可包含將一背景已編碼旗標插入該資料流中，其中該旗標之該背景變數係基於相鄰區塊是否使用仿射模式來判定。在第三實施例之替代範例中，針對仿射旗標之背景導出所考量的位置為位置A1及B1而非A2及B3，如圖6b中所示。在該情況下，先前範例之相同優點被獲得。此為介於背景與仿射合併導出之間的其他對準。在該情況下，該仿射旗標之該背景變數係依據以下式子來獲得：

其中Ctx為該仿射旗標之該背景而IsAffine為一函數，假如該區塊不是仿射區塊則該函數回覆0而假如該區塊是仿射則該函數回覆1。於此範例中，A1及B1之仿射旗標值被儲存在用於目前仿射旗標之背景導出的記憶體中，而如此一來進一步記憶體存取是不需要的。在進一步替代範例中，針對仿射旗標之背景導出所考量的位置是位置A1及B1而非位置A2及B3，當目前區塊為合併模式(兩合併模式)時。相較於先前範例之額外優點是較佳的編碼效率。確實，針對AMVP無須背景導出與移動向量之導出一致，因為(針對AMVP)仿射區塊不被考量於此導出。第四實施例在第四實施例中，告知該仿射模式係根據相鄰區塊是否為合併模式來履行。在第四實施例之範例中，仿射合併(合併及跳躍)之候選者可為僅一仿射AMVP候選者。圖17繪示此實施例。此實施例之優點是編碼複雜度減少，因為較少的仿射旗標需被解碼而沒有對於編碼效率之影響。在第四實施例之進一步範例中，仿射合併(合併及跳躍)之候選者可為僅一仿射AMVP候選者或一合併仿射候選者但非一仿射合併跳躍。如同先前範例，此範例之優點是編碼複雜度減少，因為較少的仿射旗標需被解碼而沒有對於編碼效率之影響。第五實施例在第五實施例中，告知仿射模式包含將仿射模式插入為候選移動預測子。於第五實施例之一範例中，仿射合併(及合併跳躍)被告知為合併候選者。在該情況下，圖12之模組1205、1206及1207被移除。此外，不影響合併模式之編碼效率，合併候選者之最大可能數目被遞增。例如，在目前VTM版本中，此值被設為等於6；因此假如將此實施例應用於VTM之目前版本，則該值將為7。優點是合併模式之語法元素的設計簡化，因為較少的語法元素需被解碼。在一些情況下，可觀察到編碼效率。現在將描述用以實施此範例的兩個可能性：仿射合併指標總是具有在該列表內部的相同位置，無論其他合併MV之值為何。候選移動預測子之位置係指示被選擇的其可能性，而如此一來假如其位於該列表中的較高處(較低的指標值)，則該移動向量預測子更可能被選擇。在第一範例中，仿射合併指標總是具有在合併候選者之列表內部的相同位置。此表示其具有固定合併指標值。例如，此值可被設為等於5，因為仿射合併模式應代表其不是最可能內容的複雜移動。此實施例之額外優點在於當目前區塊被剖析(僅解碼/讀取語法元素但不解碼該資料本身)時，目前區塊可被設為仿射區塊。因此，該值可被用以判定其被用於AMVP之仿射旗標的CABAC背景。因此條件式機率應針對此仿射旗標而被增進且編碼效率應是較佳的。在第二範例中，該仿射合併候選者被導出以其他合併候選者。於此範例中，新的仿射合併候選者被加入合併候選者之列表。圖18繪示此範例。相較於圖13，仿射候選者是第一仿射相鄰區塊A1、B1、B0、A0 B2(1917)。假如相同狀況(如圖12之1205)是有效的(1927)，則以仿射參數所產生的移動向量場被產生以獲得仿射候選者(1929)。初始候選者之列表可具有4、5、6或7個候選者，依據ATMVP、時間及仿射候選者之使用。介於所有這些候選者之間的順序是重要的，因為較可能的候選者應被首先處理以確保其更可能成為移動向量候選者 - 較佳的排序係如下： A1 B1 B0 A0 仿射合併 ATMVP B2 時間已結合 Zero_MV 重要的是注意到：仿射合併是在ATMVP模式前但是在四個主相鄰區塊後。將仿射合併設在ATMVP候選者前的優點是編碼效率增加，如相較於將其設在ATMVP及時間預測子後。此編碼效率增加係根據GOP(圖片之群組)結構以及該GOP中之各圖片的量化參數(QP)設定。但是針對大部分使用，設定此順序之GOP及QP係提供編碼效率增加。此解決方式之進一步優點是針對語法及導出兩者之合併和合併跳躍的乾淨設計。再者，仿射候選者合併指標可依據該列表中之先前候選者的可用性或值(重複檢查)而改變。因此可獲得有效率的發信。在進一步範例中，仿射合併指標是依據一或數個條件而可變的。例如，在與仿射候選者關聯的列表內部之合併指標或位置係依據一準則而改變。其原理是針對相應於仿射合併之合併指標設定低值，當仿射合併具有被選擇的高機率時(以及更高的值，當有被選擇的低機率時)。此範例之優點是編碼效率增加，由於合併指標之最佳化調適(當其最可能被使用時)。用以選擇合併候選者之列表中的仿射模式之位置的準則包括： a) 假如跳躍模式被致能(跳躍旗標之狀態)的話在應用此準則之一範例中，仿射合併指標具有被設為等於高值(例如5)之值，或者其被設定在空間及時間MV後(假如目前合併為合併跳躍模式的話)。如針對第一實施例所解釋，有很低的機會其仿射模式將針對跳躍模式而被選擇，因為其不太可能有任何顯著的(或複雜的)移動。 b) 相鄰區塊之移動資訊在應用此準則之一範例中，仿射合併指標具有被設為等於高值之值；或者其被設定在空間及時間MV後，假如一左邊區塊以及一上方區塊(例如，區塊A1以及B1)之移動資訊是類似的、或相等的。當A1具有如B1之相同移動資訊時，則有很高的機率其移動資訊針對目前區塊是恆定的。因此仿射合併具有很低的機率會被選擇。 c) ATMVP候選者在應用此準則之一範例中，仿射合併指標具有被設為等於高值之值，或者其被設定在空間及時間MV後(假如ATMVP候選者僅含有一移動資訊的話)。在該情況下，在共置區塊之先前框中沒有子分割。因此有很小的機會其目前區塊內容是在非恆定移動中，所以最好是不要將仿射設在合併列表內部之較高位置上。 d) 假如相鄰區塊使用仿射模式的話在應用此準則之一範例中，仿射合併指標具有被設為等於低值之值，或者其被設定時間預測前以及遠離空間預測子(假如多於一個相鄰區塊為仿射的話)。在應用此準則之一額外範例中，仿射合併指標或仿射位置(idx)被設為等於idx=P - N，其中P是仿射合併指標可能的最低位置而N是仿射相鄰區塊之數目。在一範例中，P是5而N是5且相鄰區塊是A1、B1、B0、A0、B2。應注意：於此標記中，最高位置具有零之指標值。利用此範例，合併候選者位置之仿射合併指標係依據相關於其相鄰區塊之機率來設定。因此在第一位置上，當所有相鄰位置均為仿射時；而在第4位置上，當僅一個相鄰區塊為仿射時。應理解：範例值「5」可被設為6或7以獲得類似的編碼效率。亦應理解：這些準則之組合將是可能的。在第五實施例之另一範例中，仿射模式係根據該目前區塊之仿射模式的可能性之該判定而被告知。在特定範例中，仿射合併候選者不被加入候選者之列表內部或者無任何指標相應於依據一準則之仿射合併。此範例之原理是除能其中其不太可能為可用的仿射模式。此範例之優點是編碼效率增加，由於合併指標位元之最佳使用。用以判定仿射模式為可用之可能性的準則包括： a) 跳躍旗標之狀態在應用此準則之一範例中，在當目前合併是合併跳躍模式時仿射合併候選者不被加入。如針對第一實施例所解釋，有很低的機會其仿射模式係針對跳躍模式而被選擇。 b) 相鄰區塊之移動資訊在應用此準則之一範例中，仿射合併候選者不被加入，假如一左邊區塊以及一上方區塊(例如，區塊A1以及B1)之移動資訊是類似的、或相等的。當一左邊區塊以及一上方區塊(例如，區塊A1以及B1)具有相同移動資訊時，則有很高的機率其移動資訊針對目前區塊是恆定的。因此仿射合併應被除能。 c) ATMVP候選者在應用此準則之一實施例中，假如ATMVP候選者僅含有一移動資訊的話，則仿射合併候選者不被加入。於此一範例中，有很小的機會其目前區塊內容是在非恆定移動中，所以最好是除能仿射在合併列表內部之較高位置上。應理解：這些準則之組合將是可能的。本發明之實施例的實施方式圖20為一用於實施本發明之一或更多實施例的計算裝置1300之概略方塊圖。計算裝置1300可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。計算裝置1300包含一連接至以下的通訊匯流排：- 中央處理單元(CPU)1301，諸如微處理器；- 隨機存取記憶體(RAM)1302，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，調適成記錄用以實施方法所需的變數和參數，該方法係依據本發明之實施例以編碼或解碼影像之至少部分，其記憶體容量可藉由一連接至(例如)擴充埠之選擇性RAM來擴充；- 唯讀記憶體(ROM)1303，用以儲存供實施本發明之實施例的電腦程式；- 網路介面(NET)1304，通常連接至通訊網路，待處理數位資料係透過係透過該網路介面來傳輸或接收。網路介面(NET)1304可為單一網路介面，或者由不同網路介面之集合所組成(例如有線及無線介面、或者不同種類的有線或無線介面)。資料封包被寫入至網路介面以供傳輸或者從網路介面讀取以供接收，在CPU 1301中所運行之軟體應用程式的控制下；- 使用者介面(UI)1305可用於從使用者接收輸入或者用以顯示資訊給使用者；- 硬碟(HD)1306，可被提供為大量儲存裝置；- 輸入/輸出模組(IO)1307可用於接收/傳送資料自/至外部裝置，諸如視訊來源或顯示。可執行碼可被儲存於ROM 1303中、於HD 1306上或者於可移除數位媒體(諸如，例如碟片)上。依據變體，程式之可執行碼可藉由通訊網路來接收，經由NET 1304，以儲存於通訊裝置1300的儲存機構(諸如HD 1306)之一中，在執行之前。CPU 1301係調適成依據本發明之實施例以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機之後，CPU 1301能夠執行相關於軟體應用程式之來自主RAM記憶體1302的指令，在那些指令已從(例如)程式ROM 1303或HD 1306載入之後。此一軟體應用程式(當由CPU 1301所執行時)係致使依據本發明之方法的步驟被履行。亦應理解：依據本發明之另一實施例，一種依據前述實施例之解碼器被提供於使用者終端，諸如電腦、行動電話(蜂巢式電話)、平板或任何其他類型的裝置(例如，顯示設備)，其能夠提供/顯示內容給使用者。依據又另一實施例，一種依據前述實施例之編碼器被提供於一種影像擷取設備，其亦包含相機、視訊相機或網路相機(例如，閉路電視或視訊監視相機)，其係擷取並提供內容給編碼器來編碼。兩個此類範例係參考圖21及22而被提供於下。圖21為一圖形，其繪示網路相機系統2100，包括網路相機2102及客戶設備2104。網路相機2102包括成像單元2106、編碼單元2108、通訊單元2110、及控制單元2112。網路相機2102與客戶設備2104被相互連接以能夠經由網路200而彼此通訊。成像單元2106包括透鏡及影像感測器(例如，電荷耦合裝置(CCD)或互補金氧半導體(CMOS))，並擷取物件之影像且根據該影像以產生影像資料。此影像可為靜止影像或視訊影像。成像單元亦可包含調焦機構及/或平移機構，其係調適成個別地調焦或平移(光學地或數位地)。編碼單元2108係藉由使用第一至第五實施例中所解釋的該編碼方法以編碼影像資料。編碼單元2108使用第一至第五實施例中所解釋的編碼方法之至少一者。針對另一例子，編碼單元2108可使用第一至第五實施例中所解釋的編碼方法之組合。網路相機2102之通訊單元2110將其由編碼單元2108所編碼的已編碼影像資料傳輸至客戶設備2104。再者，通訊單元2110從客戶設備2104接收命令。該等命令包括用以設定編碼單元2108之編碼的參數之命令。控制單元2112依據由通訊單元2110所接收的命令以控制網路相機2102中之其他單元。客戶設備2104包括通訊單元2114、解碼單元2116、及控制單元2118。客戶設備2104之通訊單元2118傳輸命令至網路相機2102。再者，客戶設備2104之通訊單元2118從網路相機2102接收已編碼影像資料。解碼單元2116係藉由使用第一至第五實施例之任一者中所解釋的該解碼方法以解碼該已編碼影像資料。針對另一例子，解碼單元2116可使用第一至第五實施例中所解釋的解碼方法之組合。客戶設備2104之控制單元2118依據由通訊單元2114所接收的使用者操作或命令以控制客戶設備2104中之其他單元。客戶設備2104之控制單元2118控制顯示設備2120以顯示由解碼單元2116所解碼的影像。客戶設備2104之控制單元2118亦控制顯示設備2120以顯示GUI(圖形使用者介面)來指定用於網路相機2102之參數的值，包括用於編碼單元2108之編碼的參數。客戶設備2104之控制單元2118亦依據由顯示設備2120所顯示之輸入至GUI的使用者操作以控制客戶設備2104中之其他單元。客戶設備2104之控制單元2118控制客戶設備2104之通訊單元2114以傳輸命令至網路相機2102，其指定用於網路相機2102之參數的值，依據由顯示設備2120所顯示之輸入至GUI的使用者操作。網路相機系統2100可判定相機2102在視訊之記錄期間是利用調焦或是平移，而此等資訊可被使用在當編碼視訊流時，因為在拍攝期間之調焦和平移可受益自仿射模式之使用，該仿射模式極適於編碼諸如調焦、旋轉及/或伸展等複雜移動(其可為平移之副效應，特別假如鏡頭是「魚眼」鏡頭的話)。圖22為繪示智慧型手機2200之圖形。智慧型手機2200包括通訊單元2202、解碼/編碼單元2204、控制單元2206、及顯示單元2208。通訊單元2202經由網路以接收已編碼影像資料。解碼單元2204解碼其由通訊單元2202所接收的已編碼影像資料。解碼單元2204係藉由使用第一至第五實施例中所解釋的該解碼方法以解碼該已編碼影像資料。編碼單元2204可使用第一至第五實施例中所解釋的解碼方法之至少一者。針對另一例子，編碼單元2202可使用第一至第五實施例中所解釋的解碼方法之組合。控制單元2206依據由通訊單元2202所接收的使用者操作或命令以控制智慧型手機2200中之其他單元。例如，控制單元2206控制顯示設備2208以顯示由解碼單元2204所解碼的影像。智慧型手機可進一步包含影像記錄裝置2210(例如相關電路之數位相機)以記錄影像或視訊。此等已記錄影像或視訊可由解碼/編碼單元2204所編碼，在控制單元2206之指示下。智慧型手機可進一步包含感測器2212，其適以感測行動裝置之定向。此等感測器可包括加速計、迴轉儀、羅盤、全球定位(GPS)單元或類似位置感測器。此等感測器2212可判定智慧型手機是否改變定向且此等資訊可被使用在當編碼視訊流時，因為在拍攝期間之定向的改變可受益自仿射模式之使用，該仿射模式極適於編碼諸如旋轉等複雜移動。替代物及修改應理解：本發明之目的係確保其仿射模式被利用以最有效率的方式，且以上所討論的某些範例係相關於告知仿射模式之使用，根據可使用的仿射模式之察覺到的可能性。此之進一步範例可應用於編碼器，當已知其複雜移動(其中仿射變換可為特別有效率的)正被編碼時。此等情況之範例包括： a) 相機放大/縮小 b) 可攜式相機(例如，行動電話)在拍攝(例如，旋轉移動)期間改變定向 c) 「魚眼」鏡頭相機平移(例如，影像之部分的伸展/變形如此一來，複雜移動之指示可被提出在記錄程序期間以使得仿射模式可被賦予被用於框之切片、序列或(確實)整個視訊流的較高可能性。在進一步範例中，仿射模式可根據用以記錄視訊之裝置的特徵或功能而被賦予被使用的較高可能性。例如，行動裝置可比固定式保全相機更可能改變定向，所以仿射模式可更適於編碼來自前者的視訊。特徵或功能之範例包括：調焦機構之存在/使用、位置感測器之存在/使用平移機構之存在/使用，無論該裝置是可攜式的、或是該裝置上之使用者選擇。雖然已參考了實施例來描述本發明，但應理解其本發明不限於所揭露的範例實施例。那些熟悉此技藝人士應理解：可做出各種改變及修改而不背離本發明之範圍，如後附申請專利範圍中所界定者。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的所有特徵、及/或所揭露的任何方法或程序之步驟，可以任何組合方式結合，除了其中此等特徵及/或步驟之至少部分是互斥的組合以外。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的各特徵可被取代以替代特徵，其係適用相同的、同等的或類似的目的，除非另外明確地聲明。因此，除非另外明確地聲明，所揭露的各特徵僅為同等或類似特徵之一般序列的一個範例。亦應理解：上述比較、判定、評估、選擇、執行、履行、或考量之任何結果(例如於編碼或過濾程序期間所做的選擇)可指示於或者可判定/可推理自位元流中之資料(例如指示該結果之旗標或資料)，以使得經指示的或經判定/經推理的結果可用於該處理，以取代實際地履行比較、判定、評估、選擇、執行、履行、或考量(例如於解碼程序期間)。於申請專利範圍中，文字「包含」不排除其他元件或步驟，而不定冠詞「一(a)」或「一(an)」不排除複數。不同特徵在彼此不同的附屬項申請專利範圍中陳述之單純事實並不指示其這些特徵之組合無法被有利地使用。出現在申請專利範圍中之參考數字僅為闡明且對於申請專利範圍之範圍應無限制性效果。

1:視訊序列 2:影像 3:切片 5:編碼單元(CU) 60:解碼器 61:位元流 62:模組 63:模組 64:模組 65:內反預測模組 66:模組 67:後過濾模組 68:參考影像 69:視訊信號 70:移動向量解碼模組 71:移動向量場資料 200:資料通訊網路 201:伺服器 202:客戶終端 204:資料流 300:處理裝置 302:通訊介面 303:通訊網路 304:資料儲存機構 305:碟片驅動 306:碟片 308:麥克風 309:螢幕 310:鍵盤 311:中央處理單元 312:隨機存取記憶體 313:通訊匯流排 320:數位相機 400:編碼器 401:數位影像i0 至in 402:模組 403:模組 404:移動估計模組 405:移動補償模組 406:選擇模組 407:變換模組 408:量化模組 409:熵編碼模組 410:位元流 411:反量化模組 412:反變換模組 413:反內預測模組 414:反移動補償模組 415:模組 416:參考影像 417:移動向量預測及編碼模組 418:移動向量場 1300:計算裝置 1301:中央處理單元(CPU) 1302:隨機存取記憶體(RAM) 1303:唯讀記憶體(ROM) 1304:網路介面(NET) 1305:使用者介面(UI) 1306:硬碟(HD) 1307:輸入/輸出模組(IO) 2100:網路相機系統 2102:網路相機 2104:客戶設備 2106:成像單元 2108:編碼單元 2110:通訊單元 2112:控制單元 2114:通訊單元 2116:解碼單元 2118:控制單元 2120:顯示設備 2200:智慧型手機 2202:通訊單元 2204:解碼/編碼單元 2206:控制單元 2208:顯示單元 2210:影像記錄裝置 2212:感測器

現在將(以範例方式)參考附圖，其中：圖1為用以解釋HEVC中所使用之編碼結構的圖形；圖2為概略地繪示一資料通訊系統之方塊圖，其中本發明之一或更多實施例可被實施；圖3為繪示一處理裝置之組件的方塊圖，其中本發明之一或更多實施例可被實施；圖4為一流程圖，其繪示一種依據本發明之實施例的編碼方法之步驟；圖5為一流程圖，其繪示一種依據本發明之實施例的解碼方法之步驟；圖6(a)及6(b)繪示空間及時間區塊，其可被用以產生移動向量預測子；圖7顯示AMVP預測子集合導出之程序的簡化步驟；圖8為合併模式之移動向量導出程序之概圖；圖9繪示目前區塊及時間移動向量預測之分段；圖10(a)繪示針對HEVC(或者當ATMVP不被致能在SPS階時)之合併指標的編碼；圖10(b)繪示當ATMVP被致能在SPS階時之合併指標的編碼；圖11(a)繪示簡單的仿射移動場；圖11(b)繪示較複雜的仿射移動場；圖12為相關於編碼模式之一些語法元素的部分解碼程序之流程圖；圖13為闡明合併候選者導出之流程圖；圖14為闡明本發明之第一實施例的流程圖；圖15為闡明本發明之第二實施例的流程圖；圖16為闡明本發明之第三實施例的流程圖；圖17為闡明本發明之第四實施例的流程圖；圖18為闡明本發明之第五實施例的流程圖；圖19為一用於實施本發明之一或更多實施例的計算裝置之概略方塊圖；圖20為計算裝置之概略方塊圖；圖21為繪示網路相機系統之圖形；及圖22為繪示智慧型手機之圖形。

Claims

一種針對一位元流之一部分告知一移動預測模式之方法，該方法包含：判定相應於鄰接一目前區塊之區塊的合併候選者之一列表；及針對該目前區塊告知仿射模式；其中告知該仿射模式包含從該資料流解碼一背景已編碼旗標，及其中該旗標之該背景變數係基於該等相鄰區塊是否使用仿射模式來判定。
如申請專利範圍第1項之方法，其中該列表中之該第一空間候選者為其已被用以判定相關於該區塊之一背景變數的該等區塊。
一種針對一位元流內所編碼之一區塊告知一移動預測模式之方法，該方法包含：判定鄰接該位元流內所編碼之該區塊的區塊是否使用仿射模式；將一背景已編碼旗標插入該位元流中；其中該背景已編碼旗標之一背景變數係取決於該判定鄰接該位元流內所編碼之該區塊的區塊是否使用仿射模式。
如申請專利範圍第1至3項之任一項的方法，其中該仿射旗標之該背景被獲得自該目前區塊之一左邊區塊以及一上方區塊兩者。
如申請專利範圍第4項之方法，包含藉由加總該目前區塊之一左邊區塊的IsAffine與該目前區塊之一上方區塊的IsAffine以獲得該仿射旗標之一背景，其中IsAffine為一函數，假如該區塊不是一仿射區塊則該函數回覆0而假如該區塊是仿射則該函數回覆1。
如申請專利範圍第1至5項之任一項的方法，其中該等相鄰區塊僅由區塊A2及B3所組成。
一種告知一位元流中之一移動預測模式的方法，該方法包含：編譯候選移動預測子之一列表；及將仿射合併模式插入為一合併候選者；其中候選者之該列表中的仿射合併模式候選者之該位置是可變的。
如申請專利範圍第7項之方法，其中候選者之該列表中的仿射合併模式候選者之該位置係基於以下來判定：一替代時間移動向量預測子(ATMVP)候選者。
如申請專利範圍第7或8項之方法，其中候選者之該列表中的該仿射合併模式候選者之該位置係基於相鄰區塊是否使用仿射模式來判定。
如申請專利範圍第9項之方法，其中該等相鄰區塊包含區塊A1及B1。
一種使用申請專利範圍第1至10項之任一項的方法以編碼一影像的方法。
如申請專利範圍第11項之方法，其中仿射模式係根據一用以記錄相應於被編碼之該位元流的視訊之裝置的一特徵而被告知。
一種使用申請專利範圍第1至10項之任一項的方法以解碼一影像的方法。
一種適以執行申請專利範圍第1至13項之任一項的方法之裝置。
一種包含如申請專利範圍第14項之一裝置的相機。
一種包含依據申請專利範圍第15項之一相機的行動裝置。
一種用於編碼一影像之編碼器，包含申請專利範圍第14至16項之任一項的裝置。
一種用於解碼一影像之解碼器，包含申請專利範圍第14至16項之任一項的裝置。
一種程式，當由一電腦或處理器所執行時該程式係致使該電腦或處理器執行申請專利範圍第1至13項之任一項的方法。