TW201924345A - 寫碼用於視頻寫碼之仿射預測移動資訊 - Google Patents

寫碼用於視頻寫碼之仿射預測移動資訊 Download PDF

Info

Publication number
TW201924345A
TW201924345A TW107134818A TW107134818A TW201924345A TW 201924345 A TW201924345 A TW 201924345A TW 107134818 A TW107134818 A TW 107134818A TW 107134818 A TW107134818 A TW 107134818A TW 201924345 A TW201924345 A TW 201924345A
Authority
TW
Taiwan
Prior art keywords
mvd
motion vector
block
current block
video
Prior art date
Application number
TW107134818A
Other languages
English (en)
Other versions
TWI750415B (zh
Inventor
張凱
陳建樂
李想
錢威俊
陳義文
張力
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201924345A publication Critical patent/TW201924345A/zh
Application granted granted Critical
Publication of TWI750415B publication Critical patent/TWI750415B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於對視頻資料進行寫碼之實例裝置包括：一記憶體，其經組態以儲存視頻資料；及一或多個處理器，其實施於電路中且經組態以：對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼；針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。如此自該第一MVD預測該第二MVD可縮減包括經寫碼視頻資料之一位元串流之位元率，以及提高處理效率。

Description

寫碼用於視頻寫碼之仿射預測移動資訊
本發明係關於視頻寫碼，且更特定言之，係關於視頻資料之寫碼移動資訊。
數位視頻能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視頻遊戲裝置、視頻遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視頻電話會議裝置、視頻串流裝置及其類似者。數位視頻裝置實施視頻寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視頻寫碼(AVC)所定義之標準、高效率視頻寫碼(HEVC)標準、ITU-T H.265/高效率視頻寫碼(HEVC)及此等標準之擴展中描述的彼等視頻寫碼技術。視頻裝置可藉由實施此類視頻寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視頻資訊。
視頻寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視頻序列中固有的冗餘。對於基於區塊之視頻寫碼，視頻圖塊(例如，視頻圖像或視頻圖像的一部分)可分割成視頻區塊，視頻區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視頻區塊。圖像之經框間寫碼(P或B)圖塊中之視頻區塊可使用相對於相同圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的移動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
一般而言，本發明描述關於圖像間預測之技術。舉例而言，本發明之技術包括用於基於區塊之視頻寫碼中之仿射移動補償的移動向量寫碼(編碼及/或解碼)。此等技術可應用於現有及/或未來視頻寫碼標準。
在一個實例中，一種對視頻資料進行寫碼(例如，編碼或解碼)之方法包括：對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼；針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
在另一實例中，一種用於對視頻資料進行寫碼(例如，編碼或解碼)之裝置包括：一記憶體，其經組態以儲存視頻資料；及一或多個處理器，其實施於電路中且經組態以：對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼；針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
在另一實例中，一種電腦可讀儲存媒體上儲存有指令，該等指令在被執行時使一處理器：對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼；針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
在另一實例中，一種用於對視頻資料進行寫碼(例如，編碼或解碼)之裝置包括：用於對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的差之一第一移動向量差(MVD)進行寫碼之裝置；用於針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD之裝置；及用於使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼之裝置。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自實施方式及圖式以及申請專利範圍而顯而易見。
本申請案主張2017年10月3日申請的美國臨時申請案第62/567,598號之權益，該申請案之全部內容特此以引用之方式併入。
視頻寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視頻寫碼(SVC)及多視圖視頻寫碼(MVC)擴展。
最近，已由ITU-T視頻寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視頻寫碼聯合協作小組(JCT-VC)完成新的視頻寫碼標準(亦即，ITU-T H.265/高效率視頻寫碼(HEVC))之設計。最新的HEVC草案說明書且下文被稱作HEVC WD可自phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip獲得。對HEVC之範圍擴展(亦即，HEVC-Rext)亦正由JCT-VC開發。下文被稱作RExt WD6之範圍擴展之工作草案(WD)可自phenix.int-evry.fr/jct/doc_end_user/documents/16_San%20Jose/wg11/JCTVC-P1005-v1.zip獲得。
用於未來視頻寫碼之新的寫碼工具之研究正在進行中(例如，如在JVET聯合視頻探索小組中所研究)，且已經提議提高用於視頻寫碼之寫碼效率之技術。有跡象表明，寫碼效率之顯著提高可藉由利用視頻內容(尤其用於如4K之高解析度內容)之特性來獲得，其中新的專用寫碼工具超出H.265/HEVC。已經邀請公司及組織提交用於視頻寫碼效率之有可能進一步提高之探索階段的提議。
在H.265/HEVC中，對於每一區塊，移動資訊集合可為可用的。移動資訊集合可含有用於前向及後向預測方向之移動資訊。前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何含義；實情為其對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅一個參考圖像清單可供用於圖像或圖塊時，僅RefPicList0為可用的，且圖塊之每一區塊之移動資訊始終為前向的。
對於每一預測方向，根據H.265/HEVC，移動資訊必須含有參考索引及移動向量。在一些狀況下，為簡單起見，可以假定移動向量自身具有相關聯參考索引的方式參考該移動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。移動向量具有水平分量及豎直分量。
視頻寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。儘管存在一個經寫碼視頻序列內之兩個圖像可具有相同POC值的狀況，但經寫碼視頻序列內通常不發生此類狀況。當位元串流中存在多個經寫碼視頻序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集之導出及移動向量按比例調整。
在HEVC中，圖塊中之最大寫碼單元稱為寫碼樹區塊(CTB)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16像素至64×64像素的範圍(儘管技術上可支援8×8 CTB大小)。寫碼單元(CU)可與CTB具有相同大小，且小至8×8像素。每一寫碼單元可運用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成兩個或多於兩個預測單元(PU)或當不應用另一分割時變為僅一個PU。當兩個PU存在於一個CU中時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。當CU經框間寫碼時，針對每一PU存在一個移動資訊集。另外，每一PU係運用唯一框間預測模式來寫碼以導出移動資訊集。在HEVC中，最小PU大小為8×4及4×8。
在HEVC中，存在用於預測單元(PU)之兩個幀間預測模式，被命名為合併(跳過經視為合併之特殊狀況)及進階移動向量預測(AMVP)模式。在AMVP或合併模式中，針對多個移動向量預測符維持移動向量(MV)候選項清單。當前PU之移動向量以及合併模式中之參考索引係藉由自MV候選項清單獲取一個候選項而產生。
根據HEVC，MV候選項清單含有用於合併模式之至多5個候選項且僅兩個用於AMVP模式之候選項。合併候選項可含有移動資訊集，例如，對應於參考圖像清單(清單0及清單1)及參考索引兩者之移動向量。若由合併索引來識別合併候選項，則參考圖像用於當前區塊之預測，以及判定相關聯移動向量。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，需要明確地將參考索引連同移動向量預測符(MVP)索引發信至MV候選項清單，因為AMVP候選項僅含有移動向量。在AMVP模式中，可進一步改進經預測移動向量。
如可自上文看出，合併候選項對應於整個移動資訊集，而AMVP候選項僅含有用於特定預測方向之一個移動向量及參考索引。以類似方式自相同空間及時間相鄰區塊導出用於兩個模式之候選項。
圖1A及圖1B為說明用於HEVC之合併及AMVP模式之空間相鄰候選項之實例的概念圖。詳言之，圖1A說明用於合併模式之空間相鄰移動向量(MV)候選項，而圖1B說明用於AMVP模式之空間相鄰MV候選項。根據HEVC，空間MV候選項係針對特定的PU (PU0 )自圖1A及圖1B中所展示之相鄰區塊導出，但用於自區塊產生候選項之技術對於合併及AMVP模式不同。
在HEVC之合併模式中，至多四個空間MV候選項可以圖1A中所展示之具有編號之次序導出，且次序如下：左側(0)、上方(1)、右上方(2)、左下方(3)以及左上方(4)，如圖1A中所展示。
在HEVC之AVMP模式中，如圖1B中所展示，相鄰區塊被劃分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上方群組。對於每一群組，參考與由發信之參考索引指示之參考圖像相同的參考圖像的相鄰區塊中之潛在候選項具有待選擇之最高優先級以形成群組之最終候選項。有可能相鄰區塊均未含有指向相同參考圖像的移動向量。因此，若無法發現此候選項，則將按比例調整第一可用候選項以形成最終候選項。因此，可補償時間距離差。
H.265/HEVC中之移動補償用於產生用於當前經框間寫碼區塊之預測符。可使用四分之一像素準確度移動向量，且分率位置處之像素值可使用用於明度及色度分量之相鄰整數像素值來經內插。
圖2為說明具有用於當前區塊之四個仿射參數之實例兩點移動向量仿射之概念圖。在當先的現有視頻編解碼器標準中，僅將平移移動模型應用於移動補償預測(MCP)。然而，在真實世界中，存在許多種類之移動，例如放大/縮小、旋轉、透視移動及其他不規則移動。若運用不規則移動在此類測試序列中僅應用用於MCP之平移移動模型，則其將影響預測準確度且導致低寫碼效率。多年來，許多視頻專家嘗試設計許多演算法來改良MCP以達成較高寫碼效率。已經提議仿射合併及仿射框間(AMVP)模式來應對具有4個參數之如下仿射移動模型：
(1)
在以上等式(1)中，(vx0 , vy0 )為圖2之當前區塊之左上角處之控制點移動向量，且(vx1 , vy1 )為圖2之當前區塊之右上角處之另一控制點移動向量。仿射模型歸結為：
(2)
在當前JEM軟體中，僅將仿射移動預測應用於正方形區塊。作為自然擴展，仿射移動預測可應用於非正方形區塊。
圖3為說明用於當前區塊之仿射框間預測模式之實例之概念圖。當前區塊可為當前CU或當前PU。在此實例中，當前區塊包括標註為左上角處之「V0」及右上角處之「V1」之兩個區塊，以及標註為A、B、C、D及E之相鄰區塊。詳言之，「V0」區塊與區塊A、B及C相鄰，而「V1」區塊與區塊D及E相鄰。
對於大小等於或大於16×16之每個CU/PU，仿射框間預測模式(AF_INTER模式)可如下加以應用。若當前CU/PU處於AF_INTER模式，則CU/PU位準中之仿射旗標可在位元串流中發信。候選項列表使用相鄰的有效經重建區塊來建置。
如圖3中所展示，移動資訊v0 係選自區塊A、B及/或C之移動向量。來自相鄰區塊之移動向量係根據參考清單以及相鄰區塊的參考之POC、當前CU/PU的參考之POC及當前CU/PU的POC之間的關係而按比例調整。且自相鄰區塊D及E選擇v1 之方法類似。若候選項清單之數目小於2，則AMVP之候選項經指派至v0 及v1 。當前CU/PU之速率失真最佳化(RDO)成本用於判定哪一(v0 , v1 )經選擇為當前CU/PU之控制點移動向量預測(CPMVP)。且用以指示候選項清單中之CPMVP之位置之索引在位元串流中發信。
在判定當前仿射CU/PU之CPMVP之後，應用仿射移動估計且發現CPMV。接著，CPMV及CPMVP之差在位元串流中寫碼。應用上文所提及之仿射移動補償預測以產生當前CU/PU之殘數。最後，根據習知程序，將當前CU/PU之殘數經變換、量化且寫碼成位元串流。
圖4A及圖4B為說明用於當前區塊之仿射合併模式之實例之概念圖。當前區塊可為當前CU或當前PU。在此實例中，當前區塊具有標註為A、B、C、D及E之五個相鄰區塊，如圖4A中所展示。
當當前CU/PU在仿射合併模式(AF_MERGE模式)中應用時，其自A、B、C、D及E之有效的相鄰項經重建區塊獲得運用仿射模式寫碼之第一區塊。用於候選項區塊之選擇次序係自左側、上方、右上方、左下方至左上方，如圖4A中所展示。舉例而言，若相鄰的左下方區塊A係以如圖4B中所展示之仿射模式寫碼，則導出含有區塊A的CU/PU之左上角、右上角及左下角之移動向量v2 、v3 及v4 。當前CU/PU上之左上角之移動向量v0 根據v2 、v3 及v4 計算。類似地，當前CU/PU之右上方之移動向量v1 基於v2 、v3 及v4 計算。
在計算當前CU/PU v0 及v1 之CPMV，根據以上等式(2)中經定義之簡化仿射移動模型，產生當前CU/PU之MVF。接著，應用仿射MCP。為識別當前CU/PU是否運用AF_MERGE模式寫碼，當存在在仿射模式中寫碼的至少一個相鄰區塊時，在位元串流中發信仿射旗標。若如圖4A中所展示，不存在與當前區塊相鄰之仿射區塊，則仿射旗標不在位元串流中編寫。
在HEVC中，上下文適應性二進位算術寫碼(CABAC)包括用於將符號轉換成二進位化值之二進位化程序。二進位化經由非二進位語法元素與一連串位元之唯一映射來實現有效二進位算術寫碼，該等位元被稱作位元字串。在JEM2.0參考軟體中，對於仿射合併模式，僅對仿射旗標進行寫碼，且推斷合併索引為呈預定義檢查次序A → B → C → D → E之第一可用相鄰仿射模型。對於仿射框間模式，針對每一預測清單對兩個MVD語法進行寫碼，從而指示經導出仿射移動向量與經預測移動向量之間的移動向量差。
圖5為說明具有六個參數(三個移動向量)之實例仿射模型之概念圖。Zou等人之2017年5月4日申請之「AFFINE MOTION PREDICTION FOR VIDEO CODING」的美國申請案第15/587,044號中描述可切換仿射移動預測方案。具有仿射預測之區段可自適應性地使用四個參數仿射模型或六個參數仿射模型。具有六個參數之仿射模型可定義為：
(3)
具有6個參數之仿射模型具有三個控制點。換言之，具有六個參數之仿射模型係由三個移動向量(MV0、MV1及MV2)判定，例如，如圖5中所展示。MV0為當前區塊之左上角處之第一控制點移動向量，MV1為當前區塊之右上角處之第二控制點移動向量，且MV2為當前區塊之左下角處之第三控制點移動向量，如圖5中所展示。運用三個移動向量建置之仿射模型經計算為：
(4)
以上等式(4)係用於側等於w 之正方形區塊。對於具有寬度w 及高度h 之非正方形區塊(例如，矩形區塊)，可使用以下仿射模型：
(5)
與上文關於圖4所描述類似之關於仿射合併導出左上角及右上角之移動向量的方式亦可用於導出左上角、右上角及左下角之MVP。Chen等人之2016年10月5日申請之「MOTION VETOR PREDICTION FOR AFFINE MOTION MODEL」之美國臨時申請案第62/404,719號中描述額外實例。
圖6為說明實例視頻編碼及解碼系統10之方塊圖，該實例視頻編碼及解碼系統可利用用於有效地對用於仿射預測之移動資訊進行寫碼的本發明之技術。如圖6中所展示，系統10包括源裝置12，其提供稍後將由目的地裝置14解碼的經編碼視頻資料。詳言之，源裝置12經由電腦可讀媒體16將視頻資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板電腦、電視、攝影機、顯示裝置、數位媒體播放器、視頻遊戲主控台、視頻串流裝置或其類似者。在一些狀況下，源裝置12及目的地裝置14可能經裝備以用於無線通信。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視頻資料。電腦可讀媒體16可包含能夠將經編碼視頻資料自源裝置12移動至目的地裝置14的任一類型之媒體或裝置。在一個實例中，電腦可讀媒體16可包含通信媒體以使源裝置12能夠即時地將經編碼視頻資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視頻資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14的通信之任何其他設備。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視頻資料之任何其他合適之數位儲存媒體。在另外實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視頻的另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取儲存之視頻資料。檔案伺服器可為能夠儲存經編碼視頻資料且將該經編碼視頻資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視頻資料。此可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)，或適於存取儲存於檔案伺服器上之經編碼視頻資料的兩者的組合。自儲存裝置的經編碼視頻資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視頻寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視頻傳輸(諸如，經由HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視頻、儲存於資料儲存媒體上的數位視頻之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視頻傳輸從而支援諸如視頻串流、視頻播放、視頻廣播及/或視頻電話之應用。
在圖6之實例中，源裝置12包括視頻源18、視頻編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視頻解碼器30及顯示裝置32。根據本發明，源裝置12之視頻編碼器20可經組態以應用技術以用於有效地對用於仿射預測之移動資訊進行寫碼。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視頻源18 (諸如，外部攝影機)接收視頻資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合顯示裝置。
圖6之所說明之系統10僅為一個實例。用於有效地對用於仿射預測之移動資訊寫碼之技術可由任何數位視頻編碼及/或解碼裝置執行。儘管本發明之技術一般由視頻編碼裝置執行，但該等技術亦可由視頻編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視頻預處理器執行。源裝置12及目的地裝置14僅為其中源裝置12產生經寫碼視頻資料以供用於傳輸至目的地裝置14的此等寫碼裝置之實例。在一些實例中，裝置12、14可以實質上對稱之方式操作，使得裝置12、14中之每一者包括視頻編碼及解碼組件。因此，系統10可支援例如視頻裝置12、14之間的單向或雙向視頻傳輸，以用於視頻串流、視頻播放、視頻廣播或視頻電話。
源裝置12之視頻源18可包括視頻俘獲裝置，諸如視頻攝影機、含有先前俘獲之視頻的視頻檔案庫及/或用以自視頻內容提供者接收視頻的視頻饋送介面。作為另一替代方案，視頻源18可產生基於電腦圖形之資料作為源視頻，或實況視頻、經存檔視頻及電腦產生之視頻的組合。在一些狀況下，若視頻源18為視頻攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視頻電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視頻寫碼，且可適用於無線及/或有線應用。在每一狀況下，俘獲、預先俘獲或電腦產生之視頻可由視頻編碼器20編碼。經編碼視頻資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視頻光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可例如經由網路傳輸自源裝置12接收經編碼視頻資料且將經編碼視頻資料提供至目的地裝置14。類似地，諸如光碟衝壓設施之媒體生產設施的計算裝置可自源裝置12接收經編碼視頻資料且生產含有經編碼視頻資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視頻編碼器20定義之語法資訊，其亦由視頻解碼器30使用，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示裝置32將經解碼視頻資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視頻編碼器20及視頻解碼器30可根據視頻寫碼標準操作，諸如，亦被稱作ITU-T H.265的高效率視頻寫碼(HEVC)標準。替代地，視頻編碼器20及視頻解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，替代地被稱作MPEG-4，第10部分，進階視頻寫碼(AVC))或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視頻寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖6中未展示，在一些態樣中，視頻編碼器20及視頻解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視頻兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視頻編碼器20及視頻解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於適合的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視頻編碼器20及視頻解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。
大體而言，根據ITU-T H.265，可將視頻圖像劃分成可包括明度樣本及色度樣本兩者的一連串寫碼樹單元(CTU) (或最大寫碼單元(LCU))。替代地，CTU可包括單色資料(亦即，僅明度樣本)。位元串流內之語法資料可定義CTU之大小，CTU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續CTU。視頻圖像可分割成一或多個圖塊。每一CTU可根據四分樹而分裂成寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於CTU。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
四分樹資料結構之每一節點可提供對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示是否將對應於該節點之CU分裂成子CU。針對CU之語法元素可經遞回地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之顯式分裂，但葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則儘管該16×16 CU從未經分裂，但4個8×8子CU亦將被稱作葉CU。
除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，CTU可分裂成四個子節點(亦被稱作子CU)，且每一子節點轉而可為父節點且可分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂CTU之最大次數(其被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」以在HEVC之內容背景中指代CU、預測單元(PU)或變換單元(TU)中之任一者，或在其他標準之內容背景中指代相似資料結構(例如，H.264/AVC中之其巨集區塊及子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且大體上為正方形形狀。CU之大小範圍可為8×8個像素達至最大大小為例如64×64像素或大於64×64像素的CTU之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可被分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如，矩形)形狀。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可為不同的。TU通常基於針對經分割CTU定義之給定CU內的PU (或CU之分區)的大小而設定大小，儘管可能並非總是此狀況。TU通常大小相同或小於PU (或CU之分區，例如，在框內預測的狀況下)。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
葉CU在使用框間預測進行預測時可包括一或多個預測單元(PU)。一般而言，PU表示對應於該對應CU之全部或一部分的空間區域，且可包括用於針對PU擷取及/或產生參考樣品的資料。此外，PU包括與預測有關之資料。當CU經框間模式編碼時，CU之一或多個PU可包括定義諸如一或多個移動向量之移動資訊的資料，或PU可經跳過模式寫碼。定義PU之移動向量之資料可描述例如移動向量之水平分量、移動向量之豎直分量、移動向量之解析度(例如，四分之一像素精確度或八分之一像素精確度)、移動向量所指向的參考圖像，及/或移動向量之參考圖像清單(例如，清單0或清單1)。
葉CU亦可經框內模式預測。一般而言，框內預測涉及使用框內模式來預測葉CU (或其分區)。視頻寫碼器可選擇至葉CU之一組相鄰之先前寫碼像素以用以預測葉CU (或其分區)。
葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT (亦稱作TU四分樹結構)來指定變換單元。舉例而言，分裂旗標可指示葉CU是否經分裂成四個變換單元。接著，可將每一TU進一步分裂為其他若干子TU。當TU未進一步分裂時，可將其稱作葉TU。通常，對於框內寫碼，屬於葉CU之所有葉TU共用相同之框內預測模式。亦即，通常應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視頻編碼器可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必受限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，CU之分區或CU自身可與CU之對應葉TU並置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(被稱作殘餘四分樹(RQT))相關聯。亦即，葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於CTU (或LCU)。將RQT之未被分裂的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視頻序列通常包括以隨機存取點(RAP)圖像開始的一系列視頻圖框或圖像。視頻序列可包括序列參數集(SPS)中之語法資料，該序列參數集(SPS)包含視頻序列之特性。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視頻編碼器20通常對個別視頻圖塊內之視頻區塊進行操作，以便對視頻資料進行編碼。視頻區塊可對應於CU內之寫碼節點。視頻區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。
作為一實例，可針對各種大小之PU執行預測。假定特定CU之大小為2N×2N，則可對2N×2N或N×N之PU大小執行框內預測，且對2N×2N、2N×N、N×2N或N×N之對稱PU大小執行框間預測。亦可針對2N×nU、2N×nD、nL×2N及nR×2N的PU大小執行框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分區之部分由「n」其後接著由「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，例如，「2N×nU」係指水平地以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」及「N乘N」可互換使用以指代視頻區塊之就豎直及水平尺寸而言的像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在豎直方向上將具有16個像素(y = 16)且在水平方向上將具有16個像素(x = 16)。同樣地，N×N區塊通常在豎直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在豎直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視頻編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在對殘餘視頻資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或在概念上類似的變換)之後變換域中的係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視頻編碼器20可形成包括表示CU之殘餘資料的經量化變換係數之TU。亦即，視頻編碼器20可計算殘餘資料(以殘餘區塊之形式)、變換殘餘區塊以產生變換係數之區塊，且接著量化變換係數以形成經量化變換係數。視頻編碼器20可形成包括經量化變換係數以及其他語法資訊(例如，TU之分裂資訊)之TU。
如上文所提及，在任何變換以產生變換係數後，視頻編碼器20可執行變換係數之量化。量化通常指變換係數經量化以可能縮減用以表示係數的資料的量從而提供進一步壓縮之程序。量化程序可縮減與係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n 位元值降值舍位至m 位元值，其中n 大於m 。
在量化之後，視頻編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視頻編碼器20可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼的串行化向量。在其他實例中，視頻編碼器20可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視頻編碼器20可例如根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視頻編碼器20亦可對與經編碼視頻資料相關聯的供由視頻解碼器30用於對視頻資料進行解碼之語法元素進行熵編碼。
為了執行CABAC，視頻編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能涉及例如符號之相鄰值是否為非零。為執行CAVLC，視頻編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於例如針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於經指派至符號之上下文而進行。
一般而言，視頻解碼器30執行儘管與由視頻編碼器20執行之程序互逆但與其實質上類似的程序，以對經編碼資料進行解碼。舉例而言，視頻解碼器30逆量化且逆變換所接收TU之係數以再生殘餘區塊。視頻解碼器30使用發信預測模式(框內預測或框間預測)以形成經預測區塊。接著視頻解碼器30 (在逐像素基礎上)使經預測區塊與殘餘區塊組合以再生原始區塊。可執行額外處理，諸如執行解區塊程序以縮減沿區塊邊界之視覺假影。此外，視頻解碼器30可以儘管與視頻編碼器20之CABAC編碼程序互逆但與其實質上類似之方式使用CABAC對語法元素進行解碼。
一般而言，視頻編碼器20及視頻解碼器30可經組態以根據本發明之技術較有效地對用於仿射預測之移動資訊進行寫碼(分別編碼或解碼)。視頻編碼器20及/或視頻解碼器30可經組態以單獨或以任何組合應用下文所論述之各種技術中之任一者。
在一些實例中，視頻編碼器20及/或視頻解碼器30可使用一個移動向量(MV)之移動向量差(MVD)以預測運用仿射預測進行預測之區塊中之另一MV的MVD。該MVD可經定義為MV與移動向量預測(MVP)之間的差：MVD=MV-MVP。更特定言之，若移動向量(MVx , MVy )由其水平分量(MVx )及豎直分量(MVy )表示且移動向量預測符具有分量(MVPx , MVPy )，則MVD之水平(豎直)分量被分別定義為MV及MVP之水平(豎直)分量之差。因此，MVD可經定義為(MVDx , MVDy )，其中MVDx = MVx - MVPx ,且MVDy = MVy - MVPy 。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以使用第一MV之MVD以在仿射預測中預測一或多個其他MV之MVD。圖9為說明此MVD預測之實例之概念圖。在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以使用第一MV之MVD以在仿射預測(例如，4個參數仿射)中預測第二MV之MVD。圖9在下文展示用於具有兩個移動向量之仿射預測之MVD預測的實例，其中MVD1由MVD0預測。
圖10為說明用於具有三個移動向量(六個參數仿射預測)之仿射預測之MVD預測的實例之概念圖。對於六個參數仿射預測，視頻編碼器20及/或視頻解碼器30可使用第一MV之MVD以預測第二MV之MVD。此外，視頻編碼器20及/或視頻解碼器30可使用第一MV之MVD以在具有三個移動向量之仿射預測中預測第三MV之MVD。圖10展示用於具有三個移動向量之仿射預測之MVD預測的實例，其中MVD1由MVD0預測且MVD2亦由MVD0預測。
再次參考圖6，在一些實例中，視頻編碼器20及視頻解碼器30可經組態成使得以上實例中之第一MV被定義為與在圖3、圖9及圖10中標示為「MV0」之左上方控制點相關聯的MV。替代地，視頻編碼器20及視頻解碼器30可經組態以自適應性地選擇與第一MV相關聯之第一控制點。舉例而言，第一控制點可取決於經寫碼資訊，諸如區塊形狀。替代地，視頻編碼器20及視頻解碼器30可隱式地導出與第一MV相關聯之第一控制點。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以在任何兩個MVD之間應用MVD預測以用於仿射預測。舉例而言，視頻編碼器20及視頻解碼器30可自MVD1預測MVD0以用於具有兩個移動向量之仿射預測。在另一實例中，視頻編碼器20及視頻解碼器30可自MVD0預測MVD1，且自MVD1預測MVD2，以用於具有三個移動向量之仿射預測。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以自MVDb預測MVDa。視頻編碼器20可計算MVDa'=MVDa-MVDb，且對表示作為位元串流之部分之MVDa'之資訊進行寫碼，使得視頻解碼器30可對此資訊進行解碼以判定MVDa'。視頻解碼器30接著可計算MVDa=MVDa'+MVDb。在一個實例中，對於具有四個參數之仿射預測，a=1且b=0。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以自MVDb預測MVDa。視頻編碼器20接著可計算MVDa'=MVDa-w *MVDb，且對表示作為位元串流之部分之MVDa'之資訊進行寫碼，使得視頻解碼器30可對此資訊進行解碼以判定MVDa'。視頻解碼器30接著可計算MVDa=MVDa'+w *MVDb。在此實例中，w 為加權值，諸如0.5。在一個實例中，對於具有兩個參數之仿射預測，a=1且b=0。此實例可以整數形式實施，如當w = 0.5時，MVD1'=MVD1- ((MVD0+1)＞＞1) ，或當w = 0.25時，MVD1'=MVD1- ((MVD0+2)＞＞2)。在一個實例中，視頻編碼器20例如在序列層級(諸如序列參數集(SPS))、圖像層級(諸如圖像參數集(PPS))、圖塊層級(諸如在圖塊標頭中)或區塊層級(諸如在區塊標頭中)下對表示作為位元串流之部分之w 之資料進行編碼。視頻解碼器30可進一步自對應層級的資訊提取此經發信資訊。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以自多於一個之其他控制點之MVD預測一個控制點之MVD。舉例而言，視頻編碼器20及視頻解碼器30可在六個參數仿射模型中自MVD0及MVD1預測MVD2。作為一實例，視頻編碼器20可計算MVD2'=MVD2-((MVD0+MVD1)＞＞1)，且對表示作為位元串流之部位之MVD2'的資訊進行寫碼，使得視頻解碼器30可對此資訊進行解碼以判定MVD2'。視頻解碼器30接著可使用此資訊以計算MVD2=MVD2'+((MVD0+MVD1)＞＞1)。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以判定是否基於MVD值預測MVD。舉例而言，視頻編碼器20可在|MVDbx +MVDby |＜T之情況下判定自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在另一實例中，視頻編碼器20可在max(|MVDbx |, |MVDby |)＜T之情況下判定自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在又一實例中，視頻編碼器20可在|MVDbx +MVDby |＞T之情況下自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在又一實例中，視頻編碼器20可在min(|MVDbx |, |MVDby |)＞T之情況下自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在以上實例中，T表示臨限值，其可為固定數值或由視頻編碼器20發信且由視頻解碼器30解碼。視頻編碼器20可對表示基於以上實例判定中之任一者是否自MVDb預測MVDa之資料進行編碼，且視頻解碼器30可對此經編碼資料進行解碼以判定是否自MVDb預測MVDa。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態成以不同方式預測MVD之水平(x)及/或豎直(y)分量。舉例而言，視頻編碼器20及視頻解碼器30可自MVDa之x分量僅預測MVDb之x分量，但不自另一MVD (例如，MVDa)預測MVDb之y分量。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以基於MVP之值判定是否預測MVD。舉例而言，視頻編碼器20可在|MVPax -MVPbx | +|MVPay -MVPby | ＜ S之情況下判定自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在另一實例中，視頻編碼器20可在max(||MVPax -MVPbx |, |MVPay -MVPby |)＜S之情況下判定自MVDb預測MVDa；否則，視頻編碼器20不自MVDb預測MVDa。在以上實例中，S表示臨限值，其可為固定數值或由視頻編碼器20發信且由視頻解碼器30解碼。視頻編碼器20可對表示基於以上實例判定中之任一者是否自MVDb預測MVDa之資料進行編碼，且視頻解碼器30可對此經編碼資料進行解碼以判定是否自MVDb預測MVDa。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以基於移動預測方法判定是否針對使用仿射預測進行預測之區段預測MVD。舉例而言，若MVP來自如上文關於圖3所描述之JEM中之MVP導出方法，則視頻編碼器20及視頻解碼器30可判定不使用MVD預測。作為另一實例，若MVP來自類似於如上文關於美國臨時申請案第62/404,719號所描述之仿射合併的MVP導出方法，則視頻編碼器20及視頻解碼器30可判定使用MVD預測。另外或替代地，視頻編碼器20及視頻解碼器30可基於照明補償是否用於MVP之源區塊而判定是否使用MVD預測。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以基於當前區塊之大小及/或形狀判定是否預測MVD。舉例而言，視頻編碼器20及視頻解碼器30可當W*H ＞T時判定使用MVD預測，其中W表示當前區塊之寬度，H表示當前區塊之高度，且T表示臨限值。T可為固定數值或在位元串流中自視頻編碼器20發信至視頻解碼器30。在另一實例中，視頻編碼器20及視頻解碼器30可當W*H ＜T時判定使用MVD預測。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以在位元串流中對表示是否預測MVD (或其分量)之資料進行寫碼。亦即，視頻編碼器20可在位元串流中對表示是否預測MVD之任一或兩個分量(水平及豎直)之資料進行編碼，且視頻解碼器30可判定是否自位元串流之經編碼資料預測MVD之任一或兩個分量(藉由對該資料進行解碼)。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以在位元串流中對表示使用哪些控制點作為用於MVD預測之參考之資料進行寫碼。亦即，視頻編碼器20可對此資料進行編碼，且視頻解碼器30可對此資料進行解碼以判定使用哪些控制點作為用於MVD預測之參考。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以在使用仿射預測進行預測之區塊中自一MV之MVD產生另一MV之MVP。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以使用第一MV之MVD以在仿射預測中產生一或多個其他MV之MVP。在一個實例中，視頻編碼器20及視頻解碼器30可使用第一MV之MVD以在仿射預測(例如，四個參數仿射)中產生第二MV之MVP。在另一實例中，對於六個參數仿射預測，視頻編碼器20及視頻解碼器30可使用第一MV之MVD以在具有三個移動向量之仿射預測中產生第二MV之MVP。另外，視頻編碼器20及視頻解碼器30可使用第一MV之MVD以在具有三個移動向量之仿射預測中產生第三MV之MVP。替代地，視頻編碼器20及視頻解碼器30可使用第二MV之MVD以在具有三個移動向量之仿射預測中產生第三MV之MVP。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以自MVD1產生MVP0以用於具有兩個移動向量之仿射預測。在另一實例中，視頻編碼器20及/或視頻解碼器30可經組態以自MVD0產生MVP1，且自MVD1產生MVP2，以用於具有三個移動向量之仿射預測。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以根據MVPa=MVP'a+MVDb計算MVPa。MVP'a表示在不考慮如上文針對用於仿射預測之AMVP及合併模式所描述的MVDb之情況下以原始方式產生的MVP。在一個實例中，對於具有四個參數(兩個移動向量)之仿射預測，a=1且b=0。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以根據MVPa=MVP'a+w *MVDb計算MVPa，其中w 為加權值，諸如0.5。在此實例中，MVP'a為在不考慮如上文針對用於仿射預測之AMVP及合併模式所描述的MVDb之情況下以原始方式產生的MVP。在一個實例中，對於具有兩個參數之仿射預測，a=1且b=0。此實例可以整數形式實施，如當w = 0.5時，MVP1=MVP'1+ ((MVD0+1)＞＞1)，或當w = 0.25時，MVP1=MVP'1+ ((MVD0+2)＞＞2)。在一個實例中，視頻編碼器20判定w 且在序列層級、圖像層級、圖塊層級或區塊層級下在位元串流中發信w 之值。因此，視頻解碼器30將自適當資訊層級對w 之值進行解碼。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以自多個其他控制點之MVD產生一個控制點之MVP。舉例而言，視頻編碼器20及/或視頻解碼器30可在六個參數仿射模型中自MVD0及MVD1產生MVP2。視頻編碼器20及/或視頻解碼器30可將MVP2計算為MVP2=MVP'2+((MVD0+MVD1)＞＞1)。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以使用一個控制點之MV以在使用仿射預測進行預測之區段中產生一或多個其他控制點之MV之MVP。在一個實例中，視頻編碼器20及/或視頻解碼器30可使用第一MV以在仿射預測(例如，四個參數仿射)中產生第二MV之MVP。在另一實例中，對於六個參數仿射預測，視頻編碼器20及/或視頻解碼器30可使用第一MV以在具有三個移動向量之仿射預測中產生第二MV之MVP，且使用第一MV以在具有三個移動向量之仿射預測中產生第三MV之MVP。替代地，對於六個參數仿射預測，編碼器20及/或視頻解碼器30可使用第二MV以在具有三個移動向量之仿射預測中產生第三MV之MVP。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以將MVPa計算為MVPa=(MVP'a+MVb)＞＞1。MVP'a為在不考慮如上文在論述用於仿射預測之AMVP及合併之章節中所描述的MVb之情況下以原始方式產生之MVP。在一個實例中，對於具有四個參數之仿射預測，a=1且b=0。
另外或替代地，在一些實例中，視頻編碼器20及/或視頻解碼器30可經組態以將MVPa計算為MVPa=w 1* MVP'a+w 2*MVb。在此實例中，w1 及w2 為可具有相同或不同值之加權值，例如，w 1=w 2= 0.5。MVP'a為在不考慮如在以上章節中關於用於仿射預測之AMVP及合併模式所描述的MVb之情況下以原始方式產生之MVP。在一個實例中，對於具有四個參數之仿射預測，a=1且b=0。此實例可以整數形式實施，如當w 1 = 0.75且w 2 = 0.25時，MVP1=(3*MVP'1+ MV0+2)＞＞2。在一個實例中，視頻編碼器20在序列層級、圖像層級、圖塊層級或區塊層級中之任一者下在位元串流中對用於w1 及w2 之資料進行編碼。同樣地，視頻解碼器30將藉由在適當層級下對此資料進行解碼來判定w1 及w2 。
視頻編碼器20可進一步例如在圖像標頭、區塊標頭、圖塊標頭中將語法資料，諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料發送至視頻解碼器30，或發送其他語法資料，諸如序列參數集(SPS)、圖像參數集合(PPS)或視頻參數集(VPS)。
視頻編碼器20及視頻解碼器30各自可經實施為可適用的多種合適編碼器或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視頻編碼器20及視頻解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(編解碼器)之部分。包括視頻編碼器20及/或視頻解碼器30之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。
圖7為說明視頻編碼器20之實例之方塊圖，該視頻編碼器可實施用於對仿射預測移動資訊進行編碼的本發明之技術。視頻編碼器20可執行視頻圖塊內之視頻區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視頻圖框或圖像內之視頻中的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視頻序列之鄰近圖框或圖像內之視頻中的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖7中所展示，視頻編碼器20接收待編碼視頻圖框內的當前視頻區塊。在圖7之實例中，視頻編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱為經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括移動補償單元44、移動估計單元42、框內預測單元46及分割單元48。為了達成視頻區塊重建，視頻編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。亦可包括解區塊濾波器(圖7中未展示)以便對區塊邊界進行濾波，從而自經重建視頻移除區塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除瞭解區塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此等濾波器，但若需要，此等濾波器可對求和器50之輸出進行濾波(作為迴路中濾波器)。
在編碼程序期間，視頻編碼器20接收待寫碼之視頻圖框或圖塊。可將該圖框或圖塊劃分成多個視頻區塊。移動估計單元42及移動補償單元44執行所接收視頻區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地執行所接收視頻區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個鄰近區塊的框內預測性編碼以提供空間預測。視頻編碼器20可執行多個寫碼遍次，例如以選擇用於每一視頻資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視頻資料之區塊分割成子區塊。舉例而言，分割單元48可初始地將圖框或圖塊分割成CTU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等CTU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將CTU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可例如基於錯誤結果而選擇預測模式(框內或框間)中之一者，且將所得經預測區塊提供至求和器50以產生殘餘資料，及提供至求和器62以重建經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如移動向量、框內模式指示符、分區資訊及其他此類語法資訊)提供至熵編碼單元56。
移動估計單元42及移動補償單元44可高度整合，但出於概念目的而單獨說明。由移動估計單元42執行之移動估計為產生移動向量之程序，該等移動向量估計視頻區塊之移動。舉例而言，移動向量可指示在當前視頻圖框或圖像內之視頻區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視頻編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之次整數像素位置的值。舉例而言，視頻編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，移動估計單元42可執行關於全像素位置及分率像素位置之移動搜尋且輸出具有分率像素精確度之移動向量。
移動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視頻區塊的PU的移動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。移動估計單元42將所計算之移動向量發送至熵編碼單元56及移動補償單元44。
由移動補償單元44執行之移動補償可涉及基於由移動估計單元42判定之移動向量提取或產生預測性區塊。再次，在一些實例中，移動估計單元42與移動補償單元44可在功能上整合。在接收當前視頻區塊之PU的移動向量之後，移動補償單元44可在參考圖像清單中之一者中定位移動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視頻區塊的像素值減去預測性區塊之像素值來形成殘餘視頻區塊，從而形成像素差值，如下文所論述。一般而言，移動估計單元42執行關於明度分量的移動估計，且移動補償單元44將基於該等明度分量計算之移動向量用於色度分量與明度分量兩者。移動補償單元44可使用移動向量產生預測區塊，其可包括內插或以其他方式在數學上操縱由移動向量參考之預測性區塊之值。模式選擇單元40亦可產生與視頻區塊及視頻圖塊相關聯之語法元素以供視頻解碼器30在對視頻圖塊之視頻區塊進行解碼時使用。
視頻編碼器20可經組態以執行上文關於圖6所論述的本發明之各種技術中之任一者。舉例而言，移動補償單元44可經組態以根據HEVC使用AMVP或合併模式對用於視頻資料之區塊之移動資訊進行寫碼，及/或可經組態以根據本發明之技術使用仿射框間模式或仿射合併模式對仿射移動資訊或視頻資料之區塊進行寫碼。
如上文所描述，作為由移動估計單元42及移動補償單元44執行之框間預測的替代方案，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以對當前區塊進行編碼之框內預測模式。在一些實例中，框內預測單元46可例如在單獨編碼遍次期間使用各種框內預測模式來對當前區塊進行編碼，且框內預測單元46 (或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率失真分析通常判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式後，框內預測單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可對指示所選框內預測模式之資訊進行編碼。視頻編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視頻編碼器20藉由自正被寫碼之原始視頻區塊減去來自模式選擇單元40之預測資料而形成殘餘視頻區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含變換係數值之視頻區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換代替DCT。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數之區塊。變換可將殘餘資訊自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元率。量化程序可縮減與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。
在量化之後，熵編碼單元56對經量化之變換係數進行熵寫碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在藉由熵編碼單元56之熵編碼之後，經編碼位元串流經傳輸至另一裝置(例如，視頻解碼器30)或經存檔以用於稍後傳輸或擷取。
逆量化單元58及逆變換單元60分別應用逆量化及逆變換以重建像素域中的殘餘區塊。詳言之，求和器62將經重建殘餘區塊與由移動補償單元44或框內預測單元46較早產生之移動補償預測區塊相加，以產生用於儲存於參考圖像記憶體64中之經重建視頻區塊。該經重建視頻區塊可由移動估計單元42及移動補償單元44使用，作為參考區塊以對後續視頻圖框中之區塊進行框間寫碼。
圖8為說明視頻解碼器30之實例之方塊圖，該視頻解碼器可實施用於對仿射預測移動資訊進行解碼的本發明之技術。在圖8之實例中，視頻解碼器30包括熵解碼單元70、移動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視頻解碼器30可執行大體上與關於視頻編碼器20 (圖7)所描述之編碼遍次互逆的解碼遍次。移動補償單元72可基於自熵解碼單元70接收之移動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼程序期間，視頻解碼器30自視頻編碼器20接收表示經編碼視頻圖塊之視頻區塊及相關聯語法元素的經編碼視頻位元串流。視頻解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、移動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將移動向量及其他語法元素轉遞至移動補償單元72。視頻解碼器30可在視頻圖塊層級及/或視頻區塊層級下接收語法元素。
當視頻圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測單元74可基於經發信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視頻圖塊之視頻區塊的預測資料。當視頻圖框經寫碼為經框間寫碼(即，B或P)圖塊時，移動補償單元72基於自熵解碼單元70接收之移動向量及其他語法元素產生用於當前視頻圖塊之視頻區塊之預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視頻解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術建構參考圖像清單--清單0及清單1。移動補償單元72藉由解析移動向量及其他語法元素判定用於當前視頻圖塊之視頻區塊的預測資訊，且使用預測資訊產生用於正解碼之當前視頻區塊的預測性區塊。舉例而言，移動補償單元72使用所接收語法元素中之一些以判定預測模式(例如，框內或框間預測)，該預測模式用於對以下各者進行寫碼：視頻圖塊之視頻區塊、框間預測圖塊類型(例如，B圖塊或P圖塊)、用於圖塊之參考圖像中之一或多者之建構資訊、用於圖塊之每一經框間編碼視頻區塊之移動向量、用於圖塊之每一經框間寫碼視頻區塊之框間預測狀態及用於對當前視頻圖塊中之視頻區塊進行解碼之其他資訊。
視頻解碼器30可經組態以執行上文關於圖6所論述的本發明之各種技術中之任一者。舉例而言，移動補償單元72可經組態以根據HEVC使用AMVP或合併模式執行移動向量預測，及/或可經組態以根據本發明之技術使用仿射框間模式或仿射合併模式執行仿射移動資訊或視頻資料之區塊。熵解碼單元70可對表示針對當前區塊對移動資訊(例如，仿射移動資訊)進行寫碼之方式的一或多個語法元素進行解碼。
移動補償單元72亦可執行基於內插濾波器之內插。移動補償單元72可使用如由視頻編碼器20在視頻區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，移動補償單元72可自所接收之語法元素判定由視頻編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
逆量化單元76逆量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼的經量化變換係數。逆量化程序可包括使用由視頻解碼器30針對視頻圖塊中之每一視頻區塊計算之量化參數QPY 以判定應進行應用的量化程度及(同樣地)逆量化程度。
逆變換單元78將逆變換(例如，逆DCT、逆整數變換或在概念上類似的逆變換程序)應用於變換係數，以便產生像素域中之殘餘區塊。
在移動補償單元72基於移動向量及其他語法元素產生用於當前視頻區塊之預測性區塊後，視頻解碼器30藉由對來自逆變換單元78之殘餘區塊與由移動補償單元72產生之對應預測性區塊求和而形成經解碼視頻區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視頻品質。接著將給定圖框或圖像中之經解碼視頻區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續移動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視頻以供稍後在顯示裝置(諸如圖6之顯示裝置32)上呈現。
圖11為說明用於根據本發明之技術對當前視頻資料區塊編碼之實例方法之流程圖。出於實例及解釋的目的，關於圖6及圖7之視頻編碼器20解釋圖11之方法。然而，應理解，其他裝置可經組態以執行此方法或類似方法。
起初，儘管圖11中未展示，但模式選擇單元40可判定待用於預測當前區塊之預測模式。在此實例中，假設模式選擇單元40選擇仿射預測模式，該仿射預測模式包括使用至少兩個移動向量之預測。因此，模式選擇單元40使移動估計單元42執行移動搜索以判定第一移動向量及第二移動向量(100)。模式選擇單元40可比較多種預測方法(諸如框內預測、框間預測及仿射預測)之間的速率失真結果，且判定仿射預測引起各種經測試預測模式當中之最佳速率失真結果。
在移動估計單元42判定第一及第二移動向量之後，視頻編碼器20可計算用於第一移動向量之第一移動向量預測符(MVP) (102)。第一MVP可對應於相鄰區塊之移動向量。視頻編碼器20接著可將第一移動向量差(MVD)計算為第一移動向量與第一移動向量預測符之間的差(104)。詳言之，視頻編碼器20可分別計算移動向量及MVD之x及y分量之間的差。
視頻編碼器20接著可判定用於第二移動向量之第二MVP (106)。視頻編碼器20可進一步將第二MVD計算為第二移動向量與第二MVD之間的差(108)。
移動補償單元44亦可使用仿射預測來預測當前區塊(110)以產生用於當前區塊之預測區塊。儘管出於實例的目的論述兩個移動向量，但應理解，三個移動向量可用於仿射預測以產生預測區塊。同樣地，如上文所論述，視頻編碼器20可根據本發明之技術產生用於第三移動向量之第三MVD及第三MVP。
在產生預測區塊之後，視頻編碼器20可計算表示當前區塊與預測區塊之間的逐像素差之殘餘區塊(112)。詳言之，求和器50可計算當前區塊與預測區塊之間的逐像素差。視頻編碼器20接著可對第一MVD、第二MVD及殘餘區塊(114)進行編碼以對當前區塊進行編碼。亦即，根據本發明之技術，視頻編碼器20可使用例如移動向量預測技術(諸如合併模式或AMVP模式)對第一MVD進行編碼，且藉由自第一MVD預測第二MVD來對第二MVD進行編碼。因此，為了對第二MVD進行編碼，視頻編碼器20可對表示第一MVD與第二MVD之間的差(諸如第一MVD及第二MVD之x及y分量之間的差)之資料進行編碼。為了對殘餘區塊進行編碼，變換處理單元52可變換殘餘區塊，量化單元54可量化所得變換區塊之變換係數，且熵編碼單元56可對所得經量化變換係數進行熵編碼。
以此方式，圖11之方法表示包括以下各者之方法之實例：對表示使用仿射預測進行預測之當前視頻資料區塊之第一移動向量與用於第一移動向量之第一移動向量預測符(MVP)之間的差之第一移動向量差(MVD)進行寫碼(亦即，編碼)；針對當前區塊之第二移動向量自第一MVD預測第二MVD；及根據第一移動向量及第二移動向量使用仿射預測對當前區塊進行寫碼(亦即，編碼)。藉由執行圖11之方法，視頻編碼器20可產生相比於當執行先前技術時較頻寬有效之位元串流，因為表示第二MVD之資料可能較少，因為第二MVD係自第一MVD預測。
圖12為說明根據本發明之技術對當前視頻資料區塊進行解碼之實例方法之流程圖。出於實例的目的，圖12之方法關於圖6及圖8之視頻解碼器30加以解釋。然而，應理解，其他裝置可經組態以執行此方法或類似方法之技術。
視頻解碼器30可對第一移動向量差(MVD)、第二MVD及當前區塊之殘餘區塊進行解碼(120)。亦即，根據本發明之技術，視頻解碼器30可使用例如移動向量預測技術(諸如合併模式或AMVP模式)對第一MVD進行解碼，且藉由自第一MVD預測第二MVD來對第二MVD進行解碼。因此，為了對第二MVD進行解碼，視頻解碼器30可對表示第一MVD與第二MVD之間的差(諸如第一MVD及第二MVD之x及y分量之間的差)之資料進行解碼。為了對殘餘區塊進行解碼，熵解碼單元70可對經量化變換係數進行熵解碼，逆量化單元76可逆量化變換係數，且逆變換單元78可逆變換變換係數以重新產生殘餘區塊。
移動補償單元72接著可判定用於當前區塊之第一移動向量之第一移動向量預測符(MVP) (122)且自第一MVP計算第一移動向量(124)。詳言之，移動補償單元72可將第一MVD與第一MVP相加以計算第一移動向量。移動補償單元72可類似地判定用於當前區塊之第二移動向量之第二MVP (126)且自第二MVP計算第二移動向量(128)。詳言之，移動補償單元72可將第二MVD與第二MVP相加以計算第二移動向量。在一些實例中，可包括第三移動向量，在此狀況下，熵解碼單元70可對表示例如第一MVD與用於第三移動向量之第三MVD之間的差之資料進行熵解碼，且移動補償單元72可以類似方式自第三MVD及第三MVP計算第三移動向量。
移動補償單元72接著可例如根據使用第一和第二(且可能第三)移動向量之仿射移動預測來預測當前區塊(130)。視頻解碼器30接著可例如藉由使求和器80在逐像素基礎上將預測區塊之值與殘餘區塊之值相加來對當前區塊進行解碼(132)。
以此方式，圖12之方法表示包括以下各者之方法之實例：對表示使用仿射預測進行預測之當前視頻資料區塊之第一移動向量與用於第一移動向量之第一移動向量預測符(MVP)之間的差之第一移動向量差(MVD)進行寫碼(亦即，解碼)；針對當前區塊之第二移動向量自第一MVD預測第二MVD；及根據第一移動向量及第二移動向量使用仿射預測對當前區塊進行寫碼(亦即，解碼)。藉由執行圖12之方法，視頻解碼器30可對相比於當執行先前技術時較頻寬有效之位元串流進行解碼，因為表示第二MVD之資料可能較少，因為第二MVD係自第一MVD預測。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述之動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可經提供在經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或倂入在組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但該等組件、模組及單元未必要求由不同硬體單元來實現。實情為，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
0‧‧‧區塊
1‧‧‧移動向量
2‧‧‧移動向量
3‧‧‧移動向量
4‧‧‧移動向量
10‧‧‧視頻編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視頻源
20‧‧‧視頻編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視頻解碼器
32‧‧‧顯示裝置
40‧‧‧模式選擇單元
42‧‧‧移動估計單元
44‧‧‧移動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧移動補償單元
74‧‧‧框內預測單元
76‧‧‧逆量化單元
78‧‧‧逆變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧步驟
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
112‧‧‧步驟
114‧‧‧步驟
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟
128‧‧‧步驟
130‧‧‧步驟
132‧‧‧步驟
A‧‧‧區塊
B‧‧‧區塊
C‧‧‧區塊
D‧‧‧區塊
E‧‧‧區塊
MV0‧‧‧移動向量
MV1‧‧‧移動向量
MV2‧‧‧移動向量
MVD0‧‧‧移動向量
MVD1‧‧‧移動向量
MVD2‧‧‧移動向量
MVP0‧‧‧移動向量
MVP1‧‧‧移動向量
MVP2‧‧‧移動向量
V0‧‧‧區塊
V1‧‧‧區塊
V0‧‧‧移動向量
V1‧‧‧移動向量
V2‧‧‧移動向量
V3‧‧‧移動向量
V4‧‧‧移動向量
圖1A及圖1B為說明用於高效率視頻寫碼(HEVC)之合併及進階移動向量預測(AMVP)模式之空間相鄰候選項的實例之概念圖。
圖2為說明具有用於當前區塊之四個仿射參數之實例兩點移動向量仿射之概念圖。
圖3為說明用於當前區塊之仿射框間預測模式之實例之概念圖。
圖4A及圖4B為說明用於當前區塊之仿射合併模式之實例之概念圖。
圖5為說明具有六個參數(三個移動向量)之實例仿射模型之概念圖。
圖6為說明實例視頻編碼及解碼系統之方塊圖，該實例視頻編碼及解碼系統可利用用於有效地對用於仿射預測之移動資訊進行寫碼的本發明之技術。
圖7為說明視頻編碼器之實例之方塊圖，該視頻編碼器可實施用於對仿射預測移動資訊進行編碼的本發明之技術。
圖8為說明視頻解碼器30之實例之方塊圖，該視頻解碼器可實施用於對仿射預測移動資訊進行解碼的本發明之技術。
圖9為說明用於仿射移動資訊預測之移動向量差(MVD)預測之實例的概念圖。
圖10為說明用於具有三個移動向量(六個參數仿射預測)之仿射預測之MVD預測的實例之概念圖。
圖11為說明用於根據本發明之技術對當前視頻資料區塊進行編碼之實例方法之流程圖。
圖12為說明根據本發明之技術對當前視頻資料區塊進行解碼之實例方法之流程圖。

Claims (30)

  1. 一種對視頻資料進行寫碼之方法，該方法包含： 對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼； 針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及 使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
  2. 如請求項1之方法，其中該第一MVD包括一水平分量(MVDx1)及一豎直分量(MVDy1)，該第一MVP包括一水平分量(MVPx1)及一豎直分量(MVPy1)，該第一移動向量包括一水平分量(MVx1)及一豎直分量(MVy1)，MVDx1=MVx1-MVPx1，且MVDy1 = MVy1-MVPy1。
  3. 如請求項1之方法，其中對該當前區塊進行寫碼包含根據一四個參數仿射模型對該當前區塊進行寫碼。
  4. 如請求項1之方法，其進一步包含針對該當前區塊之一第三移動向量自該第一MVD或該第二MVD中之至少一者預測一第三MVD，其中對該當前區塊進行寫碼包含使用仿射預測根據該第一移動向量、該第二移動向量及該第三移動向量對該當前區塊進行寫碼。
  5. 如請求項4之方法，其中對該當前區塊進行寫碼包含根據一六個參數仿射模型對該當前區塊進行寫碼。
  6. 如請求項1之方法，其中該第一移動向量源自該當前區塊之一左上角，且其中該第二移動向量源自該當前區塊之一右上角。
  7. 如請求項1之方法，其進一步包含對定義用於該第一移動向量及該第二移動向量之控制點之資料進行寫碼。
  8. 如請求項1之方法，其進一步包含基於該當前區塊之一形狀判定用於該第一移動向量及該第二移動向量之控制點。
  9. 如請求項1之方法，其進一步包含隱式地導出用於該第一移動向量及該第二移動向量之控制點。
  10. 如請求項1之方法，其進一步包含對表示用於該第二MVD之MVD'2之資料進行寫碼，其中MVD'2表示該第二MVD相對於該第一MVD之一殘餘值。
  11. 如請求項10之方法，其中該第一MVD包含MVD1，該第二MVD包含MVD2，w包含一加權值，且MVD'2 = MVD1-w*MVD2。
  12. 如請求項10之方法，其中該第一MVD包含MVD1，該第二MVD包含MVD2，且對於一加權值0.5，MVD'2 = MVD2-((MVD1+1)＞＞1)。
  13. 如請求項10之方法，其中該第一MVD包含MVD1，該第二MVD包含MVD2，且對於一加權值0.25，MVD'2 = MVD2-((MVD1+2)＞＞2)。
  14. 如請求項1之方法，其進一步包含進行判定以自該第一MVD預測該第二MVD，其中自該第一MVD預測該第二MVD包含回應於進行判定以自該第一MVD預測該第二MVD而自該第一MVD預測該第二MVD。
  15. 如請求項14之方法，其中進行判定以自該第一MVD預測該第二MVD包含基於該當前區塊之一形狀進行判定以自該第一MVD預測該第二MVD。
  16. 如請求項14之方法，其中進行判定以自該第一MVD預測該第二MVD包含基於用於該當前區塊之一移動預測方法進行判定以自該第一MVD預測該第二MVD。
  17. 如請求項16之方法，其中進行判定以自該第一MVD預測該第二MVD包含判定該移動預測方法為一仿射合併模式。
  18. 如請求項1之方法，其中該第二MVD包括一水平分量(MVD2x )及一豎直分量(MVD2y )，且其中預測該第二MVD包含以與預測MVD2y 不同之方式預測MVD2x 。
  19. 如請求項1之方法，其進一步包含自該第一MVD或該第二MVD中之至少一者產生用於該當前區塊之一第三移動向量之一第三MVP。
  20. 如請求項1之方法，其中該第一MVD包含MVD1，該方法進一步包含： 自該當前區塊之一或多個相鄰區塊之一移動向量判定用於該第二移動向量之一第二中間MVP （MVP'2)；及 自MVP'2及MVD1產生用於該第二移動向量之一第二MVP (MVP2)。
  21. 如請求項1之方法，其進一步包含自該第一MVD及用於該當前區塊之一第三移動向量之一第三MVD產生用於該第二移動向量之一第二MVP，其中該第二MVP包含MVP2，該第一MVD包含MVD1，該第三MVD包含MVD3，該方法其進一步包含自該當前區塊之一或多個相鄰區塊之一移動向量判定用於該第二移動向量之一第二中間MVP (MVP'2)，其中產生MPV2包含將MVP2產生為MVP2=MVP'2+((MVD1+MVD3)＞＞1)。
  22. 如請求項1之方法，其中對該當前區塊進行寫碼包含對該當前區塊進行解碼，其包含： 將該第一MVD與該第一MVP相加以重建該第一移動向量； 判定用於該第二移動向量之一第二MVP； 使用來自該第一MVD之預測重建該第二MVD； 將該第二MVD與該第二MVP相加以重建該第二移動向量； 使用該第一移動向量及該第二移動向量形成用於該當前區塊之一預測區塊； 對用於該當前區塊之一殘餘區塊進行解碼；及 將該殘餘區塊與該預測區塊相加以重建該當前區塊。
  23. 如請求項1之方法，其中對該當前區塊進行寫碼包含對該當前區塊進行編碼，其包含： 自該第一移動向量減去該第一MVP以產生該第一MVD； 判定用於該第二移動向量之一第二MVP； 自該第二MVP減去該第二移動向量以產生該第二MVD； 對該第一MVD進行編碼； 對表示自該第一MVD預測之該第二MVD之資料進行編碼； 使用該第一移動向量及該第二移動向量形成用於該當前區塊之一預測區塊； 自該當前區塊減去該預測區塊以產生一殘餘區塊；及 對該殘餘區塊進行編碼。
  24. 一種用於對視頻資料進行寫碼之裝置，該裝置包含： 一記憶體，其經組態以儲存視頻資料；及 一或多個處理器，其實施於電路中且經組態以： 對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼； 針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及 使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
  25. 如請求項24之裝置，其中該一或多個處理器經組態以： 將該第一MVD與該第一MVP相加以重建該第一移動向量； 判定用於該第二移動向量之一第二MVP； 使用來自該第一MVD之預測重建該第二MVD； 將該第二MVD與該第二MVP相加以重建該第二移動向量； 使用該第一移動向量及該第二移動向量形成用於該當前區塊之一預測區塊； 對用於該當前區塊之一殘餘區塊進行解碼；及 將該殘餘區塊與該預測區塊相加以重建該當前區塊。
  26. 如請求項24之裝置，其中該一或多個處理器經組態以： 自該第一移動向量減去該第一MVP以產生該第一MVD； 判定用於該第二移動向量之一第二MVP； 自該第二MVP減去該第二移動向量以產生該第二MVD； 對該第一MVD進行編碼； 對表示自該第一MVD預測之該第二MVD之資料進行編碼； 使用該第一移動向量及該第二移動向量形成用於該當前區塊之一預測區塊； 自該當前區塊減去該預測區塊以產生一殘餘區塊；及 對該殘餘區塊進行編碼。
  27. 如請求項24之裝置，其進一步包含經組態以顯示經解碼視頻資料之一顯示器。
  28. 如請求項24之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  29. 一種電腦可讀儲存媒體，其上儲存有指令，該等指令在被執行時使用於對視頻資料進行寫碼之一裝置之一處理器： 對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼； 針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD；及 使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼。
  30. 一種用於對視頻資料進行寫碼之裝置，該裝置包含： 用於對表示使用仿射預測進行預測之一當前視頻資料區塊之一第一移動向量與用於該第一移動向量之一第一移動向量預測符(MVP)之間的一差之一第一移動向量差(MVD)進行寫碼之裝置； 用於針對該當前區塊之一第二移動向量自該第一MVD預測一第二MVD之裝置；及 用於使用仿射預測根據該第一移動向量及該第二移動向量對該當前區塊進行寫碼之裝置。
TW107134818A 2017-10-03 2018-10-02 用於視頻寫碼之寫碼仿射預測移動資訊 TWI750415B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762567598P 2017-10-03 2017-10-03
US62/567,598 2017-10-03
US16/148,738 2018-10-01
US16/148,738 US10856003B2 (en) 2017-10-03 2018-10-01 Coding affine prediction motion information for video coding

Publications (2)

Publication Number Publication Date
TW201924345A true TW201924345A (zh) 2019-06-16
TWI750415B TWI750415B (zh) 2021-12-21

Family

ID=65896942

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107134818A TWI750415B (zh) 2017-10-03 2018-10-02 用於視頻寫碼之寫碼仿射預測移動資訊

Country Status (13)

Country Link
US (1) US10856003B2 (zh)
EP (1) EP3692715A1 (zh)
JP (1) JP7000565B2 (zh)
KR (1) KR102305990B1 (zh)
CN (2) CN111164973B (zh)
AU (1) AU2018345741B2 (zh)
BR (1) BR112020006232A2 (zh)
CA (1) CA3074701C (zh)
CL (1) CL2020000815A1 (zh)
CO (1) CO2020004110A2 (zh)
SG (1) SG11202001574YA (zh)
TW (1) TWI750415B (zh)
WO (1) WO2019070683A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
KR102610110B1 (ko) 2018-04-13 2023-12-06 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
CN111418212B (zh) 2018-07-13 2023-12-01 Lg电子株式会社 基于图像编码系统中的仿射运动预测的图像解码方法和设备
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
CN110868587B (zh) * 2018-08-27 2023-10-20 华为技术有限公司 一种视频图像预测方法及装置
WO2020060366A1 (ko) * 2018-09-22 2020-03-26 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
SG11202103601RA (en) * 2018-10-10 2021-05-28 Interdigital Vc Holdings Inc Affine mode signaling in video encoding and decoding
WO2020117013A1 (ko) * 2018-12-06 2020-06-11 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
WO2020211755A1 (en) * 2019-04-14 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector and prediction sample refinement
WO2020219970A1 (en) * 2019-04-24 2020-10-29 Op Solutions, Llc Signaling of global motion vector in picture header
WO2020216381A1 (en) 2019-04-25 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Restrictions on motion vector difference
WO2020233659A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Adaptive motion vector difference resolution for affine mode
CN117499667A (zh) * 2019-06-25 2024-02-02 北京字节跳动网络技术有限公司 对运动矢量差的约束
KR20210006305A (ko) * 2019-07-08 2021-01-18 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
CN114128263A (zh) * 2019-08-12 2022-03-01 北京达佳互联信息技术有限公司 用于视频编解码中的自适应运动矢量分辨率的方法和设备
CN112204973A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码的方法与装置
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
WO2021171360A1 (ja) 2020-02-25 2021-09-02 日本電信電話株式会社 符号化方法、符号化装置及びプログラム
CN112822497B (zh) * 2020-12-01 2024-02-02 青岛大学 基于边缘计算的视频压缩编码处理方法及相关组件
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113787A2 (en) * 2008-03-09 2009-09-17 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
JP2011223176A (ja) 2010-04-06 2011-11-04 Sony Corp 画像処理装置および方法
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR101377528B1 (ko) * 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
CN111556323B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10425646B2 (en) * 2017-09-07 2019-09-24 Arm Limited Method of and apparatus for processing video image data
US10440378B1 (en) * 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing

Also Published As

Publication number Publication date
EP3692715A1 (en) 2020-08-12
WO2019070683A1 (en) 2019-04-11
TWI750415B (zh) 2021-12-21
US10856003B2 (en) 2020-12-01
JP7000565B2 (ja) 2022-01-19
CA3074701C (en) 2023-08-22
BR112020006232A2 (pt) 2020-10-13
KR20200053508A (ko) 2020-05-18
CN111164973B (zh) 2023-11-17
CN117692631A (zh) 2024-03-12
CN111164973A (zh) 2020-05-15
CL2020000815A1 (es) 2020-09-25
AU2018345741B2 (en) 2022-09-08
CA3074701A1 (en) 2019-04-11
JP2020536443A (ja) 2020-12-10
KR102305990B1 (ko) 2021-09-27
US20190104319A1 (en) 2019-04-04
SG11202001574YA (en) 2020-04-29
CO2020004110A2 (es) 2020-04-24
AU2018345741A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
TWI750415B (zh) 用於視頻寫碼之寫碼仿射預測移動資訊
TWI805627B (zh) 視訊寫碼中之仿射預測
JP7342115B2 (ja) 履歴ベースの動きベクトル予測子の改善
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
RU2742298C2 (ru) Выведение вектора движения при видеокодировании
TWI703860B (zh) 用於視訊寫碼之仿射運動預測
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
CN107211157B (zh) 用于视频译码的重叠运动补偿
JP6378433B2 (ja) イントラｂｃとインター予測の統合のためのａｍｖｐおよびマージ候補リスト導出
US11425387B2 (en) Simplified local illumination compensation
WO2019147826A1 (en) Advanced motion vector prediction speedups for video coding
WO2019140189A1 (en) Affine motion compensation with low bandwidth
JP2020511859A (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
TW201715891A (zh) 用於視訊寫碼之改良雙向光流
WO2019136131A1 (en) Generated affine motion vectors
KR20210093926A (ko) 비디오 코딩을 위한 삼각형 모션 정보
JP2015510358A (ja) Ｂスライス中の予測単位の単方向インター予測への制限
CN112740663B (zh) 图像预测方法、装置以及相应的编码器和解码器