TW201742465A - 用於視訊寫碼之仿射運動預測 - Google Patents

用於視訊寫碼之仿射運動預測 Download PDF

Info

Publication number
TW201742465A
TW201742465A TW106115009A TW106115009A TW201742465A TW 201742465 A TW201742465 A TW 201742465A TW 106115009 A TW106115009 A TW 106115009A TW 106115009 A TW106115009 A TW 106115009A TW 201742465 A TW201742465 A TW 201742465A
Authority
TW
Taiwan
Prior art keywords
video data
data block
block
affine
model
Prior art date
Application number
TW106115009A
Other languages
English (en)
Other versions
TWI703860B (zh
Inventor
鄒峰
陳建樂
馬塔 卡茲維克茲
李想
莊孝強
錢威俊
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201742465A publication Critical patent/TW201742465A/zh
Application granted granted Critical
Publication of TWI703860B publication Critical patent/TWI703860B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本發明提供一種實例方法，該方法包括：針對一當前視訊資料區塊獲得一相鄰視訊資料區塊之一仿射運動模型的運動向量(MV)之值；自該相鄰區塊之該仿射運動模型的該等MV之該等值導出該當前區塊之一仿射運動模型的MV之預測子之值；自一視訊位元串流解碼該當前區塊之該仿射運動模型的該等MV之該等值與該等預測子之該等值之間的差值之一表示；自該等預測子之該等值及該等解碼之差值判定該當前區塊的該仿射運動模型之該等MV之該等值；基於該當前區塊的該仿射運動模型之該等MV之該等經判定值判定視訊資料之一預測子區塊；及基於該預測子區塊重建構該當前區塊。

Description

用於視訊寫碼之仿射運動預測
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如視訊寫碼標準中描述之彼等視訊寫碼技術。視訊裝置可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 一些視訊寫碼標準係由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)(包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)、ITU-T H.265(亦被稱作高效視訊寫碼(HEVC)及此等標準之擴展定義。最近，ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)已完成新的視訊寫碼標準(亦即，高效視訊寫碼(HEVC))之設計。最近HEVC草案規格(且下文中被稱作HEVC WD)係在itu.int/rec/T-REC-H.265-201504-S/en處可獲得。對HEVC之範圍擴展(即HEVC-Rext)亦正由JCT-VC開發。範圍擴展之最近工作草案(WD) (在下文中被稱作RExt WD6)可自phenix.int-evry.fr/jct/doc_end_user/documents/16_San%20Jose/wg11/JCTVC-P1005-v1.zip獲得。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割為視訊區塊，對於一些技術，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。 空間或時間預測產生待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。最初配置於二維陣列中之經量化變換係數可經掃描以便產生變換係數的一維向量，且熵寫碼可經應用以達成甚至更多壓縮。
在一個實例中，一種用於解碼視訊資料之方法包括：藉由視訊解碼器之一或多個處理器及針對當前視訊資料區塊獲得相鄰視訊資料區塊之仿射運動模型的運動向量(MV)之值；藉由該一或多個處理器並自相鄰視訊資料區塊之仿射運動模型的MV之值導出當前視訊資料區塊之仿射運動模型的MV之預測子之值；藉由該一或多個處理器並自經編碼視訊位元串流解碼當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值之表示；藉由該一或多個處理器自預測子之值及解碼之差值判定當前視訊資料區塊的仿射運動模型之運動向量之值；基於當前視訊資料區塊的仿射運動模型之運動向量之經判定值判定視訊資料之預測子區塊；及基於視訊資料之預測子區塊重建構當前視訊資料區塊。 在另一實例中，一種用於編碼視訊資料之方法包括：藉由視訊編碼器之一或多個處理器判定當前視訊資料區塊之仿射運動模型的運動向量之值，仿射運動模型之運動向量識別當前視訊資料區塊的視訊資料之預測子區塊；藉由該一或多個處理器獲得相鄰視訊資料區塊的仿射運動模型之運動向量之值；藉由該一或多個處理器及自相鄰視訊資料區塊的仿射運動模型之運動向量之值導出當前視訊資料區塊之仿射運動模型的運動向量之預測子之值；及藉由該一或多個處理器及在經編碼視訊位元串流中編碼當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值之表示。 在另一實例中，用於解碼視訊資料區塊之裝置包括：記憶體，其經組態以儲存視訊資料；及一或多個處理單元，其實施於電路中。在此實例中，一或多個處理單元經組態以：針對當前視訊資料區塊獲得相鄰視訊資料區塊的仿射運動模型之運動向量之值；自相鄰視訊資料區塊的仿射運動模型之運動向量之值導出當前視訊資料區塊的仿射運動模型之運動向量的預測子之值；自經編碼視訊位元串流解碼當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值之表示；自預測子之值及經解碼差值判定當前視訊資料區塊的仿射運動模型之運動向量之值；基於當前視訊資料區塊的仿射運動模型之運動向量之經判定值判定視訊資料之預測子區塊；及基於視訊資料之預測子區塊重建構當前視訊資料區塊。 在另一實例中，用於編碼視訊資料區塊之裝置包括：記憶體，其經組態以儲存視訊資料；及一或多個處理單元，其實施於電路中。在此實例中，一或多個處理單元經組態以：判定當前視訊資料區塊之仿射運動模型的運動向量之值，仿射運動模型之運動向量識別當前視訊資料區塊之視訊資料之預測子區塊；獲得相鄰視訊資料區塊的仿射運動模型之運動向量的值；自相鄰視訊資料區塊的仿射運動模型之運動向量的值導出當前視訊資料區塊之仿射運動模型的運動向量之預測子之值；及在經編碼視訊位元串流中編碼當前視訊資料區塊的仿射運動模型之運動向量之值與預測子之值之間的差值之表示。 在另一實例中，一種用於編碼或解碼視訊資料之裝置包括：用於針對當前視訊資料區塊獲得相鄰視訊資料區塊的仿射運動模型之運動向量之值的構件；用於自相鄰視訊資料區塊的仿射運動模型之運動向量之值導出當前視訊資料區塊的仿射運動模型之運動向量的預測子之值的構件；用於獲得當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值的構件；用於自預測子之值及經解碼差值判定當前視訊資料區塊之仿射運動模型的運動向量之值中的每一者的構件；及用於基於當前視訊資料區塊之仿射運動模型的運動向量之經判定值識別視訊資料之預測子區塊的構件。 在另一實例中，一種儲存指令之電腦可讀儲存媒體，該等指令當經執行時引起視訊編碼器或視訊解碼器之一個或多個處理器執行以下操作：針對當前視訊資料區塊獲得相鄰視訊資料區塊的仿射運動模型之運動向量之值；自相鄰視訊資料區塊的仿射運動模型之運動向量之值導出當前視訊資料區塊之仿射運動模型的運動向量之預測子之值；獲得當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值；自預測子之值及經解碼差值判定當前視訊資料區塊之仿射運動模型的運動向量之值中的每一者；及基於當前視訊資料區塊的仿射運動模型之運動向量之經判定值識別視訊資料之預測子區塊。 在以下隨附圖式及實施方式中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式以及申請專利範圍顯而易見。
本申請案主張2016年5月16日申請之美國臨時申請案第62 / 337 , 301 號的權益，該案之全部內容特此以引用之方式併入。 一般而言，本發明描述與視訊資料區塊的仿射運動資訊之寫碼(例如，編碼或解碼)相關的技術。在當前視訊寫碼標準中，僅僅平移運動模型應用於運動補償預測(MCP)。當使用平移運動模型用於MCP時，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可利用單個二維運動向量(MV)用於當前區塊，該二維運動向量指示當前視訊資料區塊與視訊資料之對應預測子區塊之間的位移。MV可為二維的，因為每一MV可具有指示當前視訊資料區塊與視訊資料之預測子區塊之間的水平位移的x分量，及指示當前視訊資料區塊與視訊資料之預測子區塊之間的垂直位移的y分量。。如下文進一步詳細論述，在諸如HEVC之當前視訊寫碼標準中，存在兩個框間預測模式，稱為合併(跳過被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式。在合併模式中，當前區塊的MV之值自MV候選之值直接繼承，該MV候選之值可為當前區塊之相鄰區塊的MV之值。相比之下，在AMVP模式中，MV候選之值可經進一步改進。詳言之，視訊寫碼器可傳信MV候選之值與當前區塊的MV之值之間的差值。差值可被稱為運動向量差(MVD)。 然而，存在除平移運動以外的許多種類之運動，諸如放大運動、縮小運動、旋轉運動、透視運動，及其他不規則運動。在具有不規則運動之此等測試序列中僅僅應用平移運動模型用於MCP可影響預測準確度並可產生低寫碼效率。舉例而言，僅僅使用平移運動模型可產生亦不與正經寫碼之原始區塊匹配的預測區塊。因此，殘餘資料之大小(亦即，表示待寫碼之原始區塊與預測區塊之間的像素差的值)可增大，此可減小寫碼效率。 ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)正研究壓縮能力顯著超過當前HEVC標準之壓縮能力的未來視訊寫碼技術的標準化的潛在需要(包括用於螢幕內容寫碼及高動態範圍寫碼之其當前擴展及近期擴展)。該等群體一起工作，為此探索活動而聯合努力(被稱為聯合視訊探索小組(JVET))，以評估由此技術領域之其專家所提議之壓縮技術設計。JVET已發佈聯合探索模型(JEM)，該聯合探索模型將在協調測試模型研究中的寫碼特徵描述為除HEVC之能力以外的潛在增強型視訊寫碼技術。在JEM中，仿射運動模型經提議用於應用於MCP。2016年2月20日至26日，美國，聖地亞哥，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊探索小組(JVET)第2次會議，文件：JVET-B1001_v3(下文中「JEM測試模型」)，JEM之最新演算法描述「Algorithm Description of Joint Exploration Test Model 2」可自phenix.it-sudparis.eu/jvet/doc_end_user/documents/2_San%20Diego/wg11/JVET-B1001-v3.zip獲得。 當使用仿射運動模型用於MCP時，視訊寫碼器可利用多個運動向量用於當前區塊，多個運動向量共同地指示當前視訊資料區塊與視訊資料之對應預測子區塊之間的仿射變換(例如，平移、按比例調整、反射、旋轉等)。舉例而言，仿射運動模型可包括指示當前區塊之左上角與對應預測子區塊之左上角之間的位移的第一二維運動向量，及指示當前區塊之右上角與對應預測子區塊之右上角之間的位移的第二二維運動向量。仿射運動模型中之運動向量可被稱為控制點運動向量(CPMV)且可參考當前區塊上之位置(亦即，控制點)。舉例而言，指示當前區塊之左上角與對應預測子區塊之左上角之間的位移的二維運動向量可被稱為當前區塊之左上CPMV。如下文進一步詳細論述，在JEM測試模型中，存在兩個框間預測模式，仿射框間(例如，AF_INTER)及仿射合併(例如，AF_MERGE)。 在仿射合併模式中，當前區塊之每一CPMV的值自正使用仿射運動模型寫碼的當前區塊之單個相鄰區塊之CPMV直接導出。換言之，在仿射合併模式中，相鄰區塊之CPMV僅經變形至當前區塊之CPMV，且不存在改變或調整仿射模型參數的靈活性。詳言之，使用MVD修改CPMV之值係不可能。 在仿射框間模式中，用於當前區塊之每一CPMV的值係基於與對應控制點相鄰的區塊的MV之值及MVD而個別地導出。判定CPMV所基於的MV之值可被稱為控制點運動向量預測子(CPMVP)。作為一個實例，當前區塊之左上CPMV的值可基於左區塊、左上區塊或鄰近於當前區塊之左上點的上方相鄰區塊中之一者的MV及MVD而導出。作為另一實例，當前區塊之右上CPMV的值可基於右上區塊或鄰近於當前區塊之右上點的上方相鄰區塊中之一者的MV及MVD而導出。 在HEVC及JEM測試模型兩者中，視訊編碼器可在位元串流中傳信MVD語法(亦即，表示MVD之彼值的語法元素)，以使得MV可在解碼器側被重建構。用以傳信MVD語法的資料量可與MVD值之大小相關。舉例而言，與具有相對較小值之MVD相比，可需要更多資料來傳信用於具有相對較大值之MVD的MVD語法。 然而，基於對應控制點的相鄰區塊之MV之值導出每一CPMV之值的當前技術可呈現一或多個缺點。作為一個實例，當前技術不利用當前區塊之仿射運動模型與相鄰區塊之仿射運動模型的相關性。 根據本發明的一或多種技術，視訊寫碼器可基於視訊資料之特定相鄰區塊的仿射運動模型之運動向量之值及當前視訊資料區塊的仿射運動模型之運動向量之值與基於相鄰視訊資料區塊之仿射運動模型導出的運動向量之值之間的差值來判定當前視訊資料區塊之仿射運動模型的運動向量之值。舉例而言，視訊寫碼器可利用相鄰區塊之CPMV作為當前區塊的CPMV之CPMVP。因為相鄰區塊之CPMV可與當前區塊之CMPV相關，因此預測子(例如，CPMVP)與當前區塊的運動向量(例如，CMPV)之間的差(MVD)可減小。以此方式，由於用以編碼差值之資料量可與差之大小成比例，因此本發明之技術可改良視訊壓縮之效率。 已在華為技術有限公司「Affine transform prediction for next generation video coding」文件ITU-T SG 16(2013研究週期)提案1016(下文中「提案1016」)中發展了四參數仿射運動模型，該提案1016可自itu.int/md/T13-SG16-C-1016/en獲得。提案1016引入下文在方程式(1)中展示的四參數仿射模型。 其中(v 0x 、v 0y )為當前區塊之左上角的CPMV且(v 1x 、v 1y )為當前區塊之右上角的CPMV，仿射運動模型(亦稱作運動向量場(MVF))可根據以下方程式(2)來表示。 上文在方程式(1)中展示的四參數仿射模型可呈現一或多個缺點。詳言之，四參數仿射運動約束x 及y 分量之仿射參數，從而強迫x 及y 分量具有對稱按比例調整性質。然而，此約束條件可能在多樣化視訊內容中並不正確。 根據本發明的一或多種技術，視訊寫碼器可選擇性地利用四參數仿射運動模型或六參數仿射運動模型。舉例而言，視訊解碼器可判定是使用上文在方程式(1)中展示的四參數仿射運動模型抑或使用下文在方程式(3)中展示的六參數仿射運動模型來寫碼當前區塊。 在一些實例中，視訊解碼器可基於顯式發信判定使用哪一仿射運動模型。舉例而言，視訊寫碼器可自位元串流解碼指示用於當前視訊資料區塊之仿射運動模型是包含四參數模型抑或包含六參數模型的語法元素。在一些實例中，可在由當前視訊資料區塊參考的視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)及圖塊標頭中之一或多者中寫碼語法元素。在一些實例中，可在包括當前視訊資料區塊的CU之寫碼單元(CU)層級處寫碼語法元素。 四參數模型之處理及/或傳信要求可低於六參數模型之處理及/或傳信要求。然而，在一些實例中，六參數模型可產生較好匹配正被寫碼之區塊的預測區塊，此可減小殘餘值之大小。因而，在一些實例中，視訊編碼器可平衡使用六參數模型編碼區塊的處理及傳信成本與區塊的所減少之殘餘值的益處，並可選擇更有利的那一模型。以此方式，本發明之技術可使用仿射運動模型進一步改良視訊壓縮之效率。 圖1為說明可利用用於執行本發明之仿射運動補償的技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示，系統10包括源裝置12，源裝置12提供待在稍後時間由目的地裝置14解碼之經編碼視訊資料。詳言之，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或類似者。在一些狀況下，源裝置12及目的地裝置14可經裝備以用於無線通信。 目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任一類型之媒體或裝置。在一個實例中，電腦可讀媒體16可包含通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於有助於自源裝置12至目的地裝置14的通信之裝備。 在一些實例中，經編碼資料可自輸出介面22輸出至儲存裝置。類似地，可由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。來自儲存裝置之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援應用(諸如，視訊串流、視訊播放、視訊廣播及/或視訊電話之應用)。 在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。根據本發明，源裝置12之視訊編碼器20可經組態以應用用於執行本發明之仿射運動補償的技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合式顯示裝置。 圖1之所說明系統10僅為一個實例。用於執行本發明之仿射運動補償之技術可藉由任何數位視訊編碼及/或解碼裝置來執行。儘管本發明之技術通常由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱為「CODEC」)執行。此外，本發明之技術亦可由視訊預處理器執行。源裝置12及目的地裝置14僅為源裝置12產生經寫碼視訊資料用於傳輸至目的地裝置14的此等寫碼裝置之實例。在一些實例中，裝置12、14可以實質上對稱之方式操作，使得裝置12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊裝置12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。 源裝置12之視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用於自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。 電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，媒體生產設施(諸如光碟衝壓設施)之計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。 目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，其亦由視訊解碼器30使用，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示裝置32將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。 視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作，諸如，高效視訊寫碼(HEVC)標準，亦被稱作ITU-T H.265。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，替代地被稱作MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之擴展來操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但 在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。 視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、處理電路(包括固定功能電路及/或可程式化處理電路)、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中的組合式編碼器/解碼器(CODEC)之部分。 大體而言，根據ITU-T H.265，可將視訊圖像劃分成可包括明度樣本及色度樣本兩者的一連串寫碼樹單元(CTU)(或最大寫碼單元(LCU))。替代地，CTU可包括單色資料(亦即，僅明度樣本)。位元串流內之語法資料可定義CTU之大小，CTU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續CTU。視訊圖像可分割成一或多個圖塊。每一CTU可根據四分樹而分裂成寫碼單元(CU)。大體而言，四分樹資料結構每CU包括一個節點，其中根節點對應於CTU。若CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。 四分樹資料結構中之每一節點可提供對應CU之語法資料。舉例而言，四分樹中之節點可包括分裂旗標，從而指示對應於該節點之CU是否分裂成子CU。針對CU之語法元素可經遞迴地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16 CU從未分裂。 除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，CTU可分裂成四個子節點(亦被稱作子CU)，且每一子節點轉而可為父節點且可分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂CTU之最大次數(其被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之內容脈絡中的CU、預測單元(PU)或變換單元(TU)，或在其他標準之內容脈絡中的類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)中之任一者。 CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且大體上為正方形形狀。CU的大小範圍可自8×8像素直至具有最大大小(例如，64×64像素或更大)之CTU之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如，矩形)形狀。 HEVC標準允許根據TU進行變換，該等變換對於不同CU可不同。TU通常基於經定義用於分割CTU的給定CU內的PU(CU的分割區)之大小而設定大小，但此可未必總是該狀況。TU通常與PU(或例如，在框內預測之狀況下，CU之分割區)有相同的大小或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。 葉CU可在使用框間預測進行預測時包括一或多個預測單元(PU)。大體而言，PU表示對應於對應CU之全部或一部分的空間區域，且可包括用於針對PU擷取及/或產生參考樣本的資料。此外，PU包括與預測有關之資料。當CU經框間模式編碼時，CU之一或多個PU可包括定義運動資訊的資料，諸如一或多個運動向量，或PU可經跳過模式寫碼。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0或清單1)。 葉CU亦可經框內模式預測。一般而言，框內預測涉及使用框內模式預測葉CU(或其分割區)。視訊寫碼器可選擇一組與葉CU相鄰的先前經寫碼像素以用以預測該葉CU(或其分割區)。 葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT (亦稱作TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一TU可進一步分裂成其他子TU。當TU未進一步分裂時，可將該TU稱作葉TU。大體而言，對於框內寫碼而言，屬於葉CU之所有葉TU共用相同之框內預測模式。即，一般應用同一框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，CU之分割區或CU自身可與CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。 此外，葉CU之TU亦可與各別四分樹資料結構(被稱作殘餘四分樹(RQT))相關聯。即，葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於CTU (或LCU)。將RQT之未被分裂的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指葉CU及葉TU。 視訊序列通常包括一系列視訊圖框或圖像，開始於隨機存取點(RAP)圖像。視訊序列可包括序列參數集(SPS)中之語法資料，其視訊序列之特性。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。 作為一實例，可針對各種大小之PU執行預測。假定特定CU之大小為2N×2N，則可對2N×2N或N×N之PU大小執行框內預測，且對2N×2N、2N×N、N×2N或N×N之對稱PU大小執行框間預測。亦可針對2N×nU、2N×nD、nL×2N及nR×2N的PU大小執行幀間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」隨後「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，例如，「2N×nU」係指水平地以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。 在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y = 16)且在水平方向上將具有16個像素(x = 16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有同一數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。 視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的狀況，但經寫碼視訊序列內通常不發生此類狀況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集之導出及運動向量按比例調整。 HEVC中之運動補償用以產生當前框間區塊之預測子。使用四分之一像素準確度運動向量且在分數位置處的像素值係使用用於明度分量及色度分量兩者的相鄰整數像素值來內插。 在HEVC中，對於每一區塊，運動資訊之集合可為可用的。運動資訊之集合含有用於前向及後向預測方向之運動資訊。在此，前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何含義；實情為其對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅僅一個參考圖像清單可供用於圖像或圖塊時，僅僅RefPicList0為可用的，且圖塊之每一區塊之運動資訊始終為前向的。 對於每一預測方向，運動資訊必須含有參考索引及運動向量。在一些狀況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平分量及垂直分量。 在HEVC標準中，對於預測單元(PU)存在兩個框間預測模式，分別命名為合併(跳過被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式。在AMVP或合併模式中，針對多個運動向量預測子維持運動向量(MV)候選清單。當前PU之運動向量(以及合併模式中之參考索引)藉由自MV候選清單獲取一個候選而產生。 MV候選清單針對合併模式含有至多五個候選且針對AMVP模式含有僅兩個候選。合併候選可含有一組運動資訊，例如，對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若由合併索引來識別合併候選，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一潛在預測方向，需要明確地將參考索引連同針對MV候選清單之MVP索引一起傳信，此係因為AMVP候選僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。 如上文可見，合併候選可對應於運動資訊之整個集合，而AMVP候選可僅含有用於特定預測方向之一個運動向量及參考索引。以類似方式自相同空間及時間相鄰區塊導出用於兩個模式之候選。用於合併及AMVP模式之空間相鄰候選的其他細節在下文中參考圖4而論述。 視訊編碼器20及視訊解碼器30可經組態以使用仿射運動模型執行運動補償。舉例而言，相較於僅僅使用具有單個二維運動向量的平移運動模型(亦即，如在HEVC中)，視訊編碼器20及視訊解碼器30可利用包括多個運動向量之仿射運動模型。下文論述使用仿射運動模型之其他細節。 在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦稱為像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換)之後變換域中的係數。殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括表示CU之殘餘資料的經量化變換係數之TU。亦即，視訊編碼器20可計算殘餘資料(以殘餘區塊之形式)、變換殘餘區塊以產生變換係數之區塊，且接著量化變換係數以形成經量化變換係數。視訊編碼器20可形成包括經量化變換係數之TU，以及其他語法資訊(例如，TU之分裂資訊)。 如上文所提及，在任何變換以產生變換係數後，視訊編碼器20可執行變換係數之量化。量化通常指變換係數經量化以可能減少用以表示變換係數的資料的量從而提供進一步壓縮之過程。該量化過程可減小與該等係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n 位元值降值捨位至m 位元值，其中n 大於m 。 在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法的上下文適應性二進位術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。 為執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸之符號。該上下文可能係關於(例如)符號之鄰近值是否為非零。為執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。概率判定可基於經指派至符號之上下文而進行。 大體而言，視訊解碼器30執行儘管與由視訊編碼器20執行之過程互逆但與其實質上類似的過程，以解碼經編碼資料。舉例而言，視訊解碼器30反量化且反變換所接收TU之係數以再生殘餘區塊。視訊解碼器30使用傳信預測模式(框內預測或框間預測)以形成經預測區塊。接著視訊解碼器30 (在逐像素基礎上)使經預測區塊與殘餘區塊組合以再生原始區塊。可執行額外處理，諸如執行解區塊過程以減少沿區塊邊界之視覺假影。另外，視訊解碼器30可以儘管與視訊編碼器20之CABAC編碼過程互逆但與其實質上類似之方式使用CABAC解碼語法元素。 視訊編碼器20可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭中將語法資料(諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料)發送至視訊解碼器30，或發送其他語法資料，諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS)。 視訊編碼器20及視訊解碼器30各自可經實施為可適用的多種合適之編碼器或解碼器電路中之任一者，諸如一或多個微處理器、處理電路(包括固定功能電路及/或可程式化處理電路)、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。 圖2為說明可實施用於執行本發明之仿射運動補償之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中的任一者。 如圖2中所展示，視訊編碼器20接收待編碼之視訊圖框內的當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64(其亦可被稱作經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重新建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解塊濾波器(圖2中未展示)以對區塊邊界濾波以自經重建構之視訊移除方塊效應假影。若需要，解塊濾波器將通常濾波求和器62之輸出。除瞭解塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此類濾波器，但若需要，此類濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。 在編碼過程期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地執行所接收視訊區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊的適當寫碼模式。 此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估計而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可首先將圖框或圖塊分割成CTU，且基於位元率-失真分析(例如，位元率-失真最佳化)來將該等CTU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將CTU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元40可選擇預測模式、框內或框間中之一者(例如，基於錯誤結果)，且將所得預測區塊提供至求和器50以產生殘餘資料且提供至求和器62以重建構經編碼區塊以作為參考圖框使用。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。 運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之過程，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為依據像素差被發現緊密地匹配於待寫碼區塊之區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差度量予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由將PU之位置與參考圖像之預測性區塊的位置比較而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊過程中使用。 視訊編碼器20可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者，並將如下文更詳細地描述。舉例而言，運動補償單元44可經組態以根據HEVC使用AMVP或合併模式寫碼視訊資料區塊之運動資訊，及/或可經組態以根據本發明之技術使用仿射框間模式或仿射合併模式寫碼仿射運動資訊或視訊資料區塊。 如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代方案，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在分開的編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測單元46(或在一些實例中為模式選擇單元40)可自測試模式中選擇適當框內預測模式來使用。 舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的位元率-失真分析來計算位元率-失真值，且在所測試之模式之中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或錯誤)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可根據不同經編碼區塊之失真及位元率來計算比率以判定哪一框內預測模式展現該區塊之最佳位元率-失真值。 在為區塊選擇框內預測模式之後，框內預測單元46可將指示用於該區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇之框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。 視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換，而不是DCT。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數區塊。該變換可將殘餘資訊自像素域轉換至變換域，諸如，頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。該量化過程可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。 在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一裝置(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。 反量化單元58及反變換單元60各別地應用反量化及反變換以重建構像素域中的殘餘區塊。詳言之，求和器62將經重建殘餘區塊添加至由運動補償單元44或框內預測單元46產生之運動補償預測區塊，以產生用於儲存於參考圖像記憶體64中之經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44使用，作為參考區塊以對後續視訊圖框中之區塊進行框間寫碼。 圖3為說明可實施用於執行本發明之仿射運動補償之技術的視訊解碼器30之實例的方塊圖。在圖3的實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。 在解碼過程期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。 當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測單元74可基於發信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B或P)圖塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。)可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。 運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中之一些以判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、用於該圖塊之參考圖像清單中之一或多者之建構資訊、用於該圖塊之每一經框間編碼視訊區塊之運動向量、用於該圖塊之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 視訊解碼器30可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者，並如將在下文更詳細地論述。舉例而言，運動補償單元72可經組態以根據HEVC使用AMVP或合併模式執行運動向量預測，及/或可經組態以根據本發明之技術使用仿射框間模式或仿射合併模式執行仿射運動資訊或視訊資料區塊。熵解碼單元70可解碼表示運動資訊如何經寫碼用於當前區塊的一或多個語法元素。 運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在編碼視訊區塊期間使用之內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用內插濾波器來產生預測性區塊。 反量化單元76反量化(亦即，解量化)位元串流中所提供，並由熵解碼單元70解碼的經量化之變換係數。反量化過程可包括使用視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY 以判定應應用的量化程度及同樣反量化程度。 反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換過程)應用於變換係數，以便在像素域中產生殘餘區塊。 在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器80表示執行此求和運算之該或該等組件。必要時，亦可應用解塊濾波器來對經解碼區塊進行濾波以便移除區塊效應假影。其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)亦可用於使像素轉變平滑，或另外改良視訊品質。接著將給定圖框或圖像中之經解碼之視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示裝置(諸如，圖1之顯示裝置32)上呈現。 圖4A及圖4B為說明高效視訊寫碼(HEVC)中之空間相鄰候選的概念圖。如上文所論述，空間MV候選可自特定PU(PU0 )之相鄰區塊導出，但自區塊產生候選的方法對於合併及AMVP模式而不同。 圖4A說明視訊寫碼器可如何在合併模式中導出空間MV候選的實例。在合併模式中，可使用圖4A上以數字展示的次序導出至多四個空間MV候選，且次序如下：左(0)、上(1)、右上(2)、左下(3)及左上(4)，如圖4A所示。 圖4B說明視訊寫碼器可如何在AVMP模式中導出空間MV候選的實例。在AVMP模式中，相鄰區塊經劃分成兩個群：由區塊0及區塊1組成之左側群，及由區塊2、區塊3及區塊4組成之上方群，如圖4B上所展示。對於每一群，參考與由傳信之參考索引指示之相同參考圖像的相鄰區塊中之潛在候選具有待選擇之最高優先權以形成該群之最終候選。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若無法發現此類候選，則將按比例調整第一可用候選以形成最終候選，因此可補償時間距離差。 圖5為說明具有四個仿射參數之兩點運動向量仿射之概念圖。如圖5中所示，表示為v 0 的(v 0x 、 v 0y )係當前區塊500之左上角502的CPMV且表示為v 1 的(v 1x 、v 1y )係當前區塊500之右上角504的CPMV。如上文所論述，當前區塊500之CMPV可形成根據上述方程式(2)表示的運動向量場(MVF)。 在JEM測試模型中，仿射運動預測僅僅應用於正方形區塊。作為自然延伸，仿射運動預測可應用於非正方形區塊。 圖6為說明仿射框間模式之概念圖。對於具有等於或大於16×16之大小的區塊(例如，CU/PU)，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)可應用如下之仿射框間(AF_INTER)模式。在一些實例中，若當前區塊(例如，當前CU/PU)在仿射框間模式中，則視訊寫碼器可在位元串流中傳信在CU/PU層級中之仿射旗標。視訊寫碼器可使用當前區塊之相鄰有效經重建區塊的運動向量建構當前區塊之候選運動向量清單。舉例而言，如實例圖6中所示，左上CPMV之候選運動向量預測子可選自區塊602A、602B及602C(亦即，與當前區塊600之左上角接觸的相鄰區塊)之運動向量。視訊寫碼器可根據參考清單及用於相鄰區塊之參考的POC、用於當前CU/PU之參考的POC及當前CU/PU之POC之間的關係按比例調整來自相鄰區塊之運動向量。視訊寫碼器可執行類似方法以自相鄰區塊602D及602E(亦即，與當前區塊600之右上角接觸的相鄰區塊)選擇右上CPMV之候選運動向量預測子。因而，在一些實例中，候選清單可表示為 。 若候選清單之數目小於臨限值(例如，二、三或四)，則視訊寫碼器可指派AMVP之候選至及。視訊寫碼器可利用當前區塊之位元率-失真最佳化(RDO)成本以判定哪一選擇作為當前區塊之控制點運動向量預測(CPMVP)。視訊寫碼器可在位元串流中傳信索引以指示CPMVP在候選清單中之位置。 基於當前仿射區塊之CPMVP，視訊寫碼器可應用仿射運動估計以判定CPMV。視訊寫碼器可寫碼位元串流中之CPMV與CPMVP之間的差之表示。 視訊寫碼器可執行如上文所描述之仿射運動補償預測以產生當前區塊之殘餘。視訊寫碼器可變換及量化當前區塊之所產生殘餘，且將經量化殘餘寫碼至位元串流中(例如，以類似於HEVC之方式)。 圖7A及圖7B為說明仿射合併模式之候選的概念圖。當將仿射合併(AF_MERGE)模式應用於當前區塊時，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)可自當前區塊之有效相鄰經重建區塊獲得以仿射模式寫碼的第一區塊。在一些實例中，視訊寫碼器可按特定選擇次序剖析相鄰經重建區塊以獲得以仿射模式寫碼的第一區塊。圖7A說明實例選擇次序。如圖7A中所示，選擇次序可如下：左區塊702A、上區塊702B、右上區塊702C、左下區塊702D至左上區塊702E。 圖7B說明其中左區塊按選擇次序為以仿射模式寫碼的第一區塊之實例。如圖7B中所示，視訊寫碼器可導出含有所選擇區塊1002A之CU/PU 704的左上角(v2)、右上角(v3)及左下角(v4)之運動向量。視訊寫碼器可基於所選擇區塊之所導出運動向量(亦即，v2、v3及v4)判定/計算當前區塊700之左上角的運動向量(亦即，v0)及當前區塊700之右上角的運動向量(亦即，v1)。 視訊寫碼器可根據上文在方程式(2)中所描述的簡化仿射運動模型基於當前區塊700之CPMV v0及v1判定當前區塊700之MVF。視訊寫碼器可使用如上文所描述之MVF應用仿射MCP。 為了識別當前區塊是否以仿射合併模式寫碼，視訊寫碼器可在存在以仿射模式寫碼的至少一個相鄰區塊時在位元串流中傳信仿射旗標。若不存在當前區塊之仿射區塊相鄰者，則視訊寫碼器可省略在位元串流中寫碼仿射旗標或可寫碼仿射旗標以指示不存在當前區塊之仿射區塊相鄰者。 如上文所論述，現有仿射運動模型方法(例如，在JEM測試模型及提案1016中)呈現若干問題及/或具有若干缺點。作為一個實例，在提案1016中，四參數仿射運動已對MVx及MVy中之仿射參數提出約束條件，從而強迫MVx及MVy具有對稱按比例調整性質。此約束條件可能在多樣化視訊內容中並不正確。 作為另一實例，仿射合併模式依賴於主要依賴於左下角及右上角的預定義檢查次序。此預定義次序已使左上角處於最低優先權，同時在以下仿射模型推導中大量地使用此角資訊。 作為另一實例，仿射合併可僅僅藉由將相鄰區塊角MV變形至當前區塊角而繼承相鄰模型。當繼承相鄰仿射模型時不存在改變或調整仿射模型參數的靈活性。 根據本發明的一或多種技術，視訊寫碼器可寫碼指示如何識別視訊資料之預測子區塊的語法元素。舉例而言，視訊寫碼器可寫碼指示是使用四參數仿射模型抑或六參數仿射模型來識別當前視訊資料區塊之視訊資料之預測子區塊的語法元素。藉由使得能夠在四參數仿射模型與六參數仿射模型之間選擇，本發明之技術可使得運動向量能夠具有非對稱按比例調整性質，此可改良寫碼效率。 在一些實例中，視訊寫碼器可寫碼在寫碼單元(CU)層級的語法元素。舉例而言，旗標可在CU層級中引入以指示是使用四參數仿射運動模型抑或六參數仿射運動模型用於CU中之當前區塊。 在一些實例中，視訊寫碼器可在藉由當前視訊資料區塊參考的跳過模式語法或合併模式語法中寫碼語法元素。舉例而言，旗標可在跳過或合併模式中引入以指示是使用四參數仿射運動模型抑或六參數仿射運動模型用於當前區塊。 在一些實例中，視訊寫碼器可在藉由當前視訊資料區塊參考的框間模式語法中寫碼語法元素。舉例而言，旗標可在框間模式(在當前區塊既非跳過模式亦非合併模式情況下)中引入以指示是使用四參數仿射運動模型抑或六參數仿射運動模型用於當前區塊。 在一些實例中，相較於僅僅指示是使用四參數仿射模型抑或六參數仿射模型識別當前視訊資料區塊的視訊資料之預測子區塊，視訊寫碼器可寫碼語法元素以指示是使用單個運動向量、四參數仿射模型、六參數仿射模型抑或可切換四/六參數仿射模型識別當前視訊資料區塊的視訊資料之預測子區塊。舉例而言，可呈現序列參數集(SPS)、圖像參數集(PPS)及/或圖塊標頭中之一個語法元素以傳信以下狀況中之哪一者用於當前序列/圖像/圖塊：1)停用仿射，2）4參數仿射，3)6參數仿射，4)4/6可切換仿射。可使用一元、截短一元或固定長度碼字寫碼語法元素。 在一些實例中，視訊寫碼器可寫碼指示用以識別視訊資料之預測子區塊的仿射模型中使用的參數之數目是否為可切換的啟用語法元素。舉例而言，視訊寫碼器可寫碼序列參數集(SPS)、圖像參數集(PPS)及/或圖塊標頭中之旗標以指示可切換仿射模型是否經啟用用於參考SPS或PPS或圖塊標頭的圖像。 在啟用語法元素指示在用以識別視訊資料之預測子區塊的仿射模型中使用的參數之數目為可切換的情況下(例如，在啟用語法元素為具有值1之旗標的情況下)，視訊寫碼器可寫碼指示是四參數抑或六參數仿射模型用以識別如上文所論述的當前視訊資料區塊的視訊資料之預測子區塊的語法元素。舉例而言，在啟用語法元素指示在用以識別視訊資料之預測子區塊的仿射模型中使用的參數之數目為可切換的情況下(例如，在啟用語法元素為具有值1之旗標的情況下)，四參數仿射模型及六參數仿射模型兩者均被啟用且用於每一區塊之額外旗標可經傳信以指示四參數模型或六參數模型的使用情況。 在啟用語法元素指示在用以識別視訊資料之預測子區塊的仿射模型中使用的參數之數目並不可切換的情況下(例如，在啟用語法元素為具有值0之旗標的情況下)，視訊寫碼器可判定四參數仿射模型被使用(亦即，在使用仿射的情況下)。在此等實例中，視訊寫碼器可省略指示是四參數抑或六參數仿射模型用以識別當前視訊資料區塊之視訊資料之預測子區塊的語法元素之寫碼。 在一些實例中，上文所描述之語法元素(亦即，仿射參數(四參數或六參數)旗標及/或啟用語法元素)中之一或多者可取決於相鄰區塊仿射參數使用情況使用CABAC上下文模型來寫碼。在一個實例中，當前仿射參數上下文索引CtxVal取決於左及上相鄰區塊。若左相鄰區塊不可用，或非仿射模式，或六參數仿射，則leftCtx 設定為等於0；否則(左可用，且六參數仿射模式)，leftCtx設定為等於1。類似計算可針對上相鄰區塊而計算以得到aboveCtx。接著，當前區塊之CtxVal設定為等於leftCtx+aboveCtx。在此狀況下，CtxVal在[0, 2]範圍內(0、2包括在內)。設定leftCtx(aboveCtx)之其他變體亦係可能的。舉例而言，若左(上)相鄰區塊不可用或並不經仿射寫碼，則leftCtx(aboveCtx)設定為等於0；若左(上)相鄰區塊正使用四參數仿射，則設定為等於1；若左(上)相鄰區塊正使用六參數仿射，則設定為等於2。在此狀況下，CtxVal在[0, 4]範圍內(0、4包括在內)。 在一些實例中，上文所描述之語法元素(亦即，仿射參數(四參數或六參數)旗標及/或啟用語法元素)中之一或多者可取決於當前區塊大小使用CABAC上下文模型來寫碼且區塊大小臨限值可用於區分不同上下文。舉例而言，上下文0用於等於或小於16×16之區塊大小；而上下文1用於大於16×16之區塊大小。臨限值可經預定義或在位元串流中傳信。區塊之大小可單獨地或聯合地由當前區塊的寬度及高度指定。舉例而言，大小可由寬度×高度之值表示。 在一些實例中，上文所描述之語法元素(亦即，仿射參數(四參數或六參數)旗標及/或啟用語法元素)中之一或多者亦可在無任何上下文之情況下使用CABAC旁路模式來寫碼。 圖8為說明根據本發明之一或多種技術的六參數仿射運動模型之概念圖。四參數仿射模型可包括兩個運動向量且六參數仿射模型可包括三個運動向量。在一些實例中，諸如當使用六參數仿射運動模型時，視訊寫碼器可針對框間模式在位元串流中寫碼三個運動向量差(MVD)。三個運動向量預測子可由相鄰運動向量產生，或自相鄰運動向量導出。相鄰運動向量可或可不為仿射運動向量。舉例而言，當前區塊中之在當前區塊800的三個角中的三個運動向量v 0 (MV0)、v 1 (MV1)及v 2 (MV2)可如圖8中所示而待寫碼。為了預測v 0 ，802A(左上)、802B(上)及802C(左)之運動向量係可能的候選。類似地，802D(上)及802E(右上)之運動向量係用於預測v 1 之可能候選，且802F(左)及802G(左下)之運動向量係用於預測v 2 之可能候選。在一些實例中，在預定義檢查次序中之每一位置的第一可用候選直接用作其預測子。 三個運動向量預測子可選自使用驗證、分選及去複製方案的組合之一清單，且僅僅前幾個K組合用作可能預測子，其中K ＞=1。在一些實例中，視訊寫碼器可使用相鄰可用運動向量產生所有預測子之完整組合。如圖8中所示，可存在總共3×2×2=12個組合。 在第一步驟中，對於每一組合，視訊寫碼器可執行驗證檢查。若MV0等於MV1且MV0等於MV2，則此組合無效；否則，此組合有效。在第二步驟中，視訊寫碼器可基於參數類似性執行分選。舉例而言，若當前區塊使用如下六參數仿射模式(其中 a、b、c、d、e及f為模型參數)，則可根據下文再現的方程式(3)表示仿射運動模型。 使用六參數仿射模型，三個角運動向量可表示如下： 圖9為說明根據本發明之一或多種技術的仿射運動向量評估之概念圖。為了評估模型正確性，本發明引入稱為估計差(ED)之參數。同時，在如圖9中所示定位於寬度之一半及高度之一半的相鄰區塊902H及902I中突出顯示的兩個相鄰區塊MV可用於評估過程中。因此，存在： 在所有組合當中，前幾個K最小ED組合可經選擇為最終預測子。以下為實例ED計算： 視訊寫碼器可將ED設定為等於上述四個元素之和。 在一些實例中，視訊寫碼器可基於仿射運動向量類似性執行分選。在一個實例中，給定三個運動向量，視訊寫碼器可使用六參數仿射模型預測第四個運動向量。預測差可添加在ED中且具有最小ED之前幾個組合可經選擇為MV預測候選。 可使用四參數仿射模型跨越其他預測子產生運動向量預測子。舉例而言，給定前兩個經重建構MV，視訊寫碼器可使用四參數仿射模型產生第三個MV預測子。舉例而言，可藉由使用上述方程式(2)基於當前區塊之MV0及MV1導出MV2之MV預測子。 在一些實例中，仿射運動向量預測子可由當前圖框內之先前經寫碼仿射運動向量產生。在一個實例中，一組N(N ＞=0)仿射運動向量可在每一圖框之開頭處經初始化，且在寫碼每一仿射區塊之後，以最近寫碼之仿射運動向量更新清單且索引經傳信以指示清單當中之所選擇仿射運動預測子。視訊寫碼器可使用截短一元，或旗標加截短一元碼來寫碼索引。 在一些實例中，一組K (K＞=0)仿射模型參數係在每一圖框之開頭處初始化。在每一仿射區塊被寫碼之後，該組參數係以經寫碼仿射模型參數來更新。舉例而言，在六參數模型中，視訊寫碼器可維持N個向量之清單，其中每一向量由具有六個元素之{ai 、bi 、ci 、di 、ei 、fi }表示。類似地，在四參數模式中，視訊寫碼器可維持M個向量{aj 、bj 、cj 、dj }之清單。應注意M及N可或可不相同。 在上文所提及之技術中，對於仿射框間模式，視訊寫碼器可藉由使用其相鄰位置之MV個別地導出仿射模型的每一MV之運動向量預測子。根據本發明的一或多種技術，當仿射運動由相鄰區塊使用時，視訊寫碼器可使用可預測當前區塊的仿射運動模型之所有MV的相鄰區塊之仿射運動模型，亦即當前仿射模型的MV0及MV1(及用於六參數模型之MV2)之預測子自相鄰區塊之仿射運動外推，且接著寫碼MVD。 可聯合地使用上文所提及之不同預測方法。舉例而言，旗標或索引可經傳信以指示使用哪一MV預測方法。在一些實例中，藉由使用上文所提及之不同預測方法導出的預測子用以產生MV預測子候選清單，且旗標或索引用以指示哪一候選用以預測當前仿射運動模型。 當使用四參數仿射運動模型時，「MV0及MV1」或「MV0及MV2」(如圖8中所示的v0及v1或v0及v2)可用以表示當前CU/PU之仿射運動。當當前CU/PU之寬度及高度不同時，某一種類之規則可用以判定使用哪一對運動向量。 在一個實例中，當寬度大於或等於(或僅大於)高度或寬度與高度之比率大於臨限值時，可使用該對MV0及MV1，否則可使用該對MV0及MV2。臨限值可為區塊大小相依或寬度/高度相依。 技術可應用於仿射合併模式及仿射框間模式兩者，或僅僅應用於其中的一者，例如，仿射合併模式。 視訊寫碼器可使用特定檢查/評估次序以選擇相鄰區塊(例如，在合併模式中)。在一些實例中，視訊寫碼器可使用以下次序來檢查用於仿射合併模式之相鄰區塊：上-＞左-＞左上-＞右上-＞左下。此次序對應於如D -＞ F -＞ A -＞ E -＞ G的圖9中之區塊。當相鄰區塊不可用或不為仿射寫碼區塊時，視訊寫碼器可應用按預定義次序之檢查直至所有五個候選被檢查為止。 在一些實例中，若不存在可用的相鄰仿射運動區塊，則視訊寫碼器可插入某些預設或預定義或經預計算仿射運動模型作為合併模式之候選。插入之模型可經初始化為圖像層級，且可在運行中經更新。 在一些實例中，若不存在有效相鄰仿射模型，則視訊寫碼器可在根據「上-＞左-＞左上-＞右上-＞左下」次序檢查相鄰區塊之後執行預設或預定義或經預計算仿射運動模型之插入。 在一些實例中，視訊寫碼器可寫碼仿射合併索引以指示哪些相鄰仿射模型經複本用於當前區塊且截短一元、或一元、或指數哥倫布、或哥倫布族碼字、或此等之串連可用以寫碼索引。 自其他資訊導出/推斷的可切換四參數及六參數仿射模型。在一些實例中，視訊寫碼器可自框間預測方向資訊導出仿射參數。對於每一區塊，若其係使用框間模式來寫碼，則預測參考圖框索引可來自refList0，或來自refList1，或refList0及refList1兩者。根據本發明的一或多種技術，當使用單向預測(自refList0預測，或自refList1預測)時，視訊寫碼器可使用其中三個運動向量差值係在位元串流中寫碼的六參數仿射模型。當使用雙向預測(自refList0及refList1兩者預測)時，視訊寫碼器可使用其中兩個運動向量差值係在位元串流中寫碼的四參數仿射模型。在此等實例中之一些中，視訊寫碼器可省略明確地指示是使用四參數抑或六參數仿射模型以識別當前視訊資料區塊的視訊資料之一或多個預測子區塊的語法元素之寫碼。 根據本發明的一或多種技術，對於雙向預測區塊，當L1ZeroMVDFlag為開啟時，視訊寫碼器可實現用於refList1之六參數仿射模型，儘管不存在所傳輸的MVD。在此狀況下，視訊寫碼器可經由藉由三個運動向量預測子建立的六參數仿射模型產生運動補償之預測子。 在一些實例中，仿射參數可自相鄰區塊導出。若大部分相鄰區塊使用四參數仿射模式，則當前區塊亦使用四參數仿射模型。類似地，當大部分相鄰區塊使用六參數仿射模型(六參數仿射之數目大於四參數仿射之數目)時，當前區塊亦使用六參數仿射模型。計數器可用以在判定大部分相鄰仿射使用情況中計算某一單元大小(對於4×4區塊)的相鄰區塊之數目。當不存在相鄰仿射模型時，六參數仿射模型用作預設模式(替代地，四參數仿射模型用作預設)。當四參數仿射模型之數目等於六參數模型之數目時，六參數仿射模型用作預設(替代地，四參數仿射模型用作預設)。 仿射模型旗標及運動向量之交叉圖框判定。根據本發明的一或多種技術，視訊寫碼器可使用交叉圖框仿射運動模型參數而非明確地傳信仿射參數旗標(四或六參數模式)或仿射運動向量資訊。在一個實例中，當前區塊自共置區塊繼承仿射參數模型旗標。共置區塊係來自相同位置但在相同時間位準處之先前經寫碼圖像中。共置區塊與當前區塊可或可不具有相同分區大小。根據本發明的一或多種技術，視訊寫碼器可檢查共置區域中之所有子區塊(在4×4之單元中)，且大部分仿射模型用於當前區塊。若共置區域中不存在仿射模型，則視訊寫碼器可明確地寫碼四或六參數切換旗標。在一些實例中，6(或4)參數仿射用作預設。在一些實例中，為減小複雜度，共置區域中之按光柵掃描次序的第一仿射子區塊被檢查且藉由當前區塊繼承。 在另一實例中，當前區塊直接自共置區塊繼承仿射運動模型參數{a、b、c、d、e、f} 或{a、b、c、d}。共置區塊係來自相同位置但在具有相同時間位準之先前經寫碼圖像中。共置區塊與當前區塊可或可不具有相同分區大小。根據本發明的一或多種技術，視訊寫碼器可檢查共置區域中之所有子區塊(在4×4之單元中)，且當前區塊繼承大部分仿射區域之運動模型參數。若共置區域中不存在仿射模式，則視訊寫碼器可明確地寫碼四或六參數切換旗標。在一些實例中，六(或四)參數仿射用作預設。在一些實例中，為減小複雜度，共置區域中之按光柵掃描次序的第一仿射子區塊被檢查且藉由當前區塊繼承。在一些實例中，以上實例之組合可一起使用。視訊寫碼器可寫碼旗標以指示此繼承是被使用抑或在不同層級(諸如PU、CU層級、PPS或SPS)中。 給定仿射參數資訊情況下的仿射運動補償。在重建構過程中，給定三個運動向量(例如，當前區塊中之角運動向量)情況下，可藉由求解方程式(4)建立六參數仿射模型。給定六參數模型情況下，每像素運動向量可藉由將像素位置(x、y)代入至方程式(3)中而計算。為減小運動補償複雜度，一個運動向量可用於每一子區塊K×K，其中K為等於或大於1之整數。代表性運動向量可使用K×K子區塊內之左上像素位置來計算，或使用K×K子區塊之中心位置來計算。大小K可經明確地傳信，或設定為預設值，或基於像素群是否共用相同運動向量而在運行中計算。 仿射運動向量寫碼。來自相鄰有效(根據仿射模型驗證)及去複製運動向量的預測子可用於識別/預測當前仿射運動向量。來自最近先前去複製寫碼仿射運動向量之預測子可經維持以識別/預測當前仿射運動向量。預測子的數目可為K，其中K為等於或大於1之整數。此等預測子形成仿射預測子清單。K可經預定義或在位元串流中傳信。 在一些實例中，上述技術中之兩者的組合可用於維持預測子清單。舉例而言，視訊寫碼器可使用來自相鄰有效(根據仿射模型驗證)及去複製運動向量的預測子以及來自最近先前去複製寫碼仿射運動向量之預測子以識別/預測當前仿射運動向量。 視訊寫碼器可在位元串流中明確地傳信預測子索引以指示預測子使用情況。三個MVD可在六參數模型之狀況下被寫碼，而兩個MVD可在四參數模型之狀況下被寫碼。 MVD可使用來自傳統MVD寫碼之不同二值化方法。在一個實例中，使用分開的上下文模型化寫碼仿射MVD。在另一實例中，仿射MVD寫碼與傳統框間MVD寫碼(亦即，如在HEVC中)共用相同MVD寫碼上下文模型化。 MVD可基於區塊中之相對位置運用四參數或六參數仿射模型針對每一MVD使用不同二值化方法。在一個實例中，仿射MVD可運用四參數或六參數仿射模型基於區塊中之相對位置使用不同上下文模型化而寫碼。 旗標可經傳信以指示在兩個方向(X方向及Y方向)中之MVD對於仿射運動向量之一者或全部是否為零以進一步改良運動向量寫碼。若此旗標(AllZeroFlag)為1，則新穎的MVD寫碼經引入以聯合地寫碼MVD_x及MVD_y。特定言之，若AllZeroFlag為1，則MVD_x及MVD_y兩者經推斷為零；否則，若MVD_x為零，則MVD_y必須為非零。在此狀況下，abs(MVD_y)-1被寫碼。換言之，對於每一運動向量，若AllZeroFlag為零，則旗標AllZeroFlag經傳信繼之以兩個MVD寫碼。對於四參數仿射，對於每一清單，寫碼兩個AllZeroFlags；而對於六參數仿射，對於每一清單，寫碼三個AllZeroFlags。 在一些實例中，AllZeroFlag可經擴展並表示在雙預測中在兩個參考清單中之所有零MVD。舉例而言，在四參數仿射中，總計兩個AllZeroFlags經寫碼用於兩個參考清單；在六參數仿射中，總計三個AllZeroFlags經寫碼用於兩個參考清單。 圖10說明重疊區塊運動補償(OBMC)之實例。在H.263之開發中提議，在8×8區塊上執行OBMC，且兩個已連接相鄰8×8區塊之運動向量用於當前區塊。舉例而言，對於當前巨集區塊中之第一8×8區塊，除了第一8×8區塊之運動向量以外，第一8×8區塊之上及左相鄰運動向量亦經應用以產生兩個額外預測區塊。類似地，對於當前巨集區塊中之第二8×8區塊，除了第二8×8區塊之運動向量以外，第二8×8區塊之上及右相鄰運動向量亦經應用以產生兩個額外預測區塊。舉例而言，在圖10的實例中，區塊1004A及區塊1004B之運動向量可用於產生用於16×16巨集區塊1000之8×8區塊1002A的額外預測區塊，且區塊1006A及區塊1006B之運動向量可用於產生用於巨集區塊1000之8×8區塊1002B的額外預測區塊。以此方式，當前8×8區塊中之每一像素可具有三個預測區塊，且此等三個預測值之加權平均可用作最終預測區塊。 當相鄰區塊未經寫碼或寫碼為框內(亦即，相鄰區塊不具有可用運動向量)時，當前8×8區塊之運動向量用作相鄰運動向量。同時，對於當前巨集區塊之第三及第四8×8區塊(如圖10中所示)，下相鄰區塊始終未被使用。舉例而言，如圖10之實例中所示，區塊1008B之運動向量不用以產生用於8×8區塊1002C的額外預測區塊，此係因為區塊1008B被認為未被寫碼，且區塊1010B之運動向量不用以產生用於8×8區塊1002D之額外預測區塊，此係因為區塊1010B被認為未被寫碼。換言之，對於每一巨集區塊，沒有來自在其下方的巨集區塊之運動資訊將在OBMC期間用以重建構當前巨集區塊之像素。 圖11A及圖11B為說明HEVC中之OBMC的概念圖。在HEVC中，在美國專利申請公開案第2013/0128974A1號及美國專利申請公開案第2012/0177120A1號中，OBMC亦經提議以校平PU邊界。圖11A及圖11B說明所提議方法之實例。在圖11A及圖11B中，白區域各自為第一PU 1102(PU0)且加陰影區域各自為第二PU 1104(PU1)。當CU含有兩個(或更多)PU時，藉由OBMC校平靠近PU邊界之線/行。對於PU0 1102或PU1 1104中之以「A」或「B」標記的像素，例如，藉由分別應用PU0及PU1之運動向量而產生兩個預測值，且其加權平均用作最終預測。 圖12A及圖12B為說明其中OBMC可應用的子區塊之概念圖。在聯合探索模型(JEM)參考軟體(可在https://jvet.hhi.fraunhofer.de/處獲得)中，應用子PU層級OBMC。OBMC經執行用於除了CU之右邊界及底部邊界之外的所有運動補償(MC)區塊邊界。此外，其應用於明度分量及色度分量兩者。在HEVC中，MC區塊對應於PU。在JEM中，當PU藉由子PU模式寫碼時，PU之每一子區塊為MC區塊。為以均勻方式處理CU/PU邊界，在子區塊層級處對於所有MC區塊邊界執行OBMC，其中子區塊大小設定為等於4×4，如圖12A及圖12B中所說明。 當OBMC適用於當前子區塊時，除了當前運動向量以外，四個連接相鄰子區塊之運動向量在其為可用且與當前運動向量不相同的情況下亦用以導出當前子區塊的預測區塊。此等基於多個運動向量之多個預測區塊經加權以產生當前子區塊之最終預測信號。 基於相鄰子區塊之運動向量的預測區塊可表示為PN ，其中N指示相鄰上、下、左及右子區塊的索引。基於當前區塊之運動向量的預測區塊可表示為PC 。當PN 屬於與PC 相同之PU(因此含有相同運動資訊)時，並不自PN 執行OBMC。否則，PN 之每一像素被添加至PC 中之相同像素，亦即PN 之四個列/行被添加至PC 。加權因子{1/4、1/8、1/16、1/32}用於PN 且加權因子{3/4、7/8、15/16、31/32} 用於PC 。例外係小MC區塊，(亦即，當PU大小等於8×4、4×8或PU係使用ATMVP模式寫碼時)，為此PN 之僅僅兩列/行被添加至PC 。在此狀況下，加權因子{1/4、1/8}可用於PN 且加權因子{3/4、7/8}用於PC 。對於基於垂直地(水平地)相鄰子區塊之運動向量產生的PN ，PN 的相同列(行)中之像素與相同加權因子一起被添加至PC 。應注意對於PU邊界，OBMC可應用於邊界的每一側上。諸如在圖12A及圖12B中，可沿PU1與PU2之間的邊界兩次應用OBMC。首先，OBMC與PU2之MV一起沿著PU1內部之邊界應用於加陰影區塊。第二，OBMC與PU1之MV一起沿著PU2內部之邊界應用於加陰影區塊。對比而言，OBMC可僅僅應用於CU邊界之一側，此係因為當寫碼當前CU時，吾人不可改變已寫碼的CU。 圖13為說明根據本發明的一或多種技術的用於藉由視訊編碼器(例如，在視訊編碼過程期間)執行仿射運動補償之實例方法的流程圖。出於實例及解釋之目的，關於圖1及圖2之視訊編碼器20描述圖13之方法。 視訊編碼器20可接收待編碼的當前視訊資料區塊(1302)。舉例而言，視訊編碼器20可自視訊源18接收包括當前視訊資料區塊的視訊資料之當前圖像的原始像素值(例如，RGB、CMYK、YUV等)。視訊編碼器20的模式選擇單元40之分割單元48可將當前圖像向上劃分成複數個區塊，該複數個區塊中的一者可為當前區塊。 視訊編碼器20可判定使用仿射運動預測編碼當前視訊資料區塊(1304)。舉例而言，模式選擇單元40可判定使用框間預測模式編碼當前視訊資料區塊，並選擇仿射運動模型作為運動資訊預測模式。模式選擇單元40可基於多種因素判定使用框間預測模式，多種因素諸如當前圖像之圖框類型(例如，P圖框、I圖框、B圖框等)，及哪一預測模式產生最低位元率-失真最佳化(RDO)成本。 視訊編碼器20可編碼當前區塊係使用仿射運動預測編碼的指示(1306)。舉例而言，模式選擇單元40可引起視訊編碼器20之熵編碼單元56在視訊位元串流中編碼指示當前區塊係使用框間預測模式編碼的一或多個語法元素，指示仿射運動模型為當前區塊之運動資訊預測模式的一或多個語法元素，及/或指示當前區塊係使用框間預測模式編碼且仿射運動模型為當前區塊之運動資訊預測模式的一或多個語法元素。 視訊編碼器20可判定當前視訊資料區塊之仿射運動模型的運動向量之值(1308)。舉例而言，視訊編碼器20的運動估計單元42及/或運動補償單元44可識別具有緊密匹配當前視訊資料區塊之像素值的像素值的視訊資料之預測子區塊。運動估計單元42及/或運動補償單元44可判定表示當前視訊資料區塊與視訊資料之預測子區塊之間的仿射變換的兩個或大於兩個運動向量。 如上文所論述，在一些實例中，運動估計單元42及/或運動補償單元44可始終使用包括兩個運動向量的四參數仿射運動模型以識別預測子區塊。類似地，在一些實例中，運動估計單元42及/或運動補償單元44可始終使用包括三個運動向量的六參數仿射運動模型以識別預測子區塊。在另外其他實例中，運動估計單元42及/或運動補償單元44可選擇性地使用包括兩個運動向量(例如，圖8之v0及v1，亦稱作MV0及MV1)之四參數仿射運動模型或包括三個運動向量(例如，圖8之v0、v1及v2，亦稱作MV0、MV1及MV2)之六參數仿射運動模型以識別預測子區塊。 在一些實例中，視訊編碼器20可編碼當前區塊係使用四參數模型抑或六參數模型寫碼的指示。舉例而言，運動估計單元42及/或運動補償單元44可引起熵編碼單元56在經編碼視訊位元串流中編碼指示當前視訊資料區塊之仿射運動模型是包含四參數模型抑或六參數模型的語法元素。在一些實例中，熵編碼單元56可在藉由當前視訊資料區塊參考的視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或圖塊標頭中之一或多者中編碼語法元素。在一些實例中，熵編碼單元56可在包括當前視訊資料區塊的CU之寫碼單元(CU)層級處編碼語法元素。 視訊編碼器20可針對當前視訊資料區塊選擇具有仿射運動模型的相鄰視訊資料區塊(1310)。舉例而言，當編碼圖8之當前區塊800時，運動估計單元42及/或運動補償單元44可按特定次序評估圖8之區塊802A至802G並按該特定次序選擇使用仿射運動補償寫碼的第一區塊(例如，具有可用仿射運動模型的第一區塊)作為所選擇相鄰視訊資料區塊。在一些實例中，當前視訊資料區塊可使用仿射框間模式來寫碼。在一些實例中，所選擇相鄰視訊資料區塊可使用仿射框間模式(例如，AF_INTER)或仿射合併模式(例如，AF_MERGE)來寫碼。 視訊編碼器20可獲得所選擇相鄰視訊資料區塊的仿射運動模型之運動向量的預測子之值(1312)。舉例而言，運動估計單元42及/或運動補償單元44可自視訊編碼器20之記憶體或儲存裝置(諸如參考圖像記憶體64)獲得所選擇相鄰視訊資料區塊的仿射運動模型之值。運動估計單元42及/或運動補償單元44可將所選擇相鄰視訊資料區塊的仿射運動模型之值變形至當前區塊之位置以導出預測子之值。換言之，運動估計單元42及/或運動補償單元44可自所選擇相鄰視訊資料區塊的仿射運動模型之值外推預測子之值。作為一個實例，在所選擇相鄰區塊為圖8之區塊802F的情況下，視訊編碼器20可獲得區塊802F的複數個運動向量之值(例如，區塊802F之CPMV的值)，並將區塊802F之該複數個運動向量的值變形至當前區塊800之位置。作為另一實例，在所選擇相鄰區塊為圖8之區塊802F的情況下，視訊編碼器20可使用區塊802F之該複數個運動向量的值(例如，區塊802F之CPMV的值)作為預測子。 視訊編碼器20可在經編碼視訊位元串流中編碼當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值之表示(1314)。舉例而言，運動估計單元42及/或運動補償單元44可針對當前區塊之仿射運動模型的每一各別運動向量判定表示當前區塊之仿射運動模型的各別運動向量之值與自所選擇相鄰區塊的仿射運動模型之運動向量導出的對應預測子之值之間的差的各別運動向量差(MVD)值。作為一個實例，在當前區塊之仿射運動模型的運動向量之值為MV0及MV1且自所選擇相鄰區塊的仿射運動模型之運動向量導出的預測子之值為MVP0及MVP1的情況下，運動估計單元42及/或運動補償單元44可將第一MVD值判定為MV0與MVP0之間的差，並將第二MVD值判定為MV1與MVP1之間的差。運動估計單元42及/或運動補償單元44可引起熵編碼單元56在經編碼視訊位元串流中編碼表示經判定MVD之值的一或多個語法元素。 在一些實例中，視訊編碼器20可進一步在經編碼視訊位元串流中編碼表示當前區塊與藉由當前區塊之仿射運動模型識別的預測子區塊之間的像素差之殘餘資料。視訊編碼器20可實施解碼器迴路以重建構當前區塊之像素值(例如，以供在預測將來區塊時使用)。舉例而言，視訊編碼器20可基於當前區塊之仿射運動模型識別預測子區塊，自參考圖像記憶體64獲得預測子區塊之像素值，並添加殘餘值至預測子區塊之像素值以重建構當前區塊之像素值。 圖14為說明根據本發明之一或多種技術的用於藉由視訊解碼器(例如，在視訊解碼過程期間)執行仿射運動補償的實例方法之流程圖。出於實例及解釋之目的，關於圖1及圖3之視訊解碼器30描述圖14之方法。 視訊解碼器30可解碼當前區塊係使用仿射運動預測編碼的一指示(1402)。舉例而言，熵解碼單元70可自視訊位元串流解碼指示當前區塊係使用框間預測模式編碼的一或多個語法元素，指示仿射運動模型為當前區塊之運動資訊預測模式的一或多個語法元素，及/或指示當前區塊係使用框間預測模式編碼且仿射運動模型為當前區塊之運動資訊預測模式的一或多個語法元素。熵解碼單元70可提供經解碼語法元素之值至運動補償單元72。 視訊解碼器30可針對當前視訊資料區塊選擇具有仿射運動模型的相鄰視訊資料區塊(1404)。舉例而言，當解碼圖8之當前區塊800時，運動補償單元72可按特定次序評估圖8之區塊802A至802G並按該特定次序選擇使用仿射運動補償寫碼的第一區塊(例如，具有可用仿射運動模型的第一區塊)作為所選擇相鄰視訊資料區塊。在一些實例中，當前視訊資料區塊可使用仿射框間模式來寫碼。在一些實例中，所選擇相鄰視訊資料區塊可使用仿射框間模式(例如，AF_INTER)或仿射合併模式(例如，AF_MERGE)來寫碼。 視訊解碼器30可獲得自所選擇相鄰視訊資料區塊的仿射運動模型之運動向量導出的預測子之值(1406)。舉例而言，運動補償單元72可自視訊解碼器30之記憶體或儲存裝置(諸如參考圖像記憶體82)獲得所選擇相鄰視訊資料區塊的仿射運動模型之值。運動補償單元72可將所選擇相鄰視訊資料區塊的仿射運動模型之值變形至當前區塊之位置以導出預測子之值。換言之，運動補償單元72可自所選擇相鄰視訊資料區塊的仿射運動模型之值外推預測子之值。作為一個實例，在所選擇相鄰區塊為圖8之區塊802F的情況下，視訊解碼器30可獲得區塊802F的複數個運動向量之值(例如，區塊802F之CPMV的值)，並將區塊802F之該複數個運動向量的值變形至當前區塊800之位置。作為另一實例，在所選擇相鄰區塊為圖8之區塊802F的情況下，視訊解碼器30可使用區塊802F之該複數個運動向量的值(例如，區塊802F之CPMV的值)作為預測子。 視訊解碼器30可自經編碼視訊位元串流解碼當前視訊資料區塊之仿射運動模型的運動向量之值與預測子之值之間的差值之表示(1408)。舉例而言，熵解碼單元70可自經編碼視訊位元串流解碼表示當前區塊之仿射運動模型的各別運動向量之值與自所選擇相鄰區塊的仿射運動模型之運動向量導出的對應預測子之值之間的差值之值的語法元素。作為一個實例，在當前區塊之仿射運動模型的運動向量之值為MV0及MV1且自所選擇相鄰區塊之仿射運動模型的運動向量導出的預測子之值為MVP0及MVP1的情況下，熵解碼單元70可解碼表示第一MVD值及第二MVD值之值的語法元素，第一MVD值為MV0與MVP0之間的差且第二MVD值為MV1與MVP1之間的差。熵解碼單元70可提供經解碼語法元素之值至運動補償單元72。 視訊解碼器30可基於預測子之值及經解碼差值來判定當前視訊資料區塊的仿射運動模型之運動向量之值(1410)。舉例而言，運動補償單元72可添加MVP0之值至第一MVD值之值以判定MV0之值並添加MVP1之值至第二MVD值之值以判定MV1之值。 視訊解碼器30可基於當前視訊資料區塊的仿射運動模型之運動向量之判定值來判定視訊資料之預測子區塊(1412)。舉例而言，運動補償單元72可自參考圖像記憶體82獲得藉由當前視訊資料區塊之仿射運動模型識別的預測子區塊之像素值。 視訊解碼器30可基於視訊資料之預測子區塊重建構當前視訊資料區塊(1414)。舉例而言，熵解碼單元70可自經編碼視訊位元串流解碼表示當前區塊與藉由當前區塊之仿射運動模型識別的預測子區塊之間的像素差之殘餘資料。運動補償單元72可添加殘餘值至預測子區塊的像素值以重建構當前區塊之像素值。 應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略(例如，並非所有所描述的動作或事件對於技術之實踐係必要的)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。 在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。並且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟和藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可以多種裝置或設備實施，該等裝置或設備包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。 各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
500‧‧‧當前區塊
502‧‧‧左上角
504‧‧‧右上角
600‧‧‧當前區塊
602A‧‧‧區塊
602B‧‧‧區塊
602C‧‧‧區塊
602D‧‧‧相鄰區塊
602E‧‧‧相鄰區塊
700‧‧‧當前區塊
702A‧‧‧左區塊
702B‧‧‧上區塊
702C‧‧‧右上區塊
702D‧‧‧左下區塊
702E‧‧‧左上區塊
704‧‧‧寫碼單元(CU)/預測單元(PU)
800‧‧‧當前區塊
802A‧‧‧區塊
802B‧‧‧區塊
802C‧‧‧區塊
802D‧‧‧區塊
802E‧‧‧區塊
802F‧‧‧區塊
802G‧‧‧區塊
900‧‧‧當前區塊
902A‧‧‧區塊
902B‧‧‧區塊
902C‧‧‧區塊
902D‧‧‧區塊
902E‧‧‧區塊
902F‧‧‧區塊
902G‧‧‧區塊
902H‧‧‧區塊
902I‧‧‧區塊
1000‧‧‧巨集區塊
1002A‧‧‧8×8區塊
1002B‧‧‧8×8區塊
1002C‧‧‧8×8區塊
1002D‧‧‧8×8區塊
1004A‧‧‧區塊
1004B‧‧‧區塊
1006A‧‧‧區塊
1006B‧‧‧區塊
1008A‧‧‧區塊
1008B‧‧‧區塊
1010A‧‧‧區塊
1010B‧‧‧區塊
1102‧‧‧第一預測單元(PU)/預測單元(PU)0
1104‧‧‧第二預測單元(PU)/預測單元(PU)1
1302‧‧‧步驟
1304‧‧‧步驟
1306‧‧‧步驟
1308‧‧‧步驟
1310‧‧‧步驟
1312‧‧‧步驟
1314‧‧‧步驟
1402‧‧‧步驟
1404‧‧‧步驟
1406‧‧‧步驟
1408‧‧‧步驟
1410‧‧‧步驟
1412‧‧‧步驟
1414‧‧‧步驟
圖1為說明可經組態以執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。 圖2為說明可經組態以執行本發明之技術的視訊編碼器之實例的方塊圖。 圖3為說明可經組態以執行本發明之技術的視訊解碼器之實例的方塊圖。 圖4A及圖4B為說明高效視訊寫碼(HEVC)中之空間相鄰候選的概念圖。 圖5為說明具有四個仿射參數之兩點運動向量仿射之概念圖。 圖6為說明仿射框間模式之概念圖。 圖7A及圖7B為說明仿射合併模式之候選的概念圖。 圖8為說明根據本發明之一或多種技術的六參數仿射運動模型之概念圖。 圖9為說明根據本發明之一或多種技術的仿射運動向量評估之概念圖。 圖10為說明H.263中之重疊區塊運動補償(OBMC)之概念圖。 圖11A及圖11B為說明在HEVC之頂部上的OBMC的概念圖。 圖12A及圖12B為說明其中OBMC可應用的子區塊之概念圖。 圖13為說明根據本發明的一或多種技術的用於藉由視訊編碼器(例如，在視訊編碼過程期間)執行仿射運動補償之實例方法的流程圖。 圖14為說明根據本發明之一或多種技術的用於藉由視訊解碼器(例如，在視訊解碼過程期間)執行仿射運動補償的實例方法之流程圖。
1402‧‧‧步驟
1404‧‧‧步驟
1406‧‧‧步驟
1408‧‧‧步驟
1410‧‧‧步驟
1412‧‧‧步驟
1414‧‧‧步驟

Claims (42)

  1. 一種用於解碼視訊資料之方法，該方法包含： 藉由一視訊解碼器之一或多個處理器且針對一當前視訊資料區塊，獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量之值； 藉由該一或多個處理器且自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量的該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值； 藉由該一或多個處理器且自一經編碼視訊位元串流解碼該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值與該等預測子之該等值之間的差的一表示； 藉由該一或多個處理器自該等預測子之該等值及該等經解碼差值判定該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值； 基於該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等經判定值判定視訊資料之一預測子區塊；及 基於視訊資料之該預測子區塊重建構該當前視訊資料區塊。
  2. 如請求項1之方法，其中該當前視訊資料區塊係使用仿射框間模式來解碼。
  3. 如請求項2之方法，其中該相鄰視訊資料區塊係使用仿射框間模式或仿射合併模式解碼。
  4. 如請求項1之方法，其中該相鄰視訊區塊包含一所選擇相鄰視訊資料區塊，且其中獲得該所選擇相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值包含： 按一預定義次序評估該當前視訊資料區塊的相鄰視訊資料區塊；及 選擇使用仿射運動補償解碼的該複數個相鄰視訊資料區塊中之一第一相鄰視訊資料區塊作為該所選擇相鄰視訊資料區塊。
  5. 如請求項1之方法，其進一步包含： 藉由該一或多個處理器判定該當前視訊資料區塊之該仿射運動模型是包含可轉換至兩個運動向量的一四參數模型抑或可轉換至三個運動向量的一六參數模型。
  6. 如請求項5之方法，其中判定用於該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型包含： 藉由該一或多個處理器且自該經編碼視訊位元串流解碼指示該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型的一語法元素。
  7. 如請求項6之方法，其中解碼該語法元素包含自藉由該當前視訊資料區塊參考的一視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)及一圖塊標頭中之一或多者解碼該語法元素。
  8. 如請求項6之方法，其中解碼該語法元素包含自包括該當前視訊資料區塊之一寫碼單元(CU)解碼該語法元素。
  9. 如請求項1之方法，該方法可在一無線通信裝置上執行，其中該裝置包含： 一記憶體，其經組態以儲存該視訊資料； 一處理器，其經組態以執行指令以處理儲存於該記憶體中之該視訊資料；及 一接收器，其經組態以接收該視訊資料且將該視訊資料儲存至該記憶體。
  10. 如請求項9之方法，其中該無線通信裝置為一蜂巢式電話，且該視訊資料藉由該接收器接收且根據一蜂巢式通信標準調變。
  11. 一種用於編碼視訊資料之方法，該方法包含： 藉由一視訊編碼器之一或多個處理器判定一當前視訊資料區塊之一仿射運動模型的運動向量之值，該仿射運動模型之該等運動向量識別該當前視訊資料區塊的視訊資料之一預測子區塊； 藉由該一或多個處理器獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量的值； 藉由該一或多個處理器且自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量的該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值；及 藉由該一或多個處理器且在一經編碼視訊位元串流中編碼該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值與該等預測子之該等值之間的差的一表示。
  12. 如請求項11之方法，其中該當前視訊資料區塊係使用仿射框間模式來編碼。
  13. 如請求項12之方法，其中該相鄰視訊資料區塊係使用仿射框間模式或仿射合併模式編碼。
  14. 如請求項11之方法，其中該相鄰視訊區塊包含一所選擇相鄰視訊資料區塊，且其中獲得該所選擇相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值包含： 按一預定義次序評估該當前視訊資料區塊的相鄰視訊資料區塊；及 選擇使用仿射運動補償解碼的該複數個相鄰視訊資料區塊中的一第一相鄰視訊資料區塊作為該所選擇相鄰視訊資料區塊。
  15. 如請求項11之方法，其進一步包含： 藉由該一或多個處理器判定該當前視訊資料區塊之該仿射運動模型是包含可轉換至兩個運動向量的一四參數模型抑或可轉換至三個運動向量的一六參數模型。
  16. 如請求項15之方法，其進一步包含： 藉由該一或多個處理器且在該經編碼視訊位元串流中編碼指示用於該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型的一語法元素。
  17. 如請求項16之方法，其中編碼該語法元素包含編碼該語法元素於藉由該當前視訊資料區塊參考的一視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或一圖塊標頭中。
  18. 如請求項16之方法，其中編碼該語法元素包含編碼該語法元素於包括該當前視訊資料區塊的一寫碼單元(CU)中。
  19. 如請求項11之方法，該方法可在一無線通信裝置上執行，其中該裝置包含： 一記憶體，其經組態以儲存該視訊資料； 一處理器，其經組態以執行指令以處理儲存於該記憶體中之該視訊資料；及 一傳輸器，其經組態以傳輸該經編碼視訊位元串流。
  20. 如請求項19之方法，其中該無線通信裝置為一蜂巢式電話，且該經編碼視訊位元串流藉由該所傳輸傳輸且根據一蜂巢式通信標準調變。
  21. 一種用於解碼一視訊資料區塊之裝置，該裝置包含： 一記憶體，其經組態以儲存該視訊資料；及 一或多個處理單元，其以電路實施並經組態以： 針對一當前視訊資料區塊獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量的值； 自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值； 自一經編碼視訊位元串流解碼該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值與該等預測子之該等值之間的差值的一表示； 自該等預測子之該等值及該等經解碼差值判定該當前視訊資料區塊的該仿射運動模型之該等運動向量之該等值； 基於該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等經判定值判定視訊資料之一預測子區塊；及 基於視訊資料之該預測子區塊重建構該當前視訊資料區塊。
  22. 如請求項21之裝置，其中該當前視訊資料區塊係使用仿射框間模式來解碼。
  23. 如請求項22之裝置，其中該相鄰視訊資料區塊係使用仿射框間模式或仿射合併模式解碼。
  24. 如請求項21之裝置，其中該相鄰視訊區塊包含一所選擇相鄰視訊資料區塊，且其中為獲得該所選擇相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值，該一或多個處理單元經組態以： 按一預定義次序評估該當前視訊資料區塊的相鄰視訊資料區塊；及 選擇使用仿射運動補償解碼的該複數個相鄰視訊資料區塊中的一第一相鄰視訊資料區塊作為該所選擇相鄰視訊資之區塊。
  25. 如請求項21之裝置，其中該一或多個處理單元經進一步組態以執行以下操作： 判定該當前視訊資料區塊之該仿射運動模型是包含可轉換至兩個運動向量的一四參數模型抑或可轉換至三個運動向量的一六參數模型。
  26. 如請求項25之裝置，其中為判定該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型，該一或多個處理單元經組態以： 自該經編碼視訊位元串流解碼指示該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型的一語法元素。
  27. 如請求項26之裝置，其中為解碼該語法元素，該一或多個處理單元經組態以自藉由該當前視訊資料區塊參考的一視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)及一圖塊標頭中之一或多者解碼該語法元素。
  28. 如請求項26之裝置，其中為解碼該語法元素，該一或多個處理單元經組態以自包括該當前視訊資料區塊的一寫碼單元(CU)解碼該語法元素。
  29. 如請求項21之裝置，其進一步包含以下各者中的至少一者： 一顯示器，其經組態以顯示該經重建構視訊資料；或 一攝影機，其經組態以俘獲該視訊資料。
  30. 如請求項21之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  31. 一種用於編碼一視訊資料區塊之裝置，該裝置包含： 一記憶體，其經組態以儲存該視訊資料；及 一或多個處理單元，其以電路實施並經組態以： 判定一當前視訊資料區塊的一仿射運動模型之運動向量之值，該仿射運動模型之該等運動向量識別該當前視訊資料區塊的視訊資料之一預測子區塊； 獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量之值； 自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值；及 在一經編碼視訊位元串流中編碼該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值與該等預測子之該等值之間的差值的一表示。
  32. 如請求項31之裝置，其中該當前視訊資料區塊係使用仿射框間模式來編碼。
  33. 如請求項32之裝置，其中該相鄰視訊資料區塊係使用仿射框間模式或仿射合併模式來編碼。
  34. 如請求項31之裝置，其中該相鄰視訊區塊包含一所選擇相鄰視訊資料區塊，且其中為獲得該所選擇相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值，該一或多個處理單元經組態以： 按一預定義次序評估該當前視訊資料區塊的相鄰視訊資料區塊；及 選擇使用仿射運動補償解碼的該複數個相鄰視訊資料區塊中的一第一相鄰視訊資料區塊作為該所選擇相鄰視訊資料區塊。
  35. 如請求項31之裝置，其中該一或多個處理單元經進一步組態以執行以下操作： 判定該當前視訊資料區塊之該仿射運動模型是包含可轉換至兩個運動向量的一四參數模型抑或可轉換至三個運動向量的一六參數模型。
  36. 如請求項35之裝置，其中該一或多個處理單元經進一步組態以執行以下操作： 在該經編碼視訊位元串流中編碼指示該當前視訊資料區塊之該仿射運動模型是包含一四參數模型抑或一六參數模型的一語法元素。
  37. 如請求項36之裝置，其中為編碼該語法元素，該一或多個處理單元經組態以編碼該語法元素於藉由該當前視訊資料區塊參考的一視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)或一圖塊標頭中。
  38. 如請求項36之裝置，其中為編碼該語法元素，該一或多個處理單元經組態以編碼該語法元素於包括該當前視訊資料區塊的一寫碼單元(CU)中。
  39. 如請求項31之裝置，其進一步包含以下各者中的至少一者： 一顯示器，其經組態以顯示該經重建構視訊資料；或 一攝影機，其經組態以俘獲該視訊資料。
  40. 如請求項31之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  41. 一種用於編碼或解碼視訊資料之裝置，該裝置包含： 用於針對一當前視訊資料區塊獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量之值的構件； 用於自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值的構件； 用於獲得該當前視訊資料區塊的該仿射運動模型之該等運動向量之該等值與該等預測子之該等值之間的差值的構件； 用於自該等預測子之該等值及該等經解碼差值判定該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等值的構件；及 用於基於該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等經判定值識別視訊資料之一預測子區塊的構件。
  42. 一種儲存指令之電腦可讀儲存媒體，該等指令當經執行時使得一視訊編碼器或一視訊解碼器的一或多個處理器執行以下操作： 針對一當前視訊資料區塊獲得一相鄰視訊資料區塊的一仿射運動模型之運動向量之值； 自該相鄰視訊資料區塊的該仿射運動模型之該等運動向量之該等值導出該當前視訊資料區塊之一仿射運動模型的運動向量之預測子之值； 獲得該當前視訊資料區塊的該仿射運動模型之該等運動向量之該等值與該等預測子之該等值之間的差值； 自該等預測子之該等值及該等經解碼差值判定該當前視訊資料區塊的該仿射運動模型之該等運動向量之該等值中之每一者；及 基於該當前視訊資料區塊之該仿射運動模型的該等運動向量之該等經判定值識別視訊資料之一預測子區塊。
TW106115009A 2016-05-16 2017-05-05 用於視訊寫碼之仿射運動預測 TWI703860B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662337301P 2016-05-16 2016-05-16
US62/337,301 2016-05-16
US15/587,044 US10560712B2 (en) 2016-05-16 2017-05-04 Affine motion prediction for video coding
US15/587,044 2017-05-04

Publications (2)

Publication Number Publication Date
TW201742465A true TW201742465A (zh) 2017-12-01
TWI703860B TWI703860B (zh) 2020-09-01

Family

ID=60297144

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115009A TWI703860B (zh) 2016-05-16 2017-05-05 用於視訊寫碼之仿射運動預測

Country Status (9)

Country Link
US (2) US10560712B2 (zh)
EP (1) EP3459249A1 (zh)
JP (1) JP6767508B2 (zh)
KR (1) KR102177089B1 (zh)
CN (2) CN115379237A (zh)
BR (1) BR112018073397A2 (zh)
CA (1) CA3020244C (zh)
TW (1) TWI703860B (zh)
WO (1) WO2017200771A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019206190A1 (en) * 2018-04-24 2019-10-31 Mediatek Inc. Storage of motion vectors for affine prediction
CN111083485A (zh) * 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
CN111436230A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
TWI702831B (zh) * 2018-01-26 2020-08-21 聯發科技股份有限公司 用於視訊編解碼系統的仿射幀間預測的方法和裝置
CN111989926A (zh) * 2018-02-26 2020-11-24 交互数字Vc控股公司 用于通用obmc的方法和装置
CN112385229A (zh) * 2018-06-29 2021-02-19 交互数字Vc控股公司 虚拟时间仿射候选
CN113039802A (zh) * 2018-11-16 2021-06-25 北京字节跳动网络技术有限公司 基于历史的仿射参数的使用
CN113056916A (zh) * 2018-11-22 2021-06-29 北京字节跳动网络技术有限公司 基于子块的运动候选的选择和信令
US11863784B2 (en) 2019-02-22 2024-01-02 Beijing Bytedance Network Technology Co., Ltd Sub-table for history-based affine mode
US11870974B2 (en) 2018-09-23 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Multiple-hypothesis affine mode
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding

Families Citing this family (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084511A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified entropy coding for sub-block based motion information list
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
CN105872539B (zh) 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
CN108781284B (zh) * 2016-03-15 2021-09-07 联发科技股份有限公司 具有仿射运动补偿的视频编解码的方法及装置
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
EP3523980A4 (en) * 2016-10-10 2019-08-14 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR IMPLEMENTING A MOTION COMPENSATION FOR CODING VIDEO DATA
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
JPWO2018131523A1 (ja) * 2017-01-12 2019-11-07 ソニー株式会社 画像処理装置および画像処理方法
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
RU2770185C2 (ru) * 2017-06-26 2022-04-14 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Множество кандидатов предсказателя для компенсации движения
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
CN116708780A (zh) 2017-08-11 2023-09-05 华为技术有限公司 视频图像编码和解码的方法、装置及设备
CA3065756A1 (en) * 2017-08-29 2019-03-07 Kt Corporation Method and device for video signal processing
WO2019050385A2 (ko) * 2017-09-07 2019-03-14 엘지전자 주식회사 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
US10841794B2 (en) * 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
WO2019066574A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10856003B2 (en) 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
US10582212B2 (en) * 2017-10-07 2020-03-03 Google Llc Warped reference motion vectors for video compression
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
CN117354541A (zh) * 2017-10-27 2024-01-05 松下电器（美国）知识产权公司 编码装置、解码装置、生成装置、发送装置和存储介质
US11503333B2 (en) 2017-11-14 2022-11-15 Qualcomm Incorporated Unified merge candidate list usage
US10735758B2 (en) * 2017-12-07 2020-08-04 Tencent America LLC Method and apparatus for video coding
CN112055205B (zh) * 2017-12-12 2021-08-03 华为技术有限公司 视频数据的帧间预测方法和装置、视频编解码器、存储介质
WO2019117659A1 (ko) * 2017-12-14 2019-06-20 엘지전자 주식회사 움직임 벡터 도출을 기반으로 하는 영상 코딩 방법 및 그 장치
WO2019135558A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US20190208211A1 (en) 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US20190222834A1 (en) * 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
CN111656783B (zh) * 2018-01-25 2024-03-08 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
US11202079B2 (en) 2018-02-05 2021-12-14 Tencent America LLC Method and apparatus for video decoding of an affine model in an intra block copy mode
EP3741121A1 (en) * 2018-02-14 2020-11-25 Huawei Technologies Co., Ltd. Adaptive interpolation filter
US11516496B2 (en) * 2018-03-21 2022-11-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
CN116781929A (zh) * 2018-04-01 2023-09-19 Lg电子株式会社 图像编码/解码设备和图像数据发送设备
EP3766247A4 (en) * 2018-04-02 2022-01-19 MediaTek Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR SUBBLOCK MOTION COMPENSATION IN VIDEO CODING SYSTEMS
WO2019194568A1 (ko) * 2018-04-03 2019-10-10 인텔렉추얼디스커버리 주식회사 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
WO2019195829A1 (en) * 2018-04-06 2019-10-10 Arris Enterprises Llc Reducing motion vector information transmission in bi-directional temporal prediction
WO2019199127A1 (ko) * 2018-04-12 2019-10-17 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102610110B1 (ko) 2018-04-13 2023-12-06 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
WO2019199152A1 (ko) * 2018-04-14 2019-10-17 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10986343B2 (en) * 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
KR20230109772A (ko) * 2018-04-24 2023-07-20 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10506251B2 (en) * 2018-05-08 2019-12-10 Tencent America LLC Method and apparatus for video coding
US11368702B2 (en) * 2018-06-04 2022-06-21 Lg Electronics, Inc. Method and device for processing video signal by using affine motion prediction
WO2019235819A1 (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
CN112567749B (zh) * 2018-06-18 2024-03-26 Lg电子株式会社 使用仿射运动预测来处理视频信号的方法和装置
WO2019244719A1 (en) * 2018-06-18 2019-12-26 Sharp Kabushiki Kaisha Systems and methods for performing affine motion compensation prediction for coding of video data
GB2589221B (en) 2018-06-19 2023-03-22 Beijing Bytedance Network Tech Co Ltd Mode dependent MVD precision set
EP3808080A4 (en) * 2018-06-20 2022-05-25 HFI Innovation Inc. MOTION VECTOR BUFFER MANAGEMENT METHOD AND APPARATUS FOR A VIDEO CODING SYSTEM
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2019244809A1 (ja) * 2018-06-21 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020003266A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
MX2020013829A (es) 2018-06-29 2022-05-18 Beijing Bytedance Network Tech Co Ltd Poda parcial/total cuando se añade un candidato a hmvp para fusión/amvp.
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
GB2588006B (en) 2018-06-29 2023-03-22 Beijing Bytedance Network Tech Co Ltd Number of motion candidates in a look up table to be checked according to mode
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
WO2020009445A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
BR112020026992A2 (pt) 2018-07-02 2021-04-06 Huawei Technologies Co., Ltd. Método de predição de vetor de movimento e aparelho relacionado
US20200021836A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for ordering and selection of affine merge candidates in motion compensation
BR112021000349A2 (pt) * 2018-07-11 2021-04-06 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo, e método correspondente
US10462488B1 (en) * 2018-07-13 2019-10-29 Tencent America LLC Method and apparatus for video coding
KR20230151045A (ko) 2018-07-13 2023-10-31 엘지전자 주식회사 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US10805624B2 (en) * 2018-07-16 2020-10-13 Tencent America LLC Determination of parameters of an affine model
US11032563B2 (en) * 2018-07-17 2021-06-08 Tencent America LLC Method and apparatus for affine model prediction
WO2020018152A1 (en) * 2018-07-17 2020-01-23 Futurewei Technologies, Inc. Motion model signaling
US10958934B2 (en) * 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
BR122021006490A2 (pt) * 2018-08-09 2021-05-18 Lg Electronics Inc. método de decodificação de imagem com base na predição de movimento afim e dispositivo usando lista de candidatos à fusão afins no sistema de codificação de imagem
CN117499672A (zh) * 2018-08-27 2024-02-02 华为技术有限公司 一种视频图像预测方法及装置
SG11202102005PA (en) 2018-08-28 2021-04-29 Huawei Tech Co Ltd Method for constructing candidate motion information list, inter prediction method, and apparatus
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
US11184635B2 (en) 2018-08-31 2021-11-23 Tencent America LLC Method and apparatus for video coding with motion vector constraints
US11310520B2 (en) 2018-09-04 2022-04-19 Hfi Innovation Inc. Method and apparatus of motion-vector rounding unification for video coding system
CN116647696A (zh) 2018-09-06 2023-08-25 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN110891179B (zh) * 2018-09-08 2023-11-14 北京字节跳动网络技术有限公司 计算运动矢量预测值
CN110891176B (zh) 2018-09-10 2023-01-13 华为技术有限公司 基于仿射运动模型的运动矢量预测方法及设备
SI3700216T1 (sl) * 2018-09-10 2022-11-30 Lg Electronics Inc., Kodiranje slike na podlagi afinega napovedovanja gibanja z uporabo seznama afinih kandidatov mvp
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
SI3681161T1 (sl) * 2018-09-12 2024-03-29 Lg Electronics Inc., Postopek za dekodiranje in kodiranje slik z napravo na podlagi napovedovanja gibanja v enoti podbloka v sistemu za kodiranje slik
CN112806011A (zh) * 2018-09-13 2021-05-14 交互数字Vc控股公司 改进的虚拟时间仿射候选
TWI827681B (zh) * 2018-09-19 2024-01-01 大陸商北京字節跳動網絡技術有限公司 具有自適應運動矢量分辨率的仿射模式的語法重用
US10834417B2 (en) * 2018-09-21 2020-11-10 Tencent America LLC Method and apparatus for video coding
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
GB2597616B (en) * 2018-09-21 2023-01-18 Canon Kk Video coding and decoding
GB2579763B (en) 2018-09-21 2021-06-09 Canon Kk Video coding and decoding
GB2589735B (en) * 2018-09-21 2021-12-01 Canon Kk Video coding and decoding
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
US11595639B2 (en) 2018-09-21 2023-02-28 Lg Electronics Inc. Method and apparatus for processing video signals using affine prediction
TWI822862B (zh) 2018-09-23 2023-11-21 大陸商北京字節跳動網絡技術有限公司 8參數仿射模型
CN110944206B (zh) * 2018-09-23 2023-05-26 北京字节跳动网络技术有限公司 涉及仿射运动的一般应用
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
TWI826542B (zh) * 2018-09-26 2023-12-21 大陸商北京字節跳動網絡技術有限公司 模式依賴的仿射繼承
US20210400298A1 (en) * 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
EP3861746A1 (en) * 2018-10-04 2021-08-11 InterDigital VC Holdings, Inc. Block size based motion vector coding in affine mode
CN112956201B (zh) 2018-10-08 2024-03-29 Lg电子株式会社 使用句法来执行编码的句法设计方法和设备
SG11202103601RA (en) * 2018-10-10 2021-05-28 Interdigital Vc Holdings Inc Affine mode signaling in video encoding and decoding
GB2595054B (en) * 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
GB2578150C (en) 2018-10-18 2022-05-18 Canon Kk Video coding and decoding
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
CN112913240A (zh) * 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置
WO2020085953A1 (en) * 2018-10-25 2020-04-30 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for inter prediction
CN111131822B (zh) 2018-10-31 2023-08-01 北京字节跳动网络技术有限公司 具有从邻域导出的运动信息的重叠块运动补偿
KR20230155014A (ko) * 2018-11-02 2023-11-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보 저장을 위한 표 유지
WO2020094010A1 (en) 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Prediction precision improvements video coding
CN111434110B (zh) * 2018-11-06 2023-06-20 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和存储介质
US11212521B2 (en) * 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding
CN112997495B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 当前图片参考中的取整
US11736713B2 (en) * 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector
CN112997496A (zh) * 2018-11-14 2021-06-18 北京字节跳动网络技术有限公司 仿射预测模式的改进
CN112997487A (zh) * 2018-11-15 2021-06-18 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
CN113016185B (zh) 2018-11-17 2024-04-05 北京字节跳动网络技术有限公司 以运动矢量差分模式控制Merge
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
CN117528076A (zh) 2018-11-22 2024-02-06 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
US20200169757A1 (en) * 2018-11-23 2020-05-28 Mediatek Inc. Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
EP3871410A4 (en) * 2018-11-29 2021-12-22 Beijing Bytedance Network Technology Co., Ltd. INTERACTION BETWEEN AN INTRABLOCK COPY MODE AND INTERPRETATION TOOLS
US11115652B2 (en) * 2018-12-07 2021-09-07 Tencent America LLC Method and apparatus for further improved context design for prediction mode and coded block flag (CBF)
WO2020114516A1 (en) * 2018-12-08 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Reducing the line-buffer storage required by affine inheritance
TW202101982A (zh) * 2018-12-14 2021-01-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法、及解碼方法
US11876957B2 (en) * 2018-12-18 2024-01-16 Lg Electronics Inc. Method and apparatus for processing video data
GB2580084B (en) 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
EP4277275A3 (en) * 2018-12-21 2023-12-13 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
WO2020125754A1 (en) * 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation using higher bit-depth precision
EP3868107A4 (en) * 2018-12-21 2021-12-15 Beijing Bytedance Network Technology Co. Ltd. MOTION VECTOR ACCURACY IN INTERACTING WITH MOTION VECTOR DIFFERENCE MODE
EP3886438A4 (en) * 2018-12-24 2022-01-19 Huawei Technologies Co., Ltd. FLAG BIT CONTEXT MODELING METHOD AND APPARATUS
CN111355961B (zh) * 2018-12-24 2023-11-03 华为技术有限公司 一种帧间预测的方法和装置
WO2020137850A1 (ja) * 2018-12-28 2020-07-02 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US11102476B2 (en) * 2018-12-28 2021-08-24 Qualcomm Incorporated Subblock based affine motion model
WO2020143772A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Affine based merge with mvd
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
US11025951B2 (en) * 2019-01-13 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN111435993B (zh) * 2019-01-14 2022-08-26 华为技术有限公司 视频编码器、视频解码器及相应方法
CN113330739A (zh) * 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN113316933A (zh) * 2019-01-17 2021-08-27 北京字节跳动网络技术有限公司 使用运动预测进行去方块滤波
US10904553B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
JP7235877B2 (ja) 2019-01-31 2023-03-08 北京字節跳動網絡技術有限公司 アフィンモード適応型動きベクトル解像度を符号化するためのコンテキスト
CN111526362B (zh) * 2019-02-01 2023-12-29 华为技术有限公司 帧间预测方法和装置
WO2020164543A1 (en) 2019-02-13 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Motion prediction based on shared merge list
CN113508593A (zh) * 2019-02-27 2021-10-15 北京字节跳动网络技术有限公司 基于回退的运动矢量场的基于子块运动矢量推导
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
WO2020187198A1 (en) * 2019-03-17 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement based on optical flow
US11343525B2 (en) 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
EP3928521A4 (en) 2019-04-02 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. BIDIRECTIONAL OPTICAL FLOW BASED VIDEO ENCODING AND DECODING
WO2020207475A1 (en) * 2019-04-12 2020-10-15 Mediatek Inc. Method and apparatus of simplified affine subblock process for video coding system
KR20210152470A (ko) 2019-04-19 2021-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 모션 벡터 정제의 그레디언트 계산
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
KR20210152567A (ko) * 2019-04-25 2021-12-15 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
MX2021013057A (es) * 2019-04-25 2021-12-10 Op Solutions Llc Se?alizacion del vector de movimiento global en la cabecera de la imagen.
KR20220002990A (ko) * 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 인터 예측에서의 글로벌 모션 제약 모션 벡터
EP3959885A4 (en) * 2019-04-25 2022-07-20 OP Solutions, LLC MODELS OF GLOBAL MOTION FOR MOTION VECTOR INTERPREDICTION
JP2022529510A (ja) * 2019-04-25 2022-06-22 オーピー ソリューションズ， エルエルシー 大域的運動を伴うフレームにおける選択的運動ベクトル予測候補
KR20220002991A (ko) 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 글로벌 모션을 갖는 프레임들에서의 적응적 모션 벡터 예측 후보들
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
CN113853793B (zh) * 2019-05-21 2023-12-19 北京字节跳动网络技术有限公司 基于光流的帧间编码的语法信令
CN114175658A (zh) * 2019-05-26 2022-03-11 北京达佳互联信息技术有限公司 用于改进视频编解码中的运动估计的方法和装置
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
EP3979649A4 (en) * 2019-06-14 2023-06-07 Hyundai Motor Company METHOD AND DEVICE FOR VIDEO CODING AND DECODING USING INTER PREDICTION
WO2020251325A1 (ko) * 2019-06-14 2020-12-17 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
EP4011082A4 (en) * 2019-08-08 2023-10-25 Fg Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
WO2021052507A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
CN112204973A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码的方法与装置
KR20220065880A (ko) * 2019-09-30 2022-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
KR20220065879A (ko) * 2019-09-30 2022-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 Dct 기반 보간 필터의 사용
CN114450958B (zh) * 2019-09-30 2023-08-22 华为技术有限公司 用于减小增强插值滤波器的内存带宽的仿射运动模型限制
EP4054192A4 (en) * 2019-10-31 2023-12-20 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO CODING METHOD AND APPARATUS FOR PERFORMING INTER PREDICTION ACCORDING TO AN AFFINE MODEL
JP2023508133A (ja) * 2019-12-24 2023-03-01 インターデジタル ブイシー ホールディングス フランス 空間予測子走査順序
CN111050168B (zh) * 2019-12-27 2021-07-13 浙江大华技术股份有限公司 仿射预测方法及其相关装置
CN114930840A (zh) * 2020-01-07 2022-08-19 华为技术有限公司 增强型插值滤波器的运动矢量范围的推导
KR102587601B1 (ko) 2021-01-20 2023-10-10 조창용 커피 및 귀리와 메밀껍질액상발효액을 포함하는 커피막걸리 제조방법 및 그에 의해 제조되는 커피막걸리
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
CN117337409A (zh) * 2021-06-17 2024-01-02 Sage电致变色显示有限公司 电致变色玻璃的基于叠层电压的闭环反馈控制
US20230164351A1 (en) * 2021-11-19 2023-05-25 Tencent America LLC Methods and devices for refining motion vector candidates
US11943448B2 (en) * 2021-11-22 2024-03-26 Tencent America LLC Joint coding of motion vector difference
WO2023177799A1 (en) * 2022-03-16 2023-09-21 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive picture modifications for video coding
WO2023219616A1 (en) * 2022-05-11 2023-11-16 Google Llc Local motion extension in video coding
US20240015303A1 (en) * 2022-07-06 2024-01-11 Tencent America LLC Local warp motion prediction modes

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6738423B1 (en) * 2000-01-21 2004-05-18 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US6711211B1 (en) * 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
CA2574127A1 (en) 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
AU2005286786B2 (en) * 2004-09-21 2010-02-11 Euclid Discoveries, Llc Apparatus and method for processing video data
JP2012080151A (ja) * 2009-02-09 2012-04-19 Toshiba Corp 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
WO2011013253A1 (ja) 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
CN106231332B (zh) * 2010-04-13 2020-04-14 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP2596636A1 (en) * 2010-07-21 2013-05-29 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
CN106878726B (zh) 2010-10-08 2020-01-17 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
US9071851B2 (en) 2011-01-10 2015-06-30 Qualcomm Incorporated Adaptively performing smoothing operations
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9736498B2 (en) 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN105594215B (zh) 2013-10-11 2019-04-23 夏普株式会社 颜色信息和色度信令
US10116933B2 (en) * 2013-10-14 2018-10-30 Mediatek Inc. Method of lossless mode signaling for video system with lossless and lossy coding
JP6345805B2 (ja) 2014-05-06 2018-06-20 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． Ｉｎｔｒａブロックコピーモード符号化のブロックベクトル予測の方法
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN107734335B (zh) 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
EP3200461A4 (en) 2014-10-31 2017-10-18 Samsung Electronics Co., Ltd. Video encoding device and video decoding device using high-precision skip encoding and method thereof
EP3264762A4 (en) 2015-03-10 2018-05-02 Huawei Technologies Co., Ltd. Image prediction method and related device
CN104935938B (zh) * 2015-07-15 2018-03-30 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
WO2017051072A1 (en) 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video
KR20180048736A (ko) 2015-09-24 2018-05-10 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR102365164B1 (ko) * 2015-10-13 2022-02-18 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
US11082713B2 (en) 2015-11-20 2021-08-03 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
US10798403B2 (en) 2016-01-29 2020-10-06 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
EP3457694A4 (en) 2016-05-24 2019-05-22 Huawei Technologies Co., Ltd. IMAGE FORECASTING METHOD AND ASSOCIATED DEVICE
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702831B (zh) * 2018-01-26 2020-08-21 聯發科技股份有限公司 用於視訊編解碼系統的仿射幀間預測的方法和裝置
US11356657B2 (en) 2018-01-26 2022-06-07 Hfi Innovation Inc. Method and apparatus of affine inter prediction for video coding system
CN111989926A (zh) * 2018-02-26 2020-11-24 交互数字Vc控股公司 用于通用obmc的方法和装置
US11451816B2 (en) 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
WO2019206190A1 (en) * 2018-04-24 2019-10-31 Mediatek Inc. Storage of motion vectors for affine prediction
CN112385229A (zh) * 2018-06-29 2021-02-19 交互数字Vc控股公司 虚拟时间仿射候选
US11909953B2 (en) 2018-09-23 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Representation of affine model
US11870974B2 (en) 2018-09-23 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Multiple-hypothesis affine mode
CN111083485A (zh) * 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
CN111436230A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
US20210266584A1 (en) 2018-11-16 2021-08-26 Beijing Bytedance Network Technology Co., Ltd. Usage for history-based affine parameters
US11856211B2 (en) 2018-11-16 2023-12-26 Beijing Bytedance Network Technology Co., Ltd Usage for history-based affine parameters
US11902550B2 (en) 2018-11-16 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Pruning method for history-based affine parameters
CN113039802A (zh) * 2018-11-16 2021-06-25 北京字节跳动网络技术有限公司 基于历史的仿射参数的使用
CN113056916A (zh) * 2018-11-22 2021-06-29 北京字节跳动网络技术有限公司 基于子块的运动候选的选择和信令
US11863784B2 (en) 2019-02-22 2024-01-02 Beijing Bytedance Network Technology Co., Ltd Sub-table for history-based affine mode
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction

Also Published As

Publication number Publication date
JP2019519980A (ja) 2019-07-11
TWI703860B (zh) 2020-09-01
KR102177089B1 (ko) 2020-11-10
BR112018073397A2 (pt) 2019-03-19
CA3020244A1 (en) 2017-11-23
US11503324B2 (en) 2022-11-15
US20200145688A1 (en) 2020-05-07
KR20190006967A (ko) 2019-01-21
CN109155855B (zh) 2022-09-20
CN109155855A (zh) 2019-01-04
WO2017200771A1 (en) 2017-11-23
CA3020244C (en) 2023-01-03
US20170332095A1 (en) 2017-11-16
EP3459249A1 (en) 2019-03-27
JP6767508B2 (ja) 2020-10-14
US10560712B2 (en) 2020-02-11
CN115379237A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
TWI703860B (zh) 用於視訊寫碼之仿射運動預測
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
RU2705428C2 (ru) Вывод информации движения для подблоков при видеокодировании
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
TWI750415B (zh) 用於視頻寫碼之寫碼仿射預測移動資訊
CN112956190B (zh) 仿射运动预测
TWI719053B (zh) 內區塊複製合併模式及不可用內區塊複製參考區域之填充
TWI696382B (zh) 以子預測單元為基礎之先進時間運動向量預測
US10715810B2 (en) Simplified local illumination compensation
TW201941605A (zh) 用於視訊寫碼之區塊內複製
CN113039787A (zh) 解码器侧运动矢量细化
JP2020511859A (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
WO2018126163A1 (en) Motion vector generation for affine motion model for video coding
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
TW201703531A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW201340724A (zh) 視訊寫碼中之像差向量預測
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
TW201735635A (zh) 用於螢幕內容寫碼及多層寫碼之加權預測
TW202038614A (zh) 用於視訊寫碼之空間時間運動向量預測圖案
TW202025727A (zh) 向量預測器清單之產生
CN114073079A (zh) 带有运动信息采集缓冲器的运动矢量预测
CN117837143A (zh) 用于解码器侧运动矢量细化的自适应双边匹配