TW201830966A - 用於雙向光學流（ｂｉｏ）之運動向量重建 - Google Patents

用於雙向光學流（ｂｉｏ）之運動向量重建 Download PDF

Info

Publication number
TW201830966A
TW201830966A TW107100393A TW107100393A TW201830966A TW 201830966 A TW201830966 A TW 201830966A TW 107100393 A TW107100393 A TW 107100393A TW 107100393 A TW107100393 A TW 107100393A TW 201830966 A TW201830966 A TW 201830966A
Authority
TW
Taiwan
Prior art keywords
block
sub
predictive
video data
bio
Prior art date
Application number
TW107100393A
Other languages
English (en)
Other versions
TWI761415B (zh
Inventor
陳義文
莊孝強
李想
章立
錢威俊
陳建樂
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201830966A publication Critical patent/TW201830966A/zh
Application granted granted Critical
Publication of TWI761415B publication Critical patent/TWI761415B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

對於一雙向框間預測區塊，一視訊解碼器經組態以：使用一第一MV將一第一預測性區塊定位於一第一參考圖像中；使用一第二MV將一第二預測性區塊定位於一第二參考圖像中；針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量；基於該第一BIO運動量判定用於視訊資料區塊之一第一最終預測性子區塊；針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量；基於該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊；及基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊。

Description

用於雙向光學流（ＢＩＯ）之運動向量重建
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、進階視訊寫碼(AVC)、ITU-T H.265/高效率視訊寫碼(HEVC)所定義之標準及此等標準之延伸中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊截塊(例如，視訊圖框或視訊圖框之部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。 空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差的殘餘資料編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料編碼經框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，其接著可被量化。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多的壓縮。
大體而言，本發明描述關於視訊寫碼中之雙向光學流(BIO)之技術。本發明之技術可結合諸如高效率視訊寫碼(HEVC)之現有視訊編解碼器而使用，或為用於未來視訊寫碼標準之高效寫碼工具。 根據本發明之一個實例，一種解碼視訊資料之方法包括：判定使用一雙向框間預測模式編碼一視訊資料區塊；判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像；判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像；使用該第一MV將一第一預測性區塊定位於該第一參考圖像中；使用該第二MV將一第二預測性區塊定位於該第二參考圖像中；針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量；基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊；針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量；基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊；基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。 根據本發明之另一實例，一種用於解碼視訊資料之器件包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：判定使用一雙向框間預測模式編碼一視訊資料區塊；判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像；判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像；使用該第一MV將一第一預測性區塊定位於該第一參考圖像中；使用該第二MV將一第二預測性區塊定位於該第二參考圖像中；針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量；基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊；針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量；基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊；基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。 根據本發明之另一實例，一種電腦可讀儲存媒體儲存在由一或多個處理器執行時致使該一或多個處理器進行以下操作之指令：判定使用一雙向框間預測模式編碼一視訊資料區塊；判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像；判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像；使用該第一MV將一第一預測性區塊定位於該第一參考圖像中；使用該第二MV將一第二預測性區塊定位於該第二參考圖像中；針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量；基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊；針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量；基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊；基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。 根據本發明之另一實例，一種用於解碼視訊資料之裝置包括：用於判定使用一雙向框間預測模式編碼一視訊資料區塊的構件；用於判定用於該區塊之一第一運動向量(MV)的構件，其中該第一MV指向一第一參考圖像；用於判定用於該區塊之一第二MV的構件，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像；用於使用該第一MV將一第一預測性區塊定位於該第一參考圖像中的構件；用於使用該第二MV將一第二預測性區塊定位於該第二參考圖像中的構件；用於針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量的構件；用於基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊的構件；用於針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量的構件；用於基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊的構件；用於基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊的構件；及用於輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像的構件。 下文在隨附圖式及實施方式中闡述本發明之一或多個態樣之細節。本發明中所描述之技術之其他特徵、目標及優點將自實施方式、圖式及申請專利範圍顯而易見。
本申請案主張以下各者之權益： 2017年1月4日申請之美國臨時專利申請案第62/442,357號；及 2017年1月11日申請之美國臨時專利申請案第62/445,152號， 該等美國臨時專利申請案兩者之全部內容以引用的方式併入本文中。 大體而言，本發明之技術係關於雙向光學流(BIO)視訊寫碼技術之改良。可在運動補償期間應用BIO。如最初所提議，BIO用以基於光學流軌跡修改用於雙向預測經框間寫碼區塊之預測性樣本值，以便判定較佳預測性區塊，例如，更接近地匹配於原始視訊資料區塊之預測性區塊。可單獨地或以任何組合應用本發明之各種技術，以例如在運動補償期間判定當預測視訊資料區塊時何時及是否執行BIO。 如本發明中所使用，術語視訊寫碼一般係指視訊編碼或視訊解碼。相似地，術語視訊寫碼器一般可指視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可適用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。又，視訊編碼器通常執行視訊解碼以作為判定如何編碼視訊資料之程序之部分。因此，除非有明確相反陳述，否則不應假定關於視訊解碼所描述之技術亦無法由視訊編碼器執行，或反之亦然。 本發明亦可使用諸如當前層、當前區塊、當前圖像、當前截塊等等之術語。在本發明之上下文中，術語當前意欲識別當前正被寫碼之區塊、圖像、截塊等等，此與例如先前或已經寫碼之區塊、圖像及截塊或尚待寫碼之區塊、圖像及截塊相對。 大體而言，圖像被劃分成區塊，該等區塊中之每一者可被預測性地寫碼。視訊寫碼器可使用框內預測技術(使用來自包括當前區塊之圖像的資料)、框間預測技術(使用來自相對於包括當前區塊之圖像之經先前寫碼圖像的資料)或諸如框內區塊複本、調色盤模式、字典模式等等之其他技術預測當前區塊。框間預測包括單向預測及雙向預測兩者。 對於每一框間預測區塊，視訊寫碼器可判定一運動資訊集合。該運動資訊集合可含有用於前向及後向預測方向之運動資訊。此處，前向及後向預測方向為雙向預測模式之兩個預測方向。術語「前向」及「後向」未必具有幾何結構含義。代替地，該等術語通常對應於將在當前圖像之前(「後向)抑或之後(「前向」)顯示參考圖像。在一些實例中，「前向」及「後向」預測方向可對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅一個參考圖像清單可用於圖像或截塊時，僅RefPicList0可用且截塊之每一區塊之運動資訊始終參考RefPicList0之圖像(例如，為前向)。 在一些狀況下，運動向量連同對應參考索引一起可用於解碼程序中。具有關聯參考索引之此運動向量被表示為單預測性運動資訊集合。 對於每一預測方向，運動資訊含有一參考索引及一運動向量。在一些狀況下，出於簡單起見，可以假定運動向量具有關聯參考索引的方式參考該運動向量自身。參考索引可用以識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平(x)及垂直(y)分量。大體而言，水平分量指示參考圖像內相對於當前圖像中之當前區塊之位置的水平位移，需要水平位移來定位參考區塊之x座標，而垂直分量指示參考圖像內相對於當前區塊之位置的垂直位移，需要垂直位移來定位參考區塊之y座標。 圖像次序計數(POC)值廣泛地用於視訊寫碼標準中以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的狀況，但經寫碼視訊序列內通常不會發生此狀況。因此，圖像之POC值通常係唯一的，且因此可唯一地識別對應圖像。當位元串流中存在多個經寫碼視訊序列時，在解碼次序方面，具有相同POC值之圖像可彼此較接近。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集合導出，及運動向量按比例調整。 2015年6月，波蘭華沙，ITU-電信標準化部門，研究團體16問題6，視訊寫碼專家團體(VCEG)，VCEG-AZ05，E. Alshina, A. Alshina, J.-H. Min, K. Choi, A. Saxena, M. Budagavi之「Known tools performance investigation for next generation video coding」(在下文中為「Alshina 1」)，及2010年，日本名古屋，圖像寫碼討論會(PCS)，A. Alshina, E. Alshina, T. Lee之「Bi-directional optical flow for improving motion compensation」(在下文中為「Alshina 2」)，描述了被稱為雙向光學流(BIO)之方法。BIO係基於像素層級光學流。根據Alshina 1及Alshina 2，BIO僅應用於具有前向及後向預測兩者之區塊。下文概述如Alshina 1及Alshina 2中所描述之BIO： 在給出時間t時之像素值的情況下，像素值之一階泰勒展開式為 位於之運動軌跡上。亦即，公式中考慮自至之運動。 在光學流之假定下：假設，(梯度)，且方程式(A)變為在將及視為移動速度的情況下，可使用及表示該等移動速度。 因此，方程式(B)變為假設時之前向參考及時之後向參考，且則：進一步假定且，此係由於運動係沿著該軌跡。因此，方程式(D)變為其中、可基於經重建參考予以計算。由於為常規雙預測，故在下文中出於方便起見而被稱為BIO偏移。及係藉由最小化以下失真而在編碼器及解碼器兩者處導出：在導出及的情況下，運用方程式(E)計算區塊之最終預測。及出於方便起見而被稱為「BIO運動」。 大體而言，視訊寫碼器在運動補償期間執行BIO。亦即，在視訊寫碼器判定用於當前區塊之運動向量之後，視訊寫碼器使用相對於運動向量之運動補償來產生用於當前區塊之預測區塊。大體而言，運動向量識別參考圖像中參考區塊相對於當前區塊之位置。當執行BIO時，視訊寫碼器針對當前區塊在每像素基礎上修改運動向量。亦即，根據BIO，視訊寫碼器判定對用於當前區塊之運動向量的每像素修改，且建構參考區塊使得參考區塊包括由運動向量識別之參考像素及針對當前區塊之對應像素的每像素修改，而非擷取參考區塊之每一像素作為區塊單元。因此，BIO可用以產生用於當前區塊之較準確參考區塊。 圖1為繪示可利用用於雙向光學流之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示，系統10包括源器件12，源器件12提供稍後將由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下，源器件12及目的地器件14可經裝備以用於無線通信。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料可根據諸如無線通信協定之通信標準予以調變，且被傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成諸如區域網路、廣域網路或諸如網際網路之全域網路的基於封包之網路之部分。通信媒體可包括路由器、交換器、基地台，或可有用於促進自源器件12至目的地器件14之通信之任何其他設備。 在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。相似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本機存取資料儲存媒體中之任一者，諸如硬碟、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件可對應於可儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件，或本機磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)或此兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如：空中電視廣播；有線電視傳輸；衛星電視傳輸；網際網路串流視訊傳輸，諸如經由HTTP之動態調適性串流(DASH)；編碼至資料儲存媒體上之數位視訊；儲存於資料儲存媒體上之數位視訊之解碼；或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸來支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於雙向光學流之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自諸如外部攝影機之外部視訊源18接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。 圖1之所繪示系統10僅僅為一個實例。用於雙向光學流之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常係由視訊編碼器件執行，但該等技術亦可由通常被稱作「編解碼器」之視訊編碼器/解碼器執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅僅為此等寫碼器件之實例，其中源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中，器件12、14可以實質上對稱方式而操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳播，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊捕捉器件，諸如視訊攝影機、含有經先前捕捉視訊之視訊檔案庫，及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為一另外替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或產生實況視訊、存檔視訊及電腦產生視訊之組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術大體上可適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可由視訊編碼器20編碼經捕捉、經預捕捉或電腦產生視訊。接著可由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。 電腦可讀媒體16可包括：暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件14，例如經由網路傳輸。相似地，諸如光碟衝壓設施之媒體生產設施之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用，該語法資訊包括描述視訊資料之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264/AVC (進階視訊寫碼)或高效率視訊寫碼(HEVC)之一或多個視訊寫碼標準而操作，該一或多個視訊寫碼標準亦被稱作ITU-T H.265。H.264被描述於2011年6月國際電信聯盟之「Advanced video coding for generic audiovisual services」，SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽服務之基礎結構-移動視訊之寫碼，H.264。H.265被描述於2015年4月國際電信聯盟之「High efficiency video coding」，SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽服務之基礎結構-移動視訊之寫碼。本發明之技術亦可作為高效寫碼工具而應用於任何其他先前或未來視訊寫碼標準。 其他視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及H.264之可調式視訊寫碼(SVC)與多視圖視訊寫碼(MVC)延伸，以及HEVC之延伸，諸如範圍延伸、多視圖延伸(MV-HEVC)及可調式延伸(SHVC)。在2015年4月，視訊寫碼專家團體(VCEG)開始了目標為下一代視訊寫碼標準之新研究計劃。參考軟體被稱為HM-KTA。 ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現在正研究針對壓縮能力顯著地超過當前HEVC標準(包括HEVC之當前延伸及針對螢幕內容寫碼及高動態範圍寫碼之近期延伸)之壓縮能力之未來視訊寫碼技術之標準化的潛在需要。該等團體在被稱為聯合視訊探索團隊(JVET)之聯合合作工作中正共同致力於此探索活動，以評估由其在此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次開會。可自下者下載參考軟體之最新版本，亦即，聯合探索模型3 (JEM 3)： https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM- 16.6-JEM-4.0/ 聯合探索測試模型3 (JEM3)之演算法描述可被稱作JVET-D1001。 本發明中描述某些視訊寫碼技術，諸如與本發明之技術相關的H.264及HEVC之視訊寫碼技術。可參考H.264及/或HEVC來描述本發明之某些技術以輔助理解，但所描述之技術未必限於H.264或HEVC且可結合其他寫碼標準及其他寫碼工具而使用。 儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。適用時，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。 在HEVC及其他視訊寫碼規格中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，被表示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(亦即，區塊)。SCb 為Cb彩度樣本之二維陣列。SCr 為Cr彩度樣本之二維陣列。彩度樣本在本文中亦可被稱作「色度」樣本。在其他情況下，圖像可為單色的且可僅包括明度樣本陣列。 為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)集合。該等CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可大致類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。截塊可包括按光柵掃描次序連續地排序之整數數目個CTU。 CTB含有四元樹，四元樹之節點為寫碼單元。CTB之大小可在HEVC主規範中之16×16至64×64的範圍內(但技術上可支援8×8 CTB大小)。寫碼單元(CU)可具有與CTB之大小相同的大小，但可為且小至8×8。每一寫碼單元係運用一個模式被寫碼。當CU被框間寫碼時，CU可被進一步分割成2或4個預測單元(PU)，或在進一步分割不適用時變為僅僅一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。 為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四元樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此名稱為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用以寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。 視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為被應用相同預測之樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可產生用於CU之每一PU之明度、Cb及Cr預測區塊的預測性明度、Cb及Cr區塊。 視訊編碼器20可使用框內預測或框間預測來產生用於PU之預測性區塊。若視訊編碼器20使用框內預測來產生用於PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於除了與PU相關聯之圖像以外的一或多個圖像之經解碼樣本產生PU之預測性區塊。當CU被框間寫碼時，針對每一PU可存在一個運動資訊集合。另外，每一PU可運用唯一框間預測模式被寫碼以導出運動資訊集合。 在視訊編碼器20產生用於CU之一或多個PU的預測性明度、Cb及Cr區塊之後，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。 此外，視訊編碼器20可使用四元樹分割以將CU之明度、Cb及Cr殘餘區塊分解為一或多個明度、Cb及Cr變換區塊。變換區塊為被應用相同變換之樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與一明度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用以變換該變換區塊之樣本的語法結構。 視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生用於TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於TU之Cr係數區塊。 在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化通常係指量化變換係數以可能地縮減用以表示變換係數之資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(CABAC)。 視訊編碼器20可輸出包括形成經寫碼圖像及關聯資料之表示之位元序列的位元串流。位元串流可包含NAL單元序列。NAL單元為含有NAL單元中之資料之類型之指示的語法結構，及含有呈視需要而穿插有仿真阻止位元之RBSP形式之彼資料的位元組。該等NAL單元中之每一者包括一NAL單元標頭且囊封一RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。 不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於PPS之RBSP，第二類型之NAL單元可囊封用於經寫碼截塊之RBSP，第三類型之NAL單元可囊封用於SEI訊息之RBSP等等。囊封用於視訊寫碼資料之RBSP (與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素重建視訊資料圖像。用以重建視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將用於當前CU之PU的預測性區塊之樣本與當前CU之TU的變換區塊之對應樣本相加來重建當前CU之寫碼區塊。藉由重建用於圖像之每一CU的寫碼區塊，視訊解碼器30可重建圖像。 根據本發明之技術，視訊編碼器20及/或視訊解碼器30可在運動補償期間進一步執行BIO技術，如下文更詳細地所論述。 適用時，視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可被整合為組合式編碼器/解碼器(編解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器，及/或無線通信器件，諸如蜂巢式電話。 圖2為將單側運動估計(ME)之實例繪示為經執行用於運動補償圖框速率向上轉換(MC-FRUC)之區塊匹配演算法(BMA)的概念圖。大體而言，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)藉由搜尋用於當前圖框100之當前區塊106的來自參考圖框102之最佳匹配區塊(例如，參考區塊108)而執行單側ME以獲得運動向量(MV)，諸如MV 112。接著，視訊寫碼器在經內插圖框104中沿著運動向量112之運動軌跡內插經內插區塊110。亦即，在圖2之實例中，運動向量112穿過當前區塊106、參考區塊108及經內插區塊110之中點。 如圖2所展示，在運動軌跡之後涉及三個圖框中之三個區塊。儘管當前圖框100中之當前區塊106屬於經寫碼區塊，但參考圖框102中之最佳匹配區塊(亦即，參考區塊108)無需完全屬於經寫碼區塊(亦即，最佳匹配區塊可能並不落在經寫碼區塊邊界上，而是可能與此邊界重疊)。同樣地，經內插圖框104中之經內插區塊110無需完全屬於經寫碼區塊。因此，區塊之重疊區域及未填充(孔)區域可出現於經內插圖框104中。 為了處置重疊，簡單FRUC演算法可涉及平均化及覆寫重疊像素。此外，孔可由來自參考或當前圖框之像素值覆蓋。然而，此等演算法可引起區塊假影及模糊。因此，運動場分段、使用離散哈特萊(Hartley)變換之連續外插及影像修復可用以處置孔及重疊而不增加區塊假影及模糊。 圖3為將雙側ME之實例繪示為經執行用於MC-FRUC之BMA的概念圖。雙側ME為可用以避免由重疊及孔造成之問題的另一解決方案(在MC-FRUC中)。執行雙側ME之視訊寫碼器(諸如視訊編碼器20及/或視訊解碼器30)使用當前圖框120之當前區塊126與參考圖框122之參考區塊128之間的時間對稱性獲得穿過經內插圖框124 (其在當前圖框120與參考圖框122中間)之經內插區塊130的MV 132、134。因此，視訊寫碼器不會在經內插圖框124中產生重疊及孔。假定當前區塊126為視訊寫碼器按某一次序處理之區塊，例如，如在視訊寫碼之狀況下，則此等區塊之序列將涵蓋整個中間圖像而無重疊。舉例而言，在視訊寫碼之狀況下，可按解碼次序處理區塊。因此，若可在視訊寫碼架構中考慮FRUC想法，則此方法可更合適。 2009年，影像信號處理國際大會(CISP)，S.-F. Tu, O. C. Au, Y. Wu, E. Luo and C.-H. Yeun之「A Novel Framework for Frame Rate Up Conversion by Predictive Variable Block-Size Motion Estimated Optical Flow」，描述了用於圖框速率向上轉換之混合式區塊層級運動估計及像素層級光學流方法。Tu陳述了混合式場景比任一個別方法更佳。 在HEVC標準中，存在兩個框間預測模式，被命名為合併模式(其中跳過模式被視為合併模式之特殊狀況)及進階運動向量預測(AMVP)模式。在AMVP或合併模式任一者中，視訊寫碼器維持用於多個運動向量預測子之MV候選者清單。視訊寫碼器判定用於特定PU之運動向量，以及合併模式中之參考索引，正自MV候選者清單選擇候選者。 在HEVC中，MV候選者清單含有用於合併模式之高達5個候選者及用於AMVP模式之僅兩個候選者。其他寫碼標準可包括更多或更少候選者。合併候選者可含有運動資訊集合，例如，對應於兩個參考圖像清單(清單0及清單1)及參考索引之運動向量。視訊解碼器接收由合併索引識別之合併候選者，且視訊解碼器使用經識別參考圖像及運動向量預測當前PU。然而，對於AMVP模式，針對自清單0或清單1之每一潛在預測方向，需要明確地將參考索引連同MV預測子(MVP)索引一起傳信至MV候選者清單，此係由於AMVP候選者僅含有運動向量。在AMVP模式中，可進一步改進預測運動向量。 合併候選者對應於運動資訊全集，而AMVP候選者僅僅含有用於特定預測方向及參考索引之一個運動向量。相似地自相同空間及時間相鄰區塊導出用於兩個模式之候選者。 圖4A展示用於合併模式之空間相鄰MV候選者，且圖4B展示用於AMVP模式之空間相鄰MV候選者。對於特定PU (PU0 )，自圖4A及圖4B所展示之相鄰區塊導出空間MV候選者，但自區塊產生候選者之方法對於合併及AMVP模式而言不同。 在合併模式中，可按圖4A所展示之次序導出高達四個空間MV候選者。排序如下：左側(0)、上方(1)、右上方(2)、左下方(3)及左上方(4)，如圖4A所展示。若所有空間MV候選者0至3皆係可用且唯一的，則視訊寫碼器可能不會在候選者清單中包括用於左上方區塊之運動資訊。然而，若空間MV候選者0至3中之一或多者係不可用或不唯一的，則視訊寫碼器可能會在候選者清單中包括用於左上方區塊之運動資訊。 在AVMP模式中，相鄰區塊被劃分成兩個群組：由區塊0及1組成之左側群組，及由區塊2、3及4組成之上方群組，如圖4B所展示。對於每一群組，參考與由經傳信參考索引指示之參考圖像是同一個參考圖像的相鄰區塊中之潛在候選者具有最高優先級以被選擇來形成群組之最終候選者。有可能的是，所有相鄰區塊皆不含有指向同一參考圖像之運動向量。因此，若無法找到此候選者，則將按比例調整第一可用候選者以形成最終候選者，因此可補償時間距離差。 圖5A展示TMVP候選者之實例，且圖5B展示MV按比例調整之實例。時間運動向量預測子(TMVP)候選者在被啟用且可用的情況下在空間運動向量候選者之後添加至MV候選者清單中。用於TMVP候選者之運動向量導出程序對於合併及AMVP模式兩者而言相同，然而，用於合併模式中之TMVP候選者之目標參考索引始終被設定為0。 用於TMVP候選者導出之主要區塊位置為共置型PU外部之右底部區塊，如在圖5A中被展示為區塊「T」，以補償用以產生空間相鄰候選者之上方及左側區塊的偏置。然而，若彼區塊定位於當前CTB列外部或運動資訊不可用，則該區塊被PU之中心區塊取代。 用於TMVP候選者之運動向量係自截塊層級中所指示的共置型圖像之共置型PU導出。用於共置型PU之運動向量被稱為共置型MV。相似於AVC中之時間直接模式，為了導出TMVP候選者運動向量，需要按比例調整共置型MV以補償時間距離差，如圖5B所展示。 HEVC亦利用運動向量按比例調整。假定在呈現時間上運動向量之值與圖像之距離成比例。運動向量使兩個圖像相關聯：參考圖像，及含有運動向量之圖像(即，包容圖像(containing picture))。當利用一運動向量以預測另一運動向量時，基於POC值計算包容圖像與參考圖像之距離。 對於待預測之運動向量，運動向量之關聯包容圖像及參考圖像兩者可能不同。因此，計算新距離(基於POC)，且基於此等兩個POC距離按比例調整運動向量。對於空間相鄰候選者，用於兩個運動向量之包容圖像相同，而參考圖像不同。在HEVC中，對於空間及時間相鄰候選者，運動向量按比例調整適用於TMVP及AMVP兩者。 HEVC亦利用人工運動向量候選者產生。若運動向量候選者清單不完整，則產生人工運動向量候選者且將其插入於該清單之末端處，直至運動向量候選者清單中之所有可用項目具有候選者。在合併模式中，存在兩個類型之人工MV候選者：僅針對B-截塊導出之組合式候選者；及僅針對AMVP使用之零候選者，若第一類型未提供足夠人工候選者。對於已經在候選者清單中且具有必要運動資訊之每一對候選者，藉由參考清單0中之圖像的第一候選者之運動向量與參考清單1中之圖像的第二候選者之運動向量的組合來導出雙向組合式運動向量候選者。 HEVC亦利用剪除程序進行候選者插入。來自不同區塊之候選者可能會恰巧相同，此會減低合併/AMVP候選者清單之效率。可應用剪除程序以解決此問題。剪除程序比較當前候選者清單中之一個候選者與其他候選者以避免插入相同候選者。為了縮減複雜性，可應用僅有限數目次剪除程序，而非比較每一潛在候選者與所有其他現有候選者。作為一個實例，視訊寫碼器可將剪除程序應用於空間及時間相鄰候選者，但不應用於人工產生之候選者。 現在將描述JEM中之雙向光學流之態樣。圖6展示光學流軌跡之實例。BIO利用在雙預測之狀況下對逐區塊運動補償之頂部執行的逐像素運動改進。因為BIO補償區塊內部之精細運動，所以啟用BIO可有效地引起用於運動補償之區塊大小增大。樣本層級運動改進並不需要竭盡式搜尋或傳信，而是利用針對每一樣本給出精細運動向量之明確方程式。 假設為補償區塊運動之後的來自參考k (k =0, 1)之明度值，且、分別為梯度之水平分量及垂直分量。假定光學流有效，則運動向量場係由以下方程式給出。 (1) 針對每一樣本之運動軌跡組合光學流方程式與厄米特(Hermite)內插，吾人得到最終匹配於函數值及導數、兩者之唯一三階多項式。在t =0時的此多項式之值為BIO預測：。 (2) 此處，及表示至參考圖框之距離，如圖6所展示。距離及係針對Ref0及Ref1基於POC予以計算：t0 =POC(當前)-POC(Ref0)，t1 = POC(Ref1)- POC(當前)。若預測兩者皆來自同一時間方向(兩者皆來自過去或兩者皆來自未來)，則正負號不同，。在此狀況下，僅在預測並非來自同一時刻()時才應用BIO，參考區域兩者皆具有非零運動(、、、)，且區塊運動向量與時間距離成比例()。 亦被稱作BIO運動之量的運動向量場(,)係藉由最小化點A與點B (圖6上的運動軌跡與參考圖框平面之相交點)之值之間的差予以判定。模型僅將局域泰勒展開式之第一線性項用於：(3) (1)中之所有值取決於樣本位置(,)，其迄今為止被省略。假定運動在局域周圍係一致的，則定中心於當前預測點()之(2M+1)×(2M+1)正方形窗Ω內部的可被如下最小化：(4) 對於此最佳化問題，可使用在垂直方向上且接著在水平方向上進行第一次最小化之簡化解決方案，此會產生：(5)(6) 其中，；；；；(7) 為了避免除以零或極小值，在方程式(2)、(3)中引入正規化參數r 及m 。(8)(9) 此處，為輸入視訊之內部位元深度。 在一些狀況下，BIO之MV改進可能歸因於雜訊或不規則運動而不可靠。因此，在BIO中，將MV改進之量值裁剪至某一臨限值thBIO。該臨限值係基於當前圖像之所有參考圖像是否皆來自一個方向予以判定。若當前圖像之當前圖像之所有參考圖像皆來自一個方向，則臨限值之值可被設定為，否則，臨限值可被設定為。 使用與HEVC運動補償程序一致之操作而在運動補償內插的同時計算用於BIO之梯度(2D可分離FIR)。根據區塊運動向量之分數部分，用於此2D可分離FIR之輸入為與用於運動補償程序及分數位置(fracX ,fracY )之參考圖框樣本相同的參考圖框樣本。在水平梯度信號首先使用對應於解按比例調整移位為d -8之分數位置fracY 之BIOfilterS 垂直地內插的狀況下，則在對應於解按比例調整移位為18-d 之分數位置fracX 的水平方向上應用梯度濾波器BIOfilterG 。在使用對應於解按比例調整移位為d -8之分數位置fracY 之BIOfilterG 垂直地應用垂直梯度第一梯度濾波器的狀況下，則使用BIOfilterS 在對應於解按比例調整移位為18-d 之分數位置fracX 的水平方向上執行信號位移。用於梯度計算BIOfilterG及信號位移BIOfilterF之內插濾波器的長度較短(6-分接頭)以便維持合理的複雜性。表1展示用於BIO中之區塊運動向量之不同分數位置之梯度計算的濾波器。表2展示用於BIO中之預測信號產生的內插濾波器。 圖7展示用於8×4區塊之梯度計算之實例。對於8×4區塊，視訊寫碼器提取運動補償預測子且計算當前區塊內之所有像素以及外部兩行像素的HOR/VER梯度，此係因為針對每一像素求解vx及vy會需要定中心於每一像素之窗Ω內的像素之HOR/VER梯度值及運動補償預測子，如方程式(4)中所展示。在JEM中，此窗之大小被設定為5×5。因此，視訊寫碼器需要提取運動補償預測子且計算用於外部兩行像素之梯度。表 1 ：用於 BIO 中之梯度計算的濾波器 表 2 ：用於 BIO 中之預測信號產生的內插濾波器 在JEM中，當兩個預測來自不同參考圖像時，將BIO應用於所有雙向預測區塊。當針對CU啟用LIC時，停用BIO。 圖8展示JVET-D0042中所提議的用於8×4區塊之經修改BIO之實例。在第4次JVET會議中，提交了提議JVET-D0042 (A. Alshina, E. Alshina，「AHG6: On BIO memory bandwidth」，JVET-D0042，2016年10月)以修改BIO操作且縮減記憶體存取頻寬。在此提議中，對於當前區塊外部之像素無需運動補償預測子及梯度值。此外，針對每一像素求解vx及vy被修改為使用當前區塊內之所有像素之運動補償預測子及梯度值，如圖8所展示。換言之，方程式(4)中之正方形窗Ω被修改為等於當前區塊之窗。此外，考慮加權因數w(i',j')用於導出vx及vy。w(i',j')為窗內的中心像素(i,j)之位置及像素(I',j')之位置的函數。；；；；(10) 現在將描述JEM中之重疊區塊運動補償(OBMC)之態樣。OBMC已用於早期幾代視訊標準，例如，如在H.263中。在JEM中，針對所有運動補償(MC)區塊邊界執行OBMC，惟CU之右側及底部邊界除外。此外，OBMC可應用於明度及色度分量兩者。在JEM中，MC區塊對應於寫碼區塊。當CU係運用子CU模式被寫碼(包括子CU合併、仿射及FRUC模式，如2016年10月J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce在「Algorithm Description of Joint Exploration Test Model 4」，JVET-D1001中所描述)時，CU之每一子區塊為一MC區塊。為了按統一方式處理CU邊界，針對所有MC區塊邊界在子區塊層級處執行OBMC，其中子區塊大小被設定為等於4×4，如圖9A及圖9B所繪示。 當OBMC應用於當前子區塊時，除了當前運動向量以外，四個連接相鄰子區塊之運動向量在可用且不相同於當前運動向量的情況下亦用以導出用於當前子區塊之預測區塊。組合基於多個運動向量之此等多個預測區塊以產生當前子區塊之最終預測信號。 如圖10所展示，基於相鄰子區塊之運動向量的預測區塊被表示為PN ，其中N 指示用於相鄰上方 、下方 、左側 及右側 子區塊之索引，且基於當前子區塊之運動向量的預測區塊被表示為PC 。當PN 係基於含有與當前子區塊相同之運動資訊的相鄰子區塊之運動資訊時，不自PN 執行OBMC。否則，將PN 之每一像素與PC 中之同一像素相加，亦即，將PN 中之四列/四行與PC 相加。加權因數{1/4, 1/8, 1/16, 1/32}用於PN ，且加權因數{3/4, 7/8, 15/16, 31/32}用於PC 。例外狀況為小MC區塊，(亦即，當寫碼區塊之高度或寬度等於4或CU係運用子CU模式被寫碼時)，對於該等小MC區塊，將PN 之僅兩列/兩行與PC 相加。在此狀況下，加權因數{1/4, 1/8}用於PN ，且加權因數{3/4, 7/8}用於PC 。對於基於垂直(水平)相鄰子區塊之運動向量而產生的PN ，以相同加權因數將PN 之同一列(行)中的像素與PC 相加。BIO亦可應用於導出預測區塊PN 。 在JEM中，對於大小小於或等於256個明度樣本之CU，傳信CU層級旗標以指示是否針對當前CU應用OBMC。對於大小大於256個明度樣本或未運用AMVP模式被寫碼之CU，根據預設而應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段期間考量其影響。藉由使用頂部相鄰區塊及左側相鄰區塊之運動資訊的預測信號用以補償當前CU之原始信號之頂部及左側邊界，且接著應用正常運動估計程序。 儘管BIO在JEM4.0中潛在地提供多於1%的Bjøntegaard-Delta位元速率(BD-速率)縮減，但BIO亦潛在地引入顯著的計算複雜性且可針對編碼器及解碼器兩者迫使記憶體頻寬增加。本發明描述可潛在地縮減與BIO相關聯之計算複雜性及所需記憶體頻寬的技術。作為一個實例，根據本發明之技術，視訊寫碼器可在子區塊層級上判定BIO運動量，例如上文所描述之vx及vy值，且使用彼經判定BIO運動量以逐樣本地修改預測性區塊之樣本值。因此，本發明之技術可藉由允許視訊編碼器及視訊解碼器達成BIO之寫碼增益而不會造成BIO之現有實施方案所需要的實質處理及記憶體負擔來改良該等視訊編碼器及視訊解碼器。 基於方程式(4)，本發明引入用於藉由重新定義窗Ω來縮減BIO之複雜性的技術。此等技術可例如由視訊編碼器20 (例如，運動估計單元42及/或運動補償單元44)或由視訊解碼器30 (例如，運動補償單元72)執行。窗Ω被定義為當前區塊內覆蓋大小為M×N之當前像素的任何區塊，其中M及N為任何正整數。在一個實例中，當前區塊被劃分成非重疊子區塊，且窗Ω被定義為覆蓋當前像素之子區塊。在如圖11所展示之另一實例中，子區塊被定義為覆蓋當前像素之用於運動向量儲存之最小區塊。在HEVC及JEM中，最小區塊大小為4×4。在另一實例中，根據諸如當前區塊大小、寫碼模式之寫碼資訊，窗Ω之大小係調適性的。當當前區塊大小較大時，可使用較大窗Ω。當當前區塊被寫碼為諸如子CU合併、仿射及FRUC模式之子區塊模式時，窗Ω被設定為子區塊。 圖11展示根據本發明之技術的用於8×4區塊之所提議BIO之實例，其中窗Ω用於像素A、B及C。根據本發明之技術，可使用相等加權來求解vx及vy，如方程式(7)中所展示。在另一實例中，可使用不等加權來求解vx及vy，如方程式(10)中所展示。不等加權可為中心像素與關聯像素之間的距離的函數。而在另一實例中，可使用雙側途徑計算加權，如例如在https://en.wikipedia.org/wiki/Bilateral_filter所描述。此外，可使用查找表以針對方程式(7)中之窗Ω儲存用於每一像素之所有加權因數。 在另一實例中，當導出用於OBMC之PN 時，在使用相鄰者運動導出預測子時僅針對部分像素執行BIO。在一個實例中，在導出PN 時針對所有像素全部停用BIO。在又一實例中，僅在外部兩行中之像素上應用BIO，如圖12A至圖12D所展示。 此外，對於每一區塊，可在SPS/PPS之截塊層級中明確地傳信多少行應用BIO。亦可在SPS/PPS之截塊層級中明確地傳信停用抑或部分地停用BIO。 另一方面，多少行應用BIO可隱含地基於某些寫碼條件，諸如CU模式(子區塊模式或非子區塊模式)或區塊大小或其他工具之組合，諸如所傳信之照明補償(IC)旗標。亦可基於某些條件隱含地導出停用抑或部分地停用BIO，諸如CU模式(子區塊模式或非子區塊模式)或區塊大小或其他工具之組合，諸如所傳信之IC旗標。 圖12A至圖12D展示根據本發明之技術的OBMC上之所提議簡化BIO之實例，其中x表示在無BIO之情況下導出的預測子，且o表示在有BIO之情況下導出的預測子。自BIO之運動向量改進可為基於區塊的。假設區塊大小為M乘N，則在計算方程式(7)中之項期間可使用加權函數以將不同比例因數提供至不同位置之像素。當求解方程式(5)及(6)時，可使用經內插像素及其自整個區塊搜集之梯度值來聯合地求解vx及vy，而非針對每一像素位置個別地求解vx及vy。 在一個實例中，窗大小Ω可被定義為定中心於每一像素位置之運行窗，且使用藉由將來自所有位置之值求和所得的平均值。特定言之，；；；；(11) 其中N為每一子區塊中之像素數目，且Ωk 為針對每一像素所定義之窗。在一個實例中，Ωk 可為用於每一像素的定義於當前BIO設計中之5×5窗，且因此可提前判定加權函數。圖13中展示用於具有5×5窗之4×4子區塊之加權函數之實例。圖13展示用於具有5×5窗之4×4子區塊之加權函數之實例。 在另一實例中，可在SPS、PPS或截塊標頭中發送加權函數。為了縮減傳信成本，可儲存預定義加權函數集合，且僅需要傳信加權函數之索引。 在另一實例中，可使用處於子區塊之中心部分的像素得出經改進運動向量。可使用內插濾波器計算中心像素之梯度值，且可將大小為M乘N之窗應用於經內插像素以將不同權重提供至中心像素，以便計算方程式(7)中之變數s1至s6。在一個實例中，可計算中心點之梯度值，且可使用中心點之平均值(相等權重窗)。在另一實例中，可使用中值濾波器來選擇代表性像素以計算方程式(7)中之變數s1至s6。 在JVET-D0042中，當求解BIO偏移時，可將每一像素之窗大小修改為整個當前區塊，此在當前區塊大於或等於8×4時潛在地增加當前設計之計算複雜性。修改之最差狀況為，將128×128窗用於128×128區塊內之每一像素的梯度及預測子之累積。 此外，當一個CU內之子區塊共用同一MV或一個經框間寫碼CU被劃分成較小子區塊以用於運動補償(MC)時，JEM-4.0在針對每一子區塊並行地執行MC及BIO或針對具有同一MV之子區塊聚集之較大區塊一次性執行MC及BIO方面提供靈活性。對於任一方式，JEM-4.0提供相同寫碼結果。然而，JVET-D0042中之經修改BIO利用區塊大小相依梯度計算及加權因數，使得針對兩個相鄰相同運動區塊聯合地或單獨地執行MC及BIO可產生不同結果。為了避免不同結果，必須規定解碼器應在區塊層級或某一子區塊層級處執行MC及BIO。此約束對於實際編解碼器實施方案而言可能太嚴格且不合乎需要。 基於方程式(4)，可藉由重新定義窗Ω進一步縮減BIO之複雜性。定義兩種類型之窗Ω；一者為非重疊窗，且另一者為滑動窗。對於非重疊窗類型，當前區塊被劃分成非重疊子區塊，且窗Ω被定義為覆蓋當前像素之子區塊，如圖11所展示。對於滑動窗類型，窗Ω被定義為定中心於當前像素之區塊，如圖7所展示。 對於兩種類型之窗Ω，可使用如下文所說明之不同方法判定窗Ω之大小。在下文中，可假定窗Ω為大小為M×N之矩形區塊，其中M及N可為任何非負整數，諸如(4×4、8×8、16×16、8×4等等)。窗Ω並不限於矩形形狀，且可為諸如菱形形狀之任何其他形狀。適用時，所描述技術亦可應用於除了矩形形狀以外之形狀。 窗之大小可為固定或可變的，且可被預定或在位元串流中被傳信。當大小被傳信時，該大小可在序列參數集(SPS)、圖像參數集(PPS)、截塊標頭中或在CTU層級處被傳信。窗大小可根據以下方程式藉由運動補償(MC)區塊之大小聯合地判定。 水平窗大小M= min ( M, MC_Size)； 垂直窗大小N= min ( N, MC_Size)。 在一個實例中，運動補償(MC)區塊純粹地取決於諸如當前區塊大小及寫碼模式之寫碼資訊。舉例而言，當當前CU係運用諸如子CU合併、仿射及FRUC模式之非子區塊模式被寫碼時，運動補償(MC)區塊被設定為整個CU。當使用諸如子CU合併、仿射及FRUC模式之子區塊模式時，運動補償(MC)區塊被設定為子區塊，而不管子區塊是否具有相同運動資訊。 在另一實例中，運動補償(MC)區塊被定義為CU內具有相同MV之樣本區塊。在此狀況下，當當前CU係運用諸如子CU合併、仿射及FRUC模式之非子區塊模式被寫碼時，運動補償(MC)區塊被設定為整個CU。當CU係運用諸如子CU合併、仿射及FRUC模式之子區塊模式被寫碼時，具有相同運動資訊之子區塊被合併為具有某一掃描次序之子區塊的運動補償(MC)區塊。 調適性大小：根據諸如當前區塊大小、寫碼模式之寫碼資訊，窗Ω之大小係調適性的。在一個實例中，當當前區塊被寫碼為諸如子CU合併、仿射及FRUC模式之非子區塊模式時，窗Ω被設定為整個當前區塊或當前區塊之四分之一；且當當前區塊被寫碼為子區塊模式時，窗Ω被設定為子區塊。調適性窗大小可根據以下方程式藉由運動補償(MC)區塊之大小聯合地判定。 水平窗大小M= min ( M, MC_Size)； 垂直窗大小N= min ( N, MC_Size)。 對於用於判定窗Ω之大小的各種技術，針對友好的硬體或軟體實施方案可包括大小之高階限制。舉例而言，窗大小應小於或等於視訊編解碼器系統中所允許之最大變換單元(TU)大小。在另一實例中，窗大小應大於或等於諸如4×4之最小MC區塊。 為了進一步簡化BIO相關操作，本發明引入用於在完成所有運動補償預測之後執行BIO作為後處理的技術。特定而言，在進行習知MC之後，接著可應用OBMC以產生用於當前區塊之較佳預測子。基於最終預測子，接著使用當前區塊之運動資訊應用BIO以進一步改進預測子。舉例而言，對於BIO中之梯度計算，可使用整個區塊之運動。在另一實例中，對於每一子區塊，可使用來自OBMC之平均運動向量。在另一實例中，對於每一子區塊，可使用中值運動向量(個別地針對每一維度)。 當考慮BIO之運動向量改進的基於區塊之導出時，可不同地設計加權函數。相等權重可用於上文所提及之方法中之任一者。替代地，可朝向窗之中心部分置放更多權重。在一個實例中，可藉由窗中心至像素之間的反距離(包括但不限於L1範數或L2範數)計算權重。 圖14為繪示可實施用於雙向光學流之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可對視訊截塊內之視訊區塊執行框內及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之寫碼模式中之任一者。 如圖14所展示，視訊編碼器20接收視訊資料且將經接收視訊資料儲存於視訊資料記憶體38中。視訊資料記憶體38可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體38中之視訊資料可例如自視訊源18獲得。參考圖像記憶體64可為儲存參考視訊資料以用於由視訊編碼器20例如在框內或框間寫碼模式中編碼視訊資料之參考圖像記憶體。視訊資料記憶體38及參考圖像記憶體64可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體38及參考圖像記憶體64可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體38可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。 視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖14之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱作經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。為了視訊區塊重建，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖14中未展示)來濾波區塊邊界以自經重建視訊移除區塊效應假影。視需要，解區塊濾波器通常將濾波求和器62之輸出。除了解區塊濾波器以外亦可使用額外濾波器(迴路內或迴路後)。出於簡潔起見而未展示此等濾波器，但視需要，此等濾波器可濾波求和器50之輸出(作為迴路內濾波器)。 在編碼程序期間，視訊編碼器20接收待寫碼視訊圖框或截塊。可將該圖框或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行經接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測處理單元46可替代地使用與待寫碼區塊在同一圖框或截塊中之一或多個相鄰區塊的像素框內預測經接收視訊區塊以提供空間預測。視訊編碼器20可執行多個寫碼遍次，例如，以選擇用於每一視訊資料區塊之適當寫碼模式。 此外，分割單元48可基於先前寫碼遍次中之先前分割方案之評估而將視訊資料區塊分割成子區塊。舉例而言，分割單元48最初可將圖框或截塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)而將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割成子CU之四元樹資料結構。四元樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元40可例如基於誤差結果而選擇框內預測模式或框間預測模式中之一者，且將所得預測區塊提供至求和器50以產生殘餘資料，且將所得預測區塊提供至求和器62以重建經編碼區塊以用作參考圖框。模式選擇單元40亦將諸如運動向量、框內模式指示符、分割區資訊及其他此類語法資訊之語法元素提供至熵編碼單元56。 運動估計單元42與運動補償單元44可高度地整合，但出於概念目的而被單獨地繪示。由運動估計單元42執行之運動估計為產生估計視訊區塊之運動之運動向量的程序。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖框(或其他經寫碼單元)內之預測性區塊相對於當前圖框(或其他經寫碼單元)內正被寫碼之當前區塊的位移。預測性區塊為被發現在像素差方面接近地匹配於待寫碼區塊之區塊，該像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置而計算用於經框間寫碼截塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，清單0或清單1中之每一者識別儲存於參考記憶體64中之一或多個參考圖像。運動估計單元42將計算出的運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可功能上整合。在接收到用於當前視訊區塊之PU的運動向量後，運動補償單元44就可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。大體而言，運動估計單元42執行相對於明度分量之運動估計，且運動補償單元44將基於明度分量而計算之運動向量用於色度分量及明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用來解碼視訊截塊之視訊區塊。 此外，運動補償單元44可經組態以執行本發明之技術中之任一者或全部(單獨地或以任何組合)。儘管關於運動補償單元44予以論述，但應理解，模式選擇單元40、運動估計單元42、分割單元48及/或熵編碼單元56亦可經組態以單獨地或與運動補償單元44組合地執行本發明之某些技術。在一個實例中，運動補償單元44可經組態以執行本文中所論述之BIO技術。 作為如上文所描述的由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可例如在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46 (或在一些實例中為模式選擇單元40)可自經測試模式選擇欲使用之適當框內預測模式。 舉例而言，框內預測處理單元46可使用針對各種經測試框內預測模式之速率-失真分析來計算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。 在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之經選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示經選擇框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)；編碼用於各種區塊之上下文的定義；及待用於該等上下文中之每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。 視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上相似變換之變換應用於殘餘區塊，從而產生包含變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換，而非DCT。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數區塊。變換可將殘餘資訊自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元速率。量化程序可縮減與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。 在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或存檔以供稍後傳輸或擷取。 反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建殘餘區塊。詳言之，求和器62將經重建殘餘區塊與稍早由運動補償單元44或框內預測處理單元46產生之運動補償預測區塊相加，以產生用於儲存於參考圖像記憶體64中之經重建視訊區塊。經重建視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。 圖15為繪示可實施用於雙向光學流之技術之視訊解碼器30之實例的方塊圖。在圖15之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20 (圖14)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測處理單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。 在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體68中。視訊資料記憶體68可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體68中之視訊資料可例如經由電腦可讀媒體16自儲存媒體或自諸如攝影機之本機視訊源或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體85可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。參考圖像記憶體82可為儲存參考視訊資料以供視訊解碼器30例如在框內或框間寫碼模式中解碼視訊資料之參考圖像記憶體。視訊資料記憶體68及參考圖像記憶體82可由諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體器件的多種記憶體器件中之任一者形成。視訊資料記憶體68及參考圖像記憶體82可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體68可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。 在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收視訊截塊層級及/或視訊區塊層級處之語法元素。 當視訊截塊被寫碼為經框內寫碼(I)截塊時，框內預測處理單元74可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊的資料而產生用於當前視訊截塊之視訊區塊的預測資料。當視訊圖框被寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素產生用於當前視訊截塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。 運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊，且使用預測資訊來產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用經接收語法元素之一些以判定用以寫碼視訊截塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於截塊之參考圖像清單中之一或多者的建構資訊、用於截塊之每一經框間編碼視訊區塊的運動向量、用於截塊之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊的其他資訊。 運動補償單元72亦可針對子像素精確度基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可根據經接收語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。 此外，運動補償單元72可經組態以執行本發明之技術中之任一者或全部(單獨地或以任何組合)。舉例而言，運動補償單元72可經組態以執行本文中所論述之BIO技術。 反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼之經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊截塊中之每一視訊區塊計算之量化參數QPY ，以判定應被應用的量化程度且同樣地判定應被應用的反量化程度。 反變換處理單元78將例如反DCT、反整數變換或概念上相似反變換程序之反變換應用於變換係數，以便在像素域中產生殘餘區塊。 在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。視需要，亦可應用解區塊濾波器來濾波經解碼區塊，以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後呈現於諸如圖1之顯示器件32的顯示器件上。舉例而言，參考圖像記憶體82可儲存經解碼圖像。 圖16為繪示根據本發明之技術的用於解碼視訊資料之視訊解碼器之實例操作的流程圖。關於圖16所描述之視訊解碼器可例如為用於輸出可顯示的經解碼視訊的諸如視訊解碼器30之視訊解碼器，或可為實施於視訊編碼器中之視訊解碼器，諸如視訊編碼器20之解碼迴路，其包括反量化單元58、反變換處理單元60、求和器62及參考圖像記憶體64，以及模式選擇單元40之部分。 根據圖16之技術，視訊解碼器判定使用雙向框間預測模式編碼視訊資料區塊(200)。視訊解碼器判定用於區塊之第一運動向量，第一運動向量指向第一參考圖像(202)。視訊解碼器判定用於區塊之第二MV，第二MV指向第二參考圖像，其中第一參考圖像不同於第二參考圖像(204)。視訊解碼器使用第一MV以將第一預測性區塊定位於第一參考圖像中(206)。視訊解碼器使用第二MV以將第二預測性區塊定位於第二參考圖像中(208)。 視訊解碼器針對第一預測性區塊之第一子區塊判定第一BIO運動量(210)。第一子區塊可不同於用於區塊之寫碼單元、預測單元及變換單元為了判定第一BIO運動量，視訊解碼器可在一些實例中基於第一子區塊中之樣本及第一子區塊外部之樣本判定第一BIO運動量，且在其他實例中僅基於第一子區塊中之樣本判定第一BIO運動量。第一BIO運動量可例如包括運動向量場，運動向量場包括水平分量及垂直分量。 視訊解碼器基於第一預測性區塊之第一子區塊、第二預測性區塊之第一子區塊及第一BIO運動量判定用於視訊資料區塊之第一最終預測性子區塊(212)。為了基於第一預測性區塊之第一子區塊、第二預測性區塊之第一子區塊及第一BIO運動量判定用於視訊資料區塊之第一最終預測性子區塊，視訊解碼器可使用例如以上方程式(2)判定第一最終預測性子區塊。 視訊解碼器針對第一預測性區塊之第二子區塊判定第二BIO運動量(214)。第二子區塊可不同於用於區塊之寫碼單元、預測單元及變換單元。為了判定第二BIO運動量，視訊解碼器可在一些實例中基於第二子區塊中之樣本及第二子區塊外部之樣本判定第二BIO運動量，且在另一實例中僅基於第二子區塊中之樣本判定第二BIO運動量。第二BIO運動量可例如包括運動向量場，運動向量場包括水平分量及垂直分量。 視訊解碼器基於第一預測性區塊之第二子區塊、第二預測性區塊之第二子區塊及第二BIO運動量判定用於視訊資料區塊之第二最終預測性子區塊(216)。為了基於第一預測性區塊之第二子區塊、第二預測性區塊之第二子區塊及第二BIO運動量判定用於視訊資料區塊之第二最終預測性子區塊，視訊解碼器可例如使用例如方程式(2)判定第二最終預測性子區塊。 視訊解碼器基於第一最終預測性子區塊及第二最終預測性子區塊判定用於視訊資料區塊之最終預測性區塊(218)。視訊解碼器可例如將殘餘資料與最終預測性區塊相加以判定用於視訊資料區塊之經重建區塊。視訊解碼器亦可對經重建視訊資料區塊執行一或多個濾波程序。 視訊解碼器輸出包含視訊資料區塊之經解碼版本之視訊資料圖像(220)。當執行解碼以作為視訊編碼程序之解碼迴路之部分時，視訊解碼器可例如藉由將圖像儲存於參考圖像記憶體中輸出圖像，且視訊解碼器可將圖像作為參考圖像編碼視訊資料之另一圖像。當視訊解碼器為經組態以輸出可顯示的經解碼視訊之視訊解碼器時，視訊解碼器可例如將視訊資料圖像輸出至顯示器件。 應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行，可被添加、合併或完全省去(例如，並非所有所描述動作或事件皆為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。 在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括促進例如根據通信協定將電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性的有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由諸如一或多個DSP、一般用途微處理器、ASIC、FPGA或其他等效整合式或離散邏輯電路系統之一或多個處理器執行。因此，如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於各種各樣的器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必要求由不同硬體單元來實現。更確切地，如上文所描述，各種單元可結合合適軟體及/或韌體而組合於編解碼器硬體單元中或由互操作硬體單元集合提供，該等硬體單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
38‧‧‧視訊資料記憶體
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
68‧‧‧視訊資料記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧當前圖框
102‧‧‧參考圖框
104‧‧‧經內插圖框
106‧‧‧當前區塊
108‧‧‧參考區塊
110‧‧‧經內插區塊
112‧‧‧運動向量(MV)
120‧‧‧當前圖框
122‧‧‧參考圖框
124‧‧‧經內插圖框
126‧‧‧當前區塊
128‧‧‧參考區塊
130‧‧‧經內插區塊
132‧‧‧運動向量(MV)
134‧‧‧運動向量(MV)
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
220‧‧‧步驟
圖1為繪示可利用用於雙向光學流之技術之實例視訊編碼及解碼系統的方塊圖。 圖2為將單側運動估計(ME)之實例繪示為經執行用於運動補償圖框速率向上轉換(MC-FRUC)之區塊匹配演算法(BMA)的概念圖。 圖3為將雙側ME之實例繪示為經執行用於MC-FRUC之BMA的概念圖。 圖4A展示用於合併模式之空間相鄰MV候選者。 圖4B展示用於AMVP模式之空間相鄰MV候選者。 圖5A展示TMVP候選者之實例。 圖5B展示MV按比例調整之實例。 圖6展示光學流軌跡之實例。 圖7展示用於8×4區塊之BIO之實例。 圖8展示用於8×4區塊之經修改BIO之實例。 圖9A及圖9B展示OBMC適用之子區塊之實例繪示。 圖10A至圖10D展示OBMC加權之實例。 圖11展示用於8×4區塊之所提議BIO之實例。 圖12A至圖12D展示OBMC上之所提議簡化BIO之實例。 圖13展示用於具有5×5窗之4×4子區塊之實例加權函數。 圖14為繪示視訊編碼器之實例的方塊圖。 圖15為繪示可實施用於雙向光學流之技術之視訊解碼器之實例的方塊圖。 圖16為繪示根據本發明之技術的視訊解碼器之實例操作的流程圖。

Claims (30)

  1. 一種解碼視訊資料之方法，該方法包含： 判定使用一雙向框間預測模式編碼一視訊資料區塊； 判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像； 判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像； 使用該第一MV將一第一預測性區塊定位於該第一參考圖像中； 使用該第二MV將一第二預測性區塊定位於該第二參考圖像中； 針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量； 基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊； 針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量； 基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊； 基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及 輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。
  2. 如請求項1之方法，其中判定該第一BIO運動量包含基於該第一子區塊中之樣本及該第一子區塊外部之樣本判定該第一BIO運動量。
  3. 如請求項1之方法，其中判定該第一BIO運動量包含僅基於該第一子區塊中之樣本判定該第一BIO運動量。
  4. 如請求項1之方法，其中判定該第二BIO運動量包含基於該第二子區塊中之樣本及該第二子區塊外部之樣本判定該第二BIO運動量。
  5. 如請求項1之方法，其中判定該第二BIO運動量包含僅基於該第二子區塊中之樣本判定該第二BIO運動量。
  6. 如請求項1之方法，其中該第一BIO運動量包含一運動向量場，該運動向量場包含一水平分量及一垂直分量。
  7. 如請求項1之方法，其中該第一子區塊不同於用於該區塊之一寫碼單元、一預測單元及一變換單元。
  8. 如請求項1之方法，其進一步包含： 將殘餘資料與該最終預測性區塊相加以判定用於該視訊資料區塊之一經重建區塊。
  9. 如請求項1之方法，其中基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之該第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之該第一最終預測性子區塊包含根據以下方程式判定該第一最終預測性子區塊：其中 predBIO 包含該第一最終預測性子區塊之一樣本值； I(0) 包含該第一預測性區塊之該第一子區塊之一樣本值； I(1) 包含該第二預測性區塊之該第一子區塊之一樣本值； vx 包含該第一BIO運動量之一水平分量； vy 包含該第一BIO運動量之一垂直分量；包含至該第一參考圖像之一距離；且包含至該第二參考圖像之一距離。
  10. 如請求項1之方法，其中該解碼方法係作為一視訊編碼程序之一解碼迴路之部分而執行，且其中輸出包含該視訊資料區塊之該經解碼版本之該視訊資料圖像包含將包含該視訊資料區塊之該經解碼版本之該視訊資料圖像儲存於一參考圖像記憶體中，該方法進一步包含： 使用包含該視訊資料區塊之該經解碼版本之該視訊資料圖像作為一參考圖像來編碼該視訊資料之另一圖像。
  11. 如請求項1之方法，其中輸出包含該視訊資料區塊之該經解碼版本之該視訊資料圖像包含將包含該視訊資料區塊之該經解碼版本之該視訊資料圖像輸出至一顯示器件。
  12. 一種用於解碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存視訊資料；及 一或多個處理器，其經組態以 判定使用一雙向框間預測模式編碼一視訊資料區塊； 判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像； 判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像； 使用該第一MV將一第一預測性區塊定位於該第一參考圖像中； 使用該第二MV將一第二預測性區塊定位於該第二參考圖像中； 針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量； 基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊； 針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量； 基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊； 基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及 輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。
  13. 如請求項12之器件，其中為了判定該第一BIO運動量，該一或多個處理器經組態以基於該第一子區塊中之樣本及該第一子區塊外部之樣本判定該第一BIO運動量。
  14. 如請求項12之器件，其中為了判定該第一BIO運動量，該一或多個處理器經組態以僅基於該第一子區塊中之樣本判定該第一BIO運動量。
  15. 如請求項12之器件，其中為了判定該第二BIO運動量，該一或多個處理器經組態以基於該第二子區塊中之樣本及該第二子區塊外部之樣本判定該第二BIO運動量。
  16. 如請求項12之器件，其中為了判定該第二BIO運動量，該一或多個處理器經組態以僅基於該第二子區塊中之樣本判定該第二BIO運動量。
  17. 如請求項12之器件，其中該第一BIO運動量包含一運動向量場，該運動向量場包含一水平分量及一垂直分量。
  18. 如請求項12之器件，其中該第一子區塊不同於用於該區塊之一寫碼單元、一預測單元及一變換單元。
  19. 如請求項12之器件，其中該一或多個處理器經組態以： 將殘餘資料與該最終預測性區塊相加以判定用於該視訊資料區塊之一經重建區塊。
  20. 如請求項12之器件，其中為了基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之該第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之該第一最終預測性子區塊，該一或多個處理器經組態以根據以下方程式判定該第一最終預測性子區塊：其中 predBIO 包含該第一最終預測性子區塊之一樣本值； I(0) 包含該第一預測性區塊之該第一子區塊之一樣本值； I(1) 包含該第二預測性區塊之該第一子區塊之一樣本值； vx 包含該第一BIO運動量之一水平分量； vy 包含該第一BIO運動量之一垂直分量；包含至該第一參考圖像之一距離；且包含至該第二參考圖像之一距離。
  21. 如請求項12之器件，其中該一或多個處理器解碼該視訊資料以作為一視訊編碼程序之一解碼迴路之部分，且其中為了輸出包含該視訊資料區塊之該經解碼版本之該視訊資料圖像，該一或多個處理器經組態以將包含該視訊資料區塊之該經解碼版本之該視訊資料圖像儲存於一參考圖像記憶體中，其中該一或多個處理器經進一步組態以： 使用包含該視訊資料區塊之該經解碼版本之該視訊資料圖像作為一參考圖像來編碼該視訊資料之另一圖像。
  22. 如請求項12之器件，其中為了輸出包含該視訊資料區塊之該經解碼版本之該視訊資料圖像，該一或多個處理器經組態以將包含該視訊資料區塊之該經解碼版本之該視訊資料圖像輸出至一顯示器件。
  23. 如請求項12之器件，其中該器件包含一無線通信器件，該器件進一步包含經組態以接收經編碼視訊資料之一接收器。
  24. 如請求項23之器件，其中該無線通信器件包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  25. 如請求項12之器件，其中該器件包含一無線通信器件，該器件進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  26. 如請求項25之器件，其中該無線通信器件包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
  27. 一種電腦可讀儲存媒體，其儲存在由一或多個處理器執行時致使該一或多個處理器進行以下操作之指令： 判定使用一雙向框間預測模式編碼一視訊資料區塊； 判定用於該區塊之一第一運動向量(MV)，其中該第一MV指向一第一參考圖像； 判定用於該區塊之一第二MV，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像； 使用該第一MV將一第一預測性區塊定位於該第一參考圖像中； 使用該第二MV將一第二預測性區塊定位於該第二參考圖像中； 針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量； 基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊； 針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量； 基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊； 基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊；及 輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像。
  28. 如請求項27之電腦可讀儲存媒體，其中該第一BIO運動量包含一運動向量場，該運動向量場包含一水平分量及一垂直分量。
  29. 如請求項27之電腦可讀儲存媒體，其中該第一子區塊不同於用於該區塊之一寫碼單元、一預測單元及一變換單元。
  30. 一種用於解碼視訊資料之裝置，該裝置包含： 用於判定使用一雙向框間預測模式編碼一視訊資料區塊的構件； 用於判定用於該區塊之一第一運動向量(MV)的構件，其中該第一MV指向一第一參考圖像； 用於判定用於該區塊之一第二MV的構件，其中該第二MV指向一第二參考圖像，該第一參考圖像不同於該第二參考圖像； 用於使用該第一MV將一第一預測性區塊定位於該第一參考圖像中的構件； 用於使用該第二MV將一第二預測性區塊定位於該第二參考圖像中的構件； 用於針對該第一預測性區塊之一第一子區塊判定一第一雙向光學流(BIO)運動量的構件； 用於基於該第一預測性區塊之該第一子區塊、該第二預測性區塊之一第一子區塊及該第一BIO運動量判定用於該視訊資料區塊之一第一最終預測性子區塊的構件； 用於針對該第一預測性區塊之一第二子區塊判定一第二BIO運動量的構件； 用於基於該第一預測性區塊之該第二子區塊、該第二預測性區塊之一第二子區塊及該第二BIO運動量判定用於該視訊資料區塊之一第二最終預測性子區塊的構件； 用於基於該第一最終預測性子區塊及該第二最終預測性子區塊判定用於該視訊資料區塊之一最終預測性區塊的構件；及 用於輸出包含該視訊資料區塊之一經解碼版本之一視訊資料圖像的構件。
TW107100393A 2017-01-04 2018-01-04 用於雙向光學流（ｂｉｏ）之運動向量重建 TWI761415B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762442357P 2017-01-04 2017-01-04
US62/442,357 2017-01-04
US201762445152P 2017-01-11 2017-01-11
US62/445,152 2017-01-11
US15/861,515 US10931969B2 (en) 2017-01-04 2018-01-03 Motion vector reconstructions for bi-directional optical flow (BIO)
US15/861,515 2018-01-03

Publications (2)

Publication Number Publication Date
TW201830966A true TW201830966A (zh) 2018-08-16
TWI761415B TWI761415B (zh) 2022-04-21

Family

ID=62711435

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100393A TWI761415B (zh) 2017-01-04 2018-01-04 用於雙向光學流（ｂｉｏ）之運動向量重建

Country Status (13)

Country Link
US (1) US10931969B2 (zh)
EP (1) EP3566441A1 (zh)
JP (1) JP7159166B2 (zh)
KR (1) KR102579523B1 (zh)
CN (1) CN110036638B (zh)
AU (1) AU2018205783B2 (zh)
BR (1) BR112019013684A2 (zh)
CA (1) CA3043050A1 (zh)
CL (1) CL2019001393A1 (zh)
CO (1) CO2019007120A2 (zh)
TW (1) TWI761415B (zh)
WO (1) WO2018129172A1 (zh)
ZA (1) ZA201904373B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112970259A (zh) * 2018-11-05 2021-06-15 北京字节跳动网络技术有限公司 视频处理中具有细化的帧间预测
US20220150528A1 (en) * 2019-07-23 2022-05-12 Tencent America LLC Method and apparatus for video coding

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质
MX2019000506A (es) 2016-07-14 2019-03-28 Samsung Electronics Co Ltd Metodo de decodificacion de video y dispositivo para ello y metodo de codificacion de video y dispositivo para ello.
CN117014630A (zh) 2017-04-27 2023-11-07 松下电器（美国）知识产权公司 解码方法、编码方法以及发送方法
CN116866586A (zh) 2017-05-17 2023-10-10 株式会社Kt 对图像解码的方法以及存储压缩视频数据的装置
WO2018212111A1 (ja) 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JPWO2019003993A1 (ja) * 2017-06-26 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR20240025058A (ko) * 2017-12-14 2024-02-26 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
JP7339890B2 (ja) * 2018-02-06 2023-09-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
US11109053B2 (en) * 2018-03-05 2021-08-31 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
EP3777167A1 (en) * 2018-03-30 2021-02-17 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
WO2019204234A1 (en) * 2018-04-15 2019-10-24 Arris Enterprises Llc Unequal weight planar motion vector derivation
CN116684594A (zh) * 2018-04-30 2023-09-01 寰发股份有限公司 照度补偿方法及相应的电子装置
JP7104186B2 (ja) * 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
EP3804324A4 (en) 2018-06-11 2022-08-03 HFI Innovation Inc. BIDIRECTIONAL OPTICAL FLOW METHOD AND APPARATUS FOR VIDEO CODING
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN112585972B (zh) * 2018-08-17 2024-02-09 寰发股份有限公司 视频编解码的帧间预测方法及装置
MX2021001833A (es) * 2018-08-17 2021-05-12 Hfi Innovation Inc Metodos y aparatos de procesamiento de video con prediccion bidireccional en sistemas de codificacion de video.
US11245922B2 (en) 2018-08-17 2022-02-08 Mediatek Inc. Shared candidate list
US11665365B2 (en) 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
JP7311589B2 (ja) 2018-09-21 2023-07-19 ヴィド スケール インコーポレイテッド 双方向オプティカルフローのための複雑性低減およびビット幅制御
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11146800B2 (en) * 2018-09-24 2021-10-12 Tencent America LLC Low latency local illumination compensation
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
WO2020084460A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation in the presence of multi-hypothesis prediction
WO2020084553A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on multiple information in sub-block motion vector prediction
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020103870A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
KR102572355B1 (ko) 2018-11-30 2023-08-30 텐센트 아메리카 엘엘씨 비디오 코딩을 위한 방법 및 장치
IL310462A (en) * 2018-12-21 2024-03-01 Vid Scale Inc Differential coding of a symmetric motion vector
CN113196763B (zh) * 2018-12-21 2024-04-12 北京字节跳动网络技术有限公司 使用多项式模型的帧内预测
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
JP6867611B2 (ja) * 2019-03-11 2021-04-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR20210114061A (ko) * 2019-03-12 2021-09-17 엘지전자 주식회사 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
TWI738248B (zh) 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
CN113632484A (zh) 2019-03-15 2021-11-09 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
JP2022525876A (ja) 2019-03-17 2022-05-20 北京字節跳動網絡技術有限公司 オプティカルフローベースの予測精緻化の計算
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
KR20220006055A (ko) * 2019-05-11 2022-01-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 다중 인트라 코딩 방법 사이의 상호 작용
CN117714682A (zh) 2019-05-21 2024-03-15 北京字节跳动网络技术有限公司 子块Merge模式中的语法信令
CN113411610B (zh) * 2019-06-21 2022-05-27 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
AU2020298425A1 (en) * 2019-06-21 2021-12-23 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
KR20220061240A (ko) 2019-09-20 2022-05-12 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 시프트 동작들에 대한 양방향 광학 흐름 단순화를 이용한 비디오 인코딩 및/또는 디코딩 방법들 및 관련 장치
CN114424553A (zh) 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
CN112868236A (zh) * 2019-09-24 2021-05-28 北京大学 视频处理方法和装置
WO2020256601A2 (en) * 2019-10-03 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of picture-level signaling for bidirectional optical flow and decoder side motion vector refinement
CN117676135A (zh) 2019-10-18 2024-03-08 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
US20210337192A1 (en) * 2020-04-24 2021-10-28 Realtek Semiconductor Corp. Image processing method and associated encoder

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061293A1 (en) * 2002-01-17 2003-07-24 Koninklijke Philips Electronics N.V. Unit for and method of estimating a current motion vector
JP2007179354A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd オプティカルフロー算出装置、オプティカルフロー算出方法、オプティカルフロー算出プログラムおよび記録媒体
WO2011126309A2 (ko) * 2010-04-06 2011-10-13 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP5686019B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法および画像復号プログラム
CN103327327B (zh) * 2013-06-03 2016-03-30 电子科技大学 用于高性能视频编码hevc的帧间预测编码单元选择方法
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
CN105261038B (zh) * 2015-09-30 2018-02-27 华南理工大学 基于双向光流和感知哈希的指尖跟踪方法
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
WO2017205704A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
KR20230085949A (ko) * 2016-12-27 2023-06-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112970259A (zh) * 2018-11-05 2021-06-15 北京字节跳动网络技术有限公司 视频处理中具有细化的帧间预测
US11902535B2 (en) 2018-11-05 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Prediction precision improvements in video coding
US20220150528A1 (en) * 2019-07-23 2022-05-12 Tencent America LLC Method and apparatus for video coding
US11800133B2 (en) * 2019-07-23 2023-10-24 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
US20180192072A1 (en) 2018-07-05
JP7159166B2 (ja) 2022-10-24
CN110036638A (zh) 2019-07-19
KR102579523B1 (ko) 2023-09-15
CN110036638B (zh) 2023-06-27
CO2019007120A2 (es) 2019-09-18
WO2018129172A1 (en) 2018-07-12
CL2019001393A1 (es) 2019-09-27
ZA201904373B (en) 2023-03-29
BR112019013684A2 (pt) 2020-01-28
JP2020503799A (ja) 2020-01-30
US10931969B2 (en) 2021-02-23
TWI761415B (zh) 2022-04-21
AU2018205783A1 (en) 2019-05-23
CA3043050A1 (en) 2018-07-12
EP3566441A1 (en) 2019-11-13
KR20190103171A (ko) 2019-09-04
AU2018205783B2 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
TWI803563B (zh) 改良的解碼器側之運動向量推導
AU2018236214B2 (en) Inter prediction refinement based on bi-directional optical flow (BIO)
US10757442B2 (en) Partial reconstruction based template matching for motion vector derivation
US10785494B2 (en) Low-complexity design for FRUC
CN110754087B (zh) 用于双向光学流(bio)的高效存储器带宽设计
JP6740243B2 (ja) ビデオコーディングにおける動きベクトル導出