TW201907724A - 用於運動向量推導之基於部份重建構之模板匹配 - Google Patents

用於運動向量推導之基於部份重建構之模板匹配 Download PDF

Info

Publication number
TW201907724A
TW201907724A TW107122843A TW107122843A TW201907724A TW 201907724 A TW201907724 A TW 201907724A TW 107122843 A TW107122843 A TW 107122843A TW 107122843 A TW107122843 A TW 107122843A TW 201907724 A TW201907724 A TW 201907724A
Authority
TW
Taiwan
Prior art keywords
block
current
template
video
frame
Prior art date
Application number
TW107122843A
Other languages
English (en)
Inventor
李想
成鄭 謝
陳建樂
張凱
莊孝強
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201907724A publication Critical patent/TW201907724A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種解碼視訊資料之方法包括藉由一視訊解碼器判定一當前圖框中之一相鄰區塊經框間寫碼。該方法包括回應於判定該相鄰區塊經框間寫碼，藉由該視訊解碼器基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板。該方法包括藉由該視訊解碼器判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，及藉由該視訊解碼器基於該參考區塊及該模板判定該當前圖框之運動向量資訊。該方法包括藉由該視訊解碼器基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊，及藉由該視訊解碼器基於該預測性區塊解碼視訊資料之該當前區塊。

Description

用於運動向量推導之基於部份重建構之模板匹配
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、ITU-T H.265、高效率視訊寫碼(HEVC)所界定的標準及此等標準之延展中所描述的彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹區塊)、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中之視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差的殘餘資料予以編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
大體而言，本發明描述關於解碼器側運動向量推導(DMVD)之技術。本發明之此等技術可應用於現有視訊編解碼器中之任一者(諸如HEVC(高效視訊寫碼))，及/或可為任何未來視訊寫碼標準中之一高效寫碼工具。更特定而言，本發明描述技術與使用一相鄰區塊之一部分重建構應用模板匹配相關。
在一項實例中，一種解碼視訊資料之方法包括：藉由實施於處理電路系統中之一視訊解碼器判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，藉由該視訊解碼器基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；藉由該視訊解碼器判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；藉由該視訊解碼器基於該參考區塊及該模板判定該當前圖框之運動向量資訊；藉由該視訊解碼器基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼視訊資料之該當前區塊。
在另一實例中，一種用於解碼視訊資料之器件包括經組態以儲存該視訊資料之一記憶體及一或多個處理器。該一或多個處理器經組態以：判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；基於該參考區塊及該模板判定該當前圖框之運動向量資訊；基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及基於該預測性區塊解碼視訊資料之該當前區塊。
在另一實例中，一種非暫時性電腦可讀電腦可讀媒體經組態有一或多個指令，該等指令在經執行時使得一或多個處理器：判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；基於該參考區塊及該模板判定該當前圖框之運動向量資訊；基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及基於該預測性區塊解碼視訊資料之該當前區塊。
在另一實例中，一種器件包含用於判定一當前圖框中之一相鄰區塊經框間寫碼的構件；用於回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板的構件；用於判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊的構件，其中該參考圖框不同於該當前圖框；用於基於該參考區塊及該模板判定該當前圖框之運動向量資訊的構件；用於基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊的構件；及用於基於該預測性區塊解碼視訊資料之該當前區塊的構件。
在另一實例中，一種編碼視訊資料之方法包括：藉由實施於處理電路系統中之一視訊編碼器判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，藉由該視訊編碼器基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；藉由該視訊編碼器判定一參考圖框中的對應於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；藉由該視訊編碼器基於該參考區塊及該模板判定該當前圖框之運動向量資訊；藉由該視訊編碼器基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及藉由該視訊編碼器基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值。
在另一實例中，一種用於編碼視訊資料之器件包括經組態以儲存該視訊資料之一記憶體及一或多個處理器。該一或多個處理器經組態以：判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；基於該參考區塊及該模板判定該當前圖框之運動向量資訊；基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值。
在另一實例中，一種非暫時性電腦可讀電腦可讀媒體經組態有一或多個指令，該等指令在經執行時使得一或多個處理器：判定一當前圖框中之一相鄰區塊經框間寫碼；回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板；判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框；基於該參考區塊及該模板判定該當前圖框之運動向量資訊；基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值。
在另一實例中，一種器件包括用於判定一當前圖框中之一相鄰區塊經框間寫碼的構件；用於回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板的構件；用於判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊的構件，其中該參考圖框不同於該當前圖框；用於基於該參考區塊及該模板判定該當前圖框之運動向量資訊的構件；用於基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊的構件；及用於基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值的構件。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2017年7月5日申請之美國臨時專利申請案第62/528,918 號之權益，該申請案之全部內容特此以引用之方式併入。
大體而言，本發明之技術涉及用於視訊寫碼之框間預測及運動向量推導。更特定言之，本發明之技術涉及基於運動向量推導之模板匹配。本發明之技術可單獨地或以任何組合應用於現有視訊編解碼器中之任一者，諸如HEVC(高效視訊寫碼)，或為任何未來視訊寫碼標準中之高效寫碼工具。
一些視訊寫碼器(例如，視訊解碼器、視訊編碼器等)應用使用相鄰區塊之完全重建構的模板匹配。舉例而言，視訊解碼器可推導相鄰區塊之運動向量資訊；使用相鄰區塊之該運動向量資訊及殘餘樣本值(例如，殘餘)產生用於相鄰區塊之樣本；及將雙向光學流(BIO)及重疊區塊運動補償(OBMC)技術應用於該等樣本以產生相鄰區塊之完全重建構。在此實例中，在產生相鄰區塊之完全重建構之後，此等視訊寫碼器可開始使用相鄰區塊之完全重建構將模板匹配應用於當前區塊。
本文中之技術描述經組態以使用相鄰區塊之部分重建構應用模板匹配以寫碼(例如，解碼、編碼等)視訊資料之當前區塊的視訊寫碼器(例如，視訊解碼器、視訊編碼器等)，而不必要等待產生相鄰區塊之完全重建構。如本文所使用，相鄰區塊之部分重建構可指在已啟動及/或完成進一步處理步驟(例如，BIO、OBMC等)以產生相鄰區塊之完全重建構之前的相鄰區塊之重建構。此等進一步處理步驟可(例如)在一或多個預測區塊定位於參考圖像中之後但在應用任何類別迴路濾波之前。在一些實例中，相鄰區塊之部分重建構可指示不同於相鄰區塊之完全重建構的像素值。舉例而言，視訊解碼器可推導相鄰區塊之運動向量資訊，且使用運動向量資訊(及相鄰區塊之殘餘樣本值)產生相鄰區塊之部分重建構。在此實例中，與將BIO及OBMC技術應用於用於相鄰區塊之樣本並行或在其之前，視訊解碼器使用相鄰區塊之部分重建構將模板匹配應用於當前區塊。以此方式，視訊解碼器可在應用模板匹配技術時移除啟動視訊資料之區塊之重建構過程中的非所要延遲，其可減少藉由視訊寫碼器之功率使用。
圖1為繪示可利用使用相鄰區塊之部分重建構的模板匹配技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括提供稍後將由目的地器件14解碼之經編碼視訊資料的源器件12。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包括廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些狀況下，源器件12與目的地器件14可經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包括能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，電腦可讀媒體16可包括使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼之視訊資料，且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態調適性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於雙向光學流之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。
圖1之所繪示系統10僅係一項實例。可藉由任何數位視訊編碼及/或解碼器件來執行用於雙向光學流的技術。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅僅為其中源器件12產生經寫碼視訊資料以供用於傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，經俘獲、經預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義、亦由視訊解碼器30使用之語法資訊，該語法資訊包括描述視訊資料之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包括多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作，諸如HEVC，其亦被稱作ITU-T H.265。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，替代地被稱作MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之延展而操作。然而，本發明之技術受限於不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管未展示於圖1中，但一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延展。
另外，最近已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼延展研發聯合協作小組(JCT-3V)開發新的視訊寫碼標準(亦即，高效視訊寫碼(HEVC)或ITU-T H.265)，其可包括G.J.Sullivan、J.-R.Ohm、W.-J.Han、T.Wiegand在2012年12月視訊技術電路與系統IEEE彙刊第22卷第12期第1649-1668頁的「Overview of the High Efficiency Video Coding (HEVC) Standard」中所描述的一或多種技術，包括其範圍延展、多視圖延展(MV-HEVC)及可調式延展(SHVC)。
最新HEVC規範--在下文中被稱作HEVC V4 (12/2016)--可自http://handle.itu.int/11.1002/1000/12905獲得。ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前延展及針對螢幕內容寫碼及高動態範圍寫碼的近期延展)之壓縮能力的未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。且參考軟體之最新版本，亦即聯合探索模型6 (JEM-6)可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-6.0/下載。聯合探索測試模型6 (JEM -6)之演算法描述可藉由J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce在2017年4月的「Algorithm description of Joint Exploration Test Model 6 (JEM6)」JVET-F1001參考。
如本發明中所使用，術語視訊寫碼一般指視訊編碼或視訊解碼。類似地，術語視訊寫碼器可一般指代視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同處理程序或互逆處理程序。又，作為判定如何編碼視訊資料之處理程序的部分，視訊編碼器通常執行視訊解碼。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，指示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色度樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹單元(CTU)之集合。該等CTU中之每一者可包括明度樣本之寫碼樹區塊(CTB)、色度樣本之兩個對應寫碼樹區塊，及用於對寫碼樹區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包括單一寫碼樹區塊及用於對該寫碼樹區塊之樣本進行寫碼的語法結構。寫碼樹區塊可為樣本之N×N區塊。CTU亦可被稱作「樹區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
CTB含有四元樹，該四元樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。CU可與CTB具有相同大小，但且小如8×8。每一寫碼單元使用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)或當不應用另一分割時變為僅一個PU。當一個CU中存在兩個PU時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹區塊遞回地執行四元樹分割，以將寫碼樹區塊劃分成寫碼區塊，之後命名為「寫碼樹單元」。寫碼區塊可為樣本之N×N區塊。CU可包括具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用於對該等寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包括單個寫碼區塊及用於對該寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包括明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以對該預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包括單一預測區塊及用於對該預測區塊進行預測之語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。當CU經框間寫碼時，可針對每一PU提供運動資訊之一個集合。另外，每一PU可用唯一框間預測模式來寫碼以推導運動資訊集合。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四元樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為應用相同變換之樣本的矩形(亦即，正方形或非正方形)區塊。CU之變換單元(TU)可包括明度樣本之一變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包括單個變換區塊及用以對該變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的處理程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包括網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭，且封裝RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封PPS之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)訊息之RBSP等等。封裝視訊寫碼資料之RBSP (與參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之處理程序可與由視訊編碼器20執行之處理程序大體上互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
根據本發明之技術，視訊編碼器20及/或視訊解碼器30可在運動補償期間進一步執行模板匹配(及BIO技術)，如下文更詳細地論述。
視訊編碼器20及視訊解碼器30各自可經實施為可適用的多種合適編碼器或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(編解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包括積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
圖2為將單邊運動估計(ME)之實例繪示為經執行用於運動補償之圖框速率向上轉換(MC-FRUC)的區塊匹配演算法(BMA)的概念圖。一般而言，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)藉由搜尋當前圖框100之當前區塊106的來自參考圖框102之最佳匹配區塊(例如，參考區塊108)而執行單邊ME以獲得運動向量(MV)，諸如MV 112。隨後，視訊寫碼器沿著運動向量112之運動軌跡在經內插圖框104中內插經內插區塊110。亦即，在圖2的實例中，運動向量112通過當前區塊106、參考區塊108及經內插區塊110之中點。
如圖2中所示，在運動軌跡中涉及三個圖框中之三個區塊。儘管當前圖框100中之當前區塊106屬於經寫碼區塊，但參考圖框102中之最佳匹配區塊(亦即，參考區塊108)無需全部屬於經寫碼區塊(亦即，最佳匹配區塊可能並不落在經寫碼區塊邊界上，而實際上可重疊此邊界)。同樣，經內插圖框104中之經內插區塊110無需全部屬於經寫碼區塊。因此，區塊與未填充(孔)區域之重疊區域可出現於經內插圖框104中。
為處置重疊，簡單FRUC演算法僅涉及平均化及覆寫經重疊像素。此外，孔可藉由來自參考或當前圖框之像素值覆蓋。然而，此等演算法可導致區塊假影及模糊。因此，運動場分段、使用離散哈特萊(Hartley)變換之連續外插及影像修復可用以處置孔及重疊而不增加區塊假影及模糊。
圖3為將雙邊ME之實例繪示為經執行用於MC-FRUC之BMA的概念圖。雙邊ME為可用以避免由重疊及孔引起之問題的另一解決方案(在MC-FRUC中)。執行雙邊ME的視訊寫碼器(諸如視訊編碼器20及/或視訊解碼器30)使用當前圖框120之當前區塊126與參考圖框122之參考區塊128之間的時間對稱性獲得通過經內插圖框124(其在當前圖框120與參考圖框122中間)之經內插區塊130的MV 132、134。因此，視訊寫碼器不產生經內插圖框124中之重疊及孔。由於假定當前區塊126為視訊寫碼器以某一次序處理的區塊(例如，如同在視訊寫碼之狀況中)，因此，此等區塊之序列將在無重疊的情況下覆蓋整個中間圖像。舉例而言，在視訊寫碼之狀況下，可以解碼次序處理區塊。因此，若可在視訊寫碼構架中考慮FRUC想法，則此方法可更合適。
2009年，影像信號處理國際大會(CISP)，S.-F.Tu、O.C.Au、Y.Wu、E.Luo及C.-H.Yeun之「A Novel Framework for Frame Rate Up Conversion by Predictive Variable Block-Size Motion Estimated Optical Flow」描述用於圖框速率向上轉換的混合區塊層級運動估計及像素層級光學流方法。
在HEVC標準中，對於PU分別存在兩個框間預測模式，分別命名為合併(其中跳過模式被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式。在AMVP或合併模式中，針對多個運動向量預測子維持運動向量(MV)候選者清單。當前PU之運動向量(以及合併模式中之參考索引)藉由自MV候選者清單獲取一個候選者而產生。
MV候選者清單含有用於合併模式之至多5個候選者及用於AMVP模式之僅僅兩個候選者。合併候選者可含有運動資訊之集合，例如，對應於參考圖像清單(清單0及清單1)及參考索引兩者之運動向量。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，需要明確地將參考索引連同MV預測子(MVP)索引發信至MV候選者清單，因為AMVP候選者僅含有一運動向量。在AMVP模式中，可進一步改進經預測運動向量。
合併候選者對應於運動資訊之完全集合，而AMVP候選者含有用於特定預測方向及參考索引之僅僅一個運動向量。相似地自相同空間及時間相鄰區塊推導用於兩個模式之候選者。
圖4A及圖4B為繪示HEVC中之空間相鄰候選者的概念圖。在一些實例中，視訊編碼器20及/或視訊解碼器30可針對特定PU (例如，圖4A之PU0 202及圖4B之PU0 222，其分別包括於與PU1 204及PU1 224相同的對應CU中)，(例如)如圖4A及圖4B中所示，自相鄰區塊推導空間MV候選者，但用於自區塊產生候選者的方法針對合併模式及AMVP模式而不同。在合併模式中，視訊編碼器20及/或視訊解碼器30可根據圖4A中用數值展示之次序推導達至四個空間MV候選者，如下：左側(區塊212)、上方(區塊206)、右上方(區塊208)、左下方(區塊214)，及左上方(區塊210)。
在AVMP模式中，視訊編碼器20及/或視訊解碼器30將相鄰區塊劃分成兩個群組：左側群組(包括區塊232及234)及上方群組(包括區塊230、226及228)，如圖4B中所展示。對於每一群組，視訊編碼器20及/或視訊解碼器30參考與經發信參考索引所指示之相同的具有最高優先之參考圖像，判定相鄰區塊中之潛在候選者，以形成群組之最終候選者。有可能相鄰區塊均未含有指向相同參考圖像的運動向量。因此，若未能找出此候選者，則視訊編碼器20及/或視訊解碼器30可按比例調整第一可用候選者以形成最終候選者，且因此可補償時間距離差。
圖5A展示TMVP候選者之實例，且圖5B展示MV按比例調整之實例。時間運動向量預測子(TMVP)候選者(若啟用且可用)在空間運動向量候選者之後添加至MV候選者清單中。用於TMVP候選者之運動向量推導之處理程序對於合併模式及AMVP模式兩者相同，然而，合併模式中之TMVP候選者之目標參考索引始終設定為0。
用於TMVP候選者推導之主要區塊位置為共置型PU右下方區塊外部(在圖5A中展示為區塊「T」)以補償用於產生空間相鄰候選者之上方及左側區塊的偏差。然而，若區塊定位於當前CTB列之外部或運動資訊不可用，則區塊被PU之中央區塊取代。
用於TMVP候選者之運動向量係自圖塊層級中所指示之共置型圖像之共置型PU推導。用於共置型PU之運動向量稱為共置型MV。類似於AVC中之時間直接模式，為推導TMVP候選者運動向量，共置型MV需要經按比例調整以補償時間距離差，如圖5B中所示。
HEVC亦利用運動向量按比例調整。假定在呈現時間上運動向量之值與圖像之距離成比例。運動向量相關聯兩個圖像，參考圖像及含有運動向量之圖像(即，含有圖像)。當利用一運動向量預測另一運動向量時，基於圖像次序計數(POC)值而計算含有圖像與參考圖像之距離。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像兩者可不同。因此，計算新距離(基於POC)。且運動向量基於此等兩個POC距離按比例調整。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，運動向量按比例調整適用於空間及時間相鄰候選者之TMVP及AMVP兩者。
HEVC亦利用人造運動向量候選者產生。若運動向量候選者清單不完全，則可產生人造運動向量候選者，且將其插入清單末端，直至清單係完全的為止。在合併模式中，存在兩種類型之人造MV候選者：僅針對B-圖塊推導之組合候選者，及僅針對AMVP使用之零候選者(在第一類型並未提供足夠人造候選者的情況下)。對於已在候選者清單中且具有必要運動資訊之每一對候選者，雙向組合運動向量候選者藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合推導。
HEVC亦針對候選者插入利用精簡處理程序。來自不同區塊之候選者可恰巧相同，此降低合併/AMVP候選者清單之效率。應用精簡處理程序以解決此問題。精簡處理程序將當前候選者清單中之一個候選者與其他進行比較，以在一定程度上避免插入相同候選者。為減小複雜度，應用僅僅受限制數目個精簡處理程序，而非比較每一潛在候選者與所有其他現有候選者。
現將描述JEM中的雙向光學流之態樣。圖6展示光學流軌跡之實例。BIO利用像素的運動改進，在雙向預測之狀況下，該運動改進被實施於區塊的運動補償頂部。因為BIO補償區塊內部可進行的精細運動，所以啟用BIO產生放大之區塊大小以供運動補償。樣本層級運動改進並不需要竭盡式搜尋或發信，此係由於存在針對每一樣本給出精細運動向量的明確等式。
假設為在補償區塊運動之後的來自參考k (k =0, 1)之明度值，且、分別為梯度之水平及垂直分量。假定光學流係有效的，運動向量場藉由等式給出. (1)
針對每一樣本之運動軌跡將光學流等式與厄米特內插組合，得出一唯一三階多項式，其最終匹配函數值及導出項、兩者。此多項式之值在t =0下為BIO預測：. (2)
此處，及指示至參考圖框之距離，如圖6上所示。距離及係針對Ref0及Ref1基於POC進行計算：t0 =POC(當前)-POC(Ref0)，t1 =POC(Ref1)-POC(當前)。若預測兩者均來自相同時間方向(兩者均來自過去或兩者均來自未來)，則標識不同。在此狀況下，僅當預測並非來自相同時刻()時才應用BIO，參考區域兩者均具有非零運動(、、、)，且區塊運動向量與時間距離成比例()。
運動向量場藉由最小化點A與點B (圖6上的運動軌跡與參考圖框平面之相交點)之值之間的差∆予以判定。模型僅僅將本地泰勒延展之第一線性術語用於∆：(3)
(1)中之所有值取決於樣本位置(,)，其迄今為止被省略。假定運動在局部環境中係恆定的，可最小化位於當前預測點中心之(2M+1) ´ (2M+1)正方形窗Ω內的∆：(4)
對此最佳化問題，可使用在垂直方向隨後在水平方向進行第一最小化的簡化解決方案，其得到：(5)(6) 其中，(7)
為避免被零或極小值除，方程式(2)、(3)中引入規則化參數r 及m 。(8)(9)
此處，d為輸入視訊之內部位元深度。
在一些狀況下，BIO之MV方案可能由於雜訊或不規律運動而不可靠。因此，在BIO中，MV方案之量值經削剪至某些臨限(thBIO)。基於當前圖像之所有參考圖像是否均來自一個方向而判定該臨限值。若當前圖像之當前圖像之所有參考圖像來自一個方向，則臨限之值設定成，否則設定成。
使用符合HEVC運動補償處理程序之操作，在運動補償內插同時計算BIO之梯度(2D可分離FIR)。根據區塊運動向量之分數部分，對於此2D可分離FIR的輸入與對於運動補償處理程序及分數位置(fracX ,fracY )的輸入為相同參考圖框樣本。在首先使用BIOfilterS 而對應於解調整移位d -8之分數位置fracY 垂直插入水平梯度信號的狀況下，在對應於解調整移位18-d 之分數位置fracX 的水平方向中應用梯度濾波器BIOfilterG 。在使用BIOfilterG 而對應於解調整移位d -8之分數位置fracY 垂直應用垂直梯度第一梯度濾波器的狀況下，使用BIOfilterS 在對應於解調整移位18-d 之分數位置fracX 的水平方向上執行信號移位。用於梯度計算BIOfilterG及信號移位BIOfilterF之內插濾波器的長度較短(6-抽頭)以便維持合理的複雜性。表1展示用於BIO中之區塊運動向量之不同分數位置的梯度計算的濾波器。表2展示用於BIO中之預測信號產生的內插濾波器。
圖7為繪示用於8×4區塊之梯度計算之實例的概念圖。用於8×4區塊，視訊寫碼器提取運動補償預測子且計算當前區塊內的所有像素以及像素外部兩條線的水平/垂直(HOR/VER)梯度，此係由於求解每一像素之vx 及vy 需要位於每一像素中心之窗內的像素之HOR/VER梯度值及運動補償預測子，如等式(4)中所示。且在JEM之一項實例中，此窗之大小設定成5×5。因此，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)提取運動補償預測子，且計算點A及點B周圍的像素外部兩條線的梯度。表 1 ：用於 BIO 中之梯度計算的濾波器 表 2 ：用於 BIO 中之預測信號產生的內插濾波器
在JEM之實例中，當兩個預測來自不同參考圖像時，BIO應用於所有雙向預測區塊。當針對CU允用本地照明補償(LIC)時，停用BIO。
在第5次JVET會議中，提交了提議JVET-E0028以修改BIO操作且縮減記憶體存取頻寬。在此提議中，無需運動補償預測子及梯度值用於當前區塊外部的像素。此外，針對每一像素求解vx 及vy 被修改以使用當前區塊內的所有像素之運動補償預測子及梯度值，如圖8中所示。換言之，等式(4)中的方形窗被修改為等於當前區塊之窗。此外，考慮將加權因子w(i',j')用於推導vx 及vy 。w(i',j')為中心像素(i,j)之位置與窗內之像素(I',j')的函數。(10)
圖8展示JVET-E0028中所提議的用於8×4區塊之經修改BIO的實例。JVET-E0028之簡化版本稍後經提議以解決區塊層級與子區塊層級BIO處理程序之間的結果之失配問題。代替使用具有CU中之所有像素的相鄰Ω，本文中所描述之一或多種技術修改相鄰Ω以僅僅包括位於當前像素中心的5×5像素，而無任何內插或梯度計算用於當前CU外部之像素位置。
圖9A及圖9B為繪示與JEM之實例中之OBMC相關的概念的概念圖。在JEM之實例中，對運動補償(MC)區塊邊界執行OBMC，CU之右側及底部邊界除外。此外，其應用於明度及色度分量兩者。在JEM之一項實例中，MC區塊對應於寫碼區塊。當CU用子CU模式(包括子CU合併、仿射及FRUC模式)寫碼時，CU之每一子區塊均為MC區塊。為按統一方式處理CU邊界，針對所有MC區塊邊界在子區塊層級執行OBMC，其中子區塊大小設定為等於4×4，如圖9A及圖9B中所繪示。
當OBMC應用於當前子區塊時，除當前運動向量之外，四個連接相鄰子區塊之運動向量若可用且不等同於當前運動向量，則亦用以推導當前子區塊之預測區塊。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可使用除當前運動向量之外的四個連接相鄰子區塊之運動向量(若其可用且不等同於當前運動向量)且在OBMC應用於當前子區塊時推導當前子區塊之預測區塊。基於多個運動向量的此等多個預測區塊經組合以產生當前子區塊之最終預測信號。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可組合基於多個運動向量的多個預測區塊，以產生當前子區塊之最終預測信號。
圖9A至圖9B及圖10A至圖10D為繪示OBMC加權之概念圖。圖9A至圖9B繪示基於相鄰子區塊之運動向量的預測區塊表示為PN ，其中N 指示相鄰子區塊(圖10A)、下方子區塊(圖10C)、左側子區塊(圖10B)及右側子區塊(圖10D)之索引，且基於當前子區塊之運動向量的預測區塊表示為PC 。當PN 係基於含有與當前子區塊相同之運動資訊的相鄰子區塊之運動資訊時，OBMC不用PN 執行。換言之，舉例而言，當PN 係基於含有與當前子區塊相同之運動資訊的相鄰子區塊之運動資訊時，視訊解碼器30及/或視訊編碼器20可能不會執行OBMC。以其他方式，PN 之每一像素均被添加至PC 中之相同像素，亦即，四列/四行PN 被添加至PC 。換言之，舉例而言，當PN 係基於不含有與當前子區塊相同之運動資訊的相鄰子區塊之運動資訊時，視訊解碼器30及/或視訊編碼器20可將PN 之每一像素添加至PC 中之相同像素，亦即，四列/四行PN 被添加至PC 。
加權因子{1/4, 1/8, 1/16, 1/32}用於P N ，且加權因子{3/4, 7/8, 15/16, 31/32}用於P C 。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可將加權因子{1/4, 1/8, 1/16, 1/32}用於PN ，且/或視訊解碼器30及/或視訊編碼器20可將加權因子{3/4, 7/8, 15/16, 31/32}用於PC 。較小MC區塊除外(亦即，當寫碼區塊之高度或寬度等於4或CU用子CU模式進行寫碼時)，其中僅僅兩列/兩行PN 被添加至PC 。在此狀況下，加權因子{1/4, 1/8}用於PN ，且加權因子{3/4, 7/8}用於PC 。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可將權重{1/4, 1/8}用於PN ，且/或視訊解碼器30及/或視訊編碼器20可在寫碼區塊之高度或寬度等於4或CU用子CU模式進行寫碼時將加權因子{3/4, 7/8}用於PC 。對於基於垂直(水平)相鄰子區塊之運動向量而產生的PN ，PN 中位於同一列(行)的像素被添加至具有同一加權因子之PC 。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可在PN 係基於垂直(水平)相鄰子區塊之運動向量而產生時將PN 中位於同一列(行)的像素添加至具有同一加權因子之PC 。應注意，BIO亦應用於預測區塊PN 之推導。
在JEM中，對於大小小於或等於256個明度樣本之CU，發信CU層級旗標以指示是否針對當前CU應用OBMC。換言之，舉例而言，視訊編碼器20可發信CU層級旗標以指示是否針對當前CU應用OBMC。對於大小大於256個明度樣本或未用AMVP模式寫碼之CU，根據預設而應用OBMC。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可在CU大小大於256個明度樣本或未用AMVP模式寫碼時藉由預設應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段期間考慮其影響。藉由使用頂部相鄰區塊及左側相鄰區塊之運動資訊的預測信號用以補償當前CU之原始信號之頂部邊界及左側邊界，且接著應用正常運動估計處理程序。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可藉由使用頂部相鄰區塊及左側相鄰區塊之運動資訊補償當前CU之初始信號的頂部邊界及左側邊界，來使用預測信號。在此實例中，視訊解碼器30及/或視訊編碼器20可應用正常運動估計處理程序。
現將描述型樣匹配運動向量推導(PMMVD)之態樣。PMMVD模式為基於圖框速率向上轉換(FRUC)技術的特殊合併模式。在使用PMMVD模式的情況下，不發信區塊之運動資訊，而是在解碼器側推導。換言之，舉例而言，視訊編碼器20可能不會發信區塊之運動資訊。此技術包括於JEM中。
針對CU (在其合併旗標為真時)發信一FRUC旗標。換言之，舉例而言，視訊編碼器20可在CU之合併旗標為真時針對該CU發信一FRUC旗標。當FRUC旗標為假時，發信合併索引且使用常規合併模式。換言之，舉例而言，當FRUC旗標為假時，視訊編碼器20可發信合併索引，且視訊解碼器30及/或視訊編碼器20可使用合併模式。當FRUC旗標為真時，發信額外FRUC模式旗標以指示使用哪種方法(雙邊匹配或模板匹配)導出用於區塊之運動資訊。換言之，舉例而言，視訊編碼器20可在FRUC旗標為真時發信額外FRUC模式旗標，以指示使用哪種方法(雙邊匹配或模板匹配)來導出用於區塊之運動資訊。如下為用以寫碼FRUC之旗標的例示性語法表。
在運動推導處理程序期間，首先基於雙邊匹配或模板匹配針對整個CU推導初始運動向量。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可在運動推導處理程序期間基於雙邊匹配或模板匹配針對整個CU推導初始運動向量。首先，檢查CU之合併清單(或被稱作PMMVD種)，且選擇導致最小匹配成本的候選者作為起始點。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可檢查CU之合併清單(或被稱作PMMVD種)，且選擇導致最小匹配成本的候選者作為起始點。
接著，基於雙邊匹配或模板匹配圍繞起始點執行本地搜尋且將產生最小匹配成本之MV視為用於整個CU之MV。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可基於雙邊匹配或模板匹配圍繞起始點執行本地搜尋且將產生最小匹配成本之MV視為用於整個CU之MV。隨後，在子區塊層級下以所導出CU運動向量為起始點而進一步改進運動資訊。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在子區塊層級下以所導出CU運動向量為起始點而改進運動資訊。
如圖11A中所示，使用雙邊匹配，藉由找出沿著兩個不同參考圖像中之當前區塊之運動軌跡的兩個參考區塊之間的最佳匹配來推導當前區塊之運動資訊。換言之，舉例而言，視訊解碼器30及/或視訊編碼器20可使用雙邊匹配，藉由找出沿著兩個不同參考圖像中之當前區塊之運動軌跡的兩個參考區塊之間的最佳匹配來推導當前區塊之運動資訊。在假設連續運動軌跡的情況下，分別指向第一輸入參考區塊302及第二輸入參考區塊304的運動向量MV0 306及MV1 308應與當前圖像300與第一輸入參考區塊302及與第二輸入參考區塊304之間的時間距離成比例。作為特殊狀況，在當前圖像300在時間上介於兩個參考圖像之間，且自當前圖像至第一輸入參考區塊302及至第二輸入參考區塊304的時間距離相同時，雙邊匹配變為基於鏡像之雙向MV。
圖11B展示雙邊匹配之另一實例。在圖11B之實例中，當前圖像334之當前區塊332使用模板匹配進行框間預測。模板336界定覆蓋當前區塊332之已經解碼相鄰區塊的形狀。視訊解碼器(例如，視訊解碼器30)可(例如)首先將包括於由模板336覆蓋之已經解碼相鄰區塊中的像素值與包括於由共置型模板338覆蓋之已經解碼相鄰區塊中的像素值進行比較，該共置型模板覆蓋位於參考圖像340之參考圖像中的區塊。視訊解碼器可接著移動模板至參考圖像中之其他位置，且將由模板覆蓋之像素值與包括於由模板636覆蓋之已經解碼相鄰區塊中的像素值進行比較。
基於此等多個比較，視訊解碼器可判定最佳匹配，諸如在圖11B之實例中展示的最佳匹配342。視訊解碼器可接著判定最佳匹配與共置型模板之間的移位(例如，具有模板336之形狀的參考圖像340中的區塊)。此移位(例如，圖11B中之移位344)可對應於用以預測當前區塊332之運動向量資訊。
如圖11B中所繪示，當區塊係在DMVD模式中寫碼時，相較於被直接發信至視訊解碼器30，區塊之MV藉由視訊解碼器30搜尋。藉由模板匹配導致最小失真之MV經選擇為區塊之最終MV。為保持高寫碼效率，對於視訊解碼器30，可能必要使用某一數目個模板匹配來選擇候選者運動向量作為MV以解碼當前區塊，此可增大解碼複雜性。
在圖12之實例中，使用模板匹配，藉由找出當前圖像中之模板(當前區塊之頂部及/或左側相鄰區塊)與參考圖像(Ref0及Ref1)中之區塊(與模板具有相同大小)之間的最佳匹配來推導當前區塊(Cur)之運動資訊。模板可包括用以藉由搜尋R0 及R1 之相鄰區塊，將所關注區塊(Cur)與候選者參考(具有MV0之R0 及具有MV1之R1 )或所推導參考(具有MV 400之R'0 及具有MV 402之R'1 )進行比較的區塊之相鄰像素。最類似的參考隨後用作預測。
在視訊編碼器20，關於是否將FRUC合併模式用於CU的決策係基於如針對正常合併候選者進行的RD成本選擇。亦即，兩個匹配模式(雙邊匹配及模板匹配)藉由使用RD成本選擇針對CU兩者均被檢查。導致最小成本之模式進一步與其他CU模式相比較。若FRUC匹配模式為最高效模式，則FRUC旗標對於CU設定成真且使用相關匹配模式。換言之，舉例而言，視訊編碼器20可發信一指示：在FRUC匹配模式為最高效模式(例如，雙邊匹配及模板匹配)時，FRUC旗標對於CU設定成真。在此實例中，視訊編碼器20及/或視訊解碼器可使用FRUC匹配模式。
在一些系統中，基於模板匹配(TM)之MV推導依賴於相鄰區塊之完全重建構。圖13展示基於TM之MV推導及在基於TM之MV推導之後的框間預測的方塊圖。首先，基於經先前寫碼區塊之完全重建構推導當前區塊之MV資訊502。隨後，使用MV進行運動補償(MC) 504。此後，進一步應用BIO 506及OBMC 508以產生完全框間預測。在MC之處理期間，對經寫碼殘餘樣本值並行執行解量化及反變換(IQIT) 510。最終，添加IQIT之輸出及完全框間預測以形成當前區塊512之完全重建構。
然而，此等設計在以硬體實施時並非為計算高效的。圖14繪示TM MV推導及框間預測的管線處理圖式，其中水平且垂直地展示時間階段及模組。在第一時間(T1)階段，針對第一區塊(區塊1)執行TM MV 602推導。隨後，在第二時間(T2)，針對第一區塊並行地進行MC及IQIT 604。接著，在第三時間(T3)針對第一區塊執行BIO 606。隨後，在第四時間(T4)針對第一區塊執行OBMC 608。由於TM MV推導係基於相鄰(例如，左側、頂部等)區塊之完全重建構，因此針對第二區塊(區塊2)的TM MV 610推導未開始，直至第一區塊之完全重建構可用為止(在T4階段之後)。因為MC、BIO、OBMC通常在計算上係複雜的，所以T2+T3+T4之潛時可能相對較大，從而導致低效率之硬體管線。
根據本文中所描述之一或多種技術，當使用基於MV推導之模板匹配時，在相鄰區塊經框間寫碼的情況下，用於當前區塊MV推導之模板係基於相鄰區塊之部分重建構(或非完全重建構)。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可判定當前圖框中之相鄰區塊經框間寫碼。在此實例中，視訊編碼器20及/或視訊解碼器30可回應於判定相鄰區塊經框間寫碼，基於相鄰區塊之部分重建構判定用於當前圖框中之當前區塊的模板。
在一項實例中，模板匹配係基於部分框間預測之輸出及經反量化經解量化殘餘樣本值，其中部分框間預測意謂著框間預測處理程序未完全執行。舉例而言，如圖15中所示，模板匹配可係基於部分框間預測之輸出及經反量化經解量化殘餘樣本值，其中模板係基於MC之輸出加上相鄰區塊之殘餘樣本值(例如，殘餘樣本值指示藉由模組IQIT的輸出)。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可將運動補償應用於相鄰區塊之運動向量資訊，以產生相鄰區塊之部分重建構。在此實例中，視訊編碼器20及/或視訊解碼器30基於相鄰區塊之殘餘樣本值及相鄰區塊之部分重建構判定模板。舉例而言，視訊編碼器20及/或視訊解碼器30可將相鄰區塊之殘餘樣本值添加至相鄰區塊之預測性區塊以形成相鄰區塊之部分重建構。在一些實例中，視訊解碼器30可自視訊編碼器20接收相鄰區塊之殘餘樣本值的一指示。在此實例中，視訊解碼器30可將殘餘樣本值添加至相鄰區塊之預測性區塊，以形成相鄰區塊之部分重建構。
在使用圖15中所繪示之一或多種技術的情況下，可在圖16中描述TM MV推導及框間預測之管線圖式。舉例而言，視訊編碼器20及/或視訊解碼器30在第一時間(T1)階段針對第一區塊執行TM MV 702推導。在此實例中，視訊編碼器20及/或視訊解碼器30在第二時間(T2)針對第一區塊並行執行MC及IQIT 704。在此實例中，視訊編碼器20及/或視訊解碼器30在第三時間(T3)針對第一區塊執行BIO 706。
根據本文中所描述之一或多種技術，視訊編碼器20及/或視訊解碼器30在第三時間(T1)針對第二區塊進一步執行TM MV 712推導。亦即，在此實例中，視訊編碼器20及/或視訊解碼器30在第三時間使用MC之輸出加上相鄰區塊之殘餘樣本值(例如，殘餘樣本值指示藉由模組IQIT的輸出)針對第二區塊執行TM MV 712推導(且與針對第一區塊執行BIO 706並行)。
視訊編碼器20及/或視訊解碼器30可在第四時間(T4)針對第一區塊執行OBMC 708。此外，視訊編碼器20及/或視訊解碼器30可在第四時間針對第二區塊並行執行MC及IQIT 714。亦即，在此實例中，視訊編碼器20及/或視訊解碼器30在第四時間針對第一區塊執行OBMC 708 (針對第二區塊並行執行MC及IQIT 714)。在此實例中，視訊編碼器20及/或視訊解碼器30在於第三時間針對第二區塊判定模板之後，在第四時間完全地重建構第一區塊。如所示，處理程序可針對額外區塊重複(例如，第三區塊)。
相較於圖14，圖15及圖16之第二區塊(區塊2)的TM MV推導處理程序可在階段T3 (而非階段T5)起始，從而使得管線之效率得以改良。儘管圖14繪示TM MV推導使用MC之輸出加上相鄰區塊之殘餘樣本值(例如，殘餘樣本值指示藉由模組IQIT的輸出)的實例，但在一些實例中，如下文所述，視訊編碼器20及/或視訊解碼器30可在其他階段及/或在不使用殘餘樣本值的情況下執行TM MV推導。
在一些實例中，模板係基於BIO之輸出加上相鄰區塊之殘餘樣本值(殘餘樣本值指示解量化及反變換之後的彼等)。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可將雙向光學應用於用於相鄰區塊之樣本，以產生相鄰區塊之部分重建構。在此實例中，視訊編碼器20及/或視訊解碼器30可判定模板係基於相鄰區塊之殘餘樣本值及相鄰區塊之部分重建構。舉例而言，視訊編碼器20及/或視訊解碼器30可將相鄰區塊之殘餘樣本值添加至相鄰區塊之預測性區塊以形成相鄰區塊之部分重建構。
在一些實例中，模板係基於在考慮或不考慮殘餘樣本值之情況下的部分OBMC之輸出，其中部分OBMC意謂著OBMC已經部分執行，但未經完全進行。舉例而言，視訊編碼器20及/或視訊解碼器30可將OBMC應用於相鄰區塊之一些但並非所有樣本。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可將部分OBMC應用於用於相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行以產生相鄰區塊之部分重建構。在此實例中，視訊編碼器20及/或視訊解碼器30可判定模板係基於相鄰區塊之部分重建構及相鄰區塊之殘餘樣本值，或基於相鄰區塊之部分重建構而不基於相鄰區塊之殘餘樣本值。
在一些實例中，模板在未添加殘餘樣本值的情況下係基於MC之輸出。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在未添加相鄰區塊之殘餘的情況下將運動補償應用於相鄰區塊之運動向量資訊，以產生相鄰區塊之部分重建構。
在一些實例中，模板在未添加殘餘樣本值的情況下係基於BIO之輸出。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在未添加相鄰區塊之殘餘的情況下將雙向光學應用於用於相鄰區塊之樣本以產生相鄰區塊之部分重建構。
在一些實例中，模板在未添加殘餘樣本值的情況下係基於OBMC之輸出。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在未添加相鄰區塊之殘餘的情況下將具有運動資訊之OBMC應用於用於相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行以產生相鄰區塊之部分重建構。舉例而言，視訊編碼器20及/或視訊解碼器30可將OBMC應用於相鄰區塊之一些但並非所有樣本。又，視訊編碼器20及/或視訊解碼器30可判定模板係基於相鄰區塊之部分重建構及相鄰區塊之殘餘樣本值，或基於相鄰區塊之部分重建構而不基於相鄰區塊之殘餘樣本值。
在一些實例中，使用區塊內拷貝(螢幕內容寫碼工具)進行寫碼之區塊被視為經框間寫碼區塊。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可判定在相鄰區塊使用區塊內拷貝進行寫碼時，相鄰區塊經框間寫碼。
在一些實例中，視訊編碼器20可向視訊解碼器30發信模板係基於何輸出。舉例而言，視訊編碼器20可向視訊解碼器30發信，模板在未添加殘餘樣本值的情況下係基於MC之輸出。或視訊編碼器20可向視訊解碼器30發信，模板在未添加殘餘樣本值的情況下係基於BIO之輸出。此資訊可在序列層級、圖像層級或圖塊層級發信，諸如在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集合(PPS)及圖塊標頭中發信。換言之，舉例而言，視訊解碼器30可在視訊資料中接收指定部分重建構模式之語法資料，以產生相鄰區塊之部分重建構。在一些實例中，視訊解碼器30可使用部分重建構模式產生相鄰區塊之部分重建構。舉例而言，視訊解碼器30可在未添加殘餘樣本值的情況下基於MC之輸出判定模板。
在一些實例中，可在頂部及左側模板中之一者採用部分重建構樣本時將不同權重用於該等模板。舉例而言，若針對模板匹配，左側模板使用部分重建構樣本且頂部模板使用完全重建構樣本，則可相較於頂部模板，將較輕加權因子(例如，小於1)應用於來自左側模板之SAD值。加權因子可靜態地定義，或經由VPS/SPS/PPS/圖塊標頭發信。在一些實例中，可藉由反覆搜尋發現該加權因子。考慮經部分重建構的左側模板之相同實例，使用兩者的初始搜尋針對左側模板及頂部模板權重等於一，且該等權重可在初始搜尋中計算為與左側模板之SAD值成反比。在第二或連續改進下，可將此權重應用於左側模板之SAD值以進一步改進運動向量。
當使用基於模板匹配之MV推導時，在相鄰區塊經框內寫碼的情況下，模板係基於相鄰區塊之部分重建構。在一些實例中，在相鄰區塊經框內寫碼的情況下，當前區塊MV推導之模板係基於相鄰區塊之完全重建構，且在相鄰區塊經框間寫碼的情況下，當前區塊MV推導之模板係基於相鄰區塊之部分重建構。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可回應於判定相鄰區塊經框內寫碼，基於相鄰區塊之完全重建構判定用於當前圖框中之當前區塊的模板。
在一些實例中，區塊內之部分重建構係基於框內預測，而未添加殘餘樣本值。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可執行區塊內之部分重建構係基於框內預測而未添加殘餘樣本值。
在一些實例中，使用區塊內拷貝進行寫碼之區塊被視為經框間寫碼區塊。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可判定使用區塊內拷貝進行寫碼之區塊為經框內寫碼區塊。
在一些實例中，視訊編碼器20可發信是否將部分重建構樣本用作模板(在其經框內寫碼時)。在一些實例中，此旗標可在相鄰區塊經框內寫碼時隱藏於該相鄰區塊之殘餘中(例如，使用最後一列或最後一行殘餘樣本的同位)。CU之間的此聯合最佳化可能需要編碼器使用諸如多程編碼或超CU之技術。
當使用基於模板匹配之MV推導時，在區塊經框間寫碼的情況下，模板係基於相鄰區塊之經濾波部分重建構，或在區塊經框內寫碼的情況下，模板係基於相鄰區塊之經濾波完全重建構。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在使用基於模板匹配之MV推導時，在區塊經框間寫碼的情況下基於相鄰區塊之經濾波部分重建構判定模板，或在區塊經框內寫碼的情況下基於相鄰區塊之經濾波完全重建構判定模板。
在一些實例中，濾波處理程序為樣本修勻處理程序。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可對相鄰區塊之部分重建構進行濾波。
在一些實例中，濾波處理程序為像素範圍截割處理程序之一處理程序。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可使用像素範圍截割對相鄰區塊之部分重建構進行濾波。
在一些實例中，當反覆搜尋可適用時，可在藉由初始搜尋產生的預測樣本之間應用交叉邊界濾波器，且可將使用部分經重建構樣本的模板用作供下一搜尋之經改進模板。換言之，舉例而言，在反覆搜尋可適用時，視訊編碼器20及/或視訊解碼器30可在藉由初始搜尋產生的預測樣本之間應用交叉邊界濾波器，且將使用部分經重建構樣本的模板用作供下一搜尋之經改進模板。
在一些實例中，可在初始搜尋之後應用解區塊濾波器，其中可使用雙邊濾波器、HEVC濾波器抑或任何其他內插產生當前區塊之前4列或行樣本。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可在初始搜尋之後應用解區塊濾波器，其中使用雙邊濾波器、HEVC濾波器抑或另一內插產生當前區塊之前4個樣本列或樣本行。該等4個樣本列或樣本行可與具有部分重建構樣本之模板組合，以改進模板供進一步搜尋。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可將4個樣本列或樣本行與具有部分重建構樣本之模板組合，以改進模板供進一步搜尋。
可僅僅針對區塊中之一些組件或一些區域進行部分重建構。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可僅僅針對區塊中之一些組件或一些區域進行部分重建構。
在一些實例中，僅僅針對明度分量計算且儲存部分重建構。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之部分重建構判定第一模板用於當前區塊之明度分量。在此實例中，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之完全重建構判定用於當前區塊之色度分量的第二模板。在此實例中，視訊編碼器20及/或視訊解碼器30可進一步基於第二模板寫碼視訊資料之當前區塊。舉例而言，視訊解碼器30可使用基於第一模板產生的用於當前區塊之明度分量的第一樣本集合及基於第二模板產生的用於當前區塊之色度分量的第二樣本集合解碼當前區塊。
圖17展示可用以計算部分輸出之區域700。在一些實例中，僅僅針對M個右側行752或N個底部列754中的樣本(例如，區域700)計算部分重建構。M及N為任何整數。在一項實例中，M及N均為4。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之部分重建構判定第一模板用於當前區塊之第一樣本集合(例如，區域700)。在此實例中，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之完全重建構判定用於當前區塊之第二樣本集合的第二模板。在此實例中，視訊編碼器20及/或視訊解碼器30可進一步基於第二模板寫碼視訊資料之當前區塊。舉例而言，視訊解碼器30可使用基於第一模板產生的用於當前區塊之第一樣本集合及基於第二模板產生的用於當前區塊之第二樣本集合解碼當前區塊。
圖18為繪示可實施用於雙向光學流之技術之視訊編碼器20的實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖18中所示，視訊編碼器20接收待編碼視訊圖框內的當前視訊區塊。在圖18之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64(其亦可被稱為經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40繼而包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖18中未圖示)以便對區塊邊界進行濾波，以自經重建構視訊中移除區塊效應假影。若需要，解區塊濾波器將通常濾波求和器62之輸出。除瞭解區塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此類濾波器，但若需要，此類濾波器可對求和器62之輸出進行濾波(作為迴路內濾波器)。
在編碼處理程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地使用與待寫碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的像素框內預測所接收視訊區塊，以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可初始地將圖框或圖塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四元樹資料結構。四元樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果選擇框內或框間預測模式中之一者，且將所得經預測區塊提供至求和器50以產生殘餘資料，且將其提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨繪示。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊之移位。預測性區塊為依據像素差被發現緊密地匹配待寫碼區塊之一區塊，該像素差可藉由絕對差總和(SAD)、平方差和(SSD)或其他差度量予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
此外，運動補償單元44可經組態以執行本發明技術中之任一者或所有(單獨或以任何組合方式)。儘管關於運動補償單元44論述，但應理解模式選擇單元40、運動估計單元42、分割單元48及/或熵編碼單元56亦可經組態以單獨或與運動補償單元44組合執行本發明之某些技術。在一個實例中，運動補償單元44可經組態以執行使用本文所論述之相鄰區塊技術之部分重建構的模板匹配。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式後，框內預測單元46可將指示用於區塊之所選框內預測的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換代替DCT。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數之區塊。變換可將殘餘資訊自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化處理程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在藉由熵編碼單元56的熵寫碼之後，經編碼位元串流可被傳輸至另一器件(例如，視訊解碼器30)或經存檔用於稍後傳輸或擷取。
反量化單元58及反變換單元60各別地應用反量化及反變換以重建構像素域中的殘餘區塊。詳言之，求和器62將經重建構殘餘區塊添加至由運動補償單元44或框內預測單元46較早產生之運動補償預測區塊，以產生用於儲存於參考圖像記憶體64中之經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44使用，作為參考區塊以對後續視訊圖框中之區塊進行框間寫碼。
圖19為繪示可實施用於雙向光學流之技術之視訊解碼器30的實例的方塊圖。在圖19的實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20 (圖18)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼處理程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測處理單元74可基於經發信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素產生用於當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些來判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、該圖塊之參考圖像清單中之一或多者的建構資訊、該圖塊之每一經框間編碼視訊區塊的運動向量、該圖塊之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可針對子像素精確度基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器，並使用該等內插濾波器產生預測性區塊。
此外，運動補償單元72可經組態以執行本發明技術中之任一者或所有(單獨或以任何組合方式)。舉例而言，運動補償單元72可經組態以執行使用本文所論述之相鄰區塊技術之部分重建構的模板匹配。
反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼的經量化變換係數。反量化處理程序可包括使用視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY 以判定應應用的量化程度和同樣反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似的反變換處理程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以供稍後在顯示器件(諸如圖1之顯示器件32)上呈現。舉例而言，參考圖像記憶體82可儲存經解碼圖像。
圖20為繪示根據本發明中所描述之一或多個技術解碼視訊資料之實例方法的流程圖。最初，視訊解碼器30接收一位元串流，其包括指示相鄰區塊之殘餘樣本值及部分重建構模式的一或多個符號(802)。舉例而言，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括模板匹配或雙邊匹配的一或多個符號。儘管圖20之實例包括接收一位元串流，其包括指示相鄰區塊之殘餘樣本值的一或多個符號，但在一些實例中，可省略用於產生相鄰區塊之部分重建構的殘餘樣本值。舉例而言，視訊解碼器30接收一位元串流，其包括省略用於產生相鄰區塊之部分重建構的殘餘樣本值之指示的一或多個符號。
部分重建構模式可指示使用相鄰區塊之殘餘樣本值抑或不使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構。舉例而言，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括不使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構的一或多個符號。在一些實例中，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構的一或多個符號。
部分重建構模式可指定相鄰區塊之部分重建構。舉例而言，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括將運動補償應用於相鄰區塊之運動向量資訊以產生相鄰區塊之部分重建構的一或多個符號。在一些實例中，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括將雙向光學應用於用於相鄰區塊之樣本以產生相鄰區塊之部分重建構的一或多個符號。在一些實例中，視訊解碼器30接收一位元串流，其包括指示部分重建構模式包括將部分OBMC應用於用於相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行以產生相鄰區塊之部分重建構的一或多個符號。
視訊解碼器30判定視訊資料之當前區塊使用基於模板之運動向量推導進行預測(804)。在一些實例中，視訊解碼器30在相鄰區塊使用區塊內拷貝進行寫碼時判定相鄰區塊經框間寫碼。
視訊解碼器30部分地重建構相鄰區塊(806)。舉例而言，視訊解碼器30將運動補償應用於相鄰區塊之運動向量資訊以在不應用雙向光學或OBMC的情況下產生相鄰區塊之部分重建構。在一些實例中，視訊解碼器30將雙向光學應用於用於相鄰區塊之樣本，以在不應用OBMC的情況下產生相鄰區塊之部分重建構。在一些實例中，視訊解碼器30將部分OBMC應用於用於相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行以產生相鄰區塊之部分重建構。在一些實例中，視訊解碼器30可使用用於產生相鄰區塊之部分重建構的所接收殘餘樣本值部分地重建構相鄰區塊。又，視訊解碼器30可根據藉由視訊編碼器20輸出之位元串流中之符號所指示的部分重建構模式部分地重建構相鄰區塊。
視訊解碼器30對相鄰區塊之部分重建構進行濾波(808)。儘管圖20之實例包括對相鄰區塊之部分重建構進行濾波，但在一些實例中，可省略對相鄰區塊之部分重建構進行濾波。
視訊解碼器30基於相鄰區塊之部分重建構判定用於當前區塊之模板(810)。舉例而言，視訊解碼器30基於相鄰區塊之部分重建構判定使用模板匹配之模板。在一些實例中，視訊解碼器30基於相鄰區塊之部分重建構判定使用雙邊匹配之模板。
視訊解碼器30完全地重建構相鄰區塊(812)。舉例而言，視訊解碼器30可藉由將運動補償應用於當前區塊之運動向量資訊來完全地重建構相鄰區塊，以產生當前區塊之第一樣本集合。在一些實例中，視訊解碼器30可藉由將雙向光學應用於當前區塊之第一樣本集合來完全地重建構相鄰區塊，以產生當前區塊之第二樣本集合。在一些實例中，視訊解碼器30可藉由將重疊區塊運動補償應用於當前區塊之第二樣本集合來完全地重建構相鄰區塊，以產生當前區塊之預測性區塊。
視訊解碼器30判定參考圖框中的對應(例如，最佳匹配)於用於當前區塊之模板的參考區塊(814)。視訊解碼器30基於參考區塊及模板判定當前圖框之運動向量資訊(816)。舉例而言，視訊解碼器30使用模板與參考區塊之間的移位判定運動向量資訊。視訊解碼器30基於運動向量資訊產生當前區塊之預測性區塊(818)。視訊解碼器30基於預測性區塊解碼當前區塊(820)。
圖21為繪示根據本發明中所描述之一或多個技術編碼視訊資料之實例方法的流程圖。最初，視訊編碼器20選擇解碼器側部分重建構模式(852)。舉例而言，視訊編碼器20使用RD成本選擇來選擇雙邊匹配或模板匹配。
部分重建構模式可指示使用相鄰區塊之殘餘樣本值抑或不使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構。舉例而言，視訊編碼器20使用RD成本選擇來選擇包括使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構或不使用相鄰區塊之殘餘樣本值產生相鄰區塊之部分重建構的部分重建構模式。
部分重建構模式可指定相鄰區塊之部分重建構。舉例而言，視訊編碼器20使用RD成本選擇來選擇包括以下項之部分重建構模式：將運動補償應用於相鄰區塊之運動向量資訊以產生相鄰區塊之部分重建構；將雙向光學應用於用於相鄰區塊之樣本以產生相鄰區塊之部分重建構；或將部分OBMC應用於用於相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行以產生相鄰區塊之部分重建構。
視訊編碼器20判定視訊資料之當前區塊係使用基於模板之運動向量推導進行預測(854)。視訊編碼器20部分地重建構相鄰區塊，且產生用於相鄰區塊之部分重建構的殘餘樣本值(856)。儘管圖21之實例包括用於產生相鄰區塊之部分重建構的殘餘樣本值，但在一些實例中，可省略用於產生相鄰區塊之部分重建構的殘餘樣本值。
視訊編碼器20對相鄰區塊之部分重建構進行濾波(858)。儘管圖21之實例包括對相鄰區塊之部分重建構進行濾波，但在一些實例中，可省略對相鄰區塊之部分重建構進行濾波。
視訊編碼器20基於相鄰區塊之部分重建構判定用於當前區塊之模板(860)。舉例而言，視訊編碼器20基於相鄰區塊之部分重建構判定使用模板匹配之模板。在一些實例中，視訊編碼器20基於相鄰區塊之部分重建構判定使用雙邊匹配之模板。舉例而言，視訊編碼器20使用模板與參考區塊之間的移位判定運動向量資訊。
視訊編碼器20判定參考圖框中的對應(例如，最佳匹配)於用於當前區塊之模板的參考區塊(862)。視訊編碼器20基於參考區塊及模板判定當前圖框之運動向量資訊(864)。視訊編碼器20基於運動向量資訊產生當前區塊之預測性區塊(866)。視訊編碼器20使用當前區塊之預測性區塊產生殘餘樣本值(868)。視訊編碼器20輸出指示用於相鄰區塊之部分重建構的殘餘樣本值、當前區塊之殘餘樣本值，及解碼器側運動推導模式的位元串流(870)。
取決於實例，本文中描述之技術中之任一者的某些動作或事件可以不同序列執行，可予以添加、合併或完全省略(例如，並非所有所描述動作或事件為技術之實踐所必要)。此外，在某些實例中，可例如經由多線程處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述之功能可實施於硬體、軟體、韌體或其任何組合中。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例說明而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效積體或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。相反地，如上所述，各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供，硬體單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧當前圖框
102‧‧‧參考圖框
104‧‧‧經內插圖框
106‧‧‧當前區塊
108‧‧‧參考區塊
110‧‧‧經內插區塊
112‧‧‧運動向量
120‧‧‧當前圖框
122‧‧‧參考圖框
124‧‧‧經內插圖框
126‧‧‧當前區塊
128‧‧‧參考區塊
130‧‧‧經內插區塊
132‧‧‧運動向量(MV)
134‧‧‧運動向量(MV)
202‧‧‧PU0
204‧‧‧PU1
206‧‧‧上方區塊
208‧‧‧右上方區塊
210‧‧‧左上方區塊
212‧‧‧左側區塊
214‧‧‧左下方區塊
222‧‧‧PU0
224‧‧‧PU1
226‧‧‧區塊
228‧‧‧區塊
230‧‧‧區塊
232‧‧‧區塊
234‧‧‧區塊
300‧‧‧當前圖像
302‧‧‧第一輸入參考區塊
304‧‧‧第二輸入參考區塊
306‧‧‧運動向量MV0
308‧‧‧運動向量MV1
332‧‧‧當前區塊
334‧‧‧當前圖像
336‧‧‧模板
338‧‧‧共置型模板
340‧‧‧參考圖像
342‧‧‧最佳匹配
344‧‧‧移位
400‧‧‧MV
402‧‧‧MV
502‧‧‧MV資訊
504‧‧‧運動補償(MC)
506‧‧‧雙向光學流(BIO)
508‧‧‧重疊區塊運動補償(OBMC)
510‧‧‧解量化及反變換(IQIT)
512‧‧‧當前區塊
602‧‧‧模板匹配運動向量(TM MV)
604‧‧‧運動補償(MC)及解量化及反變換(IQIT)
606‧‧‧雙向光學流(BIO)
608‧‧‧重疊區塊運動補償(OBMC)
610‧‧‧模板匹配運動向量(TM MV)
636‧‧‧模板
700‧‧‧區域700
702‧‧‧模板匹配運動向量(TM MV)
704‧‧‧運動補償(MC)及解量化及反變換(IQIT)
706‧‧‧雙向光學流(BIO)
708‧‧‧重疊區塊運動補償(OBMC)
712‧‧‧模板匹配運動向量(TM MV)
714‧‧‧運動補償(MC)及解量化及反變換(IQIT)
752‧‧‧右側行
754‧‧‧底部列
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
808‧‧‧步驟
810‧‧‧步驟
812‧‧‧步驟
814‧‧‧步驟
816‧‧‧步驟
818‧‧‧步驟
820‧‧‧步驟
852‧‧‧步驟
854‧‧‧步驟
856‧‧‧步驟
858‧‧‧步驟
860‧‧‧步驟
862‧‧‧步驟
864‧‧‧步驟
866‧‧‧步驟
868‧‧‧步驟
870‧‧‧步驟
圖1為繪示可利用使用相鄰區塊之部分重建構的模板匹配技術之實例視訊編碼及解碼系統的方塊圖。
圖2為將單邊運動估計(ME)之實例繪示為經執行用於運動補償之圖框速率向上轉換(MC-FRUC)的區塊匹配演算法(BMA)的概念圖。
圖3為將雙邊ME之實例繪示為經執行用於MC-FRUC之BMA的概念圖。
圖4A為繪示用於合併模式之空間相鄰運動向量(MV)候選者的概念圖。
圖4B為繪示用於AMVP模式之空間相鄰MV候選者的概念圖。
圖5A為繪示時間運動向量預測子(TMVP)候選者之實例的概念圖。
圖5B為繪示MV按比例調整之實例的概念圖。
圖6為繪示光學流軌跡之實例的概念圖。
圖7為繪示8×4區塊之雙向光學流(BIO)之實例的概念圖。
圖8為繪示8×4區塊之經修改BIO之實例的概念圖。
圖9A至圖9B為繪示應用有重疊區塊運動補償(OBMC)之子區塊之實例繪示的概念圖。
圖10A至圖10D為繪示OBMC加權之實例的概念圖。
圖11A為繪示雙邊匹配之實例的概念圖。
圖11B為繪示雙邊匹配之另一實例的概念圖。
圖12為繪示模板匹配之實例的概念圖。
圖13為繪示模板匹配(TM) MV推導及框間預測的方塊圖。
圖14為繪示TM MV推導及框間預測管線處理的時序圖。
圖15為繪示使用本文中所描述之一或多種技術的TM MV推導及框間預測的流程圖。
圖16為繪示使用本文中所描述之一或多種技術的TM MV推導及框間預測的時序圖。
圖17為繪示實例部分重建構之概念圖。
圖18為繪示視訊編碼器之實例的方塊圖。
圖19為繪示可實施用於雙向光學流之技術之視訊解碼器的實例的方塊圖。
圖20為繪示根據本發明中所描述之一或多個技術解碼視訊資料之實例方法的流程圖。
圖21為繪示根據本發明中所描述之一或多個技術編碼視訊資料之實例方法的流程圖。

Claims (38)

  1. 一種解碼視訊資料之方法，該方法包含： 藉由實施於處理電路系統中之一視訊解碼器判定一當前圖框中之一相鄰區塊經框間寫碼； 回應於判定該相鄰區塊經框間寫碼，藉由該視訊解碼器基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板； 藉由該視訊解碼器判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框； 藉由該視訊解碼器基於該參考區塊及該模板判定該當前圖框之運動向量資訊； 藉由該視訊解碼器基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及 藉由該視訊解碼器基於該預測性區塊解碼視訊資料之該當前區塊。
  2. 如請求項1之方法，其包含： 藉由該視訊解碼器在判定用於該當前區塊之該模板之後完全地重建構該相鄰區塊。
  3. 如請求項1之方法，其包含： 藉由該視訊解碼器接收該相鄰區塊之殘餘樣本值的一指示；及 藉由該視訊解碼器將該等殘餘樣本值添加至該相鄰區塊之一預測性區塊，以形成該相鄰區塊之該部分重建構。
  4. 如請求項1之方法，其包含： 藉由該視訊解碼器將運動補償應用於該相鄰區塊之運動向量資訊，以產生該相鄰區塊之一預測性區塊；及 藉由該視訊解碼器將該相鄰區塊之殘餘樣本值添加至該相鄰區塊之該預測性區塊，以形成該相鄰區塊之該部分重建構。
  5. 如請求項1之方法，其包含： 藉由該視訊解碼器將雙向光學應用於用於該相鄰區塊之樣本，以產生該相鄰區塊之一預測性區塊；及 藉由該視訊解碼器將該相鄰區塊之殘餘樣本值添加至該相鄰區塊之該預測性區塊，以形成該相鄰區塊之該部分重建構。
  6. 如請求項1之方法，其包含： 藉由該視訊解碼器將部分重疊區塊運動補償(OBMC)應用於用於該相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行，以產生該相鄰區塊之該部分重建構。
  7. 如請求項1之方法，其包含： 藉由該視訊解碼器在未添加該相鄰區塊之一殘餘的情況下將運動補償應用於該相鄰區塊之運動向量資訊，以產生該相鄰區塊之該部分重建構。
  8. 如請求項1之方法，其包含： 藉由該視訊解碼器在未添加該相鄰區塊之一殘餘的情況下將雙向光學流應用於用於該相鄰區塊之樣本，以產生該相鄰區塊之該部分重建構。
  9. 如請求項1之方法，其包含： 藉由該視訊解碼器在未添加該相鄰區塊之一殘餘的情況下將具有運動資訊之部分重疊區塊運動補償(OBMC)應用於用於該相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行，以產生該相鄰區塊之該部分重建構。
  10. 如請求項1之方法，其包含： 藉由該視訊解碼器在該相鄰區塊使用區塊內拷貝進行寫碼時判定該相鄰區塊經框間寫碼。
  11. 如請求項1之方法，其包含： 藉由該視訊解碼器在該視訊資料中接收指定一部分重建構模式的語法資料，以產生該相鄰區塊之該部分重建構；及 藉由該視訊解碼器使用該部分重建構模式產生該相鄰區塊之該部分重建構。
  12. 如請求項1之方法，其中該相鄰區塊為一第一相鄰區塊，其中該當前圖框為一第一當前圖框，其中該當前區塊為一第一當前區塊，其中該模板為一第一模板，其中該參考圖框為一第一參考圖框，其中該運動向量資訊為第一運動向量資訊，且其中該預測性區塊為一第一預測性區塊，該方法進一步包含： 藉由該視訊解碼器判定一第二當前圖框中之一第二相鄰區塊經框內寫碼； 回應於判定該第二相鄰區塊經框內寫碼，藉由該視訊解碼器基於該第二相鄰區塊之一完全重建構判定用於該第二當前圖框中之一第二當前區塊的一第二模板； 藉由該視訊解碼器判定一第二參考圖框中的對應於用於該第二當前區塊之該第二模板的一第二參考區塊，其中該第二參考圖框不同於該第二當前圖框； 藉由該視訊解碼器基於該第二參考區塊及該第二模板判定該第二當前圖框之第二運動向量資訊； 藉由該視訊解碼器基於該第二運動向量資訊產生視訊資料之該第二當前區塊的一第二預測性區塊；及 藉由該視訊解碼器基於該第二預測性區塊解碼視訊資料之該第二當前區塊。
  13. 如請求項1之方法，其中判定用於該當前區塊之該模板包含： 對該相鄰區塊之該部分重建構進行濾波。
  14. 如請求項1之方法，其中該模板為一第一模板，且其中判定該第一模板係針對該當前區塊之一明度分量，該方法進一步包含： 基於該相鄰區塊之一完全重建構判定用於該當前區塊之色度分量的一第二模板，其中解碼視訊資料之該當前區塊係進一步基於該第二模板。
  15. 如請求項1之方法，其中該模板為一第一模板，且其中判定該第一模板係針對該當前區塊之一第一樣本集合，該方法進一步包含： 基於該相鄰區塊之一完全重建構判定用於該當前區塊之一第二樣本集合的一第二模板，其中解碼視訊資料之該當前區塊係進一步基於該第二模板。
  16. 如請求項1之方法，其中產生該預測性區塊包含： 將運動補償應用於該當前區塊之該運動向量資訊，以產生該當前區塊之一第一樣本集合； 將雙向光學應用於該當前區塊之該第一樣本集合，以產生該當前區塊之一第二樣本集合；及 將重疊區塊運動補償應用於該當前區塊之該第二樣本集合，以產生該當前區塊之該預測性區塊。
  17. 一種用於解碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存該視訊資料；及 處理電路系統，其經組態以： 判定一當前圖框中之一相鄰區塊經框間寫碼； 回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板； 判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框； 基於該參考區塊及該模板判定該當前圖框之運動向量資訊； 基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及 基於該預測性區塊解碼視訊資料之該當前區塊。
  18. 如請求項17之器件，其中該處理電路系統經組態以： 在判定用於該當前區塊之該模板之後完全地重建構該相鄰區塊。
  19. 如請求項17之器件，其中該處理電路系統經組態以： 接收該相鄰區塊之殘餘樣本值的一指示；及 將該等殘餘樣本值添加至該相鄰區塊之一預測性區塊，以形成該相鄰區塊之該部分重建構。
  20. 如請求項17之器件，其中該處理電路系統經組態以： 將運動補償應用於該相鄰區塊之運動向量資訊，以產生該相鄰區塊之一預測性區塊；及 將該相鄰區塊之殘餘樣本值添加至該相鄰區塊之該預測性區塊，以形成該相鄰區塊之該部分重建構。
  21. 如請求項17之器件，其中該處理電路系統經組態以： 將雙向光學流應用於用於該相鄰區塊之樣本，以產生該相鄰區塊之一預測性區塊；及 將該相鄰區塊之殘餘樣本值添加至該相鄰區塊之該預測性區塊，以形成該相鄰區塊之該部分重建構。
  22. 如請求項17之器件，其中該處理電路系統經組態以： 將部分重疊區塊運動補償(OBMC)應用於用於該相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行，以產生該相鄰區塊之該部分重建構。
  23. 如請求項17之器件，其中該處理電路系統經組態以： 在未添加該相鄰區塊之一殘餘的情況下將運動補償應用於該相鄰區塊之運動向量資訊，以產生該相鄰區塊之該部分重建構。
  24. 如請求項17之器件，其中該處理電路系統經組態以： 在未添加該相鄰區塊之一殘餘的情況下將雙向光學應用於用於該相鄰區塊之樣本，以產生該相鄰區塊之該部分重建構。
  25. 如請求項17之器件，其中該處理電路系統經組態以： 在未添加該相鄰區塊之一殘餘的情況下將具有運動資訊的部分重疊區塊運動補償(OBMC)應用於用於該相鄰區塊之樣本，使得OBMC已經部分執行但未經完全執行，以產生該相鄰區塊之該部分重建構。
  26. 如請求項17之器件，其中該處理電路系統經組態以： 在該相鄰區塊使用區塊內拷貝進行寫碼時判定該相鄰區塊經框間寫碼。
  27. 如請求項17之器件，其中該處理電路系統經組態以： 在該視訊資料中接收指定一部分重建構模式之語法資料，以產生該相鄰區塊之該部分重建構；及 使用該部分重建構模式產生該相鄰區塊之該部分重建構。
  28. 如請求項17之器件，其中該相鄰區塊為一第一相鄰區塊，其中該當前圖框為一第一當前圖框，其中該當前區塊為一第一當前區塊，其中該模板為一第一模板，其中該參考圖框為一第一參考圖框，其中該運動向量資訊為第一運動向量資訊，其中該預測性區塊為一第一預測性區塊，且其中該處理電路系統經組態以： 判定一第二當前圖框中之一第二相鄰區塊經框內寫碼 回應於判定該第二相鄰區塊經框內寫碼，基於該第二相鄰區塊之一完全重建構判定用於該第二當前圖框中之一第二當前區塊的一第二模板； 判定一第二參考圖框中的對應於用於該第二當前區塊之該第二模板的一第二參考區塊，其中該第二參考圖框不同於該第二當前圖框； 基於該第二參考區塊及該第二模板判定該第二當前圖框之第二運動向量資訊； 基於該第二運動向量資訊產生視訊資料之該第二當前區塊的一第二預測性區塊；及 基於該第二預測性區塊解碼視訊資料之該第二當前區塊。
  29. 如請求項17之器件，其中為判定用於該當前區塊之該模板，該處理電路系統經組態以： 對該相鄰區塊之該部分重建構進行濾波。
  30. 如請求項17之器件，其中該模板為一第一模板，其中判定該第一模板係針對該當前區塊之一明度分量，且其中該處理電路系統經組態以： 基於該相鄰區塊之一完全重建構判定用於該當前區塊之色度分量的一第二模板，其中解碼視訊資料之該當前區塊係進一步基於該第二模板。
  31. 如請求項17之器件，其中該模板為一第一模板，其中判定該第一模板係針對該當前區塊之一第一樣本集合，且其中該處理電路系統經組態以： 基於該相鄰區塊之一完全重建構判定用於該當前區塊之一第二樣本集合的一第二模板，其中解碼視訊資料之該當前區塊係進一步基於該第二模板。
  32. 如請求項17之器件，其中為產生該預測性區塊，該處理電路系統經組態以： 將運動補償應用於該當前區塊之該運動向量資訊，以產生該當前區塊之一第一樣本集合； 將雙向光學應用於該當前區塊之該第一樣本集合，以產生該當前區塊之一第二樣本集合；及 將重疊區塊運動補償應用於該當前區塊之該第二樣本集合，以產生該當前區塊之該預測性區塊。
  33. 如請求項17之器件，其中該器件包含一無線通信器件，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  34. 如請求項33之器件，其中該無線通信器件包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  35. 一種編碼視訊資料之方法，該方法包含： 藉由實施於處理電路系統中之一視訊編碼器判定一當前圖框中之一相鄰區塊經框間寫碼； 回應於判定該相鄰區塊經框間寫碼，藉由該視訊編碼器基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板； 藉由該視訊編碼器判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框； 藉由該視訊編碼器基於該參考區塊及該模板判定該當前圖框之運動向量資訊； 藉由該視訊編碼器基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及 藉由該視訊編碼器基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值。
  36. 一種用於編碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存該視訊資料；及 處理電路系統，其經組態以： 判定一當前圖框中之一相鄰區塊經框間寫碼； 回應於判定該相鄰區塊經框間寫碼，基於該相鄰區塊之一部分重建構判定用於該當前圖框中之一當前區塊的一模板； 判定一參考圖框中的對應於用於該當前區塊之該模板的一參考區塊，其中該參考圖框不同於該當前圖框； 基於該參考區塊及該模板判定該當前圖框之運動向量資訊； 基於該運動向量資訊產生視訊資料之該當前區塊的一預測性區塊；及 基於該預測性區塊產生視訊資料之該當前區塊的殘餘樣本值。
  37. 如請求項36之器件，其中該器件包含一無線通信器件，其進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  38. 如請求項37之器件，其中該無線通信器件包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
TW107122843A 2017-07-05 2018-07-02 用於運動向量推導之基於部份重建構之模板匹配 TW201907724A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762528918P 2017-07-05 2017-07-05
US62/528,918 2017-07-05
US16/024,032 US10757442B2 (en) 2017-07-05 2018-06-29 Partial reconstruction based template matching for motion vector derivation
US16/024,032 2018-06-29

Publications (1)

Publication Number Publication Date
TW201907724A true TW201907724A (zh) 2019-02-16

Family

ID=64903569

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122843A TW201907724A (zh) 2017-07-05 2018-07-02 用於運動向量推導之基於部份重建構之模板匹配

Country Status (9)

Country Link
US (1) US10757442B2 (zh)
EP (1) EP3649785A1 (zh)
KR (1) KR20200023315A (zh)
CN (1) CN110915214B (zh)
AU (1) AU2018297993A1 (zh)
BR (1) BR112019027821A2 (zh)
SG (1) SG11201910916RA (zh)
TW (1) TW201907724A (zh)
WO (1) WO2019010123A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质
CN116437104A (zh) 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码方法和编码方法
US10986360B2 (en) * 2017-10-16 2021-04-20 Qualcomm Incorproated Various improvements to FRUC template matching
US11317085B2 (en) 2018-03-30 2022-04-26 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
WO2020031062A1 (en) * 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between different dmvd models
WO2020070612A1 (en) 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
MX2021008911A (es) 2019-02-01 2021-08-24 Beijing Bytedance Network Tech Co Ltd Se?alizacion de informacion de reformacion en bucle utilizando conjuntos de parametros.
WO2020156529A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
WO2020177665A1 (en) * 2019-03-05 2020-09-10 Mediatek Inc. Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
CN113557721A (zh) * 2019-03-12 2021-10-26 北京达佳互联信息技术有限公司 组合帧间和帧内预测模式的受约束和调节的应用
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20220112864A (ko) 2019-03-15 2022-08-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
WO2020192612A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Default in-loop reshaping parameters
CN113632480B (zh) * 2019-03-29 2024-07-12 北京字节跳动网络技术有限公司 自适应环路滤波与其他编解码工具之间的交互
CN113661708B (zh) 2019-04-02 2023-12-15 北京字节跳动网络技术有限公司 基于双向光流的视频编解码和解码
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
CN113728630B (zh) 2019-04-19 2023-11-17 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
AU2020282086A1 (en) 2019-05-24 2021-11-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using for ibc merge list
WO2020255903A1 (ja) 2019-06-21 2020-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11272203B2 (en) 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding
US20240187567A1 (en) * 2021-04-09 2024-06-06 Beijing Bytedance Network Technology Co., Ltd. Adaptive motion candidate list
CN117296324A (zh) * 2021-05-17 2023-12-26 抖音视界有限公司 视频处理的方法、设备和介质
EP4356611A1 (en) * 2021-06-25 2024-04-24 Fg Innovation Company Limited Device and method for coding video data
WO2023008888A1 (ko) * 2021-07-26 2023-02-02 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US20230075788A1 (en) * 2021-09-01 2023-03-09 Tencent America LLC Template matching on ibc merge candidates
WO2023132564A1 (ko) * 2022-01-10 2023-07-13 현대자동차주식회사 인터 예측에서 디코더측 움직임벡터 리스트 수정을 위한 방법 및 장치
WO2023194600A1 (en) * 2022-04-08 2023-10-12 Interdigital Ce Patent Holdings, Sas Latency constrained template-based operations
WO2023204675A1 (ko) * 2022-04-21 2023-10-26 엘지전자 주식회사 템플릿 매칭을 이용하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100027096A (ko) * 2007-04-18 2010-03-10 톰슨 라이센싱 인트라 예측을 위한 적응 기준 영상 데이터 생성
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
TWI444049B (zh) * 2011-01-18 2014-07-01 Univ Nat Chiao Tung 畫面估測系統及其估測方法
US9998727B2 (en) * 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
EP3459244A4 (en) * 2016-01-12 2020-03-04 Telefonaktiebolaget LM Ericsson (publ) VIDEO CODING WITH HYBRID INTRAPREDICTION
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data

Also Published As

Publication number Publication date
CN110915214B (zh) 2023-12-12
CN110915214A (zh) 2020-03-24
BR112019027821A2 (pt) 2020-07-07
US20190014342A1 (en) 2019-01-10
AU2018297993A1 (en) 2019-12-19
KR20200023315A (ko) 2020-03-04
SG11201910916RA (en) 2020-01-30
EP3649785A1 (en) 2020-05-13
US10757442B2 (en) 2020-08-25
WO2019010123A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
CN110915214B (zh) 用于运动向量推导的基于部分重构建的模板匹配
TWI803563B (zh) 改良的解碼器側之運動向量推導
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
US10491917B2 (en) Decoder-side motion vector derivation
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
JP6740243B2 (ja) ビデオコーディングにおける動きベクトル導出
JP6746620B2 (ja) ビデオコーディングのための照明補償ステータスを決定するシステムおよび方法
JP2020511859A (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
TW201703531A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW201715891A (zh) 用於視訊寫碼之改良雙向光流