TW201803348A - 用於在視頻寫碼中之並列參考指標的一致性約束 - Google Patents

用於在視頻寫碼中之並列參考指標的一致性約束 Download PDF

Info

Publication number
TW201803348A
TW201803348A TW106112218A TW106112218A TW201803348A TW 201803348 A TW201803348 A TW 201803348A TW 106112218 A TW106112218 A TW 106112218A TW 106112218 A TW106112218 A TW 106112218A TW 201803348 A TW201803348 A TW 201803348A
Authority
TW
Taiwan
Prior art keywords
video
block
tiles
tile
image
Prior art date
Application number
TW106112218A
Other languages
English (en)
Inventor
瑞珍 雷克斯曼 喬許
法迪姆 塞瑞金
益魁 王
克里序納坎斯 拉帕卡
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201803348A publication Critical patent/TW201803348A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種編碼視訊資料之方法,該方法包含:編碼視訊資料之一當前圖像,產生用於該當前圖像之一或多個圖塊的一各別並列參考圖像指標語法元素,且僅對不具有一框內圖塊類型且針對其啟用一時間運動向量預測子之該一或多個圖塊的圖塊執行一位元串流一致性檢查,該位元串流一致性檢查約束該等各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考該當前圖像本身。

Description

用於在視頻寫碼中之並列參考指標的一致性約束
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、ITU-T H.265、高效率視訊寫碼(HEVC)所定義的標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(亦即,視訊圖框或視訊圖框之一部分)分割成視訊區塊,其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生殘餘變換係數,其接著可被量化。
一般而言,本發明描述在視訊寫碼程序中利用經編碼位元串流一致性約束(例如,修改HEVC位元串流一致性約束)的技術。在一些實例中,位元串流一致性約束指定藉由語法元素(例如,collocated_ref_idx語法)參考之參考圖像應為用於經寫碼圖像之所有圖塊的相同參考圖像且不應為當前圖像本身。本發明描述應用此種約束之視訊寫碼技術及視訊寫碼情境。在其他實例中,本發明進一步提出移除藉由collocated_ref_idx參考之圖像不應為當前圖像的任何約束。 在其他實例中,本發明描述可改良用於圖像之寫碼效率的技術,其中圖像內之某些圖塊僅將當前圖像用作用於預測性寫碼之參考圖像,而相同圖像內之其他圖塊將當前圖像以及時間圖像用作用於預測性寫碼之參考圖像。在一更一般情況中,無論當前圖像是否包括為參考圖像,當圖像內之某些圖塊使用時間運動預測且相同圖像內之其他圖塊不使用時間運動預測時,該等技術可為適用的。 本發明之技術可適用於符合高效視訊寫碼(HEVC)標準(ITU-T H.265)及其擴展(諸如螢幕內容寫碼(SCC))的視訊編解碼器。然而,可根據任何視訊寫碼技術(包括未來視訊寫碼標準),支援高位元深度(例如,多於8位元)、不同色度取樣格式(諸如4:4:4、4:2:2、4:2:0、4:0:0)之視訊寫碼技術及類似者使用本發明之技術。 在本發明之一個實例中,編碼視訊資料之方法包含:編碼視訊資料之當前圖像;產生用於當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素;及僅對不具有框內圖塊類型之一或多個圖塊的圖塊執行位元串流一致性檢查,且針對該等圖塊啟用時間運動向量預測子,該位元串流一致性檢查約束各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考當前圖像本身。 在本發明之另一實例中,一種經組態以編碼視訊資料之裝置包含:記憶體,其經組態以儲存視訊資料之當前圖像;及一或多個處理器,其經組態以:編碼視訊資料之當前圖像,產生用於當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素,且僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊的圖塊執行位元串流一致性檢查,該位元串流一致性檢查約束各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考當前圖像本身。 在另一實例中,本發明描述儲存指令之非暫時性電腦可讀儲存媒體,該等指令在執行時使經組態以編碼視訊資料之器件之一或多個處理器以:編碼視訊資料之當前圖像;產生用於當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素;及僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊的圖塊執行位元串流一致性檢查,該位元串流一致性檢查約束各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考當前圖像本身。 在本發明之另一實例中,一種經組態以解碼視訊資料之裝置包含:記憶體,其經組態以儲存視訊資料之經編碼當前圖像;及一或多個處理器,其經組態以:接收視訊資料之經編碼當前圖像,接收用於經編碼當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素,及僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊的圖塊執行位元串流一致性檢查,該位元串流一致性檢查判定每一各別並列參考圖像指標語法元素是否指向相同圖像且不參考經編碼當前圖像本身。 在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2016年4月13日申請之美國臨時申請案第62/322,160號及2016年4月15日申請之美國臨時申請案第62/323,467號之益處,兩者之全部內容以引用之方式併入本文中。 本發明描述利用經編碼位元串流一致性約束(例如,修改HEVC位元串流一致性約束)之技術。在一些實例中,位元串流一致性約束指定藉由語法元素(例如,collocated_ref_idx語法元素)參考之參考圖像應為用於經寫碼圖像之所有圖塊的相同參考圖像且不應為當前圖像本身。本發明描述應用此種約束之技術及寫碼情境。在其他實例中,本發明另外提出移除藉由collocated_ref_idx參考之圖像不應為當前圖像的任何約束。 在其他實例中,本發明描述改良用於圖像之寫碼效率的方法,其中圖像內之某些圖塊僅將當前圖像用作參考,然而相同圖像內之其他圖塊將當前圖像以及時間圖像用作參考。在一更一般情況中,無論當前圖像是否包括為參考圖像,當圖像內之某些圖塊使用時間運動預測且相同圖像內之其他圖塊不使用時間預測時,本發明之實例技術為適用的。 本發明之技術可適用於符合高效視訊寫碼(HEVC)標準(ITU-T H.265)及其擴展(諸如螢幕內容寫碼(SCC))的視訊編/解碼器。然而,可根據任何視訊寫碼技術(包括未來視訊寫碼標準),支援高位元深度(例如,多於8位元)、不同色度取樣格式(諸如4:4:4、4:2:2、4:2:0、4:0:0)之視訊寫碼技術及類似者使用本發明之技術。 視訊序列通常表示為圖像序列。通常,基於區塊之寫碼技術用於寫碼個別圖像中之每一者。亦即,將每一圖像劃分成區塊,且個別地寫碼該等區塊中之每一者。寫碼視訊資料區塊通常涉及形成用於區塊中之樣本之預測值(例如,像素值、此種明度樣本及/或色度樣本)且寫碼殘餘值。使用一或多個預測性區塊中之樣本形成預測值。殘餘值表示原始區塊之像素與經預測樣本值之間的差異。特定言之,視訊資料之原始區塊包括樣本值之陣列,且經預測區塊包括經預測像素值之陣列。殘餘值表示原始區塊之樣本值與經預測樣本值之間的逐樣本差。 用於視訊資料區塊之預測技術通常分類為框內預測及框間預測。框內預測或空間預測通常涉及自相同圖像中之相鄰的、先前經寫碼區塊之像素值預測區塊。內部預測或時間預測通常涉及自經一或多個先前經寫碼圖像之像素值預測區塊。包括基於調色板之寫碼技術及內區塊複製技術的其他預測技術可用於寫碼螢幕內容(例如,螢幕內容寫碼(SCC))。 圖1為說明可利用本發明之技術之一實例視訊編碼及解碼系統10的方塊圖。如圖1中所示,系統10包括提供待(例如)在近實時或稍後藉由目的地器件14解碼之經編碼視訊資料的源器件12。特定而言,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型電腦(亦即,膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧」電話之電話手持機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或類似者。在一些情況下,源器件12和目的地器件14可經裝備以供無線通信。因此,源器件12及目的地器件14可為無線通信器件。源器件12為一實例視訊編碼器件(亦即,用於編碼視訊資料之器件)。目的地器件14為一實例視訊解碼器件(亦即,用於解碼視訊資料之器件)。 在圖1之實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。在其他實例中,源器件12及目的地器件14包括其他組件或配置。舉例而言,源器件12可自外部視訊源(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件。 圖1之所說明之系統10僅為一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術通常由視訊編碼器件執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱為「編解碼器(CODEC)」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中,源器件12及目的地器件14可以實質上對稱方式操作,使得源器件12及目的地器件14中的每一者包括視訊編碼及解碼組件。因此,系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸,例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊俘獲器件,諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代,視訊源18可產生基於電腦圖形之資料,作為源視訊,或實況視訊、經存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如,儲存媒體19)。然而,本發明中所描述之技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。在每一情況下,可由視訊編碼器20編碼所俘獲、經預先俘獲或電腦產生之視訊。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一些實例中,電腦可讀媒體16包含使得源器件12能夠即時將經編碼視訊資料直接地傳輸至目的地器件14的通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件12至目的地器件14之通信的設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,經編碼資料可自輸出介面24輸出至儲存器件。類似地,可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者,諸如,硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中,存儲器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適用於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或兩者之組合。來自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如,經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話的應用。 電腦可讀媒體16可包括暫時性媒體(諸如,無線廣播或有線網路傳輸)或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可自源器件12接收經編碼視訊資料,且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地,媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊,語法資訊亦由視訊解碼器30使用,語法資訊包括描述區塊及其他經寫碼單元(例如,圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可儲存藉由輸入介面26接收之經編碼視訊資料。顯示器件32將經解碼視訊資料顯示給使用者,且可包含多種顯示器件中之任一者,諸如,陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。 在一些實例中,視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如現有或未來標準)來操作。實例視訊寫碼標準包括但不限於:ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱作ISO/IEC MPEG-4 AVC),包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外,已藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發新的視訊寫碼標準(亦即,高效視訊寫碼(HEVC)或ITU-T H.265),包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。 在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列,表示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(亦即,區塊)。SCb 為Cb彩度(chrominance)樣本之二維陣列。SCr 為Cr彩度樣本之二維陣列。彩度樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他例項中,圖像可為單色的且可僅包括明度樣本之陣列。 為產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用以對寫碼樹型區塊之樣本寫碼之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一寫碼樹型區塊及用以對寫碼樹型區塊之樣本寫碼之語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而,CTU未必限於特定大小,且可包括一或多個寫碼單元(CU)。圖塊可包括以光柵掃描次序連續排序之整數數目個CTU。 本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以係指一或多個樣本區塊及用於對樣本之一或多個區塊之樣本寫碼之語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區,等等。在一些情形中,PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及視訊資料之其他類型之區塊。 為產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊,以及用以對寫碼區塊之樣本寫碼之語法結構在單色圖像或具有三個單獨色彩平面之圖像中,CU可包含單一寫碼區塊及用以對寫碼區塊之樣本寫碼之語法結構。 視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為其上應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,PU可包含單一預測區塊及用以對預測區塊進行預測之語法結構。視訊編碼器20可產生用於CU之每一PU的預測區塊(例如,明度預測區塊、Cb預測區塊及Cr預測區塊)的預測性區塊(例如,明度預測性區塊、Cb預測性區塊及Cr預測性區塊)。 視訊編碼器20可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊,則視訊編碼器20可基於包括PU之圖像的經解碼樣本產生PU之預測性區塊。 在視訊編碼器20產生用於CU之一或多個PU的預測性區塊(例如,明度預測性區塊、Cb預測性區塊及Cr預測性區塊)之後,視訊編碼器20可產生用於CU之一或多個殘餘區塊。舉例而言,視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。 此外,視訊編碼器20可使用四分樹分割以將CU之殘餘區塊(例如,明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊)分解成一或多個變換區塊(例如,明度變換區塊、Cb變換區塊及Cr變換區塊)。變換區塊為其上應用相同變換之樣本的矩形(亦即,正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。因此,CU之每一TU可具有明度變換區塊、Cb變換區塊及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單一變換區塊及用以對變換區塊之樣本進行變換的語法結構。 視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生用於TU之係數區塊。舉例而言,視訊編碼器20可將一或多個變換應用於TU之明度變換區塊,以產生用於TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於TU之Cr係數區塊。 在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化該係數區塊。量化大體上係指量化變換係數以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之程序在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應二進位算術寫碼(CABAC)。 視訊編碼器20可輸出包括經編碼視訊資料之位元串流。舉例而言,位元串流可包含形成經寫碼圖像及相關聯資料之表示的一連串位元。因此,位元串流包含視訊資料之經編碼表示。位元串流可包含一連串網路抽象層(NAL)單元。NAL單元為含有NAL單元中之資料類型的指示及含有該資料之位元組的語法結構,該等位元組呈原始位元組序列有效負載(RBSP)形式,視需要與模擬防止位元穿插。NAL單元中之每一者可包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下,RBSP包括零個位元。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。舉例而言,視訊解碼器30可使用PU之運動向量,以判定用於當前CU之PU的預測性區塊。另外,視訊解碼器30可反量化當前CU之TU的係數區塊。視訊解碼器30可對係數區塊執行反變換,以重建構當前CU之TU的變換區塊。藉由將用於當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。 在一些實例中,視訊編碼器20可使用合併模式或進階運動向量預測(AMVP)模式傳信使用框間預測編碼之PU之運動資訊。換言之,在HEVC中包括用於預測運動參數之兩種模式,一種為合併模式且另一種為AMVP。運動預測可包含基於一或多個其他視訊單元之運動資訊判定視訊單元(例如,PU)之運動資訊。 PU之運動資訊可包括PU之運動向量、PU之參考指標及預測方向。 當視訊編碼器20使用合併模式傳信當前PU之運動資訊時,視訊編碼器20產生合併候選清單。換言之,視訊編碼器20可執行運動向量預測子清單建構程序。合併候選清單包括指示在空間上或時間上鄰近當前PU的PU之運動資訊的合併候選之集合。亦即,在合併模式中,在候選可係來自於空間及時間相鄰區塊的情況下建構運動參數(例如,參考指標、運動向量等)之候選清單。 此外,在合併模式中,視訊編碼器20可自合併候選清單選擇合併候選,且可將藉由所選擇之合併候選所指示的運動資訊用作當前PU之運動資訊。視訊編碼器20可傳信所選擇之合併候選之合併候選清單中的定位。舉例而言,視訊編碼器20可藉由將指標傳輸至候選清單中而傳信所選擇的運動向量參數。視訊解碼器30可自位元串流獲得候選清單中之指標(亦即,候選清單指標)。另外,視訊解碼器30可產生相同的合併候選清單,且可基於所選擇之合併候選的定位之指示,判定所選擇的合併候選。接著,視訊解碼器30可使用所選擇之合併候選的運動資訊,以產生用於當前PU之預測性區塊。視訊解碼器30可至少部分地基於候選清單指標判定候選清單中之所選擇之候選,其中所選擇的候選指定用於當前PU之運動向量。以此方式,在解碼器側處,一旦解碼指標,則可由當前PU繼承指標指向處之對應區塊的所有運動參數。 可將跳過模式視為合併模式之特定情況。在跳過模式中,視訊編碼器20及視訊解碼器30以與視訊編碼器20及視訊解碼器30在合併模式中使用合併候選清單之相同方式,產生且使用合併候選清單。然而,當視訊編碼器20使用跳過模式傳信當前PU之運動資訊時,視訊編碼器20並不傳信當前PU之任何殘餘資料。因此,視訊解碼器30可在未使用殘餘資料的情況下,基於由合併候選清單中所選擇之候選的運動資訊所指示的參考區塊,判定用於PU之預測性區塊。 AMVP模式類似於合併模式,此係因為視訊編碼器20可產生候選清單,且可自候選清單選擇候選。然而,當視訊編碼器20使用AMVP模式傳信當前PU之參考圖像清單(RefPicListX)運動資訊時,除傳信用於當前PU之RefPicListX MVP旗標以外,視訊編碼器20可傳信用於當前PU之RefPicListX MVD及用於當前PU之RefPicListX參考指標。用於當前PU之RefPicListX MVP旗標可指示AMVP候選清單中之所選擇之AMVP候選之定位。用於當前PU之RefPicListX MVD可指示當前PU之RefPicListX運動向量與所選擇之AMVP候選之運動向量之間的差異。以此方式,視訊編碼器20可藉由傳信RefPicListX MVP旗標、RefPicListX參考指標值及RefPicListX MVD而傳信當前PU之RefPicListX運動資訊。換言之,位元串流中表示用於當前PU之運動向量的資料可包括表示參考指標、對候選清單之指標及MVD的資料。 此外,當使用AMVP模式傳信當前PU之運動資訊時,視訊解碼器30可自位元串流獲得用於當前PU及MVP旗標的MVD。視訊解碼器30可產生相同的AMVP候選清單,且可基於MVP旗標判定所選擇之AMVP候選。視訊解碼器30可藉由將MVD添加至由所選擇之AMVP候選所指示的運動向量而恢復當前PU之運動向量。亦即,視訊解碼器30可基於藉由所選擇之AMVP候選及MVD所指示的運動向量,判定當前PU之運動向量。接著,視訊解碼器30可使用當前PU之經恢復運動向量或運動向量,以產生用於當前PU之預測性區塊。 在時間上鄰近當前PU (亦即,與當前PU處於不同時間例項的PU)之基於PU之運動資訊的合併候選清單或AMVP候選清單中之候選可被稱為時間運動向量預測子(TMVP)。為判定TMVP,視訊寫碼器(例如,視訊編碼器20及/或視訊解碼器30)可首先識別包括與當前PU共同定位之PU的參考圖像。換言之,視訊寫碼器可識別經共同定位之圖像。若當前圖像之當前圖塊為B圖塊(亦即,使其包括經雙向框間預測PU之圖塊),則視訊編碼器20可在圖塊標頭中傳信指示經共同定位圖像來自哪一參考圖像清單(例如,RefPicList0或RefPicList1)的語法元素(例如,collocated_from_l0_flag)。在視訊解碼器30識別包括經共同定位之圖像的參考圖像清單之後,視訊解碼器30可使用(可傳信於圖塊標頭中的)另一語法元素(例如,collocated_ref_idx),以識別經識別參考圖像清單中之經共同定位之圖像。 視訊寫碼器可藉由檢查藉由參考圖像指標(例如,如藉由collocated_ref_idx語法元素所指示)識別之參考圖像識別經共同定位之PU。TMVP可指示含有經共同定位之PU的CU之右下PU的運動資訊,或含有此PU之CU的中心PU內之右下PU的運動資訊。含有經共同定位之PU的CU之右下PU可為直接覆蓋PU之預測區塊的右下樣本之右下方處的位置的PU。換言之,TMVP可指示位於參考圖像中,且覆蓋與當前PU之右下拐角共同定位的位置的PU之運動資訊,或TMVP可指示位於參考圖像中,且覆蓋與當前PU之中心共同定位的位置的PU之運動資訊。 當藉由以上程序識別之運動向量用於產生用於合併模式或AMVP模式之運動候選時,可基於(由圖像次數計數(POC)值反射之)時間位置按比例調整運動向量。舉例而言,當當前圖像與參考圖像之POC值之間的差大於當當前圖像與參考圖像之POC值之間的差較少時的值時,視訊寫碼器可將運動向量之量值增加較大量。在HEVC中,序列參數集(SPS)包括sps_enable_temporal_mvp_flag語法元素。sps_enable_temporal_mvp_flag語法元素指定是否可使用時間運動向量預測子。 許多應用(諸如遠端桌面、遠端遊戲、無線顯示器、車用資訊娛樂、雲計算或類似者)在日常個人生活中逐漸普及。此等應用中之視訊內容通常為固有內容、文字、人工圖形及類似者之組合。在文字及人工圖形中,內容之一或多個區可包括經常存在之重複模式(諸如特性、圖標及符號以提供幾個實例)。內區塊複製(BC)為使得能夠移除此類冗餘之技術,由此潛在地改良圖像內寫碼效率。以HEVC範圍擴展標準(其被移動至HEVC之螢幕內容寫碼(SCC)擴展)採用框內BC程序。 為使用框內BC技術預測當前視訊資料區塊,視訊寫碼器可判定識別在與當前視訊資料區塊相同圖像內之視訊資料之預測性區塊(亦即,先前經寫碼視訊資料之區塊)的區塊向量。作為一個實例,視訊編碼器可將預測性區塊選擇為被發現緊密地匹配當前視訊資料區塊的先前經寫碼視訊資料之區塊,且產生指示相對於當前區塊之預測性區塊之位置的區塊向量。作為另一實例,視訊解碼器可接收指示相對於當前區塊之預測性區塊之位置的區塊向量之指示。 對於使用框內BC寫碼之當前寫碼單元(CU),視訊編碼器20可自相同圖像中之檢索區獲得預測信號(其亦可為被稱作「預測區塊」)。在一些情況下,視訊編碼器20可編碼向量(例如,區塊向量106),其指示自當前CU移位之預測區塊之位置。在一些實例中,區塊向量可指示相對於當前CU之左上拐角之位置的預測區塊之左上拐角之位置。在一些情況下,區塊向量亦可被稱為偏移向量、移位向量或運動向量。視訊編碼器20亦可編碼指示當前視訊區塊之像素值與預測性區塊中之預測性樣本之間的差異的殘餘資料。 一般而言,框內BC寫碼模式可被認為框間預測之特定形式。不同於框間預測,框內BC寫碼技術自相同圖像獲得預測性區塊,而非自其他圖像獲得預測性區塊。然而,不同於框間預測,框內BC不使用時間運動向量預測子。此係因為在框內BC中,參考圖像係當前圖像。 在HEVC SCC規範之先前版本中,R. Joshi等人,「High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 6」,ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC),第23次會議:美國,聖地亞哥,2016年2月19日至26日(下文中之「JCTVC-W1005-v1」),圖塊分段標頭可包括slice_temporal_mvp_enabled_flag語法元素及collocated_ref_idx語法元素。slice_temporal_mvp_enabled_flag之值指示圖塊分段標頭是否包括特定語法元素(包括collocated_ref_idx語法元素),如用於圖塊分段標頭之語法表之以下部分中所展示。
Figure TW201803348AD00001
來自JCTVC-W1005-v1之章節7.4.7.1的以下文字描述slice_temporal_mvp_enabled_flag:slice _ temporal _ mvp _ enabled _ flag 指定時間運動向量預測子是否可用於框間預測。若slice_temporal_mvp_enabled_flag等於0,則當前圖像之語法元素將受約束,使得無時間運動向量預測子用於解碼當前圖像。否則(slice_temporal_mvp_enabled_flag等於1),時間運動向量預測子可用於解碼當前圖像。當不存在時,推斷slice_temporal_mvp_enabled_flag之值等於0。 使currLayerId等於當前NAL單元之nuh_layer_id。當slice_temporal_mvp_enabled_flag及TemporalId兩者等於0時,按解碼次序之當前圖像之後的所有經寫碼圖像(其中nuh_layer_id等於currLayerId)之語法元素將受約束,使得沒有來自按解碼次序之當前圖像之前的任一圖像(其中nuh_layer_id等於currLayerId)之時間運動向量用於解碼按解碼次序之當前圖像之後的任何經寫碼圖像。 附註1-當slice_temporal_mvp_enabled_flag在I圖塊中等於0時,其對圖像之標準化解碼程序無影響,但僅表現位元串流約束。 附註2-當slice_temporal_mvp_enabled_flag在TemporalId等於0之圖塊中等於0時,解碼器可清空用於在經解碼圖像緩衝器中nuh_layer_id等於currLayerId之所有參考圖像的「運動向量儲存」。 JCTVC-W1005-v1之以下文字描述collocated_from_l0_flag語法元素及collocated_ref_idx語法元素:collocated _ from _ l0 _ flag 等於1指定用於時間運動向量預測之並列圖像自參考圖像清單0導出。collocated_from_l0_flag等於0指定用於時間運動向量預測之並列圖像自參考圖像清單1導出。當collocated_from_l0_flag並不存在,推斷其等於1。collocated _ ref _ idx 指定用於時間運動向量預測之並列圖像的參考指標。 當slice_type等於P時或當slice_type等於B且collocated_from_l0_flag等於1時,collocated_ref_idx係指清單0中之圖像,且collocated_ref_idx之值將在0至num_ref_idx_l0_active_minus1之範圍內(包括端點)。 當slice_type等於B且collocated_from_l0_flag等於0時,collocated_ref_idx係指清單1中之圖像,且collocated_ref_idx之值將在0至num_ref_idx_l1_active_minus1之範圍內(包括端點)。 當collocated_ref_idx不存在時,推斷collocated_ref_idx之值等於0。 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像且不應為當前圖像本身。 一般而言,slice_temporal_mvp_enabled_flag指示使用時間運動向量預測子是否為圖塊所允許。若時間運動向量預測子為圖塊所允許,則collocated_ref_idx語法元素之值為用於時間運動向量預測之參考圖像之指標。 JCTVC-W1005-v1之條項7.4.7.1定義語法元素collocated_ref_idx之語義,包括如下值推斷及位元串流一致性約束: 當不存在時,推斷collocated_ref_idx之值等於0。 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像且不應為當前圖像本身。 此位元串流一致性約束可能對位元串流造成一些不必要限制,可能影響寫碼效率。作為一實例,考慮當前圖像中之圖塊使用兩個時間參考圖像T0及T1 (其中T0及/或T1可為或可不為當前圖像本身)。亦考慮在當前圖像中存在兩個圖塊。如藉由JCTVC-W1005-v1所定義,若slice_temporal_mvp_enabled_flag針對各圖塊採用值0,則推斷collocated_ref_idx之值針對各圖塊為0。在此情況下,藉由JCTVC-W1005-v1之位元串流一致性約束禁用針對圖塊之參考圖像清單(RPL)之以下配置:
Figure TW201803348AD00002
此係因為0之collocated_ref_idx指向針對圖塊0之T0及針對圖塊1之T1。因此,使用參考圖像重定序或一些其他機制以使得兩個圖塊之RPL中之第一項目係相同可為必要的。當slice_temporal_mvp_enabled_flag之值為0 (亦即,時間預測子不用於圖塊)時,此係潛在地不必要且可浪費位元。在此情況下,在不使用時間預測子時,collocated_ref_idx及藉由collocated_ref_idx參考之圖像對經重建構圖像無影響,且因此含有此時間預測子對參考圖像之指標對彼等特定圖塊無用。 JCTVC-W1005-v1之位元串流約束在可為不必要的另一實例係當至少一個I圖塊存在於圖像中時。請注意在HEVC之一些實例中,I圖塊不准許將當前圖像用作參考,此係因為僅使用框內預測寫碼I圖塊:
Figure TW201803348AD00003
再次,在此情況下,將推斷collocated_ref_idx之值為0。對於I圖塊,由於不存在參考圖像清單,即使不定義藉由collocated_ref_idx指向之圖像,且當然不使用該圖像。因此,位元串流一致性約束之一致性檢查在此實例中係不可能的。 JCTVC-W1005-v1之位元串流約束可為不必要的另一實例係當存在至少一個I圖塊(框內圖塊類型)之圖像且slice_temporal_mvp_enabled_flag等於1 (亦即,允許時間預測子)時,如下:
Figure TW201803348AD00004
在此情況下,並列圖像(例如,如藉由collocated_ref_idx之值所指示)係針對P圖塊類型(P框間圖塊類型)來推導且對於I圖塊類型係未經定義的,因此其不可能執行一致性檢查。P圖塊類型為可使用單向框間預測及/或框內預測寫碼之圖塊。B圖塊類型(B框間圖塊類型)為可使用單向框間預測、雙向框間預測及/或框內預測寫碼之圖塊。 一般而言,藉由HEVC之一些實例提議中之當前一致性檢查,包括JCTVC-W1005-v1之實例,所有位元串流不一致,此係因為位元串流始終具有至少一個I圖塊。因此,不可能使用JCTVC-W1005-v1之約束執行並列圖像一致性檢查。 鑒於前述,本發明描述用於僅在語法元素之彼等例項對解碼程序具有影響之情況下的語法元素(及自該語法元素導出之變數)之位元串流一致性檢查。對於變數及語法元素不影響解碼結果之彼等情況,不執行位元串流一致性檢查。 舉例而言,對於並列參考圖像指標語法元素一致性檢查(例如,對collocated_ref_idx語法元素之位元串流一致性檢查),視訊編碼器20及/或視訊解碼器30可經組態以排除參數(例如,collocated_ref_idx語法元素)不對解碼程序具有影響或不改變來自一致性檢查之解碼輸出的情況。亦即,視訊編碼器20及/或視訊解碼器30可僅在下文定義之情境中執行一致性檢查。 在一個實例中,本發明提出修改位元串流一致性約束,使得其僅在slice_temporal_mvp_enabled_flag等於1時(亦即,當時間運動向量預測子為圖塊所允許時)應用,如下: 當slice_temporal_mvp_enabled_flag等於1時,位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像,且藉由collocated_ref_idx參考之圖像不應為當前圖像本身。 在此實例中,當時間運動向量預測子為圖塊所允許時,視訊編碼器20及/或視訊解碼器30可僅對collocated_ref_idx之值執行位元串流一致性檢查。當時間運動向量預測子不為圖塊所允許時,視訊編碼器20及/或視訊解碼器30不執行一致性檢查。視訊編碼器20及/或視訊解碼器30可執行位元串流一致性檢查以驗證特定圖塊之collocated_ref_idx之值指向與所有其他圖塊之collocated_ref_idx相同的圖像。應注意由於參考圖像清單管理程序,collocated_ref_idx可具有針對不同圖塊之不同值,但仍然可指向相同參考圖像。亦即,不同圖塊可向呈不同次序之參考圖像指派指標值。位元串流一致性檢查亦驗證collocated_ref_idx之值不參考當前圖像本身。 視訊編碼器20可經組態以在產生用於各圖塊標頭之collocated_ref_idx之值之後執行位元串流一致性檢查。換言之,視訊編碼器20可經組態以執行位元串流一致性檢查以驗證視訊編碼器20指派給collocated_ref_idx之值符合預定義位元串流一致性之準則。此種程序可用於上文所定義之位元串流一致性約束或用於如下描述之實例中之任一者。 視訊解碼器30可經組態以對所接收之經編碼視訊位元串流執行位元串流一致性檢查。在視訊解碼器30接收且解析圖塊標頭以判定(無論所接收或所推斷之) collocated_ref_idx語法元素之值之後,視訊解碼器30可將用於特定圖塊之collocated_ref_idx語法元素之值與用於相同圖像之其他圖塊之collocated_ref_idx語法元素之值進行比較以驗證該等值符合預定義一致性約束(例如,用於圖像之所有collocated_ref_idx語法元素指向相同參考圖像)。若視訊解碼器30判定位元串流通過一致性檢查,則視訊解碼器30可繼續正常解碼。若視訊解碼器30判定位元串流不通過一致性檢查,則視訊解碼器30可記錄誤差。視訊解碼器30可仍然試圖解碼位元串流,即使不滿足位元串流一致性檢查。 在另一實例中,本發明提出修改位元串流一致性約束,使得視訊編碼器20及/或視訊解碼器30考慮圖塊類型(例如,圖塊類型語法元素之值)及slice_temporal_mvp_enabled_flag之值兩者,如下: 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像,對於該圖像slice_temporal_mvp_enabled_flag之值等於1且slice_type不等於2。另外,當slice_temporal_mvp_enabled_flag之值等於1時,藉由collocated_ref_idx參考之圖像不應為當前圖像本身。 在此實例中,當時間運動向量預測子為圖塊所允許時且當圖塊類型不為框內圖塊類型時,視訊編碼器20及/或視訊解碼器30可僅對collocated_ref_idx之值執行位元串流一致性檢查。當時間運動向量預測子不為圖塊所允許時或當圖塊類型為框內圖塊類型時,視訊編碼器20及/或視訊解碼器30不執行一致性檢查。如JCTVC-W1005-v1中所定義,具有值2之語法元素slice_type指示框內圖塊類型(I圖塊)。因此,視訊編碼器20施加約束,即collocated_ref_idx將僅對於圖塊類型為P或B (例如,非框內)且slice_temporal_mvp_enabled_flag之值等於1 (亦即,時間運動向量預測子經啟用)的圖塊參考相同圖像。如上文所論述,視訊解碼器30可對所接收之視訊編碼位元串流執行相同一致性檢查。 當slice_temporal_mvp_enabled_flag之值等於0 (亦即,不啟用時間運動向量預測子)時,藉由collocated_ref_idx參考之圖像不影響經重建構圖像。因此,僅當slice_temporal_mvp_enabled_flag之值等於1時,藉由collocated_ref_idx參考之圖像不應為當前圖像。 如上文所論述,在JCTVC-W1005-v1中,在collocated_ref_idx之語義中之條項7.4.7.1中,存在位元串流一致性約束,其表述: 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像且不應為當前圖像本身。 此約束暗示若存在僅具有(最終)參考圖像清單(RPL)中之當前圖像的圖塊,則slice_temporal_mvp_enabled_flag將為0。由於位元串流一致性之要求亦為圖像中之所有圖塊具有slice_temporal_mvp_enabled_flag之相同值,其暗示若存在僅具有用於圖像之所有圖塊的(最終) RPL中之當前圖像的至少一個圖塊,則slice_temporal_mvp_enabled_flag之值將為0。以上表述為真,即使如本發明之先前實例中所指定修改位元串流一致性約束。 在HEVC之一些實例中,根據slice_temporal_mvp_enabled_flag之語義,若用於圖像之TemporalId為0,則相同層中之稍後呈解碼次序之圖像不應在呈解碼次序之當前圖像之前使用來自圖像的時間運動向量預測子。此可允許解碼器(例如,視訊解碼器30)清除呈解碼次序之稍早圖像的運動向量資訊。先前(根據HEVC標準之稍早版本)視訊編碼器可出於抗誤碼目的控制是否啟用運動向量資訊之清除且在寫碼效率與抗誤碼之間製造最佳化權衡。藉由JCTVC-W1005-v1之所提出技術,每當當前圖像含有僅具有(最終)參考圖像清單(RPL)中之當前圖像的至少一個圖塊時,失去此可撓性。為保持可撓性,視訊編碼器將必須包括除至RPL中之當前圖像以外之一些圖像。在期望僅具有指向當前圖像本身之有源參考指標的情況下,添加一些其他圖像至RPL中將不必要地需要傳信區塊層級處之參考指標且因此產生相當大的寫碼負擔。 鑒於前文,本發明提出以下額外技術。如下修改collocated_ref_idx之語義中之JCTVC-W1005-v1之條項7.4.7.1中之位元串流一致性約束。以下文字展示對JCTVC-W1005-v1之HEVC SCC規範進行實例改變及/或對上文所描述的該等技術中之一些進行改變。經插入文字係展示在<insert>與</insert>標記之間。缺失文字係展示在<delete>與</delete>標記之間。 <insert>當slice_temporal_mvp_enabled_flag等於1</insert>時,位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像<delete>之所有圖塊的相同圖像且不應為當前圖像本身</delete>。 在另一實例中,可如下改變上文所描述的經修改位元串流一致性約束: 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊之相同圖像,對於該圖像slice_temporal_mvp_enabled_flag之值等於1且slice_type不等於2 <delete>,且另外,當slice_temporal_mvp_enabled_flag之值等於1時,藉由collocated_ref_idx參考之圖像不應為當前圖像本身</delete>。 另外,若collocated_ref_idx參考當前圖像,則時間運動向量預測候選被視為不可用。此可藉由對JCTVC-W1005-v1進行以下改變來實現: 8.5.3.2.8 用於時間明度運動向量預測之推導程序 對此程序之輸入為: - 指定相對於當前圖像之左上明度樣本的當前明度預測區塊之左上樣本之明度定位(xPb、yPb), - 指定明度預測區塊之寬度及高度之兩個變數nPbW及nPbH, - 參考指標refIdxLX (其中X為0或1)。 此程序之輸出為: - 運動向量預測mvLXCol, - 可用性旗標availableFlagLXCol。 變數currPb指定明度位置(xPb、yPb)處之當前明度預測區塊。 如下導出變數mvLXCol及availableFlagLXCol: - 若slice_temporal_mvp_enabled_flag等於0,則將mvLXCol之兩個分量設定為等於0且將availableFlagLXCol設定為等於0。 <insert>否則,若參考圖像為當前圖像,則將mvLXCol之兩個分量設定為等於0且將availableFlagLXCol設定為等於0</insert>。 - 否則(slice_temporal_mvp_enabled_flag等於1),應用以下經定序步驟: ... 在其他實例中,可如下修改用於並列圖像之一致性檢查。可以任何組合一起執行以下實例。 在一個實例中,可在JCTVC-W1005-v1中修改collocated_ref_idx語法元素之定義以列舉:<insert>當不存在且slice_type不等於2時,推斷collocated_ref_idx之值等於0</insert>。當圖塊類型為I (亦即,slice_type等於2)時,視訊編碼器20及/或視訊解碼器30不推斷並列參考指標且不針對並列參考指標執行一致性檢查。換言之,當用於圖塊之圖塊類型不為框內圖塊時,視訊編碼器20及/或視訊解碼器30經組態以執行一致性檢查。 在本發明之另一實例中,當需要並列圖像且並列圖像在解碼過程序中相關時,視訊編碼器20及/或視訊解碼器30經組態以僅對collocated_ref_idx語法元素之值執行一致性檢查。視訊編碼器20及/或視訊解碼器30經組態以使得collocated_ref_idx語法元素能夠通過一致性檢查之方式推導用於圖塊之collocated_ref_idx語法元素之值。舉例而言,視訊編碼器20及/或視訊解碼器30可經組態以推導針對圖像中之I圖塊推導的某一並列圖像。此種並列圖像不為I圖塊所需要,但其將為用於所有圖塊之相同圖像,且因此滿足一致性檢查。不管slice_temporal_mvp_enabled_flag之值如何,並列圖像不為I圖塊所需要,且當slice_temporal_mvp_enabled_flag等於0 (亦即,不允許時間運動向量預測子)時,不為非I圖塊所需。 在本發明之另一實例中,視訊編碼器20及/或視訊解碼器30可經組態以僅針對在slice_temporal_mvp_enabled_flag等於1 (亦即,啟用時間運動向量預測子)且圖像之圖塊之圖塊類型係除I圖塊類型(例如,slice_type不等於2)以外的類型時之情況對collocated_ref_idx執行一致性檢查。 在本發明之另一實例中,視訊編碼器20及/或視訊解碼器30可經組態以僅針對在slice_temporal_mvp_enabled_flag等於1 (亦即,啟用時間運動向量預測子)且圖像之圖塊之圖塊類型係除I圖塊類型(例如,slice_type不等於2)以外的類型,且圖塊具有除當前圖像以外之參考圖像時之情況對collocated_ref_idx執行一致性檢查。若當前圖像僅為參考圖像,則不管slice_temporal_mvp_enabled_flag之值如何,其可不為並列圖像。在此情況下,視訊編碼器20及/或視訊解碼器30可經組態以不針對此類圖塊對collocated_ref_idx執行一致性檢查。 在本發明之另一實例中,視訊編碼器20及/或視訊解碼器30可經組態以僅針對在並列圖像用於圖塊之解碼程序或在圖塊解碼輸出中具有影響時之情況對collocated_ref_idx執行一致性檢查。若視訊編碼器20及/或視訊解碼器30經組態以推導並列圖像,但不使用圖塊中之並列圖像,則視訊編碼器20及/或視訊解碼器30可經組態以跳過針對此種圖像之參考指標(例如,collocated_ref_idx)的一致性檢查。 在本發明之另一實例中,視訊編碼器20及/或視訊解碼器30可經組態以僅針對經推導並列圖像對collocated_ref_idx執行一致性檢查。若視訊編碼器20及/或視訊解碼器30不推導用於一些圖塊之並列圖像,則視訊編碼器20及/或視訊解碼器30可不對collocated_ref_idx執行一致性檢查。 在本發明之另一實例中,視訊編碼器20及/或視訊解碼器30可經組態以在slice_temporal_mvp_enabled_flag等於1時(亦即,當啟用時間運動向量預測子時)僅針對圖塊對collocated_ref_idx執行一致性檢查。 在JCTVC-W1005-v1中,圖像內之一些圖塊可僅將當前圖像用作參考,然而相同圖像中之其他圖塊可將時間圖像以及當前圖像用作參考。對於將除當前圖像外之圖像用作參考之圖塊,允許使用時間運動向量預測(mvp)候選(例如,時間運動向量預測子)可為合意的(來自寫碼效率觀點)。此暗示語法元素slice_temporal_mvp_enabled_flag對於此種圖塊應具有等於1之值(亦即,啟用時間運動向量預測子)。根據JCTVC-W1005-v1,標準化要求為slice_temporal_mvp_enabled_flag之值應為用於經寫碼圖像之所有圖塊分段標頭的相同值。因此,若經寫碼圖像之一個圖塊使用時間mvp候選,則slice_temporal_mvp_enabled_flag對於經寫碼圖像之所有圖塊分段標頭應具有值1。 在另一方面,JCTVC-W1005-v1指定collocated_ref_idx指示並列圖像之參考指標用於時間運動向量預測。如上文所論述,JCTVC-W1005-v1指示位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有圖塊的相同圖像且不應為當前圖像本身。 基於對slice_temporal_mvp_enabled_flag及collocated_ref_idx語法元素之約束,JCTVC-W1005-v1暗示若圖塊中之一者僅具有作為參考之當前圖像,則標準化要求為針對圖塊禁用時間運動向量預測,或等效地針對圖塊之slice_temporal_mvp_enabled_flag具有值0。此隨後暗示對於圖像之所有圖塊分段標頭,slice_temporal_mvp_enabled_flag具有值0。 因此,根據JCTVC-W1005-v1,若圖像之圖塊中之一者僅將當前圖像用作參考,則標準化要求為針對彼圖像中之所有圖塊禁用時間運動向量預測。亦即,對於圖像之所有圖塊分段標頭,slice_temporal_mvp_enabled_flag具有值0。如上文所提及,此可導致寫碼效率中之損耗。 候補方案(但來自寫碼效率觀點之較小有效率)為對於僅將當前圖像用作參考之圖塊,引入額外時間參考以滿足JCTVC-W1005-v1之當前約束。視訊編碼器可避免使用額外的時間參考,而不影響以當前規範傳信任何運動向量的能力。然而,在此情境下,需要傳信而非推斷參考指標,由此導致寫碼效率之損耗。 本發明之技術使得能夠針對使用時間參考圖像之圖塊使用時間運動向量預測。因此,本發明描述可逐圖塊基礎決定時間MVP之用途,且視訊編碼器20及/或視訊解碼器30可作出使用不同於相同圖像之不同圖塊的時間MVP之判定。另外,本發明描述對於具有slice_temporal_mvp_enabled_flag等於1之相同圖像內之圖塊,collocated_ref_idx將為相同的。如下文所描述修改對slice_temporal_mvp_enabled_flag及collocated_ref_idx之標準化要求。 舉例而言,視訊編碼器20可編碼視訊資料。在此實例中,視訊編碼器20可編碼視訊資料之圖像之第一圖塊。另外,在此實例中,視訊編碼器20可編碼相同圖像之第二圖塊。作為編碼第一圖塊之部分,在用於第一圖塊之圖塊標頭中視訊編碼器20可包括指示針對第一圖塊啟用時間運動向量預測之語法元素。作為編碼第二圖塊之部分,在用於第二圖塊之圖塊標頭中視訊編碼器20可包括指示針對第二圖塊禁用時間運動向量預測之語法元素。(圖塊分段標頭亦可被稱作圖塊標頭。)因此,視訊編碼器20可包括指示針對圖塊中之一些但不是圖像之圖塊之其他者啟用時間運動向量預測的圖像之圖塊之圖塊標頭中之語法元素。在本發明之一些實例中,對於啟用時間運動向量預測之圖像之各圖塊,在位元串流中視訊編碼器20包括指示用於時間運動向量預測之相同參考圖像的語法元素(例如,collocated_ref_idx)。 視訊解碼器30可解碼經編碼視訊資料。作為解碼經編碼視訊資料之部分,視訊解碼器30可自視訊資料之圖像之第一圖塊之圖塊標頭獲得指示針對第一圖塊啟用時間運動向量預測之語法元素(例如,slice_temporal_mvp_enabled_flag)。另外,在此實例中,視訊解碼器30可自相同圖像之第二圖塊之圖塊標頭獲得指示針對圖塊禁用時間運動向量預測之語法元素(例如,slice_temporal_mvp_enabled_flag)。 當針對圖塊啟用時間運動向量預測時,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可使用時間運動向量預測以判定當前圖像之圖塊之當前區塊(例如,PU)之運動參數(例如,一或多個運動向量及參考指標)。舉例而言,視訊寫碼器可判定指定時間參考圖像(例如,具有來自當前圖像之不同圖像次數計數(POC)值的圖像或來自當前圖像之不同存取單元中之圖像)中之區塊之運動參數的候選(例如,合併模式候選或AMVP候選)。如上文所描述,視訊寫碼器可使用運動預測子清單(例如,合併候選清單或AMVP候選清單)中之所選擇之候選以判定當前區塊之運動參數。視訊寫碼器可使用當前區塊之運動參數以判定用於當前區塊之預測性區塊。作為編碼當前區塊之部分,視訊編碼器20可使用預測性區塊以產生殘餘資料。如本發明中之其他處所描述,在位元串流中視訊編碼器20可包括基於殘餘資料之資料。作為解碼當前區塊之部分,視訊解碼器30可使用預測性區塊及殘餘資料以重建構當前區塊之樣本。以此方式,基於指示針對圖塊啟用時間運動向量預測之語法元素,視訊解碼器30可使用時間運動向量預測以解碼圖塊之區塊。當針對圖塊不啟用(亦即禁用)時間運動向量預測時,視訊寫碼器可不使用時間運動向量預測以寫碼(亦即,編碼或解碼)圖塊之任何區塊。實例 1 以下文字展示根據本發明的一或多種技術對JCTVC-W1005-v1進行實例改變。經插入文字係展示在<insert>與</insert>標記之間。缺失文字係展示在<delete>與</delete>標記之間。7 . 4 . 7 . 1 通用圖塊分段標頭語義 若存在,則圖塊分段標頭語法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、<insert>及</insert> num_long_term_sps、num_long_term_pics<delete>及slice_temporal_mvp_enabled_flag</delete>之值應為經寫碼圖像之所有圖塊分段標頭中之相同值。若存在,則圖塊分段標頭語法元素lt_idx_sps[ i ]、poc_lsb_lt[ i ]、used_by_curr_pic_lt_flag [ i ]、delta_poc_msb_present_flag[ i ]及delta_poc_msb_cycle_lt[ i ]之值應為用於各可能的值i之經寫碼圖像之所有圖塊分段標頭中之相同值。 ... <insert>位元串流一致性之要求為若圖塊僅含有作為參考之當前圖像,則slice_temporal_mvp_enabled_flag將等於零。</insert> ... 在collocated _ ref _ idx 之語義中: 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於<insert>具有slice_temporal_mvp_enabled_flag等於1</insert>之經寫碼圖像之所有圖塊之相同圖像且不應為當前圖像本身。 [規範片段之終止] 此為大部分通用情況,此係因為圖塊temporal_mvp_enabled_flag之值不存在限制,除在圖塊僅含有作為參考之當前圖像之情況下外。實例 2 在此第二實例中,對語法元素slice_temporal_mvp_enabled_flag施加額外約束。7 . 4 . 7 . 1 通用圖塊分段標頭語義 若存在,則圖塊分段標頭語法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、<insert>及</insert> num_long_term_sps、num_long_term_pics<delete>及slice_temporal_mvp_enabled_flag</delete>之值應為經寫碼圖像之所有圖塊分段標頭中之相同值。若存在,則圖塊分段標頭語法元素lt_idx_sps[ i ]、poc_lsb_lt[ i ]、used_by_curr_pic_lt_flag [ i ]、delta_poc_msb_present_flag[ i ]及delta_poc_msb_cycle_lt[ i ]之值應為用於各可能的值i之經寫碼圖像之所有圖塊分段標頭中之相同值。 <insert>若存在,則圖塊分段標頭語法元素slice_temporal_mvp_enabled_flag之值應為使用除當前圖像以外之參考圖像之經寫碼圖像之圖塊之所有圖塊分段標頭中之相同值。</insert> <insert>位元串流一致性之要求為若圖塊僅含有作為參考之當前圖像,則slice_temporal_mvp_enabled_flag將等於零。</insert> ... 在collocated _ ref _ idx 之語義中: 位元串流一致性之要求為藉由collocated_ref_idx參考之圖像應為用於<insert>具有slice_temporal_mvp_enabled_flag等於1</insert>之經寫碼圖像之所有圖塊之相同圖像且不應為當前圖像本身。實例 3 在一些實例中,可如下修改先前實施例中所提及之約束。 <insert>若存在,則圖塊分段標頭語法元素slice_temporal_mvp_enabled_flag之值應為經寫碼圖像之圖塊(其不為I圖塊類型)之所有圖塊分段標頭中之相同值。</insert> 在另一替代性實例中, <insert>若存在,則圖塊分段標頭語法元素slice_temporal_mvp_enabled_flag之值應為明確地傳信(不推斷) slice_temporal_mvp_enabled_flag之經寫碼圖像之圖塊之所有圖塊分段標頭中之相同值。</insert>實例 4 替代地,當圖塊僅含有作為參考之當前圖像時,不傳信語法元素slice_temporal_mvp_enabled_flag。作為一實例,若圖塊含有不為當前圖像之至少一個參考圖像,則將變數sliceContainsTemporalRefPic設定為等於1。
Figure TW201803348AD00005
在一些例項中,可一起使用本發明之實例中之兩種或多於兩種。在其他例項中,單獨地使用本發明之實例。 圖2為說明可實施本發明中所描述之一致性約束檢查技術之任何組合之一實例視訊編碼器的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測或視圖間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊中之冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可包括若干基於時間之壓縮模式中之任一者。視訊編碼器20亦可經組態以利用用於來自相同圖像內之視訊資料之預測性區塊的視訊資料之區塊之框內預測的模式,例如框內BC模式,如本文所描述。 在圖2之實例中,視訊編碼器20包括分割單元35、預測處理單元41、經重建構區域記憶體64、過濾處理單元66、參考圖像記憶體68、殘餘產生單元50、變換處理單元52、量化處理單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44、框內預測處理單元46及內區塊複製(框內BC)單元48。對於視訊區塊重建構,視訊編碼器20亦包括反量化處理單元58、反變換處理單元60及求和器62。 在各種實例中,可給視訊編碼器20之單元分派任務以執行本發明之技術。又,在一些實例中,本發明之技術可在視訊編碼器20之單元中之一或多者中進行劃分。舉例而言,預測處理單元41可單獨或與視訊編碼器之其他單元組合執行本發明之技術,諸如運動估計單元42、運動補償單元44、框內預測處理單元46、經重建構區域記憶體64及熵編碼單元56。 如上文所描述,視訊編碼器20可經組態以在產生用於各圖塊標頭之collocated_ref_idx之值之後執行位元串流一致性檢查。換言之,視訊編碼器20可經組態以執行位元串流一致性檢查以驗證視訊編碼器20指派給collocated_ref_idx之值符合預定義位元串流一致性之準則。此種程序可用於上文所定義之位元串流一致性約束。 在一個實例中,視訊編碼器20可經組態以編碼視訊資料之當前圖像,且產生用於當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素。視訊編碼器20可經進一步組態以僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查。該位元串流一致性檢查約束各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考當前圖像本身。 如圖2中所展示,視訊編碼器20接收視訊資料,且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成圖塊、影像塊或其他較大單元以及例如根據LCU及CU之四分樹結構分割的視訊區塊。視訊編碼器20通常說明編碼待編碼之視訊圖塊內的視訊區塊之組件。可將圖塊劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊集合)。 對於基於速率失真結果(例如,寫碼位元速率及失真之層級)的當前視訊區塊,預測處理單元41可選擇複數個可能的寫碼模式中之一者,諸如複數個框內寫碼模式中之一者、複數個框間寫碼模式中之一者或根據本發明中所描述之技術的框內BC模式。預測處理單元41可將所得預測性區塊提供給殘餘產生單元50以產生殘餘區塊資料且提供給求和器62以重建構供例如作為參考圖像之其他視訊區塊之預測使用之當前區塊。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊相同之圖像或圖塊中的一或多個相鄰區塊之框內預測性寫碼,以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼,(例如)以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。運動估計單元42及運動補償單元44可高度整合,但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序,該等運動向量估計視訊區塊之運動。舉例而言,運動向量可指示將當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。類似地,根據本發明之技術用於框內BC之區塊向量指示當前視訊訊框或圖像內之視訊區塊之PU相對於相同訊框或圖像內之預測性區塊的移位。框內BC單元48可以類似於藉由運動估計單元42判定運動向量來進行框間預測的方式判定用於框內BC寫碼之向量(例如,區塊向量),或可利用運動估計單元42判定該區塊向量。 (例如)藉由運動估計單元42及/或用於框間預測或框內BC預測之框內BC單元48識別之預測性區塊為包括就像素差而言被發現緊密地匹配待寫碼視訊區塊之PU之預測區塊中之樣本的區塊。在一些實例中,運動估計單元42及/或框內BC單元48可基於絕對差總和(SAD)、平方差總和(SSD)及/或其他差異量度來判定像素差。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體68中之參考圖像或儲存於經重建構區域記憶體64中之當前圖像之經重建構區域之子整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此,運動估計單元42及/或框內BC單元48可執行預測性區塊相對於全像素位置及分數像素位置之檢索,且輸出具有分數像素精確度之向量。 運動估計單元42可藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0或RefPicList0)或第二參考圖像清單(清單1或RefPicList1),該等清單中之每一者識別儲存於參考圖像記憶體68中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44所執行之運動補償可涉及基於由運動估計所判定之運動向量而提取或產生預測性區塊,可能執行子像素精確度之內插。在接收到視訊區塊之PU的運動向量之後,運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。 在一些實例中,框內BC單元48可以類似於上文關於運動估計單元42及運動補償單元44所描述的方式產生向量並提取預測性區塊,但其中預測性區塊與當前區塊在同一圖像或圖框中,且該等向量被稱作與運動向量相對的區塊向量。在其他實例中,框內BC單元48可整體或部分地使用運動估計單元42及運動補償單元44以根據本文所描述之技術執行用於框內BC預測之此類功能。在任一狀況下,對於框內BC,預測性區塊可為就像素差而言被發現緊密地匹配待寫碼的區塊之區塊,該像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定,且該區塊之識別可包括計算子整數像素位置之值。 無論預測性區塊係來自根據框內BC預測之相同圖像或根據框間預測之不同圖像,視訊編碼器20可藉由自經寫碼當前視訊區塊之樣本值減去預測性區塊之樣本值(例如,像素值)從而形成樣本差來形成殘餘視訊區塊。樣本差形成用於區塊之殘餘資料,且可包括明度分量差及色度分量差兩者。殘餘產生單元50表示執行此減法運算之一或多個組件。在一些實例中,與直接地執行減法以形成樣本差相反,殘餘產生單元50可執行操作以模擬減法運算(亦即,使得結果與減法相同,但不需減法之計算複雜度)。以此方式,殘餘產生單元50可減少框內BC寫碼之計算複雜度。 框內BC單元48及/或運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供由視訊解碼器(諸如視訊解碼器30)用於解碼視訊圖塊之視訊區塊。該等語法元素可包括(例如)定義用以識別預測性區塊之向量的語法元素、指示預測模式之任何旗標或關於本發明之技術描述的任何其他語法。 框內預測處理單元46可對當前區塊進行框內預測,作為由運動估計單元42及運動補償單元44執行之框間預測或由框內BC單元48執行之框內BC預測的替代方案,如上文所描述。詳言之,框內預測處理單元46可判定用於編碼當前區塊之框內預測模式。在一些實例中,框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測處理單元46 (或在一些實例中為預測處理單元41)可自所測試模式選擇用以使用之適當框內預測模式。舉例而言,框內預測處理單元46可使用對於各種所測試框內預測模式之速率-失真分析來計算速率-失真值,並在所測試模式中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下,在選擇用於區塊之框內預測模式之後,框內預測處理單元46可將指示用於區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在所傳輸之位元流中包括組態資料,其可包括以下各者:複數個框內預測模式指標表及複數個經修改之框內預測模式指標表(亦稱作碼字映射表);各種區塊之編碼上下文的定義;及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式指標表及經修改之框內預測模式指標表的指示。 在預測處理單元41經由框間預測、框內預測或框內BC預測產生當前視訊區塊之預測性區塊之後,視訊編碼器20藉由(例如)經由殘餘產生單元50自當前視訊區塊減去預測性區塊形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如,頻域)。 變換處理單元52可將所得變換係數發送至量化處理單元54。量化處理單元54量化變換係數以進一步減小位元率。量化過程可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化處理單元54可接著對包括經量化變換係數之矩陣執行掃描。替代地,熵編碼單元56可執行該掃描。 在量化之後,熵編碼單元56對經量化變換係數進行熵編碼。舉例而言,熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。熵編碼單元56可執行用於二進位化且用於根據框內BC模式預測之編碼語法元素(包括向量分量、旗標及其他語法元素)的本文所描述之該等技術中之任一者。在由熵編碼單元56進行熵編碼之後,可將經編碼位元串流傳輸至視訊解碼器30,或加以存檔以供稍後由視訊解碼器30傳輸或擷取。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊,以供稍後用作用於其他視訊區塊之預測的參考區塊。運動補償單元44及/或框內BC單元48可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44及/或框內BC單元48亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算供運動估計使用之子整數像素值。 求和器62可將該重建構之殘餘區塊添加至由運動補償單元44及/或框內BC單元48產生之運動補償預測區塊以產生經重建構之視訊區塊。經重建構區域記憶體64根據視訊編碼器20對當前視訊區塊之框內BC的經重建構區域(例如,框內BC單元48)之定義儲存經重建構之視訊區塊,如本文所描述。經重建構區域記憶體64可儲存未藉由過濾處理單元66迴路內過濾之經重建構之視訊區塊。求和器62可將經重建構之視訊區塊提供給與經重建構區域記憶體64並聯之過濾處理單元66,或經重建構區域記憶體64可在不再需要用於框內BC之經重建構區域時將經重建構之視訊區塊釋放至過濾處理單元66。在任一情況下,框內BC單元48可檢索經重建構區域記憶體64中之經重建構之視訊區塊以找到與當前視訊區塊相同的圖像內之預測性視訊區塊以預測當前視訊區塊。 過濾處理單元66可對經重建構之視訊區塊執行迴路內濾波。迴路內濾波可包括解區塊濾波至濾波器區塊邊界以自經重建構視訊移除區塊效應偽影。迴路內濾波亦可包括SAO濾波以改良經重建構視訊。經重建構區塊(其中之一些可經迴路內濾波)可作為參考圖像儲存於參考圖像記憶體68中。參考圖像可包括可藉由運動估計單元42及運動補償單元44用作預測性區塊之經重建構區塊以框間預測隨後視訊訊框或圖像中之區塊。 圖3為說明可實施本發明中所描述之一致性約束檢查技術之任何組合之一實例視訊解碼器30的方塊圖。在圖3之實例中,視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化處理單元86、反變換處理單元88、求和器90、經重建構區域記憶體92、過濾處理單元94及參考圖像記憶體96。預測處理單元81包括運動補償單元82、框內預測處理單元84及內區塊複製(框內BC)單元85。在一些實例中,視訊解碼器30可執行與關於來自圖2之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。 在各種實例中,可給視訊解碼器30之單元指派任務以執行本發明之技術。又,在一些實例中,本發明之技術可在視訊解碼器30之單元中之一或多者中進行劃分。舉例而言,框內BC單元85可單獨或與視訊解碼器30之其他單元組合執行本發明之技術,該等單元諸如運動補償單元82、框內預測處理單元84、經重建構區域記憶體92及熵解碼單元80。 如上文所描述,視訊解碼器30可經組態以對所接收之經編碼視訊位元串流執行位元串流一致性檢查。在視訊解碼器30接收且解析圖塊標頭以判定(無論所接收或推斷之) collocated_ref_idx語法元素之值之後,視訊解碼器30可將用於特定圖塊之collocated_ref_idx語法元素之值與用於相同圖像之其他圖塊之collocated_ref_idx語法元素值進行比較以驗證該等值符合預定義一致性約束。若視訊解碼器30判定位元串流通過一致性檢查,則視訊解碼器30可繼續正常解碼。若視訊解碼器30判定位元串流不通過一致性檢查,則視訊解碼器30可記錄誤差。視訊解碼器30可仍然試圖解碼位元串流,即使不滿足位元串流一致性檢查。 在本發明之一個實例中,視訊解碼器30可經組態以接收視訊資料之經編碼當前圖像,且接收用於經編碼當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素。視訊解碼器30可經進一步組態以僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查。該位元串流一致性檢查判定每一各別並列參考圖像指標語法元素是否指向相同圖像且不參考經編碼當前圖像本身。 在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元流。視訊解碼器30之熵解碼單元80熵解碼位元串流以產生經量化係數、用於框間預測之運動向量、用於框內BC預測之區塊向量及本文所描述之其他語法元素。熵解碼單元80可執行用於二進位化及用於根據框內BC模式之預測的語法元素(包括向量分量、旗標及其他語法元素)之編碼的本文所描述之該等技術中之任一者之逆反。熵解碼單元80將運動向量及其他語法元素轉送至預測處理單元81。視訊解碼器30可獲得序列層級、圖像層級、視訊圖塊層級及/或視訊區塊層級之語法元素。 在一些實例中,熵解碼單元80使用與供編碼器20之熵編碼單元56使用之編碼程序大體上互逆之程序以編碼區塊向量。舉例而言,熵解碼單元80可基於三個語法元素解碼區塊向量之分量。 框內BC單元80可基於所選擇之區塊向量預測子候選及藉由語法元素指示之差異(亦即,所選擇之區塊向量預測子與用於當前區塊之區塊向量之間的差異)判定用於當前區塊之區塊向量之值。以此方式,熵解碼單元80及框內BC單元80可解碼經編碼區塊向量。 當視訊圖塊經寫碼為經框內寫碼(I)圖塊時,預測處理單元81之框內預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的經傳信框內預測模式及資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B或P)圖塊時,預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可使用預設建構技術或任何其他技術基於儲存於參考圖像記憶體96中之參考圖像來建構參考圖框清單RefPicList0及RefPicList1。當視訊區塊根據本文中所描述之框內BC模式進行寫碼時,預測處理單元81之框內BC單元85基於自熵解碼單元80所接收之區塊向量及其他語法元素產生當前視訊區塊之預測性區塊。預測性區塊可在與由視訊編碼器20定義及自經重建構區域記憶體92擷取之當前視訊區塊相同的圖像內之經重建構區域內。 運動補償單元82及/或框內BC單元85藉由解析向量及其他語法元素判定用於當前視訊圖塊之視訊區塊的預測資訊,且使用預測資訊產生用於正經解碼的當前視訊區塊之預測性區塊。舉例而言,運動補償單元82使用所接收語法元素中之一些以判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如,框內或框間預測)、框間預測圖塊類型(例如,B圖塊或P圖塊)、用於該圖塊之參考圖像清單中之一或多者的建構資訊、用於該圖塊之每一經框間編碼視訊區塊的運動向量、用於該圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。類似地,框內BC單元85可使用所接收之語法元素中之一些(例如,旗標)以判定使用框內BC模式預測當前視訊區塊、指示圖像之哪些視訊區塊在經重建構區域內且應儲存於經重建構區域記憶體92中之建構資訊、用於圖塊之各框內BC經預測視訊區塊之區塊向量、用於圖塊之各經框內BC預測之視訊區塊之框內BC預測狀態及解碼當前視訊圖塊中之視訊區塊之其他資訊。 運動補償單元82及/或框內BC單元85亦可基於內插濾波器執行內插。運動補償單元82及/或框內BC單元85可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算預測性區塊之子整數像素的內插值。在此情況下,運動補償單元82及框內BC單元85可根據所接收之語法元素判定供視訊編碼器20使用之內插濾波器且使用內插濾波器以產生預測性區塊。 反量化處理單元86反量化(亦即,解量化)位元串流中所提供且藉由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊計算之量化參數,以判定量化程度及(同樣地)應該應用之反量化程度。反變換處理單元88對變換係數應用反變換(例如,反DCT、反整數變換或概念上類似之反變換程序),以便產生像素域中之殘餘區塊。 在運動補償單元82或框內BC單元85基於向量及其他語法元素用於產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82及框內BC單元85所產生之對應預測性區塊求和,而形成經解碼視訊區塊。求和器90表示執行此求和運算以產生經重建構視訊區塊的一或多個組件。 經重建構區域記憶體92儲存根據視訊編碼器20對用於當前視訊區塊之框內BC之經重建構區域之定義的經重建構之視訊區塊,如本文所描述。經重建構區域記憶體92可儲存未藉由過濾處理單元394迴路內過濾之經重建構之視訊區塊。求和器90可將經重建構之視訊區塊提供給與經重建構區域記憶體92並聯之過濾處理單元94,或經重建構區域記憶體92可在不再需要用於框內BC之經重建構區域時將經重建構之視訊區塊釋放至過濾處理單元94。在任一情況下,框內BC單元85自經重建構區域記憶體92擷取用於當前視訊區塊之預測性視訊區塊。 過濾處理單元94可對經重建構之視訊區塊執行迴路內濾波。迴路內濾波可包括解區塊濾波至濾波器區塊邊界以自經重建構視訊移除區塊效應偽影。迴路內濾波亦可包括SAO濾波以改良經重建構視訊。經重建構區塊(其中之一些可迴路內經濾波)可作為參考圖像儲存於參考圖像記憶體68中。參考圖像可包括可藉由運動補償單元82用作預測性區塊之經重建構區塊以框間預測隨後視訊訊框或圖像中之區塊。參考圖像記憶體96亦儲存經解碼視訊以用於稍後在顯示器件(諸如,圖1之顯示器件31)上呈現。 圖4為說明本發明之一實例編碼程序的流程圖。可藉由視訊編碼器20之一或多個硬體單元來執行圖4之技術。 在本發明之一個實例中,視訊編碼器20可經組態以編碼視訊資料之當前圖像(100),且產生用於當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素(102)。視訊編碼器20可經進一步組態以僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查(104)。在一個實例中,該位元串流一致性檢查約束各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考當前圖像本身。在本發明之另一實例中,視訊編碼器20可經組態以判定用於一或多個圖塊之圖塊類型,該圖塊類型包括P框間圖塊類型、B框間圖塊類型或框內圖塊類型中之一者,且判定是否針對用於一或多個圖塊之框間預測啟用時間運動向量預測子。 在本發明之另一實例中,視訊編碼器20可經組態以不對具有框內圖塊類型之一或多個圖塊之圖塊或禁用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查。 在本發明之另一實例中,視訊編碼器20可經組態以產生用於對應圖塊之各別圖塊標頭中之各別並列參考圖像指標語法元素,且產生一或多個圖塊之各別圖塊標頭中之經時間運動向量預測子啟用之旗標。在一個實例中,各別並列參考圖像指標語法元素為各別collocated_ref_idx語法元素,且經時間運動向量預測子啟用之旗標為slice_temporal_mvp_enabled_flag。 在本發明之另一實例中,視訊編碼器20可經組態以使用將當前圖像用作參考圖像之框間預測模式編碼視訊資料之當前圖像之一或多個區塊。 在本發明之另一實例中,視訊編碼器20可經組態以在用於一或多個圖塊之第一圖塊的圖塊標頭中包括指示針對第一圖塊啟用時間運動向量預測子之語法元素,且在用於一或多個圖塊之第二圖塊的第二圖塊標頭中包括指示針對第二圖塊禁用時間運動向量預測子之語法元素。 在本發明之另一實例中,視訊編碼器20可經組態以俘獲待編碼視訊資料之當前圖像,且輸出視訊資料之經編碼當前圖像。 圖5為說明本發明之一實例解碼程序的流程圖。可藉由視訊編碼器之一或多個硬體單元來執行圖4之技術。 在本發明之一個實例中,視訊解碼器30可經組態以接收視訊資料之經編碼當前圖像(150),且接收用於經編碼當前圖像之一或多個圖塊之各別並列參考圖像指標語法元素(152)。視訊解碼器30可經進一步組態以僅對不具有框內圖塊類型且針對其啟用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查(154)。在一個實例中,該位元串流一致性檢查判定每一各別並列參考圖像指標語法元素是否指向相同圖像且不參考經編碼當前圖像本身。在本發明之另一實例中,視訊解碼器30可經組態以判定用於一或多個圖塊之圖塊類型,該圖塊類型包括P框間圖塊類型、B框間圖塊類型或框內圖塊類型中之一者,且判定是否針對用於一或多個圖塊之框間預測啟用時間運動向量預測子。 在本發明之另一實例中,視訊解碼器30可經組態以不對具有框內圖塊類型之一或多個圖塊之圖塊或禁用時間運動向量預測子之一或多個圖塊之圖塊執行位元串流一致性檢查。 在本發明之另一實例中,視訊解碼器30可經組態以接收用於對應圖塊之各別圖塊標頭中之各別並列參考圖像指標語法元素,且接收一或多個圖塊之各別圖塊標頭中之經時間運動向量預測子啟用之旗標。在本發明之一個實例中,各別並列參考圖像指標語法元素為各別collocated_ref_idx語法元素,且經時間運動向量預測子啟用之旗標為slice_temporal_mvp_enabled_flag。 在本發明之另一實例中,視訊解碼器30可經組態以使用將當前圖像用作參考圖像之框間預測模式解碼視訊資料之當前圖像之一或多個區塊。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或碼而在一電腦可讀媒體上儲存或傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於有形媒體,諸如資料儲存媒體或通信媒體,包括例如根據通信協定促進將電腦程式自一處傳送至另一處之任何媒體以此方式,電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,任何連接適當地被稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為係關於非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。上文各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由一或多個處理器執行,該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效的整合或離散邏輯電路。因此,如本文中所使用之術語「處理器」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用硬體和/或軟體模組內,或併入於組合式編解碼器中。再者,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可在廣泛多種器件或裝置中實施,該等器件或裝置包括無線手機、積體電路(IC)或IC集(例如,晶片集)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切而言,如上文所描述,可將各種單元組合於編解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適之軟體及/或韌體來提供該等單元。 各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧框內BC單元
50‧‧‧殘餘產生單元
52‧‧‧變換處理單元
54‧‧‧量化處理單元
56‧‧‧熵編碼單元
58‧‧‧反量化處理單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧經重建構區域記憶體
66‧‧‧過濾處理單元
68‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
85‧‧‧框內BC單元
86‧‧‧反量化處理單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧經重建構區域記憶體
94‧‧‧過濾處理單元
96‧‧‧參考圖像記憶體
100‧‧‧步驟
102‧‧‧步驟
104‧‧‧步驟
150‧‧‧步驟
152‧‧‧步驟
154‧‧‧步驟
圖1為說明可利用本發明中所描述之一或多個技術的一實例視訊編碼及解碼系統的方塊圖。 圖2為說明可實施本發明中所描述之一或多個技術的一實例視訊編碼器的方塊圖。 圖3為說明可實施本發明中所描述之一或多個技術的一實例視訊解碼器的方塊圖。 圖4為說明本發明之一實例編碼程序的流程圖。 圖5為說明本發明之一實例解碼程序的流程圖。
100‧‧‧步驟
102‧‧‧步驟
104‧‧‧步驟

Claims (23)

  1. 一種編碼視訊資料之方法,該方法包含: 編碼視訊資料之一當前圖像; 產生用於該當前圖像之一或多個圖塊的一各別並列參考圖像指標語法元素;及 僅對不具有一框內圖塊類型且針對其啟用一時間運動向量預測子之該一或多個圖塊的圖塊執行一位元串流一致性檢查,該位元串流一致性檢查約束該等各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考該當前圖像本身。
  2. 如請求項1之方法,其進一步包含: 判定用於該一或多個圖塊之一圖塊類型,該圖塊類型包括一P框間圖塊類型、一B框間圖塊類型或該框內圖塊類型中之一者;及 判定是否針對用於該一或多個圖塊之框間預測啟用該時間運動向量預測子。
  3. 如請求項1之方法,其進一步包含: 不對具有該框內圖塊類型之該一或多個圖塊的圖塊或禁用該時間運動向量預測子之該一或多個圖塊的圖塊執行該位元串流一致性檢查。
  4. 如請求項1之方法,其進一步包含: 產生用於該等對應圖塊之各別圖塊標頭中之該等各別並列參考圖像指標語法元素;及 產生該一或多個圖塊之各別圖塊標頭中之一經時間運動向量預測子啟用之旗標。
  5. 如請求項4之方法,其中該等各別並列參考圖像指標語法元素為各別collocated_ref_idx語法元素,及 其中該經時間運動向量預測子啟用之旗標為一slice_temporal_mvp_enabled_flag。
  6. 如請求項1之方法,其中編碼視訊資料之該當前圖像包含: 使用將該當前圖像用作一參考圖像之一框間預測模式編碼視訊資料之該當前圖像之一或多個區塊。
  7. 如請求項1之方法,其進一步包含: 在用於該一或多個圖塊之一第一圖塊的一圖塊標頭中包括指示針對該第一圖塊啟用時間運動向量預測子之一語法元素;及 在用於該一或多個圖塊之一第二圖塊的一第二圖塊標頭中包括指示針對該第二圖塊禁用時間運動向量預測子之一語法元素。
  8. 如請求項1之方法,其進一步包含: 俘獲待編碼視訊資料之該當前圖像;及 輸出視訊資料之該經編碼當前圖像。
  9. 一種經組態以編碼視訊資料之裝置,該裝置包含: 一記憶體,其經組態以儲存視訊資料之一當前圖像;及 一或多個處理器,其經組態以: 編碼視訊資料之一當前圖像; 產生用於該當前圖像之一或多個圖塊的一各別並列參考圖像指標語法元素;及 僅對不具有一框內圖塊類型且針對其啟用一時間運動向量預測子之該一或多個圖塊的圖塊執行一位元串流一致性檢查,該位元串流一致性檢查約束該等各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考該當前圖像本身。
  10. 如請求項9之裝置,其中該一或多個處理器經進一步組態以: 判定用於該一或多個圖塊之一圖塊類型,該圖塊類型包括一P框間圖塊類型、一B框間圖塊類型或該框內圖塊類型中之一者;及 判定是否針對用於該一或多個圖塊之框間預測啟用該時間運動向量預測子。
  11. 如請求項9之裝置,其中該一或多個處理器經進一步組態以: 不對具有該框內圖塊類型之該一或多個圖塊的圖塊或禁用該時間運動向量預測子之該一或多個圖塊的圖塊執行該位元串流一致性檢查。
  12. 如請求項9之裝置,其中該一或多個處理器經進一步組態以: 產生用於該等對應圖塊之各別圖塊標頭中之該等各別並列參考圖像指標語法元素;及 產生該一或多個圖塊之各別圖塊標頭中之一經時間運動向量預測子啟用之旗標。
  13. 如請求項12之裝置,其中該等各別並列參考圖像指標語法元素為各別collocated_ref_idx語法元素,及 其中該經時間運動向量預測子啟用之旗標為一slice_temporal_mvp_enabled_flag。
  14. 如請求項9之裝置,其中為編碼視訊資料之該當前圖像,該一或多個處理器經進一步組態以: 使用將該當前圖像用作一參考圖像之一框間預測模式編碼視訊資料之該當前圖像之一或多個區塊。
  15. 如請求項9之裝置,其中該一或多個處理器經進一步組態以: 在用於該一或多個圖塊之一第一圖塊的一圖塊標頭中包括指示針對該第一圖塊啟用時間運動向量預測子之一語法元素;及 在用於該一或多個圖塊之一第二圖塊的一第二圖塊標頭中包括指示針對該第二圖塊禁用時間運動向量預測子之一語法元素。
  16. 如請求項9之裝置,其中該一或多個處理器經進一步組態以: 俘獲待編碼視訊資料之該當前圖像;及 輸出視訊資料之該經編碼當前圖像。
  17. 一種儲存指令之非暫時性電腦可讀儲存媒體,該等指令在執行時,使經組態以編碼視訊資料之一器件之一或多個處理器進行以下各者: 編碼視訊資料之一當前圖像; 產生用於該當前圖像之一或多個圖塊的一各別並列參考圖像指標語法元素;及 僅對不具有一框內圖塊類型且針對其啟用一時間運動向量預測子之該一或多個圖塊的圖塊執行一位元串流一致性檢查,該位元串流一致性檢查約束該等各別並列參考圖像指標語法元素之值,使得每一各別並列參考圖像指標語法元素指向相同圖像且不參考該當前圖像本身。
  18. 一種經組態以解碼視訊資料之裝置,該裝置包含: 一記憶體,其經組態以儲存視訊資料之一經編碼當前圖像;及 一或多個處理器,其經組態以: 接收視訊資料之該經編碼當前圖像; 接收用於該經編碼當前圖像之一或多個圖塊的一各別並列參考圖像指標語法元素;及 僅對不具有一框內圖塊類型且針對其啟用一時間運動向量預測子之該一或多個圖塊的圖塊執行一位元串流一致性檢查,該位元串流一致性檢查判定每一各別並列參考圖像指標語法元素是否指向相同圖像且不參考該經編碼當前圖像本身。
  19. 如請求項18之裝置,其中該一或多個處理器經進一步組態以: 判定用於該一或多個圖塊之一圖塊類型,該圖塊類型包括一P框間圖塊類型、一B框間圖塊類型或該框內圖塊類型中之一者;及 判定是否針對用於該一或多個圖塊之框間預測啟用該時間運動向量預測子。
  20. 如請求項18之裝置,其中該一或多個處理器經進一步組態以: 不對具有該框內圖塊類型之該一或多個圖塊的圖塊或禁用該時間運動向量預測子之該一或多個圖塊的圖塊執行該位元串流一致性檢查。
  21. 如請求項18之裝置,其中該一或多個處理器經進一步組態以: 在用於該等對應圖塊之各別圖塊標頭中接收該等各別並列參考圖像指標語法元素;及 在該一或多個圖塊之各別圖塊標頭中接收一經時間運動向量預測子啟用之旗標。
  22. 如請求項21之裝置,其中該等各別並列參考圖像指標語法元素為各別collocated_ref_idx語法元素,及 其中該經時間運動向量預測子啟用之旗標為一slice_temporal_mvp_enabled_flag。
  23. 如請求項18之裝置,其中該一或多個處理器經進一步組態以: 使用將該當前圖像用作一參考圖像之一框間預測模式解碼視訊資料之該當前圖像之一或多個區塊。
TW106112218A 2016-04-13 2017-04-12 用於在視頻寫碼中之並列參考指標的一致性約束 TW201803348A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662322160P 2016-04-13 2016-04-13
US62/322,160 2016-04-13
US201662323467P 2016-04-15 2016-04-15
US62/323,467 2016-04-15
US15/484,879 US10834419B2 (en) 2016-04-13 2017-04-11 Conformance constraint for collocated reference index in video coding
US15/484,879 2017-04-11

Publications (1)

Publication Number Publication Date
TW201803348A true TW201803348A (zh) 2018-01-16

Family

ID=60038634

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106112218A TW201803348A (zh) 2016-04-13 2017-04-12 用於在視頻寫碼中之並列參考指標的一致性約束

Country Status (9)

Country Link
US (1) US10834419B2 (zh)
EP (1) EP3443748A1 (zh)
JP (1) JP2019514292A (zh)
KR (1) KR102344823B1 (zh)
CN (1) CN109076235B (zh)
BR (1) BR112018070983A2 (zh)
RU (1) RU2733267C2 (zh)
TW (1) TW201803348A (zh)
WO (1) WO2017180766A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11833684B2 (en) * 2017-02-25 2023-12-05 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
EP3827589A4 (en) 2018-08-29 2021-09-29 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND DEVICE FOR VIDEO ENCODING USING SUBBLOCK-BASED MOVEMENT VECTOR PREDICTION
US10848782B2 (en) 2018-09-21 2020-11-24 Tencent America LLC Method and apparatus for video coding
CN112889269B (zh) * 2018-10-23 2023-10-27 腾讯美国有限责任公司 视频解码方法及装置
CN111093075B (zh) 2018-10-24 2024-04-26 北京字节跳动网络技术有限公司 子块运动矢量预测中基于空域邻近块的运动候选推导
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
WO2020125756A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector bit depth in video processing
US11800089B2 (en) * 2019-01-02 2023-10-24 Lg Electronics Inc. SbTMVP-based inter prediction method and apparatus
US11394971B2 (en) 2019-02-26 2022-07-19 Apple Inc. Image signal encoding/decoding method and device for same
CN114666602B (zh) * 2019-03-09 2024-06-14 腾讯美国有限责任公司 视频编解码方法、装置及介质
CN113647108A (zh) 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
KR20220009952A (ko) * 2019-05-21 2022-01-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브블록 머지 모드에서의 신택스 시그널링
US11601666B2 (en) * 2019-06-25 2023-03-07 Qualcomm Incorporated Derivation of temporal motion vector prediction candidates in video coding
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
CN114762330A (zh) * 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
CN115209161B (zh) * 2019-10-10 2023-05-12 华为技术有限公司 视频译码方法、解码器、解码设备、存储介质
EP4032263A4 (en) * 2019-10-10 2023-05-17 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR HARMONIZING A TRIANGULAR BLDING MODE WITH WEIGHTED PREDICTION
US20220394301A1 (en) * 2019-10-25 2022-12-08 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in video coding
JP7443513B2 (ja) * 2019-11-05 2024-03-05 エルジー エレクトロニクス インコーポレイティド 映像/ビデオコーディング方法及び装置
CN115053526A (zh) * 2019-12-06 2022-09-13 Lg电子株式会社 基于包括与并置图片相关的信息的图片头对图像进行编码/解码的方法和装置以及发送比特流的方法
BR112022016125A2 (pt) 2020-02-14 2022-10-04 Beijing Bytedance Network Tech Co Ltd Métodos de processamento de vídeo e para armazenar fluxo de bits, aparelhos de decodificação e codificação de vídeo, produto de programa de computador, meio de gravação legível por computador não transitório, e, método, aparelho, fluxo de bits
KR20220143030A (ko) * 2020-02-19 2022-10-24 바이트댄스 아이엔씨 비트스트림의 일반 제약 정보에서 예측 가중치들의 시그널링
KR20220160575A (ko) * 2020-03-30 2022-12-06 바이트댄스 아이엔씨 비디오 코딩에서의 동일 위치 픽처에 대한 제약
WO2021202174A1 (en) * 2020-03-31 2021-10-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for signaling of syntax elements in video coding
AU2022218219A1 (en) 2021-02-08 2023-08-31 Diligent Robotics, Inc. Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
KR20120112724A (ko) 2010-02-09 2012-10-11 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
CN107071476B (zh) 2011-06-30 2020-12-08 索尼公司 图像解码设备和图像解码方法
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
CN105531999B (zh) * 2013-07-09 2019-08-09 诺基亚技术有限公司 涉及用于信号传输运动信息的语法的视频编码方法及装置
US10419776B2 (en) * 2013-07-09 2019-09-17 Sony Corporation High level syntax improvement on inter-layer prediction for SHVC/MV-HEVC
US10085034B2 (en) 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
JP2015173404A (ja) 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification

Also Published As

Publication number Publication date
BR112018070983A2 (pt) 2019-01-29
RU2018135716A3 (zh) 2020-05-13
WO2017180766A1 (en) 2017-10-19
JP2019514292A (ja) 2019-05-30
KR102344823B1 (ko) 2021-12-28
US10834419B2 (en) 2020-11-10
KR20180133411A (ko) 2018-12-14
CN109076235B (zh) 2022-08-05
US20170302951A1 (en) 2017-10-19
CN109076235A (zh) 2018-12-21
RU2733267C2 (ru) 2020-10-01
RU2018135716A (ru) 2020-05-13
EP3443748A1 (en) 2019-02-20

Similar Documents

Publication Publication Date Title
CN112823517B (zh) 基于历史的运动矢量预测子的改进
US11431968B2 (en) Variable number of intra modes for video coding
TW201803348A (zh) 用於在視頻寫碼中之並列參考指標的一致性約束
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
TWI719053B (zh) 內區塊複製合併模式及不可用內區塊複製參考區域之填充
CN112956190B (zh) 仿射运动预测
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
JP6342402B2 (ja) スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
KR102127549B1 (ko) 멀티-계층 비디오 코딩에서의 상이한 코덱의 기본 계층의 지원
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
US20180199055A1 (en) Encoding optimization with illumination compensation and integer motion vector restriction
JP2017523684A (ja) マルチレイヤコーデックにおける時間動きベクトル予測(tmvp)指示
US20130272411A1 (en) Scalable video coding prediction with non-causal information
CN114827597A (zh) 视频解码方法、装置、计算机设备及存储介质
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
TW202042552A (zh) 用於照明補償之區塊大小限制
KR20230150284A (ko) 효율적인 비디오 인코더 아키텍처
US20200145653A1 (en) Decoding method and apparatus based on template matching
TW202031052A (zh) 用於照明補償模式之刪剪
JP2018511238A (ja) 高速レートひずみ最適量子化
KR20240087746A (ko) 그래디언트의 히스토그램 생성
CN117837143A (zh) 用于解码器侧运动矢量细化的自适应双边匹配