TW202137765A - 用於視頻編碼及解碼的高階語法 - Google Patents

用於視頻編碼及解碼的高階語法 Download PDF

Info

Publication number
TW202137765A
TW202137765A TW110109797A TW110109797A TW202137765A TW 202137765 A TW202137765 A TW 202137765A TW 110109797 A TW110109797 A TW 110109797A TW 110109797 A TW110109797 A TW 110109797A TW 202137765 A TW202137765 A TW 202137765A
Authority
TW
Taiwan
Prior art keywords
slice
picture
decoding
header
syntax elements
Prior art date
Application number
TW110109797A
Other languages
English (en)
Other versions
TWI827919B (zh
Inventor
吉羅姆 拉契
奈爾 奧德果
派翠斯 昂諾
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202137765A publication Critical patent/TW202137765A/zh
Application granted granted Critical
Publication of TWI827919B publication Critical patent/TWI827919B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料。該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含: 剖析該等語法元素。該方法包括假如被剖析之一或多個語法元素指示其該圖片僅含有一個切片的話則省略剖析相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素;及使用該等語法元素以解碼該位元流。

Description

用於視頻編碼及解碼的高階語法
本發明係關於視頻編碼及解碼,且特別關於用於位元流中之高階語法。
近來,聯合視頻專家小組(JVET)(由MPEG及ITU-T研究群組16之VCEG所形成的合作小組)開始對於稱為多樣視頻編碼(VVC)的新視頻編碼標準工作。VVC之目標是提供在壓縮效能上超越現存HEVC標準之顯著增進(亦即,通常為之前的兩倍之多)且被完成於2020。主要目標應用及服務包括─但不限定於─360度且高動態範圍(HDR)視頻。總之,JVET係使用由獨立測試實驗室所執行的正式主觀測試以評估來自32個組織之回應。一些提議係展示通常為40%或更多(當相較於使用HEVC時)的壓縮效率增益。特別有效性被顯示於超高解析度(UHD)視頻測試材料上。因此,我們可預期顯著超越最終標準之目標50%的壓縮效能增益。 JVET探索模型(JEM)使用所有HEVC工具且已引入數個新工具。這些改變已使得對於位元流之結構的改變成為必要,且特別是對於高階語法,其可具有對位元流之整體位元率的影響。
本發明係有關對於高階語法結構的增進,其導致複雜度及/或傳訊的減少而無編碼效能的任何顯著退化。 在依據本發明之一第一態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如被剖析之一或多個語法元素指示其該圖片僅含有一個切片的話則省略剖析相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素;及使用該等語法元素來解碼該位元流。在依據本發明之另一態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被約束以使得在其中該位元流包括具有指示其該圖片僅含有一個切片之一值的一語法元素之情況下,該位元流包括指示其相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素的剖析應被省略之一語法元素,該方法包含使用該等語法元素來解碼該位元流。因此,由於當不需要時某些語法元素不被傳輸,所以獲得了編碼效率增進。特別地,當目前圖片僅含有一個切片時,對於在圖片標頭(及接著切片標頭)中傳訊某些參數並無額外的彈性。 相關於該解碼工具或參數之該使用或可用性的一語法元素可被傳訊在一圖片參數集(PPS)或一序列參數集(SPS)中。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含在切片標頭語法元素中之一圖片標頭,其指示一圖片標頭被傳訊在該切片標頭中。優點是編碼效率增進,當該圖片標頭在該切片標頭中時。確實,在切片標頭中之圖片標頭的傳訊針對低延遲及低位元率應用是有效率的。在該等情況下,多個圖片之撤銷旗標成本係大於設定SPS中之數個參考圖片列表的集合之成本。確實,通常針對這些使用情況,參考框之量被限制於每列表一或兩個參考框。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,而其中該圖片中之該磚數目大於一且該切片中之該磚數目等於該圖片中之該磚數目係指示其該目前圖片僅含有一個切片。 相關於一解碼工具或參數之使用或可用性的該語法元素可包含用於指示在該切片階之該解碼模式或參數的使用之一旗標,且進一步包含從在該圖片標頭階之一旗標的該值預測撤銷在該切片階之該解碼模式或參數。例如,該解碼工具或參數可相關於參考框傳訊,而相關於該解碼工具或參數之使用或可用性的該語法元素係用於該參考圖片列表之該使用的撤銷之一旗標。假如該切片使用在該SPS中傳輸之一參考圖片列表(或多個參考圖片列表),則有用以撤銷一或多個列表來限制參考圖片之數目的優點。然而,意外地,針對真實應用之編碼效率妥協,最好是避免此撤銷以節省相關於其傳訊之位元。再者,其簡化了針對一些實施方式的切片標頭剖析。 該解碼工具或參數可相關於LCMS,而該語法元素包含用於LCMS之一啟動旗標。 該解碼工具或參數可相關於一擴縮列表,而該語法元素包含用於該擴縮列表之一啟動旗標。 在依據本發明之一第二態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如被剖析之一或多個語法元素指示其該圖片僅含有一個切片的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來解碼該位元流。針對解碼之實施方式,此簡化了切片標頭剖析。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含在切片標頭語法元素中之一圖片標頭,其指示一圖片標頭被傳訊在該切片標頭中。 各切片可包括一或多個磚,而指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目係指示其該目前圖片僅含有一個切片。 在依據本發明之一第三態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如切片標頭語法元素中之一圖片標頭指示其一圖片標頭被傳訊在該切片標頭中的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來解碼該位元流。 在依據本發明之一第四態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素被剖析、以及該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來解碼該位元流。 在至少第二至第四態樣中,相關於一參考圖片列表解碼工具之撤銷的該語法元素可包含一旗標且設定該旗標為不被致能指示其該參考圖片列表不被撤銷。 在依據本發明之一第五態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該解碼包含:剖析指示一待解碼圖片之一參考圖片列表是否指稱一序列參數集(SPS)參考圖片列表的一或多個語法元素;假如一或多個語法元素指示其該待解碼圖片之該參考圖片列表並非指稱一序列參數集(SPS)參考圖片列表的話則省略在一切片標頭中剖析相關於該圖片之一切片的一參考圖片列表之撤銷的一或多個語法元素;及使用該等語法元素來解碼該位元流。因此,剖析可被簡化且不必要的語法元素被避免。 相關於該參考圖片列表之撤銷的一或多個語法元素之剖析的省略可進一步要求其該圖片僅具有一個切片。當一圖片含有一個切片時,一編碼器通常不應撤銷其被明確地傳輸在切片標頭中或在圖片標頭中之一參考圖片列表。但假如其使用在該SPS中傳輸之一參考圖片列表的話,則有用以撤銷該列表來限制參考圖片之數目的優點。但意外地針對真實應用之編碼效率妥協,最好是避免此撤銷以節省相關於其傳訊之位元。再者,其簡化了針對一些實施方式的切片標頭剖析。 該等一或多個語法元素可包含其指示一圖片標頭是否被傳訊在該切片標頭中之切片標頭語法元素中的圖片標頭,並省略進一步要求其該圖片標頭被傳訊在該切片標頭中。優點是編碼效率增進,當該圖片標頭在該切片標頭中時。確實,切片標頭中之圖片標頭的傳訊對於低延遲及低位元率應用是有效率的,在該等情況下多數圖片之撤銷旗標成本係大於在SPS中設定數個參考圖片列表的成本。 各切片可包括一或多個磚,而該等一或多個語法元素包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,且該省略要求其該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目。因此,此提供判定圖片是否僅具有一個切片之一有效的方式。 假如一參考圖片列表被傳訊在該切片標頭中的話,則相關於該參考圖片列表之撤銷的該等一或多個語法元素之剖析被省略。優點是編碼效率增進,因為不需要更新參考圖片列表(假如其被明確地傳輸在該切片標頭中的話)。 在依據本發明之一第六態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該解碼包含:在高於一切片之該位元流中的一階處剖析一高階語法元素,該高階語法元素指示是否允許在一切片階處指示一解碼工具或參數之使用或可用性;針對一切片標頭省略剖析或推論指示該切片之一解碼工具或參數的使用或可用性之一或多個語法元素,假如該高階語法元素指示其不允許在一切片階處指示該解碼工具或參數之使用或可用性的話;及使用該等語法元素來解碼該位元流。在依據本發明之一進一步態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該位元流被侷限以使得在其中該位元流包括在高於一切片之該位元流中的一階處之一高階語法元素的一情況下,該高階語法元素指示是否允許在一切片階處指示一解碼工具或參數之使用或可用性,該位元流亦包括指示其針對一切片標頭剖析或推論指示該切片之一解碼工具或參數的使用或可用性之一或多個語法元素應被省略的一語法元素,假如該高階語法元素指示其不允許在一切片階處指示該解碼工具或參數之使用或可用性的話,該方法包含使用該等語法元素來解碼該位元流。因此,可提供相較於先前態樣更有彈性的實施方式,但具有類似的編碼效率增進。 高階語法元素可被傳訊在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、及圖片標頭(PH)之一或多個中。 假如在序列參數集(SPS)中之參考圖片列表的數目為零的話,則高階語法元素可不被解碼。 假如該圖片僅具有一個切片的話,則高階語法元素可不被解碼。 該解碼工具或參數可相關於一參考圖片列表。假如一參考圖片列表被傳訊在該切片標頭中的話,則高階語法元素可不被解碼。 指示一解碼工具或參數之使用或可用性的語法元素可包含一啟動旗標。該解碼工具或參數可為具有色度擴縮之亮度映射(LMCS)工具。該解碼工具或參數可為一擴縮列表。該切片標頭中之該啟動旗標可取決於圖片標頭上之(相應)啟動旗標。例如,一切片之該啟動旗標的值可被推論自在一圖片標頭中傳訊之該解碼工具或參數的一啟動旗標之值,假如高階語法元素指示其允許在一切片階處指示該解碼工具或參數之使用或可用性。 在依據本發明之一第七態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,且其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如一圖片僅含有一個切片的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值;及使用該等語法元素來解碼該位元流。依據本發明之一又進一步態樣,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,以及 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被約束以使得 在其中該位元流包括具有指示其一圖片僅含有一個切片之一值的一語法元素之一情況下,指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值被限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值,該方法包含使用該等語法元素來解碼該位元流。優點是編碼效率增進,由於該等語法元素不被傳輸(當其不需要時)。確實,當目前圖片僅含有一個切片時,對於在圖片標頭(及接著切片標頭)中傳訊它並無額外的彈性。 該方法可進一步包含剖析在切片標頭語法元素中之一圖片標頭,其中假如在切片標頭語法元素中之該圖片標頭指示其一圖片標頭被傳訊在該切片標頭中的話,則該圖片僅含有一個切片。優點是編碼效率增進,當該圖片標頭在該切片標頭中時。確實,在該切片標頭中之該圖片標頭針對低延遲及低位元率應用是有效率的,在該等情況下在切片階處傳訊具有對於總體位元率之顯著的成本。 各切片可包括一或多個磚,且該方法可進一步包含剖析指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目指示其該目前圖片僅含有一個切片。 在依據本發明之一第八態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如一圖片標頭被傳訊在該切片標頭中的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的該圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值;及使用該等語法元素來解碼該位元流。在依據本發明之一額外態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被侷限以使得在其中該位元流包括具有指示其一圖片標頭被傳訊在該切片標頭中之一值的一語法元素之情況下,指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值被限制為如指示在含有該切片之該圖片的該圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值,該方法包含使用該等語法元素來解碼該位元流。 在依據本發明之一第九態樣中,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中各切片可包括一或多個磚,且其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:剖析該等語法元素,而假如經解碼的一圖片中之磚數目大於一且一切片中之磚數目等於該圖片中之該磚數目的話,則將指示該切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值;及使用該等語法元素來解碼該位元流。 在至少第七至第九態樣中,一或多個解碼工具或參數可包含具有色度擴縮之亮度映射(LMCS)工具。 在至少第七至第九態樣中,一或多個解碼工具或參數可包含擴縮列表。 在依據本發明之一第十態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含:判定該等語法元素;假如經判定之一或多個語法元素指示其該圖片僅含有一個切片的話則省略相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素的編碼;及使用該等語法元素來編碼該視頻資料。 相關於該解碼工具或參數之該使用或可用性的該語法元素可被傳訊在一圖片參數集(PPS)中。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含在切片標頭語法元素中之一圖片標頭,其指示一圖片標頭被傳訊在該切片標頭中。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,而其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目指示其該目前圖片僅含有一個切片。 相關於一解碼工具或參數之使用或可用性的該語法元素包含用於指示在該切片階之該解碼模式或參數的使用之一旗標,且進一步包含從在該圖片標頭階之一旗標的該值預測撤銷在該切片階之該解碼模式或參數。 該解碼工具或參數係參考框傳訊,而相關於該解碼工具或參數之使用或可用性的該語法元素可包含用於該參考圖片列表之該使用的撤銷之一旗標。 該解碼工具或參數可包含具有色度擴縮之亮度映射(LMCS),而該語法元素係用於具有色度擴縮之亮度映射(LMCS)之一啟動旗標。 該解碼工具或參數可包含一擴縮列表,而該語法元素包含用於該擴縮列表之一啟動旗標。 在依據本發明之一第十一態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含:判定該等語法元素,而假如經判定之一或多個語法元素指示其該圖片僅含有一個切片的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來編碼該視頻資料。 指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含在切片標頭語法元素中之一圖片標頭,其指示一圖片標頭被傳訊在該切片標頭中。 各切片可包括一或多個磚,而指示其該目前圖片僅含有一個切片之該等一或多個語法元素可包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目係指示其該目前圖片僅含有一個切片。 在依據本發明之一第十二態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含:判定該等語法元素,而假如切片標頭語法元素中之一圖片標頭指示其一圖片標頭被傳訊在該切片標頭中的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來編碼該視頻資料。 在依據本發明之一第十三態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中各切片可包括一或多個磚,且其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含:判定該等語法元素,而假如指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素被判定、以及該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目的話則為相關於一參考圖片列表解碼工具或參數之撤銷的一切片設定一或多個語法元素之一值,以為該切片指示其該參考圖片列表不應被撤銷;及使用該等語法元素來編碼該視頻資料。 在至少第十一至第十三態樣中,相關於一參考圖片列表解碼工具之撤銷的該語法元素可包含一旗標且設定該旗標為不被致能指示其該參考圖片列表不被撤銷。 在依據本發明之一第十四態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該編碼包含:判定指示一待解碼圖片之一參考圖片列表是否指稱一序列參數集(SPS)參考圖片列表的一或多個語法元素;假如一或多個語法元素指示其該待解碼圖片之該參考圖片列表並非指稱一序列參數集(SPS)參考圖片列表的話則省略在一切片標頭中編碼相關於該圖片之一切片的一參考圖片列表之撤銷的一或多個語法元素;及使用該等語法元素來編碼該視頻資料。 相關於該參考圖片列表之撤銷的一或多個語法元素之剖析的省略可進一步要求其該圖片僅具有一個切片。 該等一或多個語法元素包含其指示一圖片標頭是否被傳訊在該切片標頭中之切片標頭語法元素中的一圖片標頭,且該省略要求其該圖片標頭被傳訊在該切片標頭中。各切片可包括一或多個磚,而指示其該目前圖片僅含有一個切片之該等一或多個語法元素包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目。 假如一參考圖片列表被傳訊在該切片標頭中的話,則相關於該參考圖片列表之撤銷的該等一或多個語法元素之編碼可被省略。 在依據本發明之一第十五態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,且該位元流包含一或多個語法元素,該編碼包含:在高於一切片之該位元流中的一階處編碼一高階語法元素,該高階語法元素指示是否允許在一切片階處指示一解碼工具或參數之使用或可用性;針對一切片標頭省略編碼指示該切片之一解碼工具或參數的使用或可用性之一或多個語法元素,假如該高階語法元素指示其不允許在一切片階處指示該解碼工具或參數之使用或可用性的話;及使用該等語法元素來編碼該視頻資料。 高階語法元素可被傳訊在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、及圖片標頭(PH)之一或多個中。 選擇性地,假如在序列參數集(SPS)中之參考圖片列表的數目為零的話,則高階語法元素不被編碼。 選擇性地,假如該圖片僅具有一個切片的話,則高階語法元素可不被編碼。 該解碼工具或參數可相關於一參考圖片列表。選擇性地,假如一參考圖片列表被傳訊在該切片標頭中的話,則高階語法元素可不被編碼。 指示一解碼工具或參數之使用或可用性的語法元素可包含一啟動旗標。該解碼工具或參數可包含具有色度擴縮之亮度映射(LMCS)工具。該解碼工具或參數可包含一擴縮列表。 該切片標頭中之該啟動旗標可取決於該圖片標頭中之(相應)啟動旗標。例如,一切片之該啟動旗標的值可被推論自在一圖片標頭中傳訊之該解碼工具或參數的一啟動旗標之值,假如高階語法元素指示其允許在一切片階處指示該解碼工具或參數之使用或可用性。 在依據本發明之一第十六態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含:剖析該等語法元素,而假如一圖片僅含有一個切片的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值;及使用該等語法元素來編碼該視頻資料。 選擇性地,該方法可包含編碼在切片標頭語法元素中之一圖片標頭,其中假如在該切片標頭語法元素中之該圖片標頭指示其一圖片標頭被傳訊在該切片標頭中的話,則該圖片僅含有一個切片。 選擇性地,該方法可包含編碼指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目指示其該目前圖片僅含有一個切片。 在依據本發明之一第十七態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該編碼包含: 判定該等語法元素,而假如一圖片標頭被傳訊在該切片標頭中的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的該圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值;及使用該等語法元素來編碼該視頻資料。 在依據本發明之一第十八態樣中,有提供一種將視頻資料編碼入一位元流中之方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中各切片可包括一或多個磚,且其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含:判定該等語法元素,而假如經編碼的一圖片中之磚數目大於一且一切片中之磚數目等於該圖片中之該磚數目的話,則將指示該切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值;及使用該等語法元素來編碼該視頻資料。 該一或多個解碼工具或參數可包含具有色度擴縮之亮度映射(LMCS)工具。 該一或多個解碼工具或參數可包含一擴縮列表。 在依據本發明之一第十九態樣中,有提供一種用於解碼來自一位元流之視頻資料的裝置,該裝置被組態成履行第一至第九態樣之任一者的方法。 在依據本發明之一第二十態樣中,有提供一種用於將視頻資料編碼入一位元流中之裝置,該裝置被組態成履行第十至第十八態樣之任一者的方法。 在依據本發明之一第二十一態樣中,有提供一種電腦程式,包含可執行指令,其在執行時致使上述實施態樣之任一者的方法被履行。 該程式可由本身所提供或者可由載體媒體所攜載或被攜載於載體媒體中。載體媒體可為非暫態,例如,儲存媒體,特別是電腦可讀取儲存媒體。載體媒體亦可為暫態,例如,信號或其他傳輸媒體。信號可經由任何適當網路來傳輸,包括網際網路。本發明之進一步特徵係由獨立項及附屬項請求項所特徵化。 本發明之一態樣中的任何特徵可被應用至本發明之其他態樣,於任何適當的組合中。特別地,方法態樣可被應用至設備態樣,而反之亦然。 再者,硬體中所實施的特徵可被實施於軟體中,而反之亦然。對於文中之軟體及硬體特徵的任何參考應因此被建構。 如文中所述之任何設備特徵亦可被提供為方法特徵,而反之亦然。如文中所使用,手段功能特徵可被替代地表達以其相應結構,諸如適當地編程的處理器及相關記憶體。 亦應理解:在本發明之任何態樣中所描述及定義的各種特徵之特定組合可被獨立地實施及/或供應及/或使用。
圖1係相關於高效率視頻編碼(High Efficiency Video Coding(HEVC))視頻標準中所使用的編碼結構。視頻序列1係由一連串數位影像i所組成。各此等數位影像係由一或更多矩陣所表示。矩陣係數代表像素。 該序列之影像2可被分割為切片3。切片可於某些例子中構成完整影像。這些切片被分割為無重疊編碼樹單元(CTU)。編碼樹單元(CTU)是高效率視頻編碼(HEVC)視頻標準之基本處理單元且觀念上其結構係相應於數種先前視頻標準中所使用的巨集區塊單元。CTU亦有時被稱為最大編碼單元(LCU)。CTU具有亮度及色度成分部分,其成分部分之各者被稱為編碼樹區塊(CTB)。這些不同顏色成分未顯示於圖1中。 CTU通常係大小64 x 64像素。各CTU可接著使用四元樹分解而被疊代地分割為較小的可變大小編碼單元(CU)5。 編碼單元為基本編碼元件且係由稱為預測單元(PU)及變換單元(TU)之兩種子單元所構成。PU或TU之最大大小係等於CU大小。預測單元係相應於針對像素值之預測的CU之分割。CU之各種不同分割為PU是可能的(如由606所示),包括分割為4個方形PU及兩不同的分割為2個矩形PU。變換單元為基本單元,其係接受使用DCT之空間變換。CU可根據四元樹表示607而被分割為TU。 各切片被嵌入一個網路抽象化層(NAL)單元中。此外,視頻序列之編碼參數被儲存在專屬NAL單元(稱為參數集)中。在HEVC及H.264/AVC中,兩種參數集NAL單元被利用:第一,序列參數集(SPS)NAL單元,其係收集在整個視頻序列期間未改變的所有參數。通常,其係處置編碼輪廓、視頻框之大小及其他參數。第二,圖片參數集(PPS)NAL單元包括其可從一個影像(或框)改變至序列中之另一個的參數。HEVC亦包括視頻參數集(VPS)NAL單元,其含有描述位元流之整體結構的參數。VPS是一種以HEVC定義的新類型參數集,且應用於位元流之所有層。一層可含有多數時間子層,且所有版本1的位元流被限制於單一層。HEVC具有用於可擴縮性及多重視角之分層延伸,且這些將致能多數層,具有向後相容的版本1基礎層。 在多樣視頻編碼(VVC)之目前定義中,針對圖片之分割有三種高階可能性:子圖片、切片及磚。各具有其本身的特性及可用性。分割成子圖片係用於一視頻之區的空間提取及/或合併。分割成切片係基於如先前標準之類似概念並相應於視頻傳輸之封包化,即使其可被用於其他應用。分割成磚係概念上一編碼器平行化工具,因為其將圖片分裂成圖片之(幾乎)相同大小的獨立編碼區。但此工具亦可被用於其他應用。 因為圖片之分割的這三個高階可用可能方式可被一起使用,所以針對其使用有數個模式。如在VVC之目前草案規格中所界定,切片的兩個模式被界定。針對光柵掃描切片模式,切片含有依圖片之磚光柵掃描的完整磚之序列。目前VVC規格中之此模式被繪示在圖10(a)中。如在此圖中所示,顯示該圖片含有18x12的亮度CTU,其被分割成12個磚及3個光柵掃描切片。 針對第二者(矩形切片模式),一切片含有數個完整磚,其集體地來自圖片之一矩形區。目前VVC規格中之此模式被繪示在圖10(b)中。在此範例中,顯示具有18x12亮度CTU的圖片,其被分割成24個磚及9個矩形切片。 圖2繪示一資料通訊系統,其中本發明之一或更多實施例可被實施。資料通訊系統包含傳輸裝置(於此情況下為伺服器201),其可操作以經由資料通訊網路200而傳輸資料流之資料封包至接收裝置(於此情況下為客戶終端202)。資料通訊網路200可為廣域網路(WAN)或區域網路(LAN)。此一網路可為(例如)無線網路(Wifi / 802.11a或b或g)、乙太網路、網際網路或由數個不同網路所組成的混合網路。於本發明之特定實施例中,資料通訊系統可為數位電視廣播系統,其中伺服器201傳送相同的資料內容至多數客戶。 由伺服器201所提供的資料流204可由其表示視頻及音頻資料之多媒體資料所組成。音頻及視頻資料流可(於本發明之一些實施例中)由伺服器201個別地使用麥克風及相機來擷取。於一些實施例中,資料流可被儲存在伺服器201上或者由伺服器201從另一資料提供器所接收、或者被產生在伺服器201上。伺服器201被提供有一用以編碼視頻及音頻流之編碼器,特別是用以提供用於傳輸之壓縮位元流,其為被呈現為針對編碼器之輸入的資料之更緊密的表示。 為了獲得已傳輸資料之品質相對於已傳輸資料之量的較佳比例,視頻資料之壓縮可(例如)依據HEVC格式或H.264/AVC格式。 客戶202接收已傳輸位元流並解碼已重建位元流以將視頻影像再生於顯示裝置上並由揚聲器再生音頻資料。 雖然串流情境被考量於圖2之範例中,但應理解:於本發明之一些實施例中,介於編碼器與解碼器之間的資料通訊可使用媒體儲存裝置(諸如光碟)來履行。 於本發明之一或更多實施例中,視頻影像被傳輸以其代表補償偏移之資料以利供應至影像之已重建像素來提供已過濾像素於最終影像中。 圖3概略地繪示處理裝置300,其係組態成實施本發明之至少一實施例。處理裝置300可為一種裝置,諸如微電腦、工作站或輕型可攜式裝置。裝置300包含一連接至以下的通訊匯流排313: - 中央處理單元311,諸如微處理器,標示為CPU; - 唯讀記憶體306,標示為ROM,用以儲存供實施本發明之電腦程式; - 隨機存取記憶體312,標示為RAM,用以儲存本發明之實施例的方法之可執行碼、以及暫存器,調適成記錄用以實施編碼數位影像的序列之方法及/或解碼位元流之方法所需的變數和參數,依據本發明之實施例;及 - 通訊介面302,連接至通訊網路303,待處理數位資料係透過該通訊網路來傳輸或接收。 選擇性地,設備300亦可包括以下組件: - 資料儲存機構304(諸如硬碟),用以儲存電腦程式及資料,該等電腦程式係用以實施本發明之一或更多實施例的方法,該資料係在本發明之一或更多實施例的實施期間所使用或產生的; - 磁碟306之磁碟驅動305,該磁碟驅動被調適成從磁碟306讀取資料或將資料寫至該磁碟上; - 螢幕309,用以顯示資料及/或作用為與使用者之圖形介面,藉由鍵盤310或任何其他指針機構。 設備300可被連接至各種周邊,諸如(例如)數位相機320或麥克風308,各被連接至輸入/輸出卡(未顯示)以供應多媒體資料至設備300。 通訊匯流排提供介於設備300中所包括的或連接至該設備300的各個元件之間的通訊及可交互操作性。匯流排之表示是非限制性的;且特別地,中央處理單元可操作以將指令傳遞至設備300之任何元件,直接地或者藉由設備300之另一元件。 磁碟306可被取代以任何資訊媒體,諸如(例如)光碟(CD-ROM)(可寫入或不可寫入)、ZIP碟或記憶卡;及(以一般性術語)藉由資訊儲存機構,其可由微電腦或由微處理器所讀取、被集成(或不集成)入該設備、可能為可移除的且調適成儲存一或更多程式,該等程式的執行係致能編碼數位影像之序列的方法及/或解碼位元流的方法,依據待實施之本發明。 可執行碼可被儲存於唯讀記憶體306中、於硬碟304上或者於可移除數位媒體(諸如,例如磁碟306,如先前所述)上。依據變體,程式之可執行碼可藉由通訊網路303來接收,經由介面302,以被儲存於設備300(在被執行前)的儲存機構(諸如硬碟304)之一中。 中央處理單元311係調適成依據本發明以控制並指導程式或多數程式之指令或軟體碼部分的執行,該些指令係儲存於前述儲存機構之一中。在開機時,其被儲存於非揮發性記憶體(例如在硬碟304上或者在唯讀記憶體306中)中之程式或多數程式被轉移入隨機存取記憶體312,其接著含有程式或多數程式之可執行碼、以及用以儲存供實施本發明所需之變數和參數的暫存器。 於此實施例中,該設備為可編程設備,其係使用軟體以實施本發明。然而,替代地,本發明可被實施以硬體(例如,以特定應用積體電路或ASIC之形式)。 圖4繪示一種依據本發明之至少一實施例的編碼器之方塊圖。編碼器係由已連接模組所表示,各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種方法之至少一相應步驟,該方法係依據本發明之一或更多實施例以實施編碼影像序列之影像的至少一實施例。 數位影像i 0至i n 401之原始序列係由編碼器400接收為輸入。各數位影像係由一組樣本(已知為像素)所表示。 位元流410係由編碼器400所輸出,在編碼程序之實施後。位元流410包含複數編碼單元或切片,各切片包含切片標頭及切片本體,該切片標頭係用以傳輸其用來編碼該切片之編碼參數的編碼值,而該切片本體包含已編碼視頻資料。 輸入數位影像i 0至i n 401係由模組402分割為像素之區塊。該等區塊係相應於影像部分且可有可變大小(例如,4x4、8x8、16x16、32x32、64x64、128x128像素且數個矩形區塊大小亦可被考量)。編碼模式係針對各輸入區塊來選擇。編碼模式之兩個家族被提供:根據空間預測編碼之編碼模式(內預測)、及根據時間預測之編碼模式(間編碼、合併、SKIP)。可能的編碼模式被測試。 模組403係實施內預測程序,其中待編碼的既定區塊係藉由預測子來預測,該預測子係從待編碼的該區塊附近之像素所計算。選定的內預測子以及介於既定區塊與其預測子之間的差異之指示被編碼以提供殘餘,假如內編碼被選擇的話。 時間預測係由移動估計模組404及移動補償模組405來實施。首先,來自一組參考影像416中的參考影像被選擇,且該參考影像之一部分(亦稱為參考區域或影像部分,其為針對待編碼的既定區塊之最接近區域)係由移動估計模組404所選擇。移動補償模組405接著使用該選定區域以預測待編碼的區塊。介於選定參考區域與既定區塊(亦稱為殘餘區塊)之間的差異係由移動補償模組405所計算。選定參考區域係由移動向量所指示。 因此,於兩情況(空間及時間預測)下,殘餘係藉由從原始區塊減去該預測來計算。 於藉由模組403所實施的INTRA預測中,預測方向被編碼。於時間預測中,至少一移動向量被編碼。在由模組404、405、416、418、417所實施的間預測中,用以識別此移動向量之至少一移動向量或資料係針對時間預測來編碼。 相對於移動向量及殘餘區塊之資訊被編碼,假如間預測被選擇的話。為了進一步減少位元率,假設其移動為同質的,則移動向量係藉由相關於移動向量預測子之差異而被編碼。一組移動資訊預測子之移動向量預測子係由移動向量預測及編碼模組417從移動向量場418獲得。 編碼器400進一步包含選擇模組406,用於藉由應用編碼成本準則(諸如率-失真準則)來選擇編碼模式。為了進一步減少冗餘,由變換模組407對殘餘區塊應用變換(諸如DCT),所獲得的變換接著係藉由量化模組408而被量化且藉由熵編碼模組409而被熵編碼。最後,目前正被編碼之區塊的已編碼殘餘區塊被插入位元流410中。 編碼器400亦履行已編碼影像之解碼以產生用於後續影像之移動估計的參考影像。此致能編碼器及解碼器接收位元流以具有相同的參考框。反量化模組411履行已量化資料之反量化,接續以藉由反變換模組412之反變換。反內預測模組413使用預測資訊以判定應使用哪個預測子於給定區塊,而反移動補償模組414實際地將其由模組412所獲得的殘餘加至從該組參考影像416所獲得的參考區域。 接著由模組415應用後過濾以過濾像素之已重建框。於本發明之實施例中,SAO迴路過濾器被使用,其中補償偏移被加至已重建影像之已重建像素的像素值。 圖5繪示其可被用以從編碼器接收資料的解碼器60之方塊圖,依據本發明之實施例。解碼器係由已連接模組所表示,各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種由解碼器60所實施之方法的相應步驟。 解碼器60接收一包含編碼單元之位元流61,各編碼單元係由標頭及本體所組成,該標頭含有關於編碼參數之資訊而該本體含有已編碼視頻資料。VVC中之位元流的結構係參考圖6而被更詳細地描述於下。如相關於圖4所解釋,已編碼視頻資料被熵編碼,而移動向量預測子的指標被編碼(針對既定區塊)於預定數目的位元上。所接收的已編碼視頻資料係由模組62所熵解碼。殘餘資料接著由模組63所去量化,且接著由模組64應用反變換以獲得像素值。 指示編碼模式之模式資料亦被熵解碼;且根據該模式,INTRA類型解碼或INTER類型解碼被履行在影像資料之已編碼區塊上。 在INTRA模式之情況下,INTRA預測子係由內反預測模組65根據位元流中所指明的內預測模式來判定。 假如該模式為INTER,則移動預測資訊被提取自該位元流以找出由編碼器所使用的參考區域。移動預測資訊係由參考框指標及移動向量殘餘所組成。移動向量預測子被加至移動向量殘餘以由移動向量解碼模組70獲得移動向量。 移動向量解碼模組70將移動向量解碼應用於其由移動預測所編碼的各目前區塊。一旦移動向量預測子之指標(針對目前區塊)已被獲得,則與目前區塊相關聯的移動向量之實際值可被解碼並用以由模組66應用反移動補償。由已解碼移動向量所指示之參考影像部分被提取自參考影像68以應用反移動補償66。移動向量場資料71被更新以已解碼移動向量來用於後續已解碼移動向量之反預測。 最後,獲得已解碼區塊。由後過濾模組67應用後過濾。已解碼視頻信號69最後由解碼器60所提供。 圖6繪示範例編碼系統VVC中之位元流的組織,如在JVET-Q2001-vD中所述。 依據VVC編碼系統之位元流600係由語法元素及經編碼資料之依序序列所組成。語法元素及經編碼資料被放置入網路抽象化層(NAL)單元601-608中。有不同的NAL單元類型。網路抽象化層提供用以將位元流囊封入不同協定的能力,如RTP/IP,其代表即時協定/網際網路協定、ISO基礎媒體檔案格式等等。網路抽象化層亦提供用於封包損失恢復力的框架。 NAL單元被劃分成視頻編碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元含有實際經編碼視頻資料。非VCL NAL單元含有額外資訊。此額外資訊可為用於經編碼視頻資料之解碼所需的參數或者為可提升經解碼視頻資料之可用性的補充資料。NAL單元606相應於切片並構成位元流之VCL NAL單元。 不同NAL單元601-605相應於不同參數集,這些NAL單元係非VCL NAL單元。解碼器參數集(DPS)NAL單元301含有其針對既定解碼程序係恆定的參數。視頻參數集(VPS)NAL單元602含有針對完整視頻(及因此完整位元流)所界定的參數。DPS NAL單元可界定比VPS中之參數更靜態的參數。換言之,DPS之參數比VPS之參數更不頻繁地改變。 序列參數集(SPS)NAL單元603含有針對一視頻序列所界定的參數。特別地,SPS NAL單元可界定子圖片佈局及視頻序列之相關參數。與各子圖片相關聯的參數指明其施加至子圖片之編碼約束。特別地,其包含一旗標,該旗標指示其介於子圖片之間的時間預測被限制於來自相同子圖片之資料。另一旗標可致能或除能迴路過濾器橫跨子圖片邊界。 圖片參數集(PPS)NAL單元604含有針對一圖片或一圖片群組所界定的參數。調適參數集(APS)NAL單元605含有用於迴路過濾器之參數,通常係調適性迴路過濾器(ALF)或整形器模型(或具有色度擴縮(LMCS)模型之亮度映射)或在切片階所使用的擴縮矩陣。 PPS之語法(如在VVC之目前版本中所提議)包含語法元素,其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。 PPS含有語法元素,其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區,所以能夠判定該組切片、磚之部分或磚,其屬於來自參數集NAL單元之子圖片。PPS以及APS具有ID機制,以限制所傳輸之相同PPS的量。 PPS與圖片標頭之間的主要差異係其傳輸,PPS通常被傳輸給圖片群組,相較於PH被系統地傳輸給各圖片。因此,PPS(相較於PH)含有其可針對數個圖片係恆定的參數。 位元流亦可含有補充增強資訊(SEI)NAL單元(未表示在圖6中)。在位元流中之這些參數集的發生週期係可變的。針對整個位元流所界定的VPS可在位元流中僅發生一次。反之,針對切片所界定的APS可針對各圖片中之各切片發生一次。實際上,不同切片可仰賴相同APS,而因此通常有比各圖片中之切片更少的APS。特別地,APS被界定在圖片標頭中。然而,ALP APS仍可被界定在切片標頭中。 存取單元定界符(AUD)NAL單元607分離兩個存取單元。存取單元係一組NAL單元,其可包含具有相同解碼時戳之一或多個經編碼圖片。此選擇性NAL單元僅含有一個語法元素在目前VVC規格中:pic_type,此語法元素。指示其在AU中之經編碼圖片的所有切片之slice_type值。假如pic_type被設為等於0,則AU僅含有內切片。假如等於1,則其含有P及I切片。假如等於2,則其含有B、P或內切片。 此NAL單元僅含有一個語法元素,pic-type。
Figure 02_image001
在JVET-Q2001-vD中,pic_type 被界定如下: 「pic_type 指示其在含有AU定界符NAL單元的AU中之經編碼圖片的所有切片之slice_type 值為pic_type 之既定值的表2中所列出之集合的成員。pic_type 之值應等於0、1或2,在符合此規格之此版本的位元流中。pic_type 之其他值被保留以供由ITU-T | ISO/IEC之未來使用。符合此規格之此版本的解碼器應忽略pic_type 之保留值」。 rbsp_trailing_bits( )係一函數,其係添加位元以對準至一位元組之末端。因此在此函數之後,所剖析的位元流量係整數個位元組。
Figure 02_image003
PH NAL單元608係一圖片標頭NAL單元,其係群集一個經編碼圖片之一組切片所共有的參數。圖片可參考一或多個APS以指示AFL參數、整形器模型及擴縮矩陣(由圖片之切片所使用)。 VCL NAL單元606之各者含有切片。切片可相應於整個圖片或子圖片、單一磚或複數磚或磚之片段。例如,圖3之切片含有數個磚620。切片係由切片標頭610及原始位元組序列酬載 RBSP 611(其含有經編碼成編碼區塊640之經編碼像素資料)所組成。 PPS之語法(如在VVC之目前版本中所提議)包含語法元素,其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。 PPS含有語法元素,其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區,所以能夠判定該組切片、磚之部分或磚,其屬於來自參數集NAL單元之子圖片。 NAL單元切片 NAL單元切片層含有切片標頭及切片資料,如在表3中所示。
Figure 02_image005
APS 調適參數集(APS)NAL單元605被界定在顯示語法元素之表4中。 如表表4中所描繪,有由aps_params_type語法元素所提供之三個可能類型的APS: ・ALF_AP:針對ALF參數 ・針對LMCS參數之LMCS_APS ・針對擴縮列表相對參數之SCALING_APS
Figure 02_image007
這三個類型的APS參數被依次討論如下 ALF APS ALF參數被描述在調適性迴路過濾器資料語法元素(表5)中。首先,四個旗標被專用於指明ALF過濾器係針對亮度及/或針對色度來傳輸以及CC-ALF(跨成分調適性迴路過濾)是否針對Cb成分及Cr成分來致能。假如亮度過濾器旗標被致能,則另一旗標被解碼以得知截割值是否被傳訊(alf_luma_clip_flag )。接著經傳訊之過濾器的數目係使用alf_luma_num_filters_signalled_minus1語法元素而被解碼。假如需要的話,代表ALF係數差量之語法元素「alf_luma_coeff_delta_idx 」係針對各經致能過濾器而被解碼。接著各過濾器之各係數的絕對值及符號被解碼。 假如alf_luma_clip_flag 被致能,則各經致能過濾器之各係數的截割指數被解碼。 以相同方式,ALF色度係數被解碼(假如需要的話)。 假如CC-ALF係針對Cr或Cb來致能,則過濾器之數目被解碼(alf_cc_cb_filters_signalled_minus1 alf_cc_cr_filters_signalled_minus1 )且相關的係數被解碼(alf_cc_cb_mapped_coeff_absalf_cc_cb_coeff_sign 或各別地alf_cc_cr_mapped_coeff_absalf_cc_cr_coeff_sign )。
Figure 02_image009
Figure 02_image011
亮度映射及色度擴縮兩者之LMCS語法元素 以下的表6提供所有LMCS語法元素,其被編碼以調適參數集(APS)語法結構,當aps_params_type 參數被設為1 (LMCS_APS)時。最多四個LMCS APS可被用於經編碼視頻序列,然而,僅單一LMCS APS可被用於既定圖片。 這些參數被用以建立亮度之前向和反向映射功能以及色度之擴縮功能。
Figure 02_image013
擴縮列表APS 擴縮列表提供用以更新用於量化之量化矩陣的可能性。在VVC中,此擴縮矩陣被傳訊在APS中,如在擴縮列表資料語法元素(表7擴縮列表資料語法)中所述。第一語法元素指明擴縮矩陣是否被用於LFNST(低頻不可分離變換)工具,基於旗標scaling_matrix_for_lfnst_disabled_flag 。假如擴縮列表被用於色度成分(scaling_list_chroma_present_flag ),則第二者被指明。接著用以建立擴縮矩陣所需的語法元素被解碼(scaling_list_copy_mode_flag, scaling_list_pred_mode_flag, scaling_list_pred_id_delta, scaling_list_dc_coef, scaling_list_delta_coef )。
Figure 02_image015
圖片標頭 圖片標頭被傳輸在其他切片資料前的各圖片之開始處。此相較於該標準之先前草案中之先前標頭係極大的。所有這些參數之完整描述可被發現在JVET-Q2001-vD中。表10顯示目前圖片標頭解碼語法中之這些參數。 其可被解碼之相關語法元素係有關於: ・此圖片之使用、參考框與否 ・圖片之類型 ・輸出框 ・圖片之數目 ・子圖片使用(假如需要的話) ・參考圖片列表(假如需要的話) ・顏色平面(假如需要的話) ・分割更新(假如撤銷旗標被致能的話) ・差量QP參數(假如需要的話) ・移動資訊參數(假如需要的話) ・ALF參數(假如需要的話) ・SAO參數(假如需要的話) ・量化參數(假如需要的話) ・LMCS參數(假如需要的話) ・擴縮列表參數(假如需要的話) ・圖片標頭延伸(假如需要的話) ・等等 圖片「類型」 第一旗標為gdr_or_irap_pic_flag ,其指示目前圖片是否為再同步化圖片(IRAP或GDR)。假如此旗標為真,則gdr_pic_flag 被解碼以得知目前圖片是否為IRAP或GDR圖片。 接著ph_inter_slice_allowed_flag 被解碼以識別間切片被容許。 當其被容許時,旗標ph_intra_slice_allowed_flag 被解碼以得知目前圖片是否容許內切片。 接著non_reference_picture_flag 、指示PPS ID之ph_pic_parameter_set_id 及圖片順序數ph_pic_order_cnt_lsb 被解碼。圖片順序數提供目前圖片之數目。 假如圖片為GDR或IRAP圖片,則旗標no_output_of_prior_pics_flag 被解碼。 而假如圖片為 GDR,則recovery_poc_cnt 被解碼。接著,ph_poc_msb_present_flagpoc_msb_val 解碼(假如需要的話)。 ALF 在描述有關目前圖片之重要資訊的這些參數後,該組ALF APS id語法元素被解碼,假如ALF被致能在SPS階的話以及假如ALF被致能在圖片標頭階的話。由於sps_alf_enabled_flag 旗標,ALF被致能在SPS階。且由於alf_info_in_ph_flag 等於1,ALF傳訊被致能在圖片標頭階;否則(alf_info_in_ph_flag等於0)ALF被傳訊在切片階。 alf_info_in_ph_flag被界定如下: 「alf_info_in_ph_flag 等於 1 指明其 ALF 資訊存在 PH 語法結構中且不存在切片標頭中,意指不含 PH 語法結構的 PPS alf_info_in_ph_flag 等於 0 指明其 ALF 資訊不存在 PH 語法結構中且可存在切片標頭中,意指不含 PH 語法結構的 PPS 。」 首先ph_alf_enabled_present_flag 被解碼以判定ph_alf_enabled_flag 是否應被解碼。假如ph_alf_enabled_flag 被致能,則ALF被致能於目前圖片之所有切片。 假如ALF被致能,則亮度之ALF APS id的量被解碼,使用pic_num_alf_aps_ids_luma 語法元素。針對各APS id,亮度之APS id值被解碼「ph_alf_aps_id_luma 」。 針對色度,語法元素ph_alf_chroma_idc 被解碼以判定ALF是否被致能於色度、僅於Cr、或者僅於Cb。假如其被致能,則色度之APS ID的值被解碼,使用ph_alf_aps_id_chroma 語法元素。 以此方式,CC-ALF方法之APS ID被解碼(假如需要的話)於Cb及/或CR成分。 LMCS 該組LMCS APS ID語法元素被接著解碼,假如LMCS被致能在SPS階的話。首先ph_lmcs_enabled_flag 被解碼以判定LMCS是否被致能於目前圖片。假如LMCS被致能,則ID值為經解碼ph_lmcs_aps_id 。針對色度,僅ph_chroma_residual_scale_flag 被解碼以致能或除能用於色度之方法。 擴縮列表 該組擴縮列表APS ID被接著解碼,假如擴縮列表被致能在SPS階的話。ph_scaling_list_present_flag 被解碼以判定擴縮矩陣是否被致能於目前圖片。且APS ID(ph_scaling_list_aps_id )之值被接著解碼。 子圖片 子圖片參數被致能,當其被致能在SPS時以及假如子圖片id傳訊被除能的話。其亦含有關於虛擬邊界的一些資訊。針對子圖片參數,八個語法元素被界定: ph_virtual_boundaries_present_flag ph_num_ver_virtual_boundaries ph_virtual_boundaries_pos_x[ i ] ph_num_hor_virtual_boundaries ph_virtual_boundaries_pos_y[ i ] 輸出旗標 這些子圖片參數被接續以pic_output_flag (假如存在的話)。 參考圖片列表 假如參考圖片列表被傳訊在圖片標頭中(由於rpl_info_in_ph_flag等於1)的話,則參考圖片列表之參數被解碼ref_pic_lists() ,其含有以下語法元素: ・rpl_sps_flag[]rpl_idx[]poc_lsb_lt[][]delta_poc_msb_present_flag[][]delta_poc_msb_cycle_lt[][] 且其被界定在以下語法表中:
Figure 02_image017
分割 該組分割參數被解碼(假如需要的話)且含有以下語法元素: partition_constraints_override_flag ph_log2_diff_min_qt_min_cb_intra_slice_luma ph_max_mtt_hierarchy_depth_intra_slice_luma ph_log2_diff_max_bt_min_qt_intra_slice_luma ph_log2_diff_max_tt_min_qt_intra_slice_luma ph_log2_diff_min_qt_min_cb_intra_slice_chroma ph_max_mtt_hierarchy_depth_intra_slice_chroma ph_log2_diff_max_bt_min_qt_intra_slice_chroma ph_log2_diff_max_tt_min_qt_intra_slice_chroma ph_log2_diff_min_qt_min_cb_inter_slice ph_max_mtt_hierarchy_depth_inter_slice ph_log2_diff_max_bt_min_qt_inter_slice ph_log2_diff_max_tt_min_qt_inter_slice 加權預測 加權預測參數pred_weight_table() 被解碼,假如加權預測方法被致能在PPS階的話以及假如加權預測參數被傳訊在圖片標頭(wp_info_in_ph_flag 等於1)的話。pred_weight_table() 含有針對列表L0及針對列表L1之加權預測參數,當雙預測加權預測被致能時。當加權預測參數被傳輸在圖片標頭中時,針對各列表之權重的數目被明確地傳輸如在pred_weight_table() 語法表9中所繪示。
Figure 02_image019
差量QP 當圖片為內時,ph_cu_qp_delta_subdiv_intra_sliceph_cu_chroma_qp_offset_subdiv_intra_slice 被解碼(假如需要的話)。而假如間切片被容許的話,ph_cu_qp_delta_subdiv_inter_sliceph_cu_chroma_qp_offset_subdiv_inter_slice 被解碼(假如需要的話)。最後,圖片標頭延伸語法元素被解碼(假如需要的話)。 所有參數alf_info_in_ph_flagrpl_info_in_ph_flagqp_delta_info_in_ph_flag sao_info_in_ph_flagdbf_info_in_ph_flag wp_info_in_ph_flag 被傳訊在PPS中。
Figure 02_image021
Figure 02_image023
Figure 02_image025
Figure 02_image027
切片標頭 切片標頭被傳輸在各切片之開始時。切片標頭含有約65個語法元素。此相較於較早視頻編碼標準中之先前切片標頭係極大的。所有切片標頭參數之完整描述可被發現在JVET-Q2001-vD中。表11顯示目前切片標頭解碼語法中之這些參數。
Figure 02_image029
Figure 02_image031
Figure 02_image033
首先picture_header_in_slice_header_flag 解碼以得知picture_header_structure( )是否存在切片標頭中。slice_subpic_id (假如需要的話)被接著解碼以判定目前切片之子圖片id。接著slice_address 被解碼以判定目前切片之位址。切片位址被解碼,假如目前切片模式為矩形切片模式(rect_slice_flag 等於1)的話以及假如目前子圖片中之切片的數目高於1的話。切片位址亦可被解碼,假如目前切片模式為光柵掃描模式(rect_slice_flag 等於0)的話以及假如目前圖片中之磚的數目基於PPS中所界定之變數來計算係高於1的話。num_tiles_in_slice_minus1 被接著解碼,假如目前圖片中之磚的數目大於一的話以及假如目前切片模式不是矩形切片模式的話。在目前VVC草案規格中,num_tiles_in_slice_minus1 被界定如下: 「num_tiles_in_slice_minus1 加1,當存在時,指明切片中之磚的數目。num_tiles_in_slice_minus1之值應在0至NumTilesInPic-1(包括)之範圍中。」 接著slice_type 被解碼。 假如ALF被致能在SPS階(sps_alf_enabled_flag )的話以及假如ALF被傳訊在切片標頭中(alf_info_in_ph_flag 等於0)的話,則ALF資訊被解碼。此包括一旗標,其指示ALF被致能於目前切片(slice_alf_enabled_flag )。假如其被致能,則亮度之APS ALF ID的數目(slice_num_alf_aps_ids_luma )被解碼的話,則APS ID被解碼(slice_alf_aps_id_luma[ i ] )。接著slice_alf_chroma_idc 被解碼以得知ALF是否被致能於色度成分以及其係致能哪個色度成分。接著APS ID針對色度被解碼slice_alf_aps_id_chroma (假如需要的話)。以相同方式,slice_cc_alf_cb_enabled_flag 被解碼(假如需要的話)以得知CC ALF方法是否被致能。假如CC ALF被致能的話,則CR及/或CB之相關APS ID被解碼,假如CC ALF被致能於CR及/或CB的話。 假如顏色平面被獨立地傳輸的話(separate_colour_plane_flag 為等於1)則colour_plane_id 解碼。 當參考圖片列表ref_pic_lists( ) 未被傳輸在圖片標頭中(rpl_info_in_ph_flag 等於0)時以及當NAL單元不是IDR 或者假如參考圖片列表被傳輸於IDR圖片(sps_idr_rpl_present_flag 等於1)的話,則參考圖片列表參數被解碼;這些係類似於圖片標頭中的那些。 假如參考圖片列表被傳輸在圖片標頭中(rpl_info_in_ph_flag 等於1)或NAL單元不是IDR的話或者假如參考圖片列表被傳輸於IDR圖片(sps_idr_rpl_present_flag 等於1)的話以及假如至少一個列表之參考的數目高於1的話,則撤銷旗標num_ref_idx_active_override_flag 被解碼。此旗標被界定如下,在VVC草案規格中: num_ref_idx_active_override_flag 等於 1 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 存在於 P B 切片且語法元素 num_ref_idx_active_minus1[ 1 ] 存在於 B 切片。 num_ref_idx_active_override_flag 等於 0 指明其語法元素 num_ref_idx_active_minus1[ 0 ] num_ref_idx_active_minus1[ 1 ] 不存在。當不存在時, num_ref_idx_active_override_flag 之值被推論為等於 1 假如num_ref_idx_active_override_flag 被致能,則各列表“i ”之參考指標的數目num_ref_idx_active_minus1[ i ] 被解碼(假如需要的話)。目前列表之參考指標撤銷的數目應低於或等於在ref_pic_lists( ) 中所傳訊之參考框指標的數目。因此撤銷減少各列表之參考框的最大數目。 當切片類型不是內時且假如需要的話,則cabac_init_flag 被解碼。假如參考圖片列表被傳輸在切片標頭中且有其他條件的話,則slice_collocated_from_l0_flagslice_collocated_ref_idx 被解碼。這些資料係相關於CABAC編碼及經共置的移動向量。 以相同方式,當切片類型不是內時,則加權預測之參數pred_weight_table( ) 被解碼。slice_qp_delta 被解碼,假如差量QP資訊被傳輸在切片標頭中(qp_delta_info_in_ph_flag 等於0)的話。假如需要的話,語法元素slice_cb_qp_offset slice_cr_qp_offset slice_joint_cbcr_qp_offset cu_chroma_qp_offset_enabled_flag 解碼。 假如SAO資訊被傳輸在切片標頭中(sao_info_in_ph_flag 等於0)的話且假如其被致能在SPS階(sps_sao_enabled_flag )的話,則SAO之經致能旗標被解碼於亮度及色度兩者:slice_sao_luma_flag slice_sao_chroma_flag 。 接著解塊過濾器參數被解碼,假如其被傳訊在切片標頭中(dbf_info_in_ph_flag 等於0)的話。 旗標slice_ts_residual_coding_disabled_flag 被系統性地解碼以得知變換跳過殘餘編碼方法是否被致能於目前切片。 假如LMCS被致能於圖片標頭中(ph_lmcs_enabled_flag 等於1)的話,則旗標slice_lmcs_enabled_flag 被解碼。在目前VVC規格中,slice_lmcs_enabled_flag 被界定如下: 「slice_lmcs_enabled_flag 等於 1 指明其具有色度擴縮之亮度映射被致能於目前切片。 slice_lmcs_enabled_flag 等於 0 指明其具有色度擴縮之亮度映射不被致能於目前切片。slice_lmcs_enabled_flag 不存在時,其被推論為等於 0 。」 以相同方式,假如擴縮列表被致能在圖片標頭中(phpic_scaling_list_presentenabled_flag 等於1)的話,則旗標slice_scaling_list_present_flag 被解碼。在目前VVC規格中,slice_scaling_list_present_flag 被界定如下: 「slice_scaling_list_present_ flag 等於 1 指明其用於目前切片之擴縮列表資料係基於參考擴縮列表 APS 中所含有的擴縮列表資料來導出,其中 aps_params_type 等於 SCALING_APS adaptation_parameter_set_id 等於 ph_scaling_list_aps_id slice_scaling_list_present_flag 等於 0 指明其用於目前圖片之擴縮列表資料為在條項 7.4.3.21 中所導出指明的預設擴縮列表資料。當不存在時, slice_scaling_list_present_flag 之值被推論為等於 0 。」 接著,其他參數被解碼(假如需要的話)。 切片標頭中之圖片標頭 以一特別的傳訊方式,圖片標頭708可被傳訊在切片標頭710內部,如圖7中所繪示。在該情況下,沒有僅含圖片標頭608之NAL單元。單元701、702、703、704、705、706、707、720、及740相應於圖6之601、602、603、604、605、606、606、620、及640,而因此可自先前的描述來理解。此可被致能在切片標頭中,由於旗標picture_header_in_slice_header_flag。此外,當圖片標頭被傳訊在切片標頭內部時,該圖片應僅含有一個切片。因此,每圖片永遠僅有一個圖片標頭。此外,旗標picture_header_in_slice_header_flag 將具有針對CLVS(經編碼層視頻序列,Coded Layer Video Sequence)之所有圖片的相同值。其表示介於包括第一IRAP的兩個IRAP之間的所有圖片具有每圖片僅一個切片。 旗標picture_header_in_slice_header_flag被界定如下: picture_header_in_slice_header_flag 等於 1 指明其 PH 語法結構係存在切片標頭中。 picture_header_in_slice_header_flag 等於 0 指明其 PH 語法結構不存在切片標頭中。 位元流符合之要求係其 picture_header_in_slice_header_flag 之值應在 CLVS 中之所有經編碼切片中均相同。 picture_header_in_slice_header_flag 等於 1( 針對經編碼切片 ) 時,位元流符合之要求係其在 CLVS 中應無具有等於 PH_NUT nal_unit_type VCL NAL 單元存在。 picture_header_in_slice_header_flag 等於 0 時,則在目前圖片中之所有經編碼切片均應具有 picture_header_in_slice_header_flag 等於 0 ,且目前 PU 應具有 PH NAL 單元。 picture_header_structure( ) 含有 picture_rbsp() 除了填充位元 rbsp_trailing_bits( ) 之語法元素。」 串流應用 一些串流應用僅提取該位元流之某些部分。這些提取可為空間(如子圖片)或時間(視頻序列之子部分)。接著這些經提取部分可與其他位元流合併。一些其他者係藉由僅提取一些框來減少框率。通常,這些串流應用之主要目的係使用容許的頻寬之最大值來產生最大品質給末端使用者。 在VVC中,APS ID編號已被限制以利框率減少,使得一框之新APS id編號無法被用於在時間階層中之上階處的框。然而,針對提取該位元流之部分的串流應用,APS ID需被追蹤以判定哪個APS應被保持於位元流之組部分,因為框(如IRAP)不重設APS ID之編號。 LMCS(具有色度擴縮之亮度映射) 具有色度擴縮之亮度映射(LMCS)技術係一種應用在一區塊上之樣本值轉換方法,在應用迴路過濾器於視頻解碼器(如VVC)中前。 LMCS可被劃分成兩個子工具。第一個被應用在亮度區塊上而第二個子工具被應用在色度區塊上,如以下所述: 1)第一子工具係基於調適性分段式線性模型之亮度成分的迴路中映射。亮度成分之迴路中映射調整輸入信號之動態範圍,藉由重新分佈碼字橫跨動態範圍以增進壓縮效率。亮度映射係利用前向映射功能入「映射域」及相應反映射功能以回到「輸入域」中。 2)第二子工具係相關於色度成分,其中亮度相依的色度殘餘擴縮被應用。色度殘餘擴縮被設計以補償介於亮度信號與其相應色度信號之間的互作用。色度殘餘擴縮係取決於目前區塊之頂部及/或左側經重建相鄰亮度樣本的平均值。 就像視頻編碼器中之大部分其他工具(如VVC),LMCS可被致能/除能在序列階(使用SPS旗標)。色度殘餘擴縮是否被致能亦被傳訊在切片階。假如亮度映射被致能的話,一額外旗標被傳訊以指示亮度相依的色度殘餘擴縮是否被致能。當亮度映射不被使用時,亮度相依的色度殘餘擴縮被完全除能。此外,亮度相依的色度殘餘擴縮總是被除能於其大小小於或等於4之色度區塊。 圖8顯示如以上針對亮度映射子工具所解釋之LMCS的原理。圖8中之陰影區塊係新LMCS功能性區塊,包括亮度信號之前向及反向映射。重要的是注意:當使用LMCS時,一些解碼操作被應用於「映射域」。這些操作係由圖8中之虛線的區塊所表示。其通常相應於反量化、反變換、亮度內預測及重建步驟,其在於以亮度殘餘加入亮度預測。反之,圖8中之實線區塊指示解碼程序被應用於原始(亦即,無映射)域之處,且此包括迴路過濾(諸如解塊、ALF、和SAO)、移動補償預測、及已解碼圖片之儲存為參考圖片(DPB)。 圖9顯示如圖8之類似圖形,但此次此係針對LMCS工具之色度擴縮子工具。圖9中之陰影區塊係新LMCS功能性區塊,其包括亮度相依的色度擴縮程序。然而,在色度中,有一些相較於亮度情況之重要差異。於此僅反量化及反變換(由虛線區塊所表示)被履行在色度樣本之「映射域」中。色度預測、移動補償、迴路過濾之所有其他步驟被履行在原始域中。如圖9中所示,僅有一擴縮程序且沒有如亮度映射之前向及反向處理。 藉由使用分段式線性模型的亮度映射。 亮度映射子工具係使用分段式線性模型。其表示分段式線性模型將輸入信號動態範圍分離成16個相等的子範圍;且針對各子範圍,其線性映射參數係使用指定給該範圍之碼字的數目來表達。 亮度映射之語意 語法元素lmcs_min_bin_idx 指明利用色度擴縮(LMCS)建構程序而用在亮度映射中之最小分格指標。lmcs_min_bin_idx 之值應在0至15(包括)之範圍中。 語法元素lmcs_delta_max_bin_idx 指明介於15與利用色度擴縮建構程序而用在亮度映射中的最大分格指標LmcsMaxBinIdx 之間的差量值。lmcs_delta_max_bin_idx 之值應在0至15(包括)之範圍中。LmcsMaxBinIdx 之值被設為等於15-lmcs_delta_max_bin_idxLmcsMaxBinIdx 之值應大於或等於lmcs_min_bin_idx 。 語法元素lmcs_delta_cw_prec_minus1 加1係指明用於語法lmcs_delta_abs_cw[ i ] 之表示的位元之數目。 語法元素lmcs_delta_abs_cw[ i ] 係指明第i分格之絕對差量碼字值。 語法元素lmcs_delta_sign_cw_flag[ i ] 係指明變數lmcsDeltaCW[ i ] 之符號。當lmcs_delta_sign_cw_flag[ i ] 不存在時,其被推論為等於0。 亮度映射之LMCS中間變數計算 為了應用前向及反向亮度映射處理,一些中間變數及資料陣列是需要的。 首先,變數OrgCW被導出如下: OrgCW =(1<<BitDepth)/16 接著,變數lmcsDeltaCW[ i ],其中 i = lmcs_min_bin_idx .. LmcsMaxBinIdx,被計算如下: lmcsDeltaCW[ i ]=( 1-2 * lmcs_delta_sign_cw_ flag[ i ] )* lmcs_delta_abs_cw[ i ] 新變數lmcsCW[ i ]被導出如下: -針對i = 0.. lmcs_min_bin_idx-1,lmcsCW[ i ]被設為等於0。 -針對i = lmcs_min_bin_idx..LmcsMaxBinIdx,以下適用: lmcsCW[ i ] = OrgCW + lmcsDeltaCW[ i ] lmcsCW[ i ]之值應在(OrgCW>>3)至(OrgCW<<3-1)(包括)之範圍中。 -針對i = LmcsMaxBinIdx + 1..15,lmcsCW[ i ]被設為等於0。 變數InputPivot[ i ],其中i = 0..16,被導出如下: InputPivot[ i ] = i * OrgCW 變數LmcsPivot[ i ](其中i = 0..16)、變數ScaleCoeff[ i ]及InvScaleCoeff[ i ](其中i = 0..15)被計算如下:
Figure 02_image035
前向亮度映射 如由圖8所示,當LMCS被應用於亮度時,稱為predMapSamples[i][j] 之亮度再映射樣本被獲取自預測樣本predSamples[ i ][ j ]predMapSamples[i][j] 被計算如下: 首先,指標idxY被計算自預測樣本predSamples[ i ][ j ] ,在位置(i, j)處。 idxY = predSamples[ i ][ j ] >> Log2( OrgCW ) 接著,predMapSamples[i][j]係藉由使用段落0之中間變數idxY、LmcsPivot[ idxY ]及InputPivot[ idxY ] 而被導出如下:
Figure 02_image037
亮度重建樣本 重建程序被獲得自預測亮度樣本predMapSample[i][j] 及殘餘亮度樣本resiSamples[i][j] 。 經重建亮度圖片樣本recSamples [ i ][ j ] 係藉由將predMapSample[i][j] 加至resiSamples[i][j] 而被簡單地獲得如下:
Figure 02_image039
在此上述關係式中,Clip 1函數係截割函數,用以確保經重建樣本係介於0與1<< BitDepth -1之間。 反向亮度映射 當依據圖8以應用反向亮度映射時,以下操作被應用在處理中之目前區塊的各樣本recSample[i][j] 上: 首先,指標idxY被計算自重建樣本recSamples[ i ][ j ] ,在位置(i, j)處。 idxY = recSamples[ i ][ j ] >> Log2( OrgCW ) 反向映射亮度樣本invLumaSample[i][j]係基於而被導出如下:
Figure 02_image041
截割操作被接著執行以獲得最後樣本:
Figure 02_image043
色度擴縮 色度擴縮之LMCS語意 在表6中之語法元素lmcs_delta_abs_crs 係指明變數lmcsDeltaCrs 之絕對差量碼字值。lmcs_delta_abs_crs 之值應在0至7(包括)之範圍中。當不存在時,lmcs_delta_abs_crs 之值被推論為等於0。 語法元素lmcs_delta_sign_crs_flag 指明變數lmcsDeltaCrs 之符號。當不存在時,lmcs_delta_sign_crs_flag 被推論為等於0。 色度擴縮之LMCS中間變數計算 為了應用色度擴縮程序,一些中間變數是需要的。 變數lmcsDeltaCrs 被導出如下:
Figure 02_image045
變數ChromaScaleCoeff[ i ] ,其中i = 0…15,被導出如下:
Figure 02_image047
色度擴縮程序 在第一步驟中,變數invAvgLuma 被導出以計算在目前相應色度區塊周圍之經重建亮度樣本的平均亮度值。平均亮度被計算自圍繞相應色度區塊之左側及頂部亮度區塊。 假如無樣本可得,則變數invAvgLuma 被設定如下:
Figure 02_image049
基於段落0之中間陣列LmcsPivot[  ] ,變數idxYInv被接著導出如下:
Figure 02_image051
變數varScale被導出如下:
Figure 02_image053
當變換被應用於目前色度區塊上時,經重建色度圖片樣本陣列recSamples 被導出如下:
Figure 02_image055
假如無變換已被應用於目前區塊,則以下適用:
Figure 02_image057
編碼器考量 LMCS編碼器之基本原理係首先將更多碼字指派至其中那些動態範圍段具有比平均方差更低的碼字之範圍。在此之替代公式中,LMCS之主要目標係指派較少的碼字至其具有比平均方差更高的碼字之那些動態範圍段。以此方式,圖片之平滑區域將被編碼以比平均更多的碼字,且反之亦然。 其被儲存在APS中之LMCS工具的所有參數(參見表6 )被判定在編碼器側。LMCS編碼器演算法係基於局部亮度方差之評估,且依據上述基本原理以最佳化LMCS參數之判定。該最佳化被接著進行以獲得既定區塊之最終經重建樣本的最佳PSNR矩陣。 實施例 參考框傳訊 當僅有一個切片時避免額外的參考框傳訊 在一實施例中,當至少一個語法元素指示其目前圖片僅含有一個切片時,參考圖片列表之撤銷不被傳訊在切片標頭中。確實,當一圖片含有一個切片時,編碼器不應撤銷參考圖片列表,因為其應僅將其寫入一次。類似地,解碼器不應尋求剖析用於撤銷參考圖片列表(其中目前圖片僅含有一個切片)之語法元素。假如該切片使用在該SPS中傳輸之一參考圖片列表(或多個參考圖片列表),則有用以撤銷一或多個列表來限制參考圖片之數目的優點。然而,意外地,針對真實應用之編碼效率妥協,最好是避免此撤銷以節省相關於其傳訊之位元。再者,其簡化了針對一些實施方式的切片標頭剖析。 當PH在SH中時避免額外的參考框傳訊 在一實施例中,當圖片標頭在切片標頭中時,相關於參考框之撤銷的語法元素不被傳訊在切片標頭中。更精確地,當旗標picture_header_in_slice_header_flag 被設為等於1(如在表12中所描繪)時,語法元素「num_ref_idx_active_override_flag 」及「num_ref_idx_active_minus1[ i ] 」不被傳輸。 此外,「num_ref_idx_active_override_flag 」之定義應被修改如下: num_ref_idx_active_override_flag 1 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 存在於 P B 切片且語法元素 num_ref_idx_active_minus1[ 1 ] 存在於 B 切片。 num_ref_idx_active_override_flag 等於 0 指明其語法元素 num_ref_idx_active_minus1[ 0 ] num_ref_idx_active_minus1[ 1 ] 不存在當不存在時,以及當指稱 PPS 之切片標頭不含有 PH 語法結構時, num_ref_idx_active_override_flag 之值被推論為等於 1 。否則當不存在時,以及當指稱 PPS 之切片標頭含有 PH 語法結構時, num_ref_idx_active_override_flag 之值被推論為等於 0 。」 優點是編碼效率增進,當該圖片標頭在該切片標頭中時。確實,在切片標頭中之圖片標頭的傳訊針對低延遲及低位元率應用是有效率的。在該等情況下,多個圖片之撤銷旗標成本係大於設定SPS中之數個參考圖片列表的集合之成本。確實,通常針對這些使用情況,參考框之量被限制於每列表一或兩個參考框。
Figure 02_image059
當切片中之磚等於圖片中之磚且圖片中之磚數目大於1時避免額外的參考框傳訊 在一實施例中,當目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時,參考框之撤銷不被傳訊在切片標頭中。在該情況下確認其目前圖片僅含有一個切片。表13繪示此實施例。再者,在一實施例中,針對參考框之撤銷不應被傳訊(亦即,編碼或解碼)之語法的其光柵掃描切片模式被致能之要求是不需要的。也就是說,針對參考框之撤銷的語法可不被傳訊,即使沒有光柵掃描切片模式被致能。 此外,「num_ref_idx_active_override_flag 」之定義應被修改如下: num_ref_idx_active_override_flag 1 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 存在於 P B 切片且語法元素 num_ref_idx_active_minus1[ 1 ] 存在於 B 切片。 num_ref_idx_active_override_flag 等於 0 指明其語法元素 num_ref_idx_active_minus1[ 0 ] num_ref_idx_active_minus1[ 1 ] 不存在當不存在時,以及當光柵掃描切片模式不被致能或者目前圖片中之磚數目不高於 1 時或者當切片中之磚數目不等於目前圖片中之磚數目時, num_ref_idx_active_override_flag 之值被推論為等於 1 。否則,當不存在時,以及當光柵掃描切片模式被致能、以及目前圖片中之磚數目高於 1 時以及當切片中之磚數目等於目前圖片中之磚數目時, num_ref_idx_active_override_flag 之值被推論為等於 0 。」
Figure 02_image061
在進一步實施例中,當圖片標頭在切片標頭中時或者當光柵掃描切片模式被致能、目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時(如表14中所描繪),則參考框之撤銷不被傳訊在切片標頭中。 此外,「num_ref_idx_active_override_flag 」之定義應被修改如下: num_ref_idx_active_override_flag 1 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 存在於 P B 切片且語法元素 num_ref_idx_active_minus1[ 1 ] 存在於 B 切片。 num_ref_idx_active_override_flag 等於 0 指明其語法元素 num_ref_idx_active_minus1[ 0 ] num_ref_idx_active_minus1[ 1 ] 不存在當不存在時,以及當光柵掃描切片模式不被致能或者目前圖片中之磚數目不高於 1 時或者當切片中之磚數目不等於目前圖片中之磚數目時或者當指稱 PPS 之切片標頭不含有 PH 語法結構時, num_ref_idx_active_override_flag 之值被推論為等於 1 。否則,當不存在時,以及當光柵掃描切片模式被致能、目前圖片中之磚數目高於 1 時以及當切片中之磚數目等於目前圖片中之磚數目時或者當指稱 PPS 之切片標頭含有 PH 語法結構時, num_ref_idx_active_override_flag 之值被推論為等於 0 。」
Figure 02_image063
當僅有一個切片時迫使num_ref_idx_active_override_flag 等於0 在實施例中,一位元流要求是:當圖片僅含有一個切片時旗標num_ref_idx_active_override_flag 被設為等於0。確實,當一圖片含有一個切片時,編碼器不應撤銷參考圖片列表,因為其應僅將其寫入一次。針對實施方式,此簡化了切片標頭剖析。 當PH在SH中時迫使num_ref_idx_active_override_flag 等於0 在一實施例中,一位元流要求是:當圖片標頭在切片標頭中時旗標num_ref_idx_active_override_flag 被設為等於0。更精確地,當旗標picture_header_in_slice_header_flag 被設為等於1時,圖片標頭係在切片標頭中。 當切片中之磚等於圖片中之磚且圖片中之磚數目大於1時迫使num_ref_idx_active_override_flag 等於0 在一實施例中,一位元流要求是:當光柵掃描切片模式被致能、且目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時,旗標num_ref_idx_active_override_flag 被設為等於0。 在一進一步實施例中,一位元流要求是:當圖片標頭在切片標頭中時或者當光柵掃描切片模式被致能、目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時,旗標num_ref_idx_active_override_flag 被設為等於0。更精確地,當旗標picture_header_in_slice_header_flag 被設為等於1時。 當目前圖片列表指稱SPS參考圖片列表時避免額外的參考圖片列表傳訊 在一實施例中,僅當各列表之參考圖片列表指稱在SPS中所傳訊的參考圖片列表時容許額外的參考圖片列表傳訊。在目前的VVC規格中,由於列表L0之變數rpl_sps_flag[ 0 ] 及列表L1之rpl_sps_flag[ 1 ] ,在SPS中所傳訊的參考圖片列表可被識別。表15繪示此實施例,其中語法元素num_ref_idx_active_override_flag 被提取自該位元流,假如切片類型為P或B且L0之參考框數高於1以及假如L0之參考圖片列表被傳訊在SPS中的話或者假如切片類型為B且L1之參考框數高於1以及假如L1之參考圖片列表被傳訊在SPS中的話。以此方式,假如此旗標為真的話,則參考主動之數減1係針對L0而被解碼,假如切片類型為P或B且L0之參考框數高於1以及假如L0之參考圖片列表被傳訊在SPS中的話或者假如切片類型為B且L1之參考框數高於1以及假如L1之參考圖片列表被傳訊在SPS中的話。
Figure 02_image065
在一實施例中,由於列表L0之變數num_ref_pic_lists_in_sps[ 0 ] 及列表L1之num_ref_pic_lists_in_sps [ 1 ] ,在SPS中所傳訊的參考圖片列表可被識別。此變數提供在SPS中所傳訊之列表數。當其等於0時表示沒有參考圖片列表在SPS中。因而此變數不會提供目前參考圖片列表傳訊之資訊但是提供使用相同SPS的所有參考圖片列表之資訊。表16繪示此實施例。
Figure 02_image067
以相同方式,num_ref_pic_lists_in_sps [1] 可由變數rpl1_idx_present_flag所取代。 在一實施例中,由於RplsIdx[ i ]num_ref_pic_lists_in_sps[ i ] 之比較,在SPS中所傳訊之參考圖片列表可被識別。針對列表i,當參考圖片列表RplsIdx[ i ] 等於在SPS中所傳輸的參考圖片列表數(num_ref_pic_lists_in_sps[ i ] )時,確保其參考圖片列表已被傳輸在目前圖片或切片中以及其並非指稱在SPS中所傳輸的參考圖片列表。此實施例提供比先前實施例更佳的精確度。 僅有一個切片之進一步條件 在進一步實施例中,僅當各列表之參考圖片列表指稱在SPS中所傳訊之參考圖片列表時以及當至少一個語法元素指示其目前圖片可含有多於一個切片時容許額外的參考圖片列表傳訊。確實,當一圖片含有一個切片時,一編碼器不應撤銷其被明確地傳輸在切片標頭中或在圖片標頭中之一參考圖片列表。但假如其使用在該SPS中傳輸之一參考圖片列表的話,則有用以撤銷該列表來限制參考圖片之數目的優點。但針對真實應用之編碼效率妥協,最好是避免此撤銷以節省相關於其傳訊之位元。再者,其簡化了針對一些實施方式的切片標頭剖析。 PH在SH中之進一步條件 在另一實施例中,僅當各列表之參考圖片列表指稱在SPS中所傳訊的參考圖片列表時以及當圖片標頭不在切片標頭中時容許額外的參考圖片列表傳訊。更精確地,當旗標picture_header_in_slice_header_flag 被設為等於1(如在表17中所描繪)時,語法元素「num_ref_idx_active_override_flag 」及 「num_ref_idx_active_minus1[ i ] 」不被傳輸。
Figure 02_image069
優點是編碼效率增進,當該圖片標頭在該切片標頭中時。確實,切片標頭中之圖片標頭的傳訊對於低延遲及低位元率應用是有效率的,在該等情況下多數圖片之撤銷旗標成本係大於在SPS中設定數個參考圖片列表的成本。 切片中之磚等於圖片中之磚且圖片中之磚數目大於1的進一步條件 在一額外實施例中,僅當各列表之參考框列表指稱在SPS中所傳訊的參考圖片列表時以及當光柵掃描切片模式被除能或者目前圖片中之磚數目等於1或者切片中之磚數目不等於目前圖片中之磚數目時容許額外的參考框傳訊。在該情況下,確定其目前圖片僅含有一個切片。此可藉由改變表17中之!picture_header_in_slice_header_flag 為(!(!rect_slice_flag && NumTilesInPic > 1 && num_tiles_in_slice_minus1 == NumTilesInPic -1) 來實施。 對於在切片標頭中所傳輸之參考圖片列表(RPL)的傳訊條件 在一實施例中,僅當各列表之參考圖片列表指稱在SPS中所傳訊的參考圖片列表時以及當參考圖片列表不被傳訊在切片標頭中時容許額外的參考圖片列表傳訊。優點是編碼效率增進,因為不需要更新參考圖片列表(假如其被明確地傳輸在該切片標頭中的話)。 避免使用在更高階中傳輸之語法元素的額外參考圖片列表傳訊 在一實施例中,僅當一高階旗標指示其參考圖片列表可被撤銷在切片標頭中時容許額外的參考圖片列表傳訊。 表18繪示此實施例之一可能實施方式,其中旗標high_level_slice_rpl_override_enabled_flag (當其等於1時)指明其num_ref_idx_active_override_flag 可被解碼(假如需要的話)以撤銷目前參考圖片列表。否則,num_ref_idx_active_override_flag 不被解碼。
Figure 02_image071
此旗標之語意應被定義如下: high_level_slice_rpl_override_enabled_flag 等於 1 指明其參考圖片列表語法元素可被撤銷在切片標頭中。 high_level_slice_rpl_override_enabled_flag 等於 0 指明其參考圖片列表語法元素不可被撤銷在切片標頭中。當不存在時其被推論為等於 0 。」 此實施例之優點是相較於先前實施例之更大的彈性,而具有類似的編碼效率增進。 在SPS中之傳訊 在一實施例中,high_level_slice_rpl_override_enabled_flag 被傳輸在SPS中。在此實施例中,此旗標之名稱為sps_slice_rpl_override_enabled_flag 。 對於num_ref_pic_lists_in_sps[ i ]之解碼條件 在一實施例中,sps_slice_rpl_override_enabled_flag 之解碼取決於各列表之參考圖片列表數。當其均等於0時,sps_slice_rpl_override_enabled_flag 不被解碼。確實,當沒有參考圖片列表在SPS中時,參考圖片列表被傳輸於各圖片或各切片。因此不需要撤銷此資訊。 當僅有一個切片時不被解碼或推論的旗標 在一實施例中,當在圖片中有多於一個切片指稱目前SPS時,sps_slice_rpl_override_enabled_flag 不被解碼及/或推論為等於1。僅一個切片之使用可取決於其圖片標頭被傳輸在切片標頭中或者當圖片中之磚數目與切片中相同時的語法元素傳訊。 當rpl在SH中時不被解碼或推論的旗標 在一額外實施例中,當參考圖片列表被傳輸在切片標頭中時,sps_slice_rpl_override_enabled_flag 不被解碼。在該情況下,旗標rpl_info_in_ph_flag 被設為等於0。確實,假如參考圖片列表被傳輸在切片標頭中(rpl_info_in_ph_flag 等於0)且沒有參考圖片列表被傳輸在SPS中的話,則確保其參考圖片列表被傳輸於各切片。因此,不需要撤銷此資訊。表19繪示此實施例。
Figure 02_image073
在PPS中之傳訊 在一實施例中,high_level_slice_rpl_override_enabled_flag 被傳輸在PPS中。在此實施例中,此旗標之名稱為pps_slice_rpl_override_enabled_flag 。 對於num_ref_pic_lists_in_sps[ i ]之解碼條件 在一實施例中,pps_slice_rpl_override_enabled_flag 之解碼取決於各列表之參考圖片列表數。當其均等於0時,pps_slice_rpl_override_enabled_flag 不被解碼。確實,當沒有參考圖片列表在SPS中時,參考圖片列表被傳輸於各圖片或各切片。因此不需要撤銷此資訊。 當僅有一個切片時不被解碼或推論的旗標 在一額外實施例中,當在圖片中有多於一個切片指稱目前PPS時,pps_slice_rpl_override_enabled_flag 不被解碼及/或推論為等於1。僅一個切片之使用可取決於其圖片標頭被傳輸在切片標頭中或者當圖片中之磚數目與切片中相同時的語法元素傳訊。 當參考圖片列表(rpl)在切片標頭(SH)中時不被解碼或推論的旗標 在一額外實施例中,當參考圖片列表被傳輸在切片標頭中時,pps_slice_rpl_override_enabled_flag 不被解碼。在該情況下,旗標rpl_info_in_ph_flag 被設為等於0。確實,假如參考圖片列表被傳輸在切片標頭中(rpl_info_in_ph_flag 等於0)且沒有參考圖片列表被傳輸在SPS中的話,則確保其參考圖片列表被傳輸於各切片。因此不需要撤銷此資訊。表20繪示此實施例。
Figure 02_image075
在視頻參數集(VPS)中之傳訊 在一額外實施例中,high_level_slice_rpl_override_enabled_flag 被傳輸在VPS中。在此實施例中,此旗標之名稱為vps_slice_rpl_override_enabled_flag 。 在圖片標頭(PH)中之傳訊 在一額外實施例中,high_level_slice_rpl_override_enabled_flag 被傳輸在圖片標頭中。在此實施例中,此旗標之名稱為ph_slice_rpl_override_enabled_flag 。 對於num_ref_pic_lists_in_sps[ i ]之解碼條件 在一額外實施例中,ph_slice_rpl_override_enabled_flag 之解碼取決於各列表之參考圖片列表數。當這些數目均等於0時,ph_slice_rpl_override_enabled_flag 不被解碼。確實,當沒有參考圖片列表在SPS中時,參考圖片列表被傳輸於各圖片或各切片。因此不需要撤銷此資訊。 當僅有一個切片時不被解碼或推論的旗標 在一額外實施例中,當在圖片中有多於一個切片指稱目前圖片標頭時,ph_slice_rpl_override_enabled_flag 不被解碼及/或推論為等於1。僅一個切片之使用可取決於其圖片標頭被傳輸在切片標頭中或者當圖片中之磚數目與切片中相同時的語法元素傳訊。 當rpl在切片標頭(SH)中時不被解碼或推論的旗標 在一額外實施例中,當參考圖片列表被傳輸在切片標頭中時,ph_slice_rpl_override_enabled_flag 不被解碼。在該情況下,旗標rpl_info_in_ph_flag 被設為等於0。確實,假如參考圖片列表被傳輸在切片標頭中(rpl_info_in_ph_flag 等於0)且沒有參考圖片列表被傳輸在圖片標頭中,則確保其參考圖片列表被傳輸於各切片,因此不需要撤銷此資訊。表21繪示此實施例之實施方式。
Figure 02_image077
相關於LMCS及擴縮列表之實施例 當僅有一個切片時避免XXX啟動旗標之傳訊 在一實施例中,傳輸在切片標頭中之語法元素(其致能或指明工具(或參數)XXX之存在且其取決於致能或指明此工具(或參數)XXX之存在於圖片標頭中的至少一變數)不被傳輸在切片標頭中,當目前圖片僅含有一個切片時。 此實施例之優點是編碼效率增進,由於該等語法元素不被傳輸(當其不需要時)。確實,當目前圖片僅含有一個切片時,對於在圖片標頭(及接著切片標頭)中傳訊它並無額外的彈性。 當PH在SH中時避免XXX啟動旗標之傳訊 在一實施例中,傳輸在切片標頭中之語法元素(其致能或指明工具(或參數)之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)不被傳輸在切片標頭中,當圖片標頭在切片標頭中時。 此額外實施例之優點是編碼效率增進,當該圖片在該切片標頭中時。確實,在該切片標頭中之該圖片標頭針對低延遲及低位元率應用是有效率的,在該等情況下在切片階處傳訊具有對於總體位元率之顯著的成本。 表22顯示此實施例之實施方式。 當切片中之磚等於圖片中之磚且圖片中之磚數目大於1時避免XXX旗標之傳訊 在一實施例中,傳輸在切片標頭中之語法元素(其致能或指明工具之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)不被傳輸在切片中,當光柵掃描切片模式被致能、且目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時。 此實施例可藉由改變表22中之2條件“&& ! picture_header_in_slice_header_flag”為 “&&(!(!rect_slice_flag && NumTilesInPic > 1 && num_tiles_in_slice_minus1 == NumTilesInPic-1)))”來實施。 由值ph_XXX_flag所預測之slice_XXX_flag 在一實施例中,當傳輸在切片標頭中之語法元素(其致能或指明工具(或參數)之存在且其取決於致能或指明此工具(或參數)之存在於圖片標頭中的至少一變數)由於以上所界定之條件而不被傳輸在切片標頭中時,則其值係由在圖片標頭中傳輸或獲得之變數的值所預測。 XXX為LMCS 在一實施例中,當語法元素slice_lmcs_enabled_flag (其在切片階致能LMCS)由於以上所界定之條件而不被傳輸時。 表22繪示當條件為圖片標頭在切片標頭中時之此實施例。 此外,當以上所界定之條件符合時,變數slice_lmcs_enabled_fla 係由ph_lmcs_enabled_flag 之值所預測。例如,針對圖片標頭在切片標頭中之條件,slice_lmcs_enabled_flag 被界定如下: slice_lmcs_enabled_flag 等於 1 指明其具有色度擴縮之亮度映射被致能於目前切片。 slice_lmcs_enabled_flag 等於 0 指明其具有色度擴縮之亮度映射不被致能於目前切片。當 slice_lmcs_enabled_flag 不存在時,以及當指稱 PPS 之切片標頭不含有 PH 語法結構時,其被推論為等於 0 。當指稱 PPS 之切片標頭含有 PH 語法結構時, slice_lmcs_enabled_flag 被推論為等於 ph_lmcs_enabled_flag 。」
Figure 02_image079
XXX為擴縮列表 在一實施例中,當語法元素slice_scaling_list_present_flag (其指明擴縮列表存在於目前切片)由於以上界定之條件而不被傳輸時。 表23繪示當條件為圖片標頭在切片標頭中時之此實施例的實施方式。 此外,當以上所界定之條件符合時,變數slice_scaling_list_present_flag 係由ph_scaling_list_present_flag 之值所預測。例如,針對「圖片標頭在切片標頭中」之條件,slice_lmcs_enabled_flag 被界定如下: slice_scaling_list_present_flag 等於 1 指明其用於目前切片之擴縮列表資料係基於參考擴縮列表 APS 中所含有的擴縮列表資料來導出,其中 aps_params_type 等於 SCALING_APS adaptation_parameter_set_id 等於 ph_scaling_list_aps_id slice_scaling_list_present_flag 等於 0 指明其用於目前圖片之擴縮列表資料為在條項 7.4.3.21 中所導出指明的預設擴縮列表資料。當不存在時,以及當指稱 PPS 之切片標頭不含有 PH 語法結構時, slice_scaling_list_present_flag 之值被推論為等於 0 。當指稱 PPS 之切片標頭含有 PH 語法結構時, slice_lmcs_enabled_flag 被推論為等於 ph_scaling_list_present_flag 。」 在一實施例中,對於變數XXX之所提議的限制被應用於slice_lmcs_enabled_flagslice_scaling_list_present_flag 兩者。 在一實施例中,傳輸在切片標頭中之語法元素(其致能或指明工具之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)不被傳輸在切片標頭中,當圖片標頭在切片標頭中時或者當光柵掃描切片模式被除能或目前圖片中之磚數目等於1或切片中之磚數目不等於目前圖片中之磚數目時。表23繪示此實施例之實施方式。 在進一步實施例中,slice_lmcs_enabled_flag slice_scaling_list_present_flag 被傳輸在切片標頭中(其各別地致能LMCS及指明擴縮列表之存在且其各別地取決於圖片標頭中之ph_lmcs_enabled_flagph_scaling_list_present_flag )不被傳輸在切片標頭中,當圖片標頭在切片標頭中時或者當光柵掃描切片模式被除能或目前圖片中之磚數目等於1或切片中之磚數目不等於目前圖片中之磚數目時。
Figure 02_image081
當僅有一個切片時切片XXX旗標等於ph_XXX_flag之位元流約束 在一實施例中,當目前圖片僅含有一個切片時,語法元素(其致能或指明工具或參數XXX之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)被傳輸在切片標頭中。位元流符合要求可適當地使得切片標頭中之語法元素具有如圖片標頭中之語法元素的相同值,其致能或指明相同工具或參數之存在,當僅有一個切片時。 當PH在SH中時切片XXX旗標等於ph_XXX_flag之位元流約束 在一實施例中,當圖片標頭在切片標頭中時,語法元素(其致能或指明工具或參數XXX之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)被傳輸在切片標頭中。也就是說,位元流符合要求可適當地使得切片標頭中之語法元素具有如圖片標頭中之語法元素的相同值,其致能或指明相同工具或參數之存在,當圖片標頭在切片標頭中時。 當切片中之磚等於圖片中之磚且圖片中之磚數目大於1時切片XXX旗標等於ph_XXX_flag之位元流約束 在一實施例中,當光柵掃描切片模式被致能、且目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時,語法元素被傳輸在切片標頭中,其致能或指明工具或參數XXX之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數。位元流符合要求可適當地使得切片標頭中之語法元素具有如圖片標頭中之語法元素的相同值,當切片中之磚數目等於圖片中之磚數目且圖片中之磚數目大於1時。 XXX為LMCS 在一實施例中,在切片階致能LMCS之語法元素slice_lmcs_enabled_flag 系統地等於當以上所界定之一條件為真時之ph_lmcs_enabled_flag 。 例如,當條件為「圖片標頭在切片標頭中」時,slice_lmcs_enabled_flag 被界定如下 slice_lmcs_enabled_flag 等於 1 指明其具有色度擴縮之亮度映射被致能於目前切片。 slice_lmcs_enabled_flag 等於 0 指明其具有色度擴縮之亮度映射不被致能於目前切片。當 slice_lmcs_enabled_flag 不存在時,其被推論為等於 0 。當指稱 PPS 之切片標頭含有 PH 語法結構時,位元流符合之要求係其 slice_lmcs_enabled_flag 應等於 ph_lmcs_enabled_flag 。」 XXX為擴縮列表 在一實施例中,當以上所界定之一條件為真時,語法元素slice_scaling_list_present_flag (其指明擴縮列表存在於目前切片)系統地等於ph_scaling_list_present_flag 。 例如,當條件為「圖片標頭在切片標頭中」時,slice_scaling_list_present_flag 被界定如下: slice_scaling_list_present_flag 等於 1 指明其用於目前切片之擴縮列表資料係基於參考擴縮列表 APS 中所含有的擴縮列表資料來導出,其中 aps_params_type 等於 SCALING_APS adaptation_parameter_set_id 等於 ph_scaling_list_aps_id slice_scaling_list_present_flag 等於 0 指明其用於目前圖片之擴縮列表資料為在條項 7.4.3.21 中所導出指明的預設擴縮列表資料。當不存在時, slice_scaling_list_present_flag 之值被推論為等於 0 。」當指稱 PPS 之切片標頭含有 PH 語法結構時, slice_scaling_list_present_flag 被推論為等於 ph_scaling_list_present_flag 。」 當指稱 PPS 之切片標頭含有 PH 語法結構時,位元流符合之要求係其 slice_lmcs_enabled_flag 應等於 ph_lmcs_enabled_flag 。」 在一實施例中,該限制被應用於LMCS及擴縮列表 在一實施例中,傳輸在切片標頭中之語法元素(其致能或指明工具(或參數)之存在且其取決於致能或指明此工具(或參數)之存在於圖片標頭中的至少一變數),當圖片標頭在切片標頭中或者當光柵掃描切片模式被致能、且目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時。 在一實施例中,當圖片標頭在切片標頭中時或者當光柵掃描切片模式被致能、且目前圖片中之磚數目高於1時以及當切片中之磚數目等於目前圖片中之磚數目時,slice_lmcs_enabled_flag slice_scaling_list_present_flag ,其各別地致能LMCS並指明擴縮列表之存在且其各別地取決於ph_lmcs_enabled_flagph_scaling_list_present_flag ,其各別地致能且指明LMCS及擴縮列表之存在於圖片標頭中。 當由於旗標被傳輸在更高階時避免XXX啟動旗標之傳訊 在一實施例中,僅當一高階旗標指示此語法元素之存在時,傳輸在切片標頭中之語法元素(其致能或指明工具或參數XXX之存在)被傳輸。 在SPS、PPS、VPS、PH中之傳訊 在一實施例中,此高階旗標被傳輸在SPS或PPS或VPS或圖片標頭中。最佳的是在最高可能階傳輸它。 由值ph_XXX_flag所預測之slice_XXX_flag 在一實施例中,僅當一高階旗標指示此語法元素之存在且其值由圖片標頭中所傳輸或獲得之變數的值所預測時,傳輸在切片標頭中之語法元素(其致能或指明工具之存在且其取決於致能或指明此工具之存在於圖片標頭中的至少一變數)被傳輸。 XXX為LMCS 在一實施例中,僅當一高階旗標指示slice_lmcs_enabled_flag 之存在時,語法元素slice_lmcs_enabled_flag (其在切片階致能LMCS)被傳輸。 表24繪示針對在SPS中傳輸之高階旗標sps_override_slice_lmcs_enabled_flag 的此實施例。
Figure 02_image083
XXX為擴縮列表 在一實施例中,當一高階旗標指示slice_scaling_list_present_flag 之存在時,語法元素slice_scaling_list_present_flag ,其指明擴縮列表存在於目前切片。 表24繪示針對在SPS中傳輸之高階旗標sps_override_slice_scaling_list_present_flag 的此實施例。 在一實施例中,對於變數XXX之所提議的限制被應用於slice_lmcs_enabled_flagslice_scaling_list_present_flag 兩者。 實施方式 圖11顯示一種系統191、195,其包含編碼器150或解碼器100之至少一者以及通訊網路199,依據本發明之實施例。依據一實施例,系統195係用於處理並提供內容(例如,用於顯示/輸出或串流視頻/音頻內容之視頻及音頻內容)給使用者,其得以存取至解碼器100,例如透過包含解碼器100之使用者終端或可與解碼器100通訊之使用者終端的使用者介面。此一使用者終端可為電腦、行動電話、平板或者能夠提供/顯示(經提供/經串流)內容給使用者之任何其他類型的裝置。系統195經由通訊網路199以獲得/接收位元流101(以連續流或信號之形式-例如,當較早視頻/音頻被顯示/輸出時)。依據一實施例,系統191係用於處理內容並儲存經處理內容,例如用於在稍後時間顯示/輸出/串流之經處理視頻及音頻內容。系統191獲得/接收包含影像151之原始序列的內容,其被編碼器150接收並處理(包括利用依據本發明之解塊過濾器的過濾),且編碼器150產生位元流101,其將經由通訊網路191而被傳遞至解碼器100。位元流101被以數種方式接著傳遞至解碼器100,例如其可由編碼器150所事先產生並當作資料而被儲存在通訊網路199中之儲存設備中(例如,在伺服器或雲端儲存上)直到使用者從該儲存設備請求該內容(亦即,位元流資料),此刻資料係從該儲存設備被傳遞/串流至解碼器100。系統191亦可包含內容提供設備,用於提供/串流至使用者(例如,藉由傳遞資料給使用者介面以供顯示在使用者終端上),用於儲存設備中所儲存之內容的內容資訊(例如,內容之名稱及用於識別、選擇及請求該內容的其他元/儲存位置資料),並用於接收且處理針對一內容之使用者請求以致其該請求的內容可從儲存設備被遞送/串流至使用者終端。替代地,編碼器150產生位元流101並直接將其傳遞/串流至解碼器100,如且當使用者請求該內容時。解碼器100接著接收位元流101(或信號)並利用依據本發明之解塊過濾器來履行過濾,以獲得/產生視頻信號109及/或音頻信號,其接著由使用者終端所使用以提供該請求的內容給使用者。 依據本發明之方法/程序的任何步驟或文中所述的功能可被實施以硬體、軟體、韌體、或其任何組合。假如以軟體實施,則該等步驟/功能可被儲存在或傳輸透過、成為一或多個指令或碼或程式、或電腦可讀取媒體,且被執行以一或多個基於硬體的處理單元(諸如可編程計算機器),其可為PC(「個人電腦」)、DSP(「數位信號處理器」)、電路、電路系統、處理器及記憶體、通用微處理器或中央處理單元、微控制器、ASIC(「特定應用積體電路」)、場可編程邏輯陣列(FPGA)、或者其他同等集成或離散邏輯電路。因此,如文中所使用之術語「處理器」可指稱前述結構之任一者或者適於文中所述之技術的實施之任何其他結構。 本發明之實施例亦可由多種裝置或設備來實現,包括無線手機、積體電路(IC)或一組JC(例如,晶片組)。各種組件、模組、單元被描述在文中以闡明其組態成履行那些實施例之裝置/設備的功能性態樣,但不一定需要由不同硬體單元來實現。反之,各種模組/單元可被組合在編碼解碼器硬體單元中或者由互操作硬體單元之集合來提供,包括一或多個處理器聯合適當的軟體/韌體。 本發明之實施例可由一種系統或設備之電腦來實現,該電腦係讀出並執行在儲存媒體上所記錄的電腦可執行指令(例如,一或多個程式)以履行上述實施例之一或多者的模組/單元/功能;及/或其包括一或多個處理單元或電路以履行上述實施例之一或多者的功能;以及可由一種由系統或設備之電腦所履行的方法來實現,藉由(例如)從儲存媒體讀出並執行電腦可執行指令以履行上述實施例之一或多者的功能及/或控制一或多個處理單元或電路來履行上述實施例之一或多者的功能。電腦可包括分離電腦或分離處理單元的網路以讀出並執行電腦可執行指令。電腦可執行指令可被提供至電腦,例如,從電腦可讀取媒體(諸如通訊媒體),經由網路或有形儲存媒體。通訊媒體可為信號/位元流/載波。有形儲存媒體係「非暫態電腦可讀取儲存媒體」,其可包括(例如)硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、分散式計算系統之儲存、光碟(諸如光碟(CD)、數位多功能光碟(DVD)、或藍光光碟(BD)™)、快閃記憶體裝置、記憶卡,等等之一或多者。步驟/功能之至少一些亦可被實施以硬體,藉由機器或專屬組件,諸如FPGA(「場可編程閘極陣列」)或ASIC(「特定應用積體電路」)。 圖12為一用於實施本發明之一或更多實施例的計算裝置2000之概略方塊圖。計算裝置2000可為一種裝置,諸如微電腦、工作站或輕型可攜式裝置。計算裝置2000包含一連接至以下的通訊匯流排:-中央處理單元(CPU)2001,諸如微處理器;-隨機存取記憶體(RAM)2002,用以儲存本發明之實施例的方法之可執行碼、以及暫存器,調適成記錄用以實施方法所需的變數和參數,該方法係依據本發明之實施例以編碼或解碼影像之至少部分,其記憶體容量可藉由一連接至(例如)擴充埠之選擇性RAM來擴充;-唯讀記憶體(ROM)2003,用以儲存供實施本發明之實施例的電腦程式;-網路介面(NET)2004,通常連接至通訊網路,待處理數位資料係透過該網路介面來傳輸或接收。網路介面(NET)2004可為單一網路介面,或者由不同網路介面之集合所組成(例如有線及無線介面、或者不同種類的有線或無線介面)。資料封包被寫入至網路介面以供傳輸或者從網路介面讀取以供接收,在CPU 2001中所運行之軟體應用程式的控制下;-使用者介面(UI)2005可用於從使用者接收輸入或者用以顯示資訊給使用者;-硬碟(HD)2006,可被提供為大量儲存裝置;-輸入/輸出模組(IO)2007可用於接收/傳送資料自/至外部裝置,諸如視頻來源或顯示。可執行碼可被儲存於ROM 2003中、於HD 2006上或者於可移除數位媒體(諸如,例如磁碟)上。依據變體,程式之可執行碼可藉由通訊網路來接收,經由NET 2004,以儲存於通訊裝置2000的儲存機構(諸如HD 2006)之一中,在執行之前。CPU 2001係調適成依據本發明之實施例以控制並指導程式或多數程式之指令或軟體碼部分的執行,該些指令係儲存於前述儲存機構之一中。在開機之後,CPU 2001能夠執行相關於軟體應用程式之來自主RAM記憶體2002的指令,在那些指令已從(例如)程式ROM 2003或HD 2006載入之後。此一軟體應用程式(當由CPU 2001所執行時)係致使依據本發明之方法的步驟被履行。 亦應理解:依據本發明之另一實施例,一種依據前述實施例之解碼器被提供於使用者終端,諸如電腦、行動電話(蜂巢式電話)、平板或任何其他類型的裝置(例如,顯示設備),其能夠提供/顯示內容給使用者。依據又另一實施例,一種依據前述實施例之編碼器被提供於一種影像擷取設備,其亦包含相機、視頻相機或網路相機(例如,閉路電視或視頻監視相機),其係擷取並提供內容給編碼器來編碼。兩個此類範例係參考圖13及14而被提供於下。 網路相機 圖13為一圖形,其繪示網路相機系統2100,包括網路相機2102及客戶設備2104。 網路相機2102包括成像單元2106、編碼單元2108、通訊單元2110、及控制單元2112。 網路相機2102與客戶設備2104被相互連接以能夠經由網路200而彼此通訊。 成像單元2106包括透鏡及影像感測器(例如,電荷耦合裝置(CCD)或互補金氧半導體(CMOS)),並擷取物件之影像且根據該影像以產生影像資料。此影像可為靜止影像或視頻影像。 編碼單元2108係藉由使用上述的該編碼方法以編碼影像資料。 網路相機2102之通訊單元2110將其由編碼單元2108所編碼的已編碼影像資料傳輸至客戶設備2104。 再者,通訊單元2110從客戶設備2104接收命令。該等命令包括用以設定編碼單元2108之編碼的參數之命令。 控制單元2112依據由通訊單元2110所接收的命令以控制網路相機2102中之其他單元。 客戶設備2104包括通訊單元2114、解碼單元2116、及控制單元2118。 客戶設備2104之通訊單元2114傳輸命令至網路相機2102。 再者,客戶設備2104之通訊單元2114從網路相機2102接收已編碼影像資料。 解碼單元2116係藉由使用上述的該解碼方法以解碼該經編碼影像資料。 客戶設備2104之控制單元2118依據由通訊單元2114所接收的使用者操作或命令以控制客戶設備2104中之其他單元。 客戶設備2104之控制單元2118控制顯示設備2120以顯示由解碼單元2116所解碼的影像。 客戶設備2104之控制單元2118亦控制顯示設備2120以顯示GUI(圖形使用者介面)來指定用於網路相機2102之參數的值,包括用於編碼單元2108之編碼的參數。 客戶設備2104之控制單元2118亦依據由顯示設備2120所顯示之輸入至GUI的使用者操作以控制客戶設備2104中之其他單元。 客戶設備2104之控制單元2119控制客戶設備2104之通訊單元2114以傳輸命令至網路相機2102,其指定用於網路相機2102之參數的值,依據由顯示設備2120所顯示之輸入至GUI的使用者操作。 智慧型手機 圖14為繪示智慧型手機2200之圖形。 智慧型手機2200包括通訊單元2202、解碼單元2204、控制單元2206、顯示單元2208、影像記錄裝置2210及感測器2212。 通訊單元2202經由網路200以接收經編碼影像資料。 解碼單元2204解碼其由通訊單元2202所接收的已編碼影像資料。 解碼單元2204係藉由使用上述的該解碼方法以解碼該經編碼影像資料。 控制單元2206依據由通訊單元2202所接收的使用者操作或命令以控制智慧型手機2200中之其他單元。 例如,控制單元2206控制顯示單元2208以顯示由解碼單元2204所解碼的影像。 雖然已參考了實施例來描述本發明,但應理解其本發明不限於所揭露的範例實施例。那些熟悉此技藝人士應理解:可做出各種改變及修改而不背離本發明之範圍,如後附申請專利範圍中所界定者。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的所有特徵、及/或所揭露的任何方法或程序之步驟,可以任何組合方式結合,除了其中此等特徵及/或步驟之至少部分是互斥的組合以外。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的各特徵可被取代以替代特徵,其係適用相同的、同等的或類似的目的,除非另外明確地聲明。因此,除非另外明確地聲明,所揭露的各特徵僅為同等或類似特徵之一般序列的一個範例。 亦應理解:上述比較、判定、評估、選擇、執行、履行、或考量之任何結果(例如於編碼或過濾程序期間所做的選擇)可指示於或者可判定/可推理自位元流中之資料(例如指示該結果之旗標或資料),以使得經指示的或經判定/經推理的結果可用於該處理,以取代實際地履行比較、判定、評估、選擇、執行、履行、或考量(例如於解碼程序期間)。 於申請專利範圍中,文字「包含」不排除其他元件或步驟,而不定冠詞「一(a)」或「一(an)」不排除複數。不同特徵在彼此不同的附屬項申請專利範圍中陳述之單純事實並不指示其這些特徵之組合無法被有利地使用。 出現在申請專利範圍中之參考數字僅為闡明且對於申請專利範圍之範圍應無限制性效果。
1:視頻序列 2:影像 3:切片 5:編碼單元(CU) 60:解碼器 61:位元流 62:模組 63:模組 64:模組 65:內反預測模組 66:模組 67:後過濾模組 68:參考影像 69:視頻信號 70:移動向量解碼模組 71:移動向量場資料 100:解碼器 101:位元流 109:視頻信號 150:編碼器 151:影像 191, 195:系統 199:通訊網路 200:資料通訊網路 201:伺服器 202:客戶終端 204:資料流 300:處理裝置 302:通訊介面 303:通訊網路 304:資料儲存機構 305:磁碟驅動 306:磁碟 308:麥克風 309:螢幕 310:鍵盤 311:中央處理單元 312:隨機存取記憶體 313:通訊匯流排 320:數位相機 400:編碼器 401:數位影像i 0至in402:模組 403:模組 404:移動估計模組 405:移動補償模組 406:選擇模組 407:變換模組 408:量化模組 409:熵編碼模組 410:位元流 411:反量化模組 412:反變換模組 413:反內預測模組 414:反移動補償模組 415:模組 416:參考影像 417:移動向量預測及編碼模組 418:移動向量場 601-608:網路抽象化層(NAL)單元 610:切片標頭 611:原始位元組序列酬載RBSP 620:磚 640:編碼區塊 701-707:NAL單元 708:圖片標頭 710:切片標頭 720:磚 740:編碼區塊 2000:計算裝置 2001:中央處理單元(CPU) 2002:隨機存取記憶體(RAM) 2003:唯讀記憶體(ROM) 2004:網路介面(NET) 2005:使用者介面(UI) 2006:硬碟(HD) 2007:輸入/輸出模組(IO) 2100:網路相機系統 2102:網路相機 2104:客戶設備 2106:成像單元 2108:編碼單元 2110:通訊單元 2112:控制單元 2114:通訊單元 2116:解碼單元 2118:控制單元 2120:顯示設備 2200:智慧型手機 2202:通訊單元 2204:解碼/編碼單元 2206:控制單元 2208:顯示單元 2210:影像記錄裝置 2212:感測器
現在將(以範例方式)參考附圖,其中: [圖1]係用以解釋HEVC及VVC中所使用之編碼結構的圖形; [圖2]係概略地繪示一資料通訊系統之方塊圖,其中本發明之一或更多實施例可被實施; [圖3]係繪示一處理裝置之組件的方塊圖,其中本發明之一或更多實施例可被實施; [圖4]係一流程圖,其繪示一種依據本發明之實施例的編碼方法之步驟; [圖5]係一流程圖,其繪示一種依據本發明之實施例的解碼方法之步驟; [圖6]繪示範例編碼系統VVC中之位元流的結構。 [圖7]繪示範例編碼系統VVC中之位元流的另一結構。 [圖8]繪示亮度模擬色度擴縮(LMCS); [圖9]顯示LMCS之子工具; [圖10]係目前VVC草案標準之光柵掃描切片模式及矩形切片模式的圖示。 [圖11]係顯示一系統之一圖形,該系統包含依據本發明之實施例的一編碼器或一解碼器及一通訊網路。 [圖12]為一用於實施本發明之一或更多實施例的計算裝置之概略方塊圖; [圖13]為繪示網路相機系統之圖形;及 [圖14]為繪示智慧型手機之圖形。
1:視頻序列
2:影像
3:切片
5:編碼單元(CU)

Claims (31)

  1. 一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料, 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含: 剖析該等語法元素,以及 假如被剖析之一或多個語法元素指示其該圖片僅含有一個切片的話則省略剖析相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素;及 使用該等語法元素以解碼該位元流。
  2. 如請求項1之方法,其中相關於該解碼工具或參數之該使用或可用性的一語法元素被傳訊在一序列參數集(SPS)中。
  3. 如請求項1或2之方法,其中指示其該目前圖片僅含有一個切片之該等一或多個語法元素包含在切片標頭語法元素中之一圖片標頭,其指示一圖片標頭被傳訊在該切片標頭中。
  4. 如請求項1至3之任一項的方法,其中指示其該目前圖片僅含有一個切片之該等一或多個語法元素包含指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,及 其中該圖片中之該磚數目大於一且該切片中之該磚數目等於該圖片中之該磚數目係指示其該目前圖片僅含有一個切片。
  5. 如請求項1至4之任一項的方法,其中相關於一解碼工具或參數之使用或可用性的該語法元素包含用於指示在該切片階之該解碼模式或參數的使用之一旗標,且進一步包含從在該圖片標頭階之一旗標的該值預測在該切片階撤銷該解碼模式或參數。
  6. 如請求項1至5之任一項的方法,其中該解碼工具或參數相關於參考框傳訊,而相關於該解碼工具或參數之使用或可用性的該語法元素包含用於該參考圖片列表之該使用的撤銷之一旗標。
  7. 如請求項1至5之任一項的方法,其中該解碼工具或參數相關於具有色度擴縮之亮度映射(LMCS),而該語法元素包含用於具有色度擴縮之亮度映射(LMCS)的一啟動旗標。
  8. 如請求項1至5之任一項的方法,其中該解碼工具或參數相關於一擴縮列表,而該語法元素包含用於該擴縮列表之一啟動旗標。
  9. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該解碼包含: 在高於一切片之該位元流中的一階處剖析一高階語法元素,該高階語法元素指示是否允許在一切片階處指示一解碼工具或參數之使用或可用性; 針對一切片標頭省略剖析或推論指示該切片之一解碼工具或參數的使用或可用性之一或多個語法元素,假如該高階語法元素指示其不允許在一切片階處指示該解碼工具或參數之使用或可用性的話;及 使用該等語法元素以解碼該位元流。
  10. 如請求項9之方法,其中該高階語法元素被傳訊在一序列參數集(SPS)、一圖片參數集(PPS)、一視頻參數集(VPS)、及一圖片標頭(PH)之一或多個中。
  11. 如請求項9或10之方法,其中假如在序列參數集(SPS)中之參考圖片列表的數目為零的話,則該高階語法元素不被解碼。
  12. 如請求項9至11之任一項的方法,其中假如該圖片僅具有一個切片的話,則該高階語法元素不被解碼。
  13. 如請求項9至12之任一項的方法,其中該解碼工具或參數相關於一參考圖片列表。
  14. 如請求項13項之方法,其中假如一參考圖片列表被傳訊在該切片標頭中的話,則該高階語法元素不被解碼。
  15. 如請求項9至12之任一項的方法,其中指示一解碼工具或參數之使用或可用性的該語法元素包含一啟動旗標。
  16. 如請求項15之方法,其中該解碼工具或參數包含具有色度擴縮之亮度映射(LMCS)工具。
  17. 如請求項15或16之方法,其中該解碼工具或參數包含一擴縮列表。
  18. 如請求項15至17之任一項的方法,其中該切片標頭中之該啟動旗標取決於圖片標頭上之該啟動旗標。
  19. 如請求項18之方法,其中假如該高階語法元素指示其允許在一切片階處指示該解碼工具或參數之使用或可用性的話,則一切片之該啟動旗標的值被推論自在一圖片標頭中傳訊之該解碼工具或參數的一啟動旗標之一值。
  20. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,以及 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含: 剖析該等語法元素,以及 假如一圖片僅含有一個切片的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值;及 使用該等語法元素以解碼該位元流。
  21. 如請求項20之方法,進一步包含剖析在切片標頭語法元素中之一圖片標頭,其中假如在切片標頭語法元素中之該圖片標頭指示其一圖片標頭被傳訊在該切片標頭中的話,則該圖片僅含有一個切片。
  22. 如請求項20或21之方法,其中各切片可包括一或多個磚,以及 進一步包含剖析指示該目前圖片中之磚數目的一語法元素及指示該切片中之磚數目的一語法元素,及 其中該圖片中之該磚數目大於一且該切片中之磚數目等於該圖片中之該磚數目係指示其該目前圖片僅含有一個切片。
  23. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料, 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該解碼包含: 剖析該等語法元素,以及 假如一圖片標頭被傳訊在該切片標頭中的話,則將指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值限制為如指示在含有該切片之該圖片的該圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的一相同值;及 使用該等語法元素以解碼該位元流。
  24. 如請求項20至23之任一項的方法,其中該一或多個解碼工具或參數包含一具有色度擴縮之亮度映射(LMCS)工具。
  25. 如請求項20至24之任一項的方法,其中該一或多個解碼工具或參數包含一擴縮列表。
  26. 一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料, 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被約束以使得 在其中該位元流包括具有指示其該圖片僅含有一個切片之一值的一語法元素之情況下,該位元流包括指示其相關於一切片之一解碼工具或參數之使用或可用性的該切片之一或多個語法元素的剖析應被省略之一語法元素,該方法包含使用該等語法元素來解碼該位元流。
  27. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,其中該位元流包含一或多個語法元素,該位元流被約束以使得 在其中該位元流包括在高於一切片之該位元流中的一階處之一高階語法元素的一情況下,該高階語法元素指示是否允許在一切片階處指示一解碼工具或參數之使用或可用性,該位元流亦包括指示其針對一切片標頭剖析或推論指示該切片之一解碼工具或參數的使用或可用性之一或多個語法元素應被省略的一語法元素,假如該高階語法元素指示其不允許在一切片階處指示該解碼工具或參數之使用或可用性的話,該方法包含使用該等語法元素來解碼該位元流。
  28. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料,以及 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被約束以使得 在其中該位元流包括具有指示其一圖片僅含有一個切片之一值的一語法元素之一情況下,指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值被限制為如指示在含有該切片之該圖片的一圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值,該方法包含使用該等語法元素來解碼該位元流。
  29. 一種解碼來自一位元流之視頻資料的方法,該位元流包含包含具有一或多個切片之一圖片序列的視頻資料, 其中該位元流包含一圖片標頭及一切片標頭,該圖片標頭包含當解碼一或多個切片時將使用的語法元素,該切片標頭包含當解碼一切片時將使用的語法元素,該位元流被約束以使得 在其中該位元流包括具有指示其一圖片標頭被傳訊在該切片標頭中之一值的一語法元素之一情況下,指示在該圖片中之一切片的一或多個解碼工具或參數之使用或可用性的一或多個語法元素之值被限制為如指示在含有該切片之該圖片的該圖片標頭中所傳訊之該解碼工具或參數的使用或可用性之一相應語法元素的相同值,該方法包含使用該等語法元素來解碼該位元流。
  30. 一種用於解碼來自一位元流之視頻資料的裝置,該裝置係組態成履行請求項1至29之任一項的方法。
  31. 一種電腦程式,包含可執行指令,其在執行時致使請求項1至29之任一項的方法被履行。
TW110109797A 2020-03-20 2021-03-18 用於視頻編碼及解碼的高階語法 TWI827919B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2004095.2A GB2593222A (en) 2020-03-20 2020-03-20 High level syntax for video coding and decoding
GB2004095.2 2020-03-20

Publications (2)

Publication Number Publication Date
TW202137765A true TW202137765A (zh) 2021-10-01
TWI827919B TWI827919B (zh) 2024-01-01

Family

ID=70546559

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109797A TWI827919B (zh) 2020-03-20 2021-03-18 用於視頻編碼及解碼的高階語法

Country Status (9)

Country Link
US (1) US20230115242A1 (zh)
EP (1) EP4122201A2 (zh)
JP (2) JP7434580B2 (zh)
KR (1) KR20220153071A (zh)
CN (1) CN115315949A (zh)
BR (1) BR112022018757A2 (zh)
GB (1) GB2593222A (zh)
TW (1) TWI827919B (zh)
WO (1) WO2021185929A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023104065A1 (en) * 2021-12-07 2023-06-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405699A (zh) * 2020-03-31 2023-07-07 北京达佳互联信息技术有限公司 用于在视频编解码中用信号通知语法元素的方法和装置
BR112022019661A2 (pt) * 2020-03-31 2022-11-29 Sharp Kk Aparelho de decodificação de vídeo, aparelho de codificação de vídeo, método de decodificação de vídeo e método de codificação de vídeo
US11659207B2 (en) * 2020-06-08 2023-05-23 Qualcomm Incorporated General constraints of syntax elements for video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
GB2488830B (en) * 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
ES2571863T3 (es) * 2012-01-17 2016-05-27 ERICSSON TELEFON AB L M (publ) Gestión de listas de imágenes de referencia
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
JP6572222B2 (ja) * 2014-01-07 2019-09-04 キヤノン株式会社 メディアファイルの生成方法、生成装置、及びプログラム
JP6824034B2 (ja) * 2014-03-31 2021-02-03 ソニー株式会社 画像復号装置および方法
CN112438048A (zh) * 2018-07-16 2021-03-02 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
CN117294862A (zh) * 2018-10-05 2023-12-26 Lg电子株式会社 解码设备、编码设备、存储介质及数据发送设备
WO2020141248A1 (en) * 2019-01-02 2020-07-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11394971B2 (en) * 2019-02-26 2022-07-19 Apple Inc. Image signal encoding/decoding method and device for same
WO2021145687A1 (ko) 2020-01-14 2021-07-22 엘지전자 주식회사 서브 픽처 및 픽처 헤더에 관한 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021170132A1 (en) 2020-02-28 2021-09-02 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods simplifying signalling slice header syntax elements
AR121127A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de información de imagen de referencia en un flujo de bits de video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023104065A1 (en) * 2021-12-07 2023-06-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
US20230115242A1 (en) 2023-04-13
TWI827919B (zh) 2024-01-01
CN115315949A (zh) 2022-11-08
KR20220153071A (ko) 2022-11-17
EP4122201A2 (en) 2023-01-25
BR112022018757A2 (pt) 2022-11-01
JP2024050804A (ja) 2024-04-10
WO2021185929A3 (en) 2022-01-27
JP2023516251A (ja) 2023-04-19
JP7434580B2 (ja) 2024-02-20
GB2593222A (en) 2021-09-22
WO2021185929A2 (en) 2021-09-23
GB202004095D0 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
TWI809336B (zh) 用於視頻編碼及解碼之高階語法
TWI812906B (zh) 用於視頻編碼及解碼之高階語法
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
TWI827919B (zh) 用於視頻編碼及解碼的高階語法
JP7345051B2 (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
US20230108509A1 (en) High level syntax for video coding and decoding
JP7497441B2 (ja) ビデオの符号化及び復号のための高レベルシンタックス
TWI842980B (zh) 用於視訊編碼及解碼的高階語法
TW202137763A (zh) 用於視頻編碼及解碼的高階語法
JP7383808B2 (ja) ビデオコーディング及び復号のための高レベルシンタックス