TWI809336B - 用於視頻編碼及解碼之高階語法 - Google Patents

用於視頻編碼及解碼之高階語法 Download PDF

Info

Publication number
TWI809336B
TWI809336B TW109144277A TW109144277A TWI809336B TW I809336 B TWI809336 B TW I809336B TW 109144277 A TW109144277 A TW 109144277A TW 109144277 A TW109144277 A TW 109144277A TW I809336 B TWI809336 B TW I809336B
Authority
TW
Taiwan
Prior art keywords
aps
syntax element
picture
decoding
header
Prior art date
Application number
TW109144277A
Other languages
English (en)
Other versions
TW202126049A (zh
Inventor
吉羅姆 拉契
派翠斯 昂諾
奈爾 奧德果
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202126049A publication Critical patent/TW202126049A/zh
Application granted granted Critical
Publication of TWI809336B publication Critical patent/TWI809336B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露相關於一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於數個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼包含剖析該圖片標頭;剖析至少一APS ID相關的語法元素,在相關於解碼工具之語法元素前;及使用該等語法元素以解碼該位元流。亦揭露相關的編碼方法、裝置及電腦程式。

Description

用於視頻編碼及解碼之高階語法
本發明係關於視頻編碼及解碼,且特別關於用於位元流中之高階語法。
近來,聯合視頻專家小組(JVET)(由MPEG及ITU-T研究群組16之VCEG所形成的合作小組)開始對於稱為多樣視頻編碼(VCC)的新視頻編碼標準工作。VVC之目標是提供在壓縮效能上超越現存HEVC標準之顯著增進(亦即,通常為之前的兩倍之多)且被完成於2020。主要目標應用及服務包括─但不限定於─360度且高動態範圍(HDR)視頻。總之,JVET係使用由獨立測試實驗室所執行的正式主觀測試以評估來自32個組織之回應。一些提議係展示通常為40%或更多(當相較於使用HEVC時)的壓縮效率增益。特別有效性被顯示於超高解析度(UHD)視頻測試材料上。因此,我們可預期顯著超越最終標準之目標50%的壓縮效能增益。 JVET探索模型(JEM)使用所有HEVC工具且已引入大量新工具。這些改變已使得對於位元流之結構的改變成為必要,且特別是對於高階語法,其可具有對位元流之整體位元率的影響。 對於高階語法之一顯著改變係「圖片標頭」之引入至位元流中。圖片標頭係指明將用於解碼一特定圖片(或框) 中之各切片的語法元素之標頭。因此圖片標頭被放置在相關於位元流中之切片的資料前,該等切片具有其本身的「切片標頭」。此結構係參考圖6而被更詳細地描述於下。 第16次會議之文件JVET-P0239:Geneva, CH, 1-11 2019年十月,標題‘AHG17:「圖片標頭」提議強制圖片標頭之引入至VVC中,且此被採用為多樣視頻編碼(草案7),上載為文件JVET_P2001。 然而,此標頭具有大量參數,其所有均需被剖析以使用任何特定解碼工具。 本發明係有關於一種為了簡化此剖析程序而對圖片標頭之結構的增進,其導致複雜度之減少而不會有編碼效能之任何退化。 特別地,藉由在圖片標頭之開始處設定相關於APS ID資訊之語法元素,這些元素可被首先剖析,其可排除剖析標頭之剩餘者的需求。 類似地,在切片標頭中有相關於APS ID資訊之語法元素的情況下,這些被設定在切片標頭之開始處。 在一範例中,提議移動APS ID相關的語法元素,在圖片標頭及切片標頭之早期階段。此修改之目的在於減少針對其需要追蹤圖片標頭及切片標頭中之APS ID以移除未使用APS的一些串流應用之剖析複雜度。所提議的修改對於BDR性能無影響。 此減少針對串流應用之剖析複雜度,其中APS ID資訊可為從標頭所需的所有資訊。其他的串流相關語法元素可為了相同原因而朝向標頭之頂部移動。 應理解:術語「開始」不表示各別標頭中之最先條目,因為在相關於APS ID資訊之語法元素前可有大量介紹性語法元素。詳細說明提出了各種範例,但一般性定義係其相關於APS ID資訊之語法元素被提供在相關於解碼工具之語法元素前。於一特定範例中,相關於ALF、LMCS及擴縮列表之APS ID的語法元素被設定緊接在poc_msb_val 語法元素後。
依據本發明之一態樣,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼包含從該標頭剖析;相關於APS ID解碼工具之至少一語法元素,在剖析專用以解碼解碼工具之語法元素前;及使用該等語法元素以解碼該位元流。 依據本發明之一態樣,有提供一種編碼視頻資料入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;該編碼包含利用相關於APS ID解碼工具之至少一語法元素來編碼該標頭,在專用以解碼解碼工具之語法元素前。 前述解碼之方法及編碼之方法態樣兩者的選擇性特徵係如下。 選擇性地,該標頭係包含當解碼一圖片中之多個切片時所將使用的語法元素之一圖片標頭。 選擇性地,該至少一APS ID相關的語法元素係在指示該目前圖片從未被使用為一參考圖片之一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在指示該目前圖片為一逐漸解碼刷新圖片之一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在指示解碼圖片緩衝器中之先前已解碼圖片中的一改變之一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在圖片類型資訊後。 選擇性地,該至少一APS ID相關的語法元素係在圖片參數集資訊後。 選擇性地,該標頭係一切片標頭。 選擇性地,該至少一APS ID相關的語法元素係在子圖片資訊後。 選擇性地,該至少一APS ID相關的語法元素係在指示該目前圖片之子圖片ID的一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在指示該切片之位址的一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在指示該切片中之磚的數目之一語法元素後。 選擇性地,該至少一APS ID相關的語法元素係在指示該目前切片之類型的一語法元素後。 選擇性地,專用以解碼解碼工具之該等語法元素包含低階工具參數。 選擇性地,該等低階工具參數包含一解塊過濾器參數。 選擇性地,該等低階工具參數包含一量化參數。 選擇性地,該等低階工具參數包含一SAO參數。 選擇性地,該等低階工具參數包含指示兩個顏色之殘餘樣本的符號具有反轉符號之一語法元素。 選擇性地,該等低階工具參數包含一移動參數。 選擇性地,該等低階工具參數包含一QP偏移參數。 選擇性地,該等低階工具參數包含一分割參數。 選擇性地,該等低階工具參數包含一參考圖片列表參數。 選擇性地,該等低階工具參數包含指示該目前圖片為一輸出圖片之一語法元素。 選擇性地,該等低階工具參數包含指示顏色平面指數之一語法元素。 選擇性地,該等低階工具參數包含一CABAC初始化旗標。 選擇性地,該等低階工具參數包含一共置預測參數。 選擇性地,該等低階工具參數包含一加權預測參數。 選擇性地,該至少一APS ID相關的語法元素包含APS ID LMCS。 選擇性地,該至少一APS ID相關的語法元素包含APS ID擴縮列表。 選擇性地,該APS擴縮列表含有用以致能LNST方法之擴縮矩陣的資訊。 選擇性地,該至少一APS ID相關的語法元素包含APS ID ALF列表。 選擇性地,該APS ALF列表含有相關於截割值之發信通知的資訊。 依據本發明之一態樣,有提供一種編碼視頻資料入一位元流中之方法,該位元流包含相應於數個圖片及APS傳輸之視頻資料;該編碼包含:將再同步化圖片之存在發信通知入該位元流中,基於該發信通知來重設APS ID以致一先前圖片之APS ID不被使用在一後續圖片中。 選擇性地,判定該圖片是否相關於一再同步化程序包含判定該圖片是否為一IRAP或GDR圖片。 依據本發明之一態樣,有提供一種用於解碼來自一位元流之視頻資料的解碼器,該位元流包含相應於一或多個切片之視頻資料, 其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼器包含:剖析機構,用於從該標頭剖析相關於APS ID解碼工具之至少一語法元素,在剖析專用於解碼工具之語法元素前;及解碼機構,用於使用該等語法元素以解碼該位元流。 依據本發明之一態樣,有提供一種用於編碼視頻資料入一位元流中之編碼器,該位元流包含相應於一或多個切片之視頻資料, 其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;該編碼器包含:編碼機構,用於利用相關於APS ID解碼工具之至少一語法元素來編碼該標頭,在專用以解碼解碼工具之語法元素前。 依據本發明之一又進一步態樣,有提供一種用於編碼視頻資料入一位元流中之編碼器,該位元流包含相應於數個圖片及APS傳輸之視頻資料;該編碼包含:發信通知機構,用於將再同步化圖片之存在發信通知入該位元流中,及重設機構,用於基於該發信通知來重設APS ID以致一先前圖片之APS ID不被使用在一後續圖片中。 在本發明之另一態樣中,有提供一種儲存一程式或指令之電腦可讀取儲存媒體,當由一可編程設備執行時該程式或指令致使該可編程設備履行依據上述方法態樣之任一者的一方法。 依據本發明之一態樣,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於數個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼包含剖析該圖片標頭;剖析至少一APS ID相關的語法元素,在相關於解碼工具之語法元素前;及使用該等語法元素以解碼該位元流。 此提供一種較簡單且較快速的程序,特別用於串流應用。 在本發明之一相關態樣中,有提供一種編碼視頻資料入一位元流中之方法,該位元流包含相應於數個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;該編碼包含利用APS ID相關的語法元素來編碼該圖片標頭,在相關於解碼工具之語法元素前。 選擇性地,該至少一APS ID相關的語法元素包含APS ID LMCS。 選擇性地,該至少一APS ID相關的語法元素包含APS ID擴縮列表。 選擇性地,該APS擴縮列表含有用以致能LNST方法之擴縮矩陣的資訊。 選擇性地,該至少一APS ID相關的語法元素包含APS ID ALF列表。較佳地,其中該APS ALF列表含有相關於截割值之發信通知的資訊。 為了減少剖析之複雜度,該至少一APS ID相關的語法元素可在其不取決於來自任何其他標頭之值的語法元素後。 選擇性地,該標頭係包含當解碼一圖片中之多個切片時所將使用的語法元素之一圖片標頭。 選擇性地,該至少一APS ID相關的語法元素係在以下之一或多者後:指示該目前圖片從未被使用為一參考圖片之一語法元素、指示該目前圖片為一逐漸解碼刷新圖片之一語法元素、指示解碼圖片緩衝器中之先前已解碼圖片中的一改變之一語法元素、圖片參數集資訊、子圖片資訊、或圖片類型資訊。 為了剖析之簡易,該至少一APS ID相關的語法元素可在固定長度語法元素後。如此容許該等APS ID相關的語法元素被首先剖析,因為它們總是在標頭中之相同位置中。 選擇性地,相關於解碼工具之該等語法元素包含低階工具參數。 選擇性地,該等低階工具參數包含以下之一或多者:一解塊過濾器參數、一量化參數、一SAO參數、指示兩個顏色之殘餘樣本的符號具有反轉符號之一語法元素、一移動參數、一QP偏移參數、一分割參數、一參考圖片列表參數、指示該目前圖片為一輸出圖片之一語法元素、或指示顏色平面指數之一語法元素。 選擇性地,該方法進一步包含判定該圖片是否相關於一再同步化程序;而假如是的話,該解碼包含重設該APS ID。 依據本發明之另一態樣,有提供一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於數個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼包含剖析該圖片標頭;基於該位元流中之一信號以判定該圖片是否相關於一再同步化程序,而假如是的話,該解碼包含重設該APS ID。 此提供針對再同步化框之使用的彈性,而同時簡化剖析程序。 選擇性地,相關於該APS ID之該APS不被使用在未來已解碼圖片之解碼程序中。 依據本發明之另一態樣,有提供一種編碼視頻資料入一位元流之方法,該位元流包含相應於數個圖片及APS傳輸之視頻資料;該編碼包含:將再同步化圖片之存在發信通知入該位元流中,基於該發信通知來重設APS ID以致一先前圖片之APS ID不被使用在一後續圖片中。 選擇性地,判定該圖片是否相關於一再同步化程序包含判定該圖片是否為一IRAP或GDR圖片。 選擇性地,該標頭係一切片標頭。 選擇性地,該至少一APS ID相關的語法元素係在以下之一或多者後:指示該目前切片之POC的一語法元素、指示該目前切片之子圖片ID的一語法元素、指示該切片之位址的一語法元素、指示該切片中之磚的數目之一語法元素、或指示該目前切片之類型的一語法元素。 選擇性地,相關於解碼工具之該等語法元素包含低階工具參數。 選擇性地該等低階工具參數包含以下之一或多者:一參考圖片列表參數、一CABAC初始化旗標、一共置預測參數、一加權預測參數、一QP參數或一SAO參數。 本發明之又進一步形態係有關於一種編碼器及一種解碼器,如用於各別地履行編碼及解碼之上述方法所界定者。 本發明之又進一步形態係有關於一種程式,其在執行時致使一種任何上述方法態樣之方法被履行。該程式可其自身提供或者可由載體媒體所攜載或在攜體媒體上運行。載體媒體可為非暫態,例如,儲存媒體,特別是電腦可讀取儲存媒體。載體媒體亦可為暫態,例如,信號或其他傳輸媒體。信號可經由任何適當網路來傳輸,包括網際網路。 本發明之進一步特徵在於其他獨立項及附屬項。 本發明之一態樣中的任何特徵可被應用至本發明之其他態樣,以任何適當的組合。特別地,方法態樣可被應用至設備態樣,反之亦然。 再者,硬體中所實施的特徵可被實施於軟體中,反之亦然。對於文中之軟體及硬體特徵的任何提及應據此被建構。 如文中所述之任何設備特徵亦可被提供為方法特徵,反之亦然。如文中所使用,手段功能特徵可被替代地表達以其相應結構,諸如適當地編程的處理器及相關記憶體。 亦應理解:在本發明之任何態樣中所描述及定義的各種特徵之特定組合可被獨立地實施及/或供應及/或使用。
圖1係相關於高效率視頻編碼(High Efficiency Video Coding (HEVC))視頻標準中所使用的編碼結構。視頻序列1係由一連串數位影像i所組成。各此等數位影像係由一或更多矩陣所表示。矩陣係數代表像素。 該序列之影像2可被劃分為切片3。切片可於某些例子中構成完整影像。這些切片被劃分為無重疊編碼樹單元(CTU)。編碼樹單元(CTU)是高效率視頻編碼(HEVC)視頻標準之基本處理單元且觀念上其結構係相應於數種先前視頻標準中所使用的巨集區塊單元。CTU亦有時被稱為最大編碼單元(LCU)。CTU具有亮度及色度成分部分,其成分部分之各者被稱為編碼樹區塊(CTB)。這些不同顏色成分未顯示於圖1中。 CTU通常係大小64 x 64像素。各CTU可接著使用四元樹分解而被疊代地劃分為較小的可變大小編碼單元(CU)5。 編碼單元為基本編碼元件且係由稱為預測單元(PU)及變換單元(TU)之兩種子單元所構成。PU或TU之最大大小係等於CU大小。預測單元係相應於針對像素值之預測的CU之分割。CU之各種不同分割為PU是可能的(如606所示),藉由包括分割為4個方形PU及兩不同的分割為2個矩形PU。變換單元為基本單元,其係接受使用DCT之空間變換。CU可根據四元樹表示607而被分割為TU。 各切片被嵌入一個網路抽象化層(NAL)單元中。此外,視頻序列之編碼參數被儲存在專屬NAL單元(稱為參數集)中。在HEVC及H.264/AVC中,兩種參數集NAL單元被利用:第一,序列參數集(SPS)NAL單元,其係收集在整個視頻序列期間未改變的所有參數。通常,其係處置編碼輪廓、視頻框之大小及其他參數。第二,圖片參數集(PPS)NAL單元包括其可從一個影像(或框)改變至序列中之另一個的參數。HEVC亦包括視頻參數集(VPS)NAL單元,其含有描述位元流之整體結構的參數。VPS是一種以HEVC定義的新類型參數集,且應用於位元流之所有層。一層可含有多數時間子層,且所有版本1的位元流被限制於單一層。HEVC具有用於可擴縮性及多重視角之分層延伸,且這些將致能多數層,具有向後相容的版本1基礎層。 圖2繪示一資料通訊系統,其中本發明之一或更多實施例可被實施。資料通訊系統包含傳輸裝置(於此情況下為伺服器201),其可操作以經由資料通訊網路200而傳輸資料流之資料封包至接收裝置(於此情況下為客戶終端202)。資料通訊網路200可為廣域網路(WAN)或區域網路(LAN)。此一網路可為(例如)無線網路(Wifi / 802.11a或b或g)、乙太網路、網際網路或由數個不同網路所組成的混合網路。於本發明之特定實施例中,資料通訊系統可為數位電視廣播系統,其中伺服器201傳送相同的資料內容至多數客戶。 由伺服器201所提供的資料流204可由其表示視頻及音頻資料之多媒體資料所組成。音頻及視頻資料流可(於本發明之一些實施例中)由伺服器201個別地使用麥克風及相機來擷取。於一些實施例中,資料流可被儲存在伺服器201上或者由伺服器201從另一資料提供器所接收、或者被產生在伺服器201上。伺服器201被提供有一用以編碼視頻及音頻流之編碼器,特別是用以提供用於傳輸之壓縮位元流,其為作為針對編碼器之輸入的資料呈現之更簡潔的表示。 為了獲得已傳輸資料之品質相對於已傳輸資料之量的較佳比例,視頻資料之壓縮可(例如)依據HEVC格式或H.264/AVC格式。 客戶202接收已傳輸位元流並解碼已重建位元流以將視頻影像再生於顯示裝置上並由揚聲器再生音頻資料。 雖然串流情境被考量於圖2之範例中,但應理解:於本發明之一些實施例中,介於編碼器與解碼器之間的資料通訊可使用媒體儲存裝置(諸如光碟)來履行。 於本發明之一或更多實施例中,視頻影像被傳輸以其代表補償偏移之資料以利應用至影像之已重建像素來提供已過濾像素於最終影像中。 圖3概略地繪示處理裝置300,其係組態成實施本發明之至少一實施例。處理裝置300可為一種裝置,諸如微電腦、工作站或輕型可攜式裝置。裝置300包含一連接至以下的通訊匯流排313: - 中央處理單元311,諸如微處理器,標示為CPU; - 唯讀記憶體306,標示為ROM,用以儲存供實施本發明之電腦程式; - 隨機存取記憶體312,標示為RAM,用以儲存本發明之實施例的方法之可執行碼、以及暫存器,經調適成記錄用以實施編碼數位影像的序列之方法及/或解碼位元流之方法所需的變數和參數,依據本發明之實施例;及 - 通訊介面302,連接至通訊網路303,待處理數位資料係透過該通訊網路來傳輸或接收。 選擇性地,設備300亦可包括以下組件: - 資料儲存機構304(諸如硬碟),用以儲存電腦程式及資料,該等電腦程式係用以實施本發明之一或更多實施例的方法,該資料係在本發明之一或更多實施例的實施期間所使用或產生的; - 碟片306之碟片驅動305,該碟片驅動經調適成從碟片306讀取資料或將資料寫至該碟片上; - 螢幕309,用以顯示資料及/或作用為與使用者之圖形介面,藉由鍵盤310或任何其他指向機構。 設備300可被連接至各種周邊,諸如(例如)數位相機320或麥克風308,各被連接至輸入/輸出卡(未顯示)以供應多媒體資料至設備300。 通訊匯流排提供介於設備300中所包括的或連接至該設備300的各種元件之間的通訊及可交互操作性。匯流排之表示是非限制性的;且特別地,中央處理單元可操作以將指令傳遞至設備300之任何元件,直接地或者藉由設備300之另一元件。 碟片306可被取代以任何資訊媒體,諸如(例如)光碟(CD-ROM)(可寫入或不可寫入)、ZIP碟或記憶卡;及(以一般性術語)藉由資訊儲存機構,其可由微電腦或由微處理器所讀取、被集成(或不集成)入該設備、可能為可移除的且經調適成儲存一或更多程式,該等程式的執行係致能編碼數位影像之序列的方法及/或解碼位元流的方法,依據待實施之本發明。 可執行碼可被儲存於唯讀記憶體306中、於硬碟304上或者於可移除數位媒體(諸如,例如碟片306,如先前所述)上。依據變體,程式之可執行碼可藉由通訊網路303來接收,經由介面302,以被儲存於設備300(在被執行前)的儲存機構(諸如硬碟304)之一中。 中央處理單元311經調適成依據本發明以控制並指導程式或多數程式之指令或軟體碼部分的執行,該些指令係儲存於前述儲存機構之一中。在開機時,其被儲存於非揮發性記憶體(例如在硬碟304上或者在唯讀記憶體306中)中之程式或多數程式被轉移入隨機存取記憶體312,其接著含有程式或多數程式之可執行碼、以及用以儲存供實施本發明所需之變數和參數的暫存器。 於此實施例中,該設備為可編程設備,其係使用軟體以實施本發明。然而,替代地,本發明可被實施以硬體(例如,以特定應用積體電路或ASIC之形式)。 圖4繪示一種依據本發明之至少一實施例的編碼器之方塊圖。編碼器係由已連接模組所表示,各模組經調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種方法之至少一相應步驟,該方法係依據本發明之一或更多實施例以實施編碼影像序列之影像的至少一實施例。 數位影像i 0至i n 401之原始序列係由編碼器400接收為輸入。各數位影像係由一組樣本(已知為像素)所表示。 位元流410係由編碼器400所輸出,在編碼程序之實施後。位元流410包含複數編碼單元或切片,各切片包含切片標頭及切片本體,該切片標頭係用以傳輸其用來編碼該切片之編碼參數的編碼值,而該切片本體包含已編碼視頻資料。 輸入數位影像i 0至i n 401係由模組402劃分為像素之區塊。該等區塊係相應於影像部分且可有可變大小(例如,4x4、8x8、16x16、32x32、64x64、128x128像素且數個矩形區塊大小亦可被考量)。編碼模式係針對各輸入區塊來選擇。編碼模式之兩個家族被提供:基於空間預測編碼之編碼模式(內預測)、及基於時間預測之編碼模式(間編碼、合併、SKIP)。可能的編碼模式被測試。 模組403係實施內預測程序,其中待編碼的給定區塊係藉由預測子來預測,該預測子係從待編碼的該區塊附近之像素所計算。選定的內預測子以及介於給定區塊與其預測子之間的差異之指示被編碼以提供殘餘,假如內編碼被選擇的話。 時間預測係由移動估計模組404及移動補償模組405來實施。首先來自一組參考影像416中的參考影像被選擇,且該參考影像之一部分(亦稱為參考區域或影像部分,其為針對待編碼的給定區塊之最接近區域)係由移動估計模組404所選擇。移動補償模組405接著使用該選定區域以預測待編碼的區塊。介於選定參考區域與給定區塊(亦稱為殘餘區塊)之間的差異係由移動補償模組405所計算。選定參考區域係由移動向量所指示。 因此,於兩情況(空間及時間預測)下,殘餘係藉由從原始區塊減去該預測來計算。 於藉由模組403所實施的INTRA預測中,預測方向被編碼。於時間預測中,至少一移動向量被編碼。在由模組404、405、416、418、417所實施的間預測中,用以識別此移動向量之至少一移動向量或資料係針對時間預測來編碼。 相對於移動向量及殘餘區塊之資訊被編碼,假如間預測被選擇的話。為了進一步減少位元率,假設其移動為同質的,則移動向量係藉由相關於移動向量預測子之差異而被編碼。一組移動資訊預測子之移動向量預測子係由移動向量預測及編碼模組417從移動向量場418獲得。 編碼器400進一步包含選擇模組406,用於藉由應用編碼成本準則(諸如率-失真準則)來選擇編碼模式。為了進一步減少冗餘,由變換模組407對殘餘區塊應用變換(諸如DCT),所獲得的已變換資料接著係藉由量化模組408而被量化且藉由熵編碼模組409而被熵編碼。最後,目前正被編碼之區塊的已編碼殘餘區塊被插入位元流410中。 編碼器400亦履行已編碼影像之解碼以產生用於後續影像之移動估計的參考影像。此致能編碼器及解碼器接收位元流以具有相同的參考框。反量化模組411履行已量化資料之反量化,接續以藉由反變換模組412之反變換。反內預測模組413使用預測資訊以判定應使用哪個預測子於給定區塊,而反移動補償模組414實際地將其由模組412所獲得的殘餘加至從該組參考影像416所獲得的參考區域。 接著由模組415應用後過濾以過濾像素之已重建框。於本發明之實施例中,SAO迴路過濾器被使用,其中補償偏移被加至已重建影像之已重建像素的像素值。 圖5繪示其可被用以從編碼器接收資料的解碼器60之方塊圖,依據本發明之實施例。解碼器係由已連接模組所表示,各模組經調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種由解碼器60所實施之方法的相應步驟。 解碼器60接收一包含編碼單元之位元流61,各編碼單元係由標頭及本體所組成,該標頭含有關於編碼參數之資訊而該本體含有已編碼視頻資料。VVC中之位元流的結構係參考圖6而被更詳細地描述於下。如相關於圖4所解釋,已編碼視頻資料被熵編碼,而移動向量預測子的指標被編碼(針對給定區塊)於預定數目的位元上。所接收的已編碼視頻資料係由模組62所熵解碼。殘餘資料接著由模組63所去量化,且接著由模組64應用反變換以獲得像素值。 指示編碼模式之模式資料亦被熵解碼;且根據該模式,INTRA類型解碼或INTER類型解碼被履行在影像資料之已編碼區塊上。 在INTRA模式之情況下,INTRA預測子係由內反預測模組65基於位元流中所指明的內預測模式來判定。 假如該模式為INTER,則移動預測資訊被提取自該位元流以找出由編碼器所使用的參考區域。移動預測資訊係由參考框指標及移動向量殘餘所組成。移動向量預測子被加至移動向量殘餘以由移動向量解碼模組70獲得移動向量。 移動向量解碼模組70將移動向量解碼應用於其由移動預測所編碼的各目前區塊。一旦移動向量預測子之指標(針對目前區塊)已被獲得,則與目前區塊相關聯的移動向量之實際值可被解碼並用以由模組66應用反移動補償。由已解碼移動向量所指示之參考影像部分被提取自參考影像68以應用反移動補償66。移動向量場資料71被更新以已解碼移動向量來用於後續已解碼移動向量之反預測。 最後,獲得已解碼區塊。由後過濾模組67應用後過濾。已解碼視頻信號69最後由解碼器60所提供。 圖6繪示範例編碼系統VVC中之位元流的組織,如在JVET_P2001-VE中所述。 依據VVC編碼系統之位元流61係由語法元素及經編碼資料之依序序列所組成。語法元素及經編碼資料被放置入網路抽象化層(NAL)單元601-608中。有不同的NAL單元類型。網路抽象化層提供用以將位元流囊封入不同協定的能力,如RTP/IP,其代表即時協定/網際網路協定、ISO基礎媒體檔案格式等等。網路抽象化層亦提供用於封包損失恢復力的框架。 NAL單元被劃分成視頻編碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元含有實際經編碼視頻資料。非VCL NAL單元含有額外資訊。此額外資訊可為用於經編碼視頻資料之解碼所需的參數或者為可提升經解碼視頻資料之可用性的補充資料。NAL單元606相應於切片並構成位元流之VCL NAL單元。 不同NAL單元601-605相應於不同參數集,這些NAL單元係非VCL NAL單元。解碼器參數集 (DPS) NAL單元301含有其針對給定解碼程序係恆定的參數。視頻參數集 (VPS) NAL單元602含有針對完整視頻(及因此完整位元流)所界定的參數。DPS NAL單元可界定比VPS中之參數更靜態的參數。換言之,DPS之參數比VPS之參數更不頻繁地改變。 序列參數集(SPS) NAL單元603含有針對一視頻序列所界定的參數。特別地,SPS NAL單元可界定子圖片佈局及視頻序列之相關參數。與各子圖片相關聯的參數指明其施加至子圖片之編碼約束。特別地,其包含一旗標,該旗標指示其介於子圖片之間的時間預測被限制於來自相同子圖片之資料。另一旗標可致能或除能迴路過濾器橫跨子圖片邊界。 圖片參數集(PPS) NAL單元604含有針對一圖片或一圖片群組所界定的參數。調適參數集(APS) NAL單元605含有用於迴路過濾器之參數,通常經調適性迴路過濾器(ALF)或整形器模型(或具有色度擴縮(LMCS)模型之亮度映射)或在切片階所使用的擴縮矩陣。 PPS之語法(如在VVC之目前版本中所提議)包含語法元素,其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。 PPS含有語法元素,其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區,所以能夠判定該組切片、磚之部分或磚,其屬於來自參數集NAL單元之子圖片。PPS如APS具有ID機制,以限制所傳輸之相同PPS的量。 PPS與圖片標頭之間的主要差異係其傳輸,PPS通常被傳輸給圖片群組,相較於PH被系統地傳輸給各圖片。因此PPS(相較於PH)含有其可針對數個圖片係恆定的參數。 位元流亦可含有補充增強資訊(SEI) NAL單元(未表示在圖6中)。在位元流中之這些參數集的發生週期係可變的。針對整個位元流所界定的VPS可在位元流中僅發生一次。反之,針對切片所界定的APS可針對各圖片中之各切片發生一次。實際上,不同切片可仰賴相同APS,而因此通常有比各圖片中之切片更少的APS。特別地,APS被界定在圖片標頭中。然而,ALP APS仍可被界定在切片標頭中。 存取單元定界符(AUD) NAL單元607分離兩個存取單元。存取單元係一組NAL單元,其可包含具有相同解碼時戳之一或多個經編碼圖片。選擇性NAL單元僅含有一個語法元素在目前VVC規格中:pic_type,此語法元素指示其在AU中之經編碼圖片的所有切片之slice_type值。假如pic_type被設為等於0,則AU僅含有內切片。假如等於1,則其含有P及I切片。假如等於2,則其含有B、P或內切片。 此NAL單元僅含有一個語法元素,pic-type。 在JVET-P2001-vE中,pic_type 被界定如下: 「pic_type 指示其在含有AU定界符NAL單元的AU中之經編碼圖片的所有切片之slice_type 值為pic_type 之給定值的表2中所列出之集的成員。pic_type 之值應等於0、1或2,在符合此規格之此版本的位元流中。pic_type 之其他值被保留以供由ITU‑T | ISO/IEC之未來使用。符合此規格之此版本的解碼器應忽略pic_type 之保留值」。 PH NAL單元608係一圖片標頭NAL單元,其係群集一個經編碼圖片之一組切片所共有的參數。圖片可參考一或多個APS以指示AFL參數、整形器模型及擴縮矩陣(由圖片之切片所使用)。 VCL NAL單元606之各者含有切片。切片可相應於整個圖片或子圖片、單一磚或複數磚或磚之片段。例如,圖3之切片含有數個磚620。切片係由切片標頭610及原始位元組序列酬載RBSP 611(其含有經編碼成編碼區塊640之經編碼像素資料)。 PPS之語法(如在VVC之目前版本中所提議)包含語法元素,其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。 PPS含有語法元素,其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區,所以能夠判定該組切片、磚之部分或磚,其屬於來自參數集NAL單元之子圖片。NAL 單元切片 NAL單元切片層含有切片標頭及切片資料,如在扛表3中所示。 APS 調適參數集(APS)NAL單元605被界定在顯示語法元素之 4 中。 如 4 中所描繪,有由aps_params_type語法元素所提供之三個可能類型的APS: ●    ALF_AP:針對ALF參數 ●    針對LMCS參數之LMCS_APS ●    針對擴縮列表相對參數之SCALING_APS ALF APS ALF參數被描述在調適性迴路過濾器資料語法元素(表5)中。首先,兩個旗標被專用以指明ALF過濾器是否被傳輸給亮度及/或給色度。假如亮度過濾器旗標被致能,則另一旗標被解碼以得知截割值是否被發信通知(alf_luma_clip_flag )。接著經發信通知之過濾器的數目係使用alf_luma_num_filters_signalled_minus1語法元素而被解碼。假如需要的話,代表ALF係數差量之語法元素「alf_luma_coeff_delta_idx 」係針對各經致能過濾器而被解碼。接著各過濾器之各係數的絕對值及符號被解碼。 假如alf_luma_clip_flag 被致能,則各經致能過濾器之各係數的截割指數被解碼。 以相同方式,ALF色度係數被解碼(假如需要的話)。 亮度映射及色度擴縮兩者之 LMCS 語法元素 以下的表6提供LMCS語法元素,其被編碼以調適參數集(APS)語法結構,當aps_params_type參數被設為等於1 (LMCS_APS)時。最多四個LMCS APS可被用於經編碼視頻序列,然而僅單一LMCS APS可被用於給定圖片。 這些參數被用以建立亮度之前向和反向映射功能以及色度之擴縮功能。 擴縮列表 APS 擴縮列表提供用以更新用於量化之量化矩陣的可能性。在VVC中,此擴縮矩陣係在APS中,如在擴縮列表資料語法元素(表7)中所述。此語法指明擴縮矩陣是否被用於LFNST(低頻不可分離變換)工具,基於旗標scaling_matrix_for_lfnst_disabled_flag 。接著用以建立擴縮矩陣所需的語法元素被解碼(scaling_list_copy_mode_flag scaling_list_pred_mode_flag scaling_list_pred_id_delta, scaling_list_dc_coef scaling_list_delta_coef )。 圖片標頭 圖片標頭被傳輸在各圖片之開始時。圖片標頭表語法目前含有82個語法元素及約60個測試條件或迴路。此相較於該標準之先前草案中之先前標頭係極大的。所有這些參數之完整描述可被發現在JVET_P2001-VE中。表8顯示目前圖片標頭解碼語法中之這些參數。在此經簡化表版本中,一些語法元素已被群集以便於閱讀。 其可被解碼之相關語法元素係有關於: ●    此圖片之使用、參考框與否 ●    輸出框 ●    子圖片使用(假如需要的話) ●    參考圖片列表(假如需要的話) ●    顏色平面(假如需要的話) ●    分割更新(假如撤銷旗標被致能的話) ●    差量QP參數(假如需要的話) ●    移動資訊參數(假如需要的話) ●    ALF參數(假如需要的話) ●    SAO參數(假如需要的話) ●    量化參數(假如需要的話) ●    LMCS參數(假如需要的話) ●    擴縮列表參數(假如需要的話) ●    圖片標頭延伸(假如需要的話) 前面三個旗標(具有固定長度)為non_reference_picture_flag gdr_pic_flag no_output_of_prior_pics_flag ,其提供位元流內部之相關於圖片特性的資訊。 於是假如gdr_pic_flag 被致能,則recovery_poc_cnt 被解碼。 PPS參數「PS_parameters() 」設定PPS ID及一些其他資訊(假如需要的話)。其含有三個語法元素: 子圖片參數Subpic_parameter() 被致能,當其被致能在SPS時以及假如子圖片id發信通知被除能的話。其亦含有關於虛擬邊界的一些資訊。針對子圖片參數,八個語法元素被界定: 接著,顏色平面id「colour_plane_id 」被解碼,假如該序列含有分離的顏色平面的話,接續以pic_output_flag (假如存在的話)。 接著參考圖片列表之參數被解碼「reference_picture_list_parameters() 」,其含有以下語法元素: 假如需要的話,相關於參考圖片列表結構「ref_pic_list_struct 」(其含有八個其他語法元素)之語法元素的另一群組亦可被解碼。 該組分割參數「partitioning_parameters() 」被解碼(假如需要的話)且含有以下13個語法元素: 在這些分割參數後,四個差量QP語法元素「Delta_QP_Parameters() 」可被解碼(假如需要的話): pic_joint_cbcr_sign_flag 被接著解碼(假如需要的話),接續以該組3個SAO語法元素「SAO_parameters() 」: 接著該組ALF APS id語法元素被解碼,假如ALF被致能在SPS階的話。 首先pic_alf_enabled_present_flag 被解碼以判定pic_alf_enabled_flag 是否應被解碼。假如pic_alf_enabled_flag 被致能,則ALF被致能於目前圖片之所有切片。 假如ALF被致能,則亮度之ALF APS id的量被解碼,使用pic_num_alf_aps_ids_luma 語法元素。針對各APS id,亮度之APS id值被解碼「pic_alf_aps_id_luma 」。 針對色度,語法元素pic_alf_chroma_idc 被解碼以判定ALF是否被致能於色度、僅於Cr、或者僅於Cb。假如其被致能,則色度之ALF APS Id的值被解碼,使用pic_alf_aps_id_chroma 語法元素。 在該組ALF APS id參數後,圖片標頭之量化參數被解碼(假如需要的話): 該組三個解塊過濾器語法元素「deblocking_filter_parameters() 」被接著解碼(假如需要的話): 該組LMCS APS ID語法元素被解碼,在假如LMCS被致能在SPS的話後。首先pic_lmcs_enabled_flag 被解碼以判定LMCS是否被致能於目前圖片。假如LMCS被致能,則Id值為經解碼pic_lmcs_aps_id 。針對色度,僅pic_chroma_residual_scale_flag 被解碼以致能或除能用於色度之方法。 該組擴縮列表APS ID被接著解碼,假如擴縮列表被致能在SPS階的話。pic_scaling_list_present_flag 被解碼以判定擴縮矩陣是否被致能於目前圖片。且APS ID (pic_scaling_list_aps_id )之值被接著解碼。 最後,圖片標頭延伸語法元素被解碼(假如需要的話)。 切片標頭 切片標頭被傳輸在各切片之開始時。切片標頭表語法目前含有57個語法元素。此相較於該標準之先前版本中之先前標頭係極大的。所有切片標頭參數之完整描述可被發現在JVET_P2001-VE中。表9顯示目前圖片標頭解碼語法中之這些參數。在此經簡化表版本中,一些語法元素已被群集以使該表更為可讀。 首先slice_pic_order_cnt_lsb 被解碼以判定目前切片之POC。 接著,slice_subpic_id (假如需要的話)被解碼以判定目前切片之子圖片id。接著slice_address 被解碼以判定目前切片之位址。num_tiles_in_slice_minus1 被接著解碼,假如目前圖片中之磚的數目大於一的話。 接著slice_type 被解碼。 一組參考圖片列表參數被解碼;這些係類似於圖片標頭中之那些。 當切片類型不是內且假如需要的話,cabac_init_flag 及/或collocated_from_l0_flag 以及collocated_ref_idx 被解碼。這些資料係相關於CABAC編碼及經共置的移動向量。 以相同方式,當切片類型不是內時,則加權預測之參數pred_weight_table( ) 被解碼。 在slice_quantization_parameters() 中,slice_qp_delta 被系統性地解碼在QP偏移之其他參數前(假如需要的話)slice_cb_qp_offset slice_cr_qp_offset slice_joint_cbcr_qp_offset cu_chroma_qp_offset_enabled_flag SAO之經致能旗標被解碼在針對亮度及色度兩者:slice_sao_luma_flag, slice_sao_chroma_flag ,假如其被發信通知在圖片標頭中的話。 接著APS ALF ID被解碼(假如需要的話),具有如在圖片標頭中之類似資料限制。 接著解塊過濾器參數被解碼在其他資料(slice_deblocking_filter_parameters() )前。 如在圖片標頭中,ALF APS ID被設定在切片標頭之末端處。圖片標頭中之 APS 如在表8中所描繪,三個工具ALF、LMCS及擴縮列表之APS ID資訊係在圖片標頭語法元素上之末端處。串流應用 一些串流應用僅提取該位元流之某些部分。這些提取可為空間(如子圖片)或時間(視頻序列之子部分)。接著這些經提取部分可與其他位元流合併。一些其他者係藉由僅提取一些框來減少框率。通常,這些串流應用之主要目的係使用容許的頻寬之最大值來產生最大品質給末端使用者。 在VVC中,APS ID編號已被限制以利框率減少,使得一框之新APS id編號無法被用於在時間階層中之上階處的框。然而,針對提取該位元流之部分的串流應用,APS ID需被追蹤以判定哪個APS應被保持於位元流之子部分,因為框(如IRAP)不重設APS ID之編號。LMCS( 具有色度擴縮之亮度映射 ) 具有色度擴縮之亮度映射(LMCS)技術係一種應用在一區塊上之樣本值轉換方法,在應用迴路過濾器於視頻解碼器(如VVC)中前。 LMCS可被劃分成兩個子工具。第一個被應用在亮度區塊上而第二個子工具被應用在色度區塊上,如以下所述: 1)第一子工具係基於調適性分段式線性模型之亮度成分的迴路中映射。亮度成分之迴路中映射調整輸入信號之動態範圍,藉由重新分佈碼字橫跨動態範圍以增進壓縮效率。亮度映射係利用前向映射功能入「映射域」及相應反向映射功能以回到「輸入域」中。 2)第二子工具係相關於色度成分,其中亮度相依的色度殘餘擴縮被應用。色度殘餘擴縮被設計以補償介於亮度信號與其相應色度信號之間的相互作用。色度殘餘擴縮係取決於目前區塊之頂部及/或左側經重建相鄰亮度樣本的平均值。 就像視頻編碼器中之大部分其他工具(如VVC),LMCS可被致能/除能在序列階(使用SPS旗標)。色度殘餘擴縮是否被致能亦被發信通知在切片階。假如亮度映射被致能的話,一額外旗標被發信通知以指示亮度相依的色度殘餘擴縮是否被致能。當亮度映射不被使用時,亮度相依的色度殘餘擴縮被完全除能。此外,亮度相依的色度殘餘擴縮總是被除能於其大小小於或等於4之色度區塊。 圖7顯示如以上針對亮度映射子工具所解釋之LMCS的原理。圖7中之陰影區塊係新LMCS功能性區塊,包括亮度信號之前向及反向映射。重要的是注意:當使用LMCS時,一些解碼操作被應用於「映射域」。這些操作係由圖7中之虛線的區塊所表示。其通常相應於反量化、反變換、亮度內預測及重建步驟,其在於以亮度殘餘加入亮度預測。反之,圖7中之實線區塊指示解碼程序被應用於原始(亦即,無映射)域之何處,且此包括迴路過濾(諸如解塊、ALF、和SAO)、移動補償預測、及已解碼圖片之儲存為參考圖片(DPB)。 圖8顯示如圖7之類似圖形,但此次此係針對LMCS工具之色度擴縮子工具。圖8中之陰影區塊係新LMCS功能性區塊,其包括亮度相依的色度擴縮程序。然而,在色度中,有一些相較於亮度情況之重要差異。於此僅反量化及反變換(由虛線區塊所表示)被履行在色度樣本之「映射域」中。色度預測、移動補償、迴路過濾之所有其他步驟被履行在原始域中。如圖8中所示,僅有一擴縮程序且沒有如亮度映射之前向及反向處理。藉由使用分段式線性模型的亮度映射。 亮度映射子工具係使用分段式線性模型。其表示分段式線性模型將輸入信號動態範圍分離成16個相等的子範圍;且針對各子範圍,其線性映射參數係使用指定給該範圍之碼字的數目來表達。亮度映射之語意 語法元素lmcs_min_bin_idx 指明利用色度擴縮(LMCS)建構程序而用在亮度映射中之最小分格指標。lmcs_min_bin_idx 之值應在0至15(包括)之範圍中。 語法元素lmcs_delta_max_bin_idx 指明介於15與利用色度擴縮建構程序而用在亮度映射中的最大分格指標LmcsMaxBinIdx 之間的差量值。lmcs_delta_max_bin_idx 之值應在0至15(包括)之範圍中。LmcsMaxBinIdx 之值被設為等於15-lmcs_delta_max_bin_idxLmcsMaxBinIdx 之值應大於或等於lmcs_min_bin_idx 。 語法元素lmcs_delta_cw_prec_minus1 加1係指明用於語法lmcs_delta_abs_cw[ i ] 之表示的位元之數目。 語法元素lmcs_delta_abs_cw[ i ] 係指明第i分格之絕對差量碼字值。 語法元素lmcs_delta_sign_cw_flag[ i ] 係指明變數lmcsDeltaCW[ i ] 之符號。當lmcs_delta_sign_cw_flag[ i ] 不存在時,其被推論為等於0。亮度映射之 LMCS 中間變數計算 為了應用前向及反向亮度映射處理,一些中間變數及資料陣列是需要的。 首先,變數OrgCW被導出如下: 接著,變數lmcsDeltaCW[ i ],其中i = lmcs_min_bin_idx .. LmcsMaxBinIdx,被計算如下: 新變數lmcsCW[ i ]被導出如下: -     針對i = 0.. lmcs_min_bin_idx-1,lmcsCW[ i ]被設為等於0。 -     針對i = lmcs_min_bin_idx..LmcsMaxBinIdx,以下適用: lmcsCW[ i ]之值應在(OrgCW>>3)至(OrgCW<<3-1)(包括)之範圍中。 -     針對i = LmcsMaxBinIdx + 1..15,lmcsCW[ i ]被設為等於0。 變數InputPivot[ i ],其中i = 0..16,被導出如下: 變數LmcsPivot[ i ](其中i = 0..16)、變數ScaleCoeff[ i ]及InvScaleCoeff[ i ](其中i = 0..15)被計算如下: 前向亮度映射 如由圖7所示,當LMCS被應用於亮度時,稱為predMapSamples[i][j] 之亮度再映射樣本被獲取自預測樣本predSamples[ i ][ j ]predMapSamples[i][j] 被計算如下: 首先,指標idxY被計算自預測樣本predSamples[ i ][ j ] ,在位置(i, j)處。 接著,predMapSamples[i][j]係藉由使用段落0之中間變數idxY、LmcsPivot[ idxY ]及InputPivot[ idxY ]而被導出如下: 亮度重建樣本 重建程序被獲得自預測亮度樣本predMapSample[i][j] 及殘餘亮度樣本resiSamples[i][j] 。 經重建亮度圖片樣本recSamples[ i ][ j ] 係藉由將predMapSample[i][j] 加至resiSamples[i][j] 而被簡單地獲得如下: 在此上述關係式中,Clip 1函數係截割函數,用以確保經重建樣本係介於0與1<< BitDepth -1之間。反向亮度映射 當依據圖7以應用反向亮度映射時,以下操作被應用在處理中之目前區塊的各樣本recSample[i][j] 上: 首先,指標idxY被計算自重建樣本recSamples[ i ][ j ] ,在位置(i, j)處。 反向映射亮度樣本invLumaSample[i][j]係基於下述而被導出如下: 截割操作被接著執行以獲得最後樣本: 色度擴縮 色度擴縮之 LMCS 語意 6 中之語法元素lmcs_delta_abs_crs 係指明變數mcsDeltaCrs 之絕對碼字值。lmcs_delta_abs_crs 之值應在0至7(包括)之範圍中。當不存在時,lmcs_delta_abs_crs 之值被推論為等於0。 語法元素mcs_delta_sign_crs_flag 指明變數lmcsDeltaCrs 之符號。當不存在時,llmcs_delta_sign_crs_flag 被推論為等於0。色度擴縮之 LMCS 中間變數計算 為了應用色度擴縮程序,一些中間變數是需要的。 變數lmcsDeltaCrs 被導出如下: 變數ChromaScaleCoeff[ i ] ,其中i = 0…15,被導出如下: 色度擴縮程序 在第一步驟中,變數invAvgLuma 被導出以計算在目前相應色度區塊周圍之經重建亮度樣本的平均亮度值。平均亮度被計算自圍繞相應色度區塊之左側及頂部亮度區塊。 假如無樣本可得,則變數invAvgLuma 被設定如下: 基於段落0之中間陣列LmcsPivot[  ] ,變數idxYInv 被接著導出如下: 變數varScale被導出如下: 當變換被應用於目前色度區塊上時,經重建色度圖片樣本陣列recSamples 被導出如下: 假如無變換已被應用於目前區塊,則以下適用: 編碼器考量 LMCS編碼器之基本原理係首先將更多碼字指派至其中那些動態範圍段具有比平均方差更低的碼字之範圍。在此之替代公式中,LMCS之主要目標係指派較少的碼字至其具有比平均方差更高的碼字之那些動態範圍段。以此方式,圖片之平滑區域將被編碼以比平均更多的碼字,且反之亦然。 其被儲存在APS中之LMCS的所有參數(參見 6 )被判定在編碼器側。LMCS編碼器演算法係基於局部亮度方差之評估,且依據上述基本原理以最佳化LMCS參數之判定。該最佳化被接著進行以獲得給定區塊之最終經重建樣本的最佳PSNR矩陣。 如以下將討論,剖析複雜度可藉由在切片/圖片標頭之開始處設定APS ID資訊而被減少。此容許相關於APS ID之語法元素被剖析在相關於解碼工具之語法元素前。 圖片標頭 以下描述提供針對圖片標頭之語法元素的下表之細節或替代。 10 顯示圖片標頭之範例修改(參見以上 8 ),其中LMCD、ALF及擴縮列表之APS ID資訊被設定接近於圖片標頭之開始處,以解決先前技術之剖析問題。此改變係藉由消除及畫底線文字來顯示。利用語法元素之此表,APS ID之追蹤具有較低複雜度。 APS ID相關的語法元素可包括以下之一或多者: ●    APS ID LMCS。 ●    APS ID擴縮列表。 ○    含有用以致能LNST方法之擴縮矩陣的資訊之APS擴縮列表。 ●    APS ID ALF列表。 ○    含有相關於截割值之發信通知的資訊之APS ALF列表。 在一範例中,APS ID相關的語法元素被設定在(或接近於)圖片標頭之開始處。 此特徵之優點係串流應用(其需要追蹤APS ID使用以移除非可用APS NAL單元)的複雜度減少。 如以上所討論,用語「開始」不一定表示「最開始」,因為一些語法元素可在APS ID相關的語法元素前。這些被依次討論於下。 該組APS ID相關的語法元素被設定在以下之一或多者後: ●    可用於串流應用(其需要剖析位元流以切割或分裂或提取視頻序列之部分而不剖析工具參數)的語法元素。 ●    指示目前圖片從未被使用為參考圖片之語法元素(例如,non_reference_picture_flag ),其(當等於1時)指示該圖片從未被使用為參考圖片。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID LMCS語法元素前。 ○    指示目前圖片為逐漸解碼刷新圖片之語法元素(例如,gdr_pic_flag syntax ),其(當等於1時)指示該圖片為GDR圖片。因為此類型的圖片暗示其位元流係獨立自先前圖片。其對於許多串流應用係一重要資訊。為了相同原因,APS ID LMCS語法元素集應在recovery_poc_cnt 語法元素(其被解碼在若gdr_pic_flag被致能的話)後。 ●    指示在解碼圖片緩衝器中之先前已解碼圖片中的改變之語法元素(例如,no_output_of_prior_pics_flag ),其影響已解碼圖片緩衝器(DBP)。此對於許多串流應用係一重要資訊。 ●ph_pic_parameter_set_id 及/或相關於PPS資訊之其他語法元素。確實,PPS id對於許多應用是需要的。 ●    相關於子圖片資訊之語法元素。確實,資訊之這些片段對於一些串流應用之位元流提取是重要的。 ●    在圖片標頭中傳輸之圖片類型資訊。確實,圖片類型對於許多應用係一重要資訊。 在特別有利的範例中,該組APS ID相關的語法元素被設定在位於圖片標頭之開始處的語法元素(其具有固定長度碼字而無針對其解碼之條件)後。固定長度碼字係相應於具有描述符u(N)之語法元素,在語法元素之表中,其中N為整數值。 相較於目前VVC規格,其係相應於non_reference_picture_flag gdr_pic_flagno_output_of_prior_pics_flag flags。 此之優點係針對串流應用,其可輕易地忽略這些第一碼字,因為位元之數目總是相同在圖片標頭之開始處,且直接來到針對相應應用之有用資訊。如此一來,解碼器可直接地從標頭剖析APS ID相關的語法元素,因為其總是在標頭之相同位元位置。 在減少剖析複雜度的變體中,該組APS ID相關的語法元素被設定在位於圖片標頭之開始處的語法元素(其不需要來自另一標頭之一或多個值)後。此等語法元素之剖析不需要針對其減少剖析之複雜度的其剖析之其他變數。 在一變體中,APS ID擴縮列表語法元素被設定在圖片標頭之開始處。 此變體之優點係串流應用(其需要追蹤APS ID使用以移除非可用APS NAL單元)的複雜度減少。 應理解:上述類型的APS ID相關的語法元素可被個別或組合地處置。特別有利的組合之非窮舉列表被討論於下。 APS ID LMCS語法元素集以及APS ID擴縮列表語法元素集被設定在(或接近於)圖片標頭之開始處,且選擇性地在串流應用之有用資訊後。 APS ID LMCS語法元素集以及APS ID ALF語法元素集被設定在圖片標頭之開始處,且選擇性地在串流應用之有用資訊後。 APS ID LMCS語法元素集、APS ID擴縮列表語法元素集以及APS ID ALF語法元素集被設定在(或接近於)圖片標頭之開始處,且選擇性地在串流應用之有用資訊後。 在一實施例中,APS ID相關的語法元素(APS LMCS、APS擴縮列表、及/或APS ALF)被設定在低階工具參數前。 此提供針對不需要追蹤各圖片之不同APS ID的一些串流應用之複雜度減少。確實,相關於低階工具之資訊對於切片資料之剖析及解碼是需要的,但對於僅提取位元流而不解碼之此類應用是不需要的。低階工具之範例被提供如下: ●    該組解塊過濾器參數;這些參數係用於其僅針對切片資料解碼為需要的解塊過濾器。 該組量化參數,這些參數對於切片資料剖析及解碼是需要的。 ●    該組SAO參數,這些參數對於切片資料剖析及解碼是需要的。 ●pic_joint_cbcr_sign_flag 旗標;這些參數對於切片資料剖析及解碼是需要的。 ●    該組移動參數,這些參數對於切片資料剖析及解碼是需要的。 ●    該組QP偏移參數,這些參數對於切片資料剖析及解碼是需要的。 ●    該組分割參數,這些參數對於切片資料剖析及解碼是需要的。 ●    該組參考圖片列表參數,這些參數對於切片資料剖析及解碼是需要的。 ●pic_output_fl 旗標;這些參數對於切片資料剖析及解碼是需要的。 ●colour_plane_id 旗標;這些參數對於切片資料剖析及解碼是需要的。 應理解:上述類型的APS ID相關的語法元素可被個別或組合地處置。特別有利的組合之非窮舉列表被討論於下。 APS ID LMCS語法元素集以及APS ID擴縮列表語法元素集被設定在低階工具語法元素前。 APS ID LMCS語法元素集以及APS ID ALF語法元素集被設定在低階工具語法元素前。 APS ID LMCS語法元素集、APS ID擴縮列表語法元素集以及APS ID ALF語法元素集被設定在低階工具語法元素前。再同步化圖片 在一位元流中,有一些再同步化框或切片。藉由使用這些框,位元流可被讀取而不考量先前解碼資訊。例如,清除隨機存取圖片(CRA圖片)不參考其本身之外的任何圖片,針對在其解碼程序中之間預測。此表示此圖片之切片為內或IBC。在VVC中,CRA圖片為IRAP(內隨機存取點)圖片,其中各VCL NAL單元具有等於CRA_NUT之nal unit_type。 在VVC中,這些再同步化框可為IRAP圖片或GDR圖片。 然而,針對一些組態之IRAP或GDR圖片、或IRAP切片可具有APS ID在其圖片標頭中,其係從先前解碼的APS開始。因此,APS ID應被追蹤於真實隨機存取點,或當位元流被分裂時。 改善此問題的一種方式是:當IRAP或GDR圖片被解碼時,所有APS ID被重設及/或無APS被容許取自另一已解碼APS。APS可針對LMCS或擴縮列表或ALF。解碼器因此判定該圖片是否相關於一再同步化程序;而假如是的話,該解碼包含重設該APS ID。 在一變體中,當圖片中之一個切片為IRAP時,則所有APS ID均被重設。 APS ID之重設表示其解碼器認為所有先前APS均不再有效,而因此無任何APS ID值參考先前APS。 此再同步化程序當組合上述語法結構時是特別有利的,因為APS ID資訊可被更容易地剖析並解碼-導致更快速且更有效率的再同步化(當需要時)。切片標頭中之 APS ID 相關的資訊 以下描述相關於針對切片標頭之語法元素的表之修改。在此表中,ALF之APS ID資訊被設定接近於切片標頭之開始處,以解決以上發明所討論的剖析問題。在表11中之經修改切片標頭係基於語法元素之目前切片標頭的描述(參見以上 9 ),其中修改係顯示以消除及畫底線。 在切片標頭之開始處的 APS ID ALF 如在表11中所示,APS ID ALF語法元素被設定在(或接近於)切片標頭之開始處。特別地,ALF APS含有相關於截割值之發信通知的至少一語法元素。 此提供針對串流應用(其需要追蹤APS ID使用以移除非可用APS NAL單元)的複雜度減少。 該組APS ID ALF語法元素可被設定在可用於串流應用之語法元素(其需要剖析或切割或分裂或提取視頻序列之部分而無剖析工具參數)後。此等語法元素之範例被提供於下: ●slice_pic_order_cnt_lsb 語法元素,其指示目前切片之POC。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID ALF語法元素前。 ●slice_subpic_id 語法元素,其指示目前切片之子圖片ID。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID ALF語法元素前。 ●slice_address 語法元素,其指示切片之位址。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID ALF語法元素前。 ●num_tiles_in_slice_minus 語法元素。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID ALF語法元素前。 ●Slice_type 元素,其指示目前切片之類型。此資訊可用於許多串流應用,因此最好是將此旗標設定在該組APS ID ALF語法元素前。 在進一步變體中,APS ID ALF語法元素集被設定在切片標頭中之低階工具參數前,當ALF APS含有相關於截割值之發信通知的至少一語法元素時。 此提供針對需要追蹤各圖片之不同APS ALF APS ID的一些串流應用之複雜度減少。確實,相關於低階工具之資訊對於切片資料之剖析及解碼是需要的,但對於僅提取位元流而不解碼之此類應用是不需要的。此等語法元素之範例被提供於下: ●    在切片標頭中之該組參考圖片列表參數。確實,這些參數對於切片資料解碼是需要的。 ●    在切片標頭中之該組CABAC初始化旗標。確實,此旗標僅用於切片資料解碼。 ●    在切片標頭中之該組共置預測參數。確實,這些參數對於切片資料解碼是需要的。 ●    在切片標頭中之該組加權預測參數。確實,這些參數對於切片資料解碼是需要的。 ●    在切片標頭中之該組量化參數更新參數。確實,這些參數對於切片資料解碼是需要的。 ●    在切片標頭中之該組SAO致能旗標。確實,這些參數對於切片資料解碼是需要的。 應理解:上述特徵可彼此組合來提供。如以上所討論的特定組合,如此做可提供適於特定實施方式的特定優點;例如,增加的彈性、或指明「最差情況」範例。在其他範例中,複雜度需求可具有(例如)比位元率減少更高的優先順序,且如此一來特徵可被個別地實施。 本發明之實施方式 圖9顯示一種系統191、195,其包含編碼器150或解碼器100之至少一者以及通訊網路199,依據本發明之實施例。依據一實施例,系統195係用於處理並提供內容(例如,用於顯示/輸出或串流視頻/音頻內容之視頻及音頻內容)給使用者,其得以存取至解碼器100,例如透過包含解碼器100之使用者終端或可與解碼器100通訊之使用者終端的使用者介面。此一使用者終端可為電腦、行動電話、平板或者能夠提供/顯示(經提供/經串流)內容給使用者之任何其他類型的裝置。系統195經由通訊網路199以獲得/接收位元流101(以連續流或信號之形式-例如,當較早視頻/音頻被顯示/輸出時)。依據一實施例,系統191係用於處理內容並儲存經處理內容,例如用於在稍後時間顯示/輸出/串流之經處理視頻及音頻內容。系統191獲得/接收包含影像151之原始序列的內容,其被編碼器150接收並處理(包括利用依據本發明之解塊過濾器的過濾),且編碼器150產生位元流101,其將經由通訊網路191而被通訊至解碼器100。位元流101被以大量方式接著通訊至解碼器100,例如其可由解碼器150所事先產生並當作資料而被儲存在通訊網路199中之儲存設備中(例如,在伺服器或雲端儲存上)直到使用者從該儲存設備請求該內容(亦即,位元流資料),此刻資料係從該儲存設備被通訊/串流至解碼器100。系統191亦可包含內容提供設備,用於提供/串流至使用者(例如,藉由傳遞資料給使用者介面以供顯示在使用者終端上),用於儲存設備中所儲存之內容的內容資訊(例如,內容之名稱及用於識別、選擇及請求該內容的其他元/儲存位置資料),並用於接收且處理針對一內容之使用者請求以致其該請求的內容可從儲存設備被通訊/串流至使用者終端。替代地,編碼器150產生位元流101並直接將其通訊/串流至解碼器100,如且當使用者請求該內容時。解碼器100接著接收位元流101(或信號)並利用依據本發明之解塊過濾器來履行過濾,以獲得/產生視頻信號109及/或音頻信號,其接著由使用者終端所使用以提供該請求的內容給使用者。 依據本發明之方法/程序的任何步驟或文中所述的功能可被實施以硬體、軟體、韌體、或其任何組合。假如以軟體實施,則該等軟體/功能可被儲存在或傳輸透過、成為一或多個指令或碼或程式、或電腦可讀取媒體,且被執行以一或多個基於硬體的處理單元(諸如可編程計算機器),其可為PC(「個人電腦」)、DSP(「數位信號處理器」)、電路、電路系統、處理器及記憶體、通用微處理器或中央處理單元、微控制器、ASIC(「特定應用積體電路」)、場可編程邏輯陣列(FPGA)、或者其他同等集成或離散邏輯電路。因此,如文中所使用之術語「處理器」可指稱前述結構之任一者或者適於文中所述之技術的實施之任何其他結構。 本發明之實施例亦可由多種裝置或設備來實現,包括無線手機、積體電路(IC)或一組JC(例如,晶片組)。各種組件、模組、單元被描述在文中以闡明其組態成履行那些實施例之裝置/設備的功能性態樣,但不一定需要由不同硬體單元來實現。反之,各種模組/單元可被組合在編碼解碼器硬體單元中或者由互操作硬體單元之集合來提供,包括一或多個處理器聯合適當的軟體/韌體。 本發明之實施例可由一種系統或設備之電腦來實現,該電腦係讀出並執行在儲存媒體上所記錄的電腦可執行指令(例如,一或多個程式)以履行上述實施例之一或多者的模組/單元/功能;及/或其包括一或多個處理單元或電路以履行上述實施例之一或多者的功能;以及可由一種由系統或設備之電腦所履行的方法來實現,藉由(例如)從儲存媒體讀出並執行電腦可執行指令以履行上述實施例之一或多者的功能及/或控制一或多個處理單元或電路來履行上述實施例之一或多者的功能。電腦可包括分離電腦或分離處理單元的網路以讀出並執行電腦可執行指令。電腦可執行指令可被提供至電腦,例如,從電腦可讀取媒體(諸如通訊媒體),經由網路或有形儲存媒體。通訊媒體可為信號/位元流/載波。有形儲存媒體係「非暫態電腦可讀取儲存媒體」,其可包括(例如)硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、分散式計算系統之儲存、光碟(諸如光碟(CD)、數位多功能光碟(DVD)、或藍光光碟(BD)™)、快閃記憶體裝置、記憶卡,等等之一或多者。步驟/功能之至少一些亦可被實施以硬體,藉由機器或專屬組件,諸如FPGA(「場可編程閘極陣列」)或ASIC(「特定應用積體電路」)。 圖10為一用於實施本發明之一或更多實施例的計算裝置1300之概略方塊圖。計算裝置1300可為一種裝置,諸如微電腦、工作站或輕型可攜式裝置。計算裝置1300包含一連接至以下的通訊匯流排:-中央處理單元(CPU)1301,諸如微處理器;-隨機存取記憶體(RAM)1302,用以儲存本發明之實施例的方法之可執行碼、以及暫存器,經調適成記錄用以實施方法所需的變數和參數,該方法係依據本發明之實施例以編碼或解碼影像之至少部分,其記憶體容量可藉由一連接至(例如)擴充埠之選擇性RAM來擴充;-唯讀記憶體(ROM)1303,用以儲存供實施本發明之實施例的電腦程式;-網路介面(NET)1304,通常連接至通訊網路,待處理數位資料係透過該網路介面來傳輸或接收。網路介面(NET)1304可為單一網路介面,或者由一組不同網路介面所組成(例如有線及無線介面、或者不同種類的有線或無線介面)。資料封包被寫入至網路介面以供傳輸或者從網路介面讀取以供接收,在CPU 1301中所運行之軟體應用程式的控制下;-使用者介面(UI)1305可用於從使用者接收輸入或者用以顯示資訊給使用者;-硬碟(HD)1306,可被提供為大量儲存裝置;-輸入/輸出模組(IO)1307可用於接收/傳送資料自/至外部裝置,諸如視頻來源或顯示器。可執行碼可被儲存於ROM 1303中、於HD 1306上或者於可移除數位媒體(諸如,例如碟片)上。依據變體,程式之可執行碼可藉由通訊網路來接收,經由NET 1304,以儲存於通訊裝置1300的儲存機構(諸如HD 1306)之一中,在執行之前。CPU 1301經調適成依據本發明之實施例以控制並指導程式或多數程式之指令或軟體碼部分的執行,該些指令係儲存於前述儲存機構之一中。在開機之後,CPU 1301能夠執行相關於軟體應用程式之來自主RAM記憶體1302的指令,在那些指令已從(例如)程式ROM 1303或HD 1306載入之後。此一軟體應用程式(當由CPU 1301所執行時)係致使依據本發明之方法的步驟被履行。 亦應理解:依據本發明之另一實施例,一種依據前述實施例之解碼器被提供於使用者終端,諸如電腦、行動電話(蜂巢式電話)、平板或任何其他類型的裝置(例如,顯示設備),其能夠提供/顯示內容給使用者。依據又另一實施例,一種依據前述實施例之編碼器被提供於一種影像擷取設備,其亦包含相機、視頻相機或網路相機(例如,閉路電視或視頻監視相機),其係擷取並提供內容給編碼器來編碼。兩個此類範例係參考圖11及12而被提供於下。 網路相機 圖11為一圖,其繪示網路相機系統2100,包括網路相機2102及客戶設備2104。 網路相機2102包括成像單元2106、編碼單元2108、通訊單元2110、及控制單元2112。 網路相機2102與客戶設備2104被相互連接以能夠經由網路200而彼此通訊。 成像單元2106包括透鏡及影像感測器(例如,電荷耦合裝置(CCD)或互補金氧半導體(CMOS)),並擷取物件之影像且根據該影像以產生影像資料。此影像可為靜止影像或視頻影像。 編碼單元2108係藉由使用上述的該編碼方法以編碼影像資料。 網路相機2102之通訊單元2110將其由編碼單元2108所編碼的已編碼影像資料傳輸至客戶設備2104。 再者,通訊單元2110從客戶設備2104接收命令。該等命令包括用以設定編碼單元2108之編碼的參數之命令。 控制單元2112依據由通訊單元2110所接收的命令以控制網路相機2102中之其他單元。 客戶設備2104包括通訊單元2114、解碼單元2116、及控制單元2118。 客戶設備2104之通訊單元2114傳輸命令至網路相機2102。 再者,客戶設備2104之通訊單元2114從網路相機2102接收已編碼影像資料。 解碼單元2116係藉由使用上述的該解碼方法以解碼該經編碼影像資料。 客戶設備2104之控制單元2118依據由通訊單元2114所接收的使用者操作或命令以控制客戶設備2104中之其他單元。 客戶設備2104之控制單元2118控制顯示設備2120以顯示由解碼單元2116所解碼的影像。 客戶設備2104之控制單元2118亦控制顯示設備2120以顯示GUI(圖形使用者介面)來指定用於網路相機2102之參數的值,包括用於編碼單元2108之編碼的參數。 客戶設備2104之控制單元2118亦依據由顯示設備2120所顯示之輸入至GUI的使用者操作以控制客戶設備2104中之其他單元。 客戶設備2104之控制單元2119控制客戶設備2104之通訊單元2114以傳輸命令至網路相機2102,其指定用於網路相機2102之參數的值,依據由顯示設備2120所顯示之輸入至GUI的使用者操作。 智慧型手機 圖12為繪示智慧型手機2200之圖。 智慧型手機2200包括通訊單元2202、解碼單元2204、控制單元2206、顯示單元2208、影像記錄裝置2210及感測器2212。 通訊單元2202經由網路200以接收經編碼影像資料。 解碼單元2204解碼其由通訊單元2202所接收的已編碼影像資料。 解碼單元2204係藉由使用上述的該解碼方法以解碼該經編碼影像資料。 控制單元2206依據由通訊單元2202所接收的使用者操作或命令以控制智慧型手機2200中之其他單元。 例如,控制單元2206控制顯示單元2208以顯示由解碼單元2204所解碼的影像。 雖然已參考了實施例來描述本發明,但應理解其本發明不限於所揭露的範例實施例。那些熟悉此技藝人士應理解:可做出各種改變及修改而不背離本發明之範圍,如後附申請專利範圍中所界定者。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的所有特徵、及/或所揭露的任何方法或程序之步驟,可以任何組合方式組合,除了其中此等特徵及/或步驟之至少部分是互斥的組合以外。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的各特徵可被取代以替代特徵,其係適用相同的、同等的或類似的目的,除非另外明確地聲明。因此,除非另外明確地聲明,所揭露的各特徵僅為同等或類似特徵之一般序列的一個範例。 亦應理解:上述比較、判定、評估、選擇、執行、履行、或考量之任何結果(例如於編碼或過濾程序期間所做的選擇)可指示於或者可判定/可推理自位元流中之資料(例如指示該結果之旗標或資料),以使得經指示的或經判定/經推理的結果可用於該處理,以取代實際地履行比較、判定、評估、選擇、執行、履行、或考量(例如於解碼程序期間)。 於申請專利範圍中,文字「包含」不排除其他元件或步驟,而不定冠詞「一(a)」或「一(an)」不排除複數。不同特徵在彼此不同的附屬項中陳述之單純事實並不指示其這些特徵之組合無法被有利地使用。 出現在申請專利範圍中之參考數字僅為闡明且對於申請專利範圍之範圍應無限制性效果。
1:視頻序列 2:影像 3:切片 5:編碼單元(CU) 60:解碼器 61:位元流 62,63,64:模組 65:內反預測模組 66:模組 67:後過濾模組 68:參考影像 69:已解碼視頻信號 70:移動向量解碼模組 71:移動向量場資料 100:解碼器 101:位元流 109:視頻信號 150:編碼器 151:影像 191,195:系統 199:通訊網路 200:資料通訊網路 201:伺服器 202:客戶終端 204:資料流 300:處理裝置 302:通訊介面 303:通訊網路 304:資料儲存機構 305:碟片驅動 306:碟片 308:麥克風 309:螢幕 310:鍵盤 311:中央處理單元 312:隨機存取記憶體 313:通訊匯流排 320:數位相機 400:編碼器 401:數位影像i 0至i n 402:模組 403:模組 404:移動估計模組 405:移動補償模組 406:選擇模組 407:變換模組 408:量化模組 409:熵編碼模組 410:位元流 411:反量化模組 412:反變換模組 413:內預測模組 414:反移動補償模組 415:模組 416:參考影像 417:移動向量預測及編碼模組 418:移動向量場 601:NAL單元 602:視頻參數集(VPS) NAL單元 603:序列參數集(SPS) NAL單元 604:圖片參數集(PPS) NAL單元 605:調適參數集(APS) NAL單元 606:NAL單元 607:存取單元定界符(AUD) NAL單元 608:PH NAL單元 610:切片標頭 611:原始位元組序列酬載(RBSP) 620:磚 640:編碼區塊 1300:計算裝置 1301:中央處理單元(CPU) 1302:隨機存取記憶體(RAM) 1303:唯讀記憶體(ROM) 1304:網路介面(NET) 1305:使用者介面(UI) 1306:硬碟(HD) 1307:輸入/輸出模組(IO) 2100:網路相機系統 2102:網路相機 2104:客戶設備 2106:成像單元 2108:編碼單元 2110:通訊單元 2112:控制單元 2114:通訊單元 2116:解碼單元 2118:控制單元 2120:顯示設備 2200:智慧型手機 2202:通訊單元 2204:解碼單元 2206:控制單元 2208:顯示單元 2210:影像記錄裝置 2212:感測器
現在將(以範例方式)參考附圖,其中: [圖1]為用以解釋HEVC及VVC中所使用之編碼結構的圖; [圖2]為概略地繪示一資料通訊系統之方塊圖,其中本發明之一或更多實施例可被實施; [圖3]為繪示一處理裝置之組件的方塊圖,其中本發明之一或更多實施例可被實施; [圖4]為一流程圖,其繪示一種依據本發明之實施例的編碼方法之步驟; [圖5]為一流程圖,其繪示一種依據本發明之實施例的解碼方法之步驟; [圖6]繪示範例編碼系統VVC中之位元流的結構。 [圖7]繪示亮度模擬色度擴縮(LMCS); [圖8]顯示LMCS之子工具; [圖9]係顯示一系統之圖,該系統包含依據本發明之實施例的一編碼器或一解碼器及一通訊網路。 [圖10]為一用於實施本發明之一或更多實施例的計算裝置之概略方塊圖; [圖11]為繪示網路相機系統之圖;及 [圖12]為繪示智慧型手機之圖。
601:NAL單元
602:視頻參數集(VPS)NAL單元
603:序列參數集(SPS)NAL單元
604:圖片參數集(PPS)NAL單元
605:調適參數集(APS)NAL單元
606:NAL單元
607:存取單元定界符(AUD)NAL單元
608:PH NAL單元
610:切片標頭
611:原始位元組序列酬載(RBSP)
620:磚
640:編碼區塊

Claims (22)

  1. 一種解碼來自一位元流之視頻資料的方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼包含:從該標頭剖析相關於APS ID之至少一語法元素,在剖析相關於SAO之語法元素前;及使用該等語法元素以解碼該位元流。
  2. 一種編碼視頻資料入一位元流中之方法,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;該編碼包含:利用相關於APS ID之至少一語法元素來編碼該標頭,在相關於SAO之語法元素前。
  3. 如請求項1或2之方法,其中該標頭係包含當解碼一圖片中之多個切片時所將使用的語法元素之一圖片標頭。
  4. 如請求項3之方法,其中該至少一APS ID相關的語法元素係在指示該目前圖片從未被使用為一參考圖片之一語法元素後。
  5. 如請求項3之方法,其中該至少一APS ID 相關的語法元素係在指示該目前圖片為一逐漸解碼刷新圖片之一語法元素後。
  6. 如請求項3之方法,其中該至少一APS ID相關的語法元素係在指示解碼圖片緩衝器中之先前已解碼圖片中的一改變之一語法元素後。
  7. 如請求項3之方法,其中該至少一APS ID相關的語法元素係在圖片類型資訊後。
  8. 如請求項3之方法,其中該至少一APS ID相關的語法元素係在圖片參數集資訊後。
  9. 如請求項1或2之方法,其中該標頭係一切片標頭。
  10. 如請求項9之方法,其中該至少一APS ID相關的語法元素係在子圖片資訊後。
  11. 如請求項10之方法,其中該至少一APS ID相關的語法元素係在指示該目前切片之子圖片ID的一語法元素後。
  12. 如請求項9之方法,其中該至少一APS ID相關的語法元素係在指示該切片之位址的一語法元素後。
  13. 如請求項9之方法,其中該至少一APS ID相關的語法元素係在指示該切片中的磚之數目的一語法元素後。
  14. 如請求項9之方法,其中該至少一APS ID相關的語法元素係在指示該目前切片之類型的一語法元 素後。
  15. 如請求項1或2之方法,其中該至少一APS ID相關的語法元素包含APS ID LMCS。
  16. 如請求項1或2之方法,其中該至少一APS ID相關的語法元素包含APS ID擴縮列表。
  17. 如請求項1或2之方法,其中該APS擴縮列表含有用以致能LNST方法之擴縮矩陣的資訊。
  18. 如請求項1或2之方法,其中該至少一APS ID相關的語法元素包含APS ID ALF列表。
  19. 如請求項18之方法,其中該APS ALF列表含有相關於截割值之發信通知的資訊。
  20. 一種用於解碼來自一位元流之視頻資料的解碼器,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素;其中該解碼器包含:剖析機構,用於從該標頭剖析相關於APS ID之至少一語法元素,在剖析相關於SAO之語法元素前;及解碼機構,用於使用該等語法元素以解碼該位元流。
  21. 一種用於編碼視頻資料入一位元流中之編碼器,該位元流包含相應於一或多個切片之視頻資料,其中該位元流包含一標頭,該標頭包含當解碼一或多個切片時所將使用的語法元素; 該編碼器包含:編碼機構,用於利用相關於APS ID之至少一語法元素來編碼該標頭,在相關於SAO之語法元素前。
  22. 一種儲存一程式或指令之電腦可讀取儲存媒體,當由一可編程設備執行時該程式或指令致使該可編程設備履行如請求項1或2之方法。
TW109144277A 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法 TWI809336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1919035.4A GB2590636B (en) 2019-12-20 2019-12-20 High level syntax for video coding and decoding
GB1919035.4 2019-12-20

Publications (2)

Publication Number Publication Date
TW202126049A TW202126049A (zh) 2021-07-01
TWI809336B true TWI809336B (zh) 2023-07-21

Family

ID=69322967

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144277A TWI809336B (zh) 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法

Country Status (9)

Country Link
US (1) US20240040154A1 (zh)
EP (1) EP4078975A1 (zh)
JP (2) JP7403633B2 (zh)
KR (1) KR20220110841A (zh)
CN (1) CN115136605A (zh)
BR (1) BR112022012046A2 (zh)
GB (1) GB2590636B (zh)
TW (1) TWI809336B (zh)
WO (1) WO2021123357A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115191115A (zh) * 2020-02-24 2022-10-14 字节跳动有限公司 子图片和片行信令通知之间的交互
JP7479492B2 (ja) 2020-03-03 2024-05-08 バイトダンス インコーポレイテッド ビデオ・コーディングにおける低周波ノン・セパラブル変換シグナリング
EP4128752A1 (en) * 2020-03-26 2023-02-08 Nokia Technologies Oy Luma mapping with chroma scaling for gradual decoding refresh
KR20230112748A (ko) * 2020-04-02 2023-07-27 엘지전자 주식회사 Hls를 시그널링하는 영상 부호화/복호화 방법, 장치및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CA3173460A1 (en) * 2020-04-08 2021-10-14 Limin Wang Luma mapping with chroma scaling for gradual decoding refresh
WO2024015639A1 (en) * 2022-07-15 2024-01-18 Bytedance Inc. Neural network-based image and video compression method with parallel processing
WO2024015638A2 (en) * 2022-07-15 2024-01-18 Bytedance Inc. A neural network-based image and video compression method with conditional coding
WO2024020053A1 (en) * 2022-07-18 2024-01-25 Bytedance Inc. Neural network-based adaptive image and video compression method
WO2024112035A1 (ko) * 2022-11-24 2024-05-30 삼성전자 주식회사 전자 장치 및 전자 장치의 데이터 압축 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501125A (en) * 2012-04-13 2013-10-16 Canon Kk Providing adaptation parameters to a decoder by including an identifier to a relevant characteristic set in a bit stream portion.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9813705B2 (en) * 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
WO2021083259A1 (en) * 2019-10-29 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Signaling of cross-component adaptive loop filter

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501125A (en) * 2012-04-13 2013-10-16 Canon Kk Providing adaptation parameters to a decoder by including an identifier to a relevant characteristic set in a bit stream portion.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Benjamin Brossn et.al Versatile Video Coding (Draft 6) Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE 3–12 July 2019 https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip *

Also Published As

Publication number Publication date
JP2024026338A (ja) 2024-02-28
WO2021123357A1 (en) 2021-06-24
US20240040154A1 (en) 2024-02-01
GB2590636A (en) 2021-07-07
CN115136605A (zh) 2022-09-30
TW202126049A (zh) 2021-07-01
EP4078975A1 (en) 2022-10-26
JP7403633B2 (ja) 2023-12-22
GB201919035D0 (en) 2020-02-05
JP2023504965A (ja) 2023-02-08
KR20220110841A (ko) 2022-08-09
BR112022012046A2 (pt) 2022-08-30
GB2590636B (en) 2024-01-10

Similar Documents

Publication Publication Date Title
TWI809336B (zh) 用於視頻編碼及解碼之高階語法
TW202139701A (zh) 用於視頻編碼及解碼之高階語法
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
TWI827919B (zh) 用於視頻編碼及解碼的高階語法
US20230108509A1 (en) High level syntax for video coding and decoding
JP7383808B2 (ja) ビデオコーディング及び復号のための高レベルシンタックス
TWI842980B (zh) 用於視訊編碼及解碼的高階語法
JP7497441B2 (ja) ビデオの符号化及び復号のための高レベルシンタックス