TWI812906B - 用於視頻編碼及解碼之高階語法 - Google Patents

用於視頻編碼及解碼之高階語法 Download PDF

Info

Publication number
TWI812906B
TWI812906B TW109144276A TW109144276A TWI812906B TW I812906 B TWI812906 B TW I812906B TW 109144276 A TW109144276 A TW 109144276A TW 109144276 A TW109144276 A TW 109144276A TW I812906 B TWI812906 B TW I812906B
Authority
TW
Taiwan
Prior art keywords
slice
picture
header
intra
inter
Prior art date
Application number
TW109144276A
Other languages
English (en)
Other versions
TW202139701A (zh
Inventor
吉羅姆 拉契
奈爾 奧德果
派翠斯 昂諾
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202139701A publication Critical patent/TW202139701A/zh
Application granted granted Critical
Publication of TWI812906B publication Critical patent/TWI812906B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭露一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：判定至少一個切片之一編碼模式；從該圖片標頭判定將用於該編碼模式之一組語法元素；及使用該經判定語法元素以解碼該至少一個切片。亦揭露相應的編碼方法、裝置及電腦程式。

Description

用於視頻編碼及解碼之高階語法
本發明係關於視頻編碼及解碼，且特別關於用於視頻編碼及解碼之高階語法。
近來，聯合視頻專家小組(JVET)(由MPEG及ITU-T研究群組16之VCEG所形成的合作小組)開始對於稱為多樣視頻編碼(VCC)的新視頻編碼標準工作。VVC之目標是提供在壓縮效能上超越現存HEVC標準之顯著增進(亦即，通常為之前的兩倍之多)且被完成於2020。主要目標應用及服務包括-但不限定於-360度且高動態範圍(HDR)視頻。總之，JVET係使用由獨立測試實驗室所執行的正式主觀測試以評估來自32個組織之回應。一些提議係展示通常為40%或更多(當相較於使用HEVC時)的壓縮效率增益。特別有效性被顯示於超高解析度(UHD)視頻測試材料上。因此，我們可預期顯著超越最終標準之目標50%的壓縮效能增益。
JVET探索模型(JEM)使用所有HEVC工具且已引入大量新工具。這些改變已使得對於位元流之結構的改變成為必要，且特別是對於高階語法，其可具有對位元流之整體位元率的影響。
對於高階語法之一顯著改變係「圖片標頭」之引入至位元流中。圖片標頭係指明將用於解碼一特定圖片(或框)中之各切片的語法元素之標頭。因此圖片標頭被放置在相關於位元流中之切片的資料前，該等切片具有其本身的「切片標頭」。此結構係參考圖6而被更詳細地描述於下。
第16次會議之文件JVET-P0239：Geneva,CH,1-11 2019年十月，標題「AHG17：圖片標頭」提議強制圖片標頭之引入至VVC中，且此被採用為多樣視頻編碼(草案7)，上載為文件JVET_P2001。然而，雖然此結構在所有VVC工具之使用中提供彈性，但在位元流中所發信通知的語法元素之量有增加，其影響傳輸之位元率-特別針對低位元率實例。
因此，針對上述問題之至少一個的解決方式是理想的。
廣泛而言，本案發明人已瞭解：內建入最近採用的高階語法中的彈性僅極少被使用而如此一來不必要地增加位元率。特別地，大部分圖片僅包含使用一個切片編碼模式(例如，間或內)之切片，而高階語法容許不同類型的切片在各圖片中。本發明係關於利用以下事實：大部分圖片僅 使用一種編碼類型的切片，而如此一來位元率可被減少。
在單一圖片內再引入多重編碼類型之彈性的選擇性特徵亦被考量。特定語法元素及/或語法元素之額外約束被加入以減少位元率，相較於最近採用的高階語法。這些「附加」特徵可增加位元率，但由於它們將極少被使用，所以給定視頻序列之平均位元率將被減少(相較於先前技術)。
本發明提議圖片標頭發信通知之修改，用以避免當完整圖片僅含有一個切片類型(I、P、B)時所不需要的一些圖片標頭參數之額外發信通知。特別地，有關於間(Inter)及內(Intra)之差量QP發信通知的參數被合併成單一參數。用於分割參數之撤銷旗標被改變成兩個撤銷旗標：一個用於間切片而一個用於內切片。此外，撤銷旗標被添加於間切片中之移動資訊參數。這些修改提供相較於目前設計之幾乎相同的彈性，而其增加仍增加編碼效率。
在本發明之一態樣中，解碼器僅需解碼來自該圖片標頭之一組語法元素，此組語法元素係由該圖片之一切片編碼模式(例如，INTER或INTRA)所界定。替代地，圖片標頭中之語法元素對於編碼模式係跨平台的，且包括一組經合併語法元素。以此一方式，位元率被減少，因為不必要的語法元素可由解碼器所跳過。
依據本發明之一個態樣，有提供一種解碼來自一位元 流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，其中一圖片包含一或多個切片；及其中該視頻位元流包含一圖片標頭；該方法包含：判定該圖片中之該一或多個切片是否使用一單一編碼模式；從該圖片標頭判定將用於該單一編碼模式之一組語法元素；及使用該經判定語法元素以解碼該一或多個切片。
選擇性地，判定該一或多個切片之該編碼格式係取決於該圖片標頭中之至少一個語法元素。
選擇性地，該單一編碼模式係INTER或INTRA之一。
選擇性地，該單一編碼模式係INTER。
選擇性地，該INTER編碼模式係INTER B或INTER P之一。
選擇性地，判定將用於該單一編碼模式之一組語法元素包含致能及/或除能在一圖片標頭中之至少一語法元素。
選擇性地，判定將用於該單一編碼模式之一組語法元素包含致能及/或除能在一切片標頭中之至少一語法元素。
選擇性地，判定該編碼類型係基於一AU定界符之值。
選擇性地，判定一編碼模式包含解碼一或多個撤銷旗標。
選擇性地，該一或多個撤銷旗標包含指示是否使用INTER模式之一第一旗標及指示是否使用INTRA模式之一 第二旗標。
依據本發明之一態樣，有提供一種編碼視頻資料入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，其中一圖片包含一或多個切片；及其中該視頻位元流包含一圖片標頭；該方法包含：界定該圖片中之至少一個切片的一單一編碼模式；編碼將用於該單一編碼模式之一組語法元素入該圖片標頭中；及使用該經判定語法元素以編碼該一或多個切片。
選擇性地，該編碼格式係INTER，且編碼該圖片標頭包含編碼該圖片標頭中之INTER語法元素。
選擇性地，該編碼格式係INTRA，且編碼該圖片標頭包含編碼該圖片標頭中之INTRA語法元素。
於本發明之另一態樣中，有提供一種解碼器，其經調適以藉由執行依據解碼態樣之上述方法的方法來解碼一位元流。
於本發明之另一態樣中，有提供一種編碼器，其經調適以藉由執行編碼態樣之上述方法的方法來編碼一位元流。
依據本發明之一個態樣，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：判定至少一個切片之一編碼模式；從該圖片標頭判定將用於該編碼模式之一組語法元素；及使用該經判定語法元素以解碼該至少一個切片。
如此容許位元率之減少及因此整體更有效率的解碼。
選擇性地，判定至少一個切片之一編碼格式係取決於該圖片標頭中之一語法元素。
選擇性地，該編碼模式係INTER或INTRA之一。
針對彈性，該編碼模式係INTER、INTRA或INTER與INTRA的一組合之一。
針對額外彈性，該INTER編碼模式係INTER B或INTER P之一。
選擇性地，判定對於該編碼模式係特定之一組語法元素包含致能及/或除能一圖片標頭中之至少一語法元素。
選擇性地，判定對於該編碼模式係特定之一組語法元素包含致能及/或除能一切片標頭中之至少一語法元素。
選擇性地，該方法進一步包含基於該經判定編碼類型以推論一AU定界符之一值。選擇性地，假如該串流被判定為僅含有一個層，則該推論該AU定界符之該值被履行。
依據本發明之另一態樣，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：判定一圖片中之所有切片是否均使用一相同編碼模式；假如該判定為真，則使用來自該圖片標頭之該等語法元素以解碼該圖片。
依據本發明之另一態樣，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於多數切片之視 頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：使用來自該圖片標頭之該等語法元素以解碼該圖片；其中所有語法元素係相應於相同切片編碼模式。
這些態樣減少相關於該標頭之位元率，特別針對僅含有間切片之圖片(其係許多視頻序列中之大部分圖片)。
選擇性地，假如該判定非為真，則該圖片中之內切片的內編碼參數被推論自該圖片標頭中之一相應間語法元素。
選擇性地，該內語法元素被限制於一相應間值之值。
選擇性地，該方法進一步包含基於一先前語法元素之值以預測該切片之一語法元素。
選擇性地，判定至少一個切片之一編碼格式係取決於與該圖片標頭不同之一標頭中的語法元素。
於一範例中，與該圖片標頭不同之該標頭係一序列標頭。
於另一範例中，與該圖片標頭不同之該標頭係一AUD NAL單元。
於一範例中，該經判定編碼模式係INTER。於另一範例中，該經判定編碼模式係INTRA。
選擇性地，判定一編碼模式包含解碼一或多個撤銷旗標。
選擇性地，該一或多個撤銷旗標係在一比該圖片標頭更高階的標頭中。
依據本發明之另一態樣，有提供一種解碼來自一位元 流之視頻資料的方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：解碼一或多個撤銷旗標；及取決於該一或多個撤銷旗標以解碼來自該圖片標頭之編碼特定的語法元素；其中該一或多個撤銷旗標係在一比該圖片標頭更高階的標頭中。
此態樣提供位元率減少之優點，其中額外彈性在於能夠撤銷預設情況。
選擇性地，該更高階的標頭係SPS或PPS。
選擇性地，該方法進一步包含在編碼相依的語法元素前解碼來自該圖片標頭之兩個撤銷旗標，該第一撤銷旗標指示間元素被撤銷，而該第二撤銷旗標指示內元素被撤銷。
選擇性地，將用於該經判定編碼模式之該語法元素對於該編碼模式係跨平台的。
依據本發明之另一態樣，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；其中該圖片標頭僅包含對於編碼模式係跨平台之語法元素；及使用該等語法元素以解碼該圖片中之各切片。
此態樣藉由減少該圖片標頭中之冗餘語法元素的數目以提供位元率減少。
選擇性地，該方法進一步包含從與該圖片標頭不同之一標頭判定對於該經判定編碼模式係特定的語法元素。
選擇性地，與該圖片標頭不同之該標頭係一切片標 頭。
針對彈性，INTER及INTRA語法元素兩者均可被提供在該切片標頭中。
選擇性地，該方法進一步包含解碼一撤銷旗標，該撤銷旗標判定是否解碼來自一切片標頭之一編碼特定的語法元素。
選擇性地，該切片標頭中之該語法元素具有限制於該圖片標頭中之一同等語法元素的一值。
選擇性地，該方法進一步包含基於該切片標頭中的一先前語法元素之值以預測該切片標頭中之一或多個語法元素。
依據本發明之另一態樣，有提供一種編碼視頻資料入一位元流中之方法，該位元流包含相應於多數切片之視頻資料，其中該位元流包含一圖片標頭；該方法包含：界定至少一個切片之一編碼模式；從該圖片標頭編碼將用於該編碼模式之一組語法元素；及使用該經判定語法元素以編碼該至少一個切片。
依據本發明之另一態樣，有提供一種編碼視頻資料入一位元流中之方法，該位元流包含相應於多數切片之視頻資料，其中一或多個切片包含一圖片；其中該視頻位元流包含一圖片標頭；該方法包含：界定該圖片之一編碼模式；編碼一語法元素入該圖片標頭中；其中該語法元素之值係取決於該經界定編碼模式。
依據本發明之另一態樣，有提供一種編碼視頻資料入 一位元流中之方法，該位元流包含相應於多數切片之視頻資料，其中一或多個切片包含一圖片；其中該視頻位元流包含一圖片標頭；該方法包含：界定該圖片內之所有該等切片的一編碼模式；取決於該經界定編碼模式以編碼具有語法元素之該圖片標頭。
依據本發明之另一態樣，有提供一種編碼視頻資料入一位元流之方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：使用來自該圖片標頭之該等語法元素以編碼該圖片；其中所有語法元素係相應於相同切片編碼模式。
選擇性地，該編碼格式係Inter，且編碼該圖片標頭包含編碼該圖片標頭中之Inter語法元素。
替代地，該編碼格式係Intra，且編碼該圖片標頭包含編碼該圖片標頭中之Intra語法元素。
選擇性地，該方法進一步包含編碼Inter語法元素入該圖片標頭中及編碼Intra語法元素入一切片標頭中(假如該經界定編碼模式係Intra的話)。
依據本發明之另一態樣，有提供一種編碼視頻資料入一位元流中之方法，該位元流包含相應於多數切片之視頻資料，其中該視頻位元流包含一圖片標頭；該方法包含：編碼一或多個撤銷旗標；及取決於該一或多個撤銷旗標以編碼編碼特定的語法元素入該圖片標頭中；其中該一或多個撤銷旗標係在一比該圖片標頭更高階的標頭中。
這些編碼方法致能如以上所討論之更有效率的解碼。 於某些例子中，編碼係較不複雜的，因為較少的語法元素被編碼入各別標頭中及/或有較少冗餘在該位元流中。
本發明之又進一步態樣係關於一種解碼器及一種編碼器，經調適以各別地履行解碼態樣之前述方法及編碼態樣之前述方法。
本發明之又進一步態樣係有關於程式，當由一電腦或處理器所執行時該等程式致使該電腦或處理器執行本發明之任一前述方法態樣的方法。該程式可由其自身提供或者可由載體媒體所攜載或在攜體媒體上運行。載體媒體可為非暫態，例如，儲存媒體，特別是電腦可讀取儲存媒體。載體媒體亦可為暫態，例如，信號或其他傳輸媒體。信號可經由任何適當網路來傳輸，包括網際網路。
本發明之進一步特徵在於其他獨立項及附屬項。
本發明之一態樣中的任何特徵可被應用至本發明之其他態樣，以任何適當的組合。特別地，方法態樣可被應用至設備態樣，反之亦然。
再者，硬體中所實施的特徵可被實施於軟體中，反之亦然。對於文中之軟體及硬體特徵的任何提及應據此被建構。
如文中所述之任何設備特徵亦可被提供為方法特徵，而反之亦然。如文中所使用，手段功能特徵可被替代地表達以其相應結構，諸如適當地編程的處理器及相關記憶體。
亦應理解：在本發明之任何態樣中所描述及定義的各 種特徵之特定組合可被獨立地實施及/或供應及/或使用。
1:視頻序列
2:影像
3:切片
5:編碼單元(CU)
60:解碼器
61:位元流
62,63,64:模組
65:內反預測模組
66:模組
67:後過濾模組
68:參考影像
69:已解碼視頻信號
70:移動向量解碼模組
71:移動向量場資料
100:解碼器
101:位元流
109:視頻信號
150:編碼器
151:影像
191,195:系統
200:通訊網路
201:伺服器
202:客戶終端
204:資料流
300:處理裝置
302:通訊介面
303:通訊網路
304:資料儲存機構
305:碟片驅動
306:碟片
308:麥克風
309:螢幕
310:鍵盤
311:中央處理單元
312:隨機存取記憶體
313:通訊匯流排
320:數位相機
400:編碼器
401:數位影像i0至in
402:模組
403:模組
404:移動估計模組
405:移動補償模組
406:選擇模組
407:變換模組
408:量化模組
409:熵編碼模組
410:位元流
411:反量化模組
412:反變換模組
413:內預測模組
414:反移動補償模組
415:模組
416:參考影像
417:移動向量預測及編碼模組
418:移動向量場
601:NAL單元
602:視頻參數集(VPS)NAL單元
603:序列參數集(SPS)NAL單元
604:圖片參數集(PPS)NAL單元
605:調適參數集(APS)NAL單元
606:NAL單元
607:存取單元定界符(AUD)NAL單元
608:PH NAL單元
610:切片標頭
611:原始位元組序列酬載(RBSP)
620:磚
640:編碼區塊
1300:計算裝置
1301:中央處理單元(CPU)
1302:隨機存取記憶體(RAM)
1303:唯讀記憶體(ROM)
1304:網路介面(NET)
1305:使用者介面(UI)
1306:硬碟(HD)
1307:輸入/輸出模組(IO)
2100:網路相機系統
2102:網路相機
2104:客戶設備
2106:成像單元
2108:編碼單元
2110:通訊單元
2112:控制單元
2114:通訊單元
2116:解碼單元
2118:控制單元
2120:顯示設備
2200:智慧型手機
2202:通訊單元
2204:解碼單元
2206:控制單元
2208:顯示單元
2210:影像記錄裝置
2212:感測器
現在將(以範例方式)參考附圖，其中：[圖1]為用以解釋HEVC及VVC中所使用之編碼結構的圖；[圖2]為概略地繪示一資料通訊系統之方塊圖，其中本發明之一或更多實施例可被實施；[圖3]為繪示一處理裝置之組件的方塊圖，其中本發明之一或更多實施例可被實施；[圖4]為一流程圖，其繪示一種依據本發明之實施例的編碼方法之步驟；[圖5]為一流程圖，其繪示一種依據本發明之實施例的解碼方法之步驟；[圖6]繪示範例編碼系統VVC中之位元流的結構。
[圖7]係顯示一系統之圖，該系統包含依據本發明之實施例的一編碼器或一解碼器及一通訊網路。
[圖8]為一用於實施本發明之一或更多實施例的計算裝置之概略方塊圖；[圖9]為繪示網路相機系統之圖；及[圖10]為繪示智慧型手機之圖。
圖1係相關於高效率視頻編碼(High Efficiency Video Coding(HEVC))視頻標準中所使用的編碼結構。視頻序列1係由一連串數位影像i所組成。各此等數位影像係由一或更多矩陣所表示。矩陣係數代表像素。
該序列之影像2可被劃分為切片3。切片可於某些例子中構成完整影像。這些切片被劃分為無重疊編碼樹單元(CTU)。編碼樹單元(CTU)是高效率視頻編碼(HEVC)視頻標準之基本處理單元且觀念上其結構係相應於數種先前視頻標準中所使用的巨集區塊單元。CTU亦有時被稱為最大編碼單元(LCU)。CTU具有亮度及色度成分部分，其成分部分之各者被稱為編碼樹區塊(CTB)。這些不同顏色成分未顯示於圖1中。
CTU通常係大小64x64像素。各CTU可接著使用四元樹分解而被疊代地劃分為較小的可變大小編碼單元(CU)5。
編碼單元為基本編碼元件且係由稱為預測單元(PU)及變換單元(TU)之兩種子單元所構成。PU或TU之最大大小係等於CU大小。預測單元係相應於針對像素值之預測的CU之分割。CU之各種不同分割為PU是可能的(如6所示)，包括分割為4個方形PU及兩不同的分割為2個矩形PU。變換單元為基本單元，其係接受使用DCT之空間變換。CU可根據四元樹表示7而被分割為TU。
各切片被嵌入一個網路抽象化層(NAL)單元中。此外，視頻序列之編碼參數被儲存在專屬NAL單元(稱為參數集)中。在HEVC及H.264/AVC中，兩種參數集NAL單元 被利用：第一，序列參數集(SPS)NAL單元，其係收集在整個視頻序列期間未改變的所有參數。通常，其係處置編碼輪廓、視頻框之大小及其他參數。第二，圖片參數集(PPS)NAL單元包括其可從一個影像(或框)改變至序列中之另一個的參數。HEVC亦包括視頻參數集(VPS)NAL單元，其含有描述位元流之整體結構的參數。VPS是一種以HEVC定義的新類型參數集，且應用於位元流之所有層。一層可含有多數時間子層，且所有版本1的位元流被限制於單一層。HEVC具有用於可擴縮性及多重視角之分層延伸，且這些將致能多數層，具有向後相容的版本1基礎層。
圖2繪示一資料通訊系統，其中本發明之一或更多實施例可被實施。資料通訊系統包含傳輸裝置(於此情況下為伺服器201)，其可操作以經由資料通訊網路200而傳輸資料流之資料封包至接收裝置(於此情況下為客戶終端202)。資料通訊網路200可為廣域網路(WAN)或區域網路(LAN)。此一網路可為(例如)無線網路(Wifi/802.11a或b或g)、乙太網路、網際網路或由數個不同網路所組成的混合網路。於本發明之特定實施例中，資料通訊系統可為數位電視廣播系統，其中伺服器201傳送相同的資料內容至多數客戶。
由伺服器201所提供的資料流204可由其表示視頻及音頻資料之多媒體資料所組成。音頻及視頻資料流可(於本發明之一些實施例中)由伺服器201個別地使用麥克風及相 機來擷取。於一些實施例中，資料流可被儲存在伺服器201上或者由伺服器201從另一資料提供器所接收、或者被產生在伺服器201上。伺服器201被提供有一用以編碼視頻及音頻流之編碼器，特別是用以提供用於傳輸之壓縮位元流，其為作為針對編碼器之輸入呈現的資料之更簡潔的表示。
為了獲得已傳輸資料之品質相對於已傳輸資料之量的較佳比例，視頻資料之壓縮可(例如)依據HEVC格式或H.264/AVC格式。
客戶202接收已傳輸位元流並解碼已重建位元流以將視頻影像再生於顯示裝置上並由揚聲器再生音頻資料。
雖然串流情境被考量於圖2之範例中，但應理解：於本發明之一些實施例中，介於編碼器與解碼器之間的資料通訊可使用媒體儲存裝置(諸如光碟)來履行。
於本發明之一或更多實施例中，視頻影像被傳輸以其代表補償偏移之資料以利應用至影像之已重建像素來提供已過濾像素於最終影像中。
圖3概略地繪示處理裝置300，其係組態成實施本發明之至少一實施例。處理裝置300可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。裝置300包含一連接至以下的通訊匯流排313：-中央處理單元311，諸如微處理器，標示為CPU；-唯讀記憶體307，標示為ROM，用以儲存供實施本發明之電腦程式； -隨機存取記憶體312，標示為RAM，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，經調適成記錄用以實施編碼數位影像的序列之方法及/或解碼位元流之方法所需的變數和參數，依據本發明之實施例；及-通訊介面302，連接至通訊網路303，待處理數位資料係透過該通訊網路來傳輸或接收。
選擇性地，設備300亦可包括以下組件：-資料儲存機構304(諸如硬碟)，用以儲存電腦程式及資料，該等電腦程式係用以實施本發明之一或更多實施例的方法，該資料係在本發明之一或更多實施例的實施期間所使用或產生的；-碟片306之碟片驅動305，該碟片驅動經調適成從碟片306讀取資料或將資料寫至該碟片上；-螢幕309，用以顯示資料及/或作用為與使用者之圖形介面，藉由鍵盤310或任何其他指向機構。
設備300可被連接至各種周邊，諸如(例如)數位相機320或麥克風308，各被連接至輸入/輸出卡(未顯示)以供應多媒體資料至設備300。
通訊匯流排提供介於設備300中所包括的或連接至該設備300的各種元件之間的通訊及可交互操作性。匯流排之表示是非限制性的；且特別地，中央處理單元可操作以將指令傳遞至設備300之任何元件，直接地或者藉由設備300之另一元件。
碟片306可被取代以任何資訊媒體，諸如(例如)光碟 (CD-ROM)(可寫入或不可寫入)、ZIP碟或記憶卡；及(以一般性術語)藉由資訊儲存機構，其可由微電腦或由微處理器所讀取、被集成(或不集成)入該設備、可能為可移除的且經調適成儲存一或更多程式，該等程式的執行係致能編碼數位影像之序列的方法及/或解碼位元流的方法，依據待實施之本發明。
可執行碼可被儲存於唯讀記憶體307中、於硬碟304上或者於可移除數位媒體(諸如，例如碟片306，如先前所述)上。依據變體，程式之可執行碼可藉由通訊網路303來接收，經由介面302，以被儲存於設備300(在被執行前)的儲存機構(諸如硬碟304)之一中。
中央處理單元311經調適成依據本發明以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機時，其被儲存於非揮發性記憶體(例如在硬碟304上或者在唯讀記憶體307中)中之程式或多數程式被轉移入隨機存取記憶體312，其接著含有程式或多數程式之可執行碼、以及用以儲存供實施本發明所需之變數和參數的暫存器。
於此實施例中，該設備為可編程設備，其係使用軟體以實施本發明。然而，替代地，本發明可被實施以硬體(例如，以特定應用積體電路或ASIC之形式)。
圖4繪示一種依據本發明之至少一實施例的編碼器之方塊圖。編碼器係由已連接模組所表示，各模組經調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之 形式)一種方法之至少一相應步驟，該方法係依據本發明之一或更多實施例以實施編碼影像序列之影像的至少一實施例。
數位影像i0至in 401之原始序列係由編碼器400接收為輸入。各數位影像係由一組樣本(已知為像素)所表示。
位元流410係由編碼器400所輸出，在編碼程序之實施後。位元流410包含複數編碼單元或切片，各切片包含切片標頭及切片本體，該切片標頭係用以傳輸其用來編碼該切片之編碼參數的編碼值，而該切片本體包含已編碼視頻資料。
輸入數位影像i0至in 401係由模組402劃分為像素之區塊。該等區塊係相應於影像部分且可有可變大小(例如，4x4、8x8、16x16、32x32、64x64、128x128像素且數個矩形區塊大小亦可被考量)。編碼模式係針對各輸入區塊來選擇。編碼模式之兩個家族被提供：基於空間預測編碼之編碼模式(內預測)、及基於時間預測之編碼模式(間編碼、合併、SKIP)。可能的編碼模式被測試。
模組403係實施內預測程序，其中待編碼的給定區塊係藉由預測子來預測，該預測子係從待編碼的該區塊附近之像素所計算。選定的內預測子以及介於給定區塊與其預測子之間的差異之指示被編碼以提供殘餘，假如內編碼被選擇的話。
時間預測係由移動估計模組404及移動補償模組405來實施。首先，來自一組參考影像416中的參考影像被選 擇，且該參考影像之一部分(亦稱為參考區域或影像部分，其為針對待編碼的給定區塊之最接近區域)係由移動估計模組404所選擇。移動補償模組405接著使用該選定區域以預測待編碼的區塊。介於選定參考區域與給定區塊(亦稱為殘餘區塊)之間的差異係由移動補償模組405所計算。選定參考區域係由移動向量所指示。
因此，於兩情況(空間及時間預測)下，殘餘係藉由從原始區塊減去該預測來計算。
於藉由模組403所實施的INTRA預測中，預測方向被編碼。於時間預測中，至少一移動向量被編碼。在由模組404、405、416、418、417所實施的間預測中，用以識別此移動向量之至少一移動向量或資料係針對時間預測來編碼。
相對於移動向量及殘餘區塊之資訊被編碼，假如間預測被選擇的話。為了進一步減少位元率，假設其移動為同質的，則移動向量係藉由相關於移動向量預測子之差異而被編碼。一組移動資訊預測子之移動向量預測子係由移動向量預測及編碼模組417從移動向量場418獲得。
編碼器400進一步包含選擇模組406，用於藉由應用編碼成本準則(諸如率-失真準則)來選擇編碼模式。為了進一步減少冗餘，由變換模組407對殘餘區塊應用變換(諸如DCT)，所獲得的已變換資料接著係藉由量化模組408而被量化且藉由熵編碼模組409而被熵編碼。最後，目前正被編碼之區塊的已編碼殘餘區塊被插入位元流410中。
編碼器400亦履行已編碼影像之解碼以產生用於後續影像之移動估計的參考影像。此致能編碼器及解碼器接收位元流以具有相同的參考框。反量化模組411履行已量化資料之反量化，接續以藉由反變換模組412之反變換。反內預測模組413使用預測資訊以判定應使用哪個預測子於給定區塊，而反移動補償模組414實際地將其由模組412所獲得的殘餘加至從該組參考影像416所獲得的參考區域。
接著由模組415應用後過濾以過濾像素之已重建框。於本發明之實施例中，SAO迴路過濾器被使用，其中補償偏移被加至已重建影像之已重建像素的像素值。
圖5繪示其可被用以從編碼器接收資料的解碼器60之方塊圖，依據本發明之實施例。解碼器係由已連接模組所表示，各模組經調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種由解碼器60所實施之方法的相應步驟。
解碼器60接收一包含編碼單元之位元流61，各編碼單元係由標頭及本體所組成，該標頭含有關於編碼參數之資訊而該本體含有已編碼視頻資料。VVC中之位元流的結構係參考圖6而被更詳細地描述於下。如相關於圖4所解釋，已編碼視頻資料被熵編碼，而移動向量預測子的指標被編碼(針對給定區塊)於預定數目的位元上。所接收的已編碼視頻資料係由模組62所熵解碼。殘餘資料接著由模組63所去量化，且接著由模組64應用反變換以獲得像素值。
指示編碼模式之模式資料亦被熵解碼；且根據該模 式，INTRA類型解碼或INTER類型解碼被履行在影像資料之已編碼區塊上。
在INTRA模式之情況下，INTRA預測子係由內預測模組65基於位元流中所指明的內預測模式來判定。
假如該模式為INTER，則移動預測資訊被提取自該位元流以找出由編碼器所使用的參考區域。移動預測資訊係由參考框指標及移動向量殘餘所組成。移動向量預測子被加至移動向量殘餘以由移動向量解碼模組70獲得移動向量。
移動向量解碼模組70將移動向量解碼應用於其由移動預測所編碼的各目前區塊。一旦移動向量預測子之指標(針對目前區塊)已被獲得，則與目前區塊相關聯的移動向量之實際值可被解碼並用以由模組66應用反移動補償。由已解碼移動向量所指示之參考影像部分被提取自參考影像68以應用反移動補償66。移動向量場資料71被更新以已解碼移動向量來用於後續已解碼移動向量之反預測。
最後，獲得已解碼區塊。由後過濾模組67應用後過濾。已解碼視頻信號69最後由解碼器60所提供。
圖6繪示範例編碼系統VVC中之位元流的組織，如在JVET_P2001-VE中所述。
依據VVC編碼系統之位元流61係由語法元素及經編碼資料之依序序列所組成。語法元素及經編碼資料被放置入網路抽象化層(NAL)單元601-608中。有不同的NAL單元類型。網路抽象化層提供用以將位元流囊封入不同協定的能 力，如RTP/IP，其代表即時協定/網際網路協定、ISO基礎媒體檔案格式等等。網路抽象化層亦提供用於封包損失恢復力的框架。
NAL單元被劃分成視頻編碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元含有實際經編碼視頻資料。非VCL NAL單元含有額外資訊。此額外資訊可為用於經編碼視頻資料之解碼所需的參數或者為可提升經解碼視頻資料之可用性的補充資料。NAL單元606相應於切片並構成位元流之VCL NAL單元。
不同NAL單元601-605相應於不同參數集，這些NAL單元係非VCL NAL單元。解碼器參數集(DPS)NAL單元601含有其針對給定解碼程序係恆定的參數。視頻參數集(VPS)NAL單元602含有針對完整視頻(及因此完整位元流)所界定的參數。DPS NAL單元可界定比VPS中之參數更靜態的參數。換言之，DPS之參數比VPS之參數更不頻繁地改變。
序列參數集(SPS)NAL單元603含有針對一視頻序列所界定的參數。特別地，SPS NAL單元可界定子圖片佈局及視頻序列之相關參數。與各子圖片相關聯的參數指明其施加至子圖片之編碼約束。特別地，其包含一旗標，該旗標指示其介於子圖片之間的時間預測被限制於來自相同子圖片之資料。另一旗標可致能或除能迴路過濾器橫跨子圖片邊界。
圖片參數集(PPS)NAL單元604含有針對一圖片或一圖 片群組所界定的參數。調適參數集(APS)NAL單元605含有用於迴路過濾器之參數，通常係調適性迴路過濾器(ALF)或整形器模型(或具有色度擴縮(LMCS)模型之亮度映射)或在切片階所使用的擴縮矩陣。
PPS之語法(如在VVC之目前版本中所提議)包含語法元素，其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。
PPS含有語法元素，其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區，所以能夠判定該組切片、磚之部分或磚，其屬於來自參數集NAL單元之子圖片。PPS如APS具有ID機制，以限制所傳輸之相同PPS的量。
PPS與圖片標頭之間的主要差異係其傳輸，PPS通常被傳輸給圖片群組，相較於PH被系統地傳輸給各圖片。因此PPS(相較於PH)含有其可針對數個圖片係恆定的參數。
位元流亦可含有補充增強資訊(SEI)NAL單元(未表示在圖6中)。在位元流中之這些參數集的發生週期係可變的。針對整個位元流所界定的VPS可在位元流中僅發生一次。反之，針對切片所界定的APS可針對各圖片中之各切片發生一次。實際上，不同切片可仰賴相同APS，而因此通常有比各圖片中之切片更少的APS。特別地，APS被界定在圖片標頭中。然而，ALP APS仍可被界定在切片標頭中。
存取單元定界符(AUD)NAL單元607分離兩個存取單元。存取單元係一組NAL單元，其可包含具有相同解碼時戳之一或多個經編碼圖片。選擇性NAL單元僅含有一個語法元素在目前VVC規格中：pic_type，此語法元素指示其在AU中之經編碼圖片的所有切片之slice_type值。假如pic_type被設為等於0，則AU僅含有內切片。假如等於1，則其含有P及I切片。假如等於2，則其含有B、P或內切片，如以下的表1所示。
Figure 109144276-A0305-02-0026-1
圖片標頭
PH NAL單元608係一圖片標頭NAL單元，其係群集一個經編碼圖片之一組切片所共有的參數。圖片可參考一或多個APS以指示AFL參數、整形器模型及擴縮矩陣(由圖片之切片所使用)。
VCL NAL單元606之各者含有切片。切片可相應於整個圖片或子圖片、單一磚或複數磚或磚之片段。例如，圖6之切片含有數個磚620。切片係由切片標頭610及原始位元組序列酬載RBSP 611(其含有經編碼成編碼區塊640之經編碼像素資料)。
圖片標頭被傳輸在各圖片之開始時。其可被解碼之相 關語法元素係有關於：
˙此圖片之使用、參考框與否
˙輸出框
˙子圖片使用(假如需要的話)
˙參考圖片列表(假如需要的話)
˙顏色平面(假如需要的話)
˙分割更新(假如撤銷旗標被致能的話)
˙差量QP參數(假如需要的話)
˙移動資訊參數(假如需要的話)
˙ALF參數(假如需要的話)
˙SAO參數(假如需要的話)
˙量化參數(假如需要的話)
˙LMCS參數(假如需要的話)
˙擴縮列表參數(假如需要的話)
˙圖片標頭延伸(假如需要的話)
所有這些參數之完整描述可被發現在JVET_P2001-VE中。
圖片標頭之此結構提供彈性，來提供其在特定圖片中可能需要的所有工具。如此一來，此結構基本上界定用於解碼一圖片(其經常為針對硬體解碼器之關鍵考量)的「最差情況」。然而，在此結構中有顯著的冗餘，其造成位元率之增加。
由本發明所處理之問題係相關於其相關於特定編碼模 式之此圖片標頭中的多組參數。針對某些組參數，多組語法元素被傳輸針對間切片及內切片兩者。此增加當一圖片中之所有切片均具有相同類型時的位元率。
表2顯示目前圖片標頭解碼語法中之這些參數係使用JVET_P2001-VE所提供的定義。在此表中，「...」代表不相關於此描述之語法元素。
Figure 109144276-A0305-02-0028-2
Figure 109144276-A0305-02-0029-3
Figure 109144276-A0305-02-0030-4
在以上標頭中之三組特定參數在某些情況下可係冗餘的。這三組被輪流考量如下。
第一組參數係相關於分割。以下係僅可用於間切片：
˙pic_log2_diff_min_qt_min_cb_inter_slice
˙pic_max_mtt_hierarchy_depth_inter_slice
˙pic_log2_diff_max_bt_min_qt_inter_slice
˙pic_log2_diff_max_tt_min_qt_inter_slice
而以下僅用於內切片：
˙pic_log2_diff_min_qt_min_cb_intra_slice_luma
˙pic_max_mtt_hierarchy_depth_intra_slice_luma
˙pic_log2_diff_max_bt_min_qt_intra_slice_luma
˙pic_log2_diff_max_tt_min_qt_intra_slice_luma
˙pic_log2_diff_min_qt_min_cb_intra_slice_chroma
˙pic_max_mtt_hierarchy_depth_intra_slice_chroma
˙pic_log2_diff_max_bt_min_qt_intra_slice_chroma
˙pic_log2_diff_max_tt_min_qt_intra_slice_chroma
這些參數係與各別地針對內及色度之間圖片所述之那 些參數同等。
如在表2中所界定，色度參數僅被致能在若旗標qtbtt_dual_tree_intra_flag(SPS階)被設為等於1。
如在表2中所描繪，這些分割參數(間、內、及色度)僅被更新在若partition_constraints_override_enabled_flag被致能以及若partition_constraints_override_flag被設為等於1，在圖片標頭中。
旗標partition_constraints_override_enabled_flag被傳輸在SPS中。
第二組參數係相關於差量QP參數。以下兩個參數僅需用於間切片：
˙pic_cu_qp_delta_subdiv_inter_slice
˙pic_cu_chroma_qp_offset_subdiv_inter_slice
而以下兩個參數係用於內切片：
˙pic_cu_qp_delta_subdiv_intra_slice
˙pic_cu_chroma_qp_offset_subdiv_intra_slice
pic_cu_qp_delta_subdiv_inter_slice and及pic_cu_qp_delta_subdiv_intra_slice僅被傳輸在若PPS之cu_qp_delta_enabled_flag被設為等於1。
以相同方式，pic_cu_chroma_qp_offset_subdiv_inter_slice及pic_cu_chroma_qp_offset_subdiv_intra_slice僅被解碼在若pps_cu_chroma_qp_offset_list_enabled_flag被致能於PPS中的話。
第三組參數係相關於移動參數且其僅被使用在間切片 中：
˙pic_temporal_mvp_enabled_flag
˙mvd_l1_zero_flag
˙pic_six_minus_max_num_merge_cand
˙pic_five_minus_max_num_subblock_merge_cand
˙pic_fpel_mmvd_enabled_flag
˙pic_disable_bdof_flag
˙pic_disable_dmvr_flag
˙pic_disable_prof_flag
˙pic_max_num_merge_cand_minus_max_num_triangle_cand
這些參數之各者可基於在SPS或PPS標頭處發信通知的「致能旗標」或「撤銷旗標」而被(或不被)解碼。然而，這些參數之各者總是被傳輸，其有助於增加位元率。
此位元率之增加特別顯著在當經編碼圖片僅使用一種類型的切片(間或內)時，因為數個參數被界定但永不被使用。
改善此問題的第一方式是發信通知圖片標頭中之編碼類型，且僅解碼相關於此編碼類型的語法元素。大部分圖片屬於單一編碼類型(例如，INTER或INTRA)，且如此一來此代表用以減少位元率的有效方式，由於不必要的語法元素。
圖片標頭中所指示之圖片類型
在一般性概念的一範例中，圖片類型語法元素「picture_type_pic_header」被傳輸在圖片標頭之開始處。
此圖片類型可被界定如下：
˙當圖片類型被設為等於I(或0)時，圖片之所有切片具有相同的切片類型，內(Intra)。
˙當圖片類型被設為等於P(或1)時，圖片之所有切片具有相同的切片類型，間P(單預測(Uni-prediction))。
˙當圖片類型被設為等於B(或2)時，圖片之所有切片具有相同的切片類型，間B(雙預測(Bi-prediction))。
解碼器，接收一指明picture_type_pic_header之圖片標頭，因此一開始判定相應於圖片類型的編碼模式並僅解碼相關於此編碼模式之語法元素(或忽略其僅相關於不同編碼模式之語法元素)。
於一範例中，picture_type_pic_header被用以致能及除能不需要的一些語法元素，藉由加諸條件在是否解碼圖片標頭之某些部分。
下表3顯示對於指示一種實施此條件式解碼之方式的圖片標頭之範例修改；其中已將顯著的改變畫底線。應注意：此表代表部分標頭且已為了清晰及簡潔的原因而被重新排序。較大的標頭(潛在地依不同順序)可實際上更適合。
Figure 109144276-A0305-02-0034-6
Figure 109144276-A0305-02-0035-7
「條件」相關於編碼類型且容許某些語法元素之條件式解碼，其中跳過不需要解碼的元素。此增進解碼性能。
條件之一範例係如下：
條件1：picture_type_pic_header==P OR picture_type_pic_header==B
條件2：picture_type_pic_header==I
條件3：picture_type_pic_header==B
當條件1為偽，則所有切片為內，以下語法元素不被解碼：
˙pic_max_mtt_hierarchy_depth_inter_slice
˙pic_log2_diff_max_bt_min_qt_inter_slice
˙pic_log2_diff_max_tt_min_qt_inter_slice
˙pic_cu_qp_delta_subdiv_inter_slice
˙pic_cu_chroma_qp_offset_subdiv_inter_slice
˙pic_temporal_mvp_enabled_flag
˙mvd_l1_zero_flag
˙pic_six_minus_max_num_merge_cand
˙pic_five_minus_max_num_subblock_merge_cand
˙pic_fpel_mmvd_enabled_flag
˙pic_disable_bdof_flag
˙pic_disable_dmvr_flag
˙pic_disable_prof_flag
˙pic_max_num_merge_cand_minus_max_mum_triangle_cand
當條件2為偽，則所有切片為間，以下語法元素不被解碼：
˙pic_log2_diff_min_qt_min_cb_intra_slice_luma
˙pic_max_mtt_hierarchy_depth_intra_slice_luma
˙pic_log2_diff_max_bt_min_qt_intra_slice_luma
˙pic_log2_diff_max_tt_min_qt_intra_slice_luma
˙pic_log2_diff_min_qt_min_cb_intra_slice_chroma
˙pic_max_mtt_hierarchy_depth_intra_slice_chroma
˙pic_log2_diff_max_bt_min_qt_intra_slice_chroma
˙pic_log2_diff_max_tt_min_qt_intra_slice_chroma
˙pic_cu_qp_delta_subdiv_intra_slice
˙pic_cu_chroma_qp_offset_subdiv_intra_slice
當條件3為偽，則所有切片為NOT B圖片，以下語法 元素不被解碼：
˙mvd_l1_zero_flag
˙pic_disable_bdof_flag
˙pic_disable_dmvr_flag
˙pic_max_num_merge_cand_minus_max_num_triangle_cand
如此一來，僅有用於I、P或B圖片之特定語法元素被解碼自圖片標頭，因此其減少各圖片之位元率。
致能/除能切片標頭中之語法元素
於一範例中，picture_type_pic_header被用以致能或除能不需要的一些語法元素。此被顯示在表4 中之經修改圖片標頭中。
在此表中，slice_type永不被傳輸。且其值已由語法元素picture_type_pic_header所取代。基於此旗標，num_ref_idx_active_override_flag可被傳輸在若圖片僅含有間切片，且永不針對內而傳輸。以相同方式，表num_ref_idx_active_minus1[i]不針對含有內切片之圖片來解碼。
參數num_ref_idx_active_override_flag及num_ref_idx_active_minus1[i]兩者係相關於參考框之量。Num_ref_idx_active_override_flag發信通知其代表參考框數目num_ref_idx_active_minus1[i]之參數是否需被解碼。
類似地，cabac_init_flag不被解碼在當圖片含有內切片時。此參數係相關於初始化CABAC背景。
Collocated_from_l0_flag、collocated_ref_idx不被解 碼在當圖片含有內切片時，這些參數相關於針對時間移動預測子之共置參考框的選擇。
最後，pred_weight_table( )不被解碼在當圖片含有內切片時。
此實施例之優點在於其相關於此切片類型之傳輸的位元率被節省(相較於當前設計)。
Figure 109144276-A0305-02-0038-9
Figure 109144276-A0305-02-0039-10
Figure 109144276-A0305-02-0040-11
於一特定有利的範例中，以上特徵可被組合。在此情況下，picture_type_pic_header被用以致能及除能在圖片標頭中所不需要的語法元素，而slice_type不被指明在切片標頭中且其係由picture_type_pic_head所取代以解碼或不解碼切片標頭中之一些語法元素。
圖片標頭中之切片類型約束
此特徵代表對於上述範例之修改，其中取代picture_type_pic_header，語法元素「pic_slice_type_constraint」被傳輸在圖片標頭之開始處。此語法元素指示對於圖片內之各切片中所使用的編碼模式之約束。此不同於picture_type_pic_header，因為其不一定要求其所有切片均相同，並容許較寬範圍的值。
pic_slice_type_constraint之範例值及相應定義係如下：
˙等於0指示其圖片的所有切片均為內
˙等於1指示其圖片的所有切片均為間
˙等於2指示其圖片的切片可具有不同類型兩個進一步定義可被加入：
˙等於3指示其圖片的所有切片均為間B
˙等於4指示其圖片的所有切片均為間P於一替代範例中，pic_slice_type_constraint定義係界定如下：
˙等於0指示其圖片的所有切片均為間B等於1指示
˙等於1指示其圖片的所有切片均為間P
˙等於2指示其圖片的所有切片均為內
˙等於3指示其圖片的切片可具有不同類型
˙等於4係其圖片的所有切片均為間
在此範例中，不同圖片類型約束係依據一視頻序列之最可攜至最不可攜設定而被排序，以利減少用以發信通知pic_slice_type_constraint所需之位元的一般數目。確實，pic_slice_type_constraint可被編碼以一元碼或一元max或Golomb碼。因此，最好是依據其機率以排序pic_slice_type_constraint值。
可被併入上述列表中之pic_slice_type_constraint的其他特性包括：
-圖片係瞬時解碼器刷新(Instantaneous Decoder Refresh,IDR)圖片
-圖片係清除隨機存取(Clean Random Access,CRA)圖片
-圖片係逐漸解碼刷新(Gradual Decoding Refresh,GDR) 圖片
_圖片係非-內隨機存取點(非-IRAP)、非-GDR圖片且僅含有I-切片
-圖片係非-IRAP、非-GDR圖片且僅可含有P-及I-切片
-圖片係非-IRAP、非-GDR圖片且含有B-、P-、及/或I-切片之任一者
此等值可用於其中IRAP及GDR圖片係更相關的串流應用。確實，這些圖片提供內隨機存取點，其可被用以改變(例如)該序列之第一圖片或同步化實況應用之串流，等等...
確實，串流應用更可能需要至少一個內切片以「刷新」網路封裝喪失之事件中的串流。在一簡單實施方式中，此參照可被履行在圖片寬的階，以避免具有混合編碼類型之圖片。
此範例提供如較早實施例之相同位元率減少，但藉由直接經由圖片標頭而在相同圖片中容許經不同編碼的切片以容許解碼器之更大的彈性。
如針對以上關於pic_type_pic_header之範例，pic_slice_type_constraint被用以致能及除能不需要的一些語法元素。此相應於表3之設定條件1、2及3如下：
條件1：pic_slice_type_constraint !=0
條件2：pic_slice_type_constraint==0 OR pic_slice_type_constraint==2
條件3：pic_slice_type_constraint==3 OR pic_slice_type_constraint==2
提供額外增進之額外特徵，切片標頭之切片類型可被推論及/或解碼以比目前設計更少的位元。
如在表5中所描繪，slice_type僅當pic_slice_type_constraint被設為等於2時被解碼。在該情況下，slice_type可具有3個值I、P或B之一。當pic_slice_type_constraint被設為等於1時，則slice_type被部分地解碼。確實，歸因於pic_slice_type_constraint，確信其切片為間(P或B)，因此僅有一個位元需被解碼以得知slice_type是P或B。
當pic_slice_type_constraint被設為等於0時，確信其slice_type等於I，當pic_slice_type_constraint被設為等於0，slice_type等於B。否則其被設為等於P。
相較於表3中所示之範例，slice_type不被移除但其解碼係經調適。
此特徵之優點在於其slice_type之位元率可被減少在當一框之所有切片均為內或所有切片均為間時。
Figure 109144276-A0305-02-0043-12
Figure 109144276-A0305-02-0044-13
在一個進一步修改中，pic_slice_type_constraint被用以致能及除能在圖片標頭中所不需要的一些語法元素，且切片標頭之slice_type被完全地或部分地推論，基於pic_slice_type_constraint值。
AU定界符NAL單元之圖片類型「pic_type」可依據pic_slice_type_constraint之值而被設定。因此，當pic_type被設為等於1，則此層之所有pic_slice_type_constraint可被設為等於0。因此，當pic_type被設為等於2(P、I)，則此層之所有pic_slice_type_constraint可為等於0或3。否則，此層之所有pic_slice_type_constraint可具有任何值(例如，以上所討論的5個值之一)。
對於AU NAL之修改
當使用上述特徵時，則當串流僅含有一個層時不是一定要解碼AU定界符NAL單元的語法元素「pic_type」、或 其解碼係取決於以VPS或SPS所傳輸之旗標而為選擇性。確實，在該情況下，傳輸此語法元素是多餘的，因為類似資訊係存在圖片標頭中。
該特徵有助於位元率減少。
選擇性地，當串流僅含有一層且係基於圖片標頭中之資訊而被推論時，AU定界符NAL單元不被解碼。確實，在該情況下，AU定界符中所含有的資訊是不需要的，因為其對於圖片標頭之語法元素是多餘的。此特徵進一步有助於位元率減少。
用以設定經解碼的該組語法元素之AU NAL pic_type
在一個經簡化的變體中，AU NAL單元之pic_type被用以判定在圖片標頭中所解碼的該組語法元素。在此變體中，並無圖片類型或圖片類型約束被設定在圖片標頭中。但在表3中所描繪之條件「條件1、條件2、條件3」係基於AU NAL單元之pic_type(當其被發信通知時)來判定。因此，圖片標頭之解碼係取決於圖片中之切片的切片編碼模式(pic_type)，且該切片編碼模式被判定在比圖片標頭更高的階。
「條件」(在此範例中)相關於pic_type之編碼類型且容許某些語法元素之條件式解碼(如針對先前實施例所界定者)，其中跳過不需要解碼的元素。此增進解碼性能。
條件之一範例係如下：
條件1：pic_type==1 OR pic_type==2
條件2：pic_type==0
條件3：pic_type==2
當AU NAL單元之pic_type不被發信通知時，AU NAL單元之pic_type被推論為等於2。
經合併語法元素
間與內模式中所使用的類似語法元素可被合併，以減少圖片標頭中之元素的冗餘及/或減少其在解碼前需要驗證之條件的數目。在一範例中，圖片標頭僅含有對於待使用編碼模式係跨平台的語法元素。亦即-相同語法元素可被使用在間或內中。此係有可能的，因為大部分圖片僅含有其需要一種類型(間或內)之編碼模式的切片而如此一來不需要兩組語法元素。
合併內與間語法元素因此避免這些語法元素之冗餘編碼，特別當一圖片中之所有切片具有相同類型(I、P或B)時。當間與內切片兩者均存在圖片中時，彈性是較少的，但對於內切片之影響可藉由調適編碼選擇而被補償。
僅差別在「編碼類型」標籤的語法元素特別適於合併。
當依循如以上所討論的相同設計時，以下語法元素可被合併如在表6中所示：
Figure 109144276-A0305-02-0047-14
表7提供此圖片標頭語法表之此簡化的範例
Figure 109144276-A0305-02-0047-15
Figure 109144276-A0305-02-0048-16
Figure 109144276-A0305-02-0049-17
語法元素之共用值
在一替代方式中，各對參數仍存在，且共用值被解碼在圖片標頭中，而在當切片為內(如在切片標頭處所界定)時內切片之值被設為等於共用值，且在當切片為間時間切片之值被設為等於共用值。
在一額外範例中，至少一旗標係存在上階(PPS、SPS)，其指示內切片及/或間切片是否使用共用值或者留存在上值(SPS、PPS)處所提供的值。此容許增加的彈性。
在一額外範例中，內值可被更新在切片階，取決於切片標頭中之變數。
例如，針對內之切片標頭中的參數為：
˙slice_log2_diff_min_qt_min_cb_intra_slice_luma
˙slice_max_mtt_hierarchy_depth_intra_slice_luma
˙slice_log2_diff_max_bt_min_qt_intra_slice_luma
˙slice_log2_diff_max_tt_min_qt_intra_slice_luma
˙slice_log2_diff_min_qt_min_cb_intra_slice_chroma
˙slice_max_mtt_hierarchy_depth_intra_slice_chroma
˙slice_log2_diff_max_bt_min_qt_intra_slice_chroma
˙slice_log2_diff_max_tt_min_qt_intra_slice_chroma
˙slice_cu_qp_delta_subdiv_intra_slice
˙slice_cu_chroma_qp_offset_subdiv_intra_slice
相較於初始範例之優點是彈性的增加。確實，利用此額外特徵，可獲得如當前設計之相同彈性。並藉由針對各切片調適這些參數而獲得更多彈性。
在PPS/SPS之撤銷旗標
為了提供額外彈性，內與間值兩者可被傳送在切片標頭中。這些參數可被(或不被)發信通知在切片標頭中，取決於在PPS及/或SPS或圖片標頭中所傳輸之一或多個撤銷旗標，用以減少切片標頭內部之這些語法元素所需的額外位元率。
例如，假如參數pic_log2_diff_min_qt_min_cb_slice被傳輸在圖片標頭中，撤銷旗標log2_diff_min_qt_min_cb_slice_inter_override_flag被解碼以判定slice_log2_diff_min_qt_min_cb_inter_slice_luma值是否被更新在間切片中。當pic_log2_diff_min_qt_min_cb_slice不被解碼時，此參數將不被更新在間切片中且log2_diff_min_qt_min_cb_slice_inter_override_flag被設為等 於0。
以類似方式，撤銷旗標log2_diff_min_qt_min_cb_slice_intra_override_flag可針對內切片而被傳輸。
選擇性地，當該等參數被傳輸在切片標頭中時，其值係由圖片標頭上之其同等語法元素的值所約束。更精確地，這些值被限制以避免複雜度之增加。
例如，在切片標頭中之slice_log2_diff_min_qt_min_cb_intra_slice_luma被限制至在圖片標頭中所傳輸之pic_log2_diff_min_qt_min_cb_slice的值。更精確地，slice_log2_diff_min_qt_min_cb_intra_slice_luma不得比pic_log2_diff_min_qt_min_cb_slice更差。此限制之效果在於其該切片不得使用比圖片標頭中所界定之大小更小的區塊大小。
此範例之優點在於其解碼器可針對各圖片設定其複雜度參數。此複雜度接著不需針對各新切片而增加。
為了進一步減少所需之位元的數目，當切片語法元素係由圖片標頭值中之其同等語法元素所約束時，其值可由經編碼的最後值來預測。
應理解：以上所述之語法元素的「合併」可與其他特徵組合以減少不同語法元素之總數。舉例而言，在此一組合中，圖片標頭將含有對於其總是被解碼之編碼模式係跨平台的語法元素(亦即，「經合併語法元素」)，編碼類型(例如，pic_type_pic_header或pic_slice_type_constraint)之指示，及 接著其條件式基於編碼類型而解碼的語法元素。
僅間參數之複製
在進一步範例中，僅相關於內切片之所有參數被移除自圖片標頭。表8闡明此範例。相較於當前設計，以下語法元素不存在圖片標頭中：
˙pic_log2_diff_min_qt_min_cb_intra_slice_luma
˙pic_max_mtt_hierarchy_depth_intra_slice_luma
˙pic_log2_diff_max_bt_min_qt_intra_slice_luma
˙pic_log2_diff_max_tt_min_qt_intra_slice_luma
˙pic_log2_diff_min_qt_min_cb_intra_slice_chroma
˙pic_max_mtt_hierarchy_depth_intra_slice_chroma
˙pic_log2_diff_max_bt_min_qt_intra_slice_chroma
˙pic_log2_diff_max_tt_min_qt_intra_slice_chroma
˙pic_cu_qp_delta_subdiv_intra_slice
˙pic_cu_chroma_qp_offset_subdiv_intra_slice
在此範例中，這些經省略語法元素被設定在PPS及/或SPS中。此範例之優點是相關於圖片標頭之位元率的減少。確實，在視頻序列中，有比內切片更多的間切片，因為時間相關顯著地高於空間相關。因此，在圖片標頭中，最少使用的語法參數是那些僅相關於內切片者。此之影響對於僅含有間切片之圖片是最大的，因為間切片之位元率顯著地低於相同影像面積及品質之內切片的位元率。
Figure 109144276-A0305-02-0053-18
Figure 109144276-A0305-02-0054-19
替代地，上述內參數被傳輸在圖片標頭中，當該序列 僅含有內圖片時(如在該序列標頭或SPS中所發信通知者)。此實施例之優點在於其內參數可經調適針對全內序列，其中此調適之影響應為更重要的。
類似地，當該序列僅含有內圖片時，該組間語法元素不被傳輸。優點在於沒有相關於其未被使用之間參數的額外位元率。
在一額外實施例中，該組內語法元素被傳輸在切片標頭中，當切片類型為內時。此實施例之優點是相較於主實施例之更大的彈性，因為內可經調適。此外，針對內切片之調適的對位元率之影響較低，因為較少的內切片被傳輸在視頻中。
本質上，圖片標頭被修改以移除內/間元素，當判定該圖片僅具有在這些模式之一中編碼的切片時。以此一方式，圖片標頭僅含有相關於用於整個圖片之編碼模式的語法元素。針對大部分圖片，此將是間編碼(因為間圖片比內圖片更常見)，因此為了簡化此選項可被實施在所有實例中。假如圖片具有不同編碼模式之切片，則該切片/圖片之語法元素整體可被決定自不同標頭(諸如切片標頭)。
例如，針對內之切片標頭中的參數為：
˙slice_log2_diff_min_qt_min_cb_intra_slice_luma
˙slice_max_mtt_hierarchy_depth_intra_slice_luma
˙slice_log2_diff_max_bt_min_qt_intra_slice_luma
˙slice_log2_diff_max_tt_min_qt_intra_slice_luma
˙slice_log2_diff_min_qt_min_cb_intra_slice_chroma
˙slice_max_mtt_hierarchy_depth_intra_slice_chroma
˙slice_log2_diff_max_bt_min_qt_intra_slice_chroma
˙slice_log2_diff_max_tt_min_qt_intra_slice_chroma
˙slice_cu_qp_delta_subdiv_intra_slice
˙slice_cu_chroma_qp_offset_subdiv_intra_slice
為了減少複雜度，當參數被傳輸在內切片中時，其值可由其同等間語法元素之值所約束。更精確地，這些值被限制以避免複雜度之增加。
例如，在切片標頭中之slice_log2_diff_min_qt_min_cb_intra_slice_luma被限制至在圖片標頭中所傳輸之pic_log2_diff_min_qt_min_cb_inter_slice的值。更精確地，在目前切片中之最小QT大小(其提供最小區塊大小)值不得比PH中所界定之最小QT大小值更差。因此，slice_log2_diff_min_qt_min_cb_intra_slice_luma不得比pic_log2_diff_min_qt_min_cb_slice更差。
此特徵之優點在於其解碼器可針對各圖片設定其複雜度參數；此複雜度於是不需要針對各新切片增加，因為「最差情況」複雜度被設定在圖片標頭中。
此約束亦可應用，假如間參數可被傳輸在切片標頭中的話。
為了進一步減少經編碼之位元的數目，當切片語法元 素係由圖片標頭值中之其同等語法元素間值所約束時，其值可由其同等語法元素間值來預測。例如，值可被解碼自且slice_log2_diff_min_qt_min_cb_intra_slice_luma等於此值+pic_log2_diff_min_qt_min_cb_inter_slice
為了提供額外彈性，該組內語法元素被傳輸在切片標頭中，當切片類型為內時以及撤銷旗標是否發信通知其使用。撤銷旗標被發信通知在SPS或PPS階。且額外撤銷旗標可被傳輸在切片標頭中，成為這些參數之圖片標頭中的目前撤銷旗標。
內/間之撤銷旗標
僅針對內或間切片所界定的圖片標頭語法元素可被(或不被)解碼，取決於內及間特有的一或多個撤銷旗標。此容許較大的彈性而同時避免解碼不需要的語法元素。表9闡明此特徵。
在此表中，相關於分割之語法元素係針對內及間而被分離地群集。Partition_constraints_override_enabled_flag係由兩個語法元素所取代：被解碼在SPS中之partition_constraints_override_enabled_flag_inter及partition_constraints_override_enabled_flag_intra。
基於partition_constraints_override_enabled_flag_intra，新旗標語法元素partition_constraints_override_flag_intra被解碼而假如其被設為等於1，則針對內之以下分割語法元素係依據其他約束而被解碼或可被解碼：
˙pic_log2_diff_min_qt_min_cb_intra_slice_luma
˙pic_max_mtt_hierarchy_depth_intra_slice_luma
˙pic_log2_diff_max_bt_min_qt_intra_slice_luma
˙pic_log2_diff_max_tt_min_qt_intra_slice_luma
˙pic_log2_diff_min_qt_min_cb_intra_slice_chroma
˙pic_max_mtt_hierarchy_depth_intra_slice_chroma
˙pic_log2_diff_max_bt_min_qt_intra_slice_chroma
˙pic_log2_diff_max_tt_min_qt_intra_slice_chroma
當撤銷旗標被設為等於0時，在SPS中所設之預設值被用以設定這些值。
以相同方式，partition_constraints_override_flag_inter被解碼，假如相關撤銷旗標在SPS中被設為等於1的話。假如此圖片標頭語法元素為真，則針對間之分割語法元素被使用。
˙pic_log2_diff_min_qt_min_cb_inter_slice
˙pic_max_mtt_hierarchy_depth_inter_slice
˙pic_log2_diff_max_bt_min_qt_inter_slice
˙pic_log2_diff_max_tt_min_qt_inter_slice
當撤銷旗標被設為等於0時，在SPS中所設之預設值被用以設定這些值。
以相同方式，針對語法元素相關的差量QP，cu_qp_delta_enabled_flag被分裂成2個旗標，一個針對內及一個針對間：cu_qp_delta_enabled_flag_intra、cu_qp_delta_enabled_flag_inter。這些旗標被傳輸在PPS或SPS中，且其被傳輸在僅若no_qp_delta_constraint_flag等於0。
pps_cu_chroma_qp_offset_list_enabled_flag被分裂成兩個旗標，一個針對內及一個針對間：pps_cu_chroma_qp_offset_list_enabled_flag ag_intra、pps_cu_chroma_qp_offset_list_enabled_flag_inter。這些旗標被傳輸在PPS中並取代pps_cu_chroma_qp_offset_list_enabled_flag。
針對相關於移動參數之圖片標頭語法元素，motion_parameters_override_enabled_flag被傳輸在SPS中。假如其被致能，則motion_parameters_override_flag旗標被解碼。假如其為真，則相關於這些參數之所有語法元素可被解碼。當其為偽時，這些參數可具有其相應PPS或SPS值之值。針對該等旗標，該值可僅為SPS或PPS值如例如：
pic_temporal_mvp_enabled_flag= sps_temporal_mvp_enabled_flag
mvd_l1_zero_flag= !pps_mvd_l1_zero_idc
pic_fpel_mmvd_enabled_flag= sps_fpel_mmvd_enabled_flag
pic_disable_bdof_flag= sps_bdof_pic_present_flag
pic_disable_dmvr_flag =sps_dmvr_pic_present_flag
pic_disable_prof_flag =sps_prof_pic_present_flag
在一範例中，至少一預設值可被傳輸在SPS或PPS標頭而至這些預設值之經界定一者。
針對非旗標值：設定在SPS或PPS中之最大值可被使用，例如：Pic_six_minus_max_num_merge_cand及pic_max_num_merge_cand_minus_max_num_triangle_cand可 各別地根據pps_six_minus_max_num_merge_cand_plus1及pps_max_num_merge_cand_minus_max_num_triangle_cand_plu。
針對pic_five_minus_max_num_subblock_merge_cand無定義在SPS階，但預設值可由5_(sps_sbtmvp_enabled_fla && pic_temporal_mvp_enabled_flag)來設定
在實施例中，SPS及/或PPS值被傳輸以固定此預設值。
在一額外實施例中，特定參數可被傳輸在SPS或PPS標頭中以設定此值
使用撤銷旗標之優點係如以上所討論般相同，但其提供更多彈性(以傳輸並解碼一旗標為代價)，因為假如指定的撤銷旗標已被設為等於真則內參數可被傳輸。
Figure 109144276-A0305-02-0060-20
Figure 109144276-A0305-02-0061-21
Figure 109144276-A0305-02-0062-22
Figure 109144276-A0305-02-0063-23
應注意：這些新撤銷旗標之位置可被修改，例如，間旗標可被移動高於內旗標。此可為有利的，因為更多圖片使用間編碼，因此此旗標可為更相關的。
類似地，先前旗標partition_constraints_override_flag可被保留並檢查以決定間或內旗標是否亦應被檢查。
在一實施例中，兩個撤銷旗標被傳送在這些不同語法元素之前。一個指明間元素是否為撤銷而一個指明內元素被撤銷。這些撤銷旗標可已被界定以在上階中之相同方式。
相較於先前範例，需要較少的撤銷旗標。
撤銷旗標及經合併語法元素
特別令人關注的組合係使用撤銷旗標(例如，表9)與經合併語法元素(例如，表6 )的組合。此外，一些參數可被移除自如以上所討論的圖片標頭(例如，表8)。
例如，可被合併的語法元素被合併。cu差量QP參數以及相關於內與間亮度的分割旗標在該情況下是特別令人關 注的。否則，色度分割參數可被移除如上所述，且移動參數可根據一或多個撤銷旗標而被(或不被)設定。表10顯示此一組合之範例：
Figure 109144276-A0305-02-0065-25
Figure 109144276-A0305-02-0066-26
應理解：上述特徵可彼此組合來提供。如以上所討論的特定組合，如此做可提供適於特定實施方式的特定優點；例如，增加的彈性、或指明「最差情況」範例。在其他範例中，複雜度需求可具有(例如)比位元率減少更高的優先順序，且如此一來特徵可被個別地實施。
本發明之實施方式
圖7顯示一種系統191、195，其包含編碼器150或解碼器100之至少一者以及通訊網路200，依據本發明之實施例。依據一實施例，系統195係用於處理並提供內容(例如，用於顯示/輸出或串流視頻/音頻內容之視頻及音頻內容)給使用者，其得以存取至解碼器100，例如透過包含解碼器100之使用者終端或可與解碼器100通訊之使用者終端 的使用者介面。此一使用者終端可為電腦、行動電話、平板或者能夠提供/顯示(經提供/經串流)內容給使用者之任何其他類型的裝置。系統195經由通訊網路200以獲得/接收位元流101(以連續流或信號之形式-例如，當較早視頻/音頻被顯示/輸出時)。依據一實施例，系統191係用於處理內容並儲存經處理內容，例如用於在稍後時間顯示/輸出/串流之經處理視頻及音頻內容。系統191獲得/接收包含影像151之原始序列的內容，其被編碼器150接收並處理(包括利用依據本發明之解塊過濾器的過濾)，且編碼器150產生位元流101，其將經由通訊網路191而被通訊至解碼器100。位元流101被以大量方式接著通訊至解碼器100，例如其可由解碼器150所事先產生並當作資料而被儲存在通訊網路200中之儲存設備中(例如，在伺服器或雲端儲存上)直到使用者從該儲存設備請求該內容(亦即，位元流資料)，此刻資料係從該儲存設備被通訊/串流至解碼器100。系統191亦可包含內容提供設備，用於提供/串流至使用者(例如，藉由傳遞資料給使用者介面以供顯示在使用者終端上)，用於儲存設備中所儲存之內容的內容資訊(例如，內容之名稱及用於識別、選擇及請求該內容的其他元/儲存位置資料)，並用於接收且處理針對一內容之使用者請求以致其該請求的內容可從儲存設備被遞送/串流至使用者終端。替代地，編碼器150產生位元流101並直接將其通訊/串流至解碼器100，如且當使用者請求該內容時。解碼器100接著接收位元流101(或信號)並利用依據本 發明之解塊過濾器來履行過濾，以獲得/產生視頻信號109及/或音頻信號，其接著由使用者終端所使用以提供該請求的內容給使用者。
依據本發明之方法/程序的任何步驟或文中所述的功能可被實施以硬體、軟體、韌體、或其任何組合。假如以軟體實施，則該等軟體/功能可被儲存在或傳輸透過、成為一或多個指令或碼或程式、或電腦可讀取媒體，且被執行以一或多個基於硬體的處理單元(諸如可編程計算機器)，其可為PC(「個人電腦」)、DSP(「數位信號處理器」)、電路、電路系統、處理器及記憶體、通用微處理器或中央處理單元、微控制器、ASIC(「特定應用積體電路」)、場可編程邏輯陣列(FPGA)、或者其他同等集成或離散邏輯電路。因此，如文中所使用之術語「處理器」可指稱前述結構之任一者或者適於文中所述之技術的實施之任何其他結構。
本發明之實施例亦可由多種裝置或設備來實現，包括無線手機、積體電路(IC)或一組JC(例如，晶片組)。各種組件、模組、單元被描述在文中以闡明其組態成履行那些實施例之裝置/設備的功能性態樣，但不一定需要由不同硬體單元來實現。反之，各種模組/單元可被組合在編碼解碼器硬體單元中或者由互操作硬體單元之集合來提供，包括一或多個處理器聯合適當的軟體/韌體。
本發明之實施例可由一種系統或設備之電腦來實現，該電腦係讀出並執行在儲存媒體上所記錄的電腦可執行指 令(例如，一或多個程式)以履行上述實施例之一或多者的模組/單元/功能；及/或其包括一或多個處理單元或電路以履行上述實施例之一或多者的功能；以及可由一種由系統或設備之電腦所履行的方法來實現，藉由(例如)從儲存媒體讀出並執行電腦可執行指令以履行上述實施例之一或多者的功能及/或控制一或多個處理單元或電路來履行上述實施例之一或多者的功能。電腦可包括分離電腦或分離處理單元的網路以讀出並執行電腦可執行指令。電腦可執行指令可被提供至電腦，例如，從電腦可讀取媒體(諸如通訊媒體)，經由網路或有形儲存媒體。通訊媒體可為信號/位元流/載波。有形儲存媒體係「非暫態電腦可讀取儲存媒體」，其可包括(例如)硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、分散式計算系統之儲存、光碟(諸如光碟(CD)、數位多功能光碟(DVD)、或藍光光碟(BD)TM)、快閃記憶體裝置、記憶卡，等等之一或多者。步驟/功能之至少一些亦可被實施以硬體，藉由機器或專屬組件，諸如FPGA(「場可編程閘極陣列」)或ASIC(「特定應用積體電路」)。
圖8為一用於實施本發明之一或更多實施例的計算裝置1300之概略方塊圖。計算裝置1300可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。計算裝置1300包含一連接至以下的通訊匯流排：-中央處理單元(CPU)1301，諸如微處理器；-隨機存取記憶體(RAM)1302，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，經調適成 記錄用以實施方法所需的變數和參數，該方法係依據本發明之實施例以編碼或解碼影像之至少部分，其記憶體容量可藉由一連接至(例如)擴充埠之選擇性RAM來擴充；-唯讀記憶體(ROM)1303，用以儲存供實施本發明之實施例的電腦程式；-網路介面(NET)1304，通常連接至通訊網路，待處理數位資料係透過該網路介面來傳輸或接收。網路介面(NET)1304可為單一網路介面，或者由一組不同網路介面所組成(例如有線及無線介面、或者不同種類的有線或無線介面)。資料封包被寫入至網路介面以供傳輸或者從網路介面讀取以供接收，在CPU 1301中所運行之軟體應用程式的控制下；-使用者介面(UI)1305可用於從使用者接收輸入或者用以顯示資訊給使用者；-硬碟(HD)1306，可被提供為大量儲存裝置；-輸入/輸出模組(IO)1307可用於接收/傳送資料自/至外部裝置，諸如視頻來源或顯示器。可執行碼可被儲存於ROM 1303中、於HD 1306上或者於可移除數位媒體(諸如，例如碟片)上。依據變體，程式之可執行碼可藉由通訊網路來接收，經由NET 1304，以儲存於通訊裝置1300的儲存機構(諸如HD 1306)之一中，在執行之前。CPU 1301經調適成依據本發明之實施例以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機之後，CPU 1301能夠執行相關於軟體應用程式之來自主RAM記憶體1302的指令，在那些指令已從(例如)程式ROM 1303或HD 1306載入之後。此一軟體應用程式(當由CPU 1301所執行時)係致使 依據本發明之方法的步驟被履行。
亦應理解：依據本發明之另一實施例，一種依據前述實施例之解碼器被提供於使用者終端，諸如電腦、行動電話(蜂巢式電話)、平板或任何其他類型的裝置(例如，顯示設備)，其能夠提供/顯示內容給使用者。依據又另一實施例，一種依據前述實施例之編碼器被提供於一種影像擷取設備，其亦包含相機、視頻相機或網路相機(例如，閉路電視或視頻監視相機)，其係擷取並提供內容給編碼器來編碼。兩個此類範例係參考圖9及10而被提供於下。
網路相機
圖9為一圖，其繪示網路相機系統2100，包括網路相機2102及客戶設備2104。
網路相機2102包括成像單元2106、編碼單元2108、通訊單元2110、及控制單元2112。
網路相機2102與客戶設備2104被相互連接以能夠經由網路200而彼此通訊。
成像單元2106包括透鏡及影像感測器(例如，電荷耦合裝置(CCD)或互補金氧半導體(CMOS))，並擷取物件之影像且根據該影像以產生影像資料。此影像可為靜止影像或視頻影像。
編碼單元2108係藉由使用上述的該編碼方法以編碼影像資料。
網路相機2102之通訊單元2110將其由編碼單元2108所 編碼的已編碼影像資料傳輸至客戶設備2104。
再者，通訊單元2110從客戶設備2104接收命令。該等命令包括用以設定編碼單元2108之編碼的參數之命令。
控制單元2112依據由通訊單元2110所接收的命令以控制網路相機2102中之其他單元。
客戶設備2104包括通訊單元2114、解碼單元2116、及控制單元2118。
客戶設備2104之通訊單元2114傳輸命令至網路相機2102。
再者，客戶設備2104之通訊單元2114從網路相機2102接收已編碼影像資料。
解碼單元2116係藉由使用上述的該解碼方法以解碼該經編碼影像資料。
客戶設備2104之控制單元2118依據由通訊單元2114所接收的使用者操作或命令以控制客戶設備2104中之其他單元。
客戶設備2104之控制單元2118控制顯示設備2120以顯示由解碼單元2116所解碼的影像。
客戶設備2104之控制單元2118亦控制顯示設備2120以顯示GUI(圖形使用者介面)來指定用於網路相機2102之參數的值，包括用於編碼單元2108之編碼的參數。
客戶設備2104之控制單元2118亦依據由顯示設備2120所顯示之輸入至GUI的使用者操作以控制客戶設備2104中之其他單元。
客戶設備2104之控制單元2118控制客戶設備2104之通訊單元2114以傳輸命令至網路相機2102，其指定用於網路相機2102之參數的值，依據由顯示設備2120所顯示之輸入至GUI的使用者操作。
智慧型手機
圖10為繪示智慧型手機2200之圖。
智慧型手機2200包括通訊單元2202、解碼單元2204、控制單元2206、顯示單元2208、影像記錄裝置2210及感測器2212。
通訊單元2202經由網路200以接收經編碼影像資料。
解碼單元2204解碼其由通訊單元2202所接收的已編碼影像資料。
解碼單元2204係藉由使用上述的該解碼方法以解碼該經編碼影像資料。
控制單元2206依據由通訊單元2202所接收的使用者操作或命令以控制智慧型手機2200中之其他單元。
例如，控制單元2206控制顯示單元2208以顯示由解碼單元2204所解碼的影像。
雖然已參考了實施例來描述本發明，但應理解其本發明不限於所揭露的範例實施例。那些熟悉此技藝人士應理解：可做出各種改變及修改而不背離本發明之範圍，如後附申請專利範圍中所界定者。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的所有特徵、及/或 所揭露的任何方法或程序之步驟，可以任何組合方式組合，除了其中此等特徵及/或步驟之至少部分是互斥的組合以外。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的各特徵可被取代以替代特徵，其係適用相同的、同等的或類似的目的，除非另外明確地聲明。因此，除非另外明確地聲明，所揭露的各特徵僅為同等或類似特徵之一般序列的一個範例。
亦應理解：上述比較、判定、評估、選擇、執行、履行、或考量之任何結果(例如於編碼或過濾程序期間所做的選擇)可指示於或者可判定/可推理自位元流中之資料(例如指示該結果之旗標或資料)，以使得經指示的或經判定/經推理的結果可用於該處理，以取代實際地履行比較、判定、評估、選擇、執行、履行、或考量(例如於解碼程序期間)。
於申請專利範圍中，文字「包含」不排除其他元件或步驟，而不定冠詞「一(a)」或「一(an)」不排除複數。不同特徵在彼此不同的附屬項中陳述之單純事實並不指示其這些特徵之組合無法被有利地使用。
出現在申請專利範圍中之參考數字僅為闡明且對於申請專利範圍之範圍應無限制性效果。
60:解碼器
601:NAL單元
602:視頻參數集(VPS)NAL單元
603:序列參數集(SPS)NAL單元
604:圖片參數集(PPS)NAL單元
605:調適參數集(APS)NAL單元
606:NAL單元
607:存取單元定界符(AUD)NAL單元
608:PH NAL單元
610:切片標頭
611:原始位元組序列酬載(RBSP)
620:磚
640:編碼區塊

Claims (17)

  1. 一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，其中一圖片包含一或多個切片；及其中該視頻位元流包含一圖片標頭；該方法包含：判定該圖片中之該一或多個切片是否使用一指明的編碼模式；從該圖片標頭解碼將用於該指明的編碼模式之一組語法元素；及使用該經解碼語法元素以解碼該一或多個切片。
  2. 如請求項1之方法，其中判定該一或多個切片之該編碼模式係根據該圖片標頭中之至少一個語法元素。
  3. 如請求項1或2之方法，其中該指明的編碼模式係INTER或INTRA之一。
  4. 如請求項1或2之方法，其中該指明的編碼模式係INTER。
  5. 如請求項3之方法，其中該INTER編碼模式係INTER B或INTER P之一。
  6. 如請求項4之方法，其中該INTER編碼模式係INTER B或INTER P之一。
  7. 如請求項1或2之方法，其中解碼將用於該指明的編碼模式之一組語法元素包含致能及/或除能在 一圖片標頭中之至少一語法元素。
  8. 如請求項1或2之方法，其中解碼將用於該指明的編碼模式之一組語法元素包含致能及/或除能在一切片標頭中之至少一語法元素。
  9. 如請求項1或2之方法，進一步包含基於一AU定界符之值以判定該編碼類型。
  10. 如請求項1或2之方法，其中判定一編碼模式包含解碼一或多個撤銷旗標。
  11. 如請求項10之方法，其中該一或多個撤銷旗標包含指示是否使用INTER模式之一第一旗標及指示是否使用INTRA模式之一第二旗標。
  12. 一種編碼視頻資料入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，其中一圖片包含一或多個切片；及其中該視頻位元流包含一圖片標頭；該方法包含：界定該圖片中之該至少一個切片的一指明的編碼模式；編碼將用於該指明的編碼模式之一組語法元素入該圖片標頭中；及使用該語法元素以編碼該一或多個切片。
  13. 如請求項12之方法，其中該編碼模式係INTER，且編碼該圖片標頭包含編碼該圖片標頭中之INTER語法元素。
  14. 如請求項12之方法，其中該編碼模式係INTRA，且編碼該圖片標頭包含編碼該圖片標頭中之INTRA語法元素。
  15. 一種解碼器，經調適以藉由實行如請求項1至11之任一項的方法來解碼一位元流。
  16. 一種編碼器，經調適以藉由實行如請求項12至14之任一項的方法來編碼一位元流。
  17. 一種用於視頻資料的程式，當由一電腦或處理器所執行時該程式係致使該電腦或處理器實行如請求項1或12之方法。
TW109144276A 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法 TWI812906B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1919033.9 2019-12-20
GB1919033.9A GB2590634A (en) 2019-12-20 2019-12-20 High Level syntax for video coding and decoding

Publications (2)

Publication Number Publication Date
TW202139701A TW202139701A (zh) 2021-10-16
TWI812906B true TWI812906B (zh) 2023-08-21

Family

ID=69322969

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109144276A TWI812906B (zh) 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法
TW112127296A TW202348028A (zh) 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112127296A TW202348028A (zh) 2019-12-20 2020-12-15 用於視頻編碼及解碼之高階語法

Country Status (8)

Country Link
US (1) US20230065112A1 (zh)
EP (1) EP4078974A1 (zh)
JP (2) JP7457791B2 (zh)
KR (1) KR20220114602A (zh)
CN (1) CN115176477A (zh)
GB (1) GB2590634A (zh)
TW (2) TWI812906B (zh)
WO (1) WO2021123326A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324940B2 (ja) 2019-09-19 2023-08-10 北京字節跳動網絡技術有限公司 ビデオコーディングにおけるスケーリングウインドウ
BR112022005293A2 (pt) 2019-09-19 2022-09-20 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
JP2022548825A (ja) 2019-09-20 2022-11-22 アリババ グループ ホウルディング リミテッド 映像処理における量子化パラメータのシグナリング
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
CN117376557A (zh) 2019-10-13 2024-01-09 北京字节跳动网络技术有限公司 参考图片重采样与视频编解码工具之间的相互作用
WO2021091253A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 슬라이스 타입 기반 영상/비디오 코딩 방법 및 장치
MX2022007503A (es) * 2019-12-27 2022-07-04 Beijing Bytedance Network Tech Co Ltd Se?alizacion de tipos de corte en encabezados de imagenes de video.
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems
CN115380525A (zh) 2020-03-30 2022-11-22 字节跳动有限公司 图片标头中的高级别语法
CN115398919A (zh) * 2020-04-10 2022-11-25 北京达佳互联信息技术有限公司 用于视频编解码中的高级语法的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080002A (ja) * 2012-01-19 2015-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR101752149B1 (ko) * 2012-06-26 2017-07-11 미쓰비시덴키 가부시키가이샤 동화상 부호화·복호 장치 및 방법
US11902584B2 (en) * 2019-12-19 2024-02-13 Tencent America LLC Signaling of picture header parameters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Hendry et al AHG17: On Access Unit Delimiter and Picture Header Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva 1–11 October 2019 http://phenix.it-sudparis.eu/jvet/doc_end_user/current_meeting.php?search_id_group=1&search_sub_group=1&id_meeting=180

Also Published As

Publication number Publication date
EP4078974A1 (en) 2022-10-26
KR20220114602A (ko) 2022-08-17
GB2590634A (en) 2021-07-07
GB201919033D0 (en) 2020-02-05
TW202139701A (zh) 2021-10-16
CN115176477A (zh) 2022-10-11
US20230065112A1 (en) 2023-03-02
JP7457791B2 (ja) 2024-03-28
JP2023504964A (ja) 2023-02-08
TW202348028A (zh) 2023-12-01
JP2024069479A (ja) 2024-05-21
WO2021123326A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
TWI812906B (zh) 用於視頻編碼及解碼之高階語法
TWI809336B (zh) 用於視頻編碼及解碼之高階語法
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
TWI827919B (zh) 用於視頻編碼及解碼的高階語法
TWI842980B (zh) 用於視訊編碼及解碼的高階語法
JP2024105712A (ja) ビデオの符号化及び復号のための高レベルシンタックス
JP2024001274A (ja) ビデオコーディング及び復号のための高レベルシンタックス
GB2595280A (en) High level syntax for video coding and decoding