TWI925552B - 使用高階語法元素用信號發送解碼資料之方法及裝置 - Google Patents
使用高階語法元素用信號發送解碼資料之方法及裝置Info
- Publication number
- TWI925552B TWI925552B TW114109464A TW114109464A TWI925552B TW I925552 B TWI925552 B TW I925552B TW 114109464 A TW114109464 A TW 114109464A TW 114109464 A TW114109464 A TW 114109464A TW I925552 B TWI925552 B TW I925552B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- header
- image
- image slice
- slice header
- Prior art date
Links
Abstract
本發明係為一種在視訊位元流中用信號發送解碼資料之方法(800、900、1600、1700)及裝置(2100),其中使用語法元素指示解碼資料是否顯性編碼在視訊位元流中或從視訊位元流之先前資料中推斷得出。而且揭示位元流、電腦可讀取儲存媒體,及電腦程式產品。
Description
本發明的實施例一般相關使用高階語法元素用信號發送解碼資料。
本段落希望向讀者介紹本領域的各種方面,這些方面可能與本發明在以下描述及/或主張的至少一實施例的各種方面有關。咸信本討論有助於向讀者提供背景資訊,能用以較佳理解至少一實施例的各種方面。因此,應瞭解這些陳述應依此觀點閱讀。
為要達到高壓縮效率,視訊編碼方案通常採用預測及轉換以利用視訊內容中的時空冗餘。通常,使用框內或框間預測以利用框內或框間相關性。然後,將視訊的原始圖像與預測圖像之間的差異(通常表示為預測誤差或預測殘餘)進行轉換、量化及熵編碼。為要重建圖像,藉由對應到預測、轉換、量化及熵編碼的逆過程以解碼壓縮資料。
本段落提供本發明至少一實施例的簡化概要,以便提供對本發明的一些方面的基本理解。本概要並非實施例的廣泛概述,不希望用以識別實施例的關鍵或重要元素。以下概要僅以簡化形式呈現本發明至少一實施例的一些方面,作為在本申請文件其他地方所提供更詳細說明的序文。
根據本發明至少一實施例的通用態樣,提供一種在視訊位元流中用信號發送解碼資料的方法,其中該方法包括使用語法元素的步驟,指示解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。
根據本發明至少一實施例的另一通用態樣,提供一種在視訊位元流中用信號發送解碼資料的裝置,其中該裝置包括使用語法元素的構件,指示解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。
在一實施例中,將一組解碼資料分割成數個子集的解碼資料,及每子集使用一語法元素的步驟或構件指示一子集的解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。
在一實施例中,解碼資料係控制編碼工具啟動的約束旗標,及其中語法元素指示約束旗標是否顯性編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。
在一實施例中,解碼資料係一組圖像部件的標頭的解碼資料,及其中語法元素指示該組圖像部件的標頭的解碼資料是否顯性編碼在視訊位元流中或從(視訊位元流的一組圖像部件的)另一標頭的解碼資料中推斷得出。
在一實施例中,一組圖像部件的標頭的解碼資料係一參考圖像列表,及先前資料係一GOP結構及多個參考框。
在一實施例中,解碼資料係圖像切片參數,及先前資料係一GOP結構及一解碼圖像順序。
在一實施例中,解碼資料係一圖塊群組的解碼資料,及先前資料係另一圖塊群組的解碼資料。
在一實施例中,解碼資料係一GOP結構,及先前資料係該GOP及該組預定義GOP結構中的一些先解碼圖像。
根據本發明至少一實施例的另一通用態樣,提供一種用以編碼或解碼視訊的方法及裝置,包括根據上述方法中的一者在視訊位元流中用信號發送解碼資料。
根據本發明至少一實施例的其他通用態樣,提供一種非暫態電腦可讀取儲存媒體、電腦程式產品及位元流。
以下將配合附圖詳細說明數個範例,使本發明至少一實施例的特定性質以及本發明該至少一實施例的其他目的、優點、特徵及用途明朗化。
100:編碼器
105:決定模組
110,235:圖像劃分模組
120:減法模組
125:轉換模組
130:量化模組
140,240:逆量化模組
145:熵編碼模組
150,250:逆轉換模組
155,255:合併模組
160,260:框內預測模式模組
165,265:環內濾波器
170,270:移動補償模組
175:移動估算模組
180,280:參考圖像緩衝器
200:解碼器
205:得到預測區塊模組
230:熵解碼模組
800,900,1600,1700:方法
810,850,1610,
1650,1910,1950:檢查步驟
820,830,1620,
1630,1920,1930:語法元素指示步驟
840,1640,1940:存取語法元素步驟
860,1660,1960:解碼步驟
870,1670,1970:推斷步驟
910:分割步驟
920,930:考量新的目前子集步驟
在附圖中,描繪本發明的數個實施例的範例,圖中:
圖1係根據一實施例以簡化方塊圖描繪一示範編碼器;
圖2係根據至少一實施例以簡化方塊圖描繪一示範解碼器;
圖3係根據先前技術描繪HLS元素用信號發送約束旗標的範例;
圖4係根據先前技術描繪圖塊圖像切片群組、圖塊及圖磚的範例;
圖5係根據先前技術描繪用於圖塊的語法元素的範例;
圖6至圖7係根據先前技術描繪圖塊群組的範例;
圖7a係根據至少一實施例描繪圖塊、圖像切片及圖磚的範例;
圖8係根據至少一實施例以流程圖描繪用信號發送一組解碼資料的方法800;
圖9係根據至少一實施例以流程圖描繪圖8所示方法的變化;
圖10係根據至少一實施例描繪一集合分割成數個子集合的範例;
圖11係以範例描繪16個一組的解碼資料的二階層分割;
圖12係根據至少一實施例描繪HLS元素用信號發送約束旗標的範例;
圖13係根據至少一實施例描繪HLS元素的範例;
圖14至15係根據先前技術描繪圖像切片分段的範例;
圖16係以流程圖1600描繪當該組解碼資料包括一組圖像部件的標頭的解碼資料時方法800或900的實施例;
圖17係根據至少一實施例以範例描繪與一GOP相關聯的語法元素的時間組織性;
圖18係根據至少一實施例以範例描繪圖像切片的語法;
圖19係以流程圖1900描繪當該組解碼資料包括圖像群組結構時方法800或900的實施例;
圖20描繪圖19所示方法的變化;及
圖21係以方塊圖描繪一運算環境,在其中可實作及執行本發明的各方面。
本發明的詳細說明描述本發明實施例的原理。因此應了解,熟諳此藝者將能想出各種具體化本發明實施例原理的安排方式(雖然在本文中未明確描述或顯示)且仍包括在本發明的範圍內。
在本文提及的所有範例及條件式語言希望用於教育目的,用以幫助讀者理解本發明實施例的原理以及發明人為進一步發展本技術領域所貢獻的概念,並應解釋為不侷限於這類明確提及的範例及條件。
此外,在本文中提及本發明的原理、概念及實施例以及其特定範例的所有陳述希望涵蓋其在結構及功能兩者的等效物。另外,希望這類等效物包括目前已知的等效物以及將來開發的等效物(即執行相同功能所開發的任何元件,與結構無關)兩者。
因此,例如,熟諳此藝者應了解,在本文提出的方塊圖代表說明性電路設計的概念圖用以具體化本發明實施例的原理。同樣地,應了解任何作業圖、流程圖、狀態轉變圖、偽碼及類似物代表各種過程,這些過程係可大體上表現在電腦可讀取媒體中,並由電腦或處理器依此執行(不管是否明確顯示這類電腦或處理器)。
以下將參考附圖更充分地描述本發明的實施例,在附圖中顯示該等實施例的範例。然而,一實施例可具體化在許多替代形式中,並且不應解釋為侷限於本文中提出的範例。因此,應理解,無意將實施例限制為所揭示的特定形式。相反地,希望本發明的實施例涵蓋本發明的精神及範圍內所包括的所有修改、等效者及替代。
當附圖呈現為流程圖時,應理解該圖亦提供一對應裝置的方塊圖。同樣地,當附圖呈現為方塊圖時,應理解該圖亦提供一對應方法/過程的流程圖。
附圖中所示各種元件的功能可透過與適當軟體相關聯的專用硬體以及能執行軟體的硬體的使用來提供。當由處理器提供時,可由單個專用處理器、由單個共享處理器,或由複數個個別處理器(其中有些可以共享)提供該等功能。此外,“處理器”或“控制器”等詞的明確用法不應解釋為專門指能執行軟體的硬體,卻可隱含地包括(但不限於)數位信號處理器(DSP)硬體、用以儲存軟體的唯讀記憶體(ROM)、隨機存取記憶體(RAM),及不變性儲存體。
而且可包括其他傳統及/或定製的硬體。同樣地,附圖中顯示的任何開關僅為概念性的,可透過程式邏輯的運算、透過專用邏輯、透過程式控制與專用邏輯的交互使用,或甚至手動來實現它們的功能,實
作者可如由上下文更明確理解地選擇特定技術。
附圖中相似或相同的元件以相同參考數字表示。
一些附圖描繪在視訊壓縮標準的規範中廣泛使用的語法表,用以定義符合該等視訊壓縮標準的位元流的結構。在那些語法表中,“...”用詞表示該語法相關視訊壓縮標準的規範中給定的熟知定義維持不變的部分,並在附圖中移除以方便閱讀。語法表中的粗體字指示此項的值係藉由剖析位元流所得出。語法表的右欄位指示用以編碼語法元素的資料的位元數。例如,u(4)指示使用4位元以編碼資料,u(8)指示8位元,ae(v)指示上下文適應性算術熵編碼語法元素。
在本發明的申請專利範圍中,希望表示為用以執行一特定功能的裝置的任何元件涵蓋執行該功能的任何方式,例如包括a)執行該功能的電路元件的組合或b)在任何形式的軟體,因此包括韌體、微碼或類似物,與用以執行該軟體的適當電路設計結合以執行該功能。本發明如這類申請專利範圍所界定的實施例在於各種提及手段所提供的功能係依申請專利範圍要求的方式組合並集合一起的事實。因此認為可提供該等功能的任何手段皆等同於本文中所顯示者。
應理解,為清楚理解本發明的實施例,已簡化附圖及說明以描繪相關的元件,同時為求簡明,省略在典型編碼及/或解碼裝置找到的其他許多元件。
應理解,儘管本文中可使用第一及第二等詞以描述各種元件,但這些元件不應受到這些用詞的限制。這些用詞僅用以區分一個元素與另一個元素。以上描述各種方法,並且每個方法包括一或多個步驟或動作用以實現所描述的方法。除非方法的正確操作需要特定的步驟或動作順序,否則可修改或組合特定步驟及/或動作的順序及/或使用。
在以下段落中,“重建”與“解碼”等詞可互換使用。通常(但非必然)在編碼器端使用“重建”,而在解碼器端使用“解碼”。而且,“編碼(coded)”與“加密(encoded)”等詞可互換使用。此外,“影像”、“圖像”與“訊框”等詞可互換使用。此外,“編碼”、“源編碼”與“壓縮”等詞可互換使用。
應理解,提及本發明的“一個實施例”或“一實施例”或“一個實施方式”或“一實施方式”以及其別的變化,意指結合該實施例所描述
的特定特徵、結構、特性等係包括在本發明的至少一實施例中。因此,在整個說明書的各個地方出現“在一個實施例中”或“在一實施例中”或“在一個實施方式中”或“在一實施方式中”等片語,以及其他任何變化,不一定係全部參閱相同的實施例。
另外,本發明的實施例或其申請專利範圍可涉及“確定”各種資訊片段。確定(導出)資訊例如可包括下列中的一或多者;估算資訊、計算資訊、預測資訊,或從記憶體中擷取資訊。
而且,本發明申請或其申請專利範圍可涉及“提供”各種資訊片段。提供資訊例如可包括下列中的一或多者:輸出資訊、儲存資訊、傳輸資訊、發送資訊、顯示資訊,展示資訊,或移動資訊。
此外,本發明申請或其申請專利範圍可涉及“存取”各種資訊片段。存取資訊例如可包括下列中的一或多者:接收資訊、(例如從記憶體中)擷取資訊、儲存資訊、處理資訊、移動資訊、複製資訊、拭除資訊、計算資訊、確定資訊、預測資訊,或估算資訊。
此外,本發明申請或其申請專利範圍可涉及“接收”各種資訊片段。如同“存取”,希望接收係一廣義用詞,接收資訊例如可包括存取資訊或(例如從記憶體中)擷取資訊中的一或多者。此外,例如在儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、拭除資訊、計算資訊、確定資訊、預測資訊或估算資訊的操作期間,通常以一方式或另一方式涉及“接收”。
此外,本發明申請或其申請專利範圍可涉及從視訊位元流的先前資料中“推斷”各種資料。“先前資料”一詞應理解為在推斷目前資料前已建構、重建、解析的資料。請注意,可從先前已推斷的資料中推斷資料(遞歸推斷)。一種特殊推斷情形係預設推斷,其將預設資料作為推斷資料使用,意即“先前”資料係預設資料。從視訊位元流的先前資料中推斷(導出)例如可包括下列中的一或多者:複製先前資料或組合多個先前資料以得到一推斷資料,或從先前資料中存取資訊,其提供均值指示用以導出一推斷資料。
此外,本發明申請或其申請專利範圍可涉及“解碼資料在視訊位元流中的顯性編碼”及“解碼資料從視訊位元流中顯性解碼”。解碼
資料的顯性編碼(解碼)係指在(從)視訊位元流中添加(得到)專用語法元素。顯性編碼資料可指表示此資料的至少一個二進位字元(bin)/資訊進入/輸入到熵編碼引擎(例如CABAC),而推斷資料係指未有任何表示此資料的二進位字元/資訊進入到熵編碼引擎。同樣地,顯性解碼資料係指從熵解碼引擎(即CABAC)中輸出表示此資料的至少一個二進位字元/資訊,而推斷資料係指不輸出任何表示此資料的二進位字元/資訊到熵解碼引擎。請注意,是否顯性編碼或推斷資料的資訊可為另一個語法元素,其亦可進行顯性編碼或推斷。
例如,解碼資料可為圖像切片參數或預定義GOP結構的表索引。然後,每次在解碼過程中使用此解碼資料時,顯性編碼圖像切片參數涉及在視訊位元流中添加語法元素用於此圖像切片參數或用於預定義GOP結構的表索引。
應了解,所顯示及描述的各種特徵係可互換的。除非另有說明,否則一個實施例中顯示的特徵可合併到另一個實施例中。此外,可將各種實施例中描述的特徵組合或分離(除非另外指示為不可分離或不可組合的)。
如前所述,可透過使用專用硬體以及使用與適當軟體關聯能執行軟體的硬體以提供附圖中所顯示各種元件的功能。而且,當由處理器提供時,可由單個專用處理器、單個共享處理器,或由複數個個別的處理器(其中有些可以共享)以提供該等功能。
應進一步理解,因附圖中所描繪的一些構成系統組件及方法較佳以軟體實現,因此依本發明的過程的編程方式而定,系統組件或過程功能塊之間的實際連接可不同。鑑於本文中的教示,相關領域的一般技術人員將能想到本發明的這些實作方式或配置及類似者。
儘管本文中已參閱附圖以描述說明性實施例,但應理解,本發明並不侷限於那些精確描述的實施例,並且不背離本發明的範圍,相關領域的一般技術人員可在其中作出各種改變及修改。另外,不背離本發明的範圍,可組合個別的實施例。希望所有這類改變及修改係包括在本發明如後附申請專利範圍所提出的範疇內。
應了解,以下“/”、“及/或”以及“的至少一者”中任一者的
使用,例如在“A/B”、“A及/或B”及“A及B中的至少一者”的情況中,希望涵蓋僅選擇第一個列出的選項(A),或僅選擇第二個列出的選項(B),或選擇兩選項(A及B)。作為進一步範例,在“A、B及/或C”及“A、B及C中的至少一者”的情況中,這類說法希望涵蓋僅選擇第一個列出的選項(A),或僅選擇第二個列出的選項(B),或僅選擇第三個列出的選項(C),或僅選擇第一個及第二個列出的選項(A及B),或僅選擇列出的第一個及第三個選項(A及C),或者僅選擇列出的第二個及第三個選項(B及C),或者選擇所有三個選項(A及B及C)。如本領域及相關領域的一般技術人員所顯而易見的,這可延伸用於盡可能多的列出項目。
如熟諳此藝者應顯而易見的,實施方式可產生各種信號,格式化用以攜帶例如可儲存或傳輸的資訊。資訊例如可包括用以執行方法的指令,或由所述實施方式中的一者所產生的資料。例如,可將信號格式化用以攜帶一所述實施例的位元流。可將此一信號例如格式化為電磁波(例如,使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼資料流及利用編碼資料流以調變載波。信號所攜帶的資訊例如可為類比或數位資訊。如眾所周知,信號可在各種不同的有線或無線鏈結上傳輸。信號可儲存在處理器可讀取媒體上。
應理解,圖像(亦表示影像或訊框)可為單色格式的亮度樣本陣列,或在4:2:0、4:2:2或4:4:4彩色格式中的一個亮度樣本陣列及兩個對應的色度樣本陣列,或三個顏色分量的三個陣列(例如RGB)。
在視訊壓縮標準中,圖像係劃分為區塊,可能具有不同大小及/或不同形狀。
應理解,區塊係二維陣列或矩陣。水平或x方向(或軸)表示寬度,垂直或y方向(或軸)表示高度。索引從0開始,x方向表示行,y方向表示列,最大x索引係寬度-1,最大y索引係高度-1。
編碼
圖1係根據至少一實施例以簡化方塊圖描繪示範編碼器100。
編碼器100可包含在通訊系統的發送器或頭端中。
為將具有一或多個圖像的視訊序列進行編碼,將圖像劃分成可能具有不同大小及/或不同形狀的區塊(模組110)。例如,在HEVC(“ITU-T H.265 ITU電信標準化部門(10/2014),H系列:視聽及多媒體系統,視聽服務的基礎設施-動態視訊編碼、高效視訊編碼,ITU-T H.265建議書”)中,可將一圖像劃分為具有可配置大小的數個正方形CTU(編碼樹單元)。一組連續的CTU可分組為一圖像切片。一CTU係劃分成數個編碼單元(CU)(以下稱為區塊)的四元樹的根。
在示範編碼器100中,如下所述,圖像係藉由基於區塊的編碼模組進行編碼。
使用框內預測模式或框間預測模式以編碼每個區塊。
當依框內預測模式以編碼一區塊時(模組160),編碼器100係基於同一圖像中一個區塊的至少一樣本(或基於圖像或圖像切片的第一個區塊的預定義值)以執行框內預測(亦稱為空間預測)。作為範例,藉由對一區塊進行框內預測而從重建的相鄰樣本中得到一預測區塊。
當依框間預測模式以編碼一區塊時,基於至少一參考圖像或圖像切片的至少一參考區塊(儲存在參考圖像緩衝器中),編碼器100執行框間預測(亦稱為時間預測)。
藉由對儲存在參考圖像緩衝器180中的一參考區塊執行移動估算(模組175)及移動補償(模組170)以執行框間預測編碼。
在單框間預測(又稱單向預測)模式中,預測區塊通常(但非必然)係可基於一較早的參考圖像。
在雙向框間預測(又稱雙向預測)模式中,預測區塊通常(但非必然)係基於一較早及一較晚的圖像。
編碼器100決定(模組105)框內預測模式或框間預測模式中的哪一個要用以編碼一區塊,及藉由一預測模式語法元素以指示框內/框間決策。
藉由從區塊中減去(模組120)預測區塊(亦稱為預測子)以計算一預測殘餘區塊。
將預測殘餘區塊轉換(模組125)及量化(模組130)。轉換模
組125可將預測殘餘區塊從像素(空間)域轉換到轉換(頻率)域。轉換例如可為餘弦轉換、正弦轉換、小波轉換等。例如可根據速率失真準則以執行量化(模組130)。
將量化的轉換係數以及移動向量及其他語法元素進行熵編碼(模組145)以輸出位元流。熵編碼例如可為上下文適應性二進制算術編碼(CABAC)、上下文適應性可變長度編碼(CAVLC)、霍夫曼、算術、對數-哥倫布等。
編碼器亦可跳過轉換並直接將量化應用到非轉換的預測殘餘區塊。而且編碼器可繞過轉換及量化兩者,意即,無需應用轉換或量化過程就直接將預測殘餘區塊進行編碼。
在直接PCM編碼中,不應用任何預測,並將區塊樣本直接編碼到位元流中。
編碼器100包括一解碼環路,並藉此解碼一編碼區塊以提供用於進一步預測的參考。將量化的轉換係數去量化(亦稱逆量化)(模組140)及逆轉換(模組150)以解碼預測殘餘區塊。然後藉由組合(模組155)解碼的預測殘餘區塊與預測區塊以重建一區塊。可將一或多個環內濾波器(165)應用到重建的圖像,例如用以執行去區塊/樣本適應性偏移(SAO)濾波以減少編碼偽像。濾波後的圖像係儲存在參考圖像緩衝器180中。
編碼器100的模組可實現在軟體中並由處理器執行,或者可使用熟諳壓縮領域者習知的電路組件來實現。尤其,視訊編碼器100可實現為積體電路(IC)。
解碼
圖2係根據至少一實施例以簡化方塊圖描繪示範解碼器200。
解碼器200可包含在通訊系統的接收器中。
儘管解碼器中的所有操作並非皆係編碼過程(例如框內及框間預測)的逆操作,但解碼器200通常執行一解碼遍歷係與圖1所示編碼器100執行的編碼遍歷互逆的。
尤其,解碼器200的輸入包括一視訊位元流,其可由編碼器100產生。
首先將視訊位元流熵解碼(模組230)以得到例如轉換係數、移動向量MV、圖像劃分資訊、(或許有)預測模式旗標、語法元素及其他解碼資料。
例如,在HEVC中,圖像劃分資訊指示CTU的大小,及CTU分割成CU的方式。因此,解碼器可根據圖像劃分資訊,將圖像分割(235)成數個CTU,並將每個CTU分割成數個CU。
將轉換係數去量化(模組240)及逆轉換(模組250)以解碼預測殘餘區塊。然後將解碼的預測殘餘區塊與預測區塊(亦稱為預測子)組合(模組255)以得到解碼/重建的區塊。
或許取決於預測模式旗標,可從框內預測(模組260)或移動補償預測(即框間預測)(模組270)中得到一預測區塊(模組205)。可將環內濾波器(模組265)應用到重建的圖像上。環內濾波器可包括去區塊濾波器及/或SAO濾波器。濾波後的圖像係儲存在參考圖像緩衝器280中。
解碼器200的模組可實現在軟體中並由處理器執行,或者可使用熟諳壓縮領域者習知的電路組件來實現。尤其,解碼器200可實現為積體電路(IC),單獨地或與編碼器100組合為編解碼器。
本發明的實施例的目標為提供一種機制,相較於傳統基於區塊的視訊壓縮標準中使用的目前語法,藉由使用較少位元以改進高階語法(HLS)用於基於區塊的視訊編碼。
HLS係一種信號發送機制,該機制能做到MPEG或ITU以外的其他方如DVB、ATSC、3GPP所定義的位元流可交互運作性點。例如,在VVC標準草案中(B.Bross、J.Chen、S.Liu,“多功能視訊編碼(草案4)”,在JVET文件JVET-N1001中,第14次會議:瑞士日內瓦,2019年3月19至27日),HLS約束旗標允許控制VVC解碼器中編碼工具的啟動。HLS約束旗標係分組為一語法元素“general_constraint_info()”,包含在SPS(序列參數集)及/或剖析資料及分級、VPS(視訊參數集)及DPS(解碼參數集)位元流部分中如在圖3所繪示。約束旗標指示在整個視訊位元流中不能違反的屬性。當約束旗標係設在SPS(或類似的)語法結構中時,解
碼器可安全地假定該工具不會使用在視訊位元流中。
目前用以編碼約束旗標的語法使用相當大量的位元,其會危害視訊位元流編碼效率。實際上,此資訊可能會在視訊位元流中的多個位置重複,因為此資訊係存在於通常在每個隨機存取點(RAP)皆傳送的SPS中,並且亦可能在其他地方如解碼器參數集(DPS)中重複。
HLS的另一個範例係高階語法,其將非編碼的圖像部件如序列、圖像、圖像切片或圖塊標頭、補充增強資訊(SEI)、視訊可用性資訊(VUI)分組,並排除編碼的巨塊、CTU或CU。以下將“HLS劃分”稱為HLS,其允許將與巨塊、CTU或CU的子集相關的資訊例如分組為圖像、圖像切片、圖塊、圖像切片群組或圖磚標頭。
在AVC及HEVC視訊編碼標準中,使用圖像切片(光柵掃描中的連續CTU)或圖塊(一致或非一致的圖塊網格)以執行高階劃分。在VVC標準草案中,使用圖塊及或許使用圖磚以執行高階劃分,該等圖磚將圖塊垂直劃分為矩形子區域(圖4)。若為非一致圖塊間距,則圖塊係根據非一致網格(右上角)分佈。在這種情況下,在HLS中,可用信號發送“圖塊行寬(tile-column-width)”及“圖塊行高(tile-column-height)”值(圖5)。
可將數個圖塊分組為一個“圖塊群組”。為要定義圖塊群組,將圖塊按光柵掃描順序隱含地標記如圖6所顯示,在HLS中以信號發送左上圖塊索引(top_left_tile_idx[i])及右下圖塊索引(bottom_right_tile_idx[i])以用於每個圖塊群組“i”。例如,已將8個圖塊(圖4的右上角)分組為4個“圖塊群組”(圖6)。例如,第一個圖塊群組0係由圖塊0、1及2所組成,具有top_left_tile_idx[0]=0、bottom_right_tile_idx[0]=2及bottom_right_tile_idx_delta[0]=2(bottom_right_tile_idx_delta[i]=bottom_right_tile_idx[i]-top_left_tile_idx[i])(圖7)。
在一變化中,可將一圖塊分成一或多個圖磚。每個由許多CTU組成的圖磚成列排在圖塊內。一圖像切片可包含許多圖塊或許多圖磚。可支援兩種圖像切片模式,即光柵掃描圖像切片模式及矩形圖像切片模式。在光柵掃描圖像切片模式中,依一圖像的圖像切片光柵掃描,一圖像切片可包含一系列圖塊。在矩形圖像切片模式中,一圖像切片可包含一圖像的許多圖磚,該等圖磚集體地形成該圖像的矩形區域。在矩形圖像切
片內的圖磚可依該圖像切片的圖磚掃描順序。可將該等圖磚依光柵掃描順序隱含地標記,可在HLS中用信號發送左上圖磚索引(top_left_brick_idx[i])及右下圖磚索引(bottom_right_brick_idx[i])以用於每個圖像切片“i”。例如,第一個圖像切片0(圖7a中的左側)包含2個圖塊及3個圖磚。此圖像切片係由“brick_idx”0、1及2所組成,具有top_left_brick_idx[0]=0、bottom_right_brick_idx[0]=2及bottom_right_brick_idx_delta[0]=2(bottom_right_brick_idx_delta[i]=bottom_right_brick_idx[i]-top_left_brick_idx[i])。第二個圖像切片1(圖7a中的右上方)包含2個圖磚。此圖像切片係由“brick_idx”3及4所組成,具有top_left_brick_idx[0]=3、bottom_right_brick_idx[0]=4及bottom_right_brick_idx_delta[0]=1。第三圖像切片2(圖7a中的右中部)包含3個圖磚。此圖像切片係由“brick_idx”5、6及7所組成,具有top_left_brick_idx[0]=5、bottom_right_brick_idx[0]=7及bottom_right_brick_idx_delta[0]=2。第四圖像切片3(圖7a中的右下方)包含3個圖磚。此圖像切片係由“brick_idx”8、9及10所組成,具有top_left_brick_idx[0]=8、bottom_right_brick_idx[0]=10及bottom_right_brick_idx_delta[0]=2。
請注意,這些圖塊、圖磚及圖塊群組的命名可改變,但基本概念維持不變。
在視訊位元流中,圖像切片標頭,圖塊標頭等係至少重複一次以用於每個編碼的圖像(即使大部分時間係共享相同的值)。
本發明的實施例在視訊位元流中用信號發送解碼資料係藉由使用一語法元素指示解碼資料是否編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。
圖8係根據至少一實施例以流程圖描繪用信號發送一組解碼資料的方法800。
在步驟810中,該方法可檢查該組的解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料PD中推斷得出。可在視訊位元流中添加一語法元素F。若該組的解碼資料係從先前資料PD中推斷得出,則(步驟830)語法元素F指示該組的解碼資料係從先前資料PD中推斷得出。若該組的解碼資料係顯性編碼在視訊位元流中,則(步驟820)
語法元素F指示該組的解碼資料係顯性編碼在視訊位元流中。
在步驟840中,該方法可從視訊位元流中存取到一語法元素F。
在步驟850中,該方法可檢查語法元素F是否指示一組解碼資料的解碼資料係從視訊位元流的先前資料PD中推斷得出。若為該情況(步驟870),則從先前資料PD中推斷出該組的解碼資料。若語法元素F指示該組的解碼資料係顯性編碼在視訊位元流中,則(步驟860)將該組的解碼資料從視訊位元流中顯性解碼。
圖9係以流程圖描繪圖8所示的方法當語法元素指示該組的解碼資料係顯性編碼在視訊位元流中時的變化。
在步驟910中,將該組解碼資料分割成數個子集如圖10所繪示,其中將該組解碼資料分割成4個子集i。
步驟910之後係方法800的步驟810-830(圖8)的迭代。在每次迭代中,將解碼資料的目前子集i視為步驟810的輸入(步驟920),在該過程中,該方法可檢查目前子集i的解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料PDi中推斷得出。可在視訊位元流中添加一語法元素Fi。若目前子集i的解碼資料係從先前資料PDi中推斷得出,則(步驟830)語法元素Fi指示目前子集i的解碼資料係從先前資料PDi中推斷得出。若目前子集i的解碼資料係顯性編碼在視訊位元流中,則(步驟820)語法元素Fi指示子集i的解碼資料係顯性編碼在視訊位元流中。
當考量所有子集i時,迭代地進行方法800的步驟840至870(圖8)。在每次迭代中,將解碼資料的目前子集i視為步驟840的輸入(步驟930),在該過程中,該方法可從視訊位元流中存取到一語法元素Fi用於目前子集i。
在步驟850中,該方法可檢查語法元素Fi是否指示解碼資料的子集i的解碼資料係從視訊位元流的先前資料PDi中推斷得出。若為該情況(步驟870),則從視訊位元流的先前資料PDi中推斷出子集i的解碼資料。若語法元素Fi指示子集i的解碼資料係顯性編碼在視訊位元流中,則(步驟860)將子集i的解碼資料從視訊位元流中顯性解碼。
索引i(Fi,FDi)指示語法元素及先前資料係專用於一子集i
的解碼資料。有些Fi及/或FDi可能相同。
圖10描繪方法800在一組解碼資料分割成數個子集時的使用。
在一變化中,方法800可使用在如下遞歸地分割一組解碼資料產生多個階層時。當一語法元素指示在階層L的子集的解碼資料係顯性編碼在視訊位元流中時(步驟830),在階層L的子集在階層(L+1)分割成數個子集。當滿足條件如最大階層數目或一子集的最小基數時,便停止遞歸分割。
當已考量過階層L的解碼資料的所有子集時,方法900迭代地應用到新的階層(L+1)(若有的話)的子集上。
圖11係以一範例描繪16個一組的解碼資料的二階層分割。
在第一階層0,首先將該組分割成8個一組的兩個子集(i=0及i=1)的解碼資料(810)。在步驟820,將一語法元素添加到位元流用以指示子集解碼資料(i=0)例如分割成2個子子集(i=00及i=01)。而且將另一個語法元素添加到視訊位元流用以指示第二子集(i=1)的解碼資料係從視訊位元流的先前資料中推斷得出(步驟830),及第二子集(i=1)並未分割。
在第二階層1,亦將另一個語法元素添加到視訊位元流用以指示子子集(i=00)的解碼資料係從視訊位元流的先前資料中推斷得出(步驟830),及子子集(i=00)並未分割。亦將另一個語法元素添加到視訊位元流用以指示子子集(i=01)的解碼資料係從視訊位元流的先前資料中推斷得出(步驟830),及子子集(i=01)並未分割。
在一實施例中,該組解碼資料可包括控制編碼工具啟動的約束旗標。然後一語法元素F(或Fi)可指示該組(或該組的子集)的約束旗標是否顯性編碼在視訊位元流中或從視訊位元流的先前資料PD中推斷得出。
圖12係根據至少一實施例以範例描繪一HLS元素“general_constraint_info”。
語法元素“general_constraint_info”包括約束旗標,這些約束旗標一起分組在語法元素“use_default_constraint_flag”(語法元素F或Fi)
之下。此語法元素“use_default_constraint_flag”可為一旗標,當這些約束旗標係顯性編碼在視訊位元流中(步驟820)或從視訊位元流中顯性解碼(步驟860)時該旗標為偽,或者當這些約束旗標全部係從視訊位元流的先前資料PD中推斷得出(步驟830、870)時該旗標為真。
請注意,當推斷該等約束旗標時,可顯性編碼/解碼其他約束旗標(在此未顯示)。
在一變化中,先前資料PD係單個二元值(偽或真),及所有推斷的約束旗標值等於此單個二元值FD。
在一變化中,先前資料PD取決於視訊位元流的一解碼設定檔、一分級及/或至少一解碼參數。例如,用於“高設定檔”,所有推斷的約束旗標值皆等於偽(可能允許所有工具),及用於“低設定檔”,有些預定子集的約束旗標值係推斷為真(工具失能)及其他約束旗標值係推斷為偽(可能允許工具)。
在一變化中,語法元素F(或Fi)的狀態確定視訊位元流中是否存在解碼參數。
例如,圖13的該組語法元素“profile_tier_level()”包括在語法元素“use_default_constraint_flag”(語法元素F或Fi)之下的約束旗標“general_constraint_info()”。在圖13中,若語法元素“use_default_constraint_flag”為真,則該組語法元素“general_constraint_info()”係顯性編碼在視訊位元流中。若“use_default_constraint_flag”為偽,則不存在此組語法元素,並推斷該等語法元素。
在圖12繪示的變化中,語法元素“use_default_constraint_flag”係編碼在“general_constraint_info()”內而非在“profile_tier_level()”內。若語法元素“use_default_constraint_flag”為偽,則在視訊位元流中存在(顯性編碼)一組語法元素指示一些工具是否可能在位元流中允許或失能,否則此組語法元素不存在,並推斷該等語法元素。
在基於區塊的視訊編解碼器規範中,將視訊位元流劃分為編碼視訊序列(CVS),其依解碼順序包含一或多個存取單元(AU)。一個AU正好包含一個編碼圖像。
例如,在HEVC中,AU係劃分為數個圖像切片。在不同圖像切片標頭(或圖塊標頭,或圖塊群組標頭)中的一些解碼資料係同樣用於數個圖像切片。為此緣故,在HEVC中,圖像中的第一個圖像切片必需為獨立,而隨後的圖像切片可為相依的,如圖14所繪示。相依圖像切片標頭與同一圖像中的第一獨立圖像切片共享共用的解碼資料(圖15)。
圖16係以流程圖1600描繪方法800或900在該組解碼資料包括一組圖像部件的標頭的解碼資料(例如圖像的圖像切片標頭及/或圖塊標頭及/或圖塊群組標頭)時的實施例。在HEVC中,圖像切片具有標頭並可包含圖塊,但圖塊沒有標頭。在其他編解碼器中,以圖塊取代圖像切片並且圖塊具有標頭。
在HEVC中,此類解碼的範例可包括以下解碼資料(圖像切片標頭)中的至少一者:
- 後濾波器旗標如(slice_sao_luma_flag,slice_sao_chroma_flag,slice_alf_luma_flag,slice_alf_chroma_flag),
- 參考圖像列表,
- weighted_pred/bipred_flag:圖像切片中是否允許WP(加權預測),
- 劃分為圖像切片、圖塊或圖塊群組、圖磚(例如num_bricks_in_slice_minus1)
- Slice_type:I(僅框內)、P(單向)或B(雙向預測),
- pic_output_flag:是否將輸出目前圖像,
- colour_plane_flag:顏色通道是否分開地編碼,
- POC:圖像順序計數,
- long_term_ref_info:長期參考圖像索引及POC
- slice_temporal_mvp_enabled_flag:是否允許時間移動向量預測工具,
- long_term_ref_info(POC)
- slice_qp_delta:QP(量化參數)以PPS中指定的init_QP開始差分操作,
- 去區塊濾波器參數(beta、tc)。
在其他編解碼器中,這些資料可包含在圖塊標頭中。用於以下內容,考慮將圖像劃分為區域(或圖像部件),一個區域係由數個區塊(如CTU或巨塊)組成。例如,取決於編解碼器的劃分拓撲,該區域可為圖
像切片、圖塊、圖塊群組或圖磚,其中有些可與一標頭相關聯,該標頭含有構成該區域的區塊有關的資訊。
在步驟1610(圖8的步驟810的實施例)中,該方法可檢查一組圖像部件(或區域)的標頭的解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料IPH(“inter_picture_header”)中推斷得出。可將表示為“infer_from_inter_picture_header_flag”的語法元素F(或Fi)添加到視訊位元流中。若該組圖像部件的標頭的解碼資料係從先前資料IPH中推斷得出,則在步驟1630(圖8的步驟830的實施例)中,語法元素F(或Fi)指示該組圖像部件的標頭的解碼資料係從一組圖像部件的另一標頭的解碼資料(先前資料IPH)中推斷得出。若該組圖像部件的標頭的解碼資料係顯性編碼在視訊位元流中,則在步驟1620(圖8的步驟820的實施方式)中,語法元素F(或Fi)可指示該組圖像部件的標頭的解碼資料係顯性編碼在視訊位元流中。
先前資料IPH將同一圖像的多個圖像切片標頭及/或多個圖塊標頭及/或多個圖塊群組標頭共用的解碼資料進行分組。
推斷通常定義在AU、CTU/CU、圖塊或圖塊群組的標頭中的共用解碼資料會減少用於傳輸視訊的頻寬。
例如,在每個AU中,及可能在該AU中的每個圖像切片中,語法元素“infer_from_inter_picture_header_flag”可指示這些解碼資料係在AU中(在該AU中的每個圖像切片中)顯性定義,例如在圖像切片標頭、圖塊或圖塊群組標頭中,或指示該等解碼資料是否從先前資料IPH中推斷得出,藉此可由可能數個圖像的數組圖像部件共享。
在步驟1640(圖8的步驟840的實施例)中,該方法可從視訊位元流存取語法元素F(或Fi)。
在步驟1650(圖8的步驟850的實施例)中,該方法可檢查語法元素F(或Fi)是否指示一組圖像部件的標頭的解碼資料係從視訊位元流中的先前資料IPH中推斷得出。然後,在步驟1670(圖8的步驟870的實施例)中,從先前資料IPH中推斷出該組圖像部件的標頭的解碼資料。若語法元素F(或Fi)指示該組圖像部件的標頭的解碼資料係編碼在視訊位元流中,則在步驟1660(圖8的步驟860的實施方式)中,將該組圖像部件
的標頭的解碼資料從視訊位元流中顯性解碼。
有利地,先前資料IPH位於與GOP(圖像群組)相關聯的位元流中,位在RAP語法元素之後,並在相對於該RAP的AU語法元素之前。然後如圖17所繪示,可從先前資料IPH中推斷出該等AU語法元素的解碼資料。
在方法1600的一個實施例中,可從一GOP結構及多個參考框(先前資料IPH)中推斷出一參考圖像列表(一組圖像部件的標頭的解碼資料)。
在方法1600的一個實施例中,可從一GOP結構及一解碼圖像順序(先前資料IPH)中推斷出圖像切片參數(一組圖像部件的標頭的解碼資料)(例如圖像切片型式)。
在一實施例中,控制數個圖塊群組編碼/解碼的一圖塊群組的解碼資料可從視訊位元流的另一個圖塊群組的解碼資料(先前資料IPH)中推斷得出。
從視訊位元流的先前資料中推斷得出圖塊群組資訊會減少用於傳輸圖像的頻寬。
在一變化中,圖塊群組包括一圖像或圖像切片的許多圖塊(表示為“num_tiles”的解碼資料)。然後一語法元素(F,Fi,...)可指示是否圖塊數i係編碼在視訊位元流中或從代表每行圖塊數(表示為“num_tile_columns_minus1”)及每列圖塊數(表示為“num_tile_rows_minus1”)的先前資料IPH中推斷得出。
例如,從“num_tile_columns_minus1”及“num_tile_rows_minus1”中推斷出“num-tiles”如下:num_tiles=(num_tile_columns_minus1+1)×(num_tile_rows_minus1+1)
在一實施例中,圖塊群組尚包括圖像的最後圖塊群組的“bottom_right_tile_idx”值或“bottom_right_idx_delta”值。
可從圖塊數目(視訊位元流的先前資料)中推斷出最後圖塊群組(解碼資料)的右下圖塊索引(bottom-right-tile-idx)值或右下圖塊索引差量(bottom-right-idx-delta)值(解碼資料)如下:
bottom_right_tile_idx[num_tile_groups_in_pic_minus1]=num_tile-1
bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]=num_tile-1-top_left_tile_idx[num_tile_groups_in_pic_minus1]。
如圖18所繪示,此實施例的優點之一在於節省用以編碼語法元素“pic_parameter_set_rbsp”中的“bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]”的位元。
同樣地,可從先前資料IPH中推斷出圖像中的圖磚數目(NumBricksInPic)。若為矩形圖像切片模式,圖像切片尚可包括圖像的圖像切片的“右下圖磚索引(bottom-right-brick-idx)”值或“右下圖磚索引差量(bottom-right-brick-idx-delta)”值。
可從圖磚數目(視訊位元流的先前資料)中推斷出最後圖像切片(解碼資料)的右下圖磚索引(bottom-right-brick-idx)值或右下圖磚索引差量(bottom-right-brick-idx-delta)值(解碼資料)如下:
bottom_right_brick_idx[num_slices_in_pic_minus1]=NumBricksInPic-1 bottom_right_brick_idx_delta[num_slices_in_pic_minus1]=NumBricksInPic-1-top_left_brick_idx[num_slices_in_pic_minus1]。
此實施例的優點之一在於節省用以編碼語法元素“pic_parameter_set_rbsp”中的“bottom_right_brick_idx_delta[num_slices_in_pic_minus1]”的位元。
圖19係以流程圖1900描繪方法800或900在該組解碼資料包括圖像群組(GOP)結構時的實施例。
在步驟1910(圖8的步驟810的實施例)中,該方法可檢查GOP結構是否顯性編碼在視訊位元流中或從視訊位元流的先前資料PD中推斷得出。可在視訊位元流中添加表示為“GOP_structure_indicator”的語法元素F(或Fi)。若該GOP結構係從先前資料PD中推斷得出,則在步驟1930(圖8的步驟830的實施例)中,語法元素F(或Fi)指示GOP結構係從先前資料PD中推斷得出。若GOP結構係顯性編碼在視訊位元流中,則在步驟1920(圖8的步驟820的實施例)中,語法元素F(或Fi)可指示GOP結構係顯性編碼在視訊位元流中。
在一變化中,當GOP結構係從視訊位元流的先前資料PD中推斷得出時,不將語法元素F添加到視訊位元流中。
推斷GOP結構會減少用於傳輸視訊的頻寬。
在步驟1940(圖8的步驟830的實施例)中,該方法可從視訊位元流中存取到一語法元素F(或Fi)。
在一變化中,該方法檢查語法元素F(或Fi)是否存在於視訊位元流中。
在步驟1950(圖8的步驟850的實施例)中,該方法可檢查語法元素F(或Fi)是否指示GOP結構係從視訊位元流的先前資料PD中推斷得出,或根據一變化,檢查視訊位元流中是否不存在語法元素F(或Fi)。
然後,在步驟1970(圖8的步驟870的實施例)中,從先前資料PD中推斷出GOP結構。若語法元素F(或Fi)指示GOP結構係顯性編碼在視訊位元流中,或根據一變化,若視訊位元流中存在語法元素F(或Fi),則在步驟1960(圖8的步驟860的實施例)中,將GOP結構從視訊位元流中顯性解碼。
在一實施例中,語法元素F(或Fi)可用信號發送一組預定義GOP結構的預定義GOP結構索引。
如圖20所繪示,預定義GOP結構的範例可為隨機存取(RA:階層式編碼)、低延遲B(LB)、低延遲P(LP)。
方法1900在圖20所繪示的變化中,可使用一附加語法元素如GOP長度用信號發送預定義GOP結構中的精確者。
在一實施例中,先前資料PD包括GOP中的一些先解碼的圖像及該組預定義GOP結構。
例如,基於圖20的預定義GOP結構,若先解碼的圖像POC係0-16-8-4,則推斷的GOP結構與索引“1”的預定義GOP結構有關。
圖21以方塊圖描繪一系統的範例,其中實現本發明的各種方面及實施例。
系統2100可具體化為包括有以下所述各種組件的設備,並且係配置用以執行在本發明文件中說明的一或多個方面。這類設備的範例包括(但不限於)各種電子設備如個人電腦、膝上型電腦、智慧型手機、平板電腦、數位多媒體機上盒、數位電視接收器、個人視訊記錄系統、連接的家用電器,及伺服器。系統2100的元件,單獨地或以組合方式,可具體化在單個積體電路(IC)、多個IC,及/或分離組件中。例如,在至少一
實施例中,系統2100的處理及編碼器/解碼器元件係分佈於多個IC及/或分離組件上。在各種實施例中,系統2100例如經由通訊匯流排或透過專用輸入及/或輸出埠以通訊方式耦合到一或多個其他系統或其他電子設備。在各種實施例中,系統2100係配置用以實現在本發明文件中說明的一或多個方面。
系統2100包括至少一處理器2110,係配置用以執行其中載入的指令,例如用以實現在本發明中說明的各種方面。處理器2110可包括嵌入式記憶體、輸入輸出介面,及本領域已知的其他各種電路設計。系統2100包括至少一記憶體2120(例如依電性記憶體設備,及/或不變性記憶體設備)。系統2100包括一儲存設備2140,其可包括不變性記憶體及/或依電性記憶體,包括(但不限於)電子可抹除可程式化唯讀記憶體(EEPROM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、快閃記憶體、磁碟驅動器,及/或光碟驅動器。作為非限定範例,儲存設備2140可包括內部儲存設備、附接的儲存設備(包括可卸式及不可卸式儲存設備),及/或網路可存取儲存設備。
系統2100包括編碼器/解碼器模組2130,例如係配置用以處理資料以提供編碼視訊或解碼視訊,並且編碼器/解碼器模組2130可包括其本身的處理器及記憶體。編碼器/解碼器模組2130表示可包括在設備中用以執行編碼及/或解碼功能的(數個)模組。眾所周知,設備可包括編碼及解碼模組中的一者或兩者。另外,編碼器/解碼器模組2130係可實現為系統2100的分開元件,或可併入處理器2110內作為硬體及軟體的組合如熟諳此藝者已知。可將待載入到處理器2110或編碼器/解碼器2130上用以執行在本發明所述各種方面的程式碼儲存在儲存設備2140中,並且後續載入到記憶體2120上由處理器2110執行。根據各種實施例,在本發明文件所述過程的效能期間,處理器2110、記憶體2120、儲存設備2140及編碼器/解碼器模組2130中的一或多者可儲存各種項目中的一或多者。這類儲存的項目可包括(但不限於)輸入視訊、解碼視訊或部分解碼視訊、位元流、矩陣、變數,以及從等式、公式、運算及運算邏輯的處理來的中間或最後結果。
在一些實施例中,在處理器2110及/或編碼器/解碼器模組2130內部的記憶體係用以儲存指令及提供工作記憶體用於編碼或解碼期間所需的處理。然而,在其他實施例中,使用處理設備(例如,處理設備可為處理器2110或編碼器/解碼器模組2130)外部的記憶體用於這些功能中的一或多者。外部記憶體可為記憶體2120及/或儲存設備2140,例如,動態依電性記憶體及/或不變性快閃記憶體。在數個實施例中,使用外部不變性快閃記憶體以儲存例如電視的作業系統。在至少一實施例中,快速外部動態依電性記憶體如RAM係作為工作記憶體使用,以用於視訊編碼及解碼操作,如用於MPEG-2(MPEG係指動態影像專家群,MPEG-2亦稱為ISO/IEC 13818,及13818-1亦稱為H.222,及13818-2亦稱為H.262)、HEVC(HEVC係指高效視訊編碼,亦稱為H.265及MPEG-H第2部分),或VVC(多功能視訊編碼,由聯合視訊專家小組JVET開發的新標準)。
可透過各種輸入設備(如方塊2230所示)以提供輸入到系統2100的元件。這類輸入設備包括(但不限於)(i)一射頻(RF)部分,其接收例如廣播公司透過空中傳送的RF信號,(ii)色差(COMP)輸入端子(或一組COMP輸入端子),(iii)通用串列匯流排(USB)輸入端子,及/或(iv)高畫質多媒體介面(HDMI)輸入端子。其他範例(未顯示在圖21中)包括合成視訊。
在各種實施例中,方塊2230的輸入設備具有此技藝已知的相關聯各別輸入處理元件。例如,RF部分可與適用於以下功能的元件相關聯:(i)選擇一期望頻率(亦稱為選擇一信號,或將一信號限制頻寬到一頻帶),(ii)將選取的信號降頻轉換,(iii)再次限制頻寬到較窄頻帶以選擇(例如)一信號頻帶,其在某些實施例可稱為通道,(iv)將降頻轉換及限制頻寬後的信號解調,(v)執行糾錯,及(vi)解多工以選擇期望資料封包流。各種實施例的RF部分包括用以執行這些功能的一或多個元件,例如,選頻器、信號選擇器、頻寬限制器、頻道選擇器、濾波器、降頻轉換器、解調器、糾錯器,及多工解訊器。RF部分可包括調諧器,以便執行各種這些功能,例如包括將接收到的信號降頻轉換到較低頻率(例如,中頻或近基頻)或降到基頻。在一機上盒實施例中,RF部分及其相關的輸入處理元件接收透過有線(例如纜線)媒體傳輸的RF信號,並藉由濾波、降頻轉換,及再次濾波到一期望頻帶以執行頻率選擇。各種實施例重新安排上述(及
其他)元件的順序、移除一些這類元件,及/或添加其他執行類似或不同功能的元件。添加元件可包括在現有元件之間插入元件,例如,插入放大器及類比至數位轉換器。在各種實施例中,RF部分包括天線。
另外,USB及/或HDMI端子可包括各別介面處理器,用以在USB及/或HDMI連接上將系統2100連接到其他電子設備。應瞭解,輸入處理的各種方面,例如里德-所羅門糾錯,可視需要,例如實現在分開的輸入處理IC內或在處理器2110內。同樣地,USB或HDMI介面處理的方面可視需要例如實現在分開的輸入處理IC內或在處理器1010內。將解調、糾錯及解多工後的資料流提供到各種處理元件,例如包括處理器2110,及編碼器/解碼器2130,與記憶體及儲存元件結合操作,以視需要處理資料流用於輸出設備上的呈現。
在一整合殼體內可提供系統2100的各種元件,在整合殼體內,可使用合適的連接安排,例如此項技藝已知的內部匯流排,包括IC間(I2C)匯流排、佈線及印刷電路板,將各種元件互連並在其間傳輸資料。
系統2100包括通訊介面2150,其能經由通訊通道2160與其他設備進行通訊。通訊介面2150可包括(但不限於)收發器,係配置成在通訊通道2160上用以傳輸及接收資料。通訊介面2150可包括(但不限於)數據機或網路卡,並且通訊通道2160例如可實現在有線及/或無線媒體內。
在各種實施例中,使用無線網路如Wi-Fi網路,例如IEEE 802.11(IEEE係指電氣及電子工程師協會),將資料串流或以其他方式提供到系統2100。這些實施例的Wi-Fi信號係透過適用於Wi-Fi通訊的通訊通道2160及通訊介面2150接收。這些實施例的通訊通道2160通常係連接到存取點或路由器,以便提供到外部網路(包括網際網路)的存取,用以允許串流應用及其他在空中的通訊。其他實施例使用機上盒將串流資料提供到系統2100,以便在輸入方塊2130的HDMI連接上傳遞資料。更多其他實施例使用輸入方塊2130的RF連接將串流資料提供到系統2100。如上所述,各種實施例以非串流方式提供資料。另外,各種實施例使用除Wi-Fi之外的無線網路,例如蜂巢式網路或藍牙網路。
系統2100可提供輸出信號給各種輸出設備,包括顯示器
2200、揚聲器2210及其他周邊設備2220。各種實施例的顯示器2200例如包括下列中的一或多者:觸控螢幕顯示器、有機發光二極體(OLED)顯示器、曲面顯示器,及/或折疊式顯示器。顯示器2200係可用於電視、平板電腦、膝上型電腦、手機(行動電話),或其他設備。而且顯示器2200可與其他組件整合在一起(例如在智慧型手機中),或分離(例如用於膝上型電腦的外部監視器)。在實施例的各種範例中,其他周邊設備2220包括下列中的一或多者:獨立式數位視訊光碟(或多樣化數位光碟)(兩用詞皆稱DVR)、光碟播放器、立體聲系統,及/或照明系統。各種實施例使用周邊設備2220中的一或多者,其係基於系統2100的輸出以提供功能。例如,光碟播放器執行播放系統2100的輸出的功能。
在各種實施例中,使用傳訊如AV.Link、消費性電子產品控制(CEC)或其他通訊協定,在系統2100與顯示器2200、揚聲器2210或其他周邊設備2220之間通訊控制信號,以便能利用或不用用戶干預做到設備對設備的控制。輸出設備可透過各別介面2170、2180及2190經由專用連接以通訊方式耦合至系統2100。或者,輸出設備可經由通訊介面2150使用通訊通道2160以連接到系統2100。在一電子設備例如電視中,顯示器2200及揚聲器2210可與系統2100的其他組件整合成單個單元。在各種實施例中,顯示介面2170包括顯示驅動器,例如時序控制器(T Con)晶片。
例如,若輸入2230的RF部分係分開的機上盒的一部分,則顯示器2200及揚聲器2210或者可與其他組件中的一或多者分開。在顯示器2200及揚聲器2210係外部組件的各種實施例中,可經由專用輸出連接,例如包括HDMI埠、USB埠,或COMP輸出,以提供輸出信號。
在本文所述實施方式例如可實現在方法或過程、裝置、軟體程式、資料流或信號中。即使僅在單一形式的實施方式的上下文中討論(例如,僅討論作為方法),所討論特徵的實施亦可實現在其他形式(例如,設備或程式)中。例如可將裝置實現在適當的硬體、軟體及韌體中。例如可將該等方法實現在裝置例如處理器中,處理器通常指處理設備,例如包括電腦、微處理器,積體電路,或可程式化邏輯設備。處理器亦包括通訊設備,例如電腦、手機、可攜式/個人數位助理器(“PDA”),及其他有助於
終端用戶之間資訊通訊的設備。
根據本發明的實施例的一方面,提供一種用於視訊編碼及/或解碼的裝置2100,該裝置包括處理器2110及耦合到該處理器的至少一記憶體2120、2140,處理器2110係配置用以執行上述方法800、900、1600及/或1700的實施例中的任一者。
根據本發明的一方面,提供一種用於視訊編碼及/或解碼的裝置,其包括構件用以使用語法元素指示解碼資料是否顯性編碼在視訊位元流中或從視訊位元流的先前資料中推斷得出。圖1的視訊編碼器可包括該裝置的結構或構件。用於視訊編碼的裝置可執行方法800、900、1600及1700中任一者的任一實施例。
如熟諳此藝者應顯而易見,實施方式可產生各式各樣的信號,係格式化用以攜帶例如可儲存或傳輸的資訊。資訊例如可包括用以執行方法的指令,或由所述實施方式中的一者所產生的資料。例如,可將信號格式化用以攜帶一所述實施例的位元流。可將此一信號例如格式化為電磁波(例如,使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼資料流及利用編碼的資料流以調變載波。信號所攜帶的資訊例如可為類比或數位資訊。眾所周知,信號可在各種不同的有線或無線鏈結上傳輸。信號可儲存在處理器可讀取媒體上。
此外,方法800、900、1600及/或1700中的任一者可實現為電腦程式產品(獨立地或共同地),包括可由處理器執行的電腦可執行指令。可將具有電腦可執行指令的電腦程式產品儲存在系統2100、編碼器100及/或解碼器200的各別暫態或非暫態電腦可讀取儲存媒體中。
重要的是,請注意,方法800、900、1600及/或1700中的一或多個元件在一些實施例中可依不同順序組合、執行,或排除不用,同時仍實現本發明的各方面。可並行地執行其他步驟,其中處理器不會等待一步驟完全完成才開始另一個步驟。
此外,本發明的實施例的各方面可採取電腦可讀取儲存媒體的形式。可利用一或多個電腦可讀取儲存媒體的任何組合。電腦可讀取儲存媒體可採取電腦可讀取程序產品具體化在一或多個電腦可讀取媒體中的形式,並且具有可由電腦執行的電腦可讀取程式碼具體化在其上。在
此使用的電腦可讀取儲存媒體係考慮非暫態儲存媒體,其中給定儲存資訊的固有能力以及從其中提供資訊檢索的固有能力。電腦可讀取儲存媒體例如可為(但不限於)電子、磁性、光學、電磁、紅外線或半導體系統、裝置或設備,或以上各項的任何合適組合。
應了解,以下列表雖然提供可應用本發明的電腦可讀取儲存媒體的較特定範例,但如本領域的普通技術人員容易理解的,僅是舉例說明而非徹查的列表。該範例表包括可攜式電腦磁碟、硬碟、ROM、EPROM、快閃記憶體、可攜式光碟唯讀記憶體(CD-ROM)、光學儲存設備、磁性儲存設備,或以上各項的任何合適組合。
根據本發明的實施例的一方面,提供一種攜帶軟體程式的電腦可讀取儲存媒體,包括程式碼指令用以執行本發明實施例的任何方法的任何實施例,包括方法800、900、1600及/或1700。
800:方法
810,850:檢查步驟
820,830:語法元素指示步驟
840:語法元素存取步驟
860:解碼資料顯性解碼步驟
870:解碼資料推斷步驟
Claims (24)
- 一種解碼視訊資料之方法,包括:解碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出;基於語法元素而得到圖像切片標頭的資料;及基於圖像切片標頭的資料而解碼一區塊。
- 如請求項1所述之方法,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項1所述之方法,其中另一標頭係一圖像標頭。
- 如請求項1所述之方法,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
- 一種具備一或多個處理器及至少一個與該處理器相連接之記憶體的裝置,其中該一或多個處理器配置成執行:解碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出;基於語法元素而得到圖像切片標頭的資料;及基於圖像切片標頭的資料而解碼一區塊。
- 如請求項5所述之裝置,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項5所述之裝置,其中另一標頭係一圖像標頭。
- 如請求項5所述之裝置,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
- 一種編碼視訊資料之方法,包括:得到一圖像切片標頭的資料;基於圖像切片標頭的資料而編碼一區塊;及編碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出。
- 如請求項9所述之方法,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項9所述之方法,其中另一標頭係一圖像標頭。
- 如請求項9所述之方法,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
- 一種具備一或多個處理器及至少一個與該處理器相連接之記憶體的裝置,其中該一或多個處理器配置成執行:得到一圖像切片標頭的資料;基於圖像切片標頭的資料而編碼一區塊;及編碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出。
- 如請求項13所述之裝置,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項13所述之裝置,其中另一標頭係一圖像標頭。
- 如請求項13所述之裝置,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
- 一種非暫態電腦可讀取儲存媒體,其上已儲存有指令用以:解碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出;基於語法元素而得到圖像切片標頭的資料;及基於圖像切片標頭的資料而解碼一區塊。
- 如請求項17所述之非暫態電腦可讀取儲存媒體,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項17所述之非暫態電腦可讀取儲存媒體,其中另一標頭係一圖像標頭。
- 如請求項17所述之非暫態電腦可讀取儲存媒體,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
- 一種非暫態電腦可讀取儲存媒體,其上已儲存有指令用以:得到一圖像切片標頭的資料;基於圖像切片標頭的資料而編碼一區塊;及編碼一語法元素以指示一圖像切片標頭的資料是否顯性編碼在圖像切片標頭中,或是從複數個圖像切片共享的另一標頭的資料推斷得出。
- 如請求項21所述之非暫態電腦可讀取儲存媒體,其中另一標頭在一位元流中的圖像切片標頭之前。
- 如請求項21所述之非暫態電腦可讀取儲存媒體,其中另一標頭係一圖像標頭。
- 如請求項21所述之非暫態電腦可讀取儲存媒體,其中藉由將另一標頭的資料拷貝至圖像切片標頭的資料,而從複數個圖像切片共享的另一標頭的資料推斷得出圖像切片標頭的資料。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19305798.1 | 2019-06-20 | ||
| EP19305798 | 2019-06-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202535067A TW202535067A (zh) | 2025-09-01 |
| TWI925552B true TWI925552B (zh) | 2026-05-11 |
Family
ID=
Non-Patent Citations (2)
| Title |
|---|
| 網路文獻 Jill Boyce AHG15: On interoperability point signalling, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Document: JVET-N0276, 14th Meeting: Geneva, CH, 19–27 March 2019, https://jvet-experts.org/ |
| 網路文獻 Jill Boyce AHG17/AHG15: On VVC HLS relevant to MPEG requirements on immersive media delivery and access (N18134) Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Document: JVET-N0278-v4 14th Meeting: Geneva, CH, 19–27 March 2019 https://jvet-experts.org/ |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20260048327A (ko) | 이웃 샘플 의존 파라메트릭 모델에 기초한 코딩 모드의 단순화 | |
| TWI904047B (zh) | 視訊編碼及解碼之二次轉換 | |
| WO2020096755A1 (en) | Quantization for video encoding or decoding based on the surface of a block | |
| KR20250100770A (ko) | 비디오 인코딩 또는 디코딩을 위한 신택스 요소들 | |
| CN114731430A (zh) | 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区 | |
| JP7679532B2 (ja) | ビデオコード化のための残差コード化における通常のビンの柔軟な割り当て | |
| US20250267307A1 (en) | Method and device for image encoding and decoding | |
| US20240406459A1 (en) | Method and apparatus for signaling decoding data using high level syntax elements | |
| JP2024513657A (ja) | ビデオエンコード及びデコードのためのテンプレートマッチング予測 | |
| CN117880531A (zh) | 用于具有交叉分量缩放的亮度映射的方法和设备 | |
| CN114073093B (zh) | 三角形分割的合并索引的信令通知 | |
| JP7677970B2 (ja) | ジョイントクロマの符号化されたブロックに対するスケーリング処理 | |
| CN117597926A (zh) | 图片的块中的最后有效系数的编码 | |
| JP2025060781A (ja) | 照明補償に基づいてブロックを符号化し及び復号する方法及び機器 | |
| KR20220123643A (ko) | 삼각형 병합 모드에서의 서브-블록 병합 후보들 | |
| WO2020185492A1 (en) | Transform selection and signaling for video encoding or decoding | |
| US20210344962A1 (en) | Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type | |
| TW202535067A (zh) | 使用高階語法元素用信號發送解碼資料之方法及裝置 | |
| KR20240171096A (ko) | 시간적 인트라 모드 예측 | |
| CN117501692A (zh) | 用于视频编码和解码的模板匹配预测 |