TW202145793A - 基於包含在圖像標頭中的資訊的影像編碼方法 - Google Patents

基於包含在圖像標頭中的資訊的影像編碼方法 Download PDF

Info

Publication number
TW202145793A
TW202145793A TW110112962A TW110112962A TW202145793A TW 202145793 A TW202145793 A TW 202145793A TW 110112962 A TW110112962 A TW 110112962A TW 110112962 A TW110112962 A TW 110112962A TW 202145793 A TW202145793 A TW 202145793A
Authority
TW
Taiwan
Prior art keywords
image
picture
flag
header
information
Prior art date
Application number
TW110112962A
Other languages
English (en)
Other versions
TWI789738B (zh
Inventor
亨德里 亨德里
Original Assignee
南韓商Ｌｇ電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商Ｌｇ電子股份有限公司 filed Critical 南韓商Ｌｇ電子股份有限公司
Publication of TW202145793A publication Critical patent/TW202145793A/zh
Application granted granted Critical
Publication of TWI789738B publication Critical patent/TWI789738B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

根據本發明，透過位元流獲取的影像資訊可以包括包含與一參考圖像列表相關的資訊的一圖像標頭，該圖像標頭可以包含與一當前圖像是否不被用為一參考圖像相關的一非參考圖像旗標，該非參考圖像旗標可以包含在該圖像標頭中相對於該圖像標頭的一起始點的固定位置中。由此，可以推導出提高視訊∕影像編碼中的預測效能和編碼效率的效果。

Description

基於包含在圖像標頭中的資訊的影像編碼方法
本發明涉及一種視訊∕影像編碼技術，且具體地涉及一種視訊或影像編碼系統中基於包含在圖像標頭中的資訊的影像編碼方法。
近來，各個領域對4K或8K超高清（Ultra High Definition, UHD） 影像∕視訊等高解析度、高畫質影像∕視訊的需求不斷增加。隨著影像∕視訊解析度或畫質變得更高，要傳輸比常規的影像∕視訊資料數量相對更多的資訊或位元。因此，如果影像∕視訊資料經由諸如現有之有線∕無線寬帶線路的媒體傳輸或儲存在常規儲存媒體中，則傳輸和儲存成本很容易增加。
此外，對虛擬實境（virtual reality, VR）和人工實境（artificial reality, AR） 內容以及全息圖等沉浸式媒體的興趣和需求正在增長；且播放表現出與實際影像∕視訊不同的影像∕視訊特徵，例如遊戲影像∕視訊，也在增長。
因此，需要一種高效的影像∕視訊壓縮技術來有效地壓縮和傳輸、儲存或播放具有上述各種特性的高解析度、高畫質的影像∕視訊。
本發明的示範性實施例提供一種用於提高視訊∕影像編碼效率的方法和裝置。
本發明的示範性實施例提供一種用於將與參考圖像列表相關的資訊發訊號的方法和裝置。
本發明的示範性實施例提供一種用於將包含在圖像標頭中的資訊發訊號的方法和裝置。
本發明的示範性實施例提供一種用於在相對於圖像標頭的起始點的固定位置將與當前圖像是否不被用為參考圖像相關的資訊發訊號的方法和裝置。
本發明的示範性實施例提供一種用於在相對於圖像標頭的起始點的固定位置將與使用的圖像參數組ID相關的資訊發訊號的方法和裝置。
本發明的示範性實施例提供一種用於基於使用6位元的無符號整數將圖像標頭中與使用的圖像參數組ID相關的資訊編碼的方法和裝置。
本發明的示範性實施例提供一種由解碼裝置執行的∕視訊∕影像解碼方法。
本發明的示範性實施例提供一種用於執行視訊∕影像解碼的解碼裝置。
本發明的示範性實施例提供一種由編碼裝置執行的視訊∕影像編碼方法。
本發明的示範性實施例提供一種用於執行視訊∕影像編碼的編碼裝置。
本發明的示範性實施例提供一種電腦可讀數位儲存媒體，其中儲存編碼視訊∕影像資訊，該編碼視訊∕影像資訊由揭露在本發明的至少一示範性實施例中的視訊∕影像編碼方法產生。
本發明的示範性實施例提供一種電腦可讀數位儲存媒體，其中儲存編碼資訊或編碼視訊∕影像資訊，該編碼資訊或編碼視訊∕影像資訊使該解碼裝置執行揭露在本發明的至少一示範性實施例中的視訊∕影像解碼方法。
本發明的示範性實施例可以提高整體影像∕視訊壓縮效率。
本發明的示範性實施例可以將與參考圖像列表相關的資訊發訊號。
本發明的示範性實施例可以將包含在圖像標頭中的資訊發訊號。
本發明的示範性實施例可以在相對於圖像標頭的起始點的固定位置將與當前圖像是否不被用為參考圖像相關的資訊發訊號。
本發明的示範性實施例可以在相對於圖像標頭的起始點的固定位置將與使用的圖像參數組ID相關的資訊發訊號。
本發明的示範性實施例可以基於使用6位元的無符號整數將圖像標頭中與使用的圖像參數組ID相關的資訊編碼。
本發明可以以各種形式進行修改，其具體實施例將在該附圖中進行描述和顯示。然而，這些實施例並非旨在限制本發明。以下描述中使用的術語僅用於描述具體的實施例，但不是用於限制本發明。只要能清楚地理解不同，單數的表述包含該複數的表述。｢包含｢和｢具有｢等術語旨在表明：以下描述中使用的特徵、編號、步驟、操作、元件、部件或其組合存在，因此應理解不排除存在或添加一或多個不同的特徵、編號、步驟、操作、元件、部件，或其組合的可能。
同時，在本發明中描述的附圖中的每個部件是獨立顯示的，以便描述不同的特徵功能，並不意味著要在單獨的硬體或軟體中實作該部件。例如，兩個或更多個別配置的多個組合可以形成一個配置，或者一個配置可以分成多個配置。其中每個配置集成及∕或分離的實施例也包含在本發明的範圍內，且不脫離本發明的精神。
在下文中，將參照附圖對本發明的示範性實施例進行詳細描述。在下文中，附圖中相同的部件使用相同的附圖標記，且可以省略對相同部件的重複描述。
圖1示意性地說明可應用本發明示範性實施例的視訊∕影像編碼系統的示例的視圖。
參照圖1，視訊∕影像編碼系統可以包括第一裝置（來源裝置）和第二裝置（接收裝置）。來源裝置可以用檔案或串流的形式經由數位儲存媒體或網路傳送編碼的視訊∕影像資訊或資料到接收裝置。
來源裝置可以包括視訊源、編碼裝置和傳送器。接收裝置可以包括接收裝置、解碼裝置和渲染器。編碼裝置可以稱為視訊∕影像編碼裝置，而解碼裝置可以稱為視訊∕影像解碼裝置。傳送器可以包含在編碼裝置中。接收裝置可以包含在解碼裝置中。渲染器可以包含顯示器，而該顯示器可以配置為單獨的裝置或外部部件。
視訊源可以透過擷取、合成或產生視訊∕影像的程序來獲取視訊∕影像。視訊源可以包含視訊∕影像擷取裝置及∕或視訊∕影像產生裝置。視訊∕影像擷取裝置可以包含例如一個或多個相機、包含先前擷取的視訊∕影像的視訊∕影像檔案等等。視訊∕影像產生裝置可以包含例如電腦、平板電腦和智能手機，並可以（電性地）產生視訊∕影像。例如，可以透過電腦或類似方式產生虛擬視訊∕影像。在這種情況下，視訊∕影像擷取流程可以由產生相關資料的流程代替。
編碼裝置可以對輸入的視訊∕影像進行編碼。編碼裝置可以執行用於壓縮和編解碼效率的一系列程序，例如預測、變換和量化。編碼資料（編碼的視訊∕影像資訊）可以用位元流的形式輸出。
傳送器可以透過數位儲存媒體或網路以檔案或串流的形式將以位元流的形式輸出之編碼的影像∕影像資訊或資料傳輸給接收裝置的接收器。數位儲存媒體可以包含各種儲存媒體，例如USB、SD、CD、DVD、藍光、HDD、SSD等等。傳送器可以包含用於透過預定檔案格式產生媒體檔案的元件，並可以包含用於透過廣播∕通信網路進行傳輸的元件。接收裝置可以接收∕提取位元流，並將所接收的位元流傳輸到解碼裝置。
解碼裝置可以藉由執行對應編碼裝置的操作的一系列程序，例如反量化、逆變換和預測，來對視訊∕影像進行解碼。
渲染器可以渲染解碼的視訊∕影像。渲染的視訊∕影像可以透過顯示器進行顯示。
本發明涉及視訊∕影像編碼。例如，揭露在本發明中的方法∕示範性實施例可適用於揭露在通用視訊編碼（versatile video coding, VVC）標準中的方法。此外，揭露在本發明中的方法∕示範性實施例可適用於揭露在基本視訊編碼（essential video coding, EVC）標準、第一代視訊編碼（AOMedia Video 1, AV1）標準、第二代音視訊編碼（2nd generation of audio video coding, AVS2）標準或下一代視訊∕影像編碼標準中（H.267或H.268）的方法。
本發明介紹了視訊∕影像編碼的各種實施例，除非另有說明，否則該實施例可以相互組合執行。
在本發明中，視訊可以指隨時間變化的一系列影像的集合。圖像（picture）一般指表示特定時段內的一個影像（image）的單元，而切片（slice）和圖磚（tile）則是構成編碼中圖像的一部分的單元。切片∕圖磚可以包含一個或多個編碼樹單元（coding tree unit, CTU）。一張圖像可以由一個或多個切片∕圖磚組成。圖磚是一圖像中特定圖磚行和特定圖磚列內的CTU的矩形區域。圖磚行是CTU的一矩形區域，CTU的高度等於圖像的高度，而CTU的寬度由圖像參數組中的語法元素（syntax element）指定。圖磚列是CTU的一矩形區域，CTU的高度由圖像參數組中的語法元素指定，而CTU的寬度等於圖像的寬度。圖磚掃描是分割圖像的 CTU 的特定順序排序，其中CTU在圖磚中的CTU光柵掃描中連續排序，而一圖像中的圖磚在該圖像的圖磚的光柵掃描中連續排序。一切片包含整數個完整的圖磚或一圖像的一圖磚內的整數個連續的完整CTU行，其可以排他地包含在單個NAL單元中。
同時，一個圖像可以被劃分為兩個或多個子圖像。子圖像可以是一個圖像內的一個或多個切片的矩形區域。
一像素（pixel）或圖素（pel）可能意味著構成一張圖像（或影像）的最小單位。此外，「樣本（sample）」可以用作對應於一個像素的術語。一個樣本通常可以代表一個像素或一個像素的值，並可以僅表示亮度分量的一個像素∕像素值，或者僅表示色度分量的一個像素∕像素值。
一個單元可以代表影像處理的基本單元。該單元可以包含圖像的特定區域和與該區域相關的資訊中的至少一個。一個單元可以包含一個亮度區塊和兩個色度（例如，Cb、cr）區塊。在某些情況下，該單位可以與諸如區塊或區域之類的術語互換使用。在一般情況下，M×N區塊可以包含M列N行變換係數的組（或陣列）或樣本（或樣本陣列）。
在本發明中，｢A或B｣可以指｢僅A｣、｢僅B｣或｢A和B｣。換言之，在本發明中，｢A或B｣可以說明為作為｢A及∕或B｣。例如，在本發明中，｢A、B、或C｣可以指｢僅A｣、｢僅B｣、｢僅C｣、或｢A、B的任何組合、和 C｣。
本發明中使用的斜線（∕）或逗號可以表示｢及∕或｣。例如，｢A∕B｣可以表示｢A及∕或B｣。因此，｢A∕B｣可以表示表示｢僅A｣、｢僅B｣、或｢A和B｣。例如，｢A、B、C｣可以表示｢A、B、或C｣。
在本發明中，｢A 和 B 中的至少一個｣可以指｢僅A｣、｢僅B｣或｢A和B｣。此外，在本發明中，｢至少一個｣的表述或｢A或B中的至少一個｣或｢A及∕或B中的至少一個｣可以說明為與｢A和B中的至少一個｣相同。
此外，在本發明中，｢A、B和C中的至少一個｣可以指｢僅A｣、｢僅B｣、｢僅C｣，或｢A、B和C的任何組合｣。此外，｢A、B或C中的至少一個｣或｢A、B及或C中的至少一個｣可以指｢A、B和C中的至少一個｣。
此外，本發明中使用的括號可以表示｢例如｣。具體而言，如果用｢預測（幀內預測（intra prediction））｣表示，則可以提出｢幀內預測｣作為｢預測｣的例子。換言之，本發明中的｢預測｣不限於｢幀內預測｣，｢幀內預測｣可以作為｢預測｣的例子提出。此外，即使是由｢預測（即幀內預測）｣指示，｢幀內預測｣可以提出作為｢預測｣的例子。
在本發明中，單獨描述在一個附圖中的技術特徵可以單獨實施，也可以同時實施。
圖2是用於示意性地說明可應用本發明示範性實施例的視訊∕影像編碼裝置的配置的視圖。在下文中，編碼裝置可以包括影像編碼裝置及∕或視訊編碼裝置。
參照圖2，編碼裝置200包含影像分割器210、預測器220、殘差處理器230、熵編碼器240、加法器250、濾波器260、以及記憶體270。預測器220可以包含幀間預測器221和幀內預測器222。殘差處理器230可以包含變換器232、量化器233、反量化器234和逆變換器235。殘差處理器230還可以包含減法器231。加法器250可以稱為重組器或重組區塊產生器。影像分割器210、預測器220、殘差處理器230、熵編碼器240、加法器250和濾波器260可以由根據一實施例的至少一個硬體部件（例如，編碼器晶片組或處理器）配置。此外，記憶體270可以包含解碼圖像緩衝器（decoded picture buffer, DPB）或者可以由數位儲存媒體配置。硬體部件還可以包含記憶體270，作為內部∕外部部件。
影像分割器210可以將輸入到編碼裝置200的輸入影像（或圖像或幀）分割成一個或多個圖磚。例如，處理器可以稱為編碼單元（coding unit, CU）。在這種情況下，編碼單元可以根據四叉樹二叉樹三叉樹（quad-tree binary-tree ternary-tree, QTBTTT）結構從編碼樹單元（coding tree unit, CTU）或最大編碼單元（largest coding unit, LCU）遞歸劃分。例如，基於四叉樹結構、二叉樹結構及∕或三叉樹結構，可以將一個編碼單元劃分成多個更深深度的編碼單元。在這種情況下，例如，可以先應用四叉樹結構，並接著可以使用二叉樹結構及∕或三元結構。或者，可以先使用二叉樹結構。根據本發明的編碼程序可以基於不再劃分的最終編碼單元來執行。在這種情況下，最大編碼單元可以根據影像特徵，基於編碼效率作為最終編碼單元，或必要時，可以將編碼單元遞歸劃分為更深的編碼單元，並可以使用具有最優大小的編碼單元作為最終編碼單元。這裡的編碼程序可以包括預測、變換、和重組程序，將在稍後描述。作為另一例子，處理器還可以包含預測單元（prediction unit, PU）或變換單元（transform unit, TU）。在這種情況下，預測單元和變換單元可以從上述最終編碼單元拆解或分離出來。預測單元可以是樣本預測單元，而變換單元可以是用於推導出變換係數的單元及∕或用於從變換係數推導出殘差訊號的單元。
在某些情況下，該單元可以與諸如區塊或區域之類的術語互換使用。在一般情況下，M×N區塊可能代表一組樣本或由M列和N行組成的變換係數。樣本一般可以代表一個像素或一個像素的值、可以只代表一個亮度分量的一個像素∕像素值、也可以只代表一個色度分量的一個像素∕像素值。一個樣本可以用作對應一個像素或一個圖素的一個圖像（或影像）的術語。
在編碼裝置200中，從幀間預測器221或幀內預測器222輸出的預測訊號（預測區塊、預測樣本陣列）從輸入影像訊號（原始區塊、原始樣本陣列）中減去以產生殘差訊號（殘差區塊、殘差樣本陣列），且所產生的殘差訊號被傳送到變換器232。在這種情況下，如圖所示，在編碼器200中用於從輸入影像訊號（原始區塊、原始樣本陣列）中減去預測訊號（預測區塊、預測樣本陣列）的單元可以稱為減法器231。預測器可以對待處理區塊（以下簡稱當前（current）區塊）進行預測，並產生包含當前區塊的預測樣本的預測區塊。預測器可以在當前區塊或CU的基礎上決定使用的是幀內預測還是幀間預測。如稍後每種預測模式的描述中所述，預測器可以產生與預測相關的各種資訊，如預測模式資訊，並將產生的資訊傳送到熵編碼器240。該預測的資訊可以在熵編碼器240中編碼並以位元流的形式輸出。
幀內預測器222可以藉由參考當前圖像中的樣本來預測當前區塊。所參考的樣本可以位於當前區塊附近，或是可以根據預測模式分開放置。在幀內預測中，預測模式可以包含複數個非定向模式和複數個定向模式。非定向模式可以包含例如DC模式和平面模式。定向模式根據預測方向的詳細程度可以包含例如33個定向預測模式或65個定向預測模式。然而，這僅是一個例子，可以根據設定使用更多或更少的定向預測模式。幀內預測器222可以藉由使用應用於鄰近區塊的預測模式來決定應用於當前區塊的預測模式。
幀間預測器221可以基於參考圖像上由運動向量指定的參考區塊（參考樣本陣列）推導出當前區塊的預測區塊。在此，為了減少在幀間預測模式中傳輸的運動資訊量，運動資訊可以基於鄰近區塊與當前區塊之間的運動資訊的相關性以區塊、子區塊或樣本為單元進行預測。運動資訊可以包含運動向量和參考圖像索引。運動資訊還可以包含幀間預測方向（L0預測、L1預測、Bi預測等等）資訊。在幀間預測的情況下，鄰近區塊可以包含當前圖像中存在的空間鄰近區塊和一個參考圖像中存在的時間鄰近區塊。包含參考區塊的參考圖像和包含時間鄰近區塊的參考圖像可以是相同或不同的。時間鄰近區塊可以稱為並置參考區塊、並置CU（colCU）等等，而包含時間鄰近區塊的參考圖像可以稱為並置圖像（colPic）。例如，幀間預測器221可以基於鄰近區塊配置運動資訊候選列表和產生指示使用哪個候選來推導出當前區塊的運動向量及∕或參考圖像索引的資訊。可以基於各種預測模式執行幀間預測。例如，在跳過模式和合併模式的情況下，幀間預測器221可以使用鄰近區塊的運動資訊作為當前區塊的運動資訊。在跳過模式下，與合併模式不同，殘差訊號可以不被傳輸。在運動向量預測（motion vector prediction, MVP）模式的情況下，鄰近區塊的運動向量可以用為運動向量預測器，且當前區塊的運動向量可以藉由將運動向量差發訊號來指示。
預測器220可以基於下面描述的各種預測方法產生預測訊號。例如，預測器不僅可以應用幀內預測或幀間預測來預測一個區塊，還可以同時應用幀內預測和幀間預測。這可以稱為組合的幀間和幀內預測（combined inter and intra prediction, CIIP）。另外，預測器可以基於幀內區塊複製（intra block copy, IBC）預測模式或用於區塊預測的調色板模式。IBC預測模式或調色板模式可以用於遊戲等的內容影像∕視訊編碼，例如，螢幕內容編碼（screen content coding, SCC）。IBC基本上在當前圖像中執行預測，但也可以與幀間預測執行，其中參考區塊在當前圖像中被推導出。也就是說，IBC可以使用本發明中描述的幀間預測技術中的至少一種。調色板模式可以認為是幀內編碼或幀內預測的一個例子。當應用調色板模式時，一個圖像內的一個樣本值可以基於調色板表和調色板索引上的資訊來發訊號。
由預測器（包含幀間預測器221及∕或幀內預測器222）產生的預測訊號可以用以產生重組訊號或產生殘差訊號。變換器232可以藉由對殘差訊號應用變換技術來產生變換係數。例如，變換技術可以包含離散餘弦變換（discrete cosine transform, DCT）、離散正弦變換（discrete sine transform, DST）、基於圖的變換（graph-based transform, GBT）或條件非線性變換（conditionally non-linear transform, CNT）中的至少一種。在此，GBT是指當像素之間的關係資訊由一圖表示時從該圖獲得的變換。CNT是指基於使用所有先前重組的像素產生的預測訊號而產生的變換。此外，變換程序可以應用於具有相同尺寸的方形像素區塊，或可以應用於具有可變尺寸而非方形的區塊。
量化器233可以量化變換係數並將它們傳送給熵編碼器240，且熵編碼器240可以對量化訊號（量化變換係數上的資訊）進行編碼並輸出位元流。量化變換係數上的資訊可以稱為殘差資訊。量化器233可以基於係數掃描順序將區塊類型的量化變換係數重新排列為一維向量形式，並基於該一維向量形式的量化變換係數產生量化變換係數的資訊。可以產生變換係數上的資訊。熵編碼器240可以執行各種編碼方法，例如指數哥倫布（exponential Golomb）、上下文自適應可變長度編碼（context-adaptive variable length coding, CAVLC）、上下文自適應二進制算術編碼（context-adaptive binary arithmetic coding, CABAC）等等。熵編碼器240可以同時或分開地編碼除了量化的變換係數之外的視訊∕影像重組所需的資訊（例如語法元素的值等等）。編碼資訊（例如編碼的視訊∕影像資訊）可以用位元流的形式以網路抽象層（network abstraction layer, NAL）為單位傳輸或儲存。視訊∕影像資訊還可以包含各種參數組上的資訊，例如自適應參數組（adaptation parameter set, APS）、圖像參數組（picture parameter set, PPS）、序列參數組（sequence parameter set, SPS）或視訊參數組（video parameter set, VPS）。此外，視訊∕影像資訊還可以包含一般約束資訊。在本發明中，從編碼裝置傳輸∕發訊號到解碼裝置的資訊及∕或語法元素可以包含在視訊∕圖像資訊中。視訊∕影像資訊可以透過上述說明的編碼程序進行編碼並包含在位元流中。位元流可以通過網路傳輸，也可以儲存在數位儲存媒體中。網路可以包含廣播網路及∕或通信網路，而數位儲存媒體可以包含諸如USB、SD、CD、DVD、Blu-ray、HDD、SSD等等的各種儲存媒體。傳輸從熵編碼器240輸出的訊號的傳送器（圖未示出）及∕或儲存該訊號的儲存單元（圖未示出）可以包含作為編碼裝置200的內部∕外部元件，或者，該傳送器可以包含在熵編碼器240中。
從量化器233輸出的量化變換係數可以被用以產生預測訊號。例如，可以藉由透過反量化器234和逆變換器235對量化變換係數應用反量化和逆變換來重組殘差訊號（殘差區塊或殘差樣本）。加法器250將重組殘差訊號與從幀間預測器221或幀內預測器222輸出的預測訊號相加，以產生重組訊號（重組圖像、重組區塊、重組樣本陣列）。若該區塊沒有殘差待處理，例如在應用跳過模式的情況下，可以將預測區塊用為重組區塊。加法器250可以稱為重組區塊或重組區塊產生器。產生的重組訊號可以用於當前圖像中要處理的下一個區塊的幀內預測，並可以用於透過如下所述的濾波對下一個圖像進行幀間預測。
同時，在圖像編碼及∕或重組期間可以應用具有色度縮放（chroma scaling, LMCS）的亮度映射。
濾波器260可以藉由對重組訊號應用濾波來提高主觀∕客觀圖像質量。例如，濾波器260可以藉由對重組圖像應用各種濾波方法來產生修正重組圖像，並將修正重組圖像儲存在記憶體270內的重組圖像中，具體地，在記憶體270的DPB內的重組圖像中。各種濾波方法可以包含例如去區塊濾波、樣本自適應偏移、自適應環路濾波器、雙邊濾波器等。濾波器260可以產生各種與濾波相關的資訊並將產生的資訊傳送給熵編碼器240，如以下各濾波方法的描述中所述。與濾波相關的資訊可以由熵編碼器240編碼並以位元流的形式輸出。
傳輸到記憶體270的修改重組圖像可以用作幀間預測器221中的參考圖像。當幀間預測透過編碼裝置應用時，可以避免編碼裝置200與解碼裝置之間的預測不匹配並可以提高編碼效率。
記憶體270的DPB可以儲存修改的重組圖像以用作幀間預測器221中的參考圖像。記憶體270可以儲存區塊的運動資訊，從運動資訊推導出（或編碼）當前圖像中的運動資訊及∕或圖像中已重組的運動資訊。儲存的運動資訊可以傳輸到幀間預測器221並用作空間相鄰區塊的運動資訊或時間相鄰區塊的運動資訊。記憶體270可以儲存當前圖像中重組區塊的重組樣本，並可以將重組樣本傳送給幀內預測器222。
圖3是示意性地說明可應用本發明示範性實施例的視訊∕影像解碼裝置的配置的視圖。以下，解碼裝置可以包括影像解碼裝置及∕或視訊解碼裝置。
參照圖3，解碼裝置300可以包括熵解碼器310、殘差處理器320、預測器330、加法器340、濾波器350、以及記憶體360。預測器330可以包含幀內預測器331和幀間預測器332。殘差處理器320可以包含反量化器321和逆變換器322。熵解碼器310、殘差處理器320、預測器330、加法器340和濾波器350根據實施例可以由硬體組件配置（例如解碼器晶片組或處理器）。另外，記憶體360可以包含解碼圖像緩衝器（decoded picture buffer, DPB）或者可以由數位儲存媒體配置。硬體組件可以進一步包含記憶體360，作為內部∕外部組件。
當輸入包含視訊∕影像資訊的位元流時，解碼裝置300可以重組對應於在圖2的編碼裝置中處理視訊∕影像資訊的流程的影像。例如，解碼裝置300可以基於與從位元流獲得的資訊相關的區塊分段來推導出單元∕區塊。解碼裝置300可以使用應用在編碼裝置中的處理器進行解碼。因此，解碼的處理器可以是編碼單元，例如，該編碼單元可以根據來自編碼樹單元或最大編碼單元的四叉樹結構、二叉樹結構及∕或三叉樹結構進行分段。可以從編碼單元推導出一個或多個變換單元。透過解碼裝置300解碼輸出的重組圖像訊號可以透過再現裝置再現。
解碼裝置300可以用位元流的形式接收從圖2的編碼裝置輸出的訊號，且所接收的訊號可以透過熵解碼器310進行解碼。例如，熵解碼器310可以解析位元流以推導出影像重組（或圖像重組）所需的資訊（像是視訊∕影像資訊）。視訊∕影像資訊還可以包含各種參數組上的資訊，例如自適應參數組（adaptation parameter set, APS）、圖像參數組（picture parameter set, PPS）、序列參數組（sequence parameter set, SPS），或視訊參數組（video parameter set, VPS）。此外，視訊∕影像資訊還可以包含一般約束資訊。解碼裝置還可以基於參數組的資訊及∕或一般約束資訊對圖像進行解碼。在本發明中稍後描述的發訊號∕接收資訊及∕或語法元素可以被解碼、可以解碼該解碼程序、並可以從位元流中獲得。例如，熵解碼器310基於指數哥倫布、CAVLC，或CABAC的編碼方式解碼在位流中的資訊，並輸出殘差變換係數的量化值和圖像重組所需的語法元素。更具體地，CABAC熵解碼方法可以接收位元流中與每個語法元素對應的二進位元（bin）；使用解碼目標語法元素資訊、解碼目標區塊的解碼資訊或前一階段中解碼的符號∕二進位元的資訊來決定上下文模式；以及藉由根據決定的上下文模式預測二進位元的出現概率來對二進位元執行算術解碼，並產生對應於每個語法元素的值的符號。在這種情況下，CABAC熵解碼方法可以在決定上下文模式之後，藉由使用下一個符號∕二進位元的上下文模式用的解碼符號∕位元的資訊來更新上下文模式。在由熵解碼器310解碼的資料中與預測相關的資訊可以提供給預測器（幀間預測器332和幀內預測器331），並且在熵解碼器310中執行熵解碼的殘差值、即量化變換係數和相關參數資訊、可以輸入到殘差處理器320。殘差處理器320可以推導出殘差訊號（殘差區塊、殘差樣本、殘差樣本數組）。此外，關於在由熵解碼器310解碼的資訊之中的濾波的資訊可以提供給濾波器350。同時，用於接收從編碼裝置輸出的訊號的接收裝置（圖未示出）可以進一步配置為解碼裝置300的內部∕外部元件，或者接收器可以是熵解碼器310的組件。同時，根據本發明的解碼裝置可以稱為視訊∕影像∕圖像解碼裝置，並且解碼裝置可以分類為資訊解碼器（視訊∕影像∕圖像資訊解碼器）和樣本解碼器（視訊∕影像∕圖像資訊解碼器）。資訊解碼器可以包含熵解碼器310，而樣本解碼器可以包含反量化器321、逆變換器322、加法器340、濾波器350、記憶體360、幀間預測器332、以及幀內預測器331中的至少一個。
反量化器321可以對量化的變換係數進行反量化並輸出變換係數。反量化器321可以將量化的變換係數重新排列為二維區塊形式。在這種情況下，可以基於在編碼裝置中執行的係數掃描順序執行重新排列。反量化器321可以藉由使用量化參數（例如量化步長資訊）對量化的變換係數執行反量化並獲得變換係數。
逆變換器322對變換係數進行逆變換，以獲得殘差訊號（殘差區塊、殘差採樣陣列）。
預測器330可以在當前區塊上進行預測，並產生當前區塊之包含預測樣本的預測區塊。預測器330可以基於關於從熵解碼器310輸出的預測的資訊來決定幀內預測或幀間預測是否應用於當前區塊，並可以決定一特定幀內∕幀間預測模式。
預測器330可以基於下面描述的各種預測方法產生預測訊號。例如，預測器330不僅可以應用幀內預測或幀間預測來預測一個區塊，還可以同時應用幀內預測和幀間預測。這可以稱為組合的幀間和幀內預測（combined inter and intra prediction, CIIP）。另外，預測器330可以基於區塊預測的一內區塊複製（intra block copy, IBC）預測模式或一調色板模式。IBC預測模式或調色板模式可以用於遊戲或類似的內容影像∕視訊編碼，例如，螢幕內容編碼 （screen content coding, SCC）。IBC基本上在當前圖像中執行預測，但可以類似於幀間預測來執行，其中在當前圖像中推導出參考區塊。也就是說，IBC可以使用本發明中描述的幀間預測技術中的至少一種。調色板模式可以認為是幀內編碼或幀內預測的示例。當應用調色板模式時，一個圖像內的一個樣本值可以基於關於調色板表和調色板索引的資訊來發訊號。
幀內預測器331可以藉由參考當前圖像中的樣本來預測當前區塊。所參考的樣本可以位於當前區塊的附近中，或可以根據預測模式分開放置。在幀內預測中，預測模式可以包含複數個非定向模式和複數個定向模式。幀內預測器331可以藉由使用應用於一相鄰區塊的一預測模式來決定應用於當前區塊的預測模式。幀內預測器331可以藉由參考當前圖像中的樣本來預測當前區塊。所參考的樣本可以位於當前區塊的附近中，或可以根據預測模式分開放置。在幀內預測中，預測模式可以包含複數個非定向模式和複數個定向模式。幀內預測器331可以藉由使用應用於相鄰區塊的預測模式來決定應用於當前區塊的預測模式。
幀間預測器332可以基於由參考圖像上的運動向量指定的參考區塊（參考樣本陣列）來推導出當前區塊的預測區塊。在這種情況下，為了減少幀間預測模式中傳輸的運動資訊的數量，可以基於相鄰區塊與當前區塊之間的運動資訊的相關性，以區塊、子區塊或樣本為單位對運動資訊進行預測。運動資訊可以包含運動向量和參考圖像索引。運動資訊還可以包含幀間預測方向（L0預測、L1預測、Bi預測等）資訊。在幀間預測的情況下，相鄰區塊可以包含存在於當前圖像中的空間相鄰區塊和存在於參考圖像中的時間相鄰區塊。例如，幀間預測器332可以基於相鄰區塊配置運動資訊候選列表並推導出當前圖像的運動向量分量及∕或基於接收的候選選擇資訊的參考圖像索引。幀間預測可以基於各種預測模式進行，且關於預測的資訊可以包含為當前區塊指示幀間預測模式的資訊。
加法器340可以藉由將獲得的殘差訊號與從預測器（包括幀間預測器332及／或幀內預測器331）輸出的預測訊號（預測區塊、預測樣本陣列）相加來產生重組訊號（重組圖像、重組區塊、重組樣本陣列）。如果區塊沒有殘差要進行處理，例如應用跳過模式時，預測的區塊可以被用為重組區塊。
加法器340可以稱為重組器或重組區塊產生器。產生的重組訊號可以用於當前圖像中要處理的下一個區塊的幀內預測、可以如下所述透過濾波輸出、或可以用於下一個圖像的幀間預測。
同時，在圖像解碼流程中可以應用具有色度縮放（chroma scaling, LMCS）的亮度映射。
濾波器350可以藉由對重組訊號應用濾波來提高主觀∕客觀圖像質量。例如，濾波器350可以藉由對重組圖像應用各種濾波方法來產生修正重組圖像，並將該修正重組圖像儲存在記憶體360中，具體地，儲存在記憶體360的DPB中。各種濾波方法可以包含例如去區塊濾波、樣本自適應偏移、自適應環路濾波器、雙邊濾波器等。
儲存在記憶體360的DPB中的（修改後的）重組圖像可以作為幀間預測器332中的參考圖像。記憶體360可以儲存當前圖像中運動資訊被推導出（或解碼）的區塊的運動資訊及∕或已被重組的圖像中的區塊的運動資訊。儲存的運動資訊可以傳送到幀間預測器332，以便用作空間相鄰區塊的運動資訊或時間相鄰區塊的運動資訊。記憶體360可以儲存當前圖像中重組區塊的重組樣本並將重組樣本傳送到幀內預測器331。
在本發明中，在編碼裝置200的濾波器260、幀間預測器221和幀內預測器222中描述的實施例可以同樣地或分別地應用於對應解碼裝置300的濾波器350、幀間預測器332、和幀內預測器331。同樣也應用於幀間預測器332和幀內預測器331。
如上所述，在進行視訊編碼時，進行預測以提高壓縮效率。可以透過預測為當前區塊、即目標編碼區塊、產生包含預測樣本的預測區塊。在這種情況下，預測的區塊包含空間域（或像素域）中的預測樣本。預測的區塊在編碼裝置和解碼裝置中被同樣地推導出。編碼裝置可以藉由將關於原始區塊（不是原始區塊的原始樣本值本身）與預測區塊之間的殘差的資訊（殘差資訊）發訊號給解碼裝置，來提高影像編碼效率。解碼裝置可以基於殘差資訊推導出包含殘差樣本的殘差區塊：可以藉由將殘差區塊和預測區塊相加來產生包含重組樣本的重組區塊：以及可以產生包含該些重組區塊的重組圖像。
殘差資訊可以透過變換和量化程序產生。例如，編碼裝置可以在原始區塊與預測區塊之間推導出殘差區塊；可以藉由對包含在殘差區塊中的殘差樣本（殘差樣本陣列）執行變換程序來推導出變換係數；可以藉由對變換係數執行量化程序來推導出量化的變換係數；以及可以將相關的殘差資訊發訊號給解碼裝置（透過位元流）。在這種情況下，殘差資訊可以包含諸如量化的變換係數的值資訊、位置資訊、變換方案、變換核和量化參數的資訊。解碼裝置可以基於殘差資訊執行反量化∕逆變換程序，並可以推導出殘差樣本（或殘差區塊）。解碼裝置可以基於預測區塊和殘差區塊產生重組圖像。此外，編碼裝置可以藉由對量化的變換係數進行反量化∕逆變換來推導出殘差區塊，以供後續圖像的幀間預測參考，並可以產生重組圖像。
在本發明中，可以省略量化∕反量化及∕或變換∕逆變換中的至少一個。如果省略量化∕反量化，則量化的變換係數可以稱為變換係數。如果省略變換∕逆變換，變換係數也可以稱為係數或殘差係數，或為表述統一，仍可以稱為變換係數。
此外，在本發明中，量化變換係數和變換係數可以分別稱為變換係數和縮放變換係數。在這種情況下，殘差資訊可以包含關於變換係數的資訊，而關於變換係數的資訊可以透過殘差編碼語法來發訊號。變換係數可以基於殘差資訊（或變換係數的資訊）來推導出，並且變換係數可以透過變換係數用的逆變換（縮放）來推導出。殘差樣本可以基於縮放變換係數用的逆變換（變換）來推導出。這同樣適用於∕表達於本發明的其他區塊中。
圖4示範性地說明編碼視訊∕影像的層次結構。
參照圖4，編碼後的視訊∕影像可以分為視訊編碼層（video coding layer, VCL），其處理視訊∕影像及其自身的解碼流程、用於傳輸和儲存編碼資訊的子系統、以及存在於VCL與該子系統之間的網路抽象層，並負責網路適配功能。
例如，在VCL中，可以產生包含壓縮影像資料（切片資料）的VCL資料，或者可以產生包含圖像參數組（picture parameter set, PPS）的參數組、序列參數組（sequence parameter set, SPS）、視訊參數組（video parameter set, VPS）、或影像解碼程序用之額外需要的補充增強資訊（supplemental enhancement information, SEI）訊息。
此外，例如，在NAL中，NAL單元可以藉由將標頭資訊（NAL unit header）添加至於VCL中產生的原始字節序列有效載荷（raw byte sequence payload, RBSP）來產生。在這種情況下，RBSP可以稱為在VCL中產生的切片資料、參數組、及SEI訊息，NAL單元標頭可以包括根據包含在對應的NAL單元中的RBSP資料所指定的NAL單元類型資訊。
此外，例如，如圖4所示，NAL單元可以根據產生在VCL中的RBSP分為VCL NAL單元和非VCL NAL單元。VCL NAL單元可以指NAL單元，包含關於影像（切片資料）的資訊，而非VCL NAL單元可以指NAL單元，包含用於影像解碼所需的資訊（參數組或SEI訊息）。
上述VCL NAL單元和非VCL NAL單元可以根據子系統的資料標準，藉由附加標頭資訊透過網路來傳輸。例如，NAL單元可以轉換成標準的預定資料格式，例如H.266/VVC文件格式、即時傳輸協議（real-time transport protocol, RTP）、或傳輸流（transport stream, TS），並透過各種網路傳輸。
此外，如上所述，可以根據包含在對應的NAL單元中的RBSP的資料結構為NAL單元指定NAL單元類型，並可以將關於NAL單元類型的資訊儲存在NAL單元標頭中並發訊號至NAL單元標頭。
例如，NAL單元可以根據是否包含關於影像（切片資料）的資訊分為VCL NAL單元類型和非VCL NAL單元類型。此外，VCL NAL單元類型可以根據包含在VCL NAL單元中的圖像的屬性和類型來分類，而非VCL NAL單元類型可以根據參數組的類型來分類。
以下描述可以是根據包含在非VCL NAL單元類型中的參數組的類型所指定的NAL單元類型的示例。
-自適應參數組（adaptation parameter set, APS）NAL單元：包含APS的NAL單元用的類型。
-解碼參數組（decoding parameter set, DPS）NAL單元：包含DPS的NAL單元用的類型。
-視訊參數組（video parameter set, VPS）NAL單元：包含VPS的NAL單元用的類型。
-序列參數組（sequence parameter set, SPS）NAL單元：包含SPS的NAL單元用的類型。
-圖像參數組（picture parameter set, PPS）NAL單元：包含PPS的NAL單元用的類型。
-圖像標頭（picture header, PH）NAL單元：包含PH的NAL單元用的類型。
上述NAL單元類型可以具有關於NAL單元類型的語法資訊，且語法資訊可以儲存在NAL單元標頭中並發訊號給NAL單元標頭。例如，語法資訊可以是nal_unit_type，且NAL單元類型可以指定為nal_unit_type的值。
同時，如上所述，一個圖像可以包含複數個切片，且切片可以包含一個切片標頭和一個切片資料。在這種情況下，一個圖像標頭可以添加到（嵌入）複數個切片中（一組切片標頭和切片資料）。圖像標頭（圖像標頭語法）可以包含通常適用於圖像的資訊∕參數。切片標頭（切片標頭語法）可以包含通常適用於切片的資訊∕參數。APS（APS語法）或PPS（PPS語法）可以包含通常適用於一個或多個切片或圖像的資訊∕參數。SPS（SPS語法）可以包含通常適用於的資訊∕參數一個或多個序列的資訊∕參數。VPS（VPS語法）可以包含通常適用於複數個層的資訊∕參數。DPS（DPS語法）可以包含通常適用於整個影像的資訊∕參數。DPS可以包含關於編碼視訊序列（coded video sequence, CVS）的串聯的資訊∕參數。在本發明中，高級語法（high level syntax, HLS）可以包含APS語法、PPS語法、SPS語法、VPS語法、DPS語法、圖像標頭語法、切片標頭語法中的至少一種。
同時，如上所述，通常可以為一張圖像設置一個NAL單元類型，而且如上所述，NAL單元類型可以透過在包含切片的NAL單元的NAL單元標頭中的nal_unit_type來發訊號。下表1表示NAL單元類型代碼和NAL單元類型分類的示例。
表1
nal_unit_type nal_unit_type 名稱 RBSP 語法結構與 NAL 單元的內容 NAL 單元類型分類
0 TRAIL_NUT 訓練圖像slice_layer_rbsp( )的編碼切片 VCL
1 STSA_NUT STSA圖像slice_layer_rbsp( )的編碼切片 VCL
2 RADL_NUT RADL圖像slice_layer_rbsp( )的編碼切片 VCL
3 RASL_NUT RASL圖像slice_layer_rbsp( )的編碼切片 VCL
4..6 RSV_VCL _4.. RSV_VCL_6 保留的非IRAP VCL NAL單元類型 VCL
7 8 EKR_W_RADL IDR_N_LP IDR圖像slice_layer_rbsp( )的編碼切片 VCL
9 CRA_NUT CRA圖像slice_layer_rbsp( )的編碼切片 VCL
10 GDR_NUT GDR圖像slice_layer_rbsp( )的編碼切片 VCL
11 12 RSV_IRAP_11 RSV_IRAP_12 保留的IRAP VCL NAL單元類型 VCL
13 DPS_NUT 解碼參數組decoding_parameter_set_rbsp( ) non-VCL
14 VPS_NUT 視訊參數組video_parameter_set_rbsp( ) non-VCL
15 SPS_NUT 序列參數組seq_parameter_set_rbsp( ) non-VCL
16 PPS_NUT 圖像參數組pic_parameter_set_rbsp( ) non-VCL
17 18 PREFIX_APS_NUT SUFFIX_APS_NUT 適應參數組adaptation_parameter_set_rbsp( ) non-VCL
19 PH_NUT 圖像標頭picture_header_rbsp( ) non-VCL
20 AUD_NUT AU分隔符access_unit_delimiter_rbsp( ) non-VCL
21 EOS_NUT 序列結尾end_of_seq_rbsp( ) non-VCL
22 EOB_NUT 位元流end_of_bitstream_rbsp( ) non-VCL
23 24 PREFIX_SEI_NUT SUFFIX_SEI_NUT 補充增強資訊sei_rbsp( ) non-VCL
25 FD_NUT 濾波器資料filler_data_rbsp( ) non-VCL
26 27 RSV_NVCL_26 RSV_NVCL_27 保留的非VCL NAL單元類型 non-VCL
28..31 UNSPEC_28.. UNSPEC_31 未指定的非VCL NAL單元類型 non-VCL
就此而言，乾淨的隨機存取（clean random access, CRA）圖像可能與存在於位元流中的隨機存取跳過前導（random access skipped leading. RASL）圖像或隨機存取可解碼前導（random access decodable leading. RADL）圖像相關。具有與可變IDR_N_LP的nal_unit_type相同的nal_unit_type的瞬時解碼刷新（instantaneous decoding refresh, IDR）圖像在位元流中並沒有具有相關的引導圖像。換言之，具有與可變IDR_W_RADL的nal_unit_type相同的nal_unit_type的IDR圖像在位元流中並沒有具有相關的RASL圖像，但可以具有相關的RADL圖像。IDR圖像是IRAP圖像，其中每個VCL_NAL單元具有與IDRA_W_RADL或IDR_N_LP的nal_unit_type相同的nal_unit_type。
在執行解碼程序時，IDR圖像不使用幀間預測，並可以是位元流中解碼順序在前的圖像。或者，IDR圖像可以在之後出現在位元流中。每個IDR圖像可以是CVS中解碼順序最先的圖像。IDR圖像可以具有相關的RADL圖像，其中每個VCL_NAL單元具有與IDR_W_RADL的nal_unit_type相同的nal_unit_type。IDR圖像並沒有具有相關的前導圖像，其中每個VCL_NAL單元具有與IDR_N_LP的nal_unit_type相同的nal_unit_type。換言之，IDR圖像沒有具有相關的RASL 圖像。
同時，VVC可以支持漸進解碼刷新（gradual decoding refresh, GDR）功能。GDR功能可以指解碼可以從所有區塊都沒有正確解碼的重組圖像開始，但重組圖像之正確解碼的部分在較低（子）序列圖像中逐漸增加的這種功能，使得整個圖像被正確解碼。解碼程序中以GDR功能開始的圖像可以稱為GDR圖像，而其中整個圖像被正確解碼之緊隨GDR之後的圖像可以稱為恢復點圖像。此時，例如，GDR圖像可以標識為GDR_NUT的NAL單元類型。
同時，如上所述，圖像可以由一個或多個切片組成。此外，說明該圖像的參數可以發訊號給圖像標頭（PH），而說明該切片的參數可以發訊號給切片標頭（SH）。PH可以使用其NAL單元類型。此外，SH可以存在於NAL單元的起始區塊，包含該切片的有效載荷（即切片資料）。
在本發明中，從編碼裝置編碼到解碼裝置並以位元流形式發訊號的視訊∕影像資訊可以包括包含在切片標頭中的資訊、包含在圖像標頭中的資訊、包含在APS中的資訊、包含在PPS中的資訊、包含在SPS中的資訊、包含在VPS中的資訊，及∕或包含在DPS中的資訊；以及圖像中與分段相關的資訊、幀內∕幀間預測資訊、殘差資訊、和環路濾波資訊。進一步地，視訊∕影像資訊還可以包含NAL單元標頭的資訊。
如果應用幀間預測，則編碼裝置∕解碼裝置的預測器可以藉由以區塊為單位執行幀間預測來推導出預測樣本。幀間預測可以是以依據資料元素（例如，樣本值或運動資訊）而不是當前圖像的方式來推導出的預測。如果幀間預測應用於當前區塊，則當前區塊的預測區塊（預測樣本陣列）可以基於在被參考圖像索引指示的參考圖像上由運動向量指定的參考區塊（參考樣本陣列）來誘導出來。此時，為了減少在幀間預測模式中傳輸的運動資訊的量，當前區塊的運動資訊可以基於相鄰區塊與當前區塊之間的運動資訊的相關性，以區塊、子區塊或樣本為單位來預測。該運動資訊可以包含運動向量和參考圖像索引。該運動資訊還可以包含幀間預測類型（L0預測、L1個預測，和Bi預測）資訊。如果應用幀間預測，相鄰區塊可以包含當前圖像中存在的空間相鄰區塊和參考圖像中存在的時間相鄰區塊。包含參考區塊的參考圖像和包含時間鄰近區塊的參考圖像也可以相同，也可以不同。時間相鄰區塊可以稱為並置參考區塊或併置CU（colCU），而且包含時間相鄰區塊的參考圖像可以稱為並置圖象（colPic）。例如，可以基於當前區塊的相鄰區塊來構成運動資訊候選列表，並可以將指示哪個候選被選（被用）為推導出當前區塊的運動向量及∕或參考圖像索引的旗標或索引資訊發訊號。幀間預測可以基於各種預測模式來執行，且例如，在跳過模式和合併模式中，當前區塊的運動資訊可以與選定的相鄰區塊的運動資訊相同。在跳過模式中，與合併模式中不同，殘差訊號可以不被傳輸。在運動向量預測（motion vector prediction, MVP）模式中，選擇的相鄰區塊的運動向量可以用為運動向量預測值，並可以將運動向量差發訊號。在這種情況下，當前區塊的運動向量可以藉由使用運動向量預測器和運動向量差的總和來推導出。
運動資訊根據幀間預測類型（L0預測、L1預測和Bi預測）可以包含L0運動資訊及∕或L1運動資訊。L0方向上的運動向量可以稱為L0運動向量或MVL0，而L1方向的運動向量可以稱為L1運動向量或MVL1。基於L0運動向量的預測可以稱為L0預測，基於L1運動向量的預測可以稱為L1預測，而基於L0運動向量和L1運動向量的預測可以稱為Bi預測。在此，L0運動向量可以稱為與參考圖像列表L0（L0）相關聯的運動向量，而L1運動向量可以稱為與參考圖像列表L1相關聯的運動向量。參考圖像列表L0可以包含在輸出順序上當前圖像的前圖像作為參考圖像，而參考圖像列表 L1可以包含在輸出順序上當前圖像的後圖像。前圖像可以稱為前向（參考）圖像，而後圖像可以稱為後向（參考）圖像。參考圖像列表L0還可以包含在輸出順序上當前圖像的後圖像作為參考圖像。在這種情況下，在參考圖像列表L0中，可以先對前圖像進行索引，然後再對後向圖像進行索引。參考圖像列表L1還可以包含在輸出順序上當前圖像的前圖像作為參考圖像。在這種情況下，在參考圖像列表L1中，可以先索引後圖像，然後可以索引前圖像。在此，輸出順序可以對應於圖像順序計數（picture order count, POC）順序。
例如，基於幀間預測的視訊∕影像編碼程序可以示意性地包含以下描述。
圖5和圖6示意性地說明編碼裝置中基於幀間預測和幀間預測器的視訊∕影像編碼方法的示例。
參照圖5和圖6，編碼裝置執行當前區塊的幀間預測（S500）。編碼裝置可以推導出當前區塊的幀間預測模式和運動資訊，並產生當前的預測樣本。在此，決定幀間預測模式、推導出運動資訊和產生預測樣本的程序也可以同時執行，且也可以在其他程序之前執行任何一個程序。例如，編碼裝置的幀間預測器221可以包含預測模式決定單元221-1、運動資訊推導單元221-2、以及預測樣本推導單元221-3，其中預測模式決定單元221-1可以決定當前區塊的預測模式，運動資訊導出單元221-2可以推導出當前區塊的運動資訊，而預測樣本導出單元221-3可以推導出當前區塊的預測樣本。例如，編碼裝置的幀間預測器221可以透過運動估計搜索與參考圖像的某個區域（搜索區域）中之當前區塊相似的區塊，並推導出參考區塊，其中與當前區塊的差異是最小或小於某個標準。如上所述，可以推導出指示參考區塊所在的參考圖像的參考圖像索引，並可以基於參考區塊與當前區塊的位置之間的差異來推導出運動向量。編碼裝置可以在各種預測模式中決定應用於當前區塊的模式。編碼裝置可以比較各種預測模式的RD成本，並決定當前區塊的最佳預測模式。
例如，如果跳過模式或合併模式應用於當前區塊，則編碼裝置可以構成下述的合併候選列表，並推導出參考區塊，其中，在包含在合併候選列表中的合併候選所指示的參考區塊中，與當前區塊的差異是最小或小於標準值。在這種情況下，可以選擇與推導出的參考區塊相關的合併候選，並可以產生指示所選定之合併候選的合併索引資訊以發訊號給解碼裝置。當前區塊的運動資訊可以藉由使用選定之合併候選的運動資訊來推導出。
作為另一例子，如果（A）MVP模式應用於當前區塊，則編碼裝置可以構成稍後描述的（A）MVP候選列表，並使用在包含在（A）MVP候選列表中的運動向量預測器（motion vector predictor, mvp）候選之中所選定的mvp候選的運動向量作為當前區塊的mvp。在這種情況下，例如，可以將由上述運動估計推導出之指示參考區塊的運動向量用為當前區塊的運動向量，且在mvp候選之中運動向量與當前區塊的運動向量的差最小的mvp候選可以成為選定的mvp候選。可以推導出運動向量差（motion vector difference, MVD），其是藉由從當前區塊的運動向量中減去運動向量而獲得的差。在這種情況下，可以將關於MVD的資訊發訊號給解碼裝置。此外，如果應用（A）MVP模式，則參考圖像索引的值可以由參考圖像索引資訊組成，並單獨地發訊號給解碼裝置。
編碼裝置可以基於預測樣本推導出殘差樣本（S510）。編碼裝置可以透過原始樣本與當前區塊的預測樣本之間的比較來推導出殘差樣本。
編碼裝置編碼包含預測資訊和殘差資訊的影像資訊（S520）。編碼裝置可以用位元流的形式輸出編碼影像資訊。作為與預測程序相關的資訊的預測資訊可以包含關於預測模式資訊（例如，跳過旗標、合併旗標，或模式索引）和運動資訊的資訊。關於運動資訊的資訊可以包含候選選擇資訊（例如，合併索引、mvp旗標，或mvp索引），其是用於推導出運動向量的資訊。此外，關於運動的資訊可以包含上述關於MVD的資訊及∕或參考圖像索引資訊。此外，關於運動的資訊可以包含表示是否為L0預測、L1預測，或B1預測被應用的資訊。殘差資訊是關於殘差樣本的資訊。殘差資訊可以包含關於殘差樣本的量化變換係數的資訊。
輸出的位元流可以儲存在（數位）儲存媒體中並傳送給解碼裝置，也可以透過網路傳送給解碼裝置。
同時，如上所述，編碼裝置可以基於參考樣本和殘差樣本產生重組圖像（包括重組樣本和重組區塊）。這推導出相同的預測結果，如同透過由編碼裝置中的解碼裝置執行來獲得一樣，如此一來，可以提高編碼效率。因此，編碼裝置可以將重組圖像（或重組樣本和重組區塊）儲存在記憶體中並使用重組圖像作為幀間預測的參考圖像。如上所述，環路濾波程序等等可以進一步應用於重組圖像。
例如，基於幀間預測的視訊∕影像解碼程序可以示意性地包含如下的描述。
圖7和圖8示意性地說明解碼裝置中基於幀間預測和幀間預測器的視訊∕影像解碼方法的示例。
參照圖7和圖8，解碼裝置可以執行與由編碼裝置執行的操作相對應的操作。解碼裝置可以基於接收的預測資訊對當前區塊執行預測並推導出預測樣品。
具體地，解碼裝置可以基於接收的預測資訊決定當前區塊的預測模式（S700）。解碼裝置可以在預測資訊中基於預測模式資訊決定哪種幀間預測模式應用於當前區塊。
例如，解碼裝置可以基於合併旗標決定合併模式是否適用於當前區塊或（A）MVP模式是否適用於合併旗標。或者，解碼裝置可以基於模式索引選擇各種幀間預測模式候選中的一種。幀間預測模式候選可以包含跳過模式、合併模式及∕或（A）MVP模式，或者包含稍後要描述的各種幀間預測模式。
解碼裝置基於決定的幀間預測模式推導出當前區塊的運動資訊（S710）。例如，如果對當前區塊應用跳過模式或合併模式，則解碼裝置可以構成以下要描述的合併候選列表，並選擇包含在合併候選列表中之合併候選中的一個。該選擇可以基於上述選擇資訊（合併索引）進行。當前區塊的運動資訊可以藉由使用選定之合併候選的運動資訊來推導出。選定之合併候選的運動資訊可以被用為當前區塊的運動資訊。
作為另一示例，如果（A）MVP模式應用於當前區塊，則解碼裝置可以構成稍後要描述的（A）MVP候選列表，並使用在包含在（A）MVP候選列表中的運動向量預測器（mvp）之中選定的mvp候選的運動向量作為當前區塊的mvp。可以基於上述選擇資訊（mvp旗標或mvp索引）進行選擇。在這種情況下，可以基於關於MVD的資訊推導出當前區塊的MVD，並可以基於當前區塊的MVD和mvp推導出當前區塊的運動向量。此外，可以基於參考圖像索引資訊推導出當前區塊的參考圖像索引。可以推導出由參考圖像列表中關於當前區塊的參考圖像索引指示的圖像作為當前區塊的幀間預測參考用的參考圖像。
同時，如下所述，當前區塊的運動資訊可以在不構成候選列表的情況下來推導出，在這種情況下，當前區塊的運動資訊可以根據揭露在稍後要描述的預測模式中的程序來推導出，在這種情況下，可以省略上述的候選列表的構成。
解碼裝置可以基於當前區塊的運動資訊產生當前區塊的預測樣本（S720）。在這種情況下，解碼裝置可以基於當前區塊的參考圖像索引推導出參考圖像，並使用參考圖像上由當前區塊的運動向量指示的參考區塊的樣本來推導出當前區塊的預測樣本。在這種情況下，如下所述，在某些情況下，可以進一步地對所有或一些當前區塊的預測樣本執行預測樣本濾波程序。
例如，解碼裝置的幀間預測器332可以包括預測模式決定單元332-1、運動資訊推導單元332-2、以及預測樣本推導單元332-3，其中預測模式決定單元單元332-1可以基於接收的預測模式資訊決定當前區塊的預測模式，運動資訊推導單元332-2可以基於由運動資訊推導單元332-2接收的運動資訊推導出當前區塊的運動資訊（運動向量及∕或參考圖像索引），而預測樣本推導單元332-3可以推導出當前區塊的預測樣本。
解碼裝置基於接收的殘差資訊產生當前區塊的殘差樣本（S730）。解碼裝置可以基於預測樣本和殘差樣本產生當前區塊的重組樣本，並基於產生的重組樣本產生重組圖像（S740）。接著，環路濾波程序等等可以進一步地應用於如上所述的重組圖像。
如上所述，幀間預測程序可以包含：決定幀間預測模式、根據決定的預測模式推導出運動資訊、以及基於推導出的運動資訊執行預測（產生預測樣本）。幀間預測程序可以由上述的編碼裝置和解碼裝置執行。
同時，如上所述，從編碼裝置傳送∕發訊號給解碼裝置的資訊及∕或語法元素透過編碼程序來編碼並包含在位元流中，且所發訊號∕接收的資訊及∕或語法元素可以透過上述解碼程序解碼，並從位元流中獲取。此時，例如，解碼裝置可以執行解碼，其是為每個位元流的資訊及∕或語法元素讀取位元以解碼所發訊號∕接收的資訊及∕或語法元素的操作。
例如，以下編碼描述符中的每一個都可以為特定語法元素指示解析流程。
- ae(v)：解碼上下文自適應算術熵（context-adaptive arithmetic entropy, CABAC）編碼的語法元素的函數。
- b(8)：讀取具有任意位元模式的字節的函數（8 位元）。該描述符的解析流程由函數讀取位元read_bits (8)的返回值指定。
- f(n)：使用先寫入（從左到右）有左位元的n位元讀取固定模式位元串函數。該描述符的解析流程由函數read_bits (n) 的返回值指定。
- i(n)：解碼語法元素的函數，該元素使用n位元有符號整數編碼。當n在語法表中為「v」時，位元數以取決於其他語法元素的值的方式變化。該描述符的解析流程由函數read_bits (n) 的返回值指定，被解釋為以先寫入有最高有效位元（most significant bit MSB）的二進制補碼整數表示。
- se(v)：解碼左位元在前的有符號整數第0階Exp-Golomb編碼語法元素的函數。該描述符的解析流程指定為k階等於0。
- st(v)：依照ISO∕IEC 10646的規定，編碼為通用編碼字符集（universal coded character set, UCS）傳輸格式-8（transmission format-8, UTF-8）字符的空終止字符串。該描述符的解析流程指定為如下：例如，st(v)從位元流中的字節對齊位置開始，並從位元流讀取及返回一系列字節，從當前位置開始，一直到但不包含位元流中的下一個字節對齊字節等於0x00為止，並將位元流指針提前(stringLength+1)*8位元位置，其中stringLength等於返回的字節數。當位元流中的當前位置是字節對齊位置時，st(v)語法描述符僅使用於本發明中。
- tu(v)：使用最多maxVal位元的截斷一位元，其中maxVal界定在符號元素的語義中。
- u(n)：解碼語法元素的函數，該元素使用n位元無符號整數編碼。當n在語法表中為「v」時，位元數以取決於其他語法元素的值的方式變化。該描述符的解析流程由函數 read_bits (n) 的返回值指定，被解釋為以先寫入有最高有效位元的無符號整數的二進制表示。
- ue(v)：解碼左位元在前的無符號整數第0階Exp-Golomb編碼語法元素的函數。該描述符的解析流程指定為k階等於0。
對此，根據常規示範性實施例，圖像標頭可以包含如下表2所示的語法。表2所示的語法可以是圖像標頭的部分。
表2
Figure 02_image001
在此，包含在表2中所示的語法中的語法元素的語義可以表示為如下表3中所示。
表3
Figure 02_image003
根據常規示範性實施例，透過位元流獲取的影像資訊可以包含圖像標頭，而該圖像標頭可以包含GDR_or_IRAP圖像旗標、GDR圖像旗標、片間允許旗標、片內允許旗標、非參考圖像旗標、以及圖像參數組ID資訊。
在此，例如，GDR_or_IRAP圖像旗標可以與當前圖像是漸進解碼刷新（gradual decoding refresh, GDR）圖像還是幀內隨機存取點（intra random access point, IRAP）圖像有關。換句話說，GDR_or_IRAP圖像旗標可以表示∕代表當前圖像是GDR圖像還是IRAP圖像。
作為一示例，GDR_or_IRAP圖像旗標可以用GDR_or_irap_pic_flag語法元素的形式表示。例如，gdr_or_irap_pic_flag語法元素可以指定當前圖像是GDR圖像還是IRAP圖像。
例如，GDR圖像旗標可以與關於圖像標頭的圖像是否為GDR圖像有關。換言之，GDR圖像旗標可以表示∕代表當前圖像是否為GDR圖像。
例如，GDR圖像旗標可以用gdr_pic_flag語法元素的形式表示。例如，gdr_pic_flag語法元素可以指定當前圖像是否為GDR圖像。
例如，片間允許旗標可以與當前圖像中至少一個切片是P切片還是B切片有關。換言之，片間允許旗標可以表示∕代表是否在當前圖像中的至少一個切片為P切片或B切片。
作為一示例，片間允許旗標可以用ph_inter_slice_allowed_flag語法元素的形式表示。例如，ph_inter_slice_allowed_flag語法元素可以指定當前圖像中是否至少有一個切片為P切片或B切片。
例如，片內允許旗標可以與當前圖像中是否至少有一個切片為I切片有關。換言之，片內允許旗標可以表示∕代表當前圖像中是否至少有一個切片為I切片。
作為一示例，片內允許旗標可以用ph_intra_slice_allowed_flag語法元素的形式表示。例如，ph_intra_slice_allowed_flag語法元素可以指定當前圖像中是否至少有一個切片為I切片。
例如，非參考圖像旗標可以與關於圖像標頭的圖像是否不被用為參考圖像有關。換言之，非參考圖像旗標可以表示∕代表是否當前圖像不被用為參考圖像。
作為一示例，非參考圖像旗標可以用non_reference_picture_flag語法元素的形式表示。例如，non_reference_picture_flag語法元素可以指定當前圖像是否不被用為參考圖像。
例如，圖像參數組ID資訊可以與使用的圖像參數組的標識（identification）相關。換言之，圖像參數組ID資訊可以表示∕代表使用的圖像參數組的標識。
例如，圖像參數組ID資訊可以用ph_pic_parameter_set_id語法元素的形式表示。例如，ph_pic_parameter_set_id語法元素可以指定使用的圖像參數組的標識。
根據常規示範性實施例，例如，GDR_or_IRAP圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的第一位置中。
例如，如果GDR_or_IRAP圖像旗標的值為1，則GDR圖像旗標可以構成∕包含在緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值為0，GDR圖像旗標可能不存在。如果GDR圖像旗標不存在，則GDR圖像旗標的值可以推導出為0。在這情況下，如果與GDR是否啟用有關的GDR啟用旗標的值為0，則GDR圖像旗標的值可以限制為0。此時，例如，GDR啟用旗標可以用gdr_enabled_flag語法元素的形式表示。
例如，如果GDR_or_IRAP圖像旗標的值為1，則片間允許旗標可以構成∕包含在緊接GDR圖像旗標包含在圖像標頭中的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值為0，則片間允許旗標可以構成∕包含在緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置之後的位置中。
例如，如果片間允許旗標的值是l，則片內允許旗標可以構成∕包含在緊接片間允許旗標包含在圖像標頭中的位置之後的位置中。如果片間允許旗標的值為0，則片內允許旗標可能不存在。如果片內允許旗標不存在，則片內允許旗標的值可以推導出為1 .
例如，如果片間允許旗標的值是 1，則非參考圖像旗標可以構成∕包括在緊接片內允許旗標包含在圖像標頭的位置之後的位置中。如果片間允許旗標的值為0，則非參考圖像旗標可以構成∕包含在緊接片間允許旗標包含在圖像標頭中的位置之後的位置中。
例如，圖像參數組ID資訊可以構成∕包含在緊接非參考圖像旗標包含在圖像標頭的位置之後的位置中。此時，例如，圖像參數組合ID資訊可以基於描述符ue(v)編碼。
然而，根據常規示範性實施例，圖像標頭中的語法元素的發訊號機制包含以下問題。
首先，根據常規示範性實施例，與PPS中發訊號的圖像參數組ID資訊相關的pps_pic_parameter_set_id語法元素的描述符可以是除PPS之外的u(6)。然而，根據現行的VVC標準，存在的問題是，即使在PPS中用U(6)編碼，Pps_pic_parameter_set_id語法元素仍被圖像標頭中用u(v)編碼的ph_pic_parameter_set_id語法元素引用。例如，ph_pic_parameter_set_id語法元素可以與圖像標頭中發訊號的圖像參數組ID資訊相關。
其次，在圖像標頭中相對於圖像標頭的起始點的可變位置，將與當前圖像是否不被用為參考圖像有關的non_reference_picture_flag語法元素發訊號，且由於non_reference_picture_flag語法元素是用於幫助解碼流程和系統功能的語法元素，因此，較佳地，可以在圖像標頭的固定位置發訊號。進一步地，考慮到pps_pic_parameter_set_id語法元素被改變為基於固定長度編碼的描述符來發訊號，較佳也可以在相對於圖像標頭的起始點的固定位置，將ph_pic_parameter_set_id語法元素發訊號。
在此情況下，本發明的示範性實施方式可以包含以下特徵中的一或多個。
1）可以限制表示包含在圖像標頭中的參考 PPS ID的語法元素（例如，ph_pic_parameter_set_id 語法元素）的編碼，使得語法元素基於固定長度（例如，u(6)描述符）編碼。
2）在圖像標頭中，可以從圖像標頭的起始點移動non_reference_picture_flag語法元素的位置，以總是存在於固定位置，且固定位置不受其他語法元素的值影響。
3）在圖像標頭中，ph_pic_parameter_set_id語法元素的位置可以總是從圖像標頭的起始點移動到固定位置，且固定位置不受其他語法元素的值影響。
或者，在圖像標頭中，ph_pic_parameter_set_id語法元素的位置可以移動到緊接表示與圖像標頭相關的圖像是否為GDR圖像的gdr_pic_flag語法元素的發訊號位置之後的固定位元位置。
4） 在3）中，表示與圖像標頭相關的圖像是否為GDR圖像的gdr_pic_flag語法元素的存在條件可以基於表示GDR是否啟用的gdr_enabled_flag語法元素的值。
根據由本發明提出的第一示範性實施例，圖像標頭可以包含如下表4所示的語法。下表4中所示的語法可以是圖像標頭的部分。
表4
Figure 02_image005
在此，包含在表4中所示的語法元素中的語法元素的語義可以表示為如表3中所示。
根據第一示範性實施例，透過位元流獲取的影像資訊可以包括圖像標頭，該圖像標頭可以包括GDR_or_IRAP圖像旗標、非參考圖像旗標、圖像參數組ID資訊、GDR圖像旗標、片間允許旗標、以及片內允許旗標。
根據第一示範性實施例，例如，GDR_or_IRAP圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的第一位置中。作為一示例，非參考圖像旗標可以構成∕包含在第一位置中，該第一位置為相對於圖像標頭中圖像標頭的起始點的固定位置。作為一示例，作為固定位置的第一位置不受包含在圖像標頭中的資訊的值影響。
例如，非參考圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的固定第一位置中。作為一示例，作為固定位置的第一位置可以不受包含在圖像標頭中的資訊的值影響。作為一示例，非參考圖像旗標可以包含在圖像標頭的第一位置中，不論GDR圖像旗標是否包含在圖像標頭中。
作為一示例，非參考圖像旗標可以構成∕包含在緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置（第一位置）之後的位置中。換言之，該第一個位置可以是緊接GDR_or_IRAP 圖像旗標包含在圖像標頭中的位置之後的位置。
例如，圖像參數組ID資訊可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的固定第二位置中。作為一示例，該第二位置可以不受包含在圖像標頭中的資訊的值影響。作為一示例，圖像參數組ID資訊可以包含在圖像標頭的第二位置中，不論GDR圖像旗標是否包含在圖像標頭中。
作為一示例，圖像參數組ID資訊可以構成∕包含在緊接非參考圖像旗標包含在圖像標頭中的位置之後的位置中。換言之，該第二位置可以是圖像標頭中緊接第一位置之後的位置。此時，例如，可以基於描述符u(6)編碼圖像參數組ID資訊。作為一示例，可以基於使用6位元的無符號整數編碼圖像參數組ID資訊。換言之，圖像參數組ID資訊可以不基於描述符ue(v)來編碼。
例如，如果GDR_or_IRAP圖像旗標的值為1，則GDR圖像旗標可以構成∕包括在緊接圖像參數組ID資訊包含在圖像標頭中的位置（第二位置）之後的位置中。如果GDR_or_IRAP圖像旗標的值為0，則GDR圖像旗標可能不存在。如果GDR圖像旗標不存在，則GDR圖像旗標的值可以推導出為0。對此，如果與GDR是否啟用相關的GDR啟用旗標的值為0，則GDR圖像旗標的值可以限制為0。此時，例如，GDR啟用旗標可以用gdr_enabled_flag語法元素的形式來表示。
例如，如果GDR_or_IRAP圖像旗標的值為1，則片間允許旗標可以在構成∕包含在緊接GDR圖像旗標包含在圖像標頭中的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值是0，則片間允許旗標可以構成∕包含在緊接圖像參數組ID資訊包含在圖像標頭中的位置（第二位置）之後的位置中。換言之，片間允許旗標根據圖像標頭中GDR_or_IRAP圖像旗標的值可以構成∕包含在可變位置中。
例如，如果片間允許旗標的值為 1，則片內允許旗標可以構成∕包含在緊接片間允許旗標包含在圖像中的位置之後的位置中。如果片間允許旗標的值為0，則片內允許旗標可能不存在。如果片內允許旗標不存在，則片內允許旗標的值可以推導出為1。換言之，片內允許旗標可以根據圖像標頭中GDR_or_IRAP圖像旗標的值和片間允許旗標的值構成∕包含在可變位置中。
根據第一示範性實施例，由於非參考圖像旗標和圖像參數組ID資訊存在於包含GDR圖像旗標的位置之前的位置，所以非參考圖像旗標和圖像參數組ID資訊可以根據圖像標頭中GDR_or_IRAP圖像旗標的值及∕或片間允許旗標的值不構成∕包含在可變位置中。
換言之，根據第一示範性實施例，非參考圖像旗標和圖像參數組ID資訊可以在相對於圖像標頭的起始點的固定位置發訊號，且圖像參數組ID資訊可以基於描述符u（6）來編碼。如此一來，可以提高對解碼裝置以外的其他裝置的位元流（例如，包含在圖像標頭中的資訊）的可存取性，並改進解碼流程和系統功能。
根據由本發明提出的第二示範性實施例，圖像標頭可以包含下表5所示的語法。下表5中所示的語法可以是PPS的部分。
表5
Figure 02_image007
在此，包含在表5中所示的語法中的語法元素的語義可以表示為如下表6或表3中所示。
表6
Figure 02_image009
根據第二示範性實施例，如上述第一示範性實施例中所述，圖像標頭可以包含GDR_or_IRAP圖像旗標、非參考圖像旗標、圖像參數組ID資訊、GDR圖像旗標、片間允許旗標、以及片內允許旗標。
根據第二示範性實施例，如上述第一示範性實施例中所述，GDR_or_IRAP圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的第一位置中。
例如，如上述第一示範性實施例中所述，非參考圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的第一位置中。非參考圖像旗標可以構成∕包含在緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置（第一位置）之後的位置中。換言之，該第一位置可以是緊接GDR_or_IRAP 圖像旗標包含在圖像標頭中的位置之後的位置。
例如，如上述第一示範性實施例中所述，圖像參數組ID資訊可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的固定第二位置中。作為一示例，圖像參數組ID資訊可以構成∕包含在緊接非參考圖像旗標包含在圖像標頭中的位置之後的位置中。換言之，該第二位置可以是緊接圖像標頭中第一位置之後的位置。此時，例如，可以基於描述符u(6) 編碼圖像參數組ID資訊。作為一示例，可以基於使用6位元的無符號整數編碼圖像參數組ID資訊。
例如，如上述第一示範性實施例中所述，如果GDR_or_IRAP圖像旗標的值為1，則GDR圖像旗標可以構成∕包含在緊接圖像參數組ID資訊包含在圖像標頭中的位置（第二位置）之後的位置中。如果GDR_or_IRAP圖像旗標的值為0，則GDR圖像旗標可能不存在。如果GDR圖像旗標不存在，則GDR圖像旗標的值可以推導出為 0。
進一步地，根據第二示範性實施例，例如，如果GDR啟用旗標的值與GDR是否啟用相關的值是1，則GDR圖像旗標可以構成∕包含在緊接圖像參數組ID資訊包含在圖像標頭中的位置（第二位置）之後的位置中。如果GDR啟用旗標的值為0，則GDR圖像旗標可能不存在。如果GDR圖像旗標不存在，GDR圖像旗標的值可以推導出為0。此時，例如，GDR啟用旗標可以用GDR_enabled_flag語法元素的形式表示。
例如，如果GDR_or_IRAP圖像旗標的值是1且GDR_enabled_flags的值是1，則片間允許旗標的值可以構成∕包含在緊接GDR圖像旗標包含在圖標頭的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值為0或 GDR 啟用旗標的值為0，則片間允許旗標可以構成∕包含在在緊隨圖像參數組ID資訊包含在圖像標頭中的位置（第二位置）之後的位置中。換言之，片間允許旗標可以根據圖像標頭中GDR_or_IRAP圖像旗標的值和GDR啟用旗標的值構成∕包含在可變位置中。
例如，如果片間允許旗標的值為1，則片內允許旗標可以構成∕包含在緊接片間允許旗標包含在圖像標頭中的位置之後的位置中。如果片間允許旗標的值為0，則片內允許旗標可能不存在。如果片內允許旗標不存在，則片內允許旗標的值可以推導出為1。換言之，片內允許旗標可以根據圖像標頭中GDR_or_IRAP 圖像旗標的值、GDR啟用旗標的值、以及片間允許旗標的值構成∕包含在可變位置中。
根據第二示範性實施例，由於非參考圖像旗標和圖像參數組ID資訊存在於GDR圖像旗標包含在圖像標頭中的位置之前的位置，因此非參考圖像旗標和圖像參數組ID資訊可以根據圖像標頭中GDR_or_IRAP圖像旗標的值及∕或片間允許旗標的值不構成∕包含在可變位置中。此外，GDR圖像旗標可以基於GDR啟用旗標的值構成∕包含在圖像標頭中。
換言之，根據第二示範性實施例，非參考圖像旗標和圖像參數組ID資訊可以在相對於圖像標頭的起始點的固定位置發訊號。圖像參數組ID資訊可以基於描述符u(6)編碼，且GDR圖像旗標可以基於GDR啟用旗標在圖像標頭中發訊號。因此，可以提高對解碼裝置以外的其他裝置的位元流（例如，包含在圖像標頭中的資訊）的可存取性，並實現對解碼流程和系統功能的改善。
根據由本發明提出的第三示範性實施例，圖像標頭可以包含如下表7中的語法。下表7中所示的語法可以是圖像標頭的部分。
表7
Figure 02_image010
在此，包含在表7中所示的語法中的語法元素的語義可以例如表示為如表3中所示。
根據第三示範性實施例，如上述第一示範性實施例或第二示範性實施例所述，圖像標頭可以包含GDR_or_IRAP圖像旗標、非參考圖像旗標、GDR圖像旗標、圖像參數設置ID資訊、片間允許旗標、以及片內允許旗標。
根據第三示範性實施例，例如，GDR_or_IRAP圖像旗標可以構成∕包含在圖像標頭中相對於圖像標頭的起始點的第一位置中。作為一示例，非參考圖像旗標可以構成∕包含在第一位置中，該第一位置為圖像標頭中相對於圖像標頭的起始點的固定位置。作為一示例，作為固定位置的第一個位置不受包含在圖像標頭中資訊的值影響。
例如，非參考圖像旗標可以構成∕包含在相對於圖像標頭中圖像標頭的起始點的固定第一位置中。作為一示例，作為固定位置的第一個位置可以不受包含在圖像標頭中的資訊的值影響。作為一示例，非參考圖像旗標可以包含在圖像標頭的第一個位置中，不論GDR圖像旗標是否包含在圖像標頭中。
作為一示例，非參考圖像旗標可以構成∕包含在位置緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置（第一位置）之後的位置中。換言之，該第一位置可以是緊接GDR_or_IRAP 圖像旗標包含在圖像標頭中的位置之後的位置。
例如，如果GDR_or_IRAP圖像旗標的值為1，則GDR圖像旗標可以構成∕包含在緊接非參考圖像旗標包含在圖像標頭的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值為0，則GDR圖像旗標可能不存在。如果GDR圖像旗標不存在，則GDR圖像旗標的值可以推導出為0。在這情況下，如果與GDR是否啟用相關的GDR啟用旗標的值為0，則GDR圖像旗標的值可以限制為0。此時，例如， GDR啟用旗標可以用 gdr_enabled_flag語法元素的形式表示。
根據第三示範性實施例，例如，非參考圖像旗標可以基於 GDR_or_IRAP 圖像旗標的值為1的情況存在於第一位置，該第一位置是在圖像標頭中包含GDR_or_IRAP圖像旗標的位置與包含的GDR圖像旗標的位置之間。
例如，根據第三示範性實施例，如果GDR_or_IRAP圖像旗標的值是1，則圖像參數組ID資訊可以構成∕包含在緊接在GDR圖像旗標包含在圖像標頭中的位置之後的位置中。如果GDR_or_IRAP圖像旗標的值為 0，則圖像參數組 ID 資訊可以構成∕包含在緊接非參考圖像旗標包含在圖像標頭中的位置之後的位置中。換言之，圖像參數組ID資訊可以根據圖像標頭中GDR_or_IRAP圖像旗標的值構成∕包含在可變位置中。此時，例如，圖像參數組ID資訊可以基於描述符u(6)編碼。作為一示例，圖像參數組ID資訊可以基於使用6位元的無符號整數編碼。換言之，圖像參數組ID資訊可以不基於描述符ue(v) 編碼。
例如，片間允許旗標可以構成∕包含在緊接圖像參數組ID資訊包含在圖像標頭中的位置之後的位置中。同樣地，例如，片間允許旗標可以根據圖像標頭中GDR_or_IRAP圖像標頭的值構成∕包含在可變位置中。
例如，如果片間允許旗標的值為1，則片內允許旗標可以構成∕包括在緊接片間允許旗標包含在圖像標頭中的位置之後的位置中。如果片間允許旗標的值為0，則片內允許旗標可能不存在。如果片內允許旗標不存在，則片內允許旗標的值可以推導出為1，換言之，片內允許旗標可以根據圖像標頭中GDR_or_IRAP圖像旗標的值和片間允許旗標的值構成∕包含在可變位置中。
根據本發明第三示範性實施例，由於非參考圖像旗標存在於GDR圖像旗標包含在圖像標頭中的位置之前的位置，因此非參考圖像旗標可以根據圖像標頭中GDR_or_IRAP圖像旗標的值及∕或片間允許旗標的值不構成∕包含在可變位置中。
進一步地，根據第三示範性實施例，由於圖像參數組ID資訊存在於片內允許旗標包含在圖像標頭中的位置之前的位置，因此圖像參數組ID資訊可以根據圖像標頭中片間允許旗標的值不構成∕包含在可變位置中
換句話說，根據第三示範性實施例，非參考圖像旗標可以在相對於圖像標頭的起始點的固定位置發訊號，且圖像參數組ID資訊可以基於描述符u(6)編碼。因此，提高了對解碼裝置以外的其他裝置的位元流（例如，包含在圖像標頭中的資訊）的可存取性，並實現了解碼流程和系統功能的改善。
以下附圖用於說明本發明的具體例子。由於該附圖中所示的特定裝置的名稱或特定訊號∕消息∕字段的名稱是示範性的，因此本說明書的技術特徵不限於下列附圖中所使用的具體名稱。
圖9和圖10示意性地說明根據本發明示範性實施例的視訊∕影像編碼方法和相關組件的示例。圖9中所示的方法可以由圖2中所示的編碼裝置執行。具體地，例如，圖9所示的S900和S910可以由編碼裝置200的預測器220執行，且圖9所示的S920和S930可以由編碼裝置200的熵編碼器240執行。圖9所示的方法可以包含本發明中的上述示範性實施例。
參照圖9，編碼裝置推導出當前區塊的參考圖像列表（S900）。編碼裝置產生與參考圖像列表相關的資訊（S910）。例如，編碼裝置可以基於參考圖像列表產生與參考圖像列表相關的資訊。
例如，與參考圖像列表相關的資訊可以包含ref_pic_lists字段，且與參考圖像列表相關的資訊可以構成∕包含在圖像標頭或切片標頭中並傳遞。與考圖像列表相關的資訊可以包含用於推導出參考圖像列表的資訊。例如，與參考圖像列表相關的資訊可以包含與參考圖像列表索引相關的資訊、與長期參考圖像相關的資訊、及∕或與短期參考圖像相關的資訊中的至少一種。與長期參考圖像相關的資訊可以包含關於長期參考圖像的圖像順序計數（picture order count, POC）的資訊。與參考圖像相關的資訊可以包含關於短期參考圖像的第i個增量POC的資訊，且增量POC可以基於第（i-1）個POC來推導出。
視訊∕影像資訊可以包括高級語法（high level syntax, HLS）， 並且HLS可以包含與參考圖像列表相關的資訊。例如，HLS還可以包含表示是否與參考圖像相關的資訊包含在圖像標頭或切片標頭中∕發訊號到圖像標頭或切片標頭的資訊。作為一示例，如果與參考圖像列表相關的資訊包含在圖像標頭中∕發訊號給圖像標頭，則相同的參考圖像列表可以用於在參考圖像標頭的圖像中關於包含不同切片的區塊的幀間預測。作為另一示例，如果與參考圖像列表相關的資訊包含在切片標頭中∕發訊號至切片標頭，則不同的參考圖像列表可以用於相同圖像中不同的切片。換言之，例如，該圖像可以包含第一切片和第二切片，與第一參考圖像列表相關的資訊可以包含在第一切片的切片標頭中∕發訊號給第一切片的切片標頭，且與第二參考圖像列表相關的資訊可以包含在第二切片的切片標頭中∕發訊號給第二切片的切片標頭。此時，可以推導出第一參考圖像列表，用於預測第一切片中的一個區塊，並可以推導出第二參考圖像列表，用於預測第二切片中的一個區塊。換言之，即使第一切片和第二切片存在於同一圖像中，第一參考圖像列表和第二參考圖像列表可以彼此不同。
編碼裝置產生圖像標頭（S920）。例如，編碼裝置可以產生包含與參考圖像列表相關的資訊的圖像標頭。例如，圖像標頭可以包含GDR_or_IRAP圖像旗標、GDR圖像旗標、片間允許旗標、片內允許旗標、非參考圖像旗標、圖像參數組ID資訊、及∕或GDR啟用旗標中的至少一個。例如，圖像標頭可以包含 gdr_or_irap_pic_flag、gdr_pic_flag、ph_inter_slice_allowed_flag、ph_intra_slice_allowed_flag、non_reference_picture_flag、ph_pic_parameter_set_id、及∕或 gdr_enabled_flag 語法元素中的至少一個。
就此而言，如上所述，編碼裝置可以基於其中包含與參考圖像列表相關的資訊的圖像標頭執行幀間預測，從而推導出當前區塊的預測樣本。此外，編碼裝置可以基於預測樣本推導出殘差樣本，例如，編碼裝置可以透過原始樣本與當前區塊的預測樣本之間的比較來推導出殘差樣本。此外，編碼裝置可以基於殘差樣本產生殘差資訊，並額外地產生一個已重組樣本的殘差樣本。
編碼裝置編碼視訊∕影像資訊（S930）。例如，視訊∕影像資訊可以包含圖像標頭。例如，視訊∕影像資訊可以包含圖像標頭，其中包含與參考圖像列表相關的資訊。
此外，視訊∕影像資訊可以包括根據本發明示範性實施例的各種資訊。例如，視訊∕影像資訊可以包含揭露在上述表2、4、5、及∕或表7中的至少一個的資訊。
同時，視訊∕影像資訊可以包含預測資訊和殘差資訊。作為與預測程序相關的資訊的預測資訊可以包含關於預測模式資訊的資訊（例如，跳過旗標、合併旗標或模式索引）和運動資訊。關於運動資訊的資訊可以包含候選選擇資訊（例如，合併索引、mvp旗標或mvp索引），其是用於推導出運動向量的資訊。此外，關於運動資訊的資訊可以包含上述關於MVD及∕或參考圖像索引資訊的資訊。此外，關於運動資訊的資訊可以包含表示是否應用L0預測、L1預測或Bi預測的資訊。殘差資訊是關於殘差樣本的資訊。殘差資訊可以包含關於殘差樣本的量化變換係數的資訊。
編碼的視訊∕影像資訊可以用位元流的形式輸出。位元流可以透過網路或儲存媒體傳輸到解碼裝置。
此外，如上所述，編碼裝置可以基於參考樣本和殘差樣本產生重組圖像（包含重組樣本和重組區塊）。這推導出預測結果，如同由透過編碼裝置中的解碼裝置執行所獲得的一樣，如此一來，可以提高編碼效率。因此，編碼裝置可以將重組圖像（或重組樣本和重組區塊）儲存在記憶體中，並將重組圖像用作幀間預測的參考圖像。如上所述，環路濾波程序或該類似的可以進一步應用於重組圖像。
具體而言，圖像標頭可以包含根據本發明示範性實施例的各種資訊。
根據由本發明所的示範性實施例，圖像標頭可以包含與當前圖像是否不被用參考圖像相關的非參考圖像旗標。例如，非參考圖像旗標可以包含在圖像標頭中相對於圖像標頭的起始點的固定第一位置中。
此時，根據示範性實施例，該第一位置可以不受包含在圖像標頭中的資訊的值影響。
此外，根據示範性實施例，圖像標頭還可以包含與當前圖像是漸進解碼刷新（GDR）圖像還是幀內隨機存取點（IRAP）圖像相關的GDR_or_IRAP圖像旗標。例如，該第一位置可以是緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置之後的位置。
此時，根據示範性實施例，圖像標頭還可以包含與當前圖像是否為GDR圖像相關的GDR圖像旗標。例如，GDR圖像旗標可以基於GDR_or_IRAP圖像旗標的值為l的情況包含在圖像標頭中。作為一示例，非參考圖像旗標可以包含在圖像標頭的第一位置中，不論GDR圖像旗標是否包含在圖像標頭中。
在此，根據示範性實施例，非參考圖像旗標可以基於GDR_or_IRAP圖像標頭的值為1的情況包含在第一位置中，該第一位置是在圖像標頭中包含GDR_or_IRAP圖像旗標的位置與包含GDR圖像旗標的位置之間。
進一步地，根據示範性實施例，圖像標頭還可以包含與使用的圖像參數組的標識相關的圖像參數組ID資訊。例如，圖像參數組ID資訊可以包含在相對於圖像標頭中圖像標頭的起始點的固定第二位置中。作為一示例，該第二位置不受包含在圖像標頭中的資訊的值影響。
此時，根據示範性實施例，該第二位置可以是圖像標頭中緊接第一位置之後的位置。例如，圖像參數組ID資訊可以包含在圖像標頭的第二位置中，不論GDR圖像旗標是否包含在圖像標頭中。
此外，根據示範性實施例，可以基於描述符u(6) 編碼圖像參數組ID資訊。作為一示例，可以基於使用6位元的無符號整數編碼圖像參數組ID資訊.
根據示範性實施例，圖像標頭還可以包含與使用的圖像參數組的標識相關的圖像參數組ID資訊。例如，圖像參數組ID資訊可以基於GDR圖像旗標包含在圖像標頭中的情況，包含在緊接GDR圖像旗標包含在圖像標頭中的位置之後的位置中。作為一示例，圖像參數組ID資訊可以基於GDR圖像旗標不包含在圖像標頭中的情況，包含在緊接圖像標頭中的第一位置之後的位置中。
此外，根據示範性實施例，GDR圖像旗標可以基於與GDR是否啟用有關的GDR啟用旗標的值為1情況包含在圖像標頭中。
此外，根據示範性實施例，GDR圖像旗標的值可以基於GDR圖像旗標不存在圖像標頭中的情況推導出為0。
圖11和圖12示意性地說明根據本發明示範性實施例的視訊∕影像解碼方法和相關組件的示例。圖11中所示的方法可以由圖3中所示的解碼裝置來執行。具體地，圖11所示的S1100可以由解碼裝置300的熵解碼器310執行，S1110和S1120可以由解碼裝置300的預測器330執行，而S1130可以由解碼裝置300的加法器340執行。圖11所示的方法可以包含本發明中的前述示範性實施例。
參照圖11，解碼裝置接收∕獲取視訊∕影像資訊（S1100）。例如，解碼裝置可以透過位元流接收∕獲取視訊∕影像資訊。例如，解碼裝置可以透過位元流接收∕獲取視訊∕影像資訊，且該視訊∕影像資訊可以包含圖像標頭。
例如，圖像標頭可以包含GDR_or_IRAP圖像旗標、GDR圖像旗標、片間允許旗標、片內允許旗標、非參考圖像旗標、圖像參數組ID中的至少一個，例如，圖像標頭可以包含gdr_or_irap_pic_flag、gdr_pic_flag、ph_inter_slice_allowed_flag、ph_intra_slice_allowed_flag、non_reference_picture_flag、ph_pic_parameter_set_id、及∕或gdr_enabled_flag語法元素中的至少一個。
此外，視訊∕影像資訊可以包含根據本發明示範性實施例的各種資訊。例如，視訊∕影像資訊可以包含揭露在上述表2、4、5，及∕或表7中的至少一個的資訊。
同時，例如，視訊∕影像資訊可以包含預測資訊和殘差資訊，作為與預測程序相關的資訊的預測資訊可以包含關於預測模式資訊的資訊（例如，跳過旗標、合併旗標、或模式索引）和運動資訊。關於運動資訊的資訊可以包含候選選擇資訊（例如，合併索引、mvp旗標、或mvp索引），其是用於推導出運動向量的資訊。此外，關於運動資訊的資訊可以包含上述關於MVD和∕或參考圖像索引資訊的資訊。此外，關於運動資訊的資訊可以包含表示是否應用L0預測、L1預測或Bi預測的資訊。殘差資訊是關於殘差樣本的資訊。殘差資訊可以包括關於殘差樣本的量化變換係數的資訊。
解碼裝置推導出當前區塊的參考圖像列表（S1110）。例如，解碼裝置可以基於包含在視訊∕影像資訊中的圖像標頭推導出當前區塊的參考圖像列表。作為一示例，解碼裝置可以基於與包含在視訊∕影像資訊中的圖像標頭中的參考圖像列表相關的資訊推導出當前區塊的參考圖像列表。
例如，與參考圖像列表相關的資訊可以包含ref_pic_lists filed（參考圖像列表字段），且與參考圖像列表相關的資訊可以構成∕包含在圖像標頭或切片標頭中並傳遞。與參考圖像列表相關的資訊可以包含用於推導出參考圖像列表的資訊。例如，與參考圖像列表相關的資訊可以包含與參考圖像列表索引相關的資訊、與長期參考圖像相關的資訊、及∕或與短期參考圖像相關的資訊中的至少一個。與長期參考圖像相關的資訊可以包含關於長期參考圖像的圖像順序計數（picture order count, POC）的資訊。與短期參考圖像相關的資訊可以包含關於短期參考圖像的第i個增量POC的資訊，並且增量POC可以基於第（i-1）個POC來推導出。
視訊∕影像資訊可以包括高級語法（high level syntax, HLS），並且HLS可以包含與參考圖像列表相關的資訊。例如，HLS還可以包含表示是否與參考圖像列表相關的資訊包含在圖像標頭或切片標頭中∕發訊號給圖像標頭或切片標頭的資訊。作為一示例，如果與參考圖像列表相關的資訊包含在圖像標頭中∕發訊號給圖像標頭，則相同的參考圖像列表可以用於在參考圖像標頭的圖像中關於包含不同切片的區塊的幀間預測。作為另一例子，如果與參考圖像列表相關的資訊包含在切片標頭中∕發訊號給切片標頭，則不同的參考圖像列表可以用於同一圖像中的不同切片。換言之，例如，該圖像可以包含第一切片和第二切片，與第一參考圖像列表相關的資訊可以包含在第一切片的切片標頭中∕發訊號給第一切片的切片標頭，而與第二參考圖像列表相關的資訊可以包含在第二切片的切片標頭中∕發訊號給第二切片的切片標頭。此時，可以推導出第一參考圖像列表，用於預測第一切片中的區塊，並可以推導出第二參考圖像列表，用於預測第二切片中的區塊。換言之，即使第一切片和第二切片存在於同一圖像中，第一參考圖像列表和第二參考圖像列表也可以彼此不同。
解碼裝置產生當前區塊的預測樣本（S1120）。例如，解碼裝置可以基於參考圖像列表產生當前區塊的預測樣本。作為一示例，解碼裝置可以基於參考圖像列表中的參考圖像產生當前區塊的預測樣本。例如，與參考圖像列表相關的資訊可以包含參考圖像索引資訊。解碼裝置可以基於參考圖像索引資訊推導出當前區塊的參考圖像索引。例如，在參考圖像列表中由參考圖像索引指示之當前區塊的圖像可以推導為當前區塊的幀間預測所引用的參考圖像。解碼裝置可以基於當前區塊的參考圖像索引推導出參考圖像，並使用在參考圖像上由當前區塊的運動向量表示的參考區塊的樣本推導出當前區塊的預測樣本。在這情形下，如上所述，還可以在某些情況中對當前區塊的所有或一些區塊的預測樣本執行預測樣本濾波程序。
解碼裝置產生當前區塊的重組樣本（S1130）。例如，解碼裝置可以基於預測樣本產生當前區塊的重組樣本。此外，例如，解碼裝置可以基於當前區塊的殘差樣本和預測樣本產生當前區塊的重組樣本。當前區塊的殘差樣本可以基於接收的殘差資訊來產生。此外，作為一示例，解碼裝置可以產生包含重組樣本的重組圖像。然後，如上所述，環路濾波程序等等可以進一步地應用於重組圖像。
在此，圖像標頭可包含根據本發明示範性實施例的各種資訊。
根據由本發明所提出的示範性實施例，圖像標頭可以包含與當前圖像是否不被用為參考圖像相關的非參考圖像旗標。例如，非參考圖像旗標可以包含在圖像標頭中相對於圖像標頭的起始點的固定第一位置中。
此時，根據示範性實施例，該第一位置可以不受包含在圖像標頭中的資訊的值影響。
此外，根據示範性實施例，圖像標頭還可以包含與當前圖像是漸進解碼刷新（GDR）圖像還是幀內隨機存取點（IRAP）圖像相關的GDR_or_IRAP圖像旗標。例如，該第一位置可以是緊接GDR_or_IRAP圖像旗標包含在圖像標頭中的位置之後的位置中。
此時，根據示範性實施例，圖像標頭還可以包含與當前圖像是否為GDR圖像相關的GDR圖像旗標。例如，GDR圖像旗標可以基於GDR_or_IRAP圖像旗標的值為1的情況包含在圖像標頭中。作為一示例，非參考圖像旗標可以包含在圖像標頭的第一位置中，不論GDR圖像旗標是否包含在圖像標頭中。
在此，根據示範性實施例，基於GDR_or_IRAP圖像旗標的值為1的情況，非參考圖像旗標可以包含第一位置中，該第一位置是在圖像標題中包含GDR_or_IRAP圖像旗標的位置與包含GDR圖像旗標的位置之間。
進一步地，根據示範性實施例，圖像標頭還可以包含與使用的圖像參數組的標識相關的圖像參數組ID資訊。例如，圖像參數組ID資訊可以包含在圖像標頭中相對於圖像標頭的起始點的固定第二位置中。作為一示例，該第二位置不受包含在圖像標頭中的資訊的值影響。
此時，根據示範性實施例，該第二位置可以是圖像標頭中緊接第一位置之後的位置。例如，圖像參數組ID資訊可以包含在圖像標頭的第二位置中，不論GDR圖像旗標是否包含在圖像標題中。
此外，根據示範性實施例，可以基於描述符u(6)編碼圖像參數組ID資訊。作為一示例，可以基於使用6位元的無符號整數編碼圖像參數組ID資訊.
根據示範性實施例，圖像標頭還可以包含與使用的圖像參數組的標識相關的圖像參數組ID資訊。例如，圖像參數組ID資訊可以基於GDR圖像旗標包含在圖像標頭中的情況，包含在緊接GDR圖像旗標包含在圖像標頭中的位置之後的位置中。作為一示例，圖像參數組ID資訊可以基於GDR圖像旗標不包含在圖像標頭中的情況，包含在緊隨圖像標頭中第一個位置之後的位置中。
此外，根據示範性實施例，GDR圖像旗標可以基於與是否啟用GDR相關之GDR啟用旗標的值為1的情況包含在圖像標頭中。
此外，根據示範性實施例， GDR圖像旗標的值可以基於GDR圖像旗標不存在於圖像標頭中的情況推導出為0。
在上述實施例中，基於具有一系列步驟或區塊的流程圖來描述該些方法，但本實施例不限於上述步驟或區塊的順序，且某些步驟可以同時或以一個與上述其他步驟不同的順序來產生。此外，本領域技術人員將理解：上述流程圖中所示的步驟並非排他性的、可以包含進一步的步驟、或者可以刪除流程圖中的一個或多個步驟，而不影響本發明實施例的範圍。
根據上述本發明實施例的方法可以在軟體中實現。根據本發明的編碼裝置及∕或解碼裝置可以包含在執行影像處理的裝置中，例如，電視、電腦、智能手機、機上盒或顯示裝置。
當本發明的實施例以軟體實現時，上述方法可以透過執行上述功能的模組（程式、功能等）來實現。這樣的模組可以儲存在記憶體中並由處理器執行。該記憶體可以是處理器內部或外部，且記憶體可以使用各種公知的方式耦合到處理器。該處理器可以包括專用積體電路（application-specific integrated circuit, ASIC）、其他晶片組、邏輯電路及∕或資料處理裝置。該記憶體可以包括唯讀記憶體（read-only memory, ROM）、隨機存取記憶體（random access memory, RAM）、快閃記憶體、記憶卡、儲存媒體及∕或其他儲存裝置。即，描述在本發明中的實施例可以在處理器、微處理器、控制器或晶片上實現和執行。例如，每個圖中所示的功能單元可以在電腦、處理器、微處理器、控制器，或晶片上實現和執行。在這種情況下，用於實現或演算法的資訊（例如關於指令的資訊）可以儲存在數位儲存媒體中。
此外，應用本發明實施例的解碼裝置和編碼裝置可以應用於多媒體通信裝置，諸如多媒體廣播發送和接收裝置、行動通信終端、家庭影院視訊裝置，數位影院視訊裝置、監控攝影頭、視訊聊天裝置、（3D）視訊裝置、視訊電話視訊裝置、以及醫療視訊裝置等，所述解碼裝置和編碼裝置可以包含在例如儲存媒體、攝影機、視訊點播（video on demand, VoD）服務提供裝置、OTT視訊（Over the Top video）、互聯網流線化服務提供裝置，3D視訊裝置，虛擬現實（virtual reality, VR）裝置，增強現實（augmented reality, AR）裝置、視訊通話裝置、交通工具終端（如車載（包括自動駕駛汽車）終端、飛航終端、船運終端等等）中，並可以用於處理視訊訊號或資料訊號。例如，OTT視訊（Over the Top video）裝置可以包含遊戲機、藍光播放器、互聯網接入電視、家庭影院系統、智能手機、平板電腦、數位錄像機（digital video recorder, DVR）。
此外，本發明實施例所應用的處理方法可以用電腦執行程序的形式產生，並可以儲存在電腦可讀記錄媒體中。根據本發明實施例之具有資料結構的多媒體資料還可以儲存在電腦可讀記錄媒體中。電腦可讀記錄媒體包含其中儲存電腦可讀資料的各種儲存裝置和分佈式儲存裝置。電腦可讀記錄媒體可以例如是藍光光盤（BD）、通用串行總線（USB）、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁帶、軟碟、以及光學資料儲存裝置。此外，電腦可讀記錄媒體包含以載波形式實現的媒體（例如，通過互聯網傳輸）。另外，由編碼方法產生的位元流可以儲存在電腦可讀記錄媒體中或通過無線或有線或無線通訊網路傳輸。
此外，本發明的實施例可以通過程式碼實現為電腦程式產品，且該程式碼可以在根據本發明實施例的電腦中執行。該程式碼可以儲存在電腦可讀載體上。
圖13是說明應用本發明實施例的內容串流媒體系統的結構的視圖。
參照圖13，應用本發明實施例的內容串流媒體系統可以主要包括編碼伺服器、串流媒體伺服器、網路伺服器、媒體儲存器、使用者裝置、以及多媒體輸入裝置.
編碼伺服器用以將從多媒體輸入裝置（例如智能手機、照相機、攝影機）輸入的內容壓縮成數位資料以產生位元流並將該位元流傳輸至串流媒體伺服器。作為另一示例，如果諸如智能手機、相機、攝影機等多媒體輸入裝置直接產生位元流，可以省略編碼伺服器。
位元流可以由應用本發明實施例的編碼方法或位元流產生方法產生，並且串流媒體伺服器可以在位元流的傳輸或接收流程中暫存位元流。
串流媒體伺服器用以基於使用者請求透過網路伺服器向使用者裝置傳輸多媒體資料，而網路伺服器作為一種通知使用者可以使用哪些服務的媒體。當使用者向網路伺服器要求提供服務時，網路伺服器將使用者的請求傳送給串流媒體伺服器，且串流媒體伺服器將多媒體資料傳輸給使用者。此時，內容串流媒體系統可以包含一個單獨的控制伺服器，並在這種情況下，控制伺服器用以控制內容串流媒體系統內的裝置之間的命令∕回應。
串流媒體伺服器可以從媒體儲存器及∕或編碼伺服器接收內容。例如，當從編碼伺服器接收內容時，串流媒體伺服器可以即時接收內容。在這種情況下，為了提供流暢的串流媒體服務，串流媒體伺服器可以將位元流儲存一預定時間。
作為使用者裝置的示例，可以是行動電話、智能手機、筆電、數位廣播終端、個人數位助理（personal digital assistants, PDA）、便攜式多媒體播放器（portable multimedia player, PMP）、導航裝置，平板個人電腦、平板電腦、超薄筆電、可穿戴裝置（例如，智能手錶、智能眼鏡、頭戴式顯示器（head mounted display, HMD））、數位電視、桌上型電腦、數位標牌等。
內容串流媒體系統內的各別伺服器可以由分佈伺服器操作，在這種情況下，由每個伺服器接收的資料可以被分佈和處理。
本說明書中記載的請求項可以通過各種方法組合。例如，可以將本說明書的方法請求項的技術特徵合併作為裝置實施，也可以合併實施本說明書的裝置請求項的技術特徵。此外，該方法請求項的技術特徵和該裝置請求項的技術特徵可以合併結合及實施為一裝置，且該方法請求項的技術特徵和該裝置請求項的技術特徵可以結合及實施為一方法。
200:編碼裝置 210:影像分割器 220:預測器 221:幀間預測器 221-1:預測模式決定單元 221-2:運動資訊推導單元 221-3:預測樣本推導單元 222:幀內預測器 230:殘差處理器 231:減法器 232:變換器 233:量化器 234:反量化器 235:逆變換器 240:熵編碼器 250:加法器 260:濾波器 270:記憶體 300:解碼裝置 310:熵解碼器 320:殘差處理器 321:反量化器 322:逆變換器 330:預測器 331:幀內預測器 332:幀間預測器 332-1:預測模式決定單元 332-2:運動資訊推導單元 332-3:預測樣本推導單元 340:加法器 350:濾波器 360:記憶體 S500〜S520:步驟 S700〜S740:步驟 S900〜S930:步驟 S1100〜S1130:步驟 DPB:解碼圖像緩衝器
圖1是示意性地說明可應用本發明示範性實施例的視訊∕影像編碼系統的示例的視圖。 圖2是示意性地說明可應用本發明示範性實施例的視訊∕影像編碼裝置的配置的視圖。 圖3是示意性地說明可應用本發明示範性實施例的視訊∕影像解碼裝置的配置的視圖。 圖4是示範性地說明編碼視訊∕影像的層次結構。 圖5和圖6是示意性地說明編碼裝置中基於幀間預測和幀間預測器的視訊∕影像編碼方法的示例。 圖7和圖8是示意性地說明解碼裝置中基於幀間預測和幀間預測器的視訊∕影像解碼方法的示例。 圖9和圖10是示意性地說明根據本發明示範性實施例和相關部件的視訊∕影像編碼方法的示例。 圖11和圖12是示意性地說明根據本發明示範性實施例和相關部件的視訊∕影像解碼方法的示例。 圖13是說明可應用揭露在本發明中的示範性實施例的內容串流媒體系統的示例。
S1100~S1130:步驟

Claims (15)

  1. 一種由解碼裝置執行的影像解碼方法，該方法包括： 透過一位元流獲取影像資訊，其中該影像資訊包含一圖像標頭； 基於與包含在該圖像標頭中的一參考圖像列表相關的資訊推導出一當前區塊的該參考圖像列表； 基於該參考圖像列表中的一參考圖像產生該當前區塊的預測樣本；以及 基於該等預測樣本產生該當前區塊的重組樣本， 其中，該圖像標頭包含與一當前圖像是否不被用為一參考圖像相關的一非參考圖像旗標，以及 其中，該非參考圖像旗標包含在該圖像標頭中相對於該圖像標頭的一起始點的固定的一第一位置中。
  2. 如請求項1所述的影像解碼方法，其中，該第一位置不受包含在該圖像標頭中的資訊的值影響。
  3. 如請求項1所述的影像解碼方法，其中，該圖像標頭進一步包含與該當前圖像是一漸進解碼刷新（gradual decoding refresh, GDR）圖像還是一幀內隨機存取點（intra random access point, IRAP）圖像相關的一GDR_or_IRAP圖像旗標，以及 其中，該第一位置是緊接包含該圖像標頭中的該GDR_or_IRAP圖像旗標的位置之後的位置。
  4. 如請求項3所述的影像解碼方法，其中，該圖像標頭進一步包含與該當前圖像是否為一GDR圖像相關的一GDR圖像旗標， 其中，基於該GDR_or_IRAP圖像旗標的值為1的情況，該GDR圖像旗標包含在該圖像標頭中，以及 其中，該非參考圖像旗標包含在該圖像標頭的該第一位置中，不論該GDR圖像旗標是否包含在該圖像標頭中。
  5. 如請求項4所述的影像解碼方法，其中，基於該GDR_or_IRAP圖像旗標的值為1的情況下，該非參考圖像旗標包含在該第一個位置中，該第一個位置位於該圖像標頭中包含該GDR_or_IRAP圖像旗標的位置與包含該GDR圖像旗標的位置之間。
  6. 如請求項4所述的影像解碼方法，其中，該圖像標頭進一步包含與使用的一圖像參數組的一標識相關的圖像參數組ID資訊； 其中，該圖像參數組ID資訊包含在該圖像標頭中相對於該圖像標頭的該起始點的固定的一第二位置中，以及 其中，該第二位置不受包含在該圖像標頭中的資訊的值影響。
  7. 如請求項6所述的影像解碼方法，其中，該第二位置是該圖像標頭中緊接該第一位置之後的位置，以及 其中，該圖像參數組ID資訊包含在該圖像標頭的該第二位置中，不論該GDR圖像旗標是否包含在該圖像標頭中。
  8. 如請求項6所述的影像解碼方法，其中，該圖像參數組ID資訊是基於一描述符u(6)編碼。
  9. 如請求項4所述的影像解碼方法，其中，該圖像標頭進一步包含與使用的一圖像參數組的一標識相關的圖像參數組ID資訊， 其中，基於該圖像標頭包含在該GDR圖像旗標中的情況，該圖像參數組ID資訊包含在緊接該GDR圖像旗標包含在該圖像標頭中的位置之後的位置中，以及 其中，基於該圖像標頭中不包含在該GDR圖像旗標中的情況，該圖像參數組ID資訊包含在該圖像標頭中緊接該第一位置之後的位置中。
  10. 如請求項4所述的影像解碼方法，其中，基於與是否啟用GDR相關的一GDR啟用旗標的值為1的情況，該GDR圖像旗標包含在該圖像標頭中。
  11. 如請求項4所述的影像解碼方法，其中，基於該圖像標頭中不存在該GDR圖像旗標中的情況，推導出該GDR圖像旗標的值為0。
  12. 一種由編碼裝置執行的影像編碼方法，該方法包括： 推導出一當前區塊的一參考圖像列表； 基於該參考圖像列表，產生與該參考圖像列表相關的資訊； 產生包含與該參考圖像列表相關的該資訊的一圖像標頭；以及 編碼包含該圖像標頭的影像資訊； 其中，該圖像標頭包含與一當前圖像是否不被用為一參考圖像相關的一非參考圖像旗標，以及 其中，該非參考圖像旗標包含在該圖像標頭中相對於該圖像標頭的一起始點的固定的一第一位置中。
  13. 如請求項12所述的影像編碼方法，其中，該圖像標頭進一步包含與該當前圖像是一漸進解碼刷新（gradual decoding refresh, GDR）圖像還是一幀內隨機存取點（intra random access point, IRAP）圖像相關的一GDR_or_IRAP圖像旗標，以及 其中，該第一位置是緊接該圖像標頭中包含該GDR_or_IRAP圖像旗標的位置之後的位置。
  14. 如請求項13所述的影像編碼方法，其中，該圖像標頭進一步包含與該當前圖像是否為一GDR圖像相關的一GDR圖像旗標， 其中，基於該GDR_or_IRAP圖像旗標的值為1的情況，該GDR圖像旗標包含在該圖像標頭中，以及 其中，該非參考圖像旗標包含在該圖像標頭的該第一位置中，不論該GDR圖像旗標是否包含在該圖像標頭中。
  15. 一種電腦可讀數位儲存媒體，其儲存編碼資訊，使一解碼裝置執行一影像解碼方法，該影像解碼方法包括： 透過一位元流獲取影像資訊，其中該影像資訊包含一圖像標頭； 基於與包含在該圖像標頭中的一參考圖像列表相關的資訊推導出一當前區塊的該參考圖像列表； 基於該參考圖像列表中的一參考圖像產生該當前區塊的預測樣本；以及 基於該等預測樣本產生該當前區塊的重組樣本， 其中，該圖像標頭包含與一當前圖像是否不被用為一參考圖像相關的一非參考圖像旗標；以及 其中，該非參考圖像旗標包含在該圖像標頭中相對於該圖像標頭的一起始點的固定的一第一位置中。
TW110112962A 2020-04-16 2021-04-09 基於包含在圖像標頭中的資訊的影像編碼方法 TWI789738B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063010705P 2020-04-16 2020-04-16
US63/010,705 2020-04-16

Publications (2)

Publication Number Publication Date
TW202145793A true TW202145793A (zh) 2021-12-01
TWI789738B TWI789738B (zh) 2023-01-11

Family

ID=78084297

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110112962A TWI789738B (zh) 2020-04-16 2021-04-09 基於包含在圖像標頭中的資訊的影像編碼方法
TW111147672A TW202315407A (zh) 2020-04-16 2021-04-09 解碼裝置、編碼裝置及影像資訊的數據傳輸裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111147672A TW202315407A (zh) 2020-04-16 2021-04-09 解碼裝置、編碼裝置及影像資訊的數據傳輸裝置

Country Status (3)

Country Link
US (1) US20230136821A1 (zh)
TW (2) TWI789738B (zh)
WO (1) WO2021210841A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764642B1 (en) * 2011-09-19 2022-11-02 Sun Patent Trust Image encoding method
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US11418812B2 (en) * 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
JP7278719B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
TW202315407A (zh) 2023-04-01
US20230136821A1 (en) 2023-05-04
WO2021210841A1 (ko) 2021-10-21
TWI789738B (zh) 2023-01-11

Similar Documents

Publication Publication Date Title
US20200260072A1 (en) Image coding method using history-based motion information and apparatus for the same
CN114402597A (zh) 应用自适应环路滤波器的视频或图像编码
US20240080486A1 (en) Syntax design method and apparatus for performing coding by using syntax
US11695934B2 (en) Mixed NAL unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
US20230045490A1 (en) Image or video coding based on nal unit-associated information
US11902556B2 (en) Mixed NAL unit type-based image encoding/decoding method and device, and method for transmitting bitstream
US20240056566A1 (en) Inter prediction method and apparatus in image/video coding system
US20230030394A1 (en) Nal unit type-based image or video coding for slice or picture
US11825096B2 (en) Slice type-based image/video coding method and apparatus
US20230113358A1 (en) Image coding method based on poc information and non-reference picture flag in video or image coding system
CN116134821A (zh) 用于在图像/视频编码系统中处理高级语法的方法和设备
TWI789738B (zh) 基於包含在圖像標頭中的資訊的影像編碼方法
US11716464B2 (en) Image/video encoding/decoding method and apparatus using same
US20230179769A1 (en) Multilayer-based image coding method in video or image coding system
US20230156227A1 (en) Signaling-based image or video coding of information related to recovery point for gdr
JP7375198B2 (ja) ピクチャ分割情報をシグナリングする方法及び装置
US20240022742A1 (en) Nal unit type-based image or video coding
US20230188707A1 (en) Image coding method and device therefor
US20220417526A1 (en) Image decoding method for coding dpb parameter, and device therefor
KR20230017236A (ko) 픽처 출력 관련 정보 기반 영상 또는 비디오 코딩
KR20230023709A (ko) 영상/비디오 코딩 시스템에서 일반 제한 정보를 처리하는 방법 및 장치
KR20220082082A (ko) 영상 정보를 시그널링하는 방법 및 장치