TWI789662B - 有關子圖像之視訊寫碼技術 - Google Patents

有關子圖像之視訊寫碼技術 Download PDF

Info

Publication number
TWI789662B
TWI789662B TW109145104A TW109145104A TWI789662B TW I789662 B TWI789662 B TW I789662B TW 109145104 A TW109145104 A TW 109145104A TW 109145104 A TW109145104 A TW 109145104A TW I789662 B TWI789662 B TW I789662B
Authority
TW
Taiwan
Prior art keywords
sub
layer
images
video
indication
Prior art date
Application number
TW109145104A
Other languages
English (en)
Other versions
TW202131682A (zh
Inventor
雅構 夏契茲德拉富恩特
卡斯登 蘇荷寧
寇尼拉斯 黑爾吉
湯瑪士 夏以爾
羅伯特 史庫濱
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202131682A publication Critical patent/TW202131682A/zh
Application granted granted Critical
Publication of TWI789662B publication Critical patent/TWI789662B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

描述了包括編碼、處理及解碼一資料串流的概念，該資料串流具有編碼成該資料串流之一視訊，其中該視訊包含：多個圖像，其中該資料串流包含至少二個層中之多個圖像，其中至少一個層之該等圖像被分割成一預定層特定數目個子圖像，一個層之該等圖像或子圖像中之一或多者對應於一或多個其他層中之一個圖像或子圖像，且該等子圖像中之至少一者包含用於邊界擴展以進行運動補償之邊界；及不同層中之對應子圖像或對應圖像之該等邊界中之至少一者彼此對準的一指示。

Description

有關子圖像之視訊寫碼技術
發明領域
本申請案與視訊寫碼概念有關，且特定言之與子圖像有關。
無
發明概要
存在多個經寫碼視訊位元串流或資料串流待聯合地解碼，例如合併成聯合位元串流並饋送至單個解碼器中的某些基於視訊之應用，諸如在單個端點上處理來自多個參與者之經寫碼視訊串流的多方會議，或例如用於虛擬實境(VR)應用中之360度平鋪視訊播放的基於影像塊之串流傳輸。
對於高效視訊寫碼(HEVC)，定義了運動約束影像塊集合，其中運動向量被約束為不參考不同於當前影像塊集合(或影像塊)之影像塊集合(或影像塊)。因此，可自位元串流提取所討論之影像塊集合(或影像塊)或將其合併至另一位元串流中，而不會影響解碼結果，例如不管所討論之影像塊集合(或影像塊)經單獨解碼還是作為具有每個圖像之較多影像塊集合(或影像塊)的位元串流之部分經解碼，經解碼樣本將皆係精確匹配的。
在後一情況中，展示360度視訊之實例，其中此技術係有用的。視訊經空間分段，且每個空間分段係以具有變化之空間解析度的多個表示提供至串流傳輸用戶端，如圖1中所說明。該圖展示以兩種解析度劃分成6×4個空間分段之立方體地圖投影的360度視訊。為簡單起見，此等獨立可解碼空間分段在此描述中被稱為影像塊。
使用者在使用目前先進技術頭戴式顯示器時，通常僅通過表示90x90度視場之藍色實線視埠邊界觀看構成整個360度視訊之影像塊的子集，如圖2之左側處所說明。圖2中以綠色加陰影之對應影像塊係以最高解析度經下載。
然而，用戶端應用亦將必須下載並解碼在當前視埠外部的圖2中以紅色加陰影之其他影像塊的表示，以便處理使用者之突然定向變化。此應用中之用戶端將因此以最高解析度下載覆蓋其當前視埠之影像塊並以相對較低解析度下載在其當前視埠外部之影像塊，同時不斷地使影像塊解析度之選擇適應使用者之定向。在用戶端側上進行下載之後，將經下載影像塊合併成待用單個解碼器處理之單個位元串流為解決具有有限計算及功率資源之典型行動裝置的約束之手段。圖3說明用於上文實例之聯合位元串流中的可能影像塊配置。產生聯合位元串流之合併操作必須通過壓縮域處理來進行，例如從而通過轉碼來避免像素域上之處理。
可進行合併程序，因為HEVC位元串流係遵循一些主要與框間寫碼工具有關之約束，例如約束如上文所描述之運動向量進行編碼。
新興的編解碼器VVC提供了更有效地實現相同目標之其他手段，亦即子圖像。藉助於子圖像，可在圖像邊界被如同圖像般處理之意義上類似地將小於全圖像之區處理為圖像，例如，應用邊界擴展以用於運動補償，例如若運動向量指向該區外部，則重複該區之最後樣本(跨越之邊界)，以產生用於預測之參考區塊中的樣本，與在圖像邊界處所進行之操作完全相同。藉此，運動向量在如HEVC MCTS之編碼器處未受到對應效率損耗之約束。
新興的VVC寫碼標準亦設想在其主要設定檔中提供可縮放之寫碼工具，以用於多層支援。因此，可藉由以較低頻率RAP對整個低解析度內容進行編碼來實現針對上文應用情境之進一步有效組配。然而，此將需要使用層寫碼結構，該層寫碼結構始終在基底層中包含低解析度內容，而在增強層中包含一些高解析度內容。圖1中展示經分層寫碼結構。
然而，對於一些使用情況，允許提取位元串流之單個區仍可能係有意義的。例如，具有較高端至端延遲之使用者將以低解析度下載整個360度視訊(所有影像塊)，而具有較低端至端延遲之使用者將下載低解析度內容之較少影像塊，例如與經下載高解析度影像塊數目相同。
因此，經分層子圖像之提取應藉由視訊寫碼標準適當地進行處理。此需要額外傳信，以確保在解碼器或提取器側處具有適當的知識。
因此，本發明之目標為提供此額外傳信，此改良當前可用機制。
此目標係藉由本申請案之獨立技術方案的標的物來實現。
根據本申請案之第一態樣，資料串流經解碼成視訊之多個圖像，其中資料串流包含至少二個層中之多個圖像。其中至少一個層之圖像被分割成預定層特定數目個子圖像，一個層之圖像或子圖像中之一或多者對應於一或多個其他層中之一個圖像或子圖像，且子圖像中之至少一者包含用於邊界擴展以進行運動補償之邊界。其中之一指示經解譯(換言之自資料串流解碼或解析)為不同層中之對應子圖像或對應圖像之邊界中之至少一者彼此對準。
根據本申請案之第二態樣，處理具有恆定位元速率之資料串流，該資料串流具有以一方式編碼成該資料串流之多個圖像，根據該方式，多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。藉由如下操作自資料串流產生與具有恆定位元速率之至少一個子圖像有關的子圖像資料串流：保持包括於至少一個子圖像之資料串流中的虛設資料，及移除包括於與經提取資料串流無關之另一子圖像的資料串流中的虛設資料。
根據本發明之第三態樣，對資料串流執行子圖像提取，該資料串流具有在多個層中編碼成該資料串流的視訊之多個圖像，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。藉由丟棄不對應於一或多個子圖像之資料串流的NAL單元並重寫參數集及/或圖像標頭來對資料串流執行子圖像提取，以產生與一或多個所關注子圖像有關之經提取資料串流。
根據本發明之第四態樣，將視訊之多個圖像編碼成資料串流，其中多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。以圖塊為單位對多個圖像進行編碼並將第一語法元素及子圖像標識參數寫入至圖塊之圖塊標頭中，其中以增大一且以設定成一之一位元隔開的方式將第一語法元素及子圖像標識參數寫入在資料串流中的圖塊中之至少一者的圖塊標頭中。
根據本發明之第五態樣，將視訊之多個圖像編碼成資料串流，其中多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。以圖塊為單位對多個圖像進行編碼並將第一語法元素及子圖像標識參數寫入至圖塊之圖塊標頭中。其中第一語法元素及子圖像標識參數被寫入至資料串流中，使得第一語法元素經以第一位元長度寫入且子圖像標識參數經以第二位元長度寫入，方式為使得第一語法元素先於子圖像標識參數，方式為使得第一語法元素被增大一地寫入至資料串流中，且方式為使得子圖像標識參數被增大特定值且後接設定為一之一位元地寫入至資料串流中。
藉由檢查第一位元長度與第二位元長度之總和是否小於31位元，及若第一位元長度與第二位元長度之總和小於31位元，則將特定值設定為值1，以及若第一位元長度與第二位元長度之總和並不小於31位元，則將特定值設定為值4來判定特定值。
根據本發明之第六態樣，將視訊之多個圖像編碼成資料串流，其中多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。使用上下文適應性二進位算術寫碼編碼子圖像中之每一者，其中視訊編碼器經組配以在每個子圖像之一或多個圖塊之末端處為至少一個子圖像之資料串流提供零字，以便避免子圖像中之任一者超出預定位元子至位元比率。
所有上文態樣並不受限於編碼或解碼，編碼及解碼中之各別另一者係基於相同原理。關於本申請案之前述態樣，應注意，可組合上述態樣使得諸如所有態樣之多於一個前述態樣同時實施於視訊編解碼器中。
較佳實施例之詳細說明
在下文中，將描述本發明之額外實施例及態樣，其可個別地使用或結合本文中所描述的特徵及功能性與細節中之任一者而使用。
第一實施例與層及子圖像有關，且特定言之與子圖像邊界對準有關(2.1)。
傳信子圖像邊界跨越層經對準，例如，每層存在相同數目之子圖像，且所有子圖像之邊界皆準確地共置了樣本。此例如說明於圖4中。此傳信可例如藉由sps_subpic_treated_as_pic_flag實施。若此旗標sps_subpic_treated_as_pic_flag[ i ]經設定，因此具有例如等於1之值，則指定在排除環路內濾波操作之解碼程序中，將經寫碼逐層視訊序列CLVS中之每個經寫碼圖像的第i子圖像處理為圖像。若sps_subpic_treated_as_pic_flag[ i ]未經設定，例如藉由具有等於0之值，則指定在排除環路內濾波操作之解碼程序中，並不將CLVS中之每個經寫碼圖像的第i子圖像處理為圖像。若旗標並不存在，則其可被視為經設定，例如推斷sps_subpic_treated_as_pic_flag[ i ]的值等於1。
該傳信可用於提取，因為提取器/接收器可尋找存在於圖塊標頭中之子圖像ID，以丟棄不屬於所關注子圖像之所有NAL單元。當子圖像經對準時，子圖像ID在層之間經一對一映射。此意謂，對於由子圖像ID An識別的增強層子圖像A中之所有樣本，基底層子圖像B中之共置樣本屬於由子圖像ID Bn識別之單個子圖像。
應注意，若無如所描述之對準，則對於參考層處之每個子圖像，在經參考層中可能存在多於一個子圖像，或自位元串流提取或並行化之視角來看，甚至更糟：層中之子圖像存在部分重疊。
在特定實施中，子圖像對準之指示可藉由VPS中指示的profile_tier_level()中之general_constraint_info( )結構中的約束旗標來進行，因為此為層特定傳信。此例如說明於圖5中。
該語法允許指示輸出層集(OLS)內之層具有經對準子圖像。另一選項為指示位元串流中之所有層，例如所有OLS的對準，從而使傳信OLS獨立。
換言之，在此實施例中，資料串流經解碼成視訊之多個圖像，且資料串流包含在至少二個層中之多個圖像。在此實例中，一個層為基底層(圖4中之「低解析度」)且另一層為增強層(圖4中之「高解析度」)。兩層之圖像皆分割成子圖像，有時亦稱為影像塊，且至少在圖4之實例中，基底層中之每個子圖像在增強層中具有對應子圖像。圖4中所示之子圖像的邊界用於邊界擴展以進行運動補償。
在解碼中，存在解譯成不同層中之對應子圖像的邊界中之至少一者彼此對準的指示。作為簡要說明，應注意，在本文中的整個描述中，由於不同層之子圖像係共置的，亦即其定位於其所屬的圖像內之相同位置處，因此應將該等子圖像理解為彼此對應。子圖像係獨立於其所屬之同一圖像內的任何其他子圖像經寫碼。然而，使用運動補償預測及時間預測以一方式對亦描述彼層之圖像的相互對應子圖像的項之某一層之子圖像及此等相互對應子圖像進行寫碼，使得不需要來自此等相互對應子圖像外部之區的寫碼相依性，且例如，邊界擴展用於由此等相互對應子圖像內之區塊的運動向量所指向的經運動補償參考部分，亦即用於此等經參考部分中延伸超出子圖像邊界的部分。以一方式將此層之圖像細分成子圖像，使得彼此覆疊之子圖像相互對應且形成一種經獨立寫碼之子視訊。應注意，子圖像亦可起到與層間預測有關的作用。若層間預測可用於寫碼/解碼，則可自較低層之另一圖像預測一個層之一個圖像，兩圖像皆具有同一時刻。延伸超出另一層之參考圖像中的子圖像之邊界的被稱為一個層之一個圖像的一個區塊之區域係藉由邊界擴展，亦即藉由不使用來自參考圖像之共置子圖像外部的內容經填充，該一個區塊與該區域共置，亦即該區域與之覆疊。
若圖像僅分割成一個子圖像，亦即圖像經處理為子圖像，則圖像跨越層彼此對應，該指示表示圖像之邊界經對準且其用於邊界擴展以進行運動補償。
至少二個層中之多個圖像中之每一者亦可分割成一或多個子圖像，且可在不同層中之對應子圖像的所有邊界彼此對準之程度上解譯該指示。
以下內容與子圖像ID對應關係有關(2.2)。
除了子圖像邊界對準之外，在子圖像對準的情況下，亦需要促進對跨越層彼此對應之子圖像ID的偵測。
在第一選項中，位元串流中之子圖像ID不同，例如每個子圖像ID可僅用於OLS之一個層。藉此，每個層子圖像可由其自身ID唯一地識別。此例如說明於圖6中。
應注意，此亦可適用於對於整個位元串流唯一之ID，例如適用於位元串流中之任何OLS，而無關於二個層是否皆屬於一個OLS。因此，在一個實施例中，任何子圖像ID值在位元串流內將係唯一的(例如，unique_subpicture_ids_in_bitstream_flag)。
在第二選項中，一層中之子圖像承載與其在(OLS之或整個位元串流中的)另一層中之對應對準子圖像相同的ID值。此使得僅藉由匹配子圖像ID值能極簡單地識別對應子圖像。又，簡化了提取程序，因為在提取器處，每所關注子圖像僅需要一個ID。此例如說明於圖7中。代替aligned_subpictures_ids_in_ols_unique_flag，亦可使用SubpicIdVal約束。
以下內容與子圖像傳信次序有關(2.3)。
在子圖像ID之傳信次序、位置及尺寸亦受約束時，可極大地簡化對子圖像ID對應關係之處理。此意謂，在對應對準子圖像及唯一子圖像ID經指示(例如，旗標subpictures_in_ols_aligned_flag及aligned_subpictures_ids_in_ols_unique_flag設定為等於1)時，應跨越OLS上之所有SPS對準子圖像之定義(包括位置、寬度、高度、邊界處理、其他性質)。
例如，在考慮可能重採樣因素之情況下，語法元素sps_num_subpics_minus1在一層及所有其參考層以及subpic_ctu_top_left_x[ i ]、subpic_ctu_top_left_y[ i ]、subpic_width_minus1[ i ]、subpic_height_minus1[ i ]中應具有相同值。
在此實施例中，所有層之SPS中的子圖像之次序(參見SPS中之語法元素的綠色標記)經約束為相同。此允許簡單匹配及驗證子圖像及其在層之間的位置。此例如說明於圖8中。
子圖像ID傳信可以如下文所示之SPS或PPS或PH中的各別覆寫功能性發生，且在aligned_subpictures_ids_in_ols_flag等於1之情況下，子圖像ID值應在所有層中相同。在unique_subpictures_ids_in_ols_flag等於1之情況下，子圖像ID值不應出現於超過單個層中。此例如說明於圖9至圖11中。
換言之，在此實施例中，一指示經解譯為相對子圖像位置及子圖像尺寸對於所有層中之對應子圖像係相同的。例如，表示資料串流中之傳信次序的指示對應子圖像之位置及尺寸的語法元素之索引係相等的。該指示可包含每資料串流層一個旗標，該旗標指示層之子圖像對準，該等層包括資料串流中存在旗標之層，及諸如將彼旗標之層的圖像中之任一者用作參考圖像的彼等層之一或多個較高層。
圖12說明此情況。其中，展示經分層資料串流之層的圖像。層1之圖像1211例示性地未分割成子圖像，或換言之，僅分割成一個子圖像，因此存在(子)圖像L1(1)。層2之圖像1212分割成四個子圖像L2(1)至L2(4)。較高層，此處為層3至4之圖像以相同方式經分割。應注意，圖像係使用層間預測經寫碼，亦即層間預測可用於寫碼/解碼。可自較低層之另一圖像預測一個層之一個圖像，兩圖像皆具有同一時刻。甚至在此處，子圖像邊界會在框間預測中引起邊界擴展，亦即，延伸超出另一層之參考圖像中的子圖像之邊界的被稱為一個層之一個圖像的一個區塊之區域係藉由不使用來自參考圖像之共置子圖像外部之內容經填充，該一個區塊與該區域共置。此外，在細分成子圖像之每一層中，圖像可能需要具有恆定大小，此意謂每個層之圖像的大小並不發生變化，亦即並不使用RPR。對於諸如層L1之單個子圖像層，可允許變化之圖像大小及RPR之應用。指示之旗標接著可指示層2及其上方層之子圖像經對準，如上文所論述。亦即，較高層，層3及其上方層之圖像1213、1214皆具有與層2相同之子圖像劃分。層3及其上方層之子圖像亦具有相同於層3之子圖像ID。因此，層2上方之層亦具有子圖像LX(1)至LX(4)，其中X為層之編號。圖12例示性地針對一些較高層3及4展示此情況，但亦可僅存在一個或多於二個較高層，且接著指示亦將與之有關。因此，在作出指示之層，亦即設定旗標之層(此處為層2)上方之每一層的子圖像具有相同於層2中之對應子圖像的索引，例如1、2、3或4，且具有相同於層2中之對應子圖像的大小及共置邊界。對應子圖像為圖像區域內彼此共置之彼等子圖像。同樣，對於其他層中之每一者，亦可存在該指示之此類旗標，且亦可針對較高層，此處諸如為具有相同子圖像細分之層3及層4設定該等旗標。
當至少二個層中之多個圖像中之每一者經分割成一或多個子圖像時，對於一或多個層中之每一者，該指示指示高於各別層之一或多個較高層之圖像經分割成子圖像，使得對於各別層及一或多個較高層，子圖像之預定層特定數目係相等的，且預定層特定數目個子圖像之邊界在各別層與一或多個較高層之間在空間上重合。
特定言之，若將此應用於圖12之圖像，則顯然，若指示層2及其上方層之子圖像經對準，則層3及其上方層亦具有對應對準之子圖像。
一或多個較高層可使用各別層之圖像進行預測。
又，子圖像之ID在各別層與一或多個較高層之間相同。
圖12中亦展示子圖像提取器1210，其用於自剛論述之層所寫碼成之位元串流提取特定於層2至4之一或多個子圖像的某一集合的經提取位元串流。其自完整的位元串流提取與經分層圖像之關注區有關的彼等部分，此處例示為圖像右上角的子圖像。因此，提取器1210提取整個位元串流的與影像塊RoI有關之彼等部分，亦即與上文所描述之指示並不指示子圖像調整(亦即未設定上文所提及旗標)之任何層的整個圖像有關的彼等部分，及與相互對準層內之圖像的子圖像有關之彼等部分，亦即設定旗標之一個層及其子圖像覆疊RoI之任何較高層，此處例示為L2(2)、L3(2)及L4(2)。換言之，在圖12之情況下，諸如L1的在輸出層集中且充當子圖像層(此處為2至4)之參考的任何單個子圖像層由提取器1210包括在經提取位元串流中，其中在經提取位元串流中，相應地調整HLS層間預測參數，亦即在縮放視窗方面進行調整，以便反映在經提取位元串流中，層2至4之以前經子圖像細分之較高層較小，因為其僅修剪至RoI內之子圖像。易於進行提取，此係由於該指示指示子圖像彼此對準。利用子圖像對準之指示的另一方式可為更易於組織解碼之解碼器。
以下內容與較低層中之子圖像邊界子集有關(2.4)。
可能存在其他使用情況，諸如為了加速編碼而對層內之區進行完全並行編碼，其中對於具有較大解析度(空間可縮放性)之較高層，子圖像之數目較大。在此類情況下，對準將亦係合乎需要的。另一實施例為若較高層中之子圖像數目高於較低(參考)層中之子圖像數目，則較低層中之所有子圖像邊界在較高層處具有對應物(共置邊界)。圖13說明為較低層與較高層之間的對準邊界，及在較低層中無對應關係的較高層之邊界的邊界。
圖14中展示用於傳信彼性質之例示性語法。
以下內容與子圖像邊界經分層運動補償預測影響有關(2.5)。
位元串流中存在子圖像為僅在層內還是亦跨越層之獨立子圖像的指示。較具體地，該指示傳信跨越層進行之經運動補償預測是否亦考慮子圖像邊界。一個實例可為在RoI提供於內容之低解析度版本(較低層)中(例如，1080p內容內之720p RoI)而非高解析度內容(例如，具有4k解析度之較高層)中時，如圖15中所說明。
在另一實施例中，跨越層進行之經運動補償預測是否亦考慮子圖像邊界取決於子圖像是否跨越層對準之實情。若是，則考慮邊界進行運動補償以用於層間預測，例如，並不允許運動補償使用邊界外部之樣本位置或自邊界內之樣本值外插此類樣本位置之樣本值。否則，忽略邊界以用於層間運動補償預測。
以下內容與子圖像精簡參考OLS有關(2.6)。
可考慮使用具有層之子圖像的另一使用情況為RoI可縮放性。圖16中展示用於此使用情況之潛在層及子圖像組配的說明。在此情況下，較高層僅需要較低層中之RoI部分或子圖像，此意謂當僅關注RoI時，亦即在給定實例中為解碼基底層或增強層中之720p版本時，需要解碼較少樣本。又，需要向解碼器指示，僅需要解碼位元串流之一子集，且因此與RoI相關聯的子位元串流之層級低於(解碼的樣本較少)整個基底層及增強層。
在該實例中，代替1080 + 4K，僅需要解碼720 + 4K。
在一個實施例中，OLS傳信指示並不需要完整的一個層，而是僅需要其子圖像。對於每個輸出層，當給出了指示(reduced_subpic_reference_flag等於1)時，給出了用於參考之相關子圖像id清單(num_sub_pic_ids、subPicIdToDecodeForReference)。此例如說明於圖17中。
在另一實施例中，提供了額外PTL傳信，其指示若將自OLS位元串流移除OLS內的層之不必要子圖像，則將需要的PTL。圖18中展示添加至VPS之各別語法的選項。
以下內容與恆定位元速率(CBR)及子圖像有關(3)。
根據一態樣，一種視訊處理設備可經組配以處理自包含多個圖像之資料串流解碼的視訊之多個圖像，其中例如所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界，且其中視訊處理設備經組配以藉由保持例如FD_NUT及填料酬載輔助增強資訊SEI訊息之虛設資料而自資料串流產生具有恆定位元速率之至少一個子圖像，該虛設資料包括於緊接在該子圖像之後的子圖像之資料串流中，或包括於與子圖像不鄰近但具有子圖像指示(例如子圖像標識)的資料串流中，直至在資料串流中出現另一子圖像為止。應注意，在資料串流為經分層資料串流之情況下，此經寫碼圖像可與一個層有關，且可將逐子圖像位元速率控制應用於每個層。
根據另一態樣，一種視訊編碼器可經組配以將視訊之多個圖像編碼成包含多個圖像之資料串流，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界，且其中視訊編碼器經組配以藉由如下操作而將具有恆定位元速率之至少一個子圖像編碼成資料串流：將例如FD_NUT及填料酬載輔助增強資訊SEI訊息之虛設資料包括在緊接在每個子圖像之後的每個子圖像之資料串流中，或與子圖像不鄰近但具有子圖像指示(例如子圖像標識)之資料串流中。
根據另一態樣，一種用於處理視訊的方法可具有以下步驟：處理自包含多個圖像之資料串流解碼的視訊之多個圖像，其中例如所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界，且其中該方法包含藉由保持例如FD_NUT及填料酬載輔助增強資訊SEI訊息之虛設資料而自資料串流產生具有恆定位元速率之至少一個子圖像，該虛設資料包括於緊接在該子圖像之後的子圖像之資料串流中，或包括於與子圖像不鄰近但具有子圖像指示(例如子圖像標識)的資料串流中，直至在資料串流中出現另一子圖像為止。
根據另一態樣，一種用於編碼視訊的方法可具有以下步驟：將視訊之多個圖像編碼成資料串流，其中資料串流包含多個圖像，其中例如所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界，且其中該方法包含藉由如下操作而將具有恆定位元速率之至少一個子圖像編碼成資料串流：將例如FD_NUT及填料酬載輔助增強資訊SEI訊息之虛設資料包括在緊接在每個子圖像之後的每個子圖像之資料串流中，或與子圖像不鄰近但具有子圖像指示(例如子圖像標識)之資料串流中。
在有些情況下，包含子圖像之位元串流經編碼且相關聯HRD語法元素定義恆定位元速率(CBR)位元串流，例如至少對於一個排程值，cbr_flag經設定為1，從而指示位元串流常常藉由使用所謂的填料資料VCL NAL單元或填料酬載SEI(非VCL NAL單元)，例如FD_NUT及填料酬載SEI訊息而對應於恆定位元速率位元串流。
然而，在提取子圖像位元串流時，不瞭解此性質是否仍適用。
在一個實施例中，子圖像之提取程序以始終產生VBR位元串流之方式經定義。不存在指示/確保CBR情況之可能性。在彼情況下，在提取程序期間簡單地丟棄FD_NUT及填料酬載SEI訊息。
在另一實施例中，在位元串流中指示每個子圖像之CBR「操作點」係藉由將各別FD_NUT及填料酬載SEI訊息置放在構成子圖像之VCL NAL單元之後來確保，且因此在提取子圖像之CBR「操作點」期間，當在提取程序期間提取子圖像子位元串流時，及當提取程序針對另一子圖像或非CBR「操作點」時在提取程序期間保持與子圖像VCL NAL單元相關聯之各別FD_NUT及填料酬載SEI訊息。此指示可例如用sli_cbr_constraint_flag加以執行。因此，例如，當sli_cbr_constraint_flag等於0時，移除具有等於FD_NUT之nal_unit_type的所有NAL單元及包含填料酬載SEI訊息之SEI NAL單元。
所描述程序需要保持VCL NAL單元及其相關聯非VCL NAL單元之狀態，因為為了瞭解是否丟棄了FD_NUT或填料酬載SEI訊息，需要瞭解緊接於前的VCL NAL單元之子圖像ID的內容。為易於進行此程序，將指示其屬於給定子圖像ID之傳信添加至FD_NUT及填料酬載SEI。替代地，在另一實施例中，在位元串流中添加SEI訊息，其指示隨後SEI訊息或NAL單元屬於具有子圖像ID之給定子圖像，直至存在指示另一子圖像ID之另一SEI訊息為止。
換言之，以一方式處理具有恆定位元速率之資料串流，該資料串流具有編碼成該資料串流之多個圖像，根據該方式，多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界，且藉由該處理，藉由如下操作來自資料串流產生與具有恆定位元速率之至少一個子圖像有關的子圖像資料串流：保持包括於至少一個子圖像之資料串流中的虛設資料，及移除包括於與經提取資料串流無關之另一子圖像的資料串流中的虛設資料。
此可見於圖19及圖20中，其中例示性展示經寫碼成經處理資料串流的視訊之二個圖像1910及1920。圖像被分別分割成子圖像1911、1912、1913以及1921、1922及1923，且由某一編碼器1930編碼成位元串流1945之對應存取單元1940及1950。
僅說明性地展示該子圖像細分。出於說明的目的，存取單元AU展示為亦分別包含一些標頭資訊部分HI1及HI2，但此僅用於說明，且圖像展示為經寫碼成分段成若干部分，諸如分別為VCL NAL單元1941、1942、1943、1951、1952及1953之位元串流1945，使得對於圖像1940及1950之每個子圖像，存在一個VCL單元，但此僅出於說明的目的且一個子圖像可藉由分段/寫碼而具有多於一個此部分或VCL NAL單元。
編碼器藉由在表示子圖像之每個資料部分的末端處包括虛設資料d，亦即對於每個子圖像，產生虛設資料1944、1945、1946、1954、1955及1956來創建恆定位元速率資料串流。圖19中使用叉號說明虛設資料。其中，虛設資料1944對應於子圖像1911，1945對應於子圖像1912，1946對應於子圖像1913，1954對應於子圖像1921，1955對應於子圖像1922且1956對應於子圖像1923。對於一些子圖像，可能無需虛設資料。
任擇地，如上所述，子圖像亦可分佈於多於一個NAL單元上。在此情況下，虛設資料可插入在每個NAL單元之末端處或彼子圖像之最後NAL單元的末端處。
具有恆定位元速率之資料串流1945接著可由子圖像提取器1960處理，作為一實例，該子圖像提取器提取與子圖像1911及對應子圖像1921，亦即寫碼成位元串流1945之視訊的相互對應(由於共置)子圖像有關之資訊。經提取子圖像集合可多於一個。該提取產生經提取位元串流1955。對於提取，提取經提取子圖像1911/1921之NAL單元1941及1951，並將其接收在經提取位元串流1955中，而忽略或丟棄未提取的其他子圖像之其他VCL NAL單元，且僅將經提取子圖像(2)之對應虛設資料d接收在經提取位元串流1955中，而亦丟棄所有其他子圖像之虛設資料。亦即，對於其他VCL NAL單元，移除虛設資料d。任擇地，可修改標頭部分HI3及HI4，如下文詳述。其可與諸如PPS及/或SPS及/或VPS及/或APS之參數集有關或包含該等參數集。
因此，經提取位元串流1955包含對應於位元串流1945之存取單元1940及1950的存取單元1970及1980且具有恆定位元速率。因此，由提取器1960產生之位元串流接著可由解碼器1990解碼以產生子視訊，亦即包含僅由經提取子圖像1911及1921構成之子圖像的視訊。自然地，該提取可影響位元串流1945之視訊的圖像之多於一個子圖像。
作為另一替代例，不論一或多個子圖像是否經寫碼成一個或多於一個NAL單元，虛設資料皆可排序在每個存取單元內的末端處，但其方式使得每個虛設資料與經寫碼成各別存取單元之對應子圖像相關聯。此說明於圖20中，其中代替1940及1950，命名存取單元2040及2050。
應注意，虛設資料可為某一NAL單元類型之NAL單元，以便可自VCL NAL單元加以區分。
使位元串流1945具有恆定位元速率之替代方式亦可在圖20中加以解釋，但此處，並非每子圖像具有恆定位元速率。實際上，其係全域的。此處，所有子圖像之虛設資料可一起包括在AU之末端處，如圖20中所示，該圖僅說明性地展示與圖19對應之資料串流部分。其中，在存取單元2040及2050中，分別為2044、2045、2046、2054、2055及2056的表示子圖像之資料部分彼此直接跟隨，且虛設資料附加在子圖像之末端處，在各別存取單元末端處。
可在待由提取器處理之位元串流中指示是否待執行子圖像選擇性虛設資料移除，亦即在提取子圖像位元串流時是否應去除所有虛設資料，或是否應保持所關注(亦即待提取)子圖像之虛設資料，如圖19中所示。
又，若指示資料串流不具有逐子圖像恆定位元速率，則提取器1960可移除所有NAL單元之所有虛設資料d且所得經提取子圖像位元串流並不具有恆定位元速率。
應注意，虛設資料在存取單元中之配置可相對於剛論述之實例加以修改，且其可置放在VCL單元之間或存取單元之開端處。
應注意，處理設備或提取器1960之上文及下文所描述程序亦可由例如解碼器執行。
換言之，可藉由解譯(例如解碼及解析)一指示來處理資料串流，該指示為可以一方式提取資料串流之子圖像中之至少一者的可提取集合，使得經提取子圖像位元串流具有恆定位元速率。此指示可例如自視訊參數集VPS處理所得或包含在VPS中或在SEI訊息中，且可例如為cbr_flag或sli_cbr_constraint_flag。
亦可藉由解譯並不以恆定位元速率寫碼資料串流之一或多個子圖像的可提取集合之指示來處理資料串流，其中該指示例如在視訊參數集VPS中或在SEI訊息中，且若如此指示，則移除所有虛設資料。
如上所述，虛設資料可包括FD_NUT--特殊NAL單元。另外或替代地，虛設資料可包含填料酬載輔助增強資訊SEI訊息。
亦可藉由自資料串流解譯(例如解碼)一指示來處理資料串流以用於產生經提取資料串流，該指示為該產生是否將最終形成具有恆定位元速率之經提取資料串流，在此情況下，視訊處理設備執行對虛設資料之保持及移除，或該指示為該產生是否最終將並不形成具有恆定位元速率之經提取資料串流，在此情況下，視訊處理設備執行對所有虛設資料之移除。
最後，前述虛設資料可例如包含FD_NUT及填料酬載輔助增強資訊SEI訊息。
以下內容與子圖像提取完成：參數集重寫有關(4)。
根據另一態樣，一種視訊處理設備可經組配以：對包含視訊之多個圖像的資料串流執行子圖像提取，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界；及解譯資料串流中之一指示，該指示為在對資料串流執行子圖像提取時，允許重寫資料串流之參數集及/或圖像標頭。
根據另一態樣，在參考前述態樣時，視訊處理設備可進一步經組配以解譯資料串流中之指示，該等指示提供用於重寫關於HRD相關資訊、圖像大小及/或多個圖像至子圖像之細分之資訊的額外資訊。
根據再一態樣，一種視訊編碼器可經組配以：將視訊之多個圖像編碼成資料串流，其中資料串流包含多個圖像，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界；及在資料串流中指示在對資料串流執行子圖像提取時，允許重寫資料串流之參數集及/或圖像標頭。
根據另一態樣，在返回參考前述態樣時，視訊編碼器可進一步經組配以在資料串流中指示用於重寫關於HRD相關資訊、圖像大小及/或多個圖像至子圖像之細分之資訊的額外資訊。
根據另一態樣，一種用於處理視訊的方法可具有以下步驟：對包含視訊之多個圖像的資料串流執行子圖像提取，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界；解譯資料串流中之一指示，該指示為在對資料串流執行子圖像提取時，允許重寫資料串流之參數集及/或圖像標頭。
根據另一態樣，在返回參考前述態樣時，該種用於處理視訊的方法可進一步具有以下步驟：解譯資料串流中之指示，該等指示提供用於重寫關於HRD相關資訊、圖像大小及/或多個圖像至子圖像之細分之資訊的額外資訊。
根據另一態樣，一種用於編碼視訊的方法可具有以下步驟：將視訊之多個圖像編碼成資料串流，其中資料串流包含多個圖像，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界；及在資料串流中指示在對資料串流執行子圖像提取時，允許重寫資料串流之參數集及/或圖像標頭。
根據另一態樣，在參考前述態樣時，該種用於編碼視訊的方法可進一步具有以下步驟：在資料串流中指示用於重寫關於HRD相關資訊、圖像大小及/或多個圖像至子圖像之細分之資訊的額外資訊。
另一態樣可參考一種視訊經編碼成之資料串流，其中視訊包含多個圖像，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界；及在對資料串流執行子圖像提取時，允許重寫資料串流之參數集及/或圖像標頭的指示。
通常，已如下針對(子)層指定位元串流提取程序： - 丟棄不對應於所關注(子)層之NAL單元 - 丟棄SEI訊息(諸如圖像時序SEI、緩衝週期SEI……) -任擇地，自與所關注(子)層相關聯之嵌套SEI訊息獲得適當SEI訊息
然而，如上文所論述，例如在子圖像提取中以比每(子)層更細之粒度丟棄NAL單元可能會引入迄今尚未解決的問題。例如，參見上文針對CBR之FD_NUT的描述。另一問題來源於參數集。在(子)層提取中，參數集將可能包含與經提取(子)層不相關之額外資訊，例如其將包含已丟棄之(子)層的一些資訊，但該資訊在仍描述經提取子位元串流中之(子)層的意義上將係正確的。可忽略經丟棄(子)層之彼額外資訊。在涉及子圖像提取時，此設計原理太複雜而難以維持，此為例如在HEVC中，MCTS嵌套SEI訊息攜帶替換參數集之原因。然而，在VVC中，定義了圖像標頭，其進一步使情況複雜化且使具有嵌套SEI訊息之HEVC型式解決方案不可行。
因此，在進行子圖像提取時改變參數集。應注意，參數集包含在進行子圖像提取時需要改變之資訊，諸如圖像大小、profile_level資訊、平鋪/截割網格(亦可出現在圖像標頭處)。
在一個實施例中，提取程序經定義為： -丟棄不對應於所關注子圖像之NAL單元 -丟棄SEI訊息(諸如圖像時序SEI、緩衝週期SEI……) -自與所關注(子)層相關聯之嵌套SEI訊息獲得適當SEI訊息 -丟棄參數集 -添加適當參數集 -丟棄圖像標頭 -添加適當圖像標頭
需要產生「適當」參數集及圖像標頭，最可能藉由重寫預提取參數集及圖像標頭來產生。
需要改變之資訊為： -層級及相關HRD -圖像大小 -平鋪/圖塊/子圖像網格
所得層級及HRD相關資訊可自待用於重寫參數集之各別SEI訊息(子圖像層級資訊SEI訊息)提取所得。
若在程序中提取了單個子圖像，則可易於導出所得圖像大小，因為在SPS中容易找到每個子圖像之大小。然而，當自位元串流提取多於一個子圖像時，例如所得位元串流中具有多於一個子圖像，所得圖像大小取決於由外部構件定義的配置。
在一個實施例中，位元串流被約束為僅允許提取對應於原始位元串流中之矩形區的子圖像，且其在原始位元串流中之相對配置保持不變。因此，不允許在經提取區內進行重排或出現間隙。
子圖像座標當前由如圖21中所說明之參數定義，該圖描述top_left座標以及寬度及高度。藉此，可易於導出左上角、右上角、左下角及右下角或區。因此，提取程序在所有經提取子圖像上運行，且在找到較小座標(例如，搜尋最小值)時，更新top_left座標之最小「x」及「y」座標，並在找到較小座標(例如，搜尋最大值)時，更新右下座標之最大值「x」及「y」座標。例如， MinTopLeftX=PicWidth MinTopLeftY= PicHeight MaxBottomRightX=0 MaxBottomRightY=0 For i=0..NumExtSubPicMinus1 If(subpic_ctu_top_left_x[ i ]＜MinTopLeftX) MinTopLeftX= subpic_ctu_top_left_x[ i ] If(subpic_ctu_top_left_y[ i ]＜MinTopLeftY) MinTopLeftY= subpic_ctu_top_left_y[ i ] If(subpic_ctu_top_left_x[ i ]+ subpic_width_minus1[ i ]＞MaxBottomRightX) MaxBottomRightX= subpic_ctu_top_left_x[ i ]+ subpic_width_minus1[ i ] If(subpic_ctu_top_left_y[ i ]+ subpic_height_minus1[ i ]＞ MaxBottomRightY) MaxBottomRightY= subpic_ctu_top_left_y[ i ]+ subpic_height_minus1[ i ]
接著，在此值之情況下，可導出最大圖像大小，以及藉由減去MinTopLeftX或MinTopLeftY之各別值而導出經提取子圖像中之每一者的subpic_ctu_top_left_x[ i ]、subpic_ctu_top_left_y[ i ]之新值。
在替代實施例中，提供允許重寫參數集及圖像標頭而不需要或導出所論述值之傳信。對於待提取之子圖像的每個潛在組合，可提供需要在參數集中重寫之圖像大小。此可例如以SEI訊息之形式進行。SEI訊息可包括將指示內部存在哪些有助於重寫之資訊的parameter_type語法元素。例如，類型0可為圖像大小、經提取位元串流之類型1層級、圖像標頭中之類型2資訊、其組合等。
換言之，對資料串流執行子圖像提取，該資料串流具有在多個層中編碼成該資料串流的視訊之多個圖像，其中所有層之多個圖像中之每一者被分割成預定數目個子圖像，每個子圖像包含用於邊界擴展以進行運動補償之邊界。藉由丟棄不對應於一或多個子圖像之資料串流的NAL單元並重寫參數集及/或圖像標頭來對資料串流執行子圖像提取，以產生與一或多個所關注子圖像有關之經提取資料串流。
相對於圖19再次說明此情況。子圖像提取器1960不需要子圖像1912、1913、1922、1923，因為其並不屬於所關注子圖像，且該提取可完全丟棄對應NAL單元1942、1943、1952、1953。此次，應將圖19中之虛設資料的存在理解為任擇的，或(若存在)，可同樣為非子圖像特定的，如圖20中所解釋。
然而，在現在關於圖19所描述之實例中，提取器1960可分別將標頭資訊HI1及HI2重寫至HI3及HI4中。在可與子圖像提取同時進行之此程序中，可例如為視訊參數集VPS及/或序列參數集SPS及/或圖像參數集PPS等之標頭資訊可藉由重寫其特定變數值來進行修改。
用於重寫之資訊可自資料串流導出並存在於資料串流中，除了實際標頭資訊HI1及HI2之外，額外資訊可與HRD相關資訊、圖像大小及/或至子圖像之細分有關。允許重寫或存在額外之指示及/或該額外資訊可指示於資料串流中，例如用輔助增強資訊SEI訊息進行指示。
可執行子圖像提取，使得經提取資料串流由子圖像之經提取集合組成，該等集合為矩形，因為其中之每一者對應於資料串流中之矩形區。
在可重寫值當中存在明度樣本中之子圖像寬度、明度樣本中之子圖像高度、層級資訊、HRD相關參數及圖像大小。
以下內容與sub_pic_id之模擬預防廢棄有關(5)。
當前在VVC中在圖塊標頭中傳信子圖像ID。此例如說明於圖22中。
然而，其被書寫為圖塊標頭中之第一語法元素中之一者，使得易於存取彼值。應注意，提取程序(或其中需要改變/檢查id之合併程序)將需要讀取及/或寫入子圖像id的值且因此容易存取係合乎需要的。為易於存取彼值，仍缺少的一個態樣為模擬預防。語法元素slice_pic_order_cnt_lsb的長度至多為16位元，且可取值為0，例如0x0000。slice_sub_pic_id之長度為16位元。因此，slice_pic_order_cnt_lsb與slice_sub_pic_id值之一些組合會導致發生模擬預防，此將使上部層應用解析子圖像id變得較複雜，且甚至上部層應用較難以進行改變或修改，此係由於若slice_sub_pic_id的值改變為slice_sub_pic_id*之不同值，則經預防模擬slice_header之長度可能會改變。
在一個實施例中，slice_pic_order_cnt_lsb改變為slice_pic_order_cnt_lsb_plus1且slice_sub_pic_id改變為slice_sub_pic_id_plus1，使得在任何情況下，在slice_pic_order_cnt_lsb與slice_sub_pic_id之間不會發生模擬預防。此將有助於slice_sub_pic_id解析，但將不提供針對需要改變slice_sub_pic_id的值之使用情況的解決方案。應注意，slice_sub_pic_id_plus1並不確保包含slice_sub_pic_id_plus1之圖塊標頭之最後位元組中的slice_sub_pic_id_plus1之最低有效位元不為零。因此，在彼位元組處可能會出現0x00，取決於以下2位元組中之語法元素的值，此可觸發模擬預防。
在另一實施例中，1個一位元語法元素在slice_sub_pic_id_plus1之後，如在圖23之實例中，此將解決所描述問題。
顯然，所提供解決方案伴隨有額外負荷，例如額外一個位元及x_plus1語法元素。此外，所描述問題僅產生： ˙對於發生於slice_pic_order_cnt_lsb與slice_sub_pic_id之間的模擬預防：在兩語法元素之總長度大於24位元時。 ˙對於在slice_sub_pic_id_plus1及隨後語法元素之情況下發生的模擬預防：在slice_sub_pic_id_plus1跨越於多於一個位元組上時。
由於所描述問題可能不會經常發生，因此所描述改變可以圖像標頭之任一參數集中的一些閘控旗標為條件。此例如說明於圖24中，其中如下自slice_pic_order_cnt_lsb_plus1及slice_subpic_id_plusVal之組合經寫碼長度判定Val(至subpiuc id之偏移)：
Val = codedLength(slice_pic_order_cnt_lsb_plus1 + slice_subpic_id_plusVal) ＜ 31 ? 1 : 4。
此意謂，若slice_pic_order_cnt_lsb_plus1及slice_subpic_id_plusVal之總經寫碼長度小於31位元，則將Val設定為「一」的值，否則將其設定為「四」的值。
以下內容與CABAC零字有關(6)。
cabac_zero_word可插入在每個圖塊之末端處。其可定位於圖像之圖塊中之任一者中。當前視訊規範描述了對圖像層級之約束，其確保若位元子至位元比率過高，則插入cabac_zero_word。
在提取子圖像且此等子圖像指示為符合特定設定檔及層級時，應要求適用於AU之以下條件亦個別地適用於子圖像中之每一者：
如下導出變數RawMinCuBits： RawMinCuBits = MinCbSizeY * MinCbSizeY *    ( BitDepth + 2 * BitDepth / ( SubWidthC * SubHeightC ) ) BinCountsInNalUnits的值必須小於或等於( 32 ÷ 3 ) * NumBytesInVclNalUnits + ( RawMinCuBits * PicSizeInMinCbsY ) ÷ 32。
因此，位元串流約束或指示展示每個子圖像個別地滿足上文所描述之條件。
作為第一實施例，一旗標可被傳信為指示子圖像滿足所提及約束的約束旗標。此例如說明於圖25中。
在另一實施例中，此約束之滿足係基於以下條件中之一者或兩者： 1)子圖像具有等於1之subpic_treated_as_pic_flag 2)位元串流例如藉助於SEI訊息(現有subpic_level_info SEI訊息)而包含子圖像之層級一致性指示。
換言之，在將視訊之多個圖像編碼成資料串流中，其中多個圖像中之每一者被分割成預定數目個子圖像且每個子圖像包含用於邊界擴展以進行運動補償之邊界，可使用上下文適應性二進位算術寫碼編碼子圖像中之每一者。
為此，在每個子圖像之一或多個圖塊或VCL NAL單元之末端處為至少一個子圖像之資料串流提供零字，以便避免任何子圖像超出預定位元子至位元比率。
如圖26中可見，編碼器可以以下方式產生位元串流2605。例示性地展示二個存取單元2620或2630之部分。其中之每一者具有編碼成存取單元的細分成子圖像之圖像，如圖19中針對圖像所例示性展示。然而，圖26集中於位元串流的與每個圖像之恰好一個子圖像有關的彼等部分。對於AU 2621，該編碼已例示性地產生彼AU 2610之圖像的子圖像已寫碼成的僅一個圖塊2621，且在AU 260的情況下，產生了彼AU 2630之子圖像已寫碼成的三個圖塊，亦即2631、2632及2633。
編碼器使用諸如CABAC之二進位運算寫碼。亦即，其藉由使用語法元素編碼所產生語法元素以描述視訊或圖像之內容。彼等尚未二進位之值被二進位化為位元子字符串。因此，圖像經編碼成語法元素，語法元素又經編碼成一序列位元子，位元子又經算術寫碼成資料串流，藉此產生位元串流之部分，該等部分中之每一者具有編碼成該等部分的視訊之某一部分，諸如子圖像。此部分耗用某一數目個位元，該等位元又係藉由對某一數目個位元子進行算術寫碼產生的，此產生了位元子至位元比率。解碼器進行逆操作：與一個子圖像相關聯之部分經算術解碼以產生位元子序列，該等位元子又經解二進位化以產生語法元素，解碼器又可自該等語法元素重建構子圖像。因此，「位元子至位元比率」中之「位元子」表示待寫碼之二進位化符號的位元或數位之數目，且「位元」表示CABAC位元串流之經寫入/讀取位元之數目。
為了避免超出預定位元子至位元比率，對於每個子圖像，編碼器檢查各別子圖像已寫碼成之一或多個圖塊的經CABAC寫碼部分之位元子至位元比率，且若比率過高，則在各別子圖像寫碼成之一或多個圖塊中之一或多者的末端處向CABAC編碼引擎饋送待經CABAC寫碼的儘可能多之零字，使得不再超出比率。此等cabac零字在圖26中由零，亦即「0」指示。其可被添加在子圖像2621之末端處，亦即在最後圖塊之末端，或方式為分佈至子圖像之圖塊2631、2632及2633中之一或多者的末端上。亦即，雖然圖26在圖26中展示分佈變型，但零字可替代地完全附加在最後圖塊2613之末端處。
資料串流2605在到達解碼器2640時使解碼器解碼資料串流，或至少解碼其與剛提及之子圖像有關之部分，並解析AU 2620及2630內之對應資料部分。藉此，解碼器2640可藉由判定需要多少零字以不超出位元子至位元比率來判定在某一子圖像之一或多個圖塊的末端處經寫碼之零字的量或數目，且可丟棄cabac零字。然而，解碼器2640亦可能能夠以一方式解析圖塊，以便能夠藉由其他手段自其他語法元素區分零字以接著丟棄零字。亦即，解碼器可檢查或可不檢查某一子圖像之一或多個圖塊的位元子至位元比率，以便繼續對使該比率達到某一預定範圍所需的儘可能多的零字進行CABAC解碼。若否，則解碼器能夠在語法上自其他語法元素區分已經CABAC解碼之零字。
在並不滿足比率條件之情況下，解碼器2640可能落入某一錯誤模式且解碼器可觸發預定錯誤處理。
最後，應注意，子圖像之數目可為任何數目。換言之，特定言之，至少一個可意謂二個或更多個子圖像。
可例如在輔助增強資訊SEI訊息中評估每個子圖像之獨立性性質，例如subpic_treated_as_pic_flag，及/或對應層級一致性指示。接著可僅回應於且根據評估為子圖像提供零字。
可在至少一個子圖像的每個子圖像之一或多個圖塊的末端處為資料串流提供零字，使得用於使用上下文適應性算術寫碼將各別子圖像寫碼成資料串流之位元子數目小於或等於使用預定因數與相關聯於各別子圖像之資料串流的一或多個VCL NAL單元之位元組長度之間的乘積判定的數目。
亦可在至少一個子圖像的每個子圖像之一或多個圖塊的末端處為資料串流提供零字，使得用於使用上下文適應性算術寫碼將各別子圖像寫碼成資料串流之位元子數目小於或等於使用第一乘積與第二乘積之總和判定的數目，該第一乘積係第一預定因數與相關聯於各別子圖像之資料串流的一或多個VCL NAL單元之位元組長度之間的乘積，該第二乘積係第二預定因數、每寫碼區塊之最小位元數目與構成各別子圖像之寫碼區塊數目之間的乘積。
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應設備之對應區塊或項目或特徵的描述。可由(或使用)硬體設備(如微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。
本發明的資料串流可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。
取決於某些實施要求，本發明之實施例可在硬體或軟體中實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)，使得執行各別方法。因此，數位儲存媒體可係電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中的一者。
一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上運行時，該程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上的用於執行本文中所描述之方法中的一者的電腦程式。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式運行於電腦上時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常係有形的及/或非瞬變的。
因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包含處理構件，例如，經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規劃邏輯裝置。
另一實施例包含電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。例如，接收器可為電腦、行動裝置、記憶體裝置等。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，該等方法較佳地由任何硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體予以實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或軟體執行。
上述實施例僅說明本發明之原理。應理解，熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變化。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉助於本文中實施例之描述解釋所呈現的特定細節限制。
1210,1960:子圖像提取器 1211,1212,1213,1214,1910,1920:圖像 1930,2610:編碼器 1940,1950,1970,1980,2040,2050,2620,2630:存取單元AU 1941,1942,1943,1951,1952,1953:VCL NAL單元 1945,2605:位元串流 1955:經提取位元串流 1990,2640:解碼器 2044,2045,2046,2054,2055,2056:資料部分 2621,2631,2632,2633:圖塊 d,1944,1945,1946,1954,1955,1956:虛設資料 HI1,HI2,HI3,HI4:標頭資訊部分 L(1)-L(4),LX(1)-LX(4),1911,1912,1913,1921,1922,1923:子圖像
下文關於諸圖來描述本申請案之較佳實施例，在諸圖當中： 圖1展示處於兩種解析度且平鋪成6×4個影像塊之立方體地圖投影的360度視訊； 圖2展示用於360度視訊串流傳輸之使用者視埠及影像塊選擇； 圖3展示合併操作之後的聯合位元串流中之所得影像塊配置(填充)； 圖4展示基於可縮放子圖像之位元串流； 圖5至圖11展示例示性語法元素； 圖12說明分割成子圖像之不同層中的圖像； 圖13展示對準於較低層與較高層之間的邊界，及在較低層中無對應關係之較高層的邊界； 圖14展示例示性語法元素； 圖15展示提供於低解析度層中而非高解析度層中之例示性關注區(RoI)； 圖16展示例示性層及子圖像組配； 圖17及圖18展示例示性語法元素； 圖19及圖20說明具有恆定位元速率之資料串流，其中子圖像填補有虛設資料以用於子圖像提取； 圖21至圖25展示例示性語法元素；及 圖26展示用cabac零字編碼。
1210:子圖像提取器
1211,1212,1213,1214:圖像
L(1)-L(4),LX(1)-LX(4):子圖像

Claims (39)

  1. 一種視訊解碼器，其經組配以將一資料串流解碼成一視訊之多個圖像；其中，該資料串流包含至少二個層中之多個圖像；其中，至少一個層之該等圖像被分割成一預定層特定數目個子圖像，且至少一個其他層之該等圖像未被分割成子圖像，該至少一個層之該等子圖像對應於該至少一個其他層之該等圖像之一者，以及其中，該至少一個層之該等子圖像包含用於邊界擴展以進行運動補償之外邊界，以及，該至少一個其他層之該等圖像之該者包含邊界；以及將該至少一個層中之一個圖像的該等子圖像之該等外邊界係與該至少一個其他層之該等圖像之該者的該等邊界對準的一指示解碼。
  2. 如請求項1之視訊解碼器，其中每一層之該等圖像具有相同解析度，且/或其中該解析度在層之間不同，且/或其中每一層內之該解析度可在連續圖像之間發生變化。
  3. 如請求項1之視訊解碼器，其進一步經組配以將一較低層具有一對應較高層之邊界的一子集之一指示解碼。
  4. 如請求項1之視訊解碼器，其進一步經組配以將一個層之該等子圖像中之每一者係對應於另一層之該等子圖像中之一者的一指示解碼，其中該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  5. 如請求項1之視訊解碼器，其進一步經組配以將子圖像邊界係跨越至少二個層對準之一指示解碼，其中該指示在一視訊參數集VPS或一序列參數集SPS中。
  6. 如請求項5之視訊解碼器，其進一步經組配以將該等子圖像邊界係跨越該至少二個層對準之一指示解碼，其中該指示在該VPS之一預定區段中。
  7. 如請求項1之視訊解碼器，其中每個子圖像經指派有一子圖像標識，且該解碼器進一步經組配以將該等子圖像標識對於所有層皆係唯一的一指示解碼。
  8. 如請求項7之視訊解碼器，其進一步經組配以將該等子圖像標識對於所有層皆係唯一的一指示解碼，該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  9. 如請求項7之視訊解碼器，其進一步經組配以將彼此對應的不同層之該等子圖像具有相同子圖像標識之一指示解碼。
  10. 一種視訊編碼器，其經組配以將一視訊之多個圖像編碼成一資料串流；其中，該資料串流包含至少二個層中之多個圖像；其中，至少一個層之該等圖像被分割成一預定層特定數目個子圖像，且至少一個其他層之該等圖像未被分割成子圖像，該至少一個層之該等子圖像對應於該至少一個其他層之該等圖像之一者，以及其中，該至少一個層之該等子圖像包含用於邊界擴展以進行運動補償之外邊界，以及，該至少一個其他層之該等圖像之該者包含邊界；以及將該至少一個層中之一個圖像的該等子圖像之該等外邊界係與該至少一個其他層之該等圖像之該者的該等邊界對準的一指示編碼。
  11. 如請求項10之視訊編碼器，其中每一層之該等圖像具有相同解析度，且/或其中該解析度在層之間不同，且/或 其中每一層內之該解析度可在連續圖像之間發生變化。
  12. 如請求項10之視訊編碼器，其進一步經組配以指示一較低層具有一對應較高層之邊界的一子集。
  13. 如請求項10之視訊編碼器，其進一步經組配以將一個層之該等子圖像中之每一者係對應於另一層之該等子圖像中之一者的一指示編碼，其中該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  14. 如請求項10之視訊編碼器，其進一步經組配以將子圖像邊界係跨越至少二個層對準的一指示編碼，其中該指示係在一視訊參數集VPS或一序列參數集SPS中。
  15. 如請求項14之視訊編碼器，其進一步經組配以將該等子圖像邊界係跨越該至少二個層對準的一指示編碼，其中該指示係在該VPS之一預定區段中。
  16. 如請求項10之視訊編碼器，其中每個子圖像經指派有一子圖像標識，且該編碼器進一步經組配以將該等子圖像標識對於所有層皆係唯一的一指示編碼。
  17. 如請求項16之視訊編碼器，其進一步經組配以將該等子圖像標識對於所有層皆係唯一的一指示編碼，該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  18. 如請求項16之視訊編碼器，其進一步經組配以將彼此對應的不同層之該等子圖像具有相同子圖像標識的一指示編碼。
  19. 一種用於解碼一視訊的方法，其包含將一資料串流解碼成一視訊之多個圖像；其中，該資料串流包含至少二個層中之多個圖像； 其中，至少一個層之該等圖像被分割成一預定層特定數目個子圖像，且至少一個其他層之該等圖像未被分割成子圖像，該至少一個層之該等子圖像對應於該至少一個其他層之該等圖像之一者，以及其中，該至少一個層之該等子圖像包含用於邊界擴展以進行運動補償之外邊界，以及，該至少一個其他層之該等圖像之該者包含邊界；以及將該至少一個層中之一個圖像的該等子圖像之該等外邊界係與該至少一個其他層之該等圖像之該者的該等邊界對準的一指示解碼。
  20. 如請求項19之用於解碼一視訊的方法，其中每一層之該等圖像具有相同解析度，且/或其中該解析度在層之間不同，且/或其中每一層內之該解析度可在連續圖像之間發生變化。
  21. 如請求項19之用於解碼一視訊的方法，其進一步包含將一較低層具有一對應較高層之邊界的一子集之一指示解碼。
  22. 如請求項19之用於解碼一視訊的方法，其進一步包含將一個層之該等子圖像中之每一者對應於另一層之該等子圖像中之一者的一指示解碼，其中該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  23. 如請求項19之用於解碼一視訊的方法，其進一步包含將子圖像邊界跨越至少二個層對準之一指示解碼，其中該指示在一視訊參數集VPS或一序列參數集SPS中。
  24. 如請求項23之用於解碼一視訊的方法，其進一步包含將該等子圖像邊界係跨越該至少二個層對準之一指示解碼，其中該指示在該VPS之一預定區段中。
  25. 如請求項19之用於解碼一視訊的方法， 其中每個子圖像經指派有一子圖像標識，且該方法進一步包含將該等子圖像標識對於所有層皆係唯一的一指示解碼。
  26. 如請求項25之用於解碼一視訊的方法，其進一步包含將該等子圖像標識對於所有層皆係唯一的一指示解碼，該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  27. 如請求項25之用於解碼一視訊的方法，其進一步包含將彼此對應的不同層之該等子圖像具有相同子圖像標識之一指示解碼。
  28. 一種用於編碼一視訊的方法，其包含將一視訊之多個圖像編碼成一資料串流；其中，該資料串流包含至少二個層中之多個圖像；其中，至少一個層之該等圖像被分割成一預定層特定數目個子圖像，且至少一個其他層之該等圖像未被分割成子圖像，該至少一個層之該等子圖像對應於該至少一個其他層之該等圖像之一者，以及其中，該至少一個層之該等子圖像包含用於邊界擴展以進行運動補償之外邊界，以及，該至少一個其他層之該等圖像之該者包含邊界；以及將該至少一個層中之一個圖像的該等子圖像的該等外邊界係與該至少一個其他層之該等圖像之該者的該等邊界對準的一指示編碼。
  29. 如請求項28之用於編碼一視訊的方法，其中每一層之該等圖像具有相同解析度，且/或其中該解析度在層之間不同，且/或其中每一層內之該解析度可在連續圖像之間發生變化。
  30. 如請求項28之用於編碼一視訊的方法，其進一步包含將一較低層具有一對應較高層之邊界的一子集的一指示編碼。
  31. 如請求項28之用於編碼一視訊的方法，其進一步包含 將一個層之該等子圖像中之每一者係對應於另一層之該等子圖像中之一者的一指示編碼，其中該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  32. 如請求項28之用於編碼一視訊的方法，其進一步包含將子圖像邊界係跨越至少二個層對準的一指示編碼，其中該指示在一視訊參數集VPS或一序列參數集SPS中。
  33. 如請求項32之用於編碼一視訊的方法，其進一步包含將該等子圖像邊界係跨越該至少二個層對準的一指示編碼，其中該指示在該VPS之一預定區段，中。
  34. 如請求項28之用於編碼一視訊的方法，其中，每個子圖像經指派有一子圖像標識，且該方法進一步包含將該等子圖像標識對於所有層皆係唯一的一指示編碼。
  35. 如請求項34之用於編碼一視訊的方法，其進一步包含將該等子圖像標識對於所有層皆係唯一的一指示編碼，該指示在一視訊參數集VPS或一序列參數集SPS之一預定區段中。
  36. 如請求項34之用於編碼一視訊的方法，其進一步包含將彼此對應的不同層之該等子圖像具有相同子圖像標識的一指示編碼。
  37. 一種包括用於一處理裝置之一程式的電腦程式產品，其包含在該程式運行於該處理裝置上時，用於執行如請求項19至36中任一項之步驟的軟體程式碼部分。
  38. 如請求項37之電腦程式產品，其中該電腦程式產品包含上面儲存有該軟體程式碼部分之一電腦可讀媒體，其中該程式可直接載入至該處理裝置之一內部記憶體中。
  39. 一種資料結構產品，其具有 一視訊，該視訊被編碼於該資料結構產品內，其中該視訊包含多個圖像；其中，該資料串流包含至少二個層中之多個圖像；其中，至少一個層之該等圖像被分割成一預定層特定數目個子圖像，且至少一個其他層之該等圖像未被分割成子圖像，該至少一個層之該等子圖像對應於該至少一個其他層之該等圖像之一者，以及其中，該至少一個層之該等子圖像包含用於邊界擴展以進行運動補償之外邊界，以及，該至少一個其他層之該等圖像之該者包含邊界；以及一指示，該指示為該至少一個層中之一個圖像的該等子圖像之該等外邊界係與該至少一個其他層之該等圖像之該者的該等邊界對準。
TW109145104A 2019-12-20 2020-12-18 有關子圖像之視訊寫碼技術 TWI789662B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19218973 2019-12-20
EP19218973.6 2019-12-20

Publications (2)

Publication Number Publication Date
TW202131682A TW202131682A (zh) 2021-08-16
TWI789662B true TWI789662B (zh) 2023-01-11

Family

ID=69063624

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145104A TWI789662B (zh) 2019-12-20 2020-12-18 有關子圖像之視訊寫碼技術

Country Status (9)

Country Link
US (2) US11973955B2 (zh)
EP (1) EP4078962A1 (zh)
JP (1) JP2023506878A (zh)
KR (1) KR20220110761A (zh)
CN (1) CN114788282A (zh)
AU (1) AU2020407270A1 (zh)
CA (1) CA3164490A1 (zh)
TW (1) TWI789662B (zh)
WO (1) WO2021123101A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201628A1 (ko) * 2020-04-01 2021-10-07 엘지전자 주식회사 출력 레이어 셋에 기반하여 파라미터 셋의 참조 여부를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2024063559A1 (ko) * 2022-09-23 2024-03-28 엘지전자 주식회사 프로파일을 정의하는 하이 레벨 신택스에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190098295A1 (en) * 2011-11-11 2019-03-28 Ge Video Compression, Llc Effective wedgelet partition coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
CN113557744A (zh) * 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的分块级滤波
US20220182681A1 (en) * 2019-03-24 2022-06-09 Lg Electronics Inc. Image or video coding based on sub-picture handling structure
GB2585042A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
CN114556920A (zh) * 2019-09-19 2022-05-27 Vid拓展公司 用于通用视频编码的系统和方法
US11412263B2 (en) * 2019-09-23 2022-08-09 Qualcomm Incorporated Arithmetic coder byte stuffing signaling for video coding
WO2021060834A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190098295A1 (en) * 2011-11-11 2019-03-28 Ge Video Compression, Llc Effective wedgelet partition coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=4691 *
網路文獻 J. Boyce et al., "High level syntax hooks for future extensions," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 8th Meeting: San José, CA, USA, 1–10 February, 2012 *
網路文獻 J. Boyce et al., "High level syntax hooks for future extensions," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 8th Meeting: San José, CA, USA, 1–10 February, 2012。 http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=4691

Also Published As

Publication number Publication date
WO2021123101A1 (en) 2021-06-24
CA3164490A1 (en) 2021-06-24
EP4078962A1 (en) 2022-10-26
US11973955B2 (en) 2024-04-30
TW202131682A (zh) 2021-08-16
US20240236328A1 (en) 2024-07-11
US20230054567A1 (en) 2023-02-23
CN114788282A (zh) 2022-07-22
KR20220110761A (ko) 2022-08-09
AU2020407270A1 (en) 2022-08-11
JP2023506878A (ja) 2023-02-20

Similar Documents

Publication Publication Date Title
JP6572222B2 (ja) メディアファイルの生成方法、生成装置、及びプログラム
JP6430961B2 (ja) 効率的なスケーラブル符号化概念
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
GB2594615A (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
JP2018507591A (ja) スケーラブルなビデオ符号化および復号化のための層間予測
KR20180018662A (ko) 동작 포인트 디스크립터가 동적으로 설정될 수 있는 캡슐화된 비트-스트림으로부터 미디어 데이터 및 메타데이터를 획득하는 방법, 디바이스, 및 컴퓨터 프로그램
TW201440487A (zh) 在視訊寫碼中之非巢套式補充增強資訊訊息
JP7421600B2 (ja) フレーム部分を有するビデオデータを符号化又は復号する方法及び装置
US20240236328A1 (en) Video coding in relation to subpictures
TWI824207B (zh) 視頻編碼及解碼
US20210092359A1 (en) Method, device, and computer program for coding and decoding a picture
CN113348666A (zh) 用于图块组识别的方法
CN111434120A (zh) 高效的沉浸式流传输
CN114787921A (zh) 用于假设参考解码器和用于输出层集的视频数据流、视频编码器、装置和方法
CN113994686A (zh) 点云编码的数据单元和参数集设计
ES2711892T3 (es) Señalización de puntos de operación para el transporte de extensiones de la HEVC
JP2015126507A (ja) 画像復号装置、画像符号化装置、及び符号化データ
US20240357182A1 (en) Image signal processing method and device
WO2015098713A1 (ja) 画像復号装置および画像符号化装置
Wien et al. High-Level Syntax