TW201840188A - 先進視訊資料流擷取及多解析度視訊傳輸 - Google Patents

先進視訊資料流擷取及多解析度視訊傳輸 Download PDF

Info

Publication number
TW201840188A
TW201840188A TW107109501A TW107109501A TW201840188A TW 201840188 A TW201840188 A TW 201840188A TW 107109501 A TW107109501 A TW 107109501A TW 107109501 A TW107109501 A TW 107109501A TW 201840188 A TW201840188 A TW 201840188A
Authority
TW
Taiwan
Prior art keywords
slice
data stream
video data
video
picture
Prior art date
Application number
TW107109501A
Other languages
English (en)
Other versions
TWI684352B (zh
Inventor
羅伯 斯庫平
柯尼勒斯 赫爾格
班傑明 布羅斯
湯馬士 席爾
亞果 桑切斯德拉富恩特
卡斯騰 蘇赫林
湯馬士 韋根
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201840188A publication Critical patent/TW201840188A/zh
Application granted granted Critical
Publication of TWI684352B publication Critical patent/TWI684352B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種用於視訊資料流擷取的概念，其係更有效率，即例如能夠更高效地處理接收方一未知類型的視訊內容，例如不同類型的視訊在視角到圖像平面的投影等方面不同，或者減少了擷取過程的複雜性。此外，描述了一種概念，該概念可以更有效地向一接收者提供一視訊場景的不同版本的一並置，即場景解析度不同的版本。

Description

先進視訊資料流擷取及多解析度視訊傳輸
本申請係關於視訊資料流擷取，即從適當準備的視訊資料流中擷取縮小的視訊資料流的概念，使得縮小的視訊資料流已經在其中編碼了一空間較小視訊，其係對應於編碼於該原始視訊資料流中該視訊的一個空間部分，並且還相關於一個場景的不同視訊版本的傳輸，這些版本在場景解析度或保真度方面不同。
該HEVC標準[1]定義了一混合視訊編解碼器，該混合視訊編解碼器允許定義該圖像的矩形圖塊子陣列，就視訊編解碼器而言，視訊編解碼器遵從一些編碼約束條件，從而允許容易地從該整個視訊資料流中擷取一較小或減少的視訊資料流出來，即不需要重新量化，也不需要重新進行任何運動補償。如[2]JCTVC-Z1005中所述，其設想添加該高效率視訊編碼(High Efficiency Video Coding，HEVC)標準語法，以允許引導該視訊資料流的一接收者的該擷取過程。
然而，仍然需要使該擷取過程更高效。
視訊資料擷取可以應用的一應用領域涉及傳輸或提供一個視訊場景的多個版本，其場景解析度相互不同。安裝這種傳輸或提供相互不同的解析度版本的有效方式將是有利的。
因此，本揭露的一第一個目的是提供一種用於視訊資料流擷取的概念，其係更有效率，即例如能夠更高效地處理接收方一未知類型的視訊內容，例如不同類型的視訊在視角到圖像平面的投影(view-port-to-picture-plane projection)等方面不同，或者減少了擷取過程的複雜性。該目的係藉由根據第一觀點的本申請的獨立請求項的主題來實現。
尤其是，根據本申請的該第一觀點，視訊資料流擷取可具有 更高效率係藉由提供該視訊資料流內的該擷取信息，其具有用信號發送多個選項之一的信息或明確地發信號，關於如何修改可擷取的空間區段內的每個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示相應切片位於該減少的(擷取的)圖片區域中的該位置。換句話說，該第二信息提供信息給引導擷取過程的該視訊資料流擷取站點，其係關於基於該原始視訊的該空間區段為基礎的該減少的(擷取的)視訊資料流的該空間較小視訊的該圖片的該組合，並因此減輕了該擷取過程或使其適應於在該視訊資料流內所傳送的場景類型的較大可變性。關於後一個問題，例如，該第二個信息可能涉及各種場合，其中該空間較小視訊的圖片應該有利地不僅是在維持該原始視訊內的該空間區段的這些部分的相對佈置或者在編碼順序方面的相對順序下，將該空間區段的潛在分離部分推在一起的結果。例如，於顯示一全景場景到圖片平面投影(a panoramic scene-to-picture-plane projection)的一接縫界面中的一場景的原始圖片，在由沿著該原始圖片的該圓周的不同部分鄰接的區域構成的一空間區段處，在該擷取的視訊流的該較小圖片中的該空間區段的區域之該佈置應當與在不是全景類型的圖片類型的情況下不同，但是接收者可能甚至不知道該類型。另外或分別地，修改所擷取切片部分的該切片位址是一項繁瑣的任務，這可以藉由明確發送信息，其係關於如何例如替代切片位址的形式進行修改來緩解。
本揭露的另一個目的是提供一種概念，該概念可以更有效地向一接收者提供一視訊場景的不同版本的一並置，即場景解析度不同的版本。
該目的係藉由本申請的第二觀點的未決獨立請求項的主題來實現。
具體地，根據本申請的第二觀點，提供一視訊場景對應的的不同場景解析度的幾個版本的一並置，藉由匯總這些版本在一個視訊中以變得更加高效，其係被編碼在一個視訊資料流中，以及提供該視訊資料流，其具有一個信號，以指示視訊的一圖片以不同解析度在該圖片的不同空間部分處顯示一相同場景內容。因此，一視頻資料流的一接收者能夠基於該信號來識別由該視頻資料流傳送的該視頻內容是否屬於不同場景分辨率的 一場景內容的幾個版本的一空間並排集合。取決於該接收站點的能力，對該視頻資料流進行解碼的任何嘗試可以被抑制，或者視頻資料流的處理可以適應一信號分析。
上述觀點的實施例的有利實現是附屬請求項的主題。本申請的較佳實施例係由以下圖描述參考其中的圖式。
依據本揭露之一特色，本揭露提出一種視訊資料流，其包含一切片部分序列、及擷取信息。該切片部分序列的每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置。該擷取信息指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，藉由將該視訊資料流限制在其中已編碼空間區段內的任何切片的切片部分，並且修改該切片位址以便涉及該空間較小視訊的一減小的圖片區域，該擷取信息包括一第一信息及一第二信息。該第一信息定義該圖片區域內的該空間區段，其中該多個切片中沒有一個與該空間區段的邊界相交。該第二信息用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
依據本揭露之另一特色，本揭露提出一種用於生成視訊資料流的設備，被配置為：提供具有一切片部分序列的該視訊資料流，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每一個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置；提供具有擷取信息的該視訊資料流，該擷取信息指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，藉由將該視訊資料流限制在其中已編碼該空間區段內的任何切片的切片部分，並且修改該切片位址以便涉及該空間較小視訊的一 減小的圖片區域；該擷取信息包括一第一信息及一第二信息。該第一信息定義該圖片區域內的該空間區段，在該空間區段內，該視訊被編碼到與該空間區段外部無關的該視訊資料流中，其中多個切片中沒有一個與該空間區段的邊界相交。該第二信息用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
依據本揭露之又一特色，本揭露提出一種用於從一視訊資料流中擷取一縮小的視訊資料流的設備，該視訊資料流具有編碼於其內的該視訊，該縮小的視訊資料流具有編碼於其內的一空間較小視訊，該視訊資料流包括一切片部分序列，每一個切片部分具有在其中編碼了一視訊的一圖片)的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置，其中該設備被配置為：從該視訊資料流中讀取擷取信息；從該擷取信息中得出該圖片區域內的一空間區段，其中該多個切片中沒有一個與該空間區段的邊界相交，並且其中該縮小的視訊資料流被限制在其中已編碼空間區段內的任何切片的切片部分；使用藉由該擷取信息的一顯式信號從該多個選項中確定的多個選項之一，以修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該空間較小視訊的一減小的圖片區域中所處的位置。
依據本揭露之再一特色，本揭露提出一種視訊資料流，已經在其中編碼了一視訊，其中該視訊資料流包括指示該視訊的一圖片以不同解析度在該圖片的不同空間部分處顯示一共同場景內容的一信號。
依據本揭露之更一特色，本揭露提出一種用於處理一視訊資料流的設備，其中，該設備支持一預定處理任務，並且被配置為檢查該信號以決定對該視訊資料流執行或不執行該預定處理任務。
依據本揭露之再一特色，本揭露提出一種用於生成一視訊資料流的設備。
依據本揭露之再一特色，本揭露提出一種用於產生一視訊資 料流的方法，包括：提供具有一切片部分序列的該視訊資料流，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每一個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置；提供具有擷取信息的該視訊資料流，該擷取信息指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，藉由將該視訊資料流限制在其中已編碼該空間區段內的任何切片的切片部分，並且修改該切片位址以便涉及該空間較小視訊的一減小的圖片區域，該擷取信息包括一第一信息及一第二信息。該第一信息定義該圖片區域內的該空間區段，在該空間區段內，該視訊被編碼到與該空間區段外部無關的該視訊資料流中，其中多個切片中沒有一個與該空間區段的邊界相交。該第二信息用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
依據本揭露之再一特色，本揭露提出一種用於從一視訊資料流中擷取一縮小的視訊資料流的方法，該視訊資料流具有編碼於其內的該視訊，該縮小的視訊資料流具有編碼於其內的一空間較小視訊，該視訊資料流包括一切片部分序列，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置，其中該方法包含：從該視訊資料流中讀取擷取信息；從該擷取信息中得出該圖片區域內的一空間區段，其中該多個切片中沒有一個與該空間區段的邊界相交，並且其中該縮小的視訊資料流被限制在其中已編碼空間區段內的任何切片的切片部分；使用藉由該擷取信息的一顯式信號從該多個選項中確定的多個選項之一，以修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該空間較小視訊的一減小的圖片區域中所處的位置。
依據本揭露之再一特色，本揭露提出一種用於處理一視訊資 料流的方法，其中，該處理包括一預定的處理任務，並且該方法涉及檢查該信號以決定對該視訊資料流執行或不執行該預定的處理任務。
依據本揭露之再一特色，本揭露提出一種用於生成一視訊資料流的方法。
依據本揭露之再一特色，本揭露提出一種具有一程式代碼的電腦程式，用於當該電腦程式在一電腦上運行時執行根據申請專利範圍第20項至第39項中任一項所述的方法。
本揭露主題的各種目的、特徵、面向和優點將從以下對優選實施例的詳細描述以及附圖中變得更加明顯。
所示實施例在附圖中以示例，而非限制的方式顯示，其中相同的參考標號表示相似的元件。
100、144、334、336、340‧‧‧圖片
102‧‧‧編碼樹區塊(CTB)
104、304、A、B、C、D、a、b、c、d‧‧‧圖塊
106、112‧‧‧編碼順序
108‧‧‧切片
110‧‧‧區段/空間區域
114‧‧‧參數
120、210、300、332‧‧‧視訊
122‧‧‧視訊編碼核心
124、330‧‧‧視訊資料流
126‧‧‧切片部分
128‧‧‧視訊資料流生成器
130‧‧‧接口
132‧‧‧擷取信息
124'‧‧‧結果視訊資料流
134‧‧‧擷取器設備
136‧‧‧縮小或擷取的視訊資料流
138‧‧‧空間較小視訊
140‧‧‧第一信息
142‧‧‧第二信息
110a、110b‧‧‧分段區域/區域
α、β‧‧‧位址
146‧‧‧普通解碼器
143‧‧‧替代切片位址
150r、150l‧‧‧側邊
141‧‧‧階
302‧‧‧線
306、338‧‧‧高解析度視訊
308、342‧‧‧低解析度視訊
312‧‧‧變型
310a、310b、310c‧‧‧子圖像
310‧‧‧MCTS
314a、314b、314c‧‧‧圖場
344‧‧‧觀看端口
346‧‧‧合成器
348‧‧‧視訊編碼器
350‧‧‧視訊資料流產生裝置
352‧‧‧信號
358‧‧‧視訊資料流處理器
360‧‧‧空間區域
310‧‧‧區段
354、356‧‧‧空間區段
下面參考附圖描述本申請的較佳實施例，其中：圖1係顯示圖示說明具有調整的切片位址的MCTS擷取的一示意圖。
圖2係顯示圖示說明根據本申請的一第一觀點的實施例及參與過程和設備的視訊資料流擷取處理的一概念的一混合示意圖和方塊圖。
圖3係顯示根據其中第二信息明確指示如何修改該切片位址的一範例，而繼承該擷取信息的該第二信息的一範例的一語法範例。
圖4係顯示圖示說明形成一所需圖像子部分的一非相鄰MCTS的一例子的一示意圖。
圖5係顯示根據一實施例中包含該第二信息的一特定語法範例的一範例，其中該第二信息指示用於在幾個可能的選項中修改在擷取處理中的切片位址的一特定選項。
圖6係顯示圖示說明一多解析度360°框架封裝範例的一示意圖。
圖7係顯示圖示說明含有混合解析度表示的一示例性MCTS的擷取的一示意圖。
圖8係顯示圖示說明根據本申請的一第二觀點的一實施例的向用戶提供多解析度場景的有效方式以及參與裝置和視訊流以及過程的一混合示意圖和方塊圖。
以下描述以本申請的該第一觀點的一描述開始，然後繼續本申請的該第二觀點的一描述。更確切地說，關於本申請的該第一觀點，為了給出下文描述的第一觀點的實施例的優點和基本概念之動機，該描述從對潛在技術問題的簡要概述開始。關於該第二觀點，以相同的方式選擇該描述順序。
在全景或360視訊應用程序中，通常只需要將圖像平面的一小部分呈現給用戶。諸如運動約束圖塊集合(Motion Constrained Tile Sets，MCTS)之類的特定編解碼器工具允許擷取在壓縮域中的期望圖片之子部分對應的該編碼資料，並形成可以由不支持完整的圖像比特流中的MCTS解碼的傳統解碼器設備所解碼的一符合比特流，與完整圖像解碼所需的解碼器相比，其可以表徵為較低層。
作為例子和參考，HEVC編解碼器中涉及的信號可以在下列中找到：
‧參考文獻[1]，在章節D.2.29和E.2.29中，說明了時間MCTS設置擷取信息(Sets Extraction Information,SEI)，其允許一編碼器用信號通知一給定的矩形列表，每個矩形列表由其左上角和右下角的區塊索引定義，屬於一MCTS。
‧參考文獻[2]，其提供了附加信息，例如參數集和嵌套的SEI信息，其可簡化了擷取一個MCTS為合格的HEVC比特流的努力，並且將被添加到下一版本的參考文獻[1]中。
從參考文獻[1]和[2]中可以看出，該擷取過程包括調整在該擷取器設備中實行的相關切片的該切片表頭中用信號通知的該切片位址。
圖1顯示了一個MCTS擷取的例子。圖1顯示了一個已經被編碼成一視訊資料流的圖片，即一HEVC視訊資料流。圖片100被細分為編碼樹區塊(coding tree blocks，CTB)，即圖片100以CTB為單位而被編碼。在圖1的例子中，圖片100被細分為16×6個CTB，但CTB行的數量 和CTB列的數量自然不是關鍵。參考標誌102代表性地指示這樣的一個CTB。以CTB 102為單位，圖片100被進一步細分為圖塊，即m×n圖塊的一陣列，圖1係顯示m=8和n=4的示例性情況。在每個圖塊中，參考標誌104已被用於代表性地指示一個這樣的圖塊。因此，每個圖塊是以CTB 102為單位的一矩形叢集或子陣列。僅僅為了說明，圖1顯示了圖塊104可以具有不同的尺寸，或者說，圖塊的行可分別具有相互不同的高度且圖塊的列可分別具有相互不同的寬度。
如本領域中習知技術那樣，該圖塊細分，即將圖片100細分成圖塊104，會影響該編碼順序106，圖片100的該圖片內容沿著編碼順序106被編碼為該視訊資料流。具體而言，沿著一圖塊順序，即按照圖塊列方向的光柵掃描順序一個接一個地遍歷圖塊104。換言之，在編碼順序進行到下一個圖塊104之前，首先藉由該編碼順序106對一個圖塊104內的所有CTB 102進行編碼或遍歷。在每一個圖塊102內，也使用一光柵掃描順序對CTB編碼，即使用一列方向的光柵掃描順序。沿著編碼順序106，圖像100到該視訊資料流中的該編碼被細分以產生所謂的切片部分。換句話說，被編碼順序106的一連續部分所遍歷的圖片100的切片作為一個單元被編碼到該視訊資料流中以便形一切片部分。在圖1中，假定每一個圖塊駐留在一單個切片內，或者以HEVC的術語，一個切片節段(slice segment)，但這僅僅是範例並且可以以不同的方式進行。典型地，一個切片108或者根據HEVC，一個切片節段，在圖1中以代表性的參考標誌108表示，並且它與相應的圖塊104重合或一致。
就圖片100到該視訊資料流的該編碼而言，應該注意的是，該編碼利用空間預測、時間預測、用熵編碼的上下文推導、用時間預測的運動補償及變換預測殘差和/或量化預測殘差。該編碼順序106不僅影響該等切片，而且還為空間預測和/或上下文導出定義參考基礎的該可用性：僅在編碼順序106之前的那些相鄰部分可用。該平鋪不僅影響該編碼順序106，而且還限制圖片100內的編碼間相關性(coding-inter-dependencies)：例如，空間預測和/或上下文推導被限制為僅參考該當前圖塊104內的部分。在空間預測和/或上下文推導中，不參考該當前圖塊之外的部分。
圖1現在顯示圖片100的一另一個特定區域，即一所謂的MCTS，即圖片100的該圖片區域內的一空間區段110，該圖片100是該視訊的其中一部分且視訊是可擷取的。區段(section)110的一放大表示在圖1中右側顯示。圖1中的運動約束圖塊集合(MCTS)110由一組圖塊104組成。駐留在該區段(section)110中的每個圖塊都被提供名稱，即a、b、c和d。該空間區段110是可擷取的事實涉及將該視訊編碼成該視訊資料流的一進一步限制。具體地說，如圖1所示的對於圖像100的該視訊的該圖像劃分被該視訊的其他圖像所採用，並且對於這個圖片序列，圖塊a、b、c和d內的該圖片內容以這樣的方式被編碼，使得即使在從一個圖片參照到另一個圖片時，編碼間相關性(coding-interdependencies)仍然保留在空間區段110內。換句話說，例如，時間預測和時間上下文導出係以保持在空間區段110的該區域內的方式被限制。
將圖像100是該視訊的一部分的該視訊編碼成該視訊資料流的一個有意思的地方在於，該切片108係被提供一切片位址，該切片位址指示在該編碼圖片區域中的該編碼開始處，即其位置。切片位址係沿編碼順序106被分配。例如，切片位址指示沿著編碼順序106的該CTB階(rank)，其係相應切片的編碼開始。例如，在分別對該視訊和圖片100進行編碼的該資料流內，承載與圖塊a一致的切片的該切片部分將具有切片位址7作為在編碼順序106中第七個CTB，以表示依據編碼順序106而在圖塊a內的第一個CTB。以類似的方式，攜帶與圖塊b、c和d有關的該切片的切片部分內的該切片位址將分別是9、29和33。
圖1的右側表示該縮小或擷取的視訊資料流的一接收者分配對應於圖塊a、b、c和d的兩個切片的該切片位址。換句話說，在圖1右側使用數字0、2、4和8示明由從該原始視訊資料流獲得的該縮小或擷取的視訊資料流的一接收者分配的該切片位址，其中，該原始視訊資料流係包含整個圖片100的該視訊，該縮小或擷取的視訊資料流係藉由相對於空間區段110的擷取，即藉由MCTS擷取。該在縮小或擷取的視訊資料流中，具有編碼了圖塊a、b、c和d的切片100的該切片部分以編碼順序106排列，就像它們在該原始視訊資料流中它們被擷取過程。具體而言，該接 收者將圖片內容以根據該切片部分序列在該縮小或擷取的視訊資料流中重建的CTB的形式放置，即關於圖塊a、b、c和d的該切片沿著一編碼順序112放置，該編碼順序112遍歷該空間區段110，其係與編碼順序106相對於整個圖片100相同的方式，即藉由以光柵掃描順序以圖塊對圖塊遍歷空間區段110，並且繼續下一個圖塊之前，沿著光柵掃描順序遍歷每個圖塊內的CTB。圖塊a、b、c和d的相對位置保持不變。也就是說，圖1右側所示的空間區段110保持的圖塊a、b、c和d之間的相對位置與其在圖片100中出現相同。對應於確定相同使用編碼次序112的圖塊a、b、c和d的切片的該切片位址分別是0、2、4和8。因此，該接收者能夠基於顯示空間區段110的該縮小或擷取的視訊資料流來重建一較小的視訊，如右側所示的自包含圖片(self-contained pictures)。
總結迄今為止對圖1的描述，藉由使用每個切片108的左上角處的數字，圖1顯示或圖示說明在擷取之後的該切片位址調整及CTB的單位。為了實行該擷取，該擷取站點或擷取設備需要分析該原始視訊資料流中關於指示CTB的尺寸的一參數114及圖片100內的圖塊列和圖塊行的數目及尺寸，其中參數114即指示最大CTB的尺寸。此外，該嵌套的MCTS特定的序列和圖片參數集係被檢查，以從中推導出圖塊的輸出排列。在圖1中，空間區段110內的圖塊a、b、c和d保持它們的相對佈置。總而言之，上述分析和檢查以及由一擷取器設備遵循一HEVC資料流的該MCTS指令來執行的分析和檢查需要一專用且複雜的邏輯，以從上面列出的參數導出該重建切片108的該切片位址。這種專用和複雜的邏輯另外會帶來額外的實施成本以及運行時間的缺點。
因此，下面描述的實施例在視訊資料流中使用額外的信號和擷取信息生成側的相應處理步驟、以及在擷取側，藉由提供用於擷取的該特定目的之容易獲得的信息，以能夠減輕剛解釋推導的該擷取裝置的總體處理負擔。附加地或另外地，下面描述的一些實施例使用附加信號以一種方式來引導該擷取過程，從而實現對不同類型的視訊內容的更有效的處理。
在圖2的基礎上，首先解釋一般概念。稍後，根據下面進一步的不同實施例，該各個實體的操作模式的這種一般性描述以不同的方式 進一步被指定參與圖2所示的整個過程中。應該注意的是，儘管為了便於理解而一起描述了其中所顯示的實體和方塊，但是它們都是獨立的設備，每個獨立的設備個別地繼承圖2中總體上的優點概要的特徵。更確切地說，圖2顯示了一生成視訊資料流的該生成過程，為這樣的一視訊資料流提供了擷取信息，該擷取過程本身之後是該擷取或減少的視訊資料流的該解碼以及該參與設備，其中這些設備的操作模式或各個任務和步驟的實行係依據現在描述的實施例。根據首先關於圖2描述的該具體實現範例，並且如下面進一步概述，與擷取設備的該擷取任務相關聯的該處理開銷被減少。根據另外的實施例，另外地或替代地在該原始視訊內的各種不同類型的視訊內容的處理被減輕。
在圖2的頂部，一原始視訊由參考標號120所表示。該視訊120由一圖像序列組成，其中一個圖像由參考標號100所表示，因為它與圖1中的圖像100扮演相同角色，即，它是顯示圖片區域的圖像，其中一空間區段110將在稍後由視訊資料流擷取所剪切。然而，應該理解的是，上面關於圖1所解釋的該圖塊細分不需要被圖2中所示進程的視訊編碼所使用，而且相當是在視訊編碼中圖塊和CTB表示語義實體，其對於圖2的實施例而言僅僅是可選的。
圖2係顯示該視訊102在一視訊編碼核心122中接受一視訊編碼。由視訊編碼核心122執行的該視訊編碼使用例如混合視訊編碼，以將視訊120變成一視訊資料流124。也就是說，視訊編碼核心122使用例如基於區塊的預測編碼，其使用對該預測殘差進行編碼的幾個支持的預測模式中的一個，以對視訊120的圖片的各個圖片區塊進行編碼。該預測模式可以例如包括空間和時間預測。該時間預測可以涉及運動補償，即決定一運動場，其對於時間上預測的區塊以及與資料流124的一傳輸中表現為一運動向量。該預測殘差可以被變換編碼。也就是說，可以將一些頻譜分解(spectral decomposition)應用於該預測殘差，並且可以使用例如熵編碼(entropy coding)將所得到的該頻譜係數進行量化並無損地編碼到資料流124中。反過來，熵編碼可使用上下文自適應性，亦即一個上下文可被決定，其中該上下文推導可取決於一空間鄰域和/或時間鄰域。如上所述，該編碼 可以基於一編碼順序106，該編碼順序106將該編碼依賴性限制到這樣的程度，即只有被該編碼順序106已經遍歷的該視訊的部分才可以被用作該視訊120的一當前部分進行編碼的基礎或參考。該編碼順序106逐圖片遍歷該視訊120，但不一定按照該圖片的呈現時間順序。在諸如圖片100的圖片內，視訊編碼核心120細分經由該視訊編碼所獲得的經編碼資料，由此將圖片100細分成切片108，其中每一個對應到視訊資料流124的一對應切片部分126。在資料流124內，該切片部分126以圖片100中的編碼順序106遍歷相應切片108的順序，以形成彼此接連的一切片部分序列。
還如圖2中所示，視訊編碼核心122向每一切片部分126提供或編碼一切片位址。為了說明的目的，切片位址在圖2中用大寫字母表示。如關於圖1所描述的，該切片位址可以使用一些適當的單位來決定，例如沿編碼順序106一維地以CTB為單位，但是它們可以另外地相對於視訊120的圖片所花費的圖片區域內的某個預定點(例如，圖片100的左上角)而被不同地決定。
因此，視訊編碼核心122接收一視訊120並輸出一視訊資料流124。
如上所述，根據圖2生成的該視訊資料流就空間區段110而言是可擷取的，因此，視訊編碼核心120適當地適應視訊編碼過程。為此，視訊編碼核心122限制幀間編碼依賴性(inter-coding dependencies)，使得空間區段110內的部分以不依賴空間區段110之外的部分的方式，而被編碼為視訊資料流124，例如藉由空間預測、時間預測或上下文推導。該切片108不跨越區段110的邊界。因此，每個切片108完全在區段110內或完全在其外部。應該注意，視訊編碼核心122不僅可以執行一個空間區段110，而且可以執行幾個空間區段。這些空間區段可以彼此相交，亦即，它們可以部分重疊或者一個空間區段可以完全在另一個空間區段內。由於這些措施，正如稍後將更詳細解釋的那樣，其可從視訊資料流124中擷取比視訊120的圖片更小的圖片的一縮小或擷取的視訊資料流，即不需要重新編碼而圖片僅顯示空間區段110內的內容，即，諸如運動補償、量化和/或熵編碼的複雜任務不需要再次執行。
該視訊資料流124可被一視訊資料流生成器128接收。具體地，根據圖2所示的實施例，視訊資料流生成器128包括一接收接口130，其從視訊編碼核心122接收準備好的該視訊資料流124。應該注意的是，根據一替代方案，視訊編碼核心122可以被包括在視訊資料流生成器128中，由此替代接口130。
該視訊資料流生成器128向該視訊資料流124提供擷取信息132。在圖2中，由視訊資料流生成器128輸出的該結果視訊資料流係使用參考標誌124'來指示。該擷取信息132對於圖2中所示的具有參考標誌134的一擷取器設備而言，其係指示如何從視訊資料流124'中擷取一縮小或擷取的視訊資料流136，該視訊資料流136已經在其中編碼了對應於空間區段110的一空間較小視訊138。該擷取信息132包括第一信息140和第二信息142，第一信息140定義圖片100發送的圖片區域內的空間區段110，第二信息142訊號通知關於如何修改落入空間區段110中的每個切片108的該切片部分126的該切片位址的多個選項中的一個，以在該縮小的視訊資料流136內指示相應切片位於視訊138的該圖片144的該減小的圖片區域中的位置。
換句話說，該視訊資料流產生器128僅伴隨，即將某物添加到視訊資料流124，以產生視訊資料流124'，即擷取信息132。該擷取信息132旨在引導應該接收視訊資料流124'的擷取器設備134，俾從該視訊資料流124'中具體針對區段110擷取該縮小或擷取的視訊資料流136。該第一信息140定義該空間區段110，即其分別在視訊120和圖片100的該圖片區域內的位置，並且可能地定義圖片144的圖片區域的尺寸和形狀。如圖2所示，該區段110不一定需要是矩形的、凸起的或不需要是一連通區域。在圖2的例子中，例如，區段110由兩個分離的部分區域110a和110b所組成。另外，第一信息140可包含關於擷取器設備134應如何分別修改或替換一些編碼參數或資料流124或124'的部分之提示，諸如一圖片尺寸參數，該圖片尺寸參數將被適配為經由擷取，以反映圖片區域中從圖片100到圖片144的變化。特別地，第一信息140可以包括關於在擷取過程中由擷取器設備134所應用的視訊資料流124'的參數集之替代或修改指令，以相應地修 改或替換包含在視訊資料流124'中的對應參數集，並被接管到該縮小或擷取的視訊資料流136中。
換句話說，擷取器裝置134接收視訊資料流124'，從視訊資料流124'中讀取該擷取信息132並從該擷取信息中獲得該空間區段110，即其在視訊120的該圖片區域內的地點和位置，即基於該第一信息140。因此，根據該第一信息140為基礎，該擷取器裝置130識別那些切片部分126，其係已經被編碼至落入區段110中的切片之中，並且因此將被接管到該縮小或擷取的視訊資料流136中，而與區段110外部的切片有關的切片部分126將被擷取器裝置134丟棄。另外，擷取器設備134可以使用信息140，如剛剛概述的那樣，以便在該縮小或擷取的視訊資料流136之前或之中正確設置資料流124'內的一個或多個參數集，即藉由修改或替代。因此，一個或多個參數集可涉及一圖片尺寸參數，該圖片尺寸參數可以根據信息140被設置為與區段110的一區域的一尺寸總和相對應的一尺寸，即，區段110的所有部分110a和110b的面積的一總和，如果區段110不是圖2中示例性描繪的連通區域。切片部分的該區段110敏感丟棄以及參數集適配將視訊資料流124'限制到區段110。另外，擷取器設備134修改該縮小或擷取的視訊資料流136內的切片部分126的該切片位址。這些切片在圖2中使用籬笆(hedging)來顯示。也就是說，有陰影線的切片部分126是那些落入區段110的切片，並因此分別被擷取或接管。
應該注意的是，信息142不僅在該完全視訊資料流124'上被添加的情況下是可想像的，該切片部分序列由其所包含，且其包含在空間區段內一切片的已編碼的切片部分以及在空間區段外一切片的已編碼切片部分。而是，包含信息142的該資料流可能已經被剝離，使得由該視訊資料流所包括的該切片部分序列包含在該空間區段內一切片的已編碼的切片部分，但是沒有在該空間區段外一切片的已編碼的切片部分。
在下文中，其將呈現用於將第二信息142嵌入到資料流124'中的不同示例及其處理。一般而言，第二信息142在資料流124'內傳送，作為明確地發送信號或以幾個選項之一的選擇形式的一信號，提示關於如何執行該切片位址修改。換句話說，該第二信息142以一個或多個語法元 素的形式傳送，其可能值可以例如明確地發送信號通知切片位址替代，或者可以一起允許區分多種可能性的一信號，以將在視訊資料流136中的每一切片部分126的一切片位址與該資料流中的一個或多個語法元素的設定選擇一個相關聯。然而，應該注意，剛剛提到的包含在該第二信息142中的一個或多個語法元素的有意義的或允許的設定的數量分別取決於視訊120已被編碼為視訊資料流124的方式以及區段110的選擇。想像一下，例如，該區段110是圖片100內的一矩形連通區域，並且該視訊編碼核心120將針對該區段執行編碼，只要涉及區段110的內部即可，而不會進一步限制編碼。沒有由兩個或更多個區域110a和110b的組合之區段110將會被應用。也就是說，僅僅依靠該區段110的外部會被抑制。在這種情況下，區段110必須未修改的被映射到視訊138的圖片144的該圖片區域上，即，不需要加擾該區段110的任何子區域的位置，並且將位址α和β分配給攜帶切片以組成區段110的該切片部分，係藉由將區段110的內部原樣放置到圖片144的圖片區域中而可唯一被決定。在這種情況下，由視訊資料流生成器128生成的信息142的該設置將是唯一的，即，一視訊資料流生成器128除了以這種方式設置信息142之外沒有別的選擇，從一個可用的編碼視角而言，儘管信息142將具有其他信號選項。然而，即使在這種無變化的情況下，明確指示例如唯一切片位址修改的該信號142也是有利的，因為該擷取器設備134自身不必執行上述的決定該切片位址α和β的繁瑣任務，以用於從資料流124'採用的切片部分126。而是簡單地從信息142中導出如何修改切片部分126的該切片位址。
取決於以下進一步概述關於信息142性質的不同實施例，擷取器裝置134保存或維持切片部分126從資料流124'被接管到減小的或擷取的視訊資料流136中的順序，或者以定義於信息142的方式修改順序。在任何情況下，由擷取器設備134輸出的該縮小或擷取的資料流136可以由普通解碼器146解碼。該解碼器146接收該擷取器視訊資料流136並從其解碼出一視訊138，視訊138的圖片134比視訊120的圖片小(例如圖片100)，並且其圖片區域藉由放置從在視訊資料流136內的該切片部分126解碼而來的切片108而被填充，其係藉由在視訊資料流136內的該切片部 分126內傳送的該切片位址α和β所定義的方式。
也就是說，到目前為止，圖2已經以某種方式進行了描述，以使得其描述適合於各種實施例以用於下面更詳細描述的第二信息142的確切性質。
現在描述的實施例使用該切片位址的一顯式信號，該切片位址應該由擷取器設備134用於將從流142接收的該切片部分126的該切片位址進行修改，而形成流136。以下描述的實施例使用一信號142，其允許向擷取器設備134發信號通知如何修改該切片位址的幾個允許的選項之一。作為該區段110的一結果的選項的允許已經被編碼，例如以限制區段110內的編碼間相關性(coding-inter-dependencies)的方式，以便不跨越區段110的空間邊界，進而將區段110劃分成兩個或更多個區域，例如110a和110c或者如圖1所示的圖塊a、b、c、d。後面的實施例可能仍然涉及該擷取器設備134自己執行計算位址的繁瑣任務，但是允許在該原始視訊120內有效地處理不同類型的圖片內容，以便在接收側根據該相應的擷取或縮小的視訊資料流136的基礎而產生有一意義的視訊138。
也就是說，如以上關於圖1所概述的那樣，根據本申請的一實施例，於擷取器設備134中的切片位址決定的繁瑣任務在藉由該第二信息142擷取過程中係明確地傳輸如何修改位址。下面列出了可用於此目的的語法的具體示例。
特別地，藉由流124'中包含一切片位址替代的列表，其係與在比特流124'中所攜帶的切片部分126相同的順序，信息142可以被用於明確地使用信號通知要在所擷取的MCTS的該切片標頭中使用的該新切片位址。例如參見圖1中的例子。這裡，信息142將是依從該比特流中該切片位址124'的順序的該切片位址的一顯式信號。再一次地，該切片108和對應的切片部分126可以在擷取過程中被接管，使得該擷取的視訊資料流136中的順序對應於被包含在視訊資料流124'中這些切片部分126的順序。根據隨後的語法示例，信息142以從該第二切片或切片部分126開始的方式明確地用信號通知切片位址。在圖1的情況下，該顯式信號將對應於指示或用信號發送一列表{2,4,8}的該第二信息142。在圖3的語法示例中給出 了該實施例的示例語法，其除了根據參考文獻[2]已知的該MCTS擷取信息SEI之外，還藉由突顯該顯式信號142的對應添加。
語義係設定如下。
num_associated_slices_minus2[i]加2表示包含具有等於該列表mcts_identifier[i][j]中的任一個值的mcts標識符的MCTS的切片的數量。 num_extraction_info_sets_minus1[i]的值應該在0至232-2的範圍內，包括0和232-2。
output_slice_address[i][j]以屬於具有等於該列表mcts_identifier[i][j]中的任一個值的mcts標識符的MCTS的比特流順序，來標識第j個切片的切片位址。output_slice_address[i][j]的值應在0至232-2的範圍內，包括0和232-2。
應該注意的是，一MCTS擷取信息SEI內或者除了MTCS相關信息140之外的信息142之存在可以由資料流中的一旗標來控制。該旗標可以被命名為slice_reordering_enabled_flag等。如果被設置，則除信息140之外還存在信息142，其係例如num_associated_slices_minus2和output_slice_address，如果沒被設置，則信息142不存在，並且切片的相互位置佈置在擷取過程中被遵守或者以其他方式處理。
此外，應該注意的是，使用H.265/HEVC的術語，圖3中使用的語法元素名稱中的“_segment_”部分可以另外地以“_segment_address_”替換，但是技術內容保持相同。
甚至進一步，應該注意的是，儘管num_associated_slices_minus2建議信息142以指示一數字的整數形式俾指示區段110內的切片的數目，並指示該數目以差分為2的形式，但區段110內的切片的數目可另外地藉由在資料流中直接用信號通知或以差分為1的形式。例如，對於後者，可以將num_associated_slices_minus1用作語法元素名稱。注意，例如，任何區段110內的切片的該數量也可以被允許為1。
除了[2]中迄今為止預計的MCTS擷取過程之外，附加的處理步驟藉由如圖3中所體現的信息142與該顯式信號相關聯。這些附加的處理步驟有助於該擷取過程中由擷取器設備134執行的切片位址推導，並 且該擷取過程的以下概要藉由底線顯示促進發生的位置：設置一比特流inBitstream、一目標MCTS標識符mctsIdTarget、目標MCTS擷取信息集標識符mctsEISIdTarget和一目標最高TemporalId值mctsTIdTarget作為子比特流MCTS擷取過程的輸入。該子比特流MCTS擷取過程的輸出是一子比特流outBitstream。該輸出比特流的比特流一致性的要求是，對於本節中與比特流所指定的過程的輸出，任何輸出子比特流是一個一致性比特流。
輸出子比特流如下導出：
- 比特流outBitstream設置為與比特流inBitstream相同。
- 從outBitstream中刪除TemporalId大於mctsTIdTarget的所有NAL單元。
- 對於OutBitstream中每個訪問單元的剩餘每個VCL NAL，按如下方式調整切片節段：
- 對於第一個VCL NAL單元，將first_slice_segment_in_pic_flag的值設置為1，否則設置為0。
- 根據列表output_slice_address[i][j]，設置以比特流順序從第二個開始的非第一NAL單元(即切片)的slice_segment_address的值。
剛剛參照圖1至圖3描述的該實施例變型，藉由使用信息142作為切片位址的顯式信號，減少了切片位址決定和擷取器設備134要執行的該擷取過程的該繁瑣任務。根據圖3的該具體例子，信息包含一替代切片位址143，其僅對在切片部分順序中每一個第二和後續切片部分126，在從資料流124'到資料流136，同時維持切片順序來接管關於區段110內與切片108相關的切片部分126。該切片位址替代使用順序112分別涉及視訊138中的圖片144的圖片區域中的該一維切片位址分配，並且與沿著順序112簡單地舖設圖片144的該圖片區域不衝突，其係使用從被接管的該切片部分序列所獲得的該切片108序列。應該注意，並且還將在下面進一步提及，該顯式信號還可以被應用於該第一切片位址，即，該第一切片部分126的該切片位址。即使對於後者，一替代物143也可以包含在信息142中。 對於信息142的這種信號，按照流124'內的順序，還可以使得能夠放置對應於該切片部分126中第一切片部分126的切片108，該切片部分126攜帶在區段110內一切片108，其可在編碼順序112的起始位置處以外的其他位置，其可以是如圖1所示的左上角圖像角落。就切片位址的該顯式信號而言，如果這種可能性存在或被允許，其可被使用於在重新佈置分段區域110a和110b時被允許具有更大的一自由度。例如，在圖3所示的修改示例中，信息142還明確地發信號通知資料流136內的該第一切片部分126的該切片位址替換143，亦即圖2的情況下的α和β，然後信號142將能夠區分視訊138的該輸出圖片內的兩個允許或可用的分段區域110a和110b的布置。亦即，一個是分段區域110a放置在圖片的左側，由此在編碼順序112的開始位置處留下與在資料流136內首先傳輸的切片部分126相對應的切片108，就視訊資料流124而言，與視訊120的圖片100中的切片順序相比，其保持切片108之間的順序，且一個是分段區域120a放置在圖片144的右側，和藉由編碼順序106在視訊資料124內的該原始視訊中遍歷相同切片的該順序相比，從而改變了藉由編碼順序112所遍歷的圖片144內的該切片108的該順序。信號142明確地發出信號通知擷取器設備134用於修改的切片位址，其係一切片位址列表143，該切片位址列表143被排序或分配給視訊資料流124'內的該切片部分126。也就是說，信息142將按照編碼順序106將這些切片108被遍歷的次序，而指示區段110內的每個切片的該切片位址，並且這個顯式信號然後可以以這樣的方式而導致一排列，即與該原始編碼順序106所遍歷的順序相比，區段110的分段區域110a和110b改變了被順序112所遍歷的順序。從流124'接收到流136中的該切片部分126將相應地由擷取器設備134重新排序，因此，以便符合擷取切片部分126的切片108的排序係順序地藉由順序112所遍歷。根據該縮小或擷取的視訊資料流136從視訊資料流124'接收的切片部分126，應該沿著編碼順序112嚴格地彼此跟隨，即，以單調遞增的切片位址α和β，其係在擷取過程中由擷取器裝置134修正，該縮小或擷取的視訊資料流136的標準一致性將因此得以維持。因此，擷取器裝置134將修改該接管切片部分126之間的順序，以便根據沿著編碼順序112編碼在其中的切片108的順序來對接 管切片部分126進行排序。
這後面觀點係利用根據圖2的描述的另一變型，即重新排列接管的切片部分126的切片108的可能性。這裡，第二信息142在切片部分126之中用信號通知已經在區段110內對任何切片108進行編碼的順序的一重新佈置。以導致切片部分的一重新佈置的方式之顯式信號的切片位址替換143是當前描述的實施例的一種可能性。雖然可以以不同的方式藉由信息142用信號通知該擷取或減少的視訊資料流136內的切片部分126的重新佈置。本實施例在解碼器146中結束，將從切片部分126所重建的重建切片嚴格地沿著編碼順序112放置，這意味著例如使用圖塊光柵掃描順序，從而填充圖片144的圖片區域。藉由信號142發送的重新排列已經以某種方式被選擇，以便重新排列或改變該擷取的或接收的切片部分126之間的順序，使得藉由解碼器146佈置可能導致分段區域例如區域110a和110b與非重新排序的切片部分相比，改變它們的順序。如果由信息142用信號發送的重新排列保留了原來在資料流124'中的順序，那麼分段區域110a和110b可以保持它們在圖片110的原始圖片區域中的相對位置。
為了解釋當前的變型，請參考圖4。圖4顯示了該原始視訊的圖片110和該擷取視訊的該圖片144的該圖片區域。此外，圖4顯示了一示例性的圖塊劃分為圖塊104和由兩個不相交的分段區域或區域110a和110b組成的一示例性擷取區段110，即與圖片110的相對側150r和150l相鄰的分段區域110a和110b，在此，即沿著垂直方向，就側邊150r和150l的擷取方向而言係在它們的位置上重合。特別地，圖4顯示了圖片110的該圖片內容，並且因此圖片110為其一部分的視訊係一種特定類型，即全景視訊，在投影該3D場景於圖片110的一圖片區域上時，使得側邊150r和150l形成一場景。在圖片110下方，圖4顯示如何將區段110a和110b放置在該擷取視訊的圖片144的該輸出圖片區域內的兩個選項。再次，在圖4中使用圖塊名稱以說明兩種選擇。這兩個選項源於該視訊210已經以某種方式被編碼到流124中，從而相對於兩個區域110a和110b中的每一個，編碼係獨立於外部進行。應該注意的是，除了圖4中所示的兩個允許的選項之外，如果區域110a和110b中的每一個在每個區域中被細分為兩個 圖塊，其可能有兩個更多的選項，另外地，視訊係獨立於外部而被編碼在流124中，亦即，如果圖4中的每個圖塊自身是可擷取或獨立編碼的(關於空間和時間相互依賴性)部分。然後這兩個選項對應於在區段110中不同地加擾圖塊a、b、c和d。
再一次地，現在關於圖4描述的實施例的目的在於使第二信息142改變承載切片108的資料流124'中的切片108或NAL單元要被傳送或採用或者在擷取過程期間由擷取裝置134從資料流124'寫入該擷取或減少的視訊資料流136的順序。圖4圖示說明了所期望圖片子區段110由圖片110所展開的該圖片平面內的非相鄰圖塊或分段區域110a和110b組成的情況。圖片110的這個完整編碼的圖像平面係在圖4頂部中所顯示，其具有圖塊邊界和由包括圖塊a、b、c和d的兩個矩形110a和110b所組成的一期望MCTS 110。就場景內容而言，或者由於圖4中所示的視訊內容是全景視訊內容的事實，當圖片110借助於在此示例性顯示的等矩形投影來覆蓋相機360°周圍的環境時，期望的MCTS 110環繞左邊界150r和右邊界150l。換句話說，由於圖4所示的該圖片內容是一個全景內容的情況，在輸出圖片144的圖片區域內放置分段區域110a和110b的選項1和2中，第二種選擇實際上會更有意義。但是，如果圖片內容是另一種類型，例如非全景圖片，情況可能會有所不同。
換句話說，在完整圖片比特流124'中的圖塊A、B、C和D的順序是{a，b，c，d}。如果將該順序簡單地轉移到該擷取或減少的視訊資料流136中的編碼順序上或者在輸出圖像144中的相應圖塊的放置，在上述示例性情況下，如圖4的左下所示，則該擷取處理自身將不會導致該輸出比特流136內的期望的一資料排列。如圖4的右下所示，其顯示較佳的排列{b，a，d，c}，其導致一視訊比特流136，其產生用於傳統設備例如解碼器146的圖片144的該圖片平面上的連續圖片內容。這樣的傳統設備146可能不具有在解碼(即渲染)之後重新排列該輸出圖片144的子圖片區域作為像素域中的一後處理步驟的能力，並且甚至複雜的設備可能為更佳的選擇，以避免一後處續理努力。
因此，根據以上關於圖4有目的的示例，該第二信息142 分別為視訊資料流生成器128的該編碼側提供用於在幾個選擇或選項中用信號發送一較佳順序的一方法，其中，例如由一視訊資料流124'內的一個或多個圖塊的每一個群組所組成的分段區域110a、110b應當被佈置在一擷取或縮小的視訊資料流136或被其圖片144所展開的圖片區域中。根據圖5中呈現的特定語法示例，該第二信息142包括被編碼到資料流124'中的一列表並且指示落入區段110內的每個切片108在擷取比特流內的位置，其係以原始或輸入比特流的順序，即按照它們在比特流124'中出現的順序。例如，在圖4的示例中，較佳選項2將最終成一讀取為{1,0,3,2}的列表。圖5圖示說明了在MCTS擷取信息集合SEI信息內的該第二信息142的一語法的一具體示例。
語義係如下所示。
num_associated_slices_minus1[i]加1指示表示包含具有等於該列表mcts_identifier[i][j]中的任一個值的mcts標識符的MCTS的切片的數量。num_extraction_info_sets_minus1[i]的值應該在0至232-2的範圍內，包括0和232-2。
output_slice_order[i][j]以屬於具有等於輸出比特流中的列表mcts_identifier[i][j]中的任一個值的mcts標識符的比特流順序，來標識第j個切片的絕對位置。output_slice_order[i][j]的值應在0到223-2的範圍內，包括2和223。
接下來將描述在[2]中定義的擷取過程中的附加處理步驟，並有助於理解圖5的信號實施例，其中藉由底線突出顯示了與[2]有關的附加：設置一比特流inBitstream、一目標MCTS標識符mctsIdTarget、目標MCTS擷取信息集標識符mctsEISIdTarget和一目標最高TemporalId值mctsTIdTarget作為該子比特流MCTS擷取過程的輸入。
該子比特流MCTS擷取過程的輸出是一子比特流outBitstream。
該輸入比特流的比特流一致性之要求是，對於本節中與比特流所指定的過程的輸出，任何輸出子比特流是一個一致性比特流。
對於第i個擷取信息集，OutputSliceOrder[j]從列表output_slice_order[i][j]導出。
輸出子比特流如下導出：
- 該比特流outBitstream設置為與該比特流inBitstream相同。[...]
- 從outBitstream中刪除TemporalId大於mctsTIdTarget的所有NAL單元。
- 根據該OutputSliceOrder[j]列表來排序每個訪問單元的NAL單元。
- 對於OutBitstream中剩餘的每個VCL NAL單元，按如下方式調整切片節段：
-對於每個訪問單元內的該第一個VCL NAL單元，將first_slice_segment_in_pic_flag的值設置為1，否則設置為0。
-根據PPS中定義的圖塊設置，來設置slice_segment_address的值，其中PPS的pps_pic_parameter_set_id等於slice_pic_parameter_set_id。
因此，根據圖5來總結圖2的實施例的上述變型，該變型與以上關於圖3討論的變型的不同之處在於，第二信息142沒有明顯地用信號通知關於片位址如何被修改。也就是說，根據剛剛概述的變型，該第二信息142確實沒有明顯地對從資料流124擷取並送到資料流136中的切片部分的一切片位址的一替代而發送信號。相反，圖5的實施例涉及這樣的情況，其中第一信息140將圖片100的該圖片區域內的該空間區段110定義為至少包括一第一分段區域及一第二分段區域，該視訊被編碼到該視訊資料流124'中的第一分段區域係與第一分段區域100a外部無關，視訊被編碼到視訊資料流124'中的第二分段區域110b係與第二分段區域110b外部無關，其中多個切片108中的任何一個都不跨越第一和第二分段區域110a和110b中的任何一個的邊界；至少在這些區域110a和110b的單元中，所擷取的該視訊資料流136的該輸出視訊138的該圖片144可以被不同地組成，從而產生兩個選項，並且根據以上分別於圖5討論的變型，該第二信息142發信號通知重新排序信息，該信息指示如何重新排序位於區段110中的切 片108的該切片部分126，以從視訊資料流124'相對於該切片部分的順序及視訊資料流124'中擷取該縮小的視訊資料流136。該重新排序信息142可以包括例如一個或多個語法元素的一集合。可被一個或多個語法元素用信號通知的可能狀態中，以形成信息142，其中可能存在重新排序以保持原始排序的依據。例如，信息142用信號通知每個切片部分126的一階(圖5中的141)，其係落入區段110的一圖片100的切片108之一的編碼，並且該擷取器裝置134根據這些階在所擷取或減少的視訊資料流136內重新排序該切片部分126。然後，該擷取器設備134以如下方式修改該縮小或擷取的視訊資料流136內的這樣重新佈置的切片部分126的切片位址：該擷取器設備134知道關於從資料流124'擷取到資料流136中的視訊資料流124'內的那些切片部分126。因此，該擷取器設備134知道在圖片100的該圖片區域內的這些被接管切片部分126相對應的該切片108。基於由信息142提供的重新排列信息，該擷取器裝置134能夠決定分段區域110a和110b如何以一平移方式相互移位，從而導致對應於視訊138的圖像144的該矩形圖片區域。例如，在圖4的示例性情況中，選項2，該擷取器設備134將切片位址0分配給對應於圖塊b的切片，因為切片位址0出現在由第二信息142提供的該階列表中的第二位置處。因此，該擷取器裝置134能夠放置與圖塊b相關的一個或多個切片，然後跟隨下一個切片，根據該重新分類信息，該下一個切片與指向該位置的切片位址相關聯，根據編碼順序112，該位置緊接在圖片區域中的圖塊b之後。在圖4的該示例中，這是關於圖塊a的該切片，因為下一個階位置係指示在圖片100的區段110中該第一切片a。換句話說，該重新排序被限制為導致分段區域110a和110b的任何可能重新佈置。對於每個分段區域，個別地編碼順序106和112在相同路徑中遍歷相應的分段區域係為真的。然而，由於平鋪，可能與圖片144的圖片區域中的分段區域110a和110b相對應的區域，亦即一方面圖塊b和d的組合的區域和另一方面圖塊A和C的組合的區域，在選項2的情況下，藉由編碼順序112以交織方式被遍歷，並且相應地，編碼位於相應圖塊中的切片的該關聯切片部分126係在該擷取或縮小視訊流136內交錯。
另一實施例係使用訊號通知一保證，其使用現有語法用信號 通知的一進一步的順序以反映較佳的輸出切片順序。更具體地說，本實施例可以藉由解釋MCTS擷取SEI信息[2]的出現來當作一保證，保證來自[1]中的D.2.29和E.2.29章節的MCTS SEI信息中形成MCTS的矩形的順序，以表示圖塊/NAL單元的該較佳輸出順序。在圖5的具體例子中，這將導致對於包含在該{b，a，d，c}順序的每一個圖塊係使用一個矩形。除了OutputSliceOrder[j]的導出之外，該實施例的例子與上述例子相同，例如，OutputSliceOrder[j]從MCTS SEI消息中發送的矩形的順序導出。
總結上面的例子，該第二信息142可以向該擷取器134發信號通知其如何在從該視訊資料流擷取該縮小的視訊資料流136時，如何重新排序落入該空間區段110中的切片的該切片部分126，相對於如何在視訊資料流124'的該切片部分序列中對該切片部分126進行排序，該視訊資料流124'的該切片部分序列的每個切片部分126的該切片位址係一維地索引該切片108的一編碼開始的一位置，該切片108沿著該第一編碼掃描次序106被編碼到相應切片部分126中，該第一編碼掃描次序106遍歷該圖片區域並且沿著該圖片100已經被編碼成該視訊資料流的該切片部分序列。從而，該視訊資料流124'內的該切片部分序列的該切片部分的該切片位址單調遞增，並且從該視訊資料流124'中擷取該縮小視訊資料流136時修改該切片位址係被定義藉由依序地將切片編碼放置到縮小的視訊資料流136被限制到的該切片部分中並且被第二信息142用信號通知重新排序的該切片部分，其係沿一第二編碼掃描順序112，該第二編碼掃描順序112遍歷該減小的圖片區域並設置該切片部分126的該切片位址以索引沿著該第二編碼掃描次序112測量的該切片的該編碼開始的該位置。以和該第二編碼掃描次序112遍歷該相應空間區域方式的一致方式，該第一編碼掃描次序106遍歷至少兩個分段區域的該集合中的每一個內的該圖片區域。藉由第一信息140將至少兩個分段區域中的該集合中的每一個集合表示為矩形圖塊的一子陣列，其中圖片100被細分成行和列，其中在繼續進行下一個圖塊之前，該第一和第二編碼掃描次序使用列方向圖塊光柵掃描以完全遍歷一當前圖塊。
如上所述，該輸出切片順序可以從另一個語法元素中導出， 例如如上所述的output_slice_address[i][j]。在這種情況下，關於output_slice_address[i][j]的上述示例性語法的一重要補充是對於包括第一個的所有相關切片發送切片位址以啟用排序，亦即，num_associated_slices_minus2[i]變為num_associated_slices_minus1[i]。除了OutputSliceOrder[j]的導出之外，該實施例的例子與上述例子相同。例如，對於該第i個擷取信息集，OutputSliceOrder[j]從列表output_slice_address[i][j]導出。
甚至進一步的實施例將由信息142上的一單個旗標組成，其指示該視訊內容環繞在一組圖片邊界處，例如，垂直的圖片邊界。因此，在該擷取器134中導出一輸出順序，該輸出順序包含如前所述的兩個圖片邊界上的圖塊的圖片子部分。換句話說，信息142可以表示兩種選擇中的一種：該多個選項中的一第一個選項指示該視訊是全景視訊，以其中圖像的不同邊緣部分彼此相鄰的方式顯示一場景，以及該多個選項中的一第二個選項指示該不同邊緣部分彼此不會在視覺上彼此鄰接。
區段110係被該至少兩個分段區域a、b、c、d所組成，以形成第一區域110a和第二區域110b，所述第一區域110a和第二區域110b與不同邊緣部分中的不同邊緣即左側邊緣150r和右側邊緣1501相鄰，從而在在第二信息142表示該第一選項的情況下，該縮小的圖片區域係藉由放置至少兩個分段區域的集合在一起來構成，使得第一和第二區域沿著不同的邊緣部分鄰接，並且在該第二信息142表示該第二選項的情況下，該縮小的圖片區域係藉由將具有不同邊緣部分彼此背離的第一和第二區域的一組至少兩個分段區域的集合放在一起來組成。
為了完整起見，應該注意的是，圖片144的該圖片區域的形狀不限於將區段110的圖塊塊a、b、c和d的各個區域一起縫合在一起，以保持如圖1中的(a、c、b、d)的任何連通叢集的相對排列，或沿著最短的互連方向(例如圖2中的水平縫合區(a，c)和(b，d))將任何這樣的叢集縫合在一起。相反，例如，在圖1中，該擷取的資料流的圖片的該圖片區域可以是全部四個區域的一行，並且在圖2中，它可以是全部四個區域的列的一行。通常，視訊138的圖像144的該圖片區域的一尺寸和形狀可以在資料流124' 中以不同的部分存在：例如，可以以信息140內的一個或多個參數的形式給出該信息，以便在從流124'擷取一區段特定子流136時，針對參數集的一改寫來引導擷取器134中的該擷取過程。例如，用於替換流124'中的一參數集的一嵌套參數集可以包含在信息140中，該參數集例如包含和指示圖片144的尺寸和形狀的有關圖片尺寸的一參數，例如用像素表示，以便在擷取器134中擷取期間替換流124'的參數集，以覆寫參數集中指示圖片100的尺寸的舊參數。然而，附加地或另外地，可以將圖片144的該圖片尺寸被指示為信息142的一部分。如果在信息142中沒有明顯地提供切片位址，可明顯地將圖片144的形狀以信息142等立即可讀高階語法元素的形式之發信號可能是特別有利的。然後需要解析嵌套的參數集以導出位址。
還應該注意的是，在更複雜的系統設置中，可以使用立方體投影。這種投影避免了已知的等矩形投影的弱點，例如嚴重變化的採樣密度。然而，在使用立方體投影時，需要一渲染階段以從內容(或其子部分)重新創建一連續的視區。這樣的渲染階段可能以不同的複雜度/能力之間折衷而存在，即，一些可行且現成的渲染模塊可能期望內容(或其子部分)的一給定佈置。在這種情況下，藉由以下揭露來實現安排的可能性是至關重要的。
在下文中，描述涉及本申請的第二觀點的實施例。本申請的第二觀點的實施例的描述再次從一簡要介紹開始以進入一般問題或藉由這些實施例設想和解決的問題。
在但不限於360°視訊的情況下，對於MCTS在本文擷取的一有趣使用情況是如圖6圖示說明的包含在圖像平面上彼此相鄰的多個解析度變型的內容的複合視訊。圖6的底部描繪了具有多個解析度的該合成視訊300，並且線302圖示說明了圖塊304的圖塊邊界，高解析度視訊306和低解析度視訊308的合成係被細分成用於編碼成一相應的資料流。
更確切地說，圖6顯示了一高解析度視訊在306處的一圖片和一低解析度視訊在308處的諸如一共時圖片。例如，視訊306和308兩者都顯示完全相同的場景，即具有相同的圖形或視場，但解析度不同。然而，視場可另外地僅互相部分重疊，並且在重疊區域中，與視訊308相比， 空間解析度其表現在視訊306的圖片的不同數量取樣上。實際上，視訊306和308的保真度不同，即對一相同場景區段的取樣數量或像素。視訊306和308的位於同一處的圖片並排組成較大的圖片，以導致合成視訊300的圖片。例如，圖6顯示了視訊308的圖片係水平減半，並且兩個一半係一個在在另一個之上，附加在視訊306的共時圖片的右側，以便獲得對應的視訊300。平鋪以這樣的方式執行，使得沒有圖塊304一方面跨越視訊306的高解析度圖片與另一方面源自低解析度視訊308的圖片內容之間的接合處。在圖6的示例中，圖片300的平鋪導致視訊300的該圖片的高解析度圖片內容被劃分成8x4圖塊、以及由低解析度視訊308造成每個半部分被劃分成2x2圖塊。總而言之，視訊300的圖片是10x4寬。
當以適當的方式用MCTS對這樣的多解析度合成視訊300進行編碼時，MCTS擷取可以產生該內容的一變型312。例如，如圖7所示的這樣的變型312可以被設計為描繪高解析度的一預定義的子圖像310a以及低解析度場景的其餘或另一個子部分，其中合成圖像比特流內的MCTS310係比對於三個方面或分開的區域310a、310b、310c。
也就是說，該擷取視訊的圖片，即圖片312具有三個圖場314a、314b和314c，每個圖場對應於MCTS區域310a、310b、310c中的一個，其中區域310a是圖片300的該高解析度圖片區域的一子區域，而另外兩個區域310b和310c是圖片308的該低解析度視訊內容的子區域。
已經說過了，關於圖8，其描述了涉及本申請的第二觀點的本申請的實施例。換句話說，圖8顯示了向一接收者站點呈現多解析度內容的一場景，並且特別是，該各個站點參與產生到該接收站點的不同解析度的多個版本的。應該注意的是，沿著圖8中所示的處理路徑佈置在各個站點處的各個裝置和過程係表示單獨的裝置和方法，因此圖8應該不被解釋為僅顯示一系統或總體方法。類似的陳述對於圖2也是如此，圖2同樣顯示了單獨的裝置和方法。在一個圖中一起顯示所有這些站點的原因僅僅是為了便於理解由關於這些附圖描述的實施例引起的相互關係和優點。
圖8顯示了一視訊資料流330，其中編碼了圖片334的一視訊332。圖片334是將一高解析度視訊338的同時間圖片336和另一方面的 一低解析度視訊342的圖片340拼接在一起的結果。
更確切地說，視訊338和342的該圖片336和340或者對應於完全相同的觀看端口344或者至少部分重疊，以便在重疊區域中顯示相同的場景，然而，其中該高解析度視訊圖片336採樣數量比該相應低解析度圖片340相同的場景內容的採樣數量為更高，因此，圖片336的保真度的該場景解析度高於圖片340的保真度的場景解析度。一合成器346基於視訊338和342來執行合成視訊332的圖片334的合成。合成器346將該圖片336和340縫合在一起。在這樣做時，合成器346可以細分低解析度視訊的圖片340的高解析度視訊338的圖片或兩者，以便導致對該合成視訊332的該圖片334的該圖片區域的有利填充和修補。一視訊編碼器348然後將該合成視訊332編碼成視訊資料流330。一視訊資料流產生裝置350可以被包含在視訊編碼器348中或連接到視訊編碼器348的輸出，以便提供視訊資料流330，其具有指示一圖片334或每個圖片或視訊332、或者每個圖片或在視訊332內的特定圖片序列內的視訊332的一信號352，其被編碼在視訊資料流330內，俾超過一次地顯示一共同場景內容，亦即以相互不同的解析度在不同的空間部分。這些部分在圖8中用H和L表示，以便藉由合成器346完成的構圖來表示它們的來源，並且用參考標號354和356表示。應當指出，為了形成圖片332的內容，可以將多於兩個不同的解析度版本放在一起，並且分別如圖8和圖6和圖7所示的兩個版本的使用僅用於說明的目的。
為了說明的目的，圖8顯示了接收視訊資料流330的一視訊資料流處理器358。視訊資料流處理器358例如可以是視訊解碼器。在任何情況下，視訊資料流處理器358都能夠檢查信號352，以便根據這個信號為基礎俾確定視訊資料流處理器358是否應當開始諸如解碼視訊資料流330的處理，這進一步取決於例如視訊資料流處理器358或連接在其下游的設備的特定能力。
舉例來說，一視訊資料流處理器358僅能夠將完全編碼到視訊資料流330中圖像332呈現，然後視訊資料流處理器358可拒絕處理視訊資料流330，其信號352指示該等個別圖像顯示在這些個別圖片的不同空 間部分處的不同空間解析度下的一共同場景內容，亦即，信號352指示視訊資料流330是多解析度視訊資料流。
例如，信號352可以包括在資料流330內傳送的一旗標，該旗標可在一第一狀態和一第二狀態之間切換。例如，第一狀態可以指示剛剛概述的事實，即該視訊332的各個圖片以不同的解析度顯示相同場景內容的多個版本。該第二個狀態指示這種情況不存在，即圖片僅僅以一種解析度顯示一個場景內容。視訊資料流處理器358因此將響應於處於該第一狀態的該旗標352以拒絕執行某些處理任務。
諸如前述旗標之類的信號352可在具有一序列參數集或視訊參數集的資料流330內傳送。在以下描述中，在HEVC中為未來使用保留的一可能語法元素被示例性地識別為一可能的候選者。
如以上關於圖6和圖7所指示的，這不是必須的，但可以是一合成視訊332已經以某種方式被編碼到一視訊資料流330中，其係針對一組互相不重疊的空間區域360中的每一個，諸如圖塊或圖塊子陣列，使得編碼是獨立於相應的空間區域360之外。如上面關於圖2所描述的，該編碼非相關性限制空間和時間預測和/或上下文推導，以便不會跨越空間區域360之間的邊界。因此，例如，編碼依賴性可以將視訊332的一特定圖片334的一特定空間區域360的編碼限制為僅參考視訊332的另一圖片334內的共同定位的空間區域，而另一圖片係以和圖片334相同的方式被細分成空間區域360。視訊編碼器348提供有諸如信息140或信息140和142的組合的擷取信息的視訊資料流330、或者像裝置128那樣的一個相應裝置，係可連接到其輸出。該擷取信息可以涉及空間區域360的特定或所有可能的組合作以做為一擷取區段，諸如圖7中的擷取區段310。該信號352另外可包括關於視訊332的圖片334的一空間細分成關於不同場景解析度的區段354和356的信息，即關於圖片332的該圖片區域內的每個空間區段354和356的尺寸和位置。在信號352內的這種信息的基礎，視訊資料流處理器358例如可以從視訊流330的可能可擷取區段的列表中排除特定擷取區段，例如那些落入區段354和356中的不同區段的混合空間區域360的擷取區段，從而避免了對混合不同解析度的擷取區段進行視訊擷取的執行。 在這種情況下，視訊流處理器358可以例如包括諸如圖2的擷取器設備之類的一擷取器設備。
另外地或替代地，信號330可以包括關於視訊332的該圖片334顯示相互共同場景內容的不同解析度的信息。此外，信號352也可能僅指示視訊332的圖片334在不同圖片位置處多次顯示一共同場景內容的不同解析度的次數。
如上所述，視訊資料流330可以包括關於哪個視訊資料流330是可擷取的一可能擷取區域列表上的擷取信息。然後，信號352可以包括進一步的信號，該信號針對這些擷取區域中的至少一個或更多個擷取區域中的每一個，以指示該相應擷取區域的一分段區域的一視角方向，其中該共同場景內容在相應擷取區域內以最高解析度顯示，和/或該相應擷取區域的該分段區域的一共享面積，其中該共同場景內容在該相應擷取區域內以最高解析度顯示，在該相應擷取區域的整個區域之外，和/或將該相應的擷取區域分割成分段區域的一空間細分，在該相應的擷取區域的一整個區域中，相互不同的解析度分別顯示該共同場景內容。
因此，這樣的信號352可以在比特流中以一高級別而被暴露，使得其可以容易地推到資料串流傳輸系統中。
一種選擇是在配置文件層級語法中使用其中一個通用保留的X個零旗標。該旗標可以被命名為通用非多解析度旗標(general non-multi-resolution flag)：等於1的通用非多解析度旗標(general non-multi-resolution flag)指定經解碼的輸出圖片不包含相同內容的不同解析度的多個版本(即，諸如區域打包的相應語法受限制)。等於0的通用非多解析度旗標指定比特流可能包含這樣的內容(即沒有約束)。
另外，本揭露因此由信號通知關於完整比特流內容特徵的性質組成，即組合中變型的數量和解析度。此外，附加信號以一易於存取的形式提供編碼比特流中關於每個MCTS的以下特徵的信息：
‧主要視口方向：
MCTS高解析度視口中心的方向為何，例如從一預定義的初始視口中 心的三角偏航、俯仰和/或滾動方面。
‧全面覆蓋
該全部內容在MCTS中表示的百分比。
‧高到低解析度比
MCTS中高解析度區域和低解析度區域的該比例是多少，即整個覆蓋的全部內容的多少部分係以高解析度/高保真度表示。
已經存在用於一個完整的全向視頻的視口方向或全面覆蓋的信號信息。有必要為可能被擷取的子區域添加類似的信號。這些信息採用SEI[2]的形式，因此可以包含在運動約束圖塊集合(MCTS)擷取信息嵌套SEI中(Motion-constrained tile sets extraction information nesting SEI)。
但是，需要這些信息來選擇要被擷取的MCTS。具有在MCTS擷取信息嵌套SEI中的信息添加一額外的間接並且需要更深的解析(該MCTS擷取信息嵌套SEI保存選擇一擷取的集合所不需要的附加信息)，以便選擇一個給定的MCTS。從設計的角度來看，這是一種更清晰的方法，可以將這信息或其中的一部分信息以只包含重要信息的一中心點而發出信號，以便選擇一個擷取的集合。另外，所提到的信號包括關於整個比特流的信息，並且在所提出的情況下，希望發信號通知哪個是高解析度的覆蓋範圍，哪個是低解析度的覆蓋範圍，或者，如果混合更多解析度，每個解析度的覆蓋範圍以及混合解析度擷取視訊的視口方向。
一個實施例將添加每個解析度的覆蓋範圍並將其添加到來自[2]的360 ERP SEI。然後，這個SEI將具有潛力地被包含到該MCTS擷取信息嵌套SEI中，並且需要執行上述繁瑣的任務。
在另一個實施例中，向該MCTS擷取信息集合SEI添加一旗標，例如，指示存在所討論的信號的全向的信息，使得僅需要該MCTS擷取信息集合SEI以選擇要被擷取的該集合。
儘管已經在裝置的上下文中描述了一些觀點，但是其明白地顯示這些觀點也表示相應方法的描述，其中一區塊或裝置係對應於一方法步驟或一方法步驟的一特徵。類似地，在一方法步驟的上下文中描述的觀點也表示一相應裝置的一對應區塊或項目或特徵的一描述。方法步驟中的 一些或全部可以由例如一微處理器、一可編程電腦或一電子電路的一硬體裝置來執行(或使用)。在一些實施例中，一個或多個最重要的方法步驟可以由這樣的設備執行。
本揭露的資料流可以存儲在一數位儲存介質上，或者可以在諸如一無線傳輸介質或諸如互聯網等一有線傳輸介質的一傳輸介質上傳輸。
根據特定實施要求，本揭露的實施例可以用硬體或軟體來實現。可以使用儲存有電子可讀控制信號的一數位儲存介質，例如一軟碟片、一DVD、一藍光、一CD、一ROM、一PROM、一EPROM、一EEPROM或一FLASH記憶體來執行該實現，其中可與可編程電腦系統協同合作(或能夠合作)，從而執行相應的方法。因此，該數位儲存介質可以是電腦可讀取的。
根據本揭露的一些實施例包括具有電子可讀控制信號的一資料載體，該資料載體能夠與可編程電腦系統協作，從而執行本文描述的方法之一。
通常，本揭露的實施例可以實現為具有程式代碼的電腦程式產品，當電腦程式產品在一電腦上運行時，該程式代碼可操作以執行其中一種方法。程式代碼可以例如儲存在機器可讀載體上。
其他實施例包括用於執行存儲在一機器可讀載體上的本文描述的方法之一的電腦程式。
換言之，本揭露方法的一實施例因此是一個具有一程式碼的一電腦程式，當該電腦程式在一電腦上運行時以執行這裡描述的方法之一。
因此，本揭露方法的另一實施例是一資料載體(或一數位儲存介質或一電腦可讀介質)，其上記錄有用於執行本文所述方法之一的電腦程式。該資料載體、該數位儲存介質或該記錄介質通常是有形的和/或非過渡的。
因此，本揭露方法的另一實施例係表示用於執行本文描述的方法之一的電腦程式的一資料流或一信號序列。該資料流或信號序列可以例如被配置為藉由一資料通信連接傳送，例如經由互聯網。
進一步的實施例包括一處理裝置，例如一電腦或一可編程邏輯器裝置，其被配置為或適於執行本文描述的方法之一。
另一實施例包括其上安裝有用於執行本文描述的方法之一的電腦程式的電腦。
根據本揭露的另一實施例包括一設備或一系統，其被設置為將用於執行本文描述的方法中的一個的電腦程式(例如電子地或光學地)傳送給一接收器。接收器可以例如是一電腦、一移動設備、一儲存設備等。該裝置或系統可以例如包括用於將電腦程式傳送到接收器的一檔案伺服器。
在一些實施例中，可以使用可編程邏輯器件(例如現場可程式化閘陣列，FPGA)來執行本文描述的方法的一些或全部功能。在一些實施例中，FPGA可以與微處理器協作以便執行本文描述的方法之一。通常，這些方法較佳由任何硬體設備執行。
這裡描述的設備可以使用一硬體設備或使用一電腦或使用一硬體設備和一電腦的一組合來實現。
本文描述的設備或本文描述的設備的任何組件可以至少部分地以硬體和/或以軟體來實現。
這裡描述的方法可以使用一硬體裝置或使用一電腦或使用一硬體裝置和一電腦的一組合來執行。
本文描述的方法或本文描述的裝置的任何組件可以至少部分地藉由硬體和/或藉由軟體來執行。
上述實施例僅用於說明本揭露的原理。應該理解，對於本領域的其他技術人員而言，這裡描述的配置和細節的修改和變型將是顯而易見的。因此，其目的僅在於即將核准的專利請求項的範圍，而不是藉由對本文實施例的描述和解釋呈現的具體細節。
儘管在設備的上下文中描述了一些觀點，應該理解，該觀點也表示相應方法的一描述，使得裝置的一區塊或一結構部件也被理解為對應的一方法步驟或者作為一方法步驟的一特徵。藉由類推，已經在方法步驟的上下文中或者作為方法步驟描述的觀點也表示一相應設備的一對應區 塊或細節或特徵的描述。
上述實施例僅係為了方便說明而舉例而已，本揭露所主張之權利範圍自應以申請專利範圍該為準，而非僅限於上述實施例。

Claims (40)

  1. 一種視訊資料流，包括：一切片部分序列，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置；擷取信息，指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，其係藉由將該視訊資料流限制在其中已編碼空間區段內的任何切片的切片部分，並且修改該切片位址以便涉及該空間較小視訊的一減小的圖片區域，該擷取信息包括：一第一信息，其定義該圖片區域內的該空間區段，其中該多個切片中沒有一個跨越該空間區段的邊界；以及一第二信息，其用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
  2. 如申請專利範圍第1項所述之視訊資料流，其中，該第一信息將該圖片區域內的該空間區段定義為由一組至少兩個分段區域所組成，在每一個分段區域內，該視訊被編碼到該與分別的分段區域外部無關的視訊資料流中，其中該多個切片中沒有一個跨越該至少兩個分段區域的任一個的邊界。
  3. 如申請專利範圍第2項所述之視訊資料流，其中，該多個選項中的一第一個選項指示該視訊是一全景視訊，該全景視訊以其中圖像的不同邊緣部分在視覺上彼此相鄰的方式顯示一場景；以及該多個選項中的一第二個選項指示不同的邊緣部分不會在視覺上彼此鄰接，其中該至少兩個分段區域形成第一和第二區域，其係鄰近不同邊緣部分中的不同邊緣， 以便，在發出該第一選項的該第二信息的情況下，該減小的圖片區域的組成係藉由將該組至少兩個分段區域放在一起，以使得第一和第二區域沿著不同的邊緣部分鄰接，以及在發出該第二選項的該第二信息的情況下，該減小的圖片區域的組成係藉由將該組至少兩個分段區域放在一起，以使得第一和第二區域沿著不同的邊緣部分彼此背離的。
  4. 如申請專利範圍第2項所述之視訊資料流，其中，該第二信息用信號通知如何在從該視訊資料流擷取該縮小的視訊資料流時，相對於如何在該視訊資料流的該切片部分序列中對該切片部分進行排序，如何重新排序落入該空間區段中的切片的該切片部分，以及該視訊資料流的該切片部分序列的每個切片部分的該切片位址一維地索引該切片的一編碼開始的一位置，該切片沿著一第一編碼掃描次序被編碼到相應切片部分中，該第一編碼掃描次序106遍歷該圖片區域並且沿著該圖片已經被編碼成該視訊資料流的該切片部分序列，以便該視訊資料流內的該切片部分序列的該切片部分的該切片位址單調遞增，以及從該視訊資料流中擷取該縮小的視訊資料流時修改切片位址係被定義藉由順序地將編碼切片放置到該縮小的視訊資料流被限制到並且被一第二信息用信號通知重新排序的該切片部分中，其係沿一第二編碼掃描順序，該第二編碼掃描順序係遍歷該減小的圖片區域並設置該切片部分的該切片位址，以索引沿著該第二編碼掃描次序測量的該切片的該編碼開始的該位置。
  5. 如申請專利範圍第4項所述之視訊資料流，其中，以和該第二編碼掃描次序遍歷該相應空間區域方式的一致方式，該第一編碼掃描次序遍歷該至少兩個分段區域的組中的每一個內的該圖片區域。
  6. 如申請專利範圍第4項所述之視訊資料流，其中，藉由該第一信息將該至少兩個分段區域中的組中的每一個組表示為矩形圖塊的一子陣列，其 中該圖片被細分成行和列，其中在繼續進行下一個圖塊之前，該第一和該第二編碼掃描次序使用一列方向圖塊光柵掃描以完全遍歷一當前圖塊。
  7. 如申請專利範圍第1項所述之視訊資料流，其中，該第二信息針對切片部分的至少一個子集中的每一個子集，其具有該空間區段內的任何切片編碼於其中，以信號通知該切片位址的一替代。
  8. 如申請專利範圍第7項所述之視訊資料流，其中，該視訊資料流的該切片部分序列的每個切片部分的該切片位址與該視訊的圖片區域相關，並且該切片位址的該替代與該減小的圖片區域相關。
  9. 如申請專利範圍第6項所述之視訊資料流，其中，該視訊資料流的該切片部分序列的每個切片部分的該切片位址一維地索引該該切片的一編碼開始的一位置，該切片沿著一第一編碼掃描次序被編碼到該相應切片部分中，該第一編碼掃描次序遍歷該圖片區域並且沿著該圖片已經被編碼成該視訊資料流的該切片部分序列，並且該切片位址的該替代沿著沿遍歷該減小的圖片區域的一第二編碼掃描順序俾一維地索引該編碼開始的該位置。
  10. 如申請專利範圍第7項所述之視訊資料流，其中，該切片部分的該子集排除該切片部分序列的該切片部分中的一第一切片部分，該切片部分具有該空間區段內的任何切片編碼於其中，並且其中該第二信息遵循該切片部分在該視訊資料流中出現的一次序，俾順序地提供該切片部分的每一個子集一替代。
  11. 如申請專利範圍第7項所述之視訊資料流，其中，該第一信息將該圖片區域內的該空間區段定義為由一組至少兩個分段區域所組成，在每一個分段區域內，該視訊被編碼到與分別的分段區域外部無關的該視訊資料流中，其中該多個切片中沒有一個跨越該第一和第二分段區域的任一個的邊界。
  12. 如申請專利範圍第11項所述之視訊資料流，其中，該切片部分的該子集包含該切片部分序列的所有切片部分，該切片部分具有該空間區段內的任何切片編碼於其中，並且其中該第二信息遵循該切片部分在該 視訊資料流中出現的一次序，俾順序地提供該切片部分的每一個子集一替代。
  13. 如申請專利範圍第12項所述之視訊資料流，其中，該第二信息更發信號通知在從該視訊資料流擷取該縮小的視訊資料流時，相對於如何在該視訊資料流的該切片部分序列中對該切片部分進行排序，如何重新排序位於該空間區段內的切片的該切片部分，以及當重新排序時，該第二信息遵循該切片部分在該縮小的視訊資料中出現的一次序，俾順序地提供該切片部分的每一個子集一替代。
  14. 如申請專利範圍第1項所述之視訊資料流，其中，被該視訊資料流所包含的該切片部分序列，其包含在該空間區段內一切片的已編碼的切片部分和在該空間區段外一切片的已編碼切片部分；或被該視訊資料流所包括的該切片部分序列，其包含在該空間區段內一切片的已編碼的切片部分，但是沒有在該空間區段外一切片的已編碼的切片部分。
  15. 如申請專利範圍第1項所述之視訊資料流，其中，該第二信息定義該縮小的圖片區域的一形狀及尺寸。
  16. 如申請專利範圍第14項所述之視訊資料流，其中，該第一信息藉由一參數集替換中的一尺寸參數來定義該縮小的圖片區域的一形狀和尺寸，該參數集替換應當用於替代在從該視訊資料流擷取該縮小的視訊資料流時在該視訊資料流中設置的一對應參數。
  17. 一種用於生成視訊資料流的設備，被配置為：提供具有一切片部分序列的該視訊資料流，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每一個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置；提供具有擷取信息的該視訊資料流，該擷取信息指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，藉由將該視訊資料流限制在其中已編碼該空間區段內的任何切片的切片部分， 並且修改該切片位址以便涉及該空間較小視訊的一減小的圖片區域，該擷取信息包括：一第一信息，其定義該圖片區域內的該空間區段，在該空間區段內，該視訊被編碼到與該空間區段外部無關的該視訊資料流中，其中多個切片中沒有一個跨越該空間區段的邊界；以及一第二信息，其用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
  18. 一種用於從一視訊資料流中擷取一縮小的視訊資料流的設備，該視訊資料流具有編碼於其內的該視訊，該縮小的視訊資料流具有編碼於其內的一空間較小視訊，該視訊資料流包括一切片部分序列，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置，其中該設備被配置為：從該視訊資料流中讀取擷取信息；從該擷取信息中得出該圖片區域內的一空間區段，其中該多個切片中沒有一個跨越該空間區段的邊界，並且其中該縮小的視訊資料流被限制在其中已編碼空間區段內的任何切片的切片部分；以及使用藉由該擷取信息的一顯式信號從該多個選項中確定的多個選項之一，以修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該空間較小視訊的一減小的圖片區域中所處的位置。
  19. 如申請專利範圍第17項所述之設備，其中，該視訊資料流是根據申請專利範圍第2項。
  20. 一種視訊資料流，已經在其中編碼了一視訊，其中該視訊資料流包括指示該視訊的一圖片以不同解析度在該圖片的不同空間部分處顯示一共同場景內容的一信號。
  21. 如申請專利範圍第20項所述之視訊資料流，其中，信號包含一旗標，該旗標可在一第一狀態和一第二狀態之間切換，其中該第一狀態指示該視訊的該圖片包含不同的空間部分，在該空間部分處該圖片顯示處於不同的解析度，並且該第二狀態指示該視訊的該圖片僅以一個解析度顯示該場景的每個部分，其中該旗標被設置為該第一狀態。
  22. 如申請專利範圍第21項所述之視訊資料流，其中，該旗標被包含在該視訊資料流的一序列參數集或視訊參數集中。
  23. 如申請專利範圍第20項所述之視訊資料流，其中，該視訊資料流相對於一組互相不重疊的空間區域中的每一個，以獨立於該相應空間區域外部的方式被編碼。
  24. 如申請專利範圍第20項所述之視訊資料流，其中，該信號包括關於不同解析度的一次數的信息，該次數係關於該視訊的該圖片顯示在該不同空間部分處的該共同場景內容。
  25. 如申請專利範圍第20項所述之視訊資料流，其中，該信號包括關於該視訊的該圖片的空間細分成區段的信息，每個區段顯示該共同場景內容，至少兩個區段顯示具有不同解析度的該共同場景內容。
  26. 如申請專利範圍第20項所述之視訊資料流，其中，該信號包括關於該視訊的該圖片在不同空間部分處顯示該共同場景內容的一解析度差異的信息。
  27. 如申請專利範圍第20項所述之視訊資料流，其中，該視訊資料流包括擷取信息，該擷取信息指示該視訊資料流允許從該視訊資料流擷取一自包含式視訊資料流的一組擷取區域，該組擷取信息表示藉由在相應的擷取區域內，一視訊被限制於該視訊的圖片內容，而不需要重新編碼。
  28. 如申請專利範圍第27項所述之視訊資料流，其中，該視訊資料流相對於一組互不重疊的空間區域中的每一個，以和相應空間區域外部無關的方式被編碼，並且該擷取信息指示該組擷取區域中的每一個作為一個或多個該空間區域的一集合。
  29. 如申請專利範圍第27項所述之視訊資料流，其中，該視訊的該圖片在 空間上被細分為一圖塊陣列並被順序地編碼到該資料流中，其中該空間區域是一個或多個圖塊的叢集。
  30. 如申請專利範圍第27項所述之視訊資料流，其中，該視訊資料流包括進一步的信號，其針對至少一個或多個該擷取區域中的每一個，該視訊的該圖片是否在相應的該擷取區域內顯示不同解析度的一共同場景內容。
  31. 如申請專利範圍第30項所述之視訊資料流，其中，該進一步的信號還對於至少一個或多個該擷取區域中的每一個指示該相應擷取區域的一分段區域的一視角方向，其中該共同場景內容在該相應擷取區域內以最高解析度顯示，和/或該相應擷取區域的該分段區域的一共享面積，其中該共同場景內容在該相應擷取區域內以最高解析度顯示，在該相應擷取區域的一整個區域之中，和/或將該相應的擷取區域分割成分段區域的一空間細分，在該相應的擷取區域的一整個區域中，相互不同的解析度分別顯示該共同場景內容。
  32. 如申請專利範圍第30項所述之視訊資料流，其中，該進一步的信號被包含在一個SEI信息中，其係和包含該擷取信息的一個或多個SEI信息分離。
  33. 一種用於處理根據申請專利範圍第20項所述的一視訊資料流的設備，其中，該設備支持一預定處理任務，並且被配置為檢查該信號以決定對該視訊資料流執行或不執行該預定處理任務。
  34. 如申請專利範圍第33項所述之設備，其中，該處理任務包括：對該視訊資料流進行解碼，和/或使該視訊資料流從該視訊資料流擷取一縮小的視訊資料流，而不進行重新編碼。
  35. 一種用於生成根據申請專利範圍第20項所述的一視訊資料流的設備。
  36. 一種用於產生一視訊資料流的方法，包括：提供具有一切片部分序列的該視訊資料流，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每一個 切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置；提供具有擷取信息的該視訊資料流，該擷取信息指示如何從該視訊資料流中擷取一縮小的視訊資料流，該縮小的視訊資料流已經在其中編碼了對應於該視訊的一空間區段的一空間較小視訊，藉由將該視訊資料流限制在其中已編碼該空間區段內的任何切片的切片部分，並且修改該切片位址以便涉及該空間較小視訊的一減小的圖片區域，該擷取信息包括：一第一信息，其定義該圖片區域內的該空間區段，在該空間區段內，該視訊被編碼到與該空間區段外部無關的該視訊資料流中，其中多個切片中沒有一個跨越該空間區段的邊界；和一第二信息，其用信號通知多個選項中的一個，或者明確地發信號通知如何修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該減小的圖片區域中所處的位置。
  37. 一種用於從一視訊資料流中擷取一縮小的視訊資料流的方法，該視訊資料流具有編碼於其內的該視訊，該縮小的視訊資料流具有編碼於其內的一空間較小視訊，該視訊資料流包括一切片部分序列，每一個切片部分具有在其中編碼了一視訊的一圖片的多個切片中的一相應切片，其中每個切片部分包括一切片位址，以指示在該切片所在的該視訊的一圖片區域中該相應切片部分已經編碼的一位置，其中該方法包含：從該視訊資料流中讀取擷取信息；從該擷取信息中得出該圖片區域內的一空間區段，其中該多個切片中沒有一個跨越該空間區段的邊界，並且其中該縮小的視訊資料流被限制在其中已編碼空間區段內的任何切片的切片部分；使用藉由該擷取信息的一顯式信號從該多個選項中確定的多個選項之一，以修改該空間區段內的每一個切片的該切片部分的該切片位址，以便在該縮小的視訊資料流內指示該相應切片在該空間較小視 訊的一減小的圖片區域中所處的位置。
  38. 一種用於處理根據申請專利範圍第20項所述的一視訊資料流的方法，其中，該處理包括一預定的處理任務，並且該方法涉及檢查該信號以決定對該視訊資料流執行或不執行該預定的處理任務。
  39. 一種用於生成根據申請專利範圍第20項所述的一視訊資料流的方法。
  40. 一種具有一程式代碼的電腦程式，用於當該電腦程式在一電腦上運行時執行根據申請專利範圍第20項至第39項中任一項所述的方法。
TW107109501A 2017-03-20 2018-03-20 先進視訊資料流擷取及多解析度視訊傳輸 TWI684352B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EPEP17161917.4 2017-03-20
EP17161917 2017-03-20
??EP17161917.4 2017-03-20

Publications (2)

Publication Number Publication Date
TW201840188A true TW201840188A (zh) 2018-11-01
TWI684352B TWI684352B (zh) 2020-02-01

Family

ID=58387769

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109501A TWI684352B (zh) 2017-03-20 2018-03-20 先進視訊資料流擷取及多解析度視訊傳輸

Country Status (7)

Country Link
US (3) US11386660B2 (zh)
EP (1) EP3603074A2 (zh)
JP (3) JP6957638B2 (zh)
KR (4) KR102412972B1 (zh)
CN (6) CN116074502A (zh)
TW (1) TWI684352B (zh)
WO (1) WO2018172234A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102336987B1 (ko) * 2017-07-04 2021-12-08 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
HRP20230702T1 (hr) 2019-01-09 2023-10-13 Huawei Technologies Co., Ltd. Signaliziranje identifikatora podslike kod kodiranja videa

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CA2650151C (en) * 2008-01-17 2013-04-02 Lg Electronics Inc. An iptv receiving system and data processing method
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
EP2805491B1 (en) * 2012-01-20 2021-05-12 GE Video Compression, LLC Coding concept allowing parallel processing, transport demultiplexer and video bitstream
SG11201406493RA (en) * 2012-04-13 2014-11-27 Ge Video Compression Llc Low delay picture coding
RU2720534C2 (ru) * 2012-06-29 2020-04-30 ДжиИ Видео Компрешн, ЭлЭлСи Концепция потока видеоданных
KR102072832B1 (ko) * 2012-09-26 2020-02-03 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
CN109862373B (zh) 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
KR20170020780A (ko) * 2014-06-20 2017-02-24 삼성전자주식회사 스케일러블 비디오 데이터의 부호화 또는 복호화 하는 방법 및 장치
KR102037158B1 (ko) * 2014-08-20 2019-11-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 구성
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming

Also Published As

Publication number Publication date
CN115955559A (zh) 2023-04-11
US11386660B2 (en) 2022-07-12
KR20220095246A (ko) 2022-07-06
CN115883824A (zh) 2023-03-31
KR102318816B1 (ko) 2021-10-28
KR102553762B1 (ko) 2023-07-11
CN116074502A (zh) 2023-05-05
TWI684352B (zh) 2020-02-01
US20230316752A1 (en) 2023-10-05
WO2018172234A3 (en) 2018-11-01
KR20210131451A (ko) 2021-11-02
JP7437577B2 (ja) 2024-02-26
JP2022008899A (ja) 2022-01-14
CN116074501A (zh) 2023-05-05
KR102412972B1 (ko) 2022-06-23
CN115883824B (zh) 2024-05-14
WO2018172234A2 (en) 2018-09-27
JP2024024598A (ja) 2024-02-22
CN110651480A (zh) 2020-01-03
CN110651480B (zh) 2022-11-11
JP2020511865A (ja) 2020-04-16
US20200012863A1 (en) 2020-01-09
US11721103B2 (en) 2023-08-08
CN115955560A (zh) 2023-04-11
JP6957638B2 (ja) 2021-11-02
KR20190127850A (ko) 2019-11-13
US20220309790A1 (en) 2022-09-29
KR20230106741A (ko) 2023-07-13
EP3603074A2 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP7410101B2 (ja) 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
US11962809B2 (en) Image data encapsulation with referenced description information
US11190791B2 (en) Description of image composition with HEVC still image file format
US20180270287A1 (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
US11477470B2 (en) Encoding and decoding pictures based on tile group ID
KR20150140354A (ko) 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
JP2019508943A (ja) 空間スケーラブル・ビデオ・コーディング
US20230316752A1 (en) Advanced video data stream extraction and multi-resolution video transmission
US20230419557A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method