TW201524191A - 多層視訊檔案格式設計 - Google Patents

多層視訊檔案格式設計 Download PDF

Info

Publication number
TW201524191A
TW201524191A TW103136696A TW103136696A TW201524191A TW 201524191 A TW201524191 A TW 201524191A TW 103136696 A TW103136696 A TW 103136696A TW 103136696 A TW103136696 A TW 103136696A TW 201524191 A TW201524191 A TW 201524191A
Authority
TW
Taiwan
Prior art keywords
sample
sub
video
subsample
layer
Prior art date
Application number
TW103136696A
Other languages
English (en)
Other versions
TWI645709B (zh
Inventor
Ye-Kui Wang
Ying Chen
Adarsh Krishnan Ramasubramonian
Fnu Hendry
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201524191A publication Critical patent/TW201524191A/zh
Application granted granted Critical
Publication of TWI645709B publication Critical patent/TWI645709B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

一計算器件產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框。用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元。作為產生該檔案之部分，該計算器件在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標。當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。

Description

多層視訊檔案格式設計
本申請案主張2013年10月23日申請的美國臨時專利申請案第61/894,886號的權利，該申請案的全部內容被以引用的方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型手機」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件藉由實施此等視訊壓縮技術可更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視 訊切片(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之切片中的視訊區塊。圖像之經框間寫碼(P或B)切片中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待編碼之區塊的預測性區塊。殘餘資料表示經寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描最初排列成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
一般而言，本發明係關於基於國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)將視訊內容儲存於一檔案中。本發明之一些實例係關於用於含有多個經寫碼層之視訊串流的儲存，其中每一層可為可調式層、紋理視圖、深度視圖等，且該等方法可適用於儲存多視圖高效率視訊寫碼(MV-HEVC)、可調式HEVC(SHVC)、三維HEVC(3D-HEVC)及其他類型之視訊資料。
在一個態樣中，本發明描述一種處理多層視訊資料之方法，該方法包含：產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單 元；產生該檔案包含在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
在另一態樣中，本發明描述一種處理多層視訊資料之方法，該方法包含：自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種視訊器件，該視訊器件包含：一資料儲存媒體，其經組態以儲存多層視訊資料；及一或多個處理器，其經組態以：產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；為了產生該檔案，該一或多個處理器在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種視訊器件，該視訊器件包含：一資料儲存媒體，其經組態以儲存多層視訊資料；及一或多個處理器，其經組態以：自一檔案獲得含有用於該檔案中之一播放軌之後設 資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種視訊器件，該視訊器件包含：用於產生一檔案之構件，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元；產生該檔案包含在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種視訊器件，該視訊器件包含：用於自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框之構件，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元；及用於自該檔案獲得一子樣本資訊邏輯框之構件，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種電腦可讀資料儲存媒體，其具 有儲存於其上之指令，該等指令當經執行時使一或多個處理器：產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元；為了產生該檔案，該等指令使該一或多個處理器在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在另一態樣中，本發明描述一種電腦可讀資料儲存媒體，其具有儲存於其上之指令，該等指令當經執行時使一或多個處理器：自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元；及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
在附圖及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
27‧‧‧後處理實體
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧儲存器件
34‧‧‧檔案產生器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧參考圖像記憶體
79‧‧‧經寫碼圖像緩衝器(CPB)
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧參考圖像記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
300‧‧‧檔案
302‧‧‧電影邏輯框
304‧‧‧媒體資料邏輯框
305‧‧‧樣本
306‧‧‧播放軌邏輯框
307‧‧‧媒體邏輯框
308‧‧‧媒體資訊邏輯框
309‧‧‧樣本表邏輯框
310‧‧‧SampleToGroup邏輯框
311‧‧‧樣本項邏輯框
312‧‧‧SampleGroupDescription邏輯框
314‧‧‧子樣本資訊邏輯框
400‧‧‧檔案
402‧‧‧電影邏輯框
404‧‧‧媒體資料邏輯框
405‧‧‧樣本
406‧‧‧播放軌邏輯框
408‧‧‧播放軌邏輯框
500‧‧‧步驟
502‧‧‧步驟
504‧‧‧步驟
506‧‧‧步驟
508‧‧‧步驟
510‧‧‧步驟
512‧‧‧步驟
514‧‧‧步驟
516‧‧‧步驟
518‧‧‧步驟
550‧‧‧步驟
552‧‧‧步驟
554‧‧‧步驟
556‧‧‧步驟
558‧‧‧步驟
600‧‧‧步驟
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
650‧‧‧步驟
651‧‧‧步驟
652‧‧‧步驟
654‧‧‧步驟
656‧‧‧步驟
658‧‧‧步驟
660‧‧‧步驟
662‧‧‧步驟
664‧‧‧步驟
700‧‧‧步驟
702‧‧‧步驟
704‧‧‧步驟
706‧‧‧步驟
750‧‧‧步驟
751‧‧‧步驟
752‧‧‧步驟
754‧‧‧步驟
756‧‧‧步驟
圖1為說明可使用本發明中描述之技術的一實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的一實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的一實例視訊解碼器之 方塊圖。
圖4為說明形成網路之部分的一組實例器件之方塊圖。
圖5為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖6為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖7為說明根據本發明之一或多個技術的檔案產生器件之一實例操作之流程圖。
圖8為說明根據本發明之一或多個技術的計算器件執行隨機存取及/或位準切換之一實例操作之流程圖。
圖9為說明根據本發明之一或多個技術的檔案產生器件之一實例操作之流程圖。
圖10為說明根據本發明之一或多個技術的計算器件之一實例操作之流程圖。
圖11為說明根據本發明之一或多個技術的檔案產生器件之一實例操作之流程圖。
圖12為說明根據本發明之一或多個技術的目的地器件之一實例操作之流程圖。
ISO基本媒體檔案格式(ISOBMFF)為用於儲存媒體資料之檔案格式。ISOBMFF可擴展以支援符合特定視訊寫碼標準的視訊資料之儲存。舉例而言，ISOBMFF先前已經擴展以支援符合H.264/AVC及高效率視訊寫碼(HEVC)視訊寫碼標準的視訊資料之儲存。此外，ISOBMFF先前已經擴展以支援符合H.264/AVC之多視圖寫碼(MVC)及可調式視訊寫碼(SVC)擴展的視訊資料之儲存。MV-HEVC、3D-HEVC及SHVC為HEVC視訊寫碼標準之支援多層視訊資料的擴展。添 加至ISOBMFF用於符合H.264/AVC之MVC及SVC擴展的視訊資料之儲存之特徵不足夠用於符合MV-HEVC、3D-HEVC及SHVC的視訊資料之有效儲存。換言之，若吾人將要試圖將用於符合H.264/AVC之MVC及SVC擴展的視訊資料之儲存的ISOBMFF之擴展用於符合MV-HEVC、3D-HEVC及SHVC的視訊資料之有效儲存，則可能出現各種問題。
舉例而言，不同於符合H.264/AVC之MVC或SVC擴展的位元串流，符合MV-HEVC、3D-HEVC或SHVC之位元串流可包括含有框內隨機存取點(IRAP)圖像及非IRAP圖像之存取單元。含有IRAP圖像及非IRAP圖像之存取單元可用於MV-HEVC、3D-HEVC及SHVC中之隨機存取。然而，ISOBMFF及其現有擴展不提供識別此等存取單元之方式。此可妨礙計算器件執行隨機存取及層切換之能力。
因此，根據本發明之一個實例，計算器件可產生一檔案，該檔案包含含有用於該檔案中之播放軌之後設資料的一播放軌邏輯框。用於播放軌之媒體資料包含一連串樣本。樣本中之每一者可為多層視訊資料(例如，MV-HEVC、3D-HEVC或SHVC視訊資料)之一視訊存取單元。作為產生檔案之部分，計算器件可在檔案中產生以文件記載含有至少一IRAP圖像之所有該等樣本之一額外邏輯框。能夠基於額外邏輯框中之資訊判定含有IRAP圖像的樣本可使接收檔案之計算器件能夠在不剖析及解譯NAL單元之情況下執行隨機存取及層切換。此可減小複雜度且減少處理時間。
此外，諸如MV-HEVC、3D-HEVC及SHVC視訊資料之多層視訊資料可包括用於每一存取單元之多個經寫碼圖像。然而，當在存取單元中存在多個經編碼圖像時，ISOBMFF及其現有擴展不提供關於存取單元內之個別經寫碼圖像的資訊。因此，在計算器件(例如，串流伺服器)正判定是否轉遞檔案中之NAL單元的實例中，計算器件可能 需要剖析且解譯儲存於NAL單元中之資訊以便判定是否轉遞NAL單元。剖析且解譯儲存於NAL單元中之資訊可增大計算器件之複雜度且可增加串流延遲。
因此，根據本發明之一個實例，計算器件可產生一檔案，該檔案包含含有用於該檔案中之播放軌之後設資料的一播放軌邏輯框。用於播放軌之媒體資料包含一連串樣本。樣本中之每一者為多層視訊資料之一視訊存取單元。作為產生檔案之部分，計算器件在檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之類型的旗標。當旗標具有一特定值時，對應於子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)NAL單元。以此方式，接收檔案之計算器件可能能夠使用在子樣本資訊邏輯框中給出之子樣本資訊進行關於檔案之一樣本內的個別經寫碼圖像之判定。與經寫碼圖像相關聯之非VCL NAL單元可包括用於適用於經寫碼圖像之參數集(例如，PPS、SPS、VPS)及SEI的NAL單元。
在多層視訊資料中，存取單元可包括標記為用於輸出之經寫碼圖像及標記為不用於輸出之經寫碼圖像。視訊解碼器可使用標記為不用於輸出之經寫碼圖像作為用於解碼標記為用於輸出之經寫碼圖像的參考圖像。用於圖像之一切片之一NAL單元的一NAL單元標頭可包括一圖像輸出旗標(例如，HEVC中之pic_output_flag)，其指示是否將該圖像標記為用於輸出。在ISOBMFF檔案中，需要每一樣本與指示樣本將輸出之時間的一輸出時間(例如，組成時間)相關聯。然而，標記為不用於輸出之圖像不具有輸出時間。標記為不用於輸出之圖像的存在可能違反ISOBMFF之此要求，或可能需要非標準暫時解決方案技術。
因此，根據本發明之一或多個技術，計算器件可產生一檔案， 該檔案包含圍封媒體內容之一媒體資料邏輯框。媒體內容包含一連串樣本。樣本中之每一者包含多層視訊資料之一存取單元。作為產生檔案之部分，計算器件可回應於多層視訊資料之位元串流之至少一存取單元包括具有等於第一值(例如，1)之圖像輸出旗標的經寫碼圖像及具有等於第二值(例如，0)之圖像輸出旗標的經寫碼圖像，使用至少兩個播放軌將位元串流儲存於檔案中。對於來自至少兩個播放軌之每一各別播放軌，各別播放軌之每一樣本中的所有經寫碼圖像具有相同的圖像輸出旗標值。允許輸出具有等於第一值(例如，1)之圖像輸出旗標的圖像，且允許將具有等於第二值(例如，0)之圖像輸出旗標的圖像用作參考圖像，但不允許將其輸出。至少兩個播放軌之使用可解決以上描述之問題，此係因為可對每一播放軌中之每一樣本指派一恰當輸出時間，且視訊解碼器可不輸出不允許輸出的含有該等樣本之播放軌中的圖像。
雖然本發明之該等技術之描述中的許多者描述MV-HEVC、3D-HEVC及SHVC，但讀者應瞭解，本發明之該等技術可適用於其他視訊寫碼標準及/或其擴展。
圖1為說明可使用本發明中描述之技術的一實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括一源器件12，源器件12產生稍後待由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源裝置12和目的地裝置14可經裝備以用於無線通信。源裝置12及目的地裝置14可被考慮為視訊器件。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出 介面22。在一些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊俘獲器件(例如，視訊攝影機)、含有先前所俘獲之視訊之視訊檔案庫、自視訊內容提供者接收視訊的視訊饋入介面及/或用於將電腦圖形資料產生為源視訊的電腦圖形系統之源，或此等源之組合。然而，本發明中所描述的技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
視訊編碼器20可編碼經俘獲、經預俘獲或計算機產生之視訊。源器件12可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件33上，用於稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
目的地器件14包括一輸入介面28、一視訊解碼器30及一顯示器件32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件33上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼該視訊資料時使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合在一起或在目的地器件14之外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向用戶顯示經解碼視訊資料，且可包含多種顯示器件中的任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器 電路中的任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器執行硬體中之該等指令，從而執行本發明的技術。視訊編碼器20及視訊解碼器30中的每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)的部分。
目的地器件14可經由鏈路16接收待解碼的經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，鏈路16可包含使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或任何其他可以用於促進自源器件12到目的地器件14的通信之設備。
替代地，輸出介面22可將經編碼資料輸出至儲存器件33。類似地，輸入介面28可存取經編碼資料儲存器件33。儲存器件33可包括多種分散式或局部存取之資料儲存媒體中的任何者，諸如，硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在再一實例中，儲存器件33可對應於檔案伺服器或可固持由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載存取來自儲存器件33的經儲存之視訊資料。檔案伺服器可為能夠儲 存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件及本機磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之結合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可適用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
此外，在圖1之實例中，視訊寫碼系統10包括一檔案產生器件34。檔案產生器件34可接收由源器件12產生之經編碼視訊資料。檔案產生器件34可產生包括經編碼視訊資料之檔案。目的地器件14可接收由檔案產生器件34產生之檔案。在各種實例中，檔案產生器件34可包括各種類型之計算器件。舉例而言，檔案產生器件34可包含媒體感知網路元件(MANE)、伺服器計算器件、個人計算器件、專用計算器件、商用計算器件或另一類型之計算器件。在一些實例中，檔案產生器件34為內容傳遞網路之部分。檔案產生器件34可經由諸如鏈路16之頻道自源器件12接收經編碼視訊資料。此外，目的地器件14可經由諸如鏈路16之頻道自檔案產生器件34接收檔案。檔案產生器件34可被考慮為視訊器件。
在其他實例中，源器件12或另一計算器件可產生包括經編碼視訊資料之檔案。然而，為了易於解釋，本發明將檔案產生器件34描述為產生檔案。然而，應理解，一般而言，此等描述適用於計算器件。
視訊編碼器20及視訊解碼器30可根據諸如高效率視訊寫碼(HEVC)標準或其擴展之視訊壓縮標準操作。HEVC標準亦可被稱作ISO/IEC 23008-2。最近，已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)完成HEVC之設計。最新近的HEVC草案規格且下文被稱作HEVC WD可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip.獲得。對HEVC之多視圖擴展(即，MV-HEVC)亦正由JCT-3V開發。題為「MV-HEVC Draft Text 5」且下文被稱作MV-HEVC WD5的MV-HEVC之最近工作草案(WD)可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip.獲得。對HEVC之可調式擴展(即，SHVC)亦正由JCT-VC開發。題為「High efficiency video coding(HEVC)scalable extension draft 3」且下文被稱作SHVC WD3的SHVC之最近工作草案(WD)可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip.獲得。HEVC之範圍擴展之最近工作草案(WD)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip.獲得。題為「3D-HEVC Draft Text 1」的HEVC之3D擴展之最近工作草案(WD)(即，3D-HEVC)可自http：//phenix.int-evry.fr/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip.獲得。視訊編碼器20及視訊解碼器30可根據此等標準中之一或多者操作。
替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4，第10部分， 進階視訊寫碼(AVC))或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進型模型(被稱作HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，儘管H.264/AVC提供九個框內預測編碼模式，但HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成包括亮度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。樹型區塊亦可被稱作寫碼樹單元(CTU)。樹型區塊具有與H.264/AVC標準之巨集區塊類似的用途。切片包括按寫碼次序之許多連續樹型區塊。視訊圖框或圖像可分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言，作為四分樹之根節點的樹型區塊可分裂成四個子節點，且每一子節點又可為母節點並分裂成另四個子節點。作為四分樹之葉節點的最後未分裂之子節點包含寫碼節點(亦即，經寫碼視訊區塊)。與經寫碼位元串流相關聯之語法資料 可定義樹型區塊可分裂的最大次數，且亦可定義寫碼節點的最小大小。
CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU的大小對應於寫碼節點的大小且形狀必須為正方形。CU之大小可在自8×8像素高達具有最大64×64像素或大於64×64像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU的形狀可為正方形或非正方形。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小，但可情況並非始終如此。TU的大小通常與PU相同或比PU小。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小單元。RQT之葉節點可被稱作TU。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
一般而言，PU包括與預測處理序有關之資料。舉例而言，當PU經框內模式編碼時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換及量化處理序。具有一或多個PU之給定 CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包括像素差值，所述像素差值可變換成變換係數、經量化且使用TU進行掃描以產生串行化變換係數用於熵譯碼。本發明通常使用術語「視訊區塊」來指CU之寫碼節點(亦即，寫碼區塊)。在一些特定情況下，本發明亦可使用術語「視訊區塊」指樹型區塊(亦即，LCU)或CU，其包括寫碼節點及PU與TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體上包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一切片可包括描述該各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小的框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」其後接著「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，舉例而言，「2N×nU」指水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直維度與水平維度方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上具有16個像素(y=16)且在水 平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域中之像素資料(亦被稱作像素域)，且TU可包含在將變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換)應用於殘餘視訊資料之後的變換域中之係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在進行用以產生變換係數之任何變換之後，視訊編碼器20可對變換係數執行量化。量化通常指將變換係數量化以可能地減少用以表示該等係數之資料之量從而提供進一步壓縮的處理序。量化處理序可減少與係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可使用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之經串行化向量。在其他實例中，視訊編碼器20可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的供由視訊解碼器30在解碼視訊資料過程中使用之語法元素。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸之符號。該上下文可關於(例如)符號之鄰近值是否為非零。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可變長度寫碼(VLC)中之碼字可經建構使得相對較短代碼對應於更可能之符號，而較長代碼對應於較不可能之符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文而進行。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。術語「位元串流」可為用以指網路抽象層(NAL)單元串流(例如，一連串NAL單元)或位元組串流(例如，含有開始碼首碼的NAL單元串流及如由HEVC標準之附錄B指定的NAL單元之囊封)之集合性術語。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括一NAL單元標頭且可囊封一RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封切片區段之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP，等等。囊封視訊寫碼資料之RBSP(如與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。含有參數集(例如，視訊參數集(VPS)、序列參數集(SPS)、PPS等)之NAL單元可被稱作參數集NAL單元。
本發明可將囊封區段切片之RBSP的NAL單元稱作經寫碼切片NAL單元。如在HEVC WD中所定義，切片區段為在影像塊掃描中連續定序且在單一NAL單元中含有的整數數目個CTU。相比之下，在HEVC WD中，切片可為一獨立切片區段及(若有)在同一存取單元內在下一個獨立切片區段(若有)前之所有隨後附屬切片區段中含有的整數數目個CTU。一獨立切片區段為切片區段標頭之語法元素之值並非自先前切片區段之值推斷的切片區段。附屬切片區段為切片區段標頭之一些語法元素之值自按解碼次序先前獨立切片區段之值推斷的切片區段。經寫碼切片NAL單元之RBSP可包括一切片區段標頭及切片資料。切片區段標頭為含有係關於在切片區段中表示之第一或所有CTU的資料元素之經寫碼切片區段之一部分。切片標頭為係當前切片區段或按解碼次序在當前附屬切片區段前最近的獨立切片區段之切片區段標頭。
VPS為含有適用於零或多個全部經寫碼視訊序列(CVS)之語法元素的語法結構。SPS為含有適用於零或多個全部CVS之語法元素的語法結構。SPS可包括識別在SPS在作用中時在作用中的VPS之語法元素。因此，VPS之語法元素可比SPS之語法元素更一般化地可適用。
參數集(例如，VPS、SPS、PPS等)可含有直接或間接自切片之切片標頭參考的識別。參考處理序被稱為「啟動」。因此，當視訊解碼器30正解碼一特定切片時，由該特定切片之切片標頭中之語法元素直接或間接參考的一參數集被稱為「經啟動」。取決於參數集類型，啟動可基於每一圖像或基於每一序列發生。舉例而言，切片之切片標頭可包括識別PPS之語法元素。因此，當視訊寫碼器寫碼切片時，可啟動PPS。此外，PPS可包括識別SPS之語法元素。因此，當識別SPS之PPS經啟動時，可啟動SPS。SPS可包括識別VPS之語法元素。因此，當識別VPS之SPS經啟動時，啟動VPS。
視頻解碼器30可接收由視頻編碼器20產生之位元串流。此外，視頻解碼器30可剖析該位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之處理序可與由視訊編碼器20執行之處理序大體上互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。此外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在HEVC WD中，CVS可開始於瞬時解碼再新(IDR)圖像，或斷鏈存取(BLA)圖像，或為位元串流中之第一圖像的清潔隨機存取(CRA)圖像，包括並非IDR或BLA圖像之所有隨後圖像。IDR圖像僅含有I切片(亦即，僅使用框內預測之切片)。IDR圖像可為按解碼次序在位元串流中之第一圖像，或可稍後出現在位元串流中。每一IDR圖像為按解碼次序CVS之第一圖像。在HEVC WD中，IDR圖像可為每一VCL NAL單元具有等於IDR_W_RADL或IDR_N_LP之nal_unit_type的框內隨機存取點(IRAP)圖像。
IDR圖像可用於隨機存取。然而，按解碼次序在IDR圖像後之圖像不能使用在IDR圖像前解碼之圖像作為參考。因此，依賴於供隨機存取之IDR圖像的位元串流可具有比使用額外類型之隨機存取圖像的位元串流顯著低的寫碼效率。在至少一些實例中，IDR存取單元為含有一IDR圖像之存取單元。
在HEVC中引入CRA圖像之概念以允許按解碼次序在CRA圖像之後但按輸出次序在CRA圖像之前的圖像將在該CRA圖像前解碼之圖像 用於參考。按解碼次序在CRA圖像之後但按輸出次序在CRA圖像之前的圖像被稱作與CRA圖像相關聯之前置圖像(或CRA圖像之前置圖像)。亦即，為了改良寫碼效率，在HEVC中引入CRA圖像之概念，以允許按解碼次序在CRA圖像之後但按輸出次序在CRA圖像之前的圖像將在CRA圖像前解碼的圖像用於參考。CRA存取單元為經寫碼圖像為CRA圖像之存取單元。在HEVC WD中，CRA圖像為每一VCL NAL單元具有等於CRA_NUT之nal_unit_type的框內隨機存取圖像。
一CRA圖像之前置圖像在解碼自一IDR圖像或按解碼次序在該CRA圖像前出現之一CRA圖像開始之情況下可正確地解碼。然而，在發生自CRA圖像之隨機存取時，CRA圖像之前置圖像可為不可解碼的。因此，視訊解碼器在隨機存取解碼期間通常解碼CRA圖像之前置圖像。為防止自取決於解碼開始處而可能不可用之參考圖像的誤差傳播，按解碼次序及輸出次序兩者在CRA圖像後之圖像無一者可將按解碼次序或輸出次序在CRA圖像前之任何圖像(其包括前置圖像)用於參考。
BLA圖像之概念係在引入了CRA圖像後在HEVC中引入的，且係基於CRA圖像之概念。BLA圖像通常源自在CRA圖像之位置處拼接的位元串流，且在該拼接之位元串流中，將該拼接點CRA圖像改變至BLA圖像。因此，BLA圖像可為在原始位元串流處之CRA圖像，且CRA圖像由位元串流拼接器改變為在該CRA圖像之位置處之位元串流拼接後的BLA圖像。在一些情況下，含有一RAP圖像之存取單元可在本文中被稱作RAP存取單元。BLA存取單元為含有一BLA圖像之存取單元。在HEVC WD中，BLA圖像可為一框內隨機存取圖像，對於該框內隨機存取圖像，每一VCL NAL單元具有等於BLA_W_LP、BLA_W_RADL或BLA_N_LP之nal_unit_type。
一般而言，IRAP圖像含有僅I區段，且可為BLA圖像、CRA圖像 或IDR圖像。舉例而言，HEVC WD指示IRAP圖像可為每一VCL NAL單元具有在BLA_W_LP至RSV_IRAP_VCL23之範圍中(包括性)的nal_unit_type之經寫碼圖像。此外，HEVC WD指示按解碼次序在位元串流之第一圖像必須為IRAP圖像。HEVC WD之表7-1展示NAL單元類型碼及NAL單元類型類別。以下再現HEVC WD之表7-1。
BLA圖像與CRA圖像之間的一差異如下。對於CRA圖像，若解碼開始於按解碼次序在CRA圖像前之RAP圖像，則相關聯之前置圖像可正確地解碼。然而，當發生自一CRA圖像之隨機存取時(亦即，當解碼自該CRA圖像開始時，或換言之，當該CRA圖像為位元串流中之第一圖像時)，與該CRA圖像相關聯之前置圖像不可正確地解碼。相比之下，可能不存在與BLA圖像相關聯之前置圖像可解碼之情形，甚至當解碼自按解碼次序在BLA圖像前之RAP圖像開始時。
與一特定CRA圖像或一特定BLA圖像相關聯的前置圖像中之一些可為可正確地解碼，甚至當該特定CRA圖像或該特定BLA圖像為位元串流中之第一圖像時。此等前置圖像可被稱作可解碼前置圖像(DLP)或隨機存取可解碼前置(RADL)圖像。在HEVC WD中，RADL圖像可 為每一VCL NAL單元具有等於RADL_R或RADL_N之nal_unit_type的經寫碼圖像。此外，HEVC WD指示所有RADL圖像為前置圖像且不將RADL圖像用作用於同一相關聯之IRAP圖像的後置圖像之解碼處理序的參考圖像。當存在時，所有RADL圖像按解碼次序先於同一相關聯之IRAP圖像之所有後置圖像。HEVC WD指示一RADL存取單元可為經寫碼圖像為RADL圖像之存取單元。後置圖像可為按輸出次序在相關聯之IRAP圖像後之圖像(亦即，按解碼次序之先前IRAP圖像)。
其他前置圖像可被稱作不可解碼前置圖像(NLP)或隨機存取跳過前置(RASL)圖像。在HEVC WD中，RASL圖像可為每一VCL NAL單元具有等於RASL_R或RASL_N之nal_unit_type的經寫碼圖像。所有RASL圖像皆為相關聯之BLA圖像或CRA圖像的前置圖像。
假設必要參數集在其需要啟動時可用，則一IRAP圖像及按解碼次序所有隨後非RASL圖像可正確地解碼，而不執行按解碼次序在IRAP圖像前的任何圖像之解碼處理序。在位元串流中可存在僅含有並非IRAP圖像之I切片的圖像。
在多視圖寫碼中，可存在來自不同視點的同一場景之多個視圖。術語「存取單元」可用以指對應於相同時間例項之圖像集。因此，視訊資料可經概念化為一系列隨時間過去而出現之存取單元。「視圖分量」可為單一存取單元中之視圖的經寫碼表示。在本發明中，「視圖」可指與相同視圖識別符相關聯之一連串或一組視圖分量。視圖分量可含有一紋理視圖分量及一深度視圖分量。在本發明中，「視圖」可指與相同視圖識別符相關聯之一組或一連串一或多個視圖分量。
紋理視圖分量(亦即，紋理圖像)可為單一存取單元中的視圖之紋理之經寫碼表示。紋理視圖可為與視圖次序索引之相同值相關聯的一連串紋理視圖分量。視圖之視圖次序索引可指示該視圖相對於其他視 圖之相機位置。深度視圖分量(亦即，深度圖像)可為單一存取單元中的視圖之深度之經寫碼表示。深度視圖可為與視圖次序索引之相同值相關聯的一組或一連串一或多個深度視圖分量。
在MV-HEVC、3D-HEVC及SHVC中，視訊編碼器可產生包含一系列NAL單元之位元串流。位元串流之不同NAL單元可與位元串流之不同層相關聯。可將層定義為具有相同層識別符的VCL NAL單元及相關聯之非VCL NAL單元的集合。層可等效於多視圖視訊寫碼中之視圖。在多視圖視訊寫碼中，層可含有具有不同時間例項之相同層的所有視圖分量。每一視圖分量可為屬於特定時間例項之特定視圖的視訊場景之經寫碼圖像。在3D視訊寫碼之一些實例中，層可含有特定視圖之所有經寫碼深層圖像或特定視圖之經寫碼紋理圖像。在3D視訊寫碼之其他實例中，層可含有特定視圖之紋理視圖分量及深度視圖分量兩者。類似地，在可調式視訊寫碼之上下文中，層通常對應於具有不同於其他層中之經寫碼圖像之視訊特性的經寫碼圖像。此等視訊特性通常包括空間解析度及品質位準(例如，信雜比)。在HEVC及其擴展中，藉由將具有特定時間位準的圖像之群組定義為子層，可在一個層內獲得時間可擴充性。
對於位元串流之每一各別層，可在不參考任何較高層中之資料之情況下解碼較低層中之資料。在可調式視訊寫碼中，例如，可在不參考增強層中之資料之情況下解碼基礎層中之資料。一般而言，NAL單元可僅囊封單一層之資料。因此，可自位元串流移除囊封位元串流之最高剩餘層之資料的NAL單元，而不影響位元串流之剩餘層中之資料的可解碼性。在多視圖寫碼及3D-HEVC中，較高層可包括額外視圖分量。在SHVC中，較高層可包括信雜比(SNR)增強資料、空間增強資料及/或時間增強資料。在MV-HEVC、3D-HEVC及SHVC中，若視訊解碼器可在不參考任何其他層之資料之情況下解碼層中的圖像， 則該層可被稱作「基礎層」。基礎層可符合HEVC基礎規格(例如，HEVC WD)。
在SVC中，不同於基礎層之層可被稱作「增強層」，且可提供增強自位元串流解碼的視訊資料之視覺品質之資訊。SVC可增強空間解析度、信雜比(亦即，品質)或時間速率。在可調式視訊寫碼(例如，SHVC)中，「層表示」可為單一存取單元中的空間層之經寫碼表示。為了易於解釋，本發明可將視圖分量及/或層表示稱作「視圖分量/層表示」或簡單地稱作「圖像」。
為了實施該等層，NAL單元之標頭可包括nuh_reserved_zero_6bits語法元素。在HEVC WD中，保留nuh_reserved_zero_6bits語法元素。然而，在MV-HEVC、3D-HEVC及SVC中，nuh_reserved_zero_6bits語法元素被稱作nuh_layer_id語法元素。nuh_layer_id語法元素指定層之識別符。位元串流之具有指定不同值之nuh_layer_id語法元素的NAL單元屬於位元串流之不同層。
在一些實例中，若一NAL單元係關於多視圖寫碼(例如，MV-HEVC)、3DV寫碼(例如，3D-HEVC)或可調式視訊寫碼(例如，SHVC)中之基礎層，則該NAL單元之nuh_layer_id語法元素等於0。可在不參考位元串流之任何其他層中的資料之情況下解碼位元串流之基礎層中的資料。若一NAL單元不關於多視圖寫碼、3DV或可調式視訊寫碼中之基礎層，則該NAL單元之nuh_layer_id語法元素可具有非零值。
此外，在一層內之一些視圖分量/層表示可在不參考同一層內之其他視圖分量/層表示的情況下加以解碼。因此，囊封一層之某些視圖分量/層表示之資料的NAL單元可自位元串流移除，而不影響該層中的其他視圖分量/層表示之可解碼性。移除囊封此等視圖分量/層表示之資料的NAL單元可減小位元串流之圖框速率。可在不參考在一層內之其他視圖分量/層表示的情況下解碼的在該層內之視圖分量/層表 示之一子集可在本文中被稱作「子層」或「時間子層」。
NAL單元可包括指定NAL單元之時間識別符(亦即，TemporalIds)的temporal_id語法元素。NAL單元之時間識別符識別NAL單元屬於之一子層。因此，位元串流之每一子層可具有不同時間識別符。一般而言，若一層之第一NAL單元之時間識別符小於同一層之第二NAL單元之時間識別符，則可在不參考由第二NAL單元囊封之資料的情況下解碼由第一NAL單元囊封之資料。
位元串流可與複數個操作點相關聯。位元串流之每一操作點與一組層識別符(例如，一組nuh_layer_id值)及一時間識別符相關聯。可將該組層識別符表示為OpLayerIdSet，且可將時間識別符表示為TemporalID。若NAL單元之層識別符在操作點之層識別符集合中且NAL單元之時間識別符小於或等於操作點之時間識別符，則該NAL單元與該操作點相關聯。因此，一操作點可對應於該位元串流中的NAL單元之一子集。
如上所介紹，本發明係關於基於ISO基本媒體檔案格式(ISOBMFF)將視訊內容儲存於檔案中。詳言之，本發明描述用於含有多個經寫碼層的視訊串流之儲存之各種技術，其中每一層可為可調式層、紋理視圖、深度視圖或其他類型之層或視圖。本發明之該等技術可應用於(例如)MV-HEVC視訊資料、SHVC視訊資料、3D-HEVC視訊資料及/或其他類型之視訊資料的儲存。
現將簡要地論述檔案格式及檔案格式標準。檔案格式標準包括ISO基本媒體檔案格式(ISOBMFF、ISO/IEC 14496-12，下文「ISO/IEC 14996-12」)及自ISOBMFF導出之其他檔案格式標準，包括MPEG-4檔案格式(ISO/IEC 14496-14)、3GPP檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15，下文「ISO/IEC 14996-15」)。因此，ISO/IEC 14496-12指定ISO基本媒體檔案格式。其他文 件針對特定應用擴展ISO基本媒體檔案格式。舉例而言，ISO/IEC 14496-15描述呈ISO基本媒體檔案格式的NAL單元結構化視訊之載運。H.264/AVC及HEVC以及其擴展為NAL單元結構化視訊之實例。ISO/IEC 14496-15包括描述H.264/AVCNAL單元之載運的章節。另外，ISO/IEC 14496-15之第8節描述HEVCNAL單元之載運。
將ISOBMFF用作用於許多編碼解碼器囊封格式(諸如，AVC檔案格式)以及用於許多多媒體容器格式(諸如，MPEG-4檔案格式、3GPP檔案格式(3GP)及DVB檔案格式)之基礎。除諸如音訊及視訊之連續媒體之外，諸如影像之靜態媒體以及後設資料可儲存於符合ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多用途，包括局部媒體檔案播放、遠端檔案之逐漸下載、用於經由HTTP之動態自適應串流(DASH)之區段、用於待串流之內容及其封包化指令之容器及接收之即時媒體串流的記錄。因此，雖然原先針對儲存而設計，但ISOBMFF已證明用於串流(例如，用於逐漸下載或DASH)之價值。為了串流目的，可使用在ISOBMFF中定義之電影片段。
符合HEVC檔案格式之檔案可包含一系列叫作邏輯框之目標。邏輯框可為由唯一類型識別符及長度定義之目標導向式建構嵌段。舉例而言，邏輯框可為ISOBMFF中之基本語法結構，包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。換言之，邏輯框可為包含經寫碼邏輯框類型、邏輯框之位元組計數及有效負載的語法結構。在一些情況下，在符合HEVC檔案格式之檔案中的所有資料可包含於邏輯框內，且在並不在邏輯框之檔案中可能不存在資料。因此，ISOBMFF檔案可由一連串邏輯框組成，且邏輯框可含有其他邏輯框。舉例而言，邏輯框之有效負載可包括一或多個額外邏輯框。在本發明中其他處詳細描述之圖5及圖6展示根據本發明之一或多個技術的在檔案內之實例邏輯框。
符合ISOBMFF之檔案可包括各種類型之邏輯框。舉例而言，符合ISOBMFF之檔案可包括檔案類型邏輯框、媒體資料邏輯框、電影邏輯框、電影片段邏輯框等等。在此實例中，檔案類型邏輯框包括檔案類型及相容性資訊。媒體資料邏輯框可含有樣本(例如，經寫碼圖像)。電影邏輯框(「moov」)含有用於存在於檔案中之連續媒體串流的後設資料。可將連續媒體串流中之每一者在檔案中表示為一播放軌。舉例而言，電影邏輯框可含有關於電影之後設資料(例如，樣本之間的邏輯及時序關係，及亦指向樣本之位置的指標)。電影邏輯框可包括若干類型之子邏輯框。電影邏輯框中之子邏輯框可包括一或多個播放軌邏輯框。播放軌邏輯框可包括關於電影之個別播放軌的資訊。播放軌邏輯框可包括指定單一播放軌之總資訊的播放軌標頭邏輯框。此外，一播放軌邏輯框可包括含有一媒體資訊邏輯框之媒體邏輯框。媒體資訊邏輯框可包括含有媒體樣本在播放軌中之資料索引的樣本表邏輯框。樣本表邏輯框中之資訊可用以按時間(且對於播放軌之樣本中之每一者，按類型、大小、容器及至樣本之彼容器的偏移)定位樣本。因此，將用於一播放軌之後設資料圍封於一播放軌邏輯框(「trak」)中，而將播放軌之媒體內容圍封於媒體資料邏輯框(「mdat」)中或直接圍封於單獨檔案中。用於播放軌之媒體內容包含一連串樣本(例如，由一連串樣本組成)，諸如，音訊或視訊存取單元。
ISOBMFF指定以下類型之播放軌：媒體播放軌，其含有基本媒體串流；提示播放軌，其包括媒體傳輸指令或表示接收之封包串流；及計時後設資料播放軌，其包含時間同步之後設資料。用於每一播放軌之後設資料包括樣本描述項之清單，每一項提供在播放軌中使用之寫碼或囊封格式及對於處理彼格式需要之初始化資料。每一樣本與播放軌之樣本描述項中之一者相關聯。
ISOBMFF實現藉由各種機構指定樣本特定後設資料。樣本表邏輯框(「stbl」)內之特定邏輯框已經標準化以回應普通需求。舉例而言，同步樣本邏輯框(「stss」)為樣本表邏輯框內之一邏輯框。同步樣本邏輯框用以列出播放軌之隨機存取樣本。本發明可將由同步樣本邏輯框列出之一樣本稱作同步樣本。在另一實例中，樣本分群機構實現根據四字元分群類型將樣本映射成共用指定為檔案中之樣本群組描述項之同一性質的樣本之群組。已在ISOBMFF中指定若干分群類型。
樣本表邏輯框可包括一或多個SampleToGroup邏輯框及一或多個樣本群組描述邏輯框(亦即，SampleGroupDescription邏輯框)。SampleToGroup邏輯框可用以判定樣本屬於之樣本群組，連同該樣本群組之相關聯描述。換言之，SampleToGroup邏輯框可指示樣本屬於之群組。SampleToGroup邏輯框可具有「sbgp」之邏輯框類型。SampleToGroup邏輯框可包括分群類型元件(例如，grouping_type)。分群類型元件可為識別樣本分群之類型(亦即，用以形成樣本群組之規則)的整數。此外，SampleToGroup邏輯框可包括一或多個項。SampleToGroup邏輯框中之每一項可與播放軌中之一系列不同的非重疊連續樣本相關聯。每一項可指示一樣本計數元素(例如，sample_count)及一群組描述索引元素(例如，group_description_index)。一項目之樣本計數元素可指示與該項目相關聯的樣本之數目。換言之，項目之樣本計數元素可為給出具有相同樣本群組描述符的連續樣本之數目之整數。群組描述索引元素可識別含有與該項目相關聯之樣本之描述的SampleGroupDescription邏輯框。多個項目之群組描述索引元素可識別相同SampleGroupDescription邏輯框。
當前檔案格式設計可具有一或多個問題。為了基於ISOBMFF儲 存特定視訊編碼解碼器之視訊內容，可能需要對彼視訊編碼解碼器之檔案格式規格。為了含有諸如MV-HEVC及SHVC之多個層的視訊串流之儲存，可重新使用來自SVC及MVC檔案格式的概念中之一些。然而，許多部分不能直接用於SHVC及MV-HEVC視訊串流。HEVC檔案格式之直接應用具有至少下列缺點：SHVC及MV-HEVC可開始於含有基礎層中之IRAP圖像但亦可含有其他層中之其他非IRAP圖像的存取單元，或反之亦然。同步樣本當前不允許用於隨機存取的此點之指示。
本發明描述對以上問題之潛在解決方案，以及提供其他潛在改良，以實現含有多個層的視訊串流之高效且靈活儲存。本發明中描述之技術潛在地適用於用於儲存由任何視訊編碼解碼器寫碼之此視訊內容的任何檔案格式，但該描述係針對基於HEVC檔案格式儲存SHVC及MV-HEVC視訊串流，其在ISO/IEC 14496-15之第8條中指定。
以下將詳細論述本發明之該等技術的詳細實施。可在以下實例中概述本發明之技術。可分開來使用以下實例。替代地，可將以下實例之各種組合一起使用。
在第一實例中，Compressorname為在VisualSampleEntry邏輯框中指定之值。如在ISO/IEC 14496-12之第8.5.2.1節中所描述，VisualSampleEntry邏輯框為儲存關於使用之寫碼類型的詳細資訊及對於彼寫碼所需要之任何初始化資訊的用於視訊播放軌之樣本表邏輯框之類型。Compressorname指示用以產生媒體資料的壓縮器之名稱。視訊解碼器可使用Compressorname之值判定如何及/或是否解碼檔案中之視訊資料。如在ISO/IEC 14496-12之第8.5.3節中所定義，Compressorname經在固定32位元組欄位中格式化，其中第一位元組經設定至待顯示的位元組之數目，接著為可顯示之資料的位元組之彼數目，且接著填補完整的一共32個位元組(包括大小位元組)。
第一實例允許Compressorname之兩個新值。Compressorname之第一新值為針對含有SHVC視訊串流之檔案的「\013SHVC寫碼」。Compressorname之第二新值為用於含有MV-HEVC視訊串流之檔案的「\016MV-HEVC寫碼」。可如在以下第9.5.3.1.3節及第10.5.3.2節中所展示實施此第一實例。
如上簡要地描述，檔案可包括含有用於檔案之播放軌的後設資料之電影邏輯框。電影邏輯框可包括用於該檔案之每一播放軌的播放軌邏輯框。此外，播放軌邏輯框可包括含有聲明播放軌之媒體之特性資訊的所有目標之媒體資訊邏輯框。媒體資訊邏輯框可包括一樣本表邏輯框。樣本表邏輯框可指定樣本特定後設資料。舉例而言，樣本表邏輯框可包括複數個樣本描述邏輯框。樣本描述邏輯框中之每一者可為樣本項之一執行個體。在ISO/IEC 14496-12中，VisualSampleEntry類別之執行個體可用作樣本項。針對特定視訊寫碼標準的樣本項之類別可擴展VisualSampleEntry類別。舉例而言，針對HEVC的樣本項之類別可擴展VisualSampleEntry類別。因此，本發明可將擴展VisualSampleEntry類別之不同類別稱作不同樣本項類型。
在第二實例中，針對HEVC播放軌定義兩個新樣本項(亦即，「樣本」)類型--「hev2」及「hvc2」。兩個新樣本項類型允許使用聚集器及提取器。一般而言，聚集器聚集呈單一聚集之資料單元之形式的多個NAL單元。舉例而言，聚集器可含有多個NAL單元及/或可實際上串接多個NAL單元。一般而言，提取器指示自其他播放軌獲得的資料之類型。舉例而言，經由多個播放軌儲存媒體資料(例如，HEVC資料)可導致緊湊的檔案，此係因為可藉由使用叫作提取器(其作為NAL單元嵌入於媒體資料中)之相對較小資料單元跨媒體播放軌參考資料來避免資料之複製。可如在以下第9.5.3.1.1節、第9.5.3.1.2節、第9.5.4節、第9.5.6節、第10.4.5節、第10.5.3.1.1.1節及第10.5.3.2節中所 展示來實施此第二實例。
在第三實例中，與關於用於多層位元串流之參數集之儲存的特定要求相關聯的樣本項之定義經修改，以便實現對一特定層或一特定操作點之方便的隨機存取。舉例而言，當SHVC、MV-HEVC或3D-HEVC播放軌具有樣本項且當一樣本含有至少一IRAP圖像時，對於解碼彼樣本所需要之所有參數應包括於該樣本項或彼樣本自身中。在此實例中，當一樣本不含有任何IRAP圖像時，對於解碼彼樣本所需要之所有參數集(例如，VPS、SPS、PPS)應包括於該樣本項中或自從含有至少一IRAP圖像之先前樣本至彼樣本自身(包括性)之任何樣本中。可如以下在第9.5.3.1.1節中所展示實施此第三實例。
在第三實例之一個替代型式中，當SHVC、MV-HEVC或3D-HEVC播放軌具有樣本項且當在一樣本中之一圖像為IRAP圖像時，對於解碼彼圖像所需要之所有參數集應包括於該樣本項中或彼樣本自身中。此外，在此替代例中，當樣本不含有任何IRAP圖像時，對於解碼該圖像所需要之所有參數集應包括於樣本項中或同一層中在含有至少一IRAP圖像之先前樣本後的樣本至彼樣本自身中之任何者中(包括性)。
在第四實例中，定義用於現有樣本項類型之以下情況。在此實例中，屬於樣本項類型「hev1」及「hvc1」之樣本含有用於具有HEVC VCL NAL單元之SHVC及MV-HEVC播放軌的HEVC、SHVC及MV-HEVC組態。此外，含有SHVC及MV-HEVC組態之樣本項類型「hev1」及「hvc1」係針對無HEVC NAL單元但具有具大於0之nuh_layer_id之VCL NAL單元的SHVC及MV-HEVC播放軌定義，其中不允許提取器。可如以下在第9.5.3.1.1節中所展示實施此第四實例。
在第五實例中，將SHVC、MV-HEVC或3D-HEVC播放軌中之同步樣本定義為含有皆為IRAP圖像之圖像的樣本。可如以下在第9.5.5 節及第10.4.3節中所展示實施此第五實例。如以下在第9.5.5節所指定，若存取單元中之每一經寫碼圖像為IRAP圖像，則將SHVC樣本考慮為同步樣本，如在HEVC WD中所定義。此外，如以下在第10.4.3節中所指定，若存取單元中之每一經寫碼圖像為無RASL圖像之IRAP圖像，則將MV-HEVC樣本考慮為同步樣本，如在HEVC WD中所定義。
因此，在第五實例中，作為產生檔案之部分，檔案產生器件34可產生一同步樣本邏輯框，該同步樣本邏輯框包括以文件記載多層視訊資料之一播放軌之同步樣本的同步樣本表。播放軌之每一同步樣本為播放軌之隨機存取樣本。若存取單元中之每一經寫碼圖像為IRAP圖像，則可調式視訊寫碼樣本為同步樣本。若存取單元中之每一經寫碼圖像為無RASL圖像之IRAP圖像，則多視圖視訊寫碼樣本為同步樣本。
在第五實例之一替代型式中，將SHVC、MV-HEVC或3D-HEVC播放軌中之同步樣本定義為含有皆為無RASL圖像之IRAP圖像的圖像之樣本。同步樣本表以文件記載同步樣本。視情況，同步樣本樣本群組以文件記載同步樣本。換言之，同步樣本樣本群組包括識別同步樣本之資訊。
在第六實例中，將「rap」樣本群組定義為含有含有皆為IRAP圖像(具有或無RASL圖像)之圖像的彼等樣本。可如以下在第9.5.5節中所示實施此第六實例。替代地，在第六實例中，將「rap」樣本群組定義為含有含有皆為IRAP圖像之圖像的彼等樣本，但不包括指示為同步樣本之彼等樣本。
在第七實例中，定義以文件記載含有以下各者之所有樣本的一新樣本群組或一新邏輯框：至少一IRAP圖像、該樣本中的IRAP圖像中之VCL NAL單元之NAL單元類型、樣本中之所有經寫碼圖像是否皆為IRAP圖像及(若不)樣本中的IRAP圖像之數目，及樣本中的此等 IRAP圖像之層ID值。
因此，在此第七實例中，檔案產生器件34可產生包含含有用於檔案中之一播放軌之後設資料的播放軌邏輯框之檔案。用於播放軌之媒體資料包含一連串樣本。樣本中之每一者可為多層視訊資料之一存取單元。作為產生檔案之部分，檔案產生器件34在檔案中產生以文件記載含有至少一IRAP圖像之所有樣本的一額外邏輯框。
部分如以下在第9.5.5.1節中所示實施此第七實例。如以下在第9.5.5.1節中所示，隨機可存取樣本項類別擴展VisualSampleGroupEntry類別。隨機可存取樣本項類別之執行個體(亦即，隨機可存取樣本項邏輯框)對應於含有至少一IRAP圖像之樣本。此外，隨機可存取樣本項邏輯框包括指定對應的樣本中之所有經寫碼圖像是否為IRAP圖像之all_pics_are_IRAP值。
因此，在第七實例中，檔案產生器件34可產生包括一值(例如，all_pics_are_IRAP)之樣本項。值等於1指定樣本中之每一經寫碼圖像為IRAP圖像。值等於0指定樣本中並非所有經寫碼圖像皆為IRAP圖像。
此外，根據第七實例，當樣本之並非所有經寫碼圖像皆為IRAP圖像時，檔案產生器件34可在對應於樣本之樣本項中包括指示樣本群組之每一樣本中的IRAP圖像之數目之值。另外，當樣本中並非所有經寫碼圖像皆為IRAP圖像時，檔案產生器件34可在對應於樣本之樣本項中包括指示樣本中的IRAP圖像之層識別符之值。
替代地，在第七實例中，新樣本群組或新邏輯框以文件記載此等樣本，但不包括指示為同步樣本或「rap」樣本群組之成員的樣本。
此第七實例可解決當使用ISOBMFF或其現有擴展儲存多層視訊資料時可引起之一或多個問題。舉例而言，在單層視訊寫碼中，通常 每存取單元僅存在單一經寫碼圖像。然而，在多層視訊寫碼中，通常每存取單元存在一個以上經寫碼圖像。ISOBMFF及其現有擴展不提供指示哪些樣本包括一或多個IRAP圖像之方式。此可妨礙計算器件定位檔案中之隨機存取點或執行層切換之能力。舉例而言，在無指示樣本中之哪些者含有一或多個IRAP圖像之資訊的情況下，計算器件可能需要剖析及解譯NAL單元以便判定一存取單元是否可用作隨機存取點及/或用於層切換。剖析及解釋NAL單元可對計算器件增加複雜度，且可消耗時間及處理資源。此外，執行隨機存取及/或層切換之一些計算器件(諸如，串流伺服器)並未經組態以剖析或解譯NAL單元。
在第八實例中，包括新類型之子樣本的介紹，其中每一子樣本含有一個經寫碼圖像及其相關聯之非VCL NAL單元。可如以下在第9.5.8節中所示實施此第八實例。因此，在此第八實例中，檔案產生器件34可產生包含含有用於檔案中之一播放軌之後設資料的播放軌邏輯框之檔案。用於播放軌之媒體資料包含一連串樣本。樣本中之每一者為多層視訊資料之一存取單元。作為產生檔案之部分，檔案產生器件34在檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給定的子樣本資訊之類型之旗標。當旗標具有一特定值時，對應於該子樣本資訊邏輯框之子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯的零或多個非VCL NAL單元。
此第八實例可解決當使用ISOBMFF或其現有擴展儲存多層視訊資料時可引起之一或多個問題。舉例而言，在多層視訊寫碼中，每樣本可存在多個經寫碼圖像。舉例而言，對於每一層，在樣本中可存在一或多個圖像。然而，在對於H.264/AVC及HEVC的ISOBMFF之擴展中，當一樣本包括多個圖像時，子樣本資訊邏輯框不提供關於該樣本內之個別圖像的資訊。此第八實例之技術可藉由提供新類型之子樣本 資訊邏輯框來解決此問題，該新類型之子樣本資訊邏輯框提供關於含有僅一個經寫碼圖像及與該經寫碼圖像相關聯之非VCL NAL單元的子樣本之資訊。如與僅提供在與經寫碼圖像相關聯之NAL單元內的此資訊相反，提供關於檔案結構中之個別經寫碼圖像之資訊可使計算器件能夠判定關於經寫碼圖像之資訊，而不必解譯該等NAL單元。在一些情況下，為了減小計算器件之複雜度及/或增大計算器件之輸送量，計算器件未經組態以解譯NAL單元。在計算器件正串流儲存於檔案中之NAL單元之一些實例中，計算器件可使用子樣本資訊邏輯框中之資訊判定是否將子樣本之NAL單元轉遞至用戶端器件。
第九實例係關於在多層上下文中的非輸出樣本之處置。特定言之，在第九實例中，當一存取單元含有具有等於1之pic_output_flag的一些經寫碼圖像及具有等於0之pic_output_flag的一些其他經寫碼圖像時，必須使用至少兩個播放軌儲存串流，使得在每一播放軌內，每一樣本中之所有經寫碼圖像具有相同的pic_output_flag值。可如以下在第9.5.9節中所示實施此第九實例。
因此，在此第九實例中，檔案產生器件34可產生包含圍封媒體內容之媒體資料邏輯框之一檔案。媒體內容包含一連串樣本。樣本中之每一者為多層視訊資料之一存取單元。回應於多層視訊資料之一位元串流之至少一存取單元包括具有等於1之圖像輸出旗標(例如，pic_output_flag)的一經寫碼圖像及具有等於0之圖像輸出旗標的一經寫碼圖像，檔案產生器件34可使用至少兩個播放軌將位元串流儲存於檔案中。對於來自至少兩個播放軌之每一各別播放軌，各別播放軌之每一樣本中的所有經寫碼圖像具有相同的圖像輸出旗標值。
此第九實例可解決當使用ISOBMFF或其現有擴展儲存多層視訊資料時可引起之一或多個問題。舉例而言，若使用單一播放軌儲存具有等於0之圖像輸出旗標及等於1之圖像輸出旗標的經寫碼圖像，則將 違反各種檔案格式化規則。舉例而言，檔案格式化規則通常需要每時刻在播放軌中僅存在一個樣本。若單一播放軌儲存具有等於0之圖像輸出旗標及等於1之圖像輸出旗標的經寫碼圖像，則每時刻在播放軌中將存在多個樣本。迫使具有不同圖像輸出旗標值之經寫碼圖像在檔案之不同播放軌中可解決此問題。
以下描述本發明之一些技術之一實例實施。以下描述之實例實施係基於在MPEG輸出文件W13478中的14496-15之最新近整合規格。以下包括對附錄A之改變(藉由下劃線展示)及添加之章節(第9節針對SHVC，且第10節針對MV-HEVC)。換言之，本發明之特定實例可修改ISO/IEC 14496-15之附錄A，且可將第9節及/或第10節添加至ISO/IEC 14496-15。藉由下劃線及雙下劃線展示之文字可具有與本發明之實例的特定相關性。雖然在本文中描述之實例中各處使用術語SHVC，但本發明之設計實際上不僅將僅支援SHVC編碼解碼器，而取而代之，可支援包括MV-HEVC、3D-HEVC之所有多層編碼解碼器，除非另有明確地提到。
9 SHVC基本串流及樣本定義 9.1 介紹
此條款指定SHVC資料之儲存格式。其擴展在第8條中的HEVC之儲存格式之定義。
如在此條款及附錄A至D中定義的用於SHVC內容之儲存的檔案格式使用ISO基本媒體檔案格式之現有能力及普通HEVC檔案格式(亦即，在第8條中指定之檔案格式)。此外，使用尤其以下結構或擴展來支援SHVC特定特徵。
聚集器：藉由將NAL單元之不規則型樣改變成聚集之資料單元之規則型樣來實現NAL單元的高效可調式分群之結構。
提取器：實現自不同於含有媒體資料之播放軌的播放軌高效提取NAL單元之結構。
時間後設資料語句：用於儲存媒體樣本之經時間對準資訊之結構。
HEVC相容性：提供用於以HEVC相容方式儲存SHVC位元串流，使得HEVC相容基礎層可由任一遵照普通HEVC檔案格式之讀取器使用。
9.2 基本串流結構
根據8.2儲存SHVC串流，具有SHVC視訊基本串流之以下定義：
˙SHVC視訊基本串流應含有所有視訊寫碼有關之NAL單元(亦即，含有視訊資料或傳信視訊結構之彼等NAL單元)且可含有諸如SEI訊息及存取單元定界符NAL單元之非視訊寫碼有關之NAL單元。亦可存在聚集器(見A.2)或提取器(見A.3)。聚集器及提取器應如在此國際標準中所定義來處理(例如，在存取檔案時，不應直接置放於輸出緩衝器中)。可存在未明確受到抑制之其他NAL單元，且若其未經辨識，則應將其忽略(例如，在存取檔案時，不置放於輸出緩衝器中)。
不應使用相關聯之參數集串流來儲存SHVC串流。
可存在等於0之nuh_layer_id的VCL NAL單元、大於0之nuh_layer_id的VCL NAL單元及SHVC視訊基本串流中存在之非VCL NAL單元。另外，可存在SHVC視訊基本串流中存在之聚集器NAL單元及提取器NAL單元。
9.3 普通HEVC檔案格式之使用
SHVC檔案格式為在第8條中定義的普通HEVC檔案格式之擴展。
9.4 樣本及組態定義 9.4.1 介紹
SHVC樣本：SHVC樣本亦為如在ISO/IEC 23008-2之附錄H中定義之存取單元。
9.4.2 標準次序及限制 9.4.2.1 限制
除8.3.2中之要求外，以下限制亦應用於SHVC資料。
˙VCL NAL單元：在其組成時間為由一個存取單元表示之圖像的組成時間之實例中應含有在該存取單元中之所有VCL NAL單元。SHVC樣本應含有至少一VCL NAL單元。
˙聚集器/提取器：在聚集器中包括或由提取器參考的所有NAL單元之次序恰好為解碼次序，如同此等NAL單元存在於不含有聚集器/提取器之樣本中。在處理了聚集器或提取器後，所有NAL單元必須呈有效之解碼次序，如在ISO/IEC 23008-2中所指定。
9.4.2.2 解碼器組態記錄
當將在8.3.3.1中定義之解碼器組態記錄用於可解譯為SHVC或HEVC串流之串流時，HEVC解碼器組態記錄應反映HEVC相容基礎層之性質，例如，其應僅含有對於解碼HEVC基礎層所需要之參數集。
SHVCDecoderConfigurationRecord在結構上與HEVCDecoderConfigurationRecord相同。語法如下：
SHVCDecoderConfigurationRecord中的欄位之語義與針對HEVCDecoderConfigurationRecord所定義相同。
9.5 自ISO基礎媒體檔案格式之導出 9.5.1 SHVC播放軌結構
可調式視訊串流由檔案中之一或多個視訊播放軌表示。每一播 放軌表示可調式串流之一或多個操作點。當然，若需要，可調式串流可進一步變細。
讓最低操作點為含有具有僅等於0之nuh_layer_id及僅等於0之TemporalId的NAL單元之所有操作點中之一者。應將含有最低操作點之一播放軌提名為「可調式基礎播放軌」。為相同可調式編碼資訊之部分的所有其他播放軌應藉由類型「sbas」(可調式基礎)之播放軌參考而與此基礎播放軌有聯繫。
共用同一可調式基礎播放軌之所有播放軌必須共用與可調式基礎播放軌相同的時間標度。
9.5.2 資料共用及提取
不同的播放軌可邏輯上共用資料。此共用可呈以下兩個形式中之一者：
a)將樣本資料自一個播放軌複製至另一播放軌(且可壓緊或與諸如音訊之其他資料重新交錯)。此建立較大總體檔案，但為了易於提取，低位元速率資料可經壓緊及/或與其他材料交錯。
b)可存在關於如何在讀取檔案時執行此複製之指令。
對於第二情況，使用提取器(在A.3中所定義)。
9.5.3 SHVC視訊串流定義 9.5.3.1 樣本項名稱及格式 9.5.3.1.1 定義
類型：「hvc2」、「hev2」、「shc1」、「shv1」、「shcC」
容器：樣本描述邏輯框(「stsd」)
必選：「hvc1」、「hev1」、「hvc2」、「hev2」、「shc1」或「shv1」樣本項為必選的
品質：可存在一或多個樣本項
當樣本項名稱為「shc1」時，array_completeness之預設及必選值 對於所有類型之參數集之陣列為1，且對於所有其他陣列為0。當樣本項名稱為「shv1」時，array_completeness之預設值對於所有陣列皆為0。
當樣本項名稱為「shv1」時，以下適用：
˙若樣本含有至少一IRAP圖像(如在ISO/IEC 23008-2中所定義)，則對於解碼彼樣本所需要之所有參數集應包括於樣本項中或彼樣本自身中。
˙否則(樣本不含有IRAP圖像)，對於解碼彼樣本所需要之所有參數集應包括於樣本項中或自從含有至少一IRAP圖像之先前樣本至彼樣本自身(包括性)之任何樣本中。
替代地，當樣本項名稱為「shv1」時，以下適用：
˙若一樣本中之經寫碼圖像為IRAP圖像(如在ISO/IEC 23008-2中所定義)，則對於解碼彼經寫碼圖像所需要之所有參數集應包括於樣本項中或彼樣本自身中。
˙否則(樣本中之經寫碼圖像並非IRAP圖像)，對於解碼彼經寫碼圖像所需要之所有參數集應包括於樣本項中或自從與彼經寫碼圖像相同之層中的含有一IRAP圖像之先前樣本至彼樣本自身(包括性)之任何樣本中。
若SHVC基本串流含有一可使用之HEVC相容基礎層，則應使用HEVC視覺樣本項(「hvc1」或「hev1」)。此處，該項目一開始應含有HEVC組態邏輯框，可能接著為如下所定義之SHVC組態邏輯框。HEVC組態邏輯框以文件記載係關於HEVC相容基礎層之設定檔、層、層級及可能亦有參數集，如由HEVCDecoderConfigurationRecord所定義。SHVC組態邏輯框以文件記載係關於儲存於SHVCConfigurationBox中的含有SHVC相容增強層之整個串流之設定檔、層、層級及可能亦有參數集(如由 HEVCDecoderConfigurationRecord所定義)。
若SHVC基本串流不含有一可使用之HEVC基礎層，則應使用SHVC視覺樣本項(「shc1」或「shv1」)。SHVC視覺樣本項應含有如下所定義之SHVC組態邏輯框。此包括一SHVCDecoderConfigurationRecord，如在此國際標準中所定義。
在任一給定樣本項中之SHVC及HEVC組態中的lengthSizeMinusOne欄位應具有相同值。
提取器或聚集器可用於在「hvc1」、「hev1」、「hvc2」、「hev2」、「shc1」或「shv1」播放軌中具有大於0之nuh_layer_id的NAL單元。「hvc2」或「hev2」樣本項中之「extra_boxes」可為SHVCConfigurationBox或其他擴展邏輯框。
註 當指示HEVC相容性時，可能有必要指示用於HEVC基礎層之不現實層級以適應整個串流之位元速率，此係因為將所有NAL單元考慮為包括於HEVC基礎層中，且因此，可將其饋入至解碼器，期望解碼器捨棄其未辨識之彼等NAL單元。此情況在使用「hvc1」或「hev1」樣本項且HEVC及SHVC兩個組態皆存在時發生。
SHVCConfigurationBox可存在於「hvc1」或「hev1」樣本項中。在此情況下，以下之HEVCSHVCSampleEntry定義適用。
下表展示對於一視訊播放軌的樣本項、組態及SHVC工具(不包括計時後設資料，其始終用於另一播放軌中)之所有可能使用：
9.5.3.1.2 語法
9.5.3.1.3 語義
當樣本項應用至之串流含有具有大於0之nuh_layer_id的NAL單元時，基礎類別VisualSampleEntry中之Compressorname指示與正推薦之值「\013SHVC Coding」(\013為11，以位元組為單元的字串「SHVC Coding」之長度)一起使用的壓縮器之名稱。
9.5.4 SHVC視覺寬度及高度
若含有具有大於0之nuh_layer_id的NAL單元之串流由類型「hvc1」、「hev1」、「hvc2」、「hev2」之樣本項描述，則在該串流之VisualSampleEntry中以文件記載之視覺寬度及高度為HEVC基礎層之視覺寬度及高度；否則，其為藉由解碼整個串流的最高層之經解碼圖像之視覺寬度及高度。
9.5.5 同步樣本
若存取單元中之每一經寫碼圖像為IRAP圖像，則將SHVC樣本考慮為同步樣本，如在ISO/IEC 23008-2中所定義。同步樣本由同步樣本表以文件記載，且可額外地由同步樣本樣本群組及「rap」樣本群組以文件記載。
9.5.5.1 隨機存取樣本樣本群組 9.5.5.1.1 定義
群組類型：「ras」
容器：樣本群組描述邏輯框(「ras」)
必選：否
品質：零或多個
隨機存取樣本樣本群組識別含有至少一IRAP圖像之樣本。
9.5.5.1.2 語法
9.5.5.1.3 語義
all_pics_are_IRAP等於1指定群組之每一樣本中的所有經寫碼圖像為IRAP圖像。當值等於0時，以上約束可或可不適用。
IRAP_nal_unit_type指定群組之每一樣本中的IRAP圖像之NAL單元類型。IRAP_nal_unit_type之值應在16至23之範圍中(包括性)。
num_IRAP_pics指定群組之每一樣本中的IRAP圖像之數目。
IRAP_pic_layer_id指定群組之每一樣本中的第i個IRAP圖像之nuh_layer_id之值。
9.5.6 關於隨機存取恢復點及隨機存取點之樣本群組
對於由類型「hvc1」、「hev1」、「hvc2」或「hev2」之樣本項描述的視訊資料，隨機存取恢復樣本群組及隨機存取點樣本群組分別識別 用於對整個位元串流操作之HEVC解碼及SHVC解碼器(若有)之隨機存取恢復點及隨機存取點。
對於由類型「shc1」或「shv1」描述之視訊資料，隨機存取恢復樣本群組識別整個SHVC位元串流中之隨機存取恢復，且隨機存取點樣本群組識別整個SHVC位元串流中之隨機存取點。
若存取單元中之每一經寫碼圖像為IRAP圖像(具有或無RASL圖像)，則將SHVC樣本考慮為隨機存取點，如在ISO/IEC 23008-2中所定義，且ISO/IEC 14496-2中之前置樣本為所有圖像皆為RASL圖像之樣本，如在ISO/IEC 23008-2中所定義。
9.5.7 獨立拋棄式樣本邏輯框
若其用於HEVC及SHVC兩者皆相容之播放軌中，則應注意語句為真，不管使用SHVC資料(可能僅HEVC資料)之何有效子集。若資訊變化，則可能需要「未知」值(欄位sample-depends-on、sample-is-depended-on及sample-has-redundancy之值0)。
9.5.8 用於SHVC的子樣本之定義
此子條款擴展8.4.8中的HEVC之子樣本之定義。
對於在SHVC串流中的子樣本資訊邏輯框(ISO/IEC 14496-12之8.7.7)之使用，基於如以下指定的子樣本資訊邏輯框之旗標之值定義子樣本。此邏輯框之存在係可選的；然而，若存在於含有SHVC資料之播放軌中，則其應具有此處定義之語義。
旗標指定在此邏輯框中給出的子樣本資訊之類型，如下：
0：基於NAL單元之子樣本。一子樣本含有一或多個相鄰NAL單元。
1：基於解碼單元之子樣本。一子樣本含有正好一個解碼單元。
2：基於影像塊之子樣本。一子樣本含有一個影像塊及含有該影像塊的VCL NAL單元之相關聯之非VCL NAL單元(若有)，或含有一或 多個非VCL NAL單元。
3：基於CTU列之子樣本。一子樣本含有一切片內之一個CTU列及含有該CTU列的VCL NAL單元之相關聯之非VCL NAL單元(若有)，或含有一或多個非VCL NAL單元。當entropy_coding_sync_enabled_flag等於0時，不應使用此類型之子樣本資訊。
4：基於切片之子樣本。一子樣本含有一個切片(其中每一切片可含有一或多個切片片段，其中之每一者為NAL單元)及相關聯之非VCL NAL單元(若有)，或含有一或多個非VCL NAL單元。
5：基於圖像之子樣本。一子樣本含有一個經寫碼圖像及相關聯之非VCL NAL單元。
其他旗標值係保留的。
subsample_priority欄位應設定至根據在ISO/IEC 14496-12中的此欄位之規格之一值。
僅若在此子樣本經捨棄之情況下仍可解碼此樣本時，應將此可捨棄欄位設定至1(例如，子樣本由SEI NAL單元組成)。
當NAL單元之第一位元組包括於子樣本中時，先前長度欄位必須亦包括於同一子樣本中。
SubLayerRefNalUnitFlag等於0指示子樣本中之所有NAL單元為如在ISO/IEC 23008-2中指定的子層非參考圖像之VCL NAL單元。值1指示子樣本中之所有NAL單元為如在ISO/IEC 23008-2中指定的子層參考圖像之VCL NAL單元。
RapNalUnitFlag等於0指示子樣本中的NAL單元中無一者具有等 於如在ISO/IEC 23008-2中指定的IDR_W_RADL、IDR_N_LP、CRA_NUT、BLA_W_LP、BLA_W_RADL、BLA_N_LP、RSV_IRAP_VCL22或RSV_IRAP_VCL23之nal_unit_type。值1指示子樣本中之所有NAL單元具有如在ISO/IEC 23008-2中指定的IDR_W_RADL、IDR_N_LP、CRA_NUT、BLA_W_LP、BLA_W_RADL、BLA_N_LP、RSV_IRAP_VCL22或RSV_IRAP_VCL23之nal_unit_type。
VclNalUnitFlag等於0指示子樣本中之所有NAL單元為非VCL NAL單元。值1指示子樣本中之所有NAL單元為VCL NAL單元。
DiscardableFlag指示子樣本中的VCL NAL單元之discardable_flag值。子樣本中之所有VCL NAL重元具有相同的discardable_flag值。
注意 此並非與子樣本資訊邏輯框中之可捨棄欄位相同的定義。
NoInterLayerPredFlag指示子樣本中的VCL NAL單元之inter_layer_pred_enabled_flag之值。子樣本中之所有VCL NAL單元具有相同的inter_layer_pred_enabled_flag值。
LayerId指示子樣本中的NAL單元之nuh_layer_id值。子樣本中之所有NAL單元應具有相同的nuh_layer_id值。
TempId指示子樣本中的NAL單元之TemporalId值。子樣本中之所有NAL單元應具有相同的TemporalId值。
vcl_idc指示子樣本含有視訊寫碼層(VCL)資料、非VCL資料或是兩者，如下：
0：子樣本含有VCL資料且不含有非VCL資料
1：子樣本不含有VCL資料且含有非VCL資料
2：子樣本可含有應彼此相關聯之VCL及非VCL資料兩者。舉例而言，子樣本可含有解碼單元資訊SEI訊息，接著為與SEI訊息相關聯 的NAL單元之集合。
3：保留
log2_min_luma_ctb指示ctb_x及ctb_y之單位，如下所指定：
0：8個亮度樣本
1：16個亮度樣本
2：32個亮度樣本
3：64個亮度樣本
ctb_x指定當旗標等於2且vcl_idc等於1或2時與子樣本相關聯的影像塊之最右邊亮度樣本之0基座標，按自如以上指定的log2_min_luma_ctb導出之單位。
ctb_y指定當旗標等於2且vcl_idc等於1或2時與子樣本相關聯的影像塊之最底部亮度樣本之0基座標，按自如以上指定的log2_min_luma_ctb導出之單位。
VclNalUnitType指示子樣本中的VCL NAL單元之nal_unit_type值。子樣本中之所有VCL NAL單元應具有相同的nal_unit_type值。
9.5.9 處置非輸出樣本
8.4.9中之規格適用，其中「HEVC」由「SHVC」替換，且將非輸出樣本定義為目標輸出層之圖像具有等於0之pic_output_flag的樣本。當一存取單元含有具有等於1之pic_output_flag的一些經寫碼圖像及具有等於0之pic_output_flag的一些其他經寫碼圖像時，必須使用至少兩個播放軌來儲存該串流，使得在每一播放軌內，每一樣本中之所有經寫碼圖像具有相同的pic_output_flag值。
10 10 MV-HEVC基本串流及樣本定義 10.1 介紹
此條款指定MV-HEVC資料之儲存格式。其擴展在第8條中的HEVC之儲存格式之定義。
如在此條款及附錄A至D中定義的用於MV-HEVC內容之儲存的檔案格式使用ISO基本媒體檔案格式之現有能力及普通HEVC檔案格式(亦即，在第8條中指定之檔案格式)。此外，使用尤其以下結構或擴展來支援MV-HEVC特定特徵。
聚集器：藉由將NAL單元之不規則型樣改變成聚集之資料單元之規則型樣來實現NAL單元的高效可調式分群之結構。
提取器：實現自不同於含有媒體資料之播放軌的播放軌高效提取NAL單元之結構。
HEVC相容性：提供用於以HEVC相容方式儲存MV-HEVC位元串流，使得HEVC相容基礎層可由任一遵照普通HEVC檔案格式之讀取器使用。
對MV-HEVC之支援包括許多工具，且存在可使用其之方式的各種「模型」。詳言之，可以許多方式將MV-HEVC串流置放於播放軌中，其中有以下方式：1.一個播放軌中之所有視圖，標有樣本群組；2.其自己的播放軌中之每一視圖，標於樣本項中；3.混合，含有所有視圖之一個播放軌，及各含有可獨立地寫碼之一視圖之一或多個單一視圖播放軌；4.各在一播放軌中的預期之操作點(例如，HEVC基礎、立體聲對、多視圖場景)。
MV-HEVC檔案格式允許將一或多個視圖儲存至一播放軌內，類似於第9條中對SHVC之支援。每播放軌可使用多個視圖之儲存，例如，當內容提供者想要提供並不意欲用於子集建構之多視圖位元串流時，或當已針對少數預定義之輸出視圖之集合(諸如，1個、2個、5個 或9個視圖)建立位元串流時(其中可相應地建立播放軌)。若將一個以上視圖儲存於一播放軌中且存在表示MV-HEVC位元串流之若干播放軌(一個以上)，則推薦樣本分群機制之使用。
當MV-HEVC位元串流由多個播放軌表示且一播放器使用含有多個播放軌中之資料的操作點時，該播放器必須重建構MV-HEVC存取單元，之後將其遞送至MV-HEVC解碼器。MV-HEVC操作點可明確地由一播放軌表示，亦即，僅藉由解析一樣本之所有提取器及聚集器NAL單元來重建構一存取單元。若操作點之數目大，則針對每一操作點建立一播放軌可能消耗空間且不切實際。在此情況下，MV-HEVC存取單元如在10.5.2中所指定來重建構。MV-HEVC解碼器組態記錄含有指示相關聯之樣本使用明確或是隱含存取單元重建構之一欄位(見explicit_au_track欄位)。
10.2 MV-HEVC播放軌結構
根據8.2儲存MV-HEVC串流，具有MV-HEVC視訊基本串流之以下定義：
˙MV-HEVC視訊基本串流應含有所有視訊寫碼有關之NAL單元(亦即，含有視訊資料或傳信視訊結構之彼等NAL單元)且可含有諸如SEI訊息及存取單元定界符NAL單元之非視訊寫碼有關之NAL單元。亦可存在聚集器(見A.2)或提取器(見A.3)。聚集器及提取器應如在此國際標準中所定義來處理(例如，在存取檔案時，不應直接置放於輸出緩衝器中)。可存在未明確受到抑制之其他NAL單元，且若其未經辨識，則應將其忽略(例如，在存取檔案時，不置放於輸出緩衝器中)。
當需要時，不應使用相關聯之參數集串流來儲存MV-HEVC串流。
可存在等於0之nuh_layer_id的VCL NAL單元、大於0之 nuh_layer_id的VCL NAL單元及MV-HEVC視訊基本串流中存在之非VCL NAL單元。另外，可存在MV-HEVC視訊基本串流中存在之聚集器及提取器NAL單元。
10.3 普通HEVC檔案格式之使用
MV-HEVC檔案格式為在第8條中定義的普通HEVC檔案格式之擴展。
10.4 樣本及組態定義 10.4.1 介紹
MV-HEVC樣本：MV-HEVC樣本亦為如在ISO/IEC 23008-2之附錄F中定義之存取單元。
10.4.2標準次序及限制 10.4.2.1 限制
除8.3.2中之要求外，以下限制亦應用於MV-HEVC資料。
˙VCL NAL單元：在其組成時間為由一個存取單元表示之圖像的組成時間之實例中應含有在該存取單元中之所有VCL NAL單元。MV-HEVC樣本應含有至少一VCL NAL單元。
˙聚集器/提取器：在聚集器中包括或由提取器參考的所有NAL單元之次序恰好為解碼次序，如同此等NAL單元存在於不含有聚集器/提取器之樣本中。在處理了聚集器或提取器後，所有NAL單元必須呈有效之解碼次序，如在ISO/IEC 23008-2中所指定。
10.4.2.2 解碼器組態記錄
當將在8.3.3.1中定義之解碼器組態記錄用於可解譯為MV-HEVC或HEVC串流之串流時，HEVC解碼器組態記錄應反映HEVC相容基礎視圖之性質，例如，其應僅含有對於解碼HEVC基礎視圖所需要之參數集。
MVHEVCDecoderConfigurationRecord在結構上與 HEVCDecoderConfigurationRecord相同。語法如下：
MVHEVCDecoderConfigurationRecord中的欄位之語義與針對HEVCDecoderConfigurationRecord所定義相同。
10.4.3 同步樣本
若存取單元中之每一經寫碼圖像為無RASL圖像之IRAP圖像，則將MV-HEVC樣本考慮為同步樣本，如在ISO/IEC 23008-2中所定義。同步樣本由同步樣本表以文件記載，且可額外地由與在SHVC中類似地定義之同步樣本樣本群組及「rap」樣本群組以文件記載。
10.4.4 獨立且拋棄式樣本邏輯框
若其用於HEVC及MV-HEVC兩者皆相容之播放軌中，則應注意語句為真，不管使用MV-HEVC資料(可能僅HEVC資料)之何有效子集。若資訊變化，則可能需要「未知」值(欄位sample-depends-on、sample-is-depended-on及sample-has-redundancy之值0)。
10.4.5 關於隨機存取恢復點及隨機存取點之樣本群組
對於由類型「hvc1」、「hev1」、「hvc2」或「hev2」之樣本項描述的視訊資料，隨機存取恢復樣本群組及隨機存取點樣本群組分別識別用於對整個位元串流操作之HEVC解碼及MV-HEVC解碼器(若有)之隨機存取恢復點及隨機存取點。
對於由MV-HEVC樣本項類型描述之視訊資料，隨機存取恢復樣本群組識別整個MV-HEVC位元串流中之隨機存取恢復，且隨機存取點樣本群組識別整個MV-HEVC位元串流中之隨機存取點。
10.5 自ISO基礎媒體檔案格式之導出 10.5.1 MV-HEVC播放軌結構
多視圖視訊串流由檔案中之一或多個視訊播放軌表示。每一播放軌表示串流之一或多個視圖。
存在一或多個播放軌之最小集合，當將該一或多個播放軌放在一起時，其含有經編碼資訊之完整集合。所有此等播放軌應具有在所有其樣本項中之旗標「complete_representation」集合。形成完整經編碼資訊之此群播放軌叫作「完整子集」。
讓最低操作點為含有具有僅等於0之nuh_layer_id及僅等於0之TemporalId的NAL單元之所有操作點中之一者。應將含有最低操作點之一播放軌提名為「基礎視圖播放軌」。為相同串流之部分的所有其他播放軌應藉由類型「sbas」(視圖基礎)之播放軌參考而與此基礎播放軌有聯繫。
共用同一基礎視圖播放軌之所有播放軌必須共用與基礎視圖播放軌相同的時間標度。
若由一播放軌表示之一視圖將由另一播放軌表示之另一視圖用作視圖間預測參考，則類型「scal」之播放軌參考應包括於參考源播放軌之播放軌中，用於視圖間預測。
若將編輯應用至含有MV-HEVC位元串流之視圖分量，則編輯清單應在受到編輯影響之所有播放軌上一致。
10.5.2 存取單元之重建構
為了自一或多個MV-HEVC播放軌之樣本重建構一存取單元，可能需要首先判定目標輸出視圖。
對於解碼判定之目標輸出視圖需要的視圖可自在視圖識別符邏輯框或「scal」播放軌參考中包括的參考視圖識別符得出。
若若干播放軌含有用於存取單元之資料，則在解碼時間執行播放軌中的各別樣本之對準，亦即，僅使用時間至樣本表，而不考慮編輯清單。
藉由按符合ISO/IEC 23008-02之次序排列其NAL單元自所需之播放軌中的各別樣本重建構存取單元。以下次序提供形成符合之存取單元的程序之概括：
˙所有參數集NAL單元(自相關聯之參數集播放軌且自相關聯之基本串流播放軌)。
˙所有SEI NAL單元(自相關聯之參數集播放軌且自相關聯之基本串流播放軌)。
˙按視圖次序索引值之降序的視圖分量。在一視圖分量內之NAL單元在該樣本內按其出現之次序。
10.5.3樣本項 10.5.3.1 用於樣本項之邏輯框 10.5.3.1.1 視圖識別符邏輯框 10.5.3.1.1.1 定義
邏輯框類型：「vwid」
容器：樣本項(「hev1」、「hvc1」、「hev2」、「hvc2」、「mhc1」、「mhv1」)或MultiviewGroupEntry
必選：是(對於樣本項)
品質：正好一個(對於樣本項)
當包括於一樣本項中時，此邏輯框指示包括於播放軌中之視圖。此邏輯框亦指示針對每一列出之視圖的視圖次序索引。另外，當視圖識別符邏輯框包括於樣本項中時，該邏輯框包括在播放軌中包括的temporal_id之最小值及最大值。此外，該邏輯框指示對於解碼播放軌中包括之視圖所需要的參考之視圖。
10.5.3.1.1.2 語法
10.5.3.1.1.3 語義
當視圖識別符邏輯框包括於一樣本項中時，min_temporal_id、max_temporal_id分別選取在映射至播放軌或層之NAL單元之NAL單元標頭擴展中存在的temporal_id語法元素之各別最小值及最大值。對於AVC串流，此選取在或將在首碼NAL單元中之值。
num_views指示當視圖識別符邏輯框存在於一樣本項中時在播放軌中包括的視圖之數目。
layer_id[i]指示當視圖識別符邏輯框包括於一樣本項中時在包括於播放軌中的層之NAL單元標頭中的nuh_layer_id語法元素之值。
view_id指示具有等於layer_id[i]之nuh_layer_id的第i層之視圖識別符，如在ISO/IEC 23008-2之附錄F中所指定。
base_view_type指示視圖是否為基礎視圖(是否虛擬)。其選取以 下值：
0指示視圖既非基礎視圖，亦非虛擬基礎視圖。
1應用以標註MV-HEVC位元串流之非虛擬基礎視圖。
2為保留值且不應使用。
3指示具有view_id[i]之視圖為虛擬基礎視圖。具有view_id[i]的各別獨立寫碼之非基礎視圖駐留於另一播放軌中，當base_view_type等於3時，隨後num_ref_views應等於0。
depdent_layer[i][j]指示具有等於j之nuh_layer_id的第j層可為具有等於layer_id[i]之nuh_layer_id的層之直接或是間接參考之層。當視圖識別符邏輯框包括於一樣本項中時，推薦其指示同一樣本項中之參考之視圖。
10.5.3.2樣本項定義
樣本項類型：「hvc2」、「hev2」、「mhc1」、「mhv1」、「mhcC」
容器：樣本描述邏輯框(「stsd」)
必選：「hvc1」、「hev1」、「hvc2」、「hev2」、「mhc1」或「mhv1」邏輯框中之一者為必選的
品質：可存在一或多個樣本項
若MV-HEVC基本串流含有一可使用之HEVC相容基礎層，則應使用HEVC視覺樣本項(「hvc1」、「hev1」、「hvc2」、「hev2」)。此處，該項目一開始應含有HEVC組態邏輯框，可能接著為如下所定義之MV-HEVC組態邏輯框。HEVC組態邏輯框以文件記載係關於HEVC相容基礎層之設定檔、層級及可能亦有參數集，如由HEVCDecoderConfigurationRecord所定義。MV-HEVC組態邏輯框以文件記載係關於儲存於MVHEVCConfigurationBox中的含有非基礎視圖之整個串流之設定檔、層級及可能亦有參數集資訊(如由MVHEVCDecoderConfigurationRecord所定義)。
對於所有樣本項「hvc1」、「hev1」、「hvc2」、「hev2」，樣本項中之寬度及高度欄位以文件記載HEVC基礎層。對於MV-HEVC樣本項(「mhc1」、「mhv1」)，寬度及高度以文件記載藉由解碼整個串流之任一單一視圖所達成之解析度。
若MV-HEVC基本串流不含有一可使用之HEVC基礎層，則應使用MV-HEVC視覺樣本項(「mhc1」、「mhv1」)。MV-HEVC視覺樣本項應含有如下所定義之MV-HEVC組態邏輯框。此包括一MVHEVCDecoderConfigurationRecord，如在此國際標準中所定義。
在任一給定樣本項中之MV-HEVC及HEVC組態中的lengthSizeMinusOne欄位應具有相同值。
此處亦適用如在6.5.3.1.1中以文件記載的對於相同項類型「hvc1」及「hev1」之要求。
MVHEVCConfigurationBox可存在於「hvc1」、「hev1」、「hvc2」、「hev2」樣本項中。在此等情況下，以下HEVCMVHEVCSampleEntry或HEVC2MVHEVCSampleEntry定義分別適用。
基礎類別VisualSampleEntry中之Compressorname指示使用的壓縮器之名稱，其中推薦值「\014MV-HEVC Coding」(\016為14，以位元組為單元的字串「MV-HEVC coding」之長度)。
直接或藉由來自提取器之參考解碼存在於視訊串流之樣本資料中的NAL單元所需要之參數集應存在於彼視訊串流之解碼器組態中或相關聯之參數集串流(若使用)中。
下表展示對於一視訊播放軌的樣本項(當一MV-HEVC基本串流儲存於一或多個播放軌中時)、組態及MV-HEVC工具之所有可能使用。
以下中之樣本項mvhevc-type為{mhv1,mhc1}中之一者。
10.5.3.3 語法
10.5.4用於MV-HEVC的子樣本之定義
類似於針對SHVC定義之定義來定義用於MV-HEVC的子樣本之定義。
10.5.5處置非輸出樣本
類似於針對SHVC定義之處置來處置用於MV-HEVC之非輸出樣本。
以下展示至附錄A之改變。
附錄A(標準的) 串流中結構 A.1 介紹
聚集器及提取器為實現NAL單元之高效分群或自其他播放軌提取NAL單元之檔案格式內部結構。
聚集器及提取器使用NAL單元語法。此等結構被看作樣本結構之上下文中的NAL單元。在存取一樣本時，必須移除聚集器(留下其含有或參考之NAL單元)且提取器必須由其參考之資料替換。聚集器及提取器必須不存在於檔案格式外之串流中。
此等結構使用由ISO/IEC 14496-10或ISO/IEC 23008-2針對應用/輸送層保留之NAL單元類型。
註 以下來自ISO/IEC 14496-10：「註--可使用NAL單元類型0及24..31，如由應用程式所判定。在此推薦國際標準中未指定針對此等nal_unit_type值之解碼處理序。」
註 以下來自ISO/IEC 23008-2：「註1--可使用在UNSPEC48..UNSPEC63之範圍中的NAL單元類型，如由應用程式所判定。在此規格中未指定針對此等nal_unit_type值之解碼處理序。由於不同應用程式可將此等NAL單元類型用於不同目的，因此必須在產生具有此等nal_unit_type值之NAL單元的編碼器之設計中及在解譯具有此等nal_unit_type值之NAL單元之內容的解碼器之設計中格外小心。」
A.2 聚集器 A.2.1 定義
此子條款描述使NALU映射群組項能夠一致且重複之聚集器。(見附錄B)。
聚集器用以對屬於同一樣本之NAL單元分群。
為了ISO/IEC 14496-10視訊之儲存，以下規則適用：
-聚集器使用與SVC VCL NAL單元或MVC VCL NAL單元相同但具有不同NAL單元類型值之NAL單元標頭。
-當聚集器之NAL單元語法(在ISO/IEC 14496-10之7.3.1中所指定)之svc_extension_flag等於1時，SVC VCL NAL單元之NAL單元標頭用於聚集器。否則，將MVC VCL NAL單元之NAL單元標頭用於聚集器。
為了ISO/IEC 23008-2視訊之儲存，聚集器使用如在ISO/IEC 23008-2中所定義之NAL單元標頭，其對於普通HEVC、SHVC及MV-HEVC具有相同語法。
聚集器可藉由包括來將NAL單元聚集於其內(在由其長度指示之大小內)，且亦藉由參考聚集其後之NAL單元(在由其內之additional_bytes欄位指示之區域內)。當串流由AVC或HEVC檔案讀取器掃描時，僅將包括之NAL單元看作「在聚集器內」。此准許AVC或HEVC檔案讀取器跳過整個一組不需要之NAL單元(當其藉由包括而經聚集時)。此亦准許AVC或HEVC讀取器不跳過需要之NAL單元，而讓其保持在串流中(當其藉由參考而經聚集時)。
聚集器可用以將基礎層或基礎視圖NAL單元分群。若將此等聚集器用於「avc1」、「hvc1」或「hev1」播放軌中，則聚集器不應使用基礎層或基礎視圖NAL單元之包括，而使用基礎層或基礎視圖NAL單元之參考(聚集器之長度僅包括其標頭，且由聚集器參考之NAL單元由additional_bytes指定)。
當聚集器由具有等於零之data_length的提取器或由映射樣本群組參考時，將聚集器作為聚集包括及參考之位元組對待。
聚集器可包括或參考提取器。提取器可自聚集器提取。聚集器 必須不直接包括或參考另一聚集器；然而，聚集器可包括或參考參考聚集器之提取器。
當掃描串流時：a)若聚集器未經辨識(例如，由AVC或HEVC讀取器或解碼器)，則其易於與其包括之內容一起被捨棄；b)若不需要聚集器(亦即，其屬於不當層)，則其及其藉由包括及參考兩者之內容易於被捨棄(使用其長度及additional_bytes欄位)；c)若需要聚集器，則易於捨棄其標頭且保留其內容。
將聚集器儲存於如任一其他NAL單元之一樣本內。
所有NAL單元按解碼次序保持處於聚集器內。
A.2.2 語法
A.2.3 語義
變數AggregatorSize之值等於聚集器NAL單元之大小，且函數 sizeof(X)按位元組返回欄位X之大小。
NALUnitHeader( )：SVC及MVC VCL NAL單元之首先四個位元組，或ISO/IEC 23008-2 NAL單元之首先兩個位元組。
nal_unit_type應設定至聚集器NAL單元類型(對於ISO/IEC 14496-10視訊為類型30且對於ISO/IEC 23008-2視訊為類型48)。
對於包括或參考SVC NAL單元之聚集器，以下應適用。
應如在ISO/IEC 14496-10中所指定設定forbidden_zero_bit及reserved_three_2bits。
應如在A.4中所指定設定其他欄位(nal_ref_idc、idr_flag、priority_id、no_inter_layer_pred_flag、dependency_id、quality_id、temporal_id、use_ref_base_pic_flag、discardable_flag及output_flag)。
對於包括或參考MVC NAL單元之聚集器，以下應適用。
應如在ISO/IEC 14496-10中所指定設定forbidden_zero_bit及reserved_one_bit。
應如在A.5中所指定設定其他欄位(nal_ref_idc、non_idr_flag、priority_id、view_id、temporal_id、anchor_pic_flag及inter_view_flag)。
對於包括或參考ISO/IEC 23008-2 NAL單元之聚集器，以下應適用。
應如在ISO/IEC 23008-2中所指定設定forbidden_zero_bit。
應如在A.6中所指定設定其他欄位(nuh_layer_id及nuh_temporal_id_plus1)。
additional_bytes：當此聚集器由具有等於零之data_length或映射樣本群組的提取器參考時應被考慮為聚集的在此聚集器NAL單元後的位元組之數目。
NALUnitLength：指定NAL單元遵循之大小(以位元組計)。此欄 位之大小藉由lengthSizeMinusOne欄位指定。
NALUnit：如在ISO/IEC 14496-10或ISO/IEC 23008-2中指定之NAL單元，包括NAL單元標頭。NAL單元之大小由NALUnitLength指定。
A.3 提取器 A.3.1 定義
此子條款描述實現藉由參考自其他播放軌提取NAL單元資料的播放軌之緊密形成之提取器。
聚集器可包括或參考提取器。提取器可參考聚集器。當提取器由需要其之檔案讀取器處理時，提取器由其參考之位元組邏輯替換。彼等位元組不必含有提取器；提取器不必直接或間接參考另一提取器。
註 參考之播放軌可含有提取器，即使由提取器參考之資料不必。
提取器含有藉由類型「scal」之播放軌參考自另一播放軌提取資料之指令，該另一播放軌與提取器駐留於其中之播放軌有聯繫。
複製之位元組應為以下中之一者：
a)一整個NAL單元；注意，當參考一聚集器時，複製包括之及參考之位元組
b)一個以上整個NAL單元
在兩個情況下，提取之位元組開始於一有效長度欄位及一NAL單元標頭。
僅自經由指示之「scal」播放軌參考參考的播放軌中之單一識別之樣本複製位元組。對準係在解碼時間，亦即，僅使用時間至樣本表，接著為樣本數目的計數之偏移。提取器為媒體級概念且因此在考慮任一編輯清單前適用於目的地播放軌。(然而，吾人將通常預期兩 個播放軌中之編輯清單將相同)。
A.3.2 語法
A.3.3 語義
NALUnitHeader( )：SVC及MVC VCL NAL單元之首先四個位元組，或ISO/IEC 23008-2 NAL單元之首先兩個位元組。
應將nal_unit_type設定至提取器NAL單元類型(對於ISO/IEC 14496-10視訊為類型31且對於ISO/IEC 23008-2視訊為類型49)。
對於參考SVC NAL單元之提取器，以下應適用。
應如在ISO/IEC 14496-10中所指定設定forbidden_zero_bit及reserved_three_2bits。
應如在A.4中所指定設定其他欄位(nal_ref_idc、idr_flag,priority_id、no_inter_layer_pred_flag、dependency_id、quality_id、temporal_id、use_ref_base_pic_flag、discardable_flag及output_flag)。
對於參考MVC NAL單元之提取器，以下應適用。
應如在ISO/IEC 14496-10中所指定設定forbidden_zero_bit及reserved_one_bit。
應如在A.5中所指定設定其他欄位(nal_ref_idc、non_idr_flag、 priority_id、view_id、temporal_id、anchor_pic_flag及inter_view_flag)。
對於參考ISO/IEC 23008-2 NAL單元之提取器，以下應適用。
應如在ISO/IEC 23008-2中所指定設定forbidden zero bit。
應如在A.6中所指定設定其他欄位(nuh_layer_id及nuh_temporal_id_plus1)。
track_ref_index指定類型「scal」之播放軌參考之索引以用以找到提取資料所來自之播放軌。資料提取自之彼播放軌中的樣本經在時間上對準或在媒體解碼時刻表中最緊接於前(亦即，僅使用時間至樣本表)，藉由具有含有提取器之樣本的sample_offset所指定之偏移來調整。第一播放軌參考具有索引值1；值0為保留的。
sample_offset給出應用作資訊之源的有聯繫之播放軌中的樣本之相對索引。樣本0(零)為具有與含有提取器之樣本之解碼時間相比相同或最緊靠於前之解碼時間的樣本；樣本1(一)為下一個樣本，樣本-1(負1)為先前樣本，等等。
data_offset：在參考樣本內的複製之第一位元組之偏移。若提取開始於彼樣本中的資料之第一位元組，則偏移選取值0。偏移應參考NAL單元長度欄位之開頭。
data_length：複製之位元組之數目。若此欄位選取值0，則複製整個單一參考之NAL單元(亦即，複製之長度經自由資料偏移參考之長度欄位取得，在聚集器之情況下，由additional_bytes欄位擴增)。
註 若兩個播放軌使用不同lengthSizeMinusOne值，則提取之資料將需要重新格式化以符合目的地播放軌之長度欄位大小。
A.4 SVC之NAL單元標頭值
提取器及聚集器皆使用NAL單元標頭SVC擴展。由提取器提取或由聚集器聚集之NAL單元為藉由遞歸式檢驗聚集器或提取器NAL單元 之內容而參考或包括的所有彼等NAL單元。
欄位nal_ref_idc、idr_flag、priority_id、temporal_id、dependency_id、quality_id、discardable_flag、output_flag、use_ref_base_pic_flag及no_inter_layer_pred_flag應選取以下值：nal_ref_idc應設定至在所有提取之或聚集之NAL單元中的欄位之最高值。
idr_flag應設定至在所有提取之或聚集之NAL單元中的欄位之最高值。
priority_id、temporal_id、dependency_id及quality_id應分別設定至在所有提取之或聚集之NAL單元中的欄位之最低值。
若且僅若所有提取之或聚集之NAL單元具有設定至1之discardable_flag，則應將discardable_flag設定至1，且否則，將其設定至0。
若聚集之或提取之NAL單元中之至少一者具有設定至1之output_flag，將應將此旗標設定至1，且否則，將其設定至0。
若且僅若提取之或聚集之VCL NAL單元中之至少一者具有設定至1之use_ref_base_pic_flag，則應將use_ref_base_pic_flag設定至1，且否則，將其設定至0。
若且僅若所有提取之或聚集之VCL NAL單元具有設定至1之no_inter_layer_pred_flag，則應將no_inter_layer_pred_flag設定至1，且否則，將其設定至0。
若提取之或聚集之NAL的組合為空，則此等欄位中之每一者選取與映射之層描述一致的值。
註 聚集器可將具有不同可調性資訊之NAL單元分群。
註 聚集器可用以將可不由NAL單元標頭傳信的屬於一可調性等級之NAL單元(例如，屬於相關區之NAL單元)分群。此等聚集器之描 述可藉由層描述及NAL單元映射群組進行。在此情況下，在一個實例中可出現具有相同可調性資訊之一個以上聚集器。
註 若多個可調式播放軌參考相同媒體資料，則聚集器應僅將具有相同可調性資訊之NAL單元分群。此確保所得型樣可由播放軌中之每一者存取。
註 若一特定層中無NAL單元於存取單元中，則可存在空聚集器(其中聚集器之長度僅包括標頭，且additional_bytes為零)。
A.5 MVC之NAL單元標頭值
聚集器及提取器皆使用NAL單元標頭MVC擴展。由提取器提取或由聚集器聚集之NAL單元為藉由遞歸式檢驗聚集器或提取器NAL單元之內容而參考或包括的所有彼等NAL單元。
欄位nal_ref_idc、non_idr_flag、priority_id、view_id、temporal_id、anchor_pic_flag及inter_view_flag應選取以下值：nal_ref_idc應設定至在所有聚集之或提取之NAL單元中的欄位之最高值。
non_idr_flag應設定至在所有聚集之或提取之NAL單元中的欄位之最低值。
priority_id及temporal_id應分別設定至在所有聚集之或提取之NAL單元中的欄位之最低值。
view_id應設定至所有聚集之或提取之VCL NAL單元當中的具有最低視圖次序索引之VCL NAL單元之view_id值。
anchor_pic_flag及inter_view_flag應分別設定至在所有聚集之或提取之VCL NAL單元中的欄位之最高值。
若提取之或聚集之NAL的組合為空，則此等欄位中之每一者選取與映射之層描述一致的值。
A.6 用於ISO/IEC 23008-2之NAL單元標頭值
聚集器及提取器皆使用如在ISO/IEC 23008-2中指定之NAL單元標頭。由提取器提取或由聚集器聚集之NAL單元為藉由遞歸式檢驗聚集器或提取器NAL單元之內容而參考或包括的所有彼等NAL單元。
欄位nuh_layer_id及nuh_temporal_id_plus1應如下設定：nuh_layer_id應設定至所有聚集之或提取之NAL單元中的欄位之最低值。
nuh_temporal_id_plus1應設定至所有聚集之或提取之NAL單元中的欄位之最低值。
在一個替代性實例中，定義一新結構、表或樣本群組以文件記載所有IRAP存取單元，如在MV-HEVC WD5或SHVC WD3之附錄A中所定義。替代地，定義該新結構、表或樣本群組以文件記載所有IRAP存取單元(如在MV-HEVC WD5或SHVC WD3之附錄F中所定義)，但不包括所有經寫碼圖像為IRAP圖像之彼等存取單元。在另一替代性實例中，重新定義同步樣本樣本群組項SyncSampleEntry包括在保留之位元中的指定屬於此群組之樣本中的所有圖像為IDR圖像、CRA圖像或BLA圖像之一者中之aligned_sync_flag。在另一替代性實例中，定義用於SHVC及MV-HEVC之共同檔案格式包括來自SHVC及MV-HEVC檔案格式之所有共同態樣，且僅將SHVC及MV-HEVC檔案格式重新定義為僅包括僅與彼擴展有關之態樣。在另一替代性實例中，定義SHVC後設資料樣本項SHVCMetadataSampleEntry及SHVCMetadataSampleConfigBox，且亦定義後設資料樣本語句類型scalabilityInfoSHVCStatement。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可經組態以輸出單一視圖、多視圖、可調式、3D及其他類型之視訊資料。視訊編碼器20可經組態以將視訊輸出至後處理實體27。後處理實體27意欲表示可處理來自視訊編碼器20之經 編碼視訊資料的視訊實體(諸如，MANE或拼接/編輯器件)之一實例。在一些情況下，後處理實體可為網路實體之一實例。在一些視訊編碼系統，後處理實體27及視訊編碼器20可為分開的器件之部分，而在其他情況下，關於後處理實體27描述之功能性可由包含視訊編碼器20之同一器件執行。後處理實體27可為視訊器件。在一些實例中，後處理實體27可與圖1之檔案產生器件34相同。
視訊編碼器20可執行視訊切片內的視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖2之實例中，視訊編碼器20包括一分割單元35、預測處理單元41、濾波器單元63、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如，解塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元63在圖2中展示為迴路濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。
視訊編碼器20之視訊資料記憶體可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體中之視訊資料可(例如)自視訊源18獲得。參考圖像記憶體64可為儲存參考視訊資料用於由視訊編碼器20在編碼視訊資料過程中使用(例如，在框內或框間寫碼模式中)之參考圖像記憶體。視訊資料記憶體及參考圖像記憶體64可由多 種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體及參考圖像記憶體64可由相同的記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
如圖2中所展示，視訊編碼器20接收視訊資料，且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成切片、影像塊或其他較大單元以及視訊區塊分割，例如，根據LCU及CU之四分樹結構。視訊編碼器20大體上說明編碼待編碼視訊切片內的視訊區塊之組件。可將切片劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於誤差產生(例如，寫碼速率及失真之等級)選擇用於當前視訊區塊的複數個可能寫碼模式中之一者，諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建構經編碼區塊以用於用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或切片中的一或多個相鄰區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊切片之框間預測模式。預定圖案可將序列中之視訊切片指明為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合，但為概念目的而分開來說明。由運動估計單元42執行之運動估 計為產生運動向量之處理序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像的預測性區塊之位置而計算經框間寫碼切片中的視訊區塊之PU之運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44所執行之運動補償可涉及基於由運動估計所判定之運動向量而提取或產生預測性區塊，可能執行子像素精確度之內插。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20可藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之該或該等組件。運動補償單元44亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30在解碼視訊切片之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在分開之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用用於各種所測試框內預測模式之速率-失真分析來計算速率-失真值，並在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪種框內預測模式展現該區塊之最佳速率-失真值。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之選定框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，其可包括以下各者：複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20可藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離 散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化處理序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化後，熵編碼單元56可熵編碼表示經量化變換係數之語法元素。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56熵編碼之後，經編碼位元串流可被傳輸至視訊解碼器30，或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼當前正寫碼之視訊切片的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊，以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構殘餘區塊，以計算子整數像素值以用於運動估計中。求和器62將經重建構殘餘區塊添加至由運動補償單元44所產生之運動補償預測區塊以產生用於儲存於參考圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測隨後視訊圖框或圖像中之區塊。
視訊編碼器20表示經組態以產生可使用本發明中所描述之檔案 格式技術儲存之視訊資料的視訊寫碼器之一實例。
圖3為說明可實施本發明中所描述之技術的一實例視訊解碼器30之方塊圖。視訊解碼器30可經組態以解碼單一視圖、多視圖、可調式、3D及其他類型之視訊資料。在圖3之實例中，視訊解碼器30包括一熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及參考圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。視訊解碼器30可在一些實例中執行與關於來自圖2之視訊編碼器20描述之編碼遍次大體上互逆的解碼遍次。
經寫碼圖像緩衝器(CPB)79可接收且儲存位元串流之經編碼視訊資料(例如，NAL單元)。儲存於CPB 79中之視訊資料可(例如)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體自鏈路16獲得，例如，自諸如相機之局部視訊源。CPB 79可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的視訊資料記憶體。CPB 79可為儲存參考視訊資料用於由視訊解碼器30在解碼視訊資料過程中使用(例如，在框內或框間寫碼模式中)之參考圖像記憶體。CPB 79及參考圖像記憶體92可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。CPB 79及參考圖像記憶體92可由同一記憶體器件或分開之記憶體器件提供。在各種實例中，CPB 79可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
在解碼處理序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊的經編碼視訊位元流及相關聯之語法元素。視訊解碼器30可自網路實體29接收經編碼視訊位元串流。網路實體29可(例如)為伺服器、MANE、視訊編輯器/拼接器或經組態以實施以上 描述的技術中之一或多者之其他此類器件。網路實體29可或可不包括視訊編碼器，諸如，視訊編碼器20。本發明中所描述之技術中之一些可由網路實體29在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30前實施。在一些視訊解碼系統中，網路實體29及視訊解碼器30可為分開的器件之部分，而在其他情況下，關於網路實體29描述之功能性可由包含視訊解碼器30之同一器件執行。可將網路實體29考慮為視訊器件。此外，在一些實例中，網路實體29為圖1之檔案產生器件34。
視訊解碼器30之熵解碼單元80熵解碼位元串流之特定語法元素以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊切片層級及/或視訊區塊層級接收語法元素。
當視訊切片經寫碼為經框內寫碼(I)切片時，預測處理單元81之框內預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的經傳信框內預測模式及資料來產生用於當前視訊切片之視訊區塊的預測資料。當將視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)切片時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素來產生當前視訊切片之視訊區塊的預測性區塊。可根據在參考圖像清單中之一者內的參考圖像中之一者產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊切片之視訊區塊的預測資訊，並使用該預測資訊以產生正解碼的當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用接收之語法元素中的一些判定用以寫碼視訊切片之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P 切片或GPB切片)、切片之參考圖像清單中之一或多者之建構資訊、切片之每一經框間編碼視訊區塊之運動向量、切片之每一經框間寫碼視訊區塊之框間預測狀態及解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由視訊編碼器20所使用之內插濾波器並可使用該等內插濾波器產生預測性區塊。
反量化單元86將位元串流中所提供且由熵解碼單元80解碼的經量化變換係數反量化(亦即，解量化)。反量化處理序可包括使用由視訊編碼器20計算的用於視訊切片中之每一視訊區塊之量化參數，以判定量化程度及(同樣)應應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似的反變換處理序)應用於變換係數，以便產生像素域中之殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82所產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和操作之該或該等組件。若需要，亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路後)使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如，解塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元91在圖3中展示為迴路濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。接著，將給定圖框或圖像中之經解碼視訊區塊儲存於儲存用於隨後運動補償之參考圖像的參考圖像記憶體92中。參考圖像記憶體92亦儲存用 於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現的經解碼視訊。
圖3之視訊解碼器30表示經組態以解碼可使用本發明中所描述之檔案格式技術儲存之視訊資料的視訊解碼器之一實例。
圖4為說明形成網路100之部分的器件之一實例集合之方塊圖。在此實例中，網路100包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之部分的少量器件。諸如交換器、集線器、閘道器、防火牆、橋接器及其他此等器件之其他網路器件亦可包括於網路100內。此外，可沿著伺服器器件102與用戶端器件108之間的網路路徑提供額外網路器件。在一些實例中，伺服器器件102可對應於源器件12(圖1)，而用戶端器件108可對應於目的地器件14(圖1)。
一般而言，路由器件104實施一或多個路由協定以經由網路100交換網路資料。在一些實例中，路由器件104可經組態以執行代理伺服器或快取記憶體操作。因此，在一些實例中，路由器件104可被稱作代理器件。一般而言，路由器件104執行路由協定以發現經由網路100之路線。藉由執行此等路由協定，路由器件104B可發現自自身經由路由器件104A至伺服器器件102之網路路線。
本發明之技術可由諸如路由器件104及轉碼器件106之網路器件實施，但亦可由用戶端器件108實施。以此方式，路由器件104、轉碼器件106及用戶端器件108表示經組態以執行本發明之技術的器件之實例。此外，圖1之器件及圖2中所說明之編碼器20及圖3中所說明之解碼器30亦為可經組態以執行本發明之技術中之一或多者的器件之實例。
圖5為說明根據本發明之一或多個技術的檔案300之一實例結構之概念圖。在圖5之實例中，檔案300包括一電影邏輯框302及複數個媒體資料邏輯框304。雖然在圖5之實例中說明為在同一檔案中，但在 其他實例中，電影邏輯框302及媒體資料邏輯框304可在分開的檔案中。如上所指示，邏輯框可為由唯一類型識別符及長度定義之目標導向式建構嵌段。舉例而言，邏輯框可為ISOBMFF中之基本語法結構，包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。
電影邏輯框302可含有用於檔案300之播放軌的後設資料。檔案300之每一播放軌可包含媒體資料之連續串流。媒體資料邏輯框304中之每一者可包括一或多個樣本305。樣本305中之每一者可包含音訊或視訊存取單元。如在本發明中其他處所描述，在多視圖寫碼(例如，MV-HEVC及3D-HEVC)及可調式視訊寫碼(例如，SHVC)中，每一存取單元可包含多個經寫碼圖像。舉例而言，存取單元可包括用於每一層之一或多個經寫碼圖像。
此外，在圖5之實例中，電影邏輯框302包括一播放軌邏輯框306。播放軌邏輯框306可圍封用於檔案300之播放軌的後設資料。在其他實例中，電影邏輯框302可包括用於檔案300之不同播放軌的多個播放軌邏輯框。播放軌邏輯框306包括一媒體邏輯框307。媒體邏輯框307可含有聲明關於播放軌內之媒體資料的資訊之所有目標。媒體邏輯框307包括一媒體資訊邏輯框308。媒體資訊邏輯框308可含有聲明播放軌之媒體之特性資訊的所有目標。媒體資訊邏輯框308包括一樣本表邏輯框309。樣本表邏輯框309可指定樣本特定後設資料。
在圖5之實例中，樣本表邏輯框309包括一SampleToGroup邏輯框310及一SampleGroupDescription邏輯框312。在其他實例中，除SampleToGroup邏輯框310及SampleGroupDescription邏輯框312之外，樣本表邏輯框309亦可包括其他邏輯框，及/或可包括多個SampleToGroup邏輯框及SampleGroupDescription邏輯框。SampleToGroup邏輯框310可將樣本(例如，樣本305中之特定者)映射至一群樣本。SampleGroupDescription邏輯框312可指定由該群樣本 (亦即，樣本群組)中之樣本共用的性質。此外，樣本表邏輯框309可包括複數個樣本項邏輯框311。樣本項邏輯框311中之每一者可對應於該群樣本中之一樣本。在一些實例中，樣本項邏輯框311為擴展基礎樣本群組描述類別(如在以上第9.5.5.1.2節中所定義)的隨機可存取樣本項類別之實例。
根據本發明之一或多個技術，SampleGroupDescription邏輯框312可指定樣本群組中之每一樣本含有至少一IRAP圖像。以此方式，檔案產生器件34可產生包含含有用於檔案300中之播放軌之後設資料的播放軌邏輯框306之檔案。用於播放軌之媒體資料包含一連串樣本305。樣本中之每一者可為多層視訊資料(例如，SHVC、MV-HEVC或3D-HEVC視訊資料)之一視訊存取單元。此外，作為產生檔案300之部分，檔案產生器件34可在檔案300中產生以文件記載含有至少一IRAP圖像之所有樣本305之一額外邏輯框(亦即，樣本表邏輯框309)。換言之，額外邏輯框識別含有至少一IRAP圖像之所有樣本305。在圖5之實例中，額外邏輯框定義以文件記載(例如，識別)含有至少一IRAP圖像之所有樣本305之一樣本群組。換言之，該額外邏輯框指定含有至少一IRAP圖像之樣本305屬於一樣本群組。
此外，根據本發明之一或多個技術，樣本項邏輯框311中之每一者可包括指示對應的樣本中之所有經寫碼圖像是否為IRAP圖像之一值(例如，all_pics_are_IRAP)。在一些實例中，該值等於1指定該樣本中並非所有經寫碼圖像皆為IRAP圖像。該值等於0指定不需要樣本群組中之每一樣本中的每一經寫碼圖像為IRAP圖像。
在一些實例中，當一特定樣本中並非所有經寫碼圖像皆為IRAP圖像時，檔案產生器件34在用於該特定樣本之樣本項邏輯框311中之一者中可包括指示該特定樣本中的IRAP圖像之數目之一值(例如，num_IRAP_pics)。另外，檔案產生器件34在用於該特定樣本之樣本項 中可包括指示該特定樣本中的IRAP圖像之層識別符之值。檔案產生器件34在用於該特定樣本之樣本項中亦可包括指示該特定樣本之IRAP圖像中的VCL NAL單元之NAL單元類型之一值。
此外，在圖5之實例中，樣本表邏輯框309包括一子樣本資訊邏輯框314。雖然圖5之實例僅展示一個子樣本資訊邏輯框，但樣本表邏輯框309可包括多個子樣本資訊邏輯框。一般而言，子樣本資訊邏輯框經設計以含有子樣本資訊。子樣本為樣本之一系列相鄰位元組。ISO/IEC 14496-12指示應針對一給定寫碼系統(諸如，H.264/AVC或HEVC)供應子樣本之特定定義。
ISO/IEC 14496-15之第8.4.8節指定用於HEVC的子樣本之定義。特定言之，ISO/IEC 14496-15之第8.4.8節指定對於在HEVC串流中的子樣本資訊邏輯框(ISO/IEC 14496-12之8.7.7)之使用，基於子樣本資訊邏輯框之旗標欄位之值定義子樣本。根據本發明之一或多個技術，若子樣本資訊邏輯框314中之旗標欄位等於5，則對應於子樣本資訊邏輯框314之子樣本含有一個經寫碼圖像及相關聯之非VCL NAL單元。相關聯之非VCL NAL單元可包括含有可適用於經寫碼圖像之SEI訊息的NAL單元及含有可適用於經寫碼圖像之參數集(例如，VPS、SPS、PPS等)的NAL單元。
因此，在一個實例中，檔案產生器件34可產生一檔案(例如，檔案300)，該檔案包含含有用於檔案中之一播放軌之後設資料的播放軌邏輯框(例如，播放軌邏輯框306)。在此實例中，用於播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料(例如，SHVC、MV-HEVC或3D-HEVC視訊資料)之一視訊存取單元。此外，在此實例中，作為檔案產生器件34產生檔案之部分，檔案產生器件34可在檔案中產生一子樣本資訊邏輯框(例如，子樣本資訊邏輯框314)，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的 子樣本資訊之類型之旗標。當該旗標具有一特定值時，對應於子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
此外，根據本發明之一或多個技術，若子樣本資訊邏輯框314之旗標欄位等於0，則子樣本資訊邏輯框314進一步包括一DiscardableFlag值，一NoInterLayerPredFlag值、一LayerId值及一TempId值。若子樣本資訊邏輯框314之旗標欄位等於5，則子樣本資訊邏輯框314可包括一DiscardableFlag值、一VclNalUnitType值、一LayerId值、一TempId值、一NoInterLayerPredFlag值、一SubLayerRefNalUnitFlag值及一保留值。
SubLayerRefNalUnitFlag等於0指示子樣本中之所有NAL單元為子層非參考圖像之VCL NAL單元，如在ISO/IEC 23008-2(亦即，HEVC)中所指定。SubLayerRefNalUnitFlag等於1指示子樣本中之所有NAL單元為子層參考圖像之VCL NAL單元，如在ISO/IEC 23008-2(亦即，HEVC)中所指定。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示子樣本中之所有NAL單元是否為子層非參考圖像之VCL NAL單元的一額外旗標。
DiscardableFlag值指示子樣本中的VCL NAL單元之discardable_flag值之一值。如在ISO/IEC 14496-15之第A.4節中所指定，若且僅若所有該等提取之或聚集之NAL單元具有設定至1之discardable_flag，則應將discardable_flag值設定至1，且否則，將其設定至0。若含有NAL單元之位元串流可在無NAL單元之情況下正確地解碼，則NAL單元可具有設定至1之discardable_flag。因此，若含有NAL單元之位元串流可在無NAL單元之情況下正確地解碼，則NAL單元可為「可捨棄的」。子樣本中之所有VCL NAL單元應具有相同 discardable_flag值。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示子樣本之所有VCL NAL單元是否可捨棄之一額外旗標(例如，discardable_flag)。
NoInterLayerPredFlag值指示子樣本中的VCL NAL單元之inter_layer_pred_enabled_flag之值。若且僅若所有提取之或聚集之VCL NAL單元具有設定至1之inter_layer_pred_enabled_flag，則應將inter_layer_pred_enabled_flag設定至1，且否則，將其設定至0。子樣本中之所有VCL NAL單元應具有相同inter_layer_pred_enabled_flag值。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示是否針對子樣本之所有VCL NAL單元啟用層間預測之一額外值(例如，inter_layer_pred_enabled_flag)。
LayerId指示子樣本中的NAL單元之nuh_layer_id值。子樣本中之所有NAL單元應具有相同nuh_layer_id值。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示子樣本之每一NAL單元之層識別符的一額外值(例如，LayerId)。
TempId指示子樣本中的NAL單元之TemporalId值。子樣本中之所有NAL單元應具有相同TemporalId值。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示子樣本之每一NAL單元之時間識別符的一額外值(例如，TempId)。
VclNalUnitType指示子樣本中的VCL NAL單元之nal_unit_type語法元素。nal_unit_type語法元素為NAL單元之NAL單元標頭中的語法元素。nal_unit_type語法元素指定NAL單元中含有的RBSP之類型。子 樣本中之所有nal_unit_type VCL NAL單元應具有相同nal_unit_type值。因此，當檔案產生器件34產生子樣本資訊邏輯框314且旗標具有一特定值(例如，5)時，檔案產生器件34在子樣本資訊邏輯框314中包括指示子樣本之VCL NAL單元之NAL單元類型的一額外值(例如，VclNalUnitType)。子樣本之所有VCL NAL單元具有相同NAL單元類型。
圖6為說明根據本發明之一或多個技術的檔案300之一實例結構之概念圖。如在ISO/IEC 14496-15之第8.4.9節中所指定，HEVC允許僅用於參考且不用於輸出之檔案格式樣本。舉例而言，HEVC允許視訊中的未顯示之參考圖像。
此外，ISO/IEC 14496-15之第8.4.9節指定當任一此非輸出樣本存在於播放軌中時，應如下約束檔案。
1.非輸出樣本應被給予在輸出的樣本之時間範圍外之組成時間。
2.應使用不包括非輸出樣本之組成時間的編輯清單。
3.當播放軌包括CompositionOffsetBox(「ctts」)時，a.應使用CompositionOffsetBox之版本1，b.對於每一非輸出樣本，應將sample_offset之值設定為等於-231，c.播放軌之SampleTableBox(「stbl」)中應含有CompositionToDecodeBox(「cslg」)，且d.當對於該播放軌存在CompositionToDecodeBox時，邏輯框中的leastDecodeToDisplayDelta欄位之值應等於不包括用於非輸出樣本之sample_offset值的CompositionOffsetBox中之最小組成偏移。
註：因此，leastDecodeToDisplayDelta大於-231。
如在ISO/IEC 14496-12中所指定，CompositionOffsetBox提供解碼時間與組成時間之間的偏移。CompositionOffsetBox包括一組 sample_offset值。sample_offset值中之每一者為給出組成時間與解碼時間之間的偏移之非負整數。組成時間指將輸出樣本之時間。解碼時間指將解碼樣本之時間。
如上所指示，經寫碼切片NAL單元可包括一切片片段標頭。切片片段標頭可為經寫碼切片片段之部分，且可含有係關於切片片段中之第一或所有CTU之資料元素。在HEVC中，切片片段標頭包括一pic_output_flag語法元素。一般而言，pic_output_flag語法元素包括於圖像之切片之第一切片片段標頭中。因此，本發明可將圖像之切片之第一切片片段標頭的pic_output_flag稱作圖像之pic_output_flag。
如在HEVC WD之第7.4.7.1中所指定，pic_output_flag語法元素影響經解碼圖像輸出及移除處理序，如在HEVC WD之附錄C中所指定。一般而言，若用於一切片片段的切片片段標頭之pic_output_flag語法元素為1，則輸出包括對應於該切片片段標頭之一切片的圖像。另外，若用於一切片片段的切片片段標頭之pic_output_flag語法元素為0，則可解碼包括對應於該切片片段標頭之切片的圖像，用於用作一參考圖像，但不輸出該圖像。
根據本發明之一或多個技術，在ISO/IEC 14496-15之第8.4.9節中對HEVC的參考可由對應的對SHVC、MV-HEVC或3D-HEVC的參考替換。此外，根據一或多個技術之本發明，當一存取單元含有具有等於1之pic_output_flag的一些經寫碼圖像及具有等於0之pic_output_flag的一些其他經寫碼圖像時，必須使用至少兩個播放軌來儲存串流。用於該等播放軌中之每一各別者，各別播放軌之每一樣本中的所有經寫碼圖像具有相同pic_output_flag值。因此，播放軌之第一者中的所有經寫碼圖像具有等於0之pic_output_flag，且播放軌之第二者中的所有經寫碼圖像具有等於1之pic_output_flag。
因此，在圖6之實例中，檔案產生器件34可產生一檔案400。類 似於在圖5之實例中之檔案300，檔案400包括一電影邏輯框402及一或多個媒體資料邏輯框404。媒體資料邏輯框404中之每一者可對應於檔案400之不同播放軌。電影邏輯框402可含有用於檔案400之播放軌的後設資料。檔案400之每一播放軌可包含媒體資料之連續串流。媒體資料邏輯框404中之每一者可包括一或多個樣本405。樣本405中之每一者可包含一音訊或視訊存取單元。
如上所指示，在一些實例中，當一存取單元含有具有等於1之pic_output_flag的一些經寫碼圖像及具有等於0之pic_output_flag的一些其他經寫碼圖像時，必須使用至少兩個播放軌來儲存串流。因此，在圖6之實例中，電影邏輯框402包括一播放軌邏輯框406及一播放軌邏輯框408。播放軌邏輯框406及408中之每一者圍封用於檔案400之不同播放軌的後設資料。舉例而言，播放軌邏輯框406可圍封用於具有具等於0之pic_output_flag之經寫碼圖像且不具有具等於1之pic_output_flag之圖像的播放軌之後設資料。播放軌邏輯框408可圍封用於具有具等於1之pic_output_flag之經寫碼圖像且不具有具等於0之pic_output_flag之圖像的播放軌之後設資料。
因此，在一個實例中，檔案產生器件34可產生包含圍封(例如，包含)媒體內容之媒體資料邏輯框(例如，媒體資料邏輯框404)的一檔案(例如，檔案400)。媒體內容包含一連串樣本(例如，樣本405)。樣本中之每一者可為多層視訊資料之一存取單元。在此實例中，當檔案產生器件34回應於位元串流之至少一存取單元包括具有等於1之圖像輸出旗標的一經寫碼圖像及具有等於0之圖像輸出旗標的一經寫碼圖像之判定產生檔案時，檔案產生器件34可使用至少兩個播放軌將位元串流儲存於檔案中。對於來自至少兩個播放軌之每一各別播放軌，在各別播放軌之每一樣本中的所有經寫碼圖像具有相同圖像輸出旗標值。允許輸出具有等於1之圖像輸出旗標的圖像，且允許將具有等於0 之圖像輸出旗標的圖像用作參考圖像，但不允許將其輸出。
圖7為說明根據本發明之一或多個技術的檔案產生器件34之一實例操作之流程圖。圖7之操作與本發明之其他流程圖中所說明的操作一起為實例。根據本發明之技術的其他實例操作可包括更多、更少或不同動作。
在圖7之實例中，檔案產生器件34產生一檔案(500)。作為產生檔案之部分，檔案產生器件34產生含有用於檔案中之一播放軌的後設資料之播放軌邏輯框(502)。以此方式，檔案產生器件34產生一檔案，該檔案包含含有用於在檔案中之一播放軌之後設資料的播放軌邏輯框。用於該播放軌之媒體資料包含一連串樣本。該等樣本中之每一者為多層視訊資料之一視訊存取單元。在一些實例中，檔案產生器件34編碼該多層視訊資料。
此外，作為產生檔案之部分，檔案產生器件34識別含有至少一IRAP圖像之所有樣本(504)。此外，檔案產生器件34可在檔案中產生以文件記載含有至少一IRAP圖像之所有樣本的一額外邏輯框(506)。在一些實例中，該額外邏輯框為未在ISOBMFF或其現有擴展中定義之新邏輯框。在一些實例中，該額外邏輯框定義以文件記載含有至少一IRAP圖像之所有樣本的一樣本群組。舉例而言，該額外邏輯框可為或包含包括一SampleToGroup邏輯框及一SampleGroupDescription邏輯框之一樣本表邏輯框。SampleToGroup邏輯框識別含有至少一IRAP圖像之樣本。SampleGroupDescription邏輯框指示該樣本群組為含有至少一IRAP圖像之一群樣本。
此外，在圖7之實例中，檔案產生器件34可產生用於包括至少一IRAP圖像的樣本中之一特定者之一樣本項(508)。在一些實例中，檔案產生器件34可產生用於包括至少一IRAP圖像的樣本中之每一者各別者之一樣本項。該樣本項可為RandomAccessibleSampleEntry，如在 以上第9.5.5.1.2節中所定義。
如在圖7之實例中所說明，作為產生用於特定樣本之樣本項的部分，檔案產生器件34在用於該特定樣本之樣本項中可包括指示該特定樣本中之所有經寫碼圖像是否為IRAP圖像之一值(510)。以此方式，檔案產生器件34可在檔案中產生包括指示在該一連串樣本中之一特定樣本中的所有經寫碼圖像是否為IRAP圖像之一值之一樣本項。此外，檔案產生器件34在用於該特定樣本之樣本項中可包括指示該特定樣本之IRAP圖像中的VCL NAL單元之NAL單元類型之一值(512)。
此外，檔案產生器件34可判定特定樣本中之所有經寫碼圖像是否為IRAP圖像(514)。當特定樣本中並非所有經寫碼圖像皆為IRAP圖像(514之「否」)時，檔案產生器件34在用於該特定樣本之樣本項中可包括指示該特定樣本中的IRAP圖像之數目之一值(516)。另外，檔案產生器件34在用於該特定樣本之樣本項中可包括指示該特定樣本中的IRAP圖像之層識別符(例如，nuh_layer_ids)之值。
如上所指示，圖7僅提供為一實例。其他實例不包括圖7之每一動作。舉例而言，一些實例不包括步驟502、504及508。此外，一些實例不包括步驟510至518中之各者。此外，一些實例包括一或多個額外動作。舉例而言，一些實例包括作為產生該檔案之部分而產生一同步樣本邏輯框之額外動作，該同步樣本邏輯框包括以文件記載多層視訊資料之一播放軌之同步樣本的一同步樣本表。播放軌之每一同步樣本為播放軌之隨機存取樣本。在此實例中，若存取單元中之每一經寫碼圖像為IRAP圖像，則可調式視訊寫碼樣本為同步樣本。此外，在此實例中，若存取單元中之每一經寫碼圖像為無RASL圖像之IRAP圖像，則多視圖視訊寫碼樣本為同步樣本。
圖8為說明根據本發明之一或多個技術的計算器件執行隨機存取及/或位準切換之一實例操作之流程圖。在圖8之實例中，計算器件接 收一檔案(550)。在圖8之實例中，計算器件可為中間網路器件(例如，MANE、串流伺服器)、解碼器件(例如，目的地器件14)或另一類型之視訊器件。在一些實例中，計算器件可為內容傳遞網路之部分。
在圖8之實例中，計算器件可自檔案獲得含有用於檔案中之一播放軌之後設資料的一播放軌邏輯框(552)。用於該播放軌之媒體資料包含一連串樣本。在圖8之實例中，樣本中之每一者為多層視訊資料之一視訊存取單元。
此外，在圖8之實例中，計算器件可自檔案獲得一額外邏輯框(554)。額外邏輯框以文件記載含有至少一IRAP圖像之所有樣本。因此，計算器件可基於額外邏輯框中之資訊判定含有至少一IRAP圖像之所有樣本(556)。
此外，在一些實例中，計算器件可自檔案獲得包括指示在該一連串樣本中之一特定樣本中的所有經寫碼圖像是否為IRAP圖像之一值之一樣本項。當特定樣本中並非所有經寫碼圖像皆為IRAP圖像時，計算器件可自樣本項獲得指示特定樣本中的IRAP圖像之數目之一值。另外，該計算器件可自樣本項獲得指示特定樣本中的IRAP圖像之層識別符之值。此外，在一些實例中，計算器件可自樣本項獲得指示該特定樣本之IRAP圖像中的VCL NAL單元之NAL單元類型之一值。另外，在一些實例中，計算器件可自檔案獲得一同步樣本邏輯框，該同步樣本邏輯框包括以文件記載視訊資料之播放軌之同步樣本之一同步樣本表。在此等實例中，播放軌之每一同步樣本為播放軌之隨機存取樣本，若存取單元中之每一經寫碼圖像為IRAP圖像，則可調式視訊寫碼樣本為同步樣本，且若存取單元中之每一經寫碼圖像為無RASL圖像之IRAP圖像，則多視圖視訊寫碼樣本為同步樣本。
另外，在圖8之實例中，計算器件可開始轉遞或解碼含有至少一IRAP圖像的樣本之NAL單元，而不轉遞或解碼按解碼次序在該樣本 之前的檔案之NAL單元(558)。以此方式，計算器件可執行隨機存取或層切換。舉例而言，計算器件可開始在含有至少一IRAP圖像之一或多個樣本中之一者處的多層視訊資料之解碼。
圖9為說明根據本發明之一或多個技術的檔案產生器件34之一實例操作之流程圖。在圖9之實例中，檔案產生器件34可產生包含含有用於檔案中之一播放軌之後設資料之一播放軌邏輯框的檔案(600)。用於該播放軌之媒體資料包含一連串樣本。在圖9之實例中，樣本中之每一者為多層視訊資料之一視訊存取單元。在一些實例中，檔案產生器件34編碼該多層視訊資料。
作為產生檔案之部分，檔案產生器件34可判定一子樣本是否含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元(602)。回應於判定子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元(602之「是」)，檔案產生器件34可在檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有具有指示子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元的一值(例如，5)之旗標(604)。否則(602之「否」)，檔案產生器件34可在檔案中產生含有具有另一值(例如，0、1、2、3、4)之旗標的子樣本資訊邏輯框(606)。
以此方式，檔案產生器件34可產生一檔案，該檔案包含含有用於在檔案中之一播放軌之後設資料的播放軌邏輯框。用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元。作為產生檔案之部分，檔案產生器件34在檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之類型之旗標。當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元。
圖10為說明根據本發明之一或多個技術的計算器件之一實例操作之流程圖。在圖10之實例中，計算器件接收一檔案(650)。在圖10之實例中，計算器件可為中間網路器件，諸如，MANE或串流伺服器。在一些實例中，計算器件可為內容傳遞網路之部分。此外，在圖10之實例中，計算器件可自檔案獲得一播放軌邏輯框(651)。播放軌邏輯框含有用於檔案中之一播放軌的後設資料。用於該播放軌之媒體資料包含一連串樣本。在圖10之實例中，樣本中之每一者為多層視訊資料之一視訊存取單元。
此外，在圖10之實例中，計算器件可自檔案獲得一子樣本資訊邏輯框(652)。計算器件使用子樣本資訊邏輯框中之資訊提取子位元串流(654)。子位元串流可包含儲存於檔案中的位元串流之操作點之每一NAL單元。換言之，子位元串流之NAL單元可為儲存於檔案中的NAL單元之一子集。計算器件可自檔案獲得子樣本資訊邏輯框，且可在不剖析或解譯樣本之序列中包括的NAL單元之情況下提取子位元串流。當提取子位元串流時不剖析或解譯NAL單元可減小計算器件之複雜度及/或可加快提取子位元串流之處理序。
此外，在一些實例中，當旗標具有特定值時，計算器件可自子樣本資訊邏輯框獲得以下中之一或多者：˙指示子樣本之所有VCL NAL單元是否可捨棄之一額外旗標，˙指示子樣本之VCL NAL單元之NAL單元類型的一額外值，其中該子樣本之所有VCL NAL單元具有相同NAL單元類型，˙指示子樣本之每一NAL單元之層識別符的一額外值，˙指示子樣本之每一NAL單元之時間識別符的一額外值，˙指示是否針對子樣本之所有VCL NAL單元啟用層間預測之一額外旗標，或˙指示子樣本中之所有NAL單元是否為子層非參考圖像之VCL NAL單元的一額外旗標。
在圖10之實例中，作為提取子位元串流之部分，計算器件可判定子樣本資訊邏輯框之「旗標」值是否具有指示子樣本資訊邏輯框對應於正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非VCL NAL單元的一特定值(例如，5)(656)。當子樣本資訊邏輯框之「旗標」值具有特定值(656之「是」)時，計算器件可基於在子樣本資訊邏輯框中指定之資訊判定是否需要經寫碼圖像以便解碼操作點(658)。舉例而言，計算器件可基於一可捨棄旗標判定VCL NAL單元類型指示符、層識別符、時間識別符、無層間預測旗標及/或子層參考NAL單元旗標，不管是否需要經寫碼圖像以便解碼操作點。當需要經寫碼圖像以解碼操作點(658之「是」)時，計算器件可在子位元串流中包括子樣本之NAL單元(660)。否則，在圖10之實例中，當不需要經寫碼圖像以解碼操作點(658之「否」)時，計算器件不在子位元串流中包括子樣本之NAL單元(662)。
此外，在圖10之實例中，計算器件可輸出子位元串流(664)。舉例而言，計算器件可將子位元串流儲存至電腦可讀儲存媒體或將子位元串流傳輸至另一計算器件。
如上所指示，圖10為一實例。其他實例可包括或省略圖10之特定動作。舉例而言，一些實例省略動作650、651、654及/或664。此外，一些實例省略動作656至662中之一或多者。
圖11為說明根據本發明之一或多個技術的檔案產生器件34之一實例操作之流程圖。在圖11之實例中，檔案產生器件34可產生包含圍封媒體內容之媒體資料邏輯框之一檔案(700)。該媒體內容可包含一連串樣本，該等樣本中之每一者為多層視訊資料之一存取單元。在各種實例中，多層視訊資料可為SHVC資料、MV-HEVC資料或3D-HEVC資料。在一些實例中，檔案產生器件34編碼該多層視訊資料。
在圖11之實例中，作為產生檔案之部分，檔案產生器件34可判定多層視訊資料之位元串流之至少一存取單元是否包括具有等於第一值(例如，1)之一圖像輸出旗標的經寫碼圖像及具有等於第二值(例如，0)之一圖像輸出旗標的經寫碼圖像(702)。允許輸出具有等於第一值(例如，1)之圖像輸出旗標的圖像，且允許將具有等於第二值(例如，0)之圖像輸出旗標的圖像用作參考圖像，但不允許將其輸出。在其他實例中，其他器件可進行判定多層視訊資料之位元串流之至少一存取單元是否包括具有等於第一值之一圖像輸出旗標的經寫碼圖像及具有等於第二值之一圖像輸出旗標的經寫碼圖像。
回應於多層視訊資料之位元串流之至少一存取單元包括具有等於第一值之一圖像輸出旗標的經寫碼圖像及具有等於第二值之一圖像輸出旗標的經寫碼圖像(702之「是」)，檔案產生器件34使用至少一第一播放軌及一第二播放軌將位元串流儲存於檔案中(704)。對於來自第一播放軌及第二播放軌之每一各別播放軌，在各別播放軌之每一樣本中的所有經寫碼圖像具有相同圖像輸出旗標值。
此外，在圖11之實例中，回應於判定位元串流中無存取單元包括具有等於第一值(例如，1)之一圖像輸出旗標的經寫碼圖像及具有等於第二值(例如，0)之一圖像輸出旗標的經寫碼圖像(702之「否」)，檔案產生器件34可使用單一播放軌將位元串流儲存於檔案中(706)。在其他實例中，檔案產生器件34可產生具有多個播放軌之檔案，甚至當位元串流中無存取單元包括具有等於第一值(例如，1)之一圖像輸出旗標的經寫碼圖像及具有等於第二值(例如，0)之一圖像輸出旗標的經寫碼圖像時。
如上所指示，圖11為一實例。其他實例可包括較少動作。舉例而言，一些實例省略動作702及706。
圖12為說明根據本發明之一或多個技術的目的地器件14之一實 例操作之流程圖。在圖12之實例中，目的地器件14接收一檔案(750)。該檔案可包含圍封媒體內容之一媒體資料邏輯框，該媒體內容包含一連串樣本。該等樣本中之每一者可為多層視訊資料之一存取單元。在各種實例中，多層視訊資料可為SHVC資料、MV-HEVC資料或3D-HEVC資料。此外，在圖12之實例中，目的地器件14可自檔案獲得第一播放軌邏輯框及第二播放軌邏輯框(751)。第一播放軌邏輯框含有用於檔案中之第一播放軌的後設資料。第二播放軌邏輯框含有用於檔案中之第二播放軌的後設資料。對於來自第一播放軌及第二播放軌之每一各別播放軌，在各別播放軌之每一樣本中的所有經寫碼圖像具有相同圖像輸出旗標值。允許輸出具有等於第一值(例如，1)之圖像輸出旗標的圖像，且允許將具有等於第二值(例如，0)之圖像輸出旗標的圖像用作參考圖像，但不允許將其輸出。
目的地器件14之視訊解碼器30可針對具有等於第一值(例如，1)之圖像輸出旗標的圖像解碼播放軌中之圖像，且可針對具有等於第二值(例如，0)之圖像輸出旗標的圖像解碼播放軌中之圖像(752)。在一些情況下，視訊解碼器30可使用具有等於1之圖像輸出旗標的圖像解碼具有等於0之圖像輸出旗標的圖像，且反之亦然。目的地器件14可輸出具有等於第一值之圖像輸出旗標的圖像(754)。目的地器件14不輸出具有等於第二值之圖像輸出旗標的圖像(756)。以此方式，對於來自第一播放軌及第二播放軌之每一各別播放軌，目的地器件14可解碼在各別播放軌之每一樣本中的經寫碼圖像，且輸出具有等於第一值之圖像輸出旗標的經解碼圖像。
如上所指示，圖12僅提供為一實例。其他實例可省略圖12之特定動作，諸如，動作752至756。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程 式碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)，或包括促進將電腦程式自一處傳送至另一處(例如，根據一通信協定)之任何媒體的通信媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
借助於實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器、快閃記憶體或可用以儲存呈指令或資料結構形式之所要的程式碼且可由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而取而代之，係有關非暫時性之有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所 使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可在經組態用於編碼及解碼的專用硬體及/或軟體模組內提供，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。相反地，如上所述，各種單元可與合適的軟體及/或韌體一起組合在編碼解碼器硬體單元中或由互操作硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例處於以下申請專利範圍之範疇內。
600‧‧‧步驟
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟

Claims (40)

  1. 一種處理多層視訊資料之方法，該方法包含：產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；產生該檔案包含在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  2. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標。
  3. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型。
  4. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之每一NAL單元之一層識別符的一額外值。
  5. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含： 當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之每一NAL單元之一時間識別符的一額外值。
  6. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示是否針對該子樣本之所有VCL NAL單元啟用層間預測的一額外旗標。
  7. 如請求項1之方法，其中產生該子樣本資訊邏輯框包含：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  8. 如請求項1之方法，其進一步包含：編碼該多層視訊資料。
  9. 一種處理多層視訊資料之方法，該方法包含：自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  10. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標。
  11. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，且該子樣本之所有該等VCL NAL單元具有相同NAL單元類型。
  12. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之每一NAL單元之一層識別符的一額外值。
  13. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之每一NAL單元之一時間識別符的一額外值。
  14. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示是否針對該子樣本之所有VCL NAL單元啟用層間預測的一額外旗標。
  15. 如請求項9之方法，其包含：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  16. 如請求項9之方法，其進一步包含：回應於基於在該子樣本資訊邏輯框中指定之該資訊的需要該經寫碼圖像以便解碼一操作點之一判定，在一子位元串流中包括該子樣本之NAL單元；及輸出該子位元串流。
  17. 一種視訊器件，其包含：一資料儲存媒體，其經組態以儲存多層視訊資料；及一或多個處理器，其經組態以： 產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；為了產生該檔案，該一或多個處理器在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  18. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標。
  19. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型。
  20. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之每一NAL單元之一層識別符的一額外值。
  21. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本之每一NAL單元之一時間識別符的一額外值。
  22. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示是否針對該子樣本之所有VCL NAL單元啟用層間預測的一額外旗標。
  23. 如請求項17之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，在該子樣本資訊邏輯框中包括指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  24. 如請求項17之視訊器件，其中該一或多個處理器經組態以：編碼該多層視訊資料。
  25. 一種視訊器件，其包含：一資料儲存媒體，其經組態以儲存多層視訊資料；及一或多個處理器，其經組態以：自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為該多層視訊資料之一視訊存取單元；及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  26. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗 標。
  27. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，且該子樣本之所有該等VCL NAL單元具有相同NAL單元類型。
  28. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之每一NAL單元之一層識別符的一額外值。
  29. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本之每一NAL單元之一時間識別符的一額外值。
  30. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示是否針對該子樣本之所有VCL NAL單元啟用層間預測的一額外旗標。
  31. 如請求項25之視訊器件，其中該一或多個處理器經組態以：當該等旗標具有該特定值時，自該子樣本資訊邏輯框獲得指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  32. 如請求項25之視訊器件，其中該一或多個處理器經組態以：回應於基於在該子樣本資訊邏輯框中指定之該資訊的需要該經寫碼圖像以便解碼一操作點之一判定，在一子位元串流中包括該子樣本之NAL單元；及輸出該子位元串流。
  33. 一種視訊器件，其包含：用於產生一檔案之構件，該檔案包含含有用於該檔案中之一 播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元；產生該檔案包含在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  34. 如請求項33之視訊器件，其包含用於當該等旗標具有該特定值時在該子樣本資訊邏輯框中包括以下中之一或多者之構件：指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標，指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型，指示該子樣本之每一NAL單元之一層識別符的一額外值，指示該子樣本之每一NAL單元之一時間識別符的一額外值，指示是否針對該子樣本之所有VCL NAL單元啟用層間預測之一額外旗標，或指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  35. 一種視訊器件，其包含：用於自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框之構件，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存 取單元；及用於自該檔案獲得一子樣本資訊邏輯框之構件，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  36. 如請求項35之視訊器件，其包含用於當該等旗標具有該特定值時自該子樣本資訊邏輯框中獲得以下中之一或多者之構件：指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標，指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型，指示該子樣本之每一NAL單元之一層識別符的一額外值，指示該子樣本之每一NAL單元之一時間識別符的一額外值，指示是否針對該子樣本之所有VCL NAL單元啟用層間預測之一額外旗標，或指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  37. 一種電腦可讀資料儲存媒體，其具有儲存於其上之指令，該等指令當經執行時使一或多個處理器：產生一檔案，該檔案包含含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中：用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元； 為了產生該檔案，該等指令使該一或多個處理器在該檔案中產生一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，且當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  38. 如請求項37之電腦可讀資料儲存媒體，其中該等指令使該一或多個處理器在該等旗標具有該特定值時在該子樣本資訊邏輯框中包括以下中之一或多者：指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標，指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型，指示該子樣本之每一NAL單元之一層識別符的一額外值，指示該子樣本之每一NAL單元之一時間識別符的一額外值，指示是否針對該子樣本之所有VCL NAL單元啟用層間預測之一額外旗標，或指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
  39. 一種電腦可讀資料儲存媒體，其具有儲存於其上之指令，該等指令當經執行時使一或多個處理器：自一檔案獲得含有用於該檔案中之一播放軌之後設資料的一播放軌邏輯框，其中用於該播放軌之媒體資料包含一連串樣本，該等樣本中之每一者為多層視訊資料之一視訊存取單元； 及自該檔案獲得一子樣本資訊邏輯框，該子樣本資訊邏輯框含有指定在該子樣本資訊邏輯框中給出的子樣本資訊之一類型之旗標，其中當該等旗標具有一特定值時，對應於該子樣本資訊邏輯框之一子樣本含有正好一個經寫碼圖像及與該經寫碼圖像相關聯之零或多個非視訊寫碼層(VCL)網路抽象層(NAL)單元。
  40. 如請求項39之電腦可讀資料儲存媒體，其中當該等旗標具有該特定值時，該等指令使該一或多個處理器自該子樣本資訊邏輯框獲得以下中之一或多者：指示該子樣本之所有該等VCL NAL單元是否可捨棄之一額外旗標，指示該子樣本之VCL NAL單元之一NAL單元類型的一額外值，其中該子樣本之所有該等VCL NAL單元具有相同NAL單元類型，指示該子樣本之每一NAL單元之一層識別符的一額外值，指示該子樣本之每一NAL單元之一時間識別符的一額外值，指示是否針對該子樣本之所有VCL NAL單元啟用層間預測之一額外旗標，或指示該子樣本中之所有NAL單元是否為一子層非參考圖像之VCL NAL單元的一額外旗標。
TW103136696A 2013-10-23 2014-10-23 多層視訊檔案格式設計 TWI645709B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361894886P 2013-10-23 2013-10-23
US61/894,886 2013-10-23
US14/521,042 2014-10-22
US14/521,042 US9621919B2 (en) 2013-10-23 2014-10-22 Multi-layer video file format designs

Publications (2)

Publication Number Publication Date
TW201524191A true TW201524191A (zh) 2015-06-16
TWI645709B TWI645709B (zh) 2018-12-21

Family

ID=52826146

Family Applications (3)

Application Number Title Priority Date Filing Date
TW103136698A TWI645710B (zh) 2013-10-23 2014-10-23 多層視訊檔案格式設計
TW103136696A TWI645709B (zh) 2013-10-23 2014-10-23 多層視訊檔案格式設計
TW103136694A TWI645721B (zh) 2013-10-23 2014-10-23 多層視訊檔案格式設計

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW103136698A TWI645710B (zh) 2013-10-23 2014-10-23 多層視訊檔案格式設計

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103136694A TWI645721B (zh) 2013-10-23 2014-10-23 多層視訊檔案格式設計

Country Status (24)

Country Link
US (3) US9648348B2 (zh)
EP (3) EP3061250B1 (zh)
JP (3) JP6434008B2 (zh)
KR (3) KR20160074522A (zh)
CN (3) CN105637885B (zh)
AU (3) AU2014340046B2 (zh)
CA (3) CA2926126C (zh)
CL (3) CL2016000958A1 (zh)
DK (2) DK3061250T3 (zh)
ES (2) ES2720662T3 (zh)
HK (3) HK1220062A1 (zh)
HU (2) HUE042230T2 (zh)
IL (3) IL244613B (zh)
MX (3) MX353217B (zh)
MY (3) MY172351A (zh)
NZ (3) NZ718158A (zh)
PH (3) PH12016500536B1 (zh)
PT (1) PT3061250T (zh)
RU (3) RU2678517C2 (zh)
SA (2) SA516371000B1 (zh)
SG (3) SG11201601954PA (zh)
SI (1) SI3061250T1 (zh)
TW (3) TWI645710B (zh)
WO (3) WO2015061561A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2561078T3 (es) * 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
TWI545942B (zh) * 2013-04-30 2016-08-11 杜比實驗室特許公司 從單一容器輸出多語言音訊和相關的音訊之系統及方法
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
US9648348B2 (en) 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
EP3092796B1 (en) * 2014-01-07 2020-06-17 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015194183A1 (en) * 2014-06-18 2015-12-23 Sharp Kabushiki Kaisha Slice Type and Decoder Conformance
GB2527786B (en) * 2014-07-01 2016-10-26 Canon Kk Method, device, and computer program for encapsulating HEVC layered media data
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US10382768B2 (en) * 2015-06-23 2019-08-13 Mediatek Singapore Pte. Ltd. Method and apparatus for transform coefficient coding of non-square blocks
US20170026653A1 (en) * 2015-07-21 2017-01-26 Shengli Xie Method for scalable transmission of video tract
US20170111642A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Support of random access and switching of layers and sub-layers in multi-layer video files
US10034010B2 (en) * 2015-10-14 2018-07-24 Qualcomm Incorporated Alignment of operation point sample group in multi-layer bitstreams file format
US10306253B2 (en) 2015-10-14 2019-05-28 Qualcomm Incorporated Signaling of parameter sets in files of multi-layer bitstreams
WO2017137444A1 (en) 2016-02-09 2017-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for picture/video data streams allowing efficient reducibility or efficient random access
FI20165115A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10652630B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
US10652631B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
CA3025466A1 (en) * 2016-05-24 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for signaling scalable video in a media application format
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
CN109313904B (zh) * 2016-05-30 2023-12-08 索尼公司 视频音频处理设备和方法以及存储介质
CN114359487A (zh) * 2016-09-16 2022-04-15 松下电器（美国）知识产权公司 三维数据制作方法以及三维数据制作装置
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
US20210194946A1 (en) * 2018-09-12 2021-06-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020058567A1 (en) * 2018-09-18 2020-03-26 Nokia Technologies Oy Method and apparatus for non-binary profile constraint signaling for video coding
GB2579389B (en) * 2018-11-29 2022-07-27 Canon Kk Method, device and computer program for encapsulating media data into a media file
WO2020183900A1 (ja) * 2019-03-11 2020-09-17 ソニー株式会社 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
WO2020256615A1 (en) * 2019-06-21 2020-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Video coding layer up-switching indication
GB2585052B (en) * 2019-06-26 2023-07-26 Canon Kk Method and apparatus for encapsulating panorama images in a file
US11122102B2 (en) 2019-07-03 2021-09-14 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
TWI731579B (zh) * 2020-02-11 2021-06-21 日商東芝股份有限公司 傳輸裝置、通訊系統、傳輸方法及電腦程式產品
US11405649B2 (en) * 2020-02-18 2022-08-02 Mediatek Inc. Specifying slice chunks of a slice within a tile
WO2021187737A1 (ko) * 2020-03-18 2021-09-23 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113434715A (zh) * 2020-03-23 2021-09-24 瑞昱半导体股份有限公司 用于针对图像进行搜索的方法以及图像处理电路
GB2593897B (en) * 2020-04-06 2024-02-14 Canon Kk Method, device, and computer program for improving random picture access in video streaming
CN117834916A (zh) * 2020-05-22 2024-04-05 字节跳动有限公司 访问单元中图片信息的信令
WO2021252978A1 (en) 2020-06-12 2021-12-16 Bytedance Inc. Constraints on picture output ordering in a video bitstream
US11671627B2 (en) 2020-09-17 2023-06-06 Lemon Inc. Operating point entity group signaling in coded video
US11729427B2 (en) 2020-09-17 2023-08-15 Lemon Inc. Chroma format and bit depth indication in coded video
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
EP3972273A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Handling of non-vcl nal units in picture unit construction
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
CN116569557A (zh) * 2020-12-14 2023-08-08 Lg电子株式会社 支持以样本为单位的随机访问的媒体文件生成/接收方法和设备及发送媒体文件的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60223483T2 (de) * 2001-10-29 2008-09-18 Humax Co. Ltd., Yougin Verfahren zum aufzeichenen eines digitalen Rundfunkprogramms und zeitbasierter Wiedergabe eines aufgezeichneten Rundfunkprogramms und zugehörige Vorrichtung
PL2200295T3 (pl) * 2004-06-02 2013-08-30 Panasonic Corp Urządzenie do kodowania obrazu oraz urządzenie do dekodowania obrazu
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 ｓｖｃ 파일포맷에서의 비디오데이터 공유방법
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
RU2492585C2 (ru) * 2008-07-16 2013-09-10 Нокиа Корпорейшн Способ и устройство для группирования треков и подмножеств треков
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
EP2521366B1 (en) * 2009-02-19 2014-09-17 Panasonic Corporation Playback device
KR101290467B1 (ko) * 2009-09-22 2013-07-26 퀄컴 인코포레이티드 2 개 이상의 비연속적인 ｎａｌ 유닛들을 참조하는 추출자를 이용하는 멀티-트랙 비디오 코딩 방법들 및 장치
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9456015B2 (en) * 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US20130094590A1 (en) * 2011-10-12 2013-04-18 Vixs Systems, Inc. Video decoding device for extracting embedded metadata and methods for use therewith
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
EP2805490A1 (en) * 2012-01-20 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Output of decoded reference pictures
US10958915B2 (en) * 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
WO2013130478A1 (en) * 2012-02-29 2013-09-06 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
KR101561012B1 (ko) * 2012-09-28 2015-10-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 시퀀스의 픽처의 디코딩 및 인코딩
WO2014163467A1 (ko) 2013-04-05 2014-10-09 삼성전자 주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
TW201517597A (zh) * 2013-07-31 2015-05-01 Nokia Corp 用於視訊編碼及解碼之方法及裝置
WO2015056158A1 (en) 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
US9648348B2 (en) 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format

Also Published As

Publication number Publication date
CN105637885B (zh) 2019-12-20
EP3061248A1 (en) 2016-08-31
US20150110473A1 (en) 2015-04-23
TW201524192A (zh) 2015-06-16
IL244612A0 (en) 2016-04-21
HUE046798T2 (hu) 2020-03-30
CA2926126C (en) 2019-09-17
PH12016500745B1 (en) 2016-05-30
CN105637884B (zh) 2019-04-23
AU2014340056A1 (en) 2016-04-14
US20150110192A1 (en) 2015-04-23
HK1221102A1 (zh) 2017-05-19
SG11201601954PA (en) 2016-05-30
TW201528819A (zh) 2015-07-16
CA2925674C (en) 2019-10-01
SA516371001B1 (ar) 2020-09-22
TWI645721B (zh) 2018-12-21
CA2926126A1 (en) 2015-04-30
MY172351A (en) 2019-11-21
RU2016115539A (ru) 2017-11-28
CN105659607A (zh) 2016-06-08
SI3061250T1 (sl) 2019-04-30
SG11201601902VA (en) 2016-05-30
RU2678517C2 (ru) 2019-01-29
EP3061249A1 (en) 2016-08-31
RU2016115350A (ru) 2017-11-28
CL2016000956A1 (es) 2016-10-14
JP2016540415A (ja) 2016-12-22
DK3061250T3 (en) 2019-04-08
JP6419803B2 (ja) 2018-11-07
EP3061248B1 (en) 2020-07-22
PH12016500745A1 (en) 2016-05-30
TWI645710B (zh) 2018-12-21
JP6434008B2 (ja) 2018-12-05
PH12016500536A1 (en) 2016-06-13
EP3061250B1 (en) 2019-01-16
RU2016115534A3 (zh) 2018-06-18
DK3061249T3 (da) 2020-01-20
MX2016005108A (es) 2016-08-03
SA516371000B1 (ar) 2020-07-19
AU2014340046B2 (en) 2019-04-04
WO2015061551A1 (en) 2015-04-30
MX2016005084A (es) 2016-08-03
MY177745A (en) 2020-09-23
KR20160075554A (ko) 2016-06-29
ES2720662T3 (es) 2019-07-23
RU2667048C2 (ru) 2018-09-13
US20150110203A1 (en) 2015-04-23
HK1220307A1 (zh) 2017-04-28
AU2014340056B2 (en) 2019-04-04
TWI645709B (zh) 2018-12-21
SG11201601901XA (en) 2016-05-30
NZ718200A (en) 2019-11-29
IL244612B (en) 2019-06-30
MX353208B (es) 2018-01-08
NZ718303A (en) 2019-11-29
CN105659607B (zh) 2019-03-12
EP3061250A1 (en) 2016-08-31
JP2016540416A (ja) 2016-12-22
HUE042230T2 (hu) 2019-06-28
AU2014340046A1 (en) 2016-04-14
MX2016005098A (es) 2016-08-01
PH12016500536B1 (en) 2016-06-13
CN105637885A (zh) 2016-06-01
MX353217B (es) 2018-01-08
KR20160074522A (ko) 2016-06-28
CL2016000958A1 (es) 2016-10-14
KR20160075553A (ko) 2016-06-29
RU2016115534A (ru) 2017-11-28
NZ718158A (en) 2019-11-29
WO2015061561A1 (en) 2015-04-30
PH12016500637A1 (en) 2016-05-30
EP3061249B1 (en) 2019-10-09
RU2676876C2 (ru) 2019-01-11
IL244613B (en) 2019-07-31
RU2016115350A3 (zh) 2018-07-19
JP2016540414A (ja) 2016-12-22
US9621919B2 (en) 2017-04-11
CA2926141C (en) 2019-09-24
US9648348B2 (en) 2017-05-09
AU2014339980B2 (en) 2018-08-02
WO2015061580A1 (en) 2015-04-30
AU2014339980A1 (en) 2016-04-21
HK1220062A1 (zh) 2017-04-21
RU2016115539A3 (zh) 2018-08-28
ES2765462T3 (es) 2020-06-09
US9712843B2 (en) 2017-07-18
IL244613A0 (en) 2016-04-21
CA2926141A1 (en) 2015-04-30
JP6559663B2 (ja) 2019-08-14
CA2925674A1 (en) 2015-04-30
CN105637884A (zh) 2016-06-01
PT3061250T (pt) 2019-05-17
IL244614A0 (en) 2016-04-21
CL2016000963A1 (es) 2017-01-13
MX353228B (es) 2018-01-08
MY174120A (en) 2020-03-10

Similar Documents

Publication Publication Date Title
TWI645709B (zh) 多層視訊檔案格式設計
TWI675588B (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
EP3257262B1 (en) Sample grouping signaling in file formats

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees