TW201433151A - 用於視訊資料之檔案格式 - Google Patents

用於視訊資料之檔案格式 Download PDF

Info

Publication number
TW201433151A
TW201433151A TW102136094A TW102136094A TW201433151A TW 201433151 A TW201433151 A TW 201433151A TW 102136094 A TW102136094 A TW 102136094A TW 102136094 A TW102136094 A TW 102136094A TW 201433151 A TW201433151 A TW 201433151A
Authority
TW
Taiwan
Prior art keywords
sample
syntax elements
profile
stream
decoded
Prior art date
Application number
TW102136094A
Other languages
English (en)
Other versions
TWI558177B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201433151A publication Critical patent/TW201433151A/zh
Application granted granted Critical
Publication of TWI558177B publication Critical patent/TWI558177B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一種器件產生儲存經寫碼樣本之一檔案，該等樣本含有視訊資料的經寫碼圖像。該檔案亦包括包括一元素的一樣本項目，該元素指示在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)是否具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。同一或不同器件基於該樣本項目中之該元素判定在該樣本項目所應用至之該串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。

Description

用於視訊資料之檔案格式
本申請案主張2012年10月4日申請之美國臨時專利申請案第61/709,748號之權利，該申請案之整個內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中的高效率視訊寫碼(HEVC)標準，及此等標準之擴展中描述之彼等技術。視訊器件可藉由實施此等視訊壓縮技術而效率較高地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)可經分割成視訊區塊。 使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來對圖像之框內寫碼(I)圖塊中的視訊區塊進行編碼。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致針對待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及殘餘資料指示經寫碼區塊與預測性區塊之間的差來對框間寫碼區塊進行編碼。根據框內寫碼模式及殘餘資料來對框內寫碼區塊進行編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘係數，可接著量化該等殘餘係數。可掃描最初配置成二維陣列之經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更大壓縮。
多視圖寫碼位元串流可藉由對(例如)來自多個視點之視圖進行編碼來產生。已開發出利用多視圖寫碼態樣的一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左及右眼視圖以支援3D視訊。或者，一些3D視訊寫碼程序可應用所謂多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元串流可不僅含有紋理視圖分量，而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
一般而言，本發明描述用於儲存視訊內容之技術。在一些實例中，該等技術提供基於國際標準化組織(ISO)基本媒體檔案格式(ISOBMFF)將高效率視訊寫碼(HEVC)內容儲存於檔案中。舉例而言，器件可產生儲存經寫碼樣本之檔案，該等樣本含有視訊資料的經寫碼圖像。檔案亦可包括包括記錄之邏輯框，該記錄包括指示在記錄 應用至之串流經解碼時被啟動之所有序列參數集(SPS)是否具有語法元素的元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。同一或不同器件可基於記錄中之該元素判定在該記錄應用至之串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在一個實例中，本發明描述一種處理視訊資料之方法，該方法包含基於含有樣本之一檔案的一樣本項目中之一元素判定在該樣本項目應用至之一串流經解碼時啟動的所有SPS具有語法元素，該等樣本含有該視訊資料之經寫碼圖像，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種儲存經寫碼視訊資料之方法，該方法包含產生儲存經寫碼樣本之一檔案，該等樣本含有該視訊資料之經寫碼圖像，該檔案亦包括包括一元素的樣本項目，該元素指示在該樣本項目應用至之一串流經解碼時啟動的所有SPS是否具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種包含一或多個處理器之器件，該一或多個處理器經組態以基於含有樣本之一檔案的一樣本項目中之一元素判定在該樣本項目應用至之一串流經解碼時啟動的所有SPS具有語法元素，該等樣本含有視訊資料之經寫碼圖像，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種包含一或多個處理器之器件，該一或多個處理器經組態以產生儲存經寫碼樣本之一檔案，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括了一元素的樣本項 目，該元素指示在該樣本項目應用至之一串流經解碼時啟動的所有SPS是否具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種器件，其包含：用於接收含有樣本之一檔案的構件，該等樣本含有視訊資料之經寫碼圖像；及用於基於該檔案之一樣本項目中之一元素判定在該樣本項目應用至之一串流經解碼時啟動的所有SPS具有語法元素的構件，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種器件，其包含：用於產生儲存經寫碼樣本之一檔案的構件，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括一元素的樣本項目，該元素指示在該樣本項目應用至之一串流經解碼時啟動的所有SPS是否具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行；及用於輸出該檔案的構件。
在另一實例中，本發明描述一種上面儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時組態一或多個處理器以基於含有樣本之一檔案的一樣本項目中之一元素判定在該樣本項目應用至之一串流經解碼時啟動的所有SPS具有語法元素，該等樣本含有視訊資料之經寫碼圖像，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在另一實例中，本發明描述一種上面儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時組態一或多個處理器以產生儲存經寫碼樣本之一檔案，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括一元素的樣本項目，該元素指示在該樣本項目應用至之一串流經解碼時啟動的所有SPS是否具有語法元素，該等語法元素指示 至任何較高時間子層之時間子層向上切換可在與該等SPS相關聯之任何樣本處執行。
在隨附圖式及以下描述中闡明了本發明之一或多個實例的細節。其他特徵、目標及優點將自該描述、圖式及申請專利範圍而顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
27‧‧‧媒體感知型網路元件(MANE)
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧操作
250‧‧‧操作
300‧‧‧檔案
302‧‧‧電影邏輯框
304‧‧‧媒體資料邏輯框
305‧‧‧樣本
306‧‧‧播放軌邏輯框
308‧‧‧樣本表邏輯框
310‧‧‧SampleToGroup邏輯框
312‧‧‧SampleGroupDescription邏輯框
314‧‧‧HEVC解碼器組態記錄
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4係說明根據本發明之一或多項技術的實例操作的流程圖。
圖5係說明根據本發明之一或多項額外技術的實例操作的流程圖。
圖6係說明根據本發明之一或多項技術的檔案之實例結構的概念圖。
諸如高效率視訊寫碼(HEVC)位元串流之位元串流可包含形成經寫碼圖像之表示的一位元序列，及形成一或多個經寫碼視訊序列(CVS)之相關聯資料。經寫碼圖像可包含圖像的含有該圖像之所有寫碼樹型單元的經寫碼表示。寫碼樹型單元(CTU)可包含明度樣本之寫碼樹型區塊(CTB)，及用以對樣本寫碼之色度樣本及語法結構的兩個對應CTB。CVS可包含存取單元序列。存取單元中之每一者可包含與相同時間執行個體相關聯之經寫碼圖像集合。
媒體感知型網路元件(MANE)或其他類型之器件可將位元串流薄 化應用至藉由多個子層編碼之HEVC位元串流。層內之可在不參考層內之其他圖像情況下經解碼的圖像之子集在本文中可被稱作「子層」或「時間子層」。網路抽象層(NAL)單元之時間識別符識別NAL單元與之相關聯的子層。因此，位元串流之每一子層可與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元的時間識別符，則第一NAL單元囊封之資料可在不參考由第二NAL單元囊封之資料的情況下經解碼。
在位元串流中之任一點處，MANE可在較低子層中之圖像仍係可解碼的基礎上開始移除較高子層之網路抽象層(NAL)單元，此係由於較低子層中之圖像的解碼程序並不取決於較高子層之NAL單元。移除具有高於某值之時間識別符之所有NAL單元的動作可被稱作時間向下切換。時間向下切換可始終係可能的。
開始轉遞直至彼點尚未向上轉遞之某子層的NAL單元之動作可被稱作時間向上切換。在一些實例中，時間向上切換僅在以下情況下係可能的：切換至之層中的圖像皆不取決於同一子層中在位元串流中之執行切換之點之前的任何圖像。位元串流中時間向上切換係可能的點可被稱作子層切換點。
在HEVC中，存在與子層切換點相關聯之兩種圖像類型，即時間子層存取(TSA)圖像類型及步進式時間子層存取(STSA)圖像類型。TSA及STSA圖像類型可用以指示時間子層切換點。TSA圖像在TSA圖像處致能自緊鄰較低子層向上切換至含有TSA圖像的子層或任何較高子層。STSA圖像在STSA圖像處致能自緊鄰較低子層向上切換至含有STSA圖像的子層。因此，與TSA圖像形成對比，STSA不必致能向上切換至任何較高子層(僅含有STSA圖像的子層)。
根據儲存HEVC內容之檔案格式(亦即，HEVC檔案格式)，檔案可包含複數個「邏輯框」。因此，遵照HEVC檔案格式之檔案可包含一 系列稱作邏輯框的物件。「邏輯框」可為藉由唯一類型識別符及長度定義之物件導向式構建區塊。在一些例項中，遵照HEVC檔案格式之檔案中的所有資料可含於邏輯框內，且該檔案中可不存在不處於邏輯框中的資料。
此外，遵照HEVC檔案格式之檔案可包括複數個播放軌(track)。每一播放軌可係相關樣本之時控序列。在HEVC檔案格式之內容脈絡中，「樣本」可包含與單一時戳相關聯的資料。樣本之實例包括：個別視訊圖框、按解碼次序之一系列視訊圖框，或按解碼次序之經壓縮音訊區段。
此外，在HEVC檔案格式中，樣本分組係將播放軌中之樣本中的每一者指派為一個樣本群組之成員。不要求樣本群組中之樣本係連續的。樣本群組可藉由兩個資料結構來表示：SampleToGroup邏輯框及SampleGroupDescription邏輯框。SampleToGroup邏輯框表示樣本至樣本群組之指派。可存在針對每一樣本群組項目之SampleGroupDescription邏輯框的一個例項。SampleGroupDescription邏輯框描述對應樣本群組的性質。
用於儲存HEVC內容之檔案格式之現有設計存在若干問題或缺點。舉例而言，不存在用於發信含有STSA圖像之樣本(亦稱作STSA樣本)的緊湊方式。在另一實例中，不存在用於發信在任何樣本處是否可執行至任何較高時間層之時間子層向上切換的有效方式。
本發明之技術可解決先前提及之問題或缺點中之一或多者。根據本發明之實例技術，器件(例如，視訊編碼器或另一器件)可產生包含複數個樣本之檔案，該複數個樣本含有經寫碼圖像。該檔案亦可包括識別樣本群組之邏輯框(例如，SampleToGroupBox)，該樣本群組含有來自複數個樣本當中的一或多個樣本。該邏輯框進一步指示，樣本群組中之每一樣本係STSA樣本。因而，器件(例如，視訊解碼器或另 一器件)可基於識別樣本群組的邏輯框中之資料來自含有邏輯框之檔案中之樣本當中識別STSA樣本。
根據本發明之另一實例技術，視訊編碼器或另一器件可產生儲存經寫碼樣本之檔案，該等經寫碼樣本含有視訊資料的經寫碼圖像。檔案亦可包括包括記錄之邏輯框，該記錄包括指示在記錄應用至之串流經解碼時被啟動之所有序列參數集(SPS)是否具有語法元素的元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。因而，視訊解碼器或其他器件可基於含有樣本(該等樣本含有視訊資料之經寫碼圖像)之檔案之邏輯框中的記錄中的元素而判定在記錄應用至之串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯的任何樣本處執行。
舉例而言，視訊編碼器可產生HEVC解碼器組態記錄。HEVC解碼器組態記錄可包括temporalIdNested元素。temporalIDNested元素可指示至任何較高時間層之時間子層向上切換可於HEVC解碼器組態記錄應用至之串流的任何樣本處執行。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所使用，術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般係指視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼之視訊資料。因而，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可對由源器件12產生之經編碼視訊資料進行解碼。因而，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可係視訊寫碼器件或視訊寫碼裝置的實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板型電腦、機上盒、諸如所謂「智慧型」電話的電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、車載電腦或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含能夠使源器件12將經編碼視訊資料即時地直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據諸如無線通信協定之通信標準調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成諸如區域網路、廣域網路或全球網路(例如，網際網路)的基於封包之網路的部分。一或多個通信媒體可包括路由器、交換機、基地台或促進自源器件12至目的地器件14之通信的其他裝備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料的其他合適數位儲存媒體。
在另一實例中，頻道16可包括檔案伺服器，或儲存由源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中，目的地器件14可經由串流傳輸或下載存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可係能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的一類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服 器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如網際網路連接)而存取經編碼視訊資料。實例類型之資料連接可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、纜線數據機等)，或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或兩者之組合。
本發明之技術不限於無線應用或設定。技術可應用至支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話的應用。
圖1僅係一實例，且本發明之技術可應用至不必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料擷取自本端記憶體，經由網路進行串流傳輸，或其類似者。視訊編碼器件可對資料進行編碼並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並對該資料進行解碼。在許多實例中，編碼及解碼由並不彼此通信，而是僅將資料編碼至記憶體及/或自記憶體擷取資料並對該資料進行解碼之器件執行。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊捕獲器件、含有先前捕獲之視訊資料的視訊存檔、自視訊內容提供者接收視訊資料 的視訊饋入介面及/或用於產生視訊資料的電腦圖形系統，或此等視訊資料之源的組合。
視訊編碼器20可對來自視訊源18的視訊資料進行編碼。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上以由目的地器件14稍後存取從而用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。視訊解碼器30可對經編碼視訊資料進行解碼。顯示器件32可顯示經解碼視訊資料。顯示器件32可與目的地器件14整合，或可在目的地器件14外部。顯示器件32可包含多種顯示器件，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若該等技術部分地以軟體實施，則一器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。前述各項(包括硬體、軟體、軟體與硬體之組合等)中之任一者可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編解碼器(CODEC))的部分。
本發明可大體指視訊編碼器20將某資訊「發信」至另一器件(諸如視訊解碼器30)。術語「發信」可大體指用以解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時或幾乎即時地發 生。或者，此通信可在一段時間內發生，諸如可能當於編碼時在經編碼之位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素在儲存至此媒體之後可接著由解碼器件在任何時間進行擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如國際標準化組織(ISO)/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)的視訊壓縮標準操作，前述標準包括其可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之三維視訊(3DV)擴展。在一些例項中，遵照H.264/AVC之基於MVC之3DV擴展的任何位元串流始終含有與H.264/AVC之MVC擴展相容之子位元串流。此外，視訊編碼器20及視訊解碼器30可根據當前在開發中之對H.264/AVC之3DV寫碼擴展(亦即，基於AVC之3DV)操作。在其他實例中，視訊編碼器20及視訊解碼器30可根據以下各者操作：國際電信聯盟電信標準化部門(ITU-T)H.261、國際標準化組織(ISO)/國際電工技術委員會(IEC)動畫專家團體(MPEG)-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual及TU-T H.264、ISO/IEC Visual。
在其他實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專家團體(VCEG)與ISO/IEC動畫專家團體(MPEG)的關於視訊寫碼之聯合協作團隊(JCT-VC)開發的高效率視訊寫碼(HEVC)來操作。稱作「HEVC工作草案8」之HEVC標準的草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 8」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)，2012年7月瑞典斯德哥爾摩第10次會議)中，該工作草案自2013年9月17起自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip可獲得。此外，視訊編碼器20及視訊解碼器30可根據以下各者操作：可調式視訊寫碼、多視圖寫碼，及當前在開發中的HEVC之 3DV擴展。HEVC之可調式視訊寫碼擴展可被稱作SHEVC。HEVC之3DV擴展可被稱作基於HEVC之3DV或3D-HEVC。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括表示為SL、SCb及SCr的三個樣本陣列。SL係明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣本之二維陣列。SCr係Cr色度樣本之二維陣列。色度樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他例項中，圖像可係單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)的集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CTU可包含單一寫碼樹型區塊及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可係樣本之N×N區塊。CTU亦可稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨型區塊。然而，CTU不必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描次序上連續地排序的整數數目個CTU。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割以將寫碼樹型區塊劃分成寫碼區塊(因此得名「寫碼樹型單元」)。寫碼區塊係樣本之N×N區塊。CU可包含明度樣本之寫碼區塊，及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之色度樣本的兩個對應寫碼區塊，以及用以對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CU可包含單一寫碼區塊及用以對寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊係相同預測應用至之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本的兩個對應預測區塊，及用以預測該等預測區塊的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，PU可包含單向預測區塊及用以對預測區塊之樣本進行預測的語法結構。視訊編碼器20可產生用於CU之每一PU的明度、Cb及Cr預測區塊的預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測以產生PU的預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU的預測性區塊。在本發明中，片語「基於」可指示「至少部分基於」。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU的預測性區塊。
為了支援框間預測，視訊編碼器20可產生一或多個參考圖像清單。此等參考圖像清單可被稱作RefPicList0及RefPicList1。在一些實例中，視訊編碼器20可針對不同圖像或圖像之不同圖塊產生不同參考圖像清單。因此，不同圖像及/或圖塊之不同PU可能與RefPicList0及RefPicList1的不同版本相關聯。
此外，當視訊編碼器20使用框間預測來產生PU之預測性區塊時，視訊編碼器20可發信PU的運動資訊。運動資訊可包括PU之參考索引及PU的運動向量。PU之參考索引可指示參考圖像在參考圖像清單之與PU相關聯之一者內的位置。PU之運動向量可指示PU之預測區塊與參考圖像中參考位置之間的空間移位。視訊編碼器20可使用與參考位置相關聯之參考圖像的樣本以產生PU的預測性區塊。因為PU可與兩個參考圖像相關聯，所以PU可具有兩個參考索引及兩個運動向 量。因此，PU可具有RefPicList0參考索引及RefPicList1參考索引。PU之RefPicList0參考索引指示在PU之RefPicList0版本中的參考圖像。PU之RefPicList1參考索引指示在PU之RefPicList1版本中的參考圖像。類似地，PU可具有RefPicList0運動向量及RefPicList1運動向量。PU之RefPicList0運動向量可指示在PU之RefPicList0版本中的參考圖像中之參考位置。PU之RefPicList1運動向量可指示在PU之RefPicList1版本中的參考圖像中之參考位置。
視訊編碼器20可在位元串流中發信PU之參考索引及運動向量。換言之，視訊編碼器20可在位元串流中包括指示PU之參考索引及運動向量的資料。視訊解碼器30可重建構PU的RefPicList0及/或RefPicList1版本，且可使用PU之參考索引及運動向量來判定PU的一或多個預測性區塊。視訊解碼器30可使用PU之預測性區塊連同殘餘資料一起來對樣本進行解碼。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊之後，視訊編碼器20可產生CU的明度殘餘區塊。CU之明度殘餘區塊的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。此外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之明度、Cb及Cr殘餘區塊分解成一或多個明度、Cb及Cr變換區塊。變換區塊可係相同變換應用至之樣本的矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區 塊，及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可係與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可係CU之明度殘餘區塊的子區塊。Cb變換區塊可係CU之Cb殘餘區塊的子區塊。Cr變換區塊可係CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨彩色平面之圖像中，TU可包含單一變換區塊及用以對變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用至TU之明度變換區塊以產生TU的明度係數區塊。係數區塊可係變換係數之二維陣列。變換係數可係純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU的Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生TU的Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化一般係指如下程序：將變換係數量化以可能地減少用以表示該等變換係數之資料的量，從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對語法元素進行熵編碼，從而指示經量化之變換係數。舉例而言，視訊編碼器20可對語法元素執行上下文自適應性二進位算術寫碼(CABAC)，從而指示經量化之變換係數。
視訊編碼器20可輸出包括位元序列的位元串流，該位元序列形成經寫碼圖像及相關聯資料的表示。術語「位元串流」可係用以指網路抽象層(NAL)單元串流(例如，NAL單元之序列)或位元組串流(例如，如藉由HEVC標準之附錄B所指定的含有起始碼首碼及NAL單元之NAL單元串流的囊封)的集體術語。NAL單元係含有NAL單元中資料類型的指示及含有呈原始位元組序列有效負載(RBSP)(在必要時分散在仿真防止位元中)之形式的該資料的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭，且可囊封RBSP。NAL單元標頭 可包括指示NAL單元類型碼的語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可係含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些例項中，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封SEI的RBSP，等等。囊封視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。含有參數集(例如，視訊參數集(VPS)、序列參數集(SPS)、PPS等)之NAL單元可被稱作參數集NAL單元。
視訊解碼器30可接收由視訊編碼器20產生的位元串流。此外，視訊解碼器30可剖析位元串流以獲得來自位元串流的語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素來重建構視訊資料的圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互反。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。此外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本來重建構當前CU的寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構該圖像。
在多視圖寫碼中，可存在同一場景的來自不同視點之多個視圖。在多視圖寫碼之內容脈絡中，術語「存取單元」可用以指對應於相同時間執行個體之圖像的集合。因此，視訊資料可概念化為隨時間發生之一系列存取單元。「視圖分量」可係單一存取單元中視圖的經 寫碼表示。在本發明中，「視圖」可係指與同一視圖識別符相關聯之視圖分量的序列。在一些實例中，視圖分量可係紋理視圖分量(亦即，紋理圖像)或深度視圖分量(亦即，深度圖像)。
多視圖寫碼支援視圖間預測。視圖間預測類似於用於HEVC中的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊寫碼器可使用係在與當前視訊單元相同之存取單元中但在不同視圖中的圖像作為參考圖像。相比之下，習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可解碼視圖中之圖像而不參考任何其他視圖中之圖像，則視圖可被稱作「基本視圖」。當對非基本視圖中之圖像進行寫碼時，若圖像係在不同視圖中但係在與視訊寫碼器當前正寫碼之圖像相同的時間執行個體(亦即，存取單元)內，則視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可將圖像添加至參考圖像清單中。類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
舉例而言，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素。具有指定不同值之nuh_reserved_zero_6bit語法元素之NAL單元屬於位元串流的不同「層」。因此，在多視圖寫碼、3DV或SVC中，NAL單元之nuh_reserved_zero_6bits語法元素指定NAL單元的層識別符(亦即，層ID)。在一些實例中，若NAL單元係關於多視圖寫碼、3DV寫碼或SVC中之基礎層，則NAL單元之nuh_reserved_zero_6bits語法元素等於0。位元串流之基礎層中的資料可在不參考位元串流之任何其他層中之資料的情況下經解碼。若NAL單元並非係關於多視圖寫碼、3DV或SVC中之基礎層，則nuh_reserved_zero_6bits語法元素可具 有非零值。在多視圖寫碼及3DV寫碼中，位元串流之不同層可對應於不同視圖。在SVC中，除基礎層外之層可被稱作「增強層」，且可提供增強經解碼自位元串流之視訊資料之視覺品質的資訊。
此外，層內之一些圖像可在不參考同一層內之其他圖像情況下經解碼。因此，囊封層之某些圖像之資料的NAL單元可自位元串流移除而不影響層中其他圖像的可解碼性。移除囊封此等圖像之資料的NAL單元可減少位元串流之圖框速率。層內之圖像的可在不參考層內之其他圖像情況下經解碼的子集在本文中可被稱作「子層」或「時間子層」。
NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定NAL單元的時間識別符。NAL單元之時間識別符識別NAL單元與之相關聯的子層。因此，位元串流之每一子層可係與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元的時間識別符，則第一NAL單元所囊封之資料可在不參考由第二NAL單元所囊封之資料的情況下經解碼。
在H.264/AVC及HEVC中，SPS可含有應用至CVS之所有圖塊的資訊。在HEVC中，CVS可自係位元串流中之第一圖像的瞬時解碼再新(IDR)圖像或斷鏈存取(BLA)圖像或清潔隨機存取(CRA)圖像開始，包括並非IDR或BLA圖像的所有後續圖像。亦即，在HEVC中，CVS可包含存取單元之序列，該存取單元之序列在解碼次序上可由以下各者組成：為位元串流中之第一存取單元的CRA存取單元、IDR存取單元或BLA存取單元，繼之以零或零個以上非IDR及非BLA存取單元(包括所有後續存取單元，直至但不包括任何後續IDR或BLA存取單元)。
HEVC及其他視訊寫碼標準提供用於致能至位元串流之隨機存取的機制。隨機存取係指位元串流之自並非位元串流中之第一經寫碼圖像的經寫碼圖像開始之解碼。在諸如廣播及串流傳輸之各種視訊應用 中可能需要對位元串流之隨機存取。對位元串流之隨機存取可使得使用者能夠在任何時間調諧至節目中，在不同頻道之間切換，跳躍至視訊之特定部分，或切換至不同位元串流以用於串流調適(例如，位元速率之調適、圖框速率之調適、空間解析度的調適等)。隨機存取點(RAP)圖像以規則間隔至位元串流中之插入可致能隨機存取。實例類型之RAP圖像包括IDR圖像、CRA圖像及BLA圖像。因此，IDR圖像、CRA圖像及BLA圖像被統稱為隨機存取點(RAP)圖像。
IDR圖像含有僅I圖塊(亦即，使用僅框內預測之圖塊)。IDR圖像可係位元串流中解碼次序上之第一圖像，或可稍後顯現於位元串流中。每一IDR圖像係CVS之解碼次序上的第一圖像。如HEVC及H.264/AVC中指定之IDR圖像可用於隨機存取。然而，解碼次序上在IDR圖像之後的圖像不可將在IDR圖像之前解碼之圖像用作參考。因而，依賴於IDR圖像用於隨機存取的位元串流相較於使用額外類型之隨機存取圖像的位元串流可具有顯著較低之寫碼效率。IDR存取單元係含有IDR圖像的存取單元。
CRA圖像之概念引入於HEVC中以允許在解碼次序上在CRA圖像之後且在輸出次序上先於CRA圖像的圖像將在CRA圖像之前解碼的圖像用於參考。在解碼次序上在CRA圖像之後但在輸出次序上先於CRA圖像的圖像被稱作與CRA圖像相關聯之前置圖像(或CRA圖像的前置圖像)。亦即，為了改良寫碼效率，CRA圖像之概念引入於HEVC中以允許在解碼次序上在CRA圖像之後但在輸出次序上先於CRA圖像的圖像將在CRA圖像之前解碼的圖像用作參考。CRA存取單元為經寫碼圖像係CRA圖像的存取單元。
若解碼自在解碼次序上在CRA圖像之前出現的IDR或CRA圖像開始，則CRA圖像之前置圖像係可正確解碼的。然而，當發生自CRA圖像之隨機存取時，CRA圖像之前置圖像可係非可解碼的。因此，視訊 解碼器在隨機存取解碼期間通常對CRA圖像的前置圖像進行解碼。為了防止自取決於解碼開始處而可能不可用的參考圖像之錯誤傳播，在解碼次序及輸出次序上皆在CRA圖像之後的所有圖像皆不可使用在解碼次序或輸出次序上先於CRA圖像的任何圖像(包括前置圖像)作為參考。
斷鏈存取(BLA)圖像之概念在引入CRA圖像之後被引入HEVC中，且係基於CRA圖像之概念。BLA圖像通常發源於在CRA圖像之位置處剪接的位元串流，且在經剪接之位元串流中，剪接點CRA圖像改變為BLA圖像。含有RAP圖像之存取單元在本文中可被稱作RAP存取點。BLA存取單元係含有BLA圖像的存取單元。
BLA圖像與CRA圖像之間的一個差異如下。對於CRA圖像，若解碼自在解碼次序上在CRA圖像之前的RAP圖像開始，則相關聯前置圖像係可正確解碼的。然而，當發生自CRA圖像之隨機存取時(亦即，當解碼自CRA圖像開始時，或換言之，當CRA圖像係位元串流中的第一圖像時)，與CRA圖像相關聯的圖像可係不可正確解碼的。相反，可不存在與BLA圖像相關聯之前置圖像係可解碼的情境，即使當解碼自在解碼次序上在BLA圖像之前的RAP圖像開始時亦如此。
與特定CRA圖像或特定BLA圖像相關聯之前置圖像中的一些可係可正確解碼的，即使在特定CRA圖像或特定BLA圖像係位元串流中之第一圖像中時亦如此。此等前置圖像可被稱作可解碼前置圖像(DLP)。其他前置圖像可被稱作非可解碼前置圖像(NLP)。HEVC工作草案8亦可指如標記為捨棄(TFD)圖像的NLP。
VPS係包含應用至零或零個以上整個CVS之語法元素的語法結構。SPS係含有應用至零或零個以上整個CVS之語法元素的語法結構。SPS可包括在SPS係在作用中時識別係在作用中之VPS的語法元素。因此，VPS之語法元素相較於SPS之語法元素可係大體更適用 的。
參數集(例如，VPS、SPS、PPS等)可含有來自圖塊之圖塊標頭的經直接或間接參考的識別。參考程序被稱作「啟動」。因此，當視訊解碼器30正解碼特定圖塊時，由特定圖塊之圖塊標頭中的語法元素直接或間接參考的參數集被稱作「經啟動」。視參數集之類型而定，啟動可在按圖像基礎上或按序列基礎上發生。舉例而言，圖塊之圖塊標頭可包括識別PPS之語法元素。因此，當視訊寫碼器對圖塊寫碼時，PPS可經啟動。此外，PPS可包括識別SPS的語法元素。因此，當識別SPS之PPS經啟動時，可啟動SPS。SPS可包括識別VPS的語法元素。因此，當識別VPS之SPS經啟動時，啟動VPS。
HEVC及其他視訊寫碼標準指定設定檔、階層及級別。設定檔、階層及級別指定對位元串流之約束，且因此指定對解碼位元串流需要之能力的限制。設定檔、階層及級別亦可用以指示個別解碼器實施之間的互通性點。每一設定檔可指定演算特徵及限制之子集，該子集藉由遵照該設定檔之所有視訊解碼器來支援。不要求視訊編碼器利用在設定檔中支援之所有特徵。階層之每一級別可指定對語法元素可具有之值的限制之集合。階層及級別定義之同一集合可與所有設定檔一起使用，但個別實施可支援不同階層及階層內每一所支援設定檔的不同級別。對於任何給定設定檔，階層之級別可大體對應於特定解碼器處理負載及記憶體能力。視訊解碼器之能力可依據對遵照特定設定檔、階層及級別之約束的視訊串流進行解碼之能力來指定。對於每一此設定檔，亦可表達針對該設定檔所支援之階層及級別。一些視訊解碼器可能不能對特定設定檔、階層或級別進行解碼。
在HEVC中，設定檔、階層及級別可由語法結構profile_tier_level( )語法結構來發信。profile_tier_level( )語法結構可包括於VPS及/或SPS中。profile_tier_level( )語法結構可包括 general_profile_idc語法元素、general_tier_flag語法元素及general_level_idc語法元素。general_profile_idc語法元素可指示CVS遵照之設定檔。general_tier_flag語法元素可指示用於解譯general_level_idc語法元素的階層內容脈絡。general_level_idc語法元素可指示CVS遵照之級別。可預留此等語法元素之其他值。
視訊解碼器之能力可依據對遵照設定檔、階層及級別之約束的視訊串流進行解碼之能力來指定。對於每一此設定檔，亦可表達針對該設定檔所支援之階層及級別。在一些實例中，視訊解碼器並不推斷指定於HEVC中之值之間的general_profile_idc語法元素之預留值指示所指定設定檔之間的中間能力。然而，視訊解碼器可推斷，與HEVC中指定之值之間的general_tier_flag語法元素之特定值相關聯的general_level_idc語法元素之預留值指示階層之所指定級別之間的中間能力。
一或多個HEVC位元串流可儲存於遵照特定檔案格式之檔案中。在一些實例中，一或多個視訊資料位元串流(例如，HEVC位元串流)可儲存於遵照ISO基本媒體檔案格式(ISOBMFF)的檔案中。ISOBMFF亦可被稱作ISO/IEC 14496-12。用於視訊資料位元串流之儲存的其他實例檔案格式包括得自ISOBMFF之檔案格式，包括MPEG-4檔案格式(ISO/IEC 14496-14)、第三代合作夥伴計劃(3GPP)檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15)。對用於儲存HEVC視訊內容之AVC檔案格式的修正正由MPEG開發。此AVC檔案格式修正可被稱作HEVC檔案格式。亦即，HEVC檔案格式正由MPEG開發，MPEG正變為ISO/IEC 14496-15之部分。
遵照HEVC檔案格式之檔案可具有邏輯結構、時間結構及實體結構。檔案之邏輯結構可係含有時間並行播放軌之集合之電影的邏輯結構。檔案之時間結構在於播放軌含有樣本之時間序列。樣本之序列可 由編輯清單映射至電影的時刻表中。在HEVC檔案格式之內容脈絡中，「樣本」可包含與單一時戳相關聯的資料。樣本之實例包括：個別視訊圖框、解碼次序上之一系列視訊圖框，或解碼次序上經壓縮之音訊區段。
實體地，遵照HEVC檔案格式之檔案可包含一系列稱作邏輯框的物件。邏輯框可為藉由唯一類型識別符及長度定義之物件導向式構建區塊。在一些例項中，遵照HEVC檔案格式之檔案中的所有資料可含有於邏輯框內，且該檔案中可不存在並不在邏輯框中的資料。遵照HEVC檔案格式之檔案可包括各種類型之邏輯框。
舉例而言，遵照HEVC檔案格式之檔案可包括檔案類型邏輯框、媒體資料邏輯框、電影邏輯框、電影片段邏輯框等等。在此實例中，檔案類型邏輯框包括檔案類型及相容性資訊。媒體資料邏輯框可含有樣本(例如，經寫碼圖像)。電影邏輯框可含有關於電影之後設資料(例如，樣本之間的邏輯及時序關係，以及至樣本之位置的指標)。電影邏輯框可包括若干類型之子邏輯框。電影邏輯框中之子邏輯框可包括一或多個播放軌邏輯框。播放軌邏輯框可包括關於電影之個別播放軌的資訊。播放軌邏輯框可包括指定單一播放軌之總體資訊的播放軌標頭邏輯框。此外，播放軌邏輯框可包括含有媒體資訊邏輯框的媒體邏輯框。媒體資訊邏輯框可包括一樣本表邏輯框，該樣本表邏輯框含有對播放軌中之媒體樣本編索引的資料。樣本表邏輯框中之資訊可用以在時間上定位樣本，且對於播放軌之樣本中的每一者而言定位類型、大小、容器及至樣本之該容器中的偏移。
此外，樣本表邏輯框可包括一或多個SampleToGroup邏輯框及一或多個樣本群組描述邏輯框(亦即，SampleGroupDescription邏輯框)。SampleToGroup邏輯框可用以與樣本群組之相關聯描述一起判定樣本屬於的樣本群組。換言之，SampleToGroup邏輯框可指示樣本屬於之 群組。SampleToGroup邏輯框可具有為「sbgp」之邏輯框類型。SampleToGroup邏輯框可包括分組類型元素(例如，grouping_type)。分組類型元素可係識別樣本分組之類型(亦即，用以形成樣本群組之準則)的整數。此外，SampleToGroup邏輯框可包括一或多個項目。SampleToGroup邏輯框中之每一項目可係與播放軌中不同之非重疊系列連續樣本相關聯。每一項目可指示樣本記數元素(例如，sample_count)及群組描述索引元素(例如，group_description_index)。項目之樣本記數元素可指示與項目相關聯之樣本的數目。換言之，項目之樣本記數元素可係給出具有同一樣本群組描述符之連續樣本之數目的整數。群組描述索引元素可識別含有與項目相關聯之樣本之描述的SampleGroupDescription邏輯框。多個項目之群組描述索引元素可識別相同SampleGroupDescription邏輯框。
在一些實例中，以下偽碼描述SampleToGroup邏輯框。
如上文所指示，樣本表邏輯框可包括零或零個以上SampleGroupDescription邏輯框。SampleGroupDescription邏輯框可包 括樣本群組之描述。若對於播放軌中之樣本存在一個以上樣本分組，則可存在SampleGroupDescription邏輯框的多個例項。SampleGroupDescription邏輯框可具有為「sgpd」之邏輯框類型。
在一些實例中，以下偽碼描述SampleGroupDescription邏輯框。
如以上偽碼中所展示，SampleGroupDescription邏輯框可包括grouping_type元素、entry_count元素及一或多個項目。 SampleGroupDescriptionBox之grouping_type元素可係識別與SampleGroupDescription邏輯框相關聯之SampleToGroup邏輯框的整數。entry_count元素可指示SampleGroupDescription邏輯框中項目的數目。SampleGroupDescription邏輯框中之每一項目可包括VisualSampleGroupEntry物件、AudioSampleGroupEntry物件或HintSampleGroupEntry物件。VisualSampleGroupEntry物件可提供關於視覺(例如，視訊)樣本之群組的描述。AudioSampleGroupEntry物件可提供關於音訊樣本之群組的描述。HintSampleGroupEntry物件可提供關於提示樣本之群組的描述。VisualSampleGroupEntry物件及AudioSampleGroupEntry物件可屬於擴展抽象SampleGroupDescriptionEntry類別之抽象類別。
此外，樣本表邏輯框可包括包含串流之格式描述的樣本描述邏輯框。詳言之，樣本描述邏輯框可包括一或多個樣本項目之清單。樣本項目中之每一者可含有媒體類型(例如，解碼串流需要之解碼器的類型)之名稱及所需要之該解碼器的任何參數化。舉例而言，在HEVC之內容脈絡中，樣本項目可包括HEVC解碼器組態記錄。因此，HEVC解碼器組態記錄可係樣本表邏輯框的子邏輯框。HEVC解碼器組態記錄可包括ISO/IEC 23008-2(亦即，HEVC)視訊內容的解碼器組態資訊。舉例而言，HEVC解碼器組態記錄可包括含有參數集(例如，VPS、SPS、PPS等)的一或多個NAL單元。
如上文所指示，遵照HEVC檔案格式之檔案可包括電影片段邏輯框。電影片段邏輯框可含有關於電影片段(亦即，電影之片段)之後設資料。電影片段邏輯框可包括一播放軌片段邏輯框，該播放軌片段邏輯框包括關於電影片段之播放軌之片段的資訊。此外，播放軌片段邏輯框可包括一或多個SampleToGroup邏輯框，SampleToGroup邏輯框可指示電影片段之樣本屬於的樣本群組。
在圖1之實例中，視訊寫碼系統10包括媒體感知型網路元件(MANE)27。MANE 27可接收由源器件12產生之視訊資料，且可將視訊資料轉遞至目的地器件14。MANE 27(或其他類型之器件)可將位元串流薄化應用至藉由多個子層編碼之HEVC位元串流。在位元串流中之任何點處，MANE 27可基於較低子層(亦即，與較低時間識別符相關聯之子層)中之圖像仍係可解碼的事實而開始移除較高子層(亦即，與較高時間識別符相關聯的子層)的NAL單元，此係因為較低子層中之圖像的解碼程序並不取決於較高子層之NAL單元。移除具有高於某值之時間識別符之所有NAL單元的動作可被稱作時間向下切換。時間向下切換可始終係可能的。因此，術語時間子層切換點可係指不具有對任何其他圖像之相依性的圖像，該任何其他圖像係在與該圖像相同之子層中，且在解碼次序上先於該圖像。
術語「時間向上切換」可係指開始轉遞尚未向上轉遞直至該點之某子層之NAL單元的動作。時間向上切換僅在以下情況下可係可能的：切換至之層中的圖像皆不取決於同一子層中在位元串流中之執行切換所在之點之前的任何圖像。
在H.264/AVC視訊寫碼標準之可調式視訊寫碼擴展(亦即，H.264/SVC)中，時間子層切換點可經由SPS中之temporal_id_nesting_flag語法元素來指示。舉例而言，若適用於特定CVS之SPS中的temporal_id_nesting_flag語法元素等於1，則CVS中具有大於0之時間識別符的所有圖像可係時間層切換點。此外，在H.264/SVC中，時間層切換點SEI訊息可指示時間子層切換點。在時間級別切換點SEI訊息指示時間子層切換點之一些實例中，時間級別切換點SEI訊息可含有關於週期時間層M在切換點之前多長時間應解碼以便在切換點處向上切換至時間層M+1的資訊。
在HEVC中，如在H.264/SVC中，SPS可包括 sps_temporal_id_nesting_flag語法元素。當sps_temporal_id_nesting_flag語法元素具有等於1之值時，具有大於零之時間識別符的所有圖像係子層切換點。在HEVC中，可存在與子層切換點相關聯之兩種圖像類型，即時間子層存取(TSA)圖像類型及步進式時間子層存取(STSA)圖像類型。TSA及STSA圖像類型可用以指示時間子層切換點。
TSA圖像及在解碼次序上在TSA圖像之後的圖像並不將具有等於或大於TSA圖像之時間識別符的時間識別符之圖像用於框間預測參考。TSA圖像在TSA圖像處致能自緊鄰較低子層向上切換至含有TSA圖像的子層或任何較高子層。在一些實例中，所有TSA圖像具有大於0之時間識別符。
STSA圖像並不將具有與STSA圖像相同之TemporalId的圖像用於框間預測參考。具有與STSA圖像相同之時間識別符的在解碼次序上在STSA圖像之後的圖像並不將具有與STSA圖像相同之時間識別符的在解碼次序上在STSA圖像之前的圖像用於框間預測參考。STSA圖像在STSA圖像處致能自緊鄰較低子層向上切換至含有STSA圖像的子層。在一些實例中，所有STSA圖像具有大於0之時間識別符。因此，與TSA圖像形成對比，STSA圖像不必致能向上切換至任何較高子層。確切而言，STSA圖像可僅致能向上切換至含有STSA圖像的子層。
用於儲存HEVC內容之檔案格式之現有設計存在若干問題或缺點。舉例而言，不存在用於發信含有STSA圖像之樣本(亦稱作STSA樣本)的緊湊方式。在另一實例中，可不存在用於發信含有框內圖像之樣本的有效方式。含有框內圖像之樣本的發信可致能僅使用框內圖像的某些類型之特技模式播放。在另一實例中，可不存在發信在任何樣本處是否可執行至任何較高時間層之時間子層向上切換的有效方式。
根據本發明之一個實例技術，樣本分組類型可係「stsa」之名為步進式時間子層存取樣本群組的樣本群組標註STSA樣本。藉由此機制，視訊寫碼器或其他器件可易於識別STSA樣本。
根據此實例技術，器件(例如，視訊編碼器20或另一器件)可產生包含複數個樣本之一檔案，該複數個樣本含有經寫碼圖像。檔案亦可包括識別樣本群組之邏輯框(例如，SampleToGroupBox)，該樣本群組含有來自複數個樣本當中的一或多個樣本。邏輯框進一步指示，樣本群組中之每一樣本係STSA樣本。在一些實例中，器件可輸出檔案。在此等實例中，器件之輸出介面(例如，網路介面、磁碟或磁碟機介面、記憶體存取系統等)可輸出檔案。
類似地，器件(例如，視訊解碼器30或另一器件)可基於識別樣本群組的邏輯框中之資料來自含有邏輯框之檔案中之樣本當中識別STSA樣本。在一些實例中，器件之輸入介面(例如，網路介面、磁碟或磁碟機介面、記憶體存取系統等)可接收檔案，該檔案含有識別樣本群組的邏輯框。此外，在一些實例中，器件可在樣本群組中之STSA樣本中的一者處執行時間向上切換。此外，在一些實例中，視訊解碼器30可解碼STSA樣本中的一或多者。
此外，根據本發明之一些實例技術，樣本分組類型可係「ipsg」之名為框內圖像樣本群組(亦即，框內圖像樣本分組項目)的樣本群組經設計以標註含有經框內寫碼圖像(亦稱作框內樣本)的樣本。因此，HEVC視訊播放軌可含有具有「ipsg」之grouping_type元素的SampleToGroupBox之零個例項或一個例項。藉由此機制，含有經框內寫碼之圖像的樣本可易於經由僅框內圖像樣本群組而識別。視訊解碼器30可對經框內寫碼圖像中的一或多者進行解碼。
或者，框內圖像樣本群組僅標註含有非RAP經框內寫碼圖像之樣本，亦即，並非如HEVC工作草案8中所定義之RAP圖像的框內圖像。 藉由此機制，含有經框內寫碼圖像之樣本可易於經由同步樣本表及框內圖像樣本群組兩者來識別，同步樣本表標註含有RAP圖像的所有樣本。以此方式，器件(例如，視訊編碼器20或另一器件)可產生包含非隨機存取點(非RAP)框內寫碼圖像的檔案，其中樣本群組標註檔案中的非RAP經框內寫碼圖像。
此外，根據本發明之一些實例技術，(例如)使用旗標在樣本項目中發信至任何較高時間層之時間子層向上切換是否可在任何樣本處經執行。在一些實例中，視訊編碼器20或另一器件可產生包括元素之記錄(例如，HEVC解碼器組態記錄)。具有第一值之元素指示，至任何較高時間層之時間子層向上切換可在任何樣本處予以執行。具有第二值之元素指示，並不保證至任何較高時間層之時間子層向上切換可在任何樣本處予以執行。此外，在一些實例中，當元素具有第一值時，在記錄應用至之串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示至任何較高時間層之時間子層向上切換是否可在任何樣本處執行。
以此方式，器件(例如，視訊編碼器20或其他器件)可產生儲存經寫碼之樣本的檔案，該等樣本含有視訊資料的經寫碼圖像。檔案亦可包括包括記錄(例如，諸如HEVC解碼器組態記錄的解碼器組態記錄)之邏輯框，該記錄包括指示在記錄應用至之串流經解碼時被啟動之所有SPS是否具有語法元素的元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。在一些實例中，器件之輸出介面(例如，網路介面、磁碟或磁碟機介面、記憶體存取系統等)可輸出檔案。因而，器件(例如，視訊解碼器30或另一器件)可基於含有樣本之檔案之邏輯框中記錄(例如，諸如HEVC解碼器組態記錄之解碼器組態)中的元素(該等樣本含有視訊資料之經寫碼圖像)而判定，在記錄應用至之串流經解碼時啟動的所有SPS具有 語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯的任何樣本處執行。在一些實例中，器件之輸入介面(例如，網路介面、磁碟或磁碟機介面、記憶體存取系統等)可接收檔案，該檔案含有樣本，該等樣本含有視訊資料的經寫碼圖像。此外，在一些實例中，器件可在與SPS中之一者相關聯的樣本處執行時間向上切換。
本發明之技術亦可應用至使用不同於HEVC之視訊編解碼器而編碼的其他視訊內容。
圖2為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。圖2為了解釋之目的而提供，且不應視為限制如在本發明中廣泛例示且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU之間分割與CU相關聯的寫碼區塊。因此，每一PU可係與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小的PU。CU之大小可係指CU之明度寫碼區塊的大小，且PU之大小可係指PU之明度預測區塊 的大小。假定特定CU之大小係2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N的PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似大小的對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及PU之運動資訊。框間預測處理單元120可視PU係在I圖塊、P圖塊抑或B圖塊中而對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU係在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。
若PU係在P圖塊中，則運動估計單元122可為了PU之參考區而搜尋參考圖像之清單(例如，「RefPicList0」)中的參考圖像。PU之參考區可係參考圖像內的一區，該區含有最緊密地對應於PU之預測區塊的樣本。運動估計單元122可產生參考索引，該參考索引指示含有用於PU之參考區的參考圖像在RefPicList0中的位置。此外，運動估計單元122可產生運動向量，該運動向量指示PU之寫碼區塊與係與參考區相關聯之參考位置之間的空間移位。舉例而言，運動向量可係二維向量，其提供自當前圖像中之座標至參考圖像中之座標的偏移。運動估計單元122可輸出參考索引及運動向量作為PU的運動資訊。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
若PU係在B圖塊中，則運動估計單元122可執行PU之單向預測(uni-prediction)或雙向預測(bi-prediction)。為了執行PU之單向預測，運動估計單元122可為了PU之參考區而搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)的參考圖像。運動估計單元122可輸出以下各 者作為PU之運動資訊：參考索引，其指示含有參考區之參考圖像在RefPicList0或RefPicList1中的位置；運動向量，其指示PU之預測區塊與係與參考區相關聯之參考位置之間的空間移位；及一或多個預測方向指示符，其指示參考圖像係在RefPicList0抑或RefPicList1中。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
為了執行PU之雙向框間預測，運動估計單元122可為了PU之參考區而搜尋RefPicList0中的參考圖像，且亦可為了PU之另一參考區而搜尋RefPicList1中的參考圖像。運動估計單元122可產生參考索引，該等參考索引指示參考圖像之RefPicList0及RefPicList1中含有參考區的位置。此外，運動估計單元122可產生運動向量，該等運動向量指示與參考區相關聯之參考位置與PU之預測區塊之間的空間移位。PU之運動資訊可包括PU的參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生PU之預測性區塊的多個集合。當使用特定框內預測模式執行框內預測時，框內預測處理單元126可使用來自相鄰區塊之樣本的特定集合來產生PU的預測性區塊。假定針對PU、CU及CTU之左至右、頂部至底部之編碼次序，相鄰區塊可係在PU之預測區塊的上方、右上方、左上方或左側。框內預測處理單元126可使用各種數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中， 框內預測模式之數目可取決於PU之預測區塊的大小。
預測處理單元100可自PU之由框間預測處理單元120產生之預測性資料或PU之由框內預測處理單元126產生的預測性資料當中選擇針對CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的速率/失真量度來選擇針對CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選擇預測性區塊。
殘餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊以及CU之PU的所選擇之預測性明度、Cb及Cr區塊而產生CU的明度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有一值，該值等於CU之寫碼區塊中之樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差。
變換處理單元104可執行四分樹分割以將CU之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可係與明度變換區塊及兩個對應色度變換區塊相關聯。CU之TU的明度及色度變換區塊之大小及位置可能或可能並非基於CU之PU的預測區塊的大小及位置。
變換處理單元104可藉由將一或多個變換應用至TU之變換區塊而產生針對CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、方向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104並不將變換應用至變換區塊。在此等實例中，變換區塊可作為變換係數區塊進行處置。
量化單元106可使係數區塊中之變換係數量化。該量化程序可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，n位元變換係數在量化期間可經降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU 之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用至與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失，因此經量化之變換係數相較於原始變換係數可具有較低精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用至係數區塊以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至由預測處理單元100產生之來自一或多個預測性區塊的對應樣本以產生與TU相關聯的經重建構變換區塊。藉由以此方式重建構針對CU之每一TU的變換區塊，視訊編碼器20可重建構CU的寫碼區塊。
濾波單元114可執行一或多個解塊操作以減少與CU相關聯之寫碼區塊中的方塊效應假影。經解碼圖像緩衝器116在濾波單元114對經重建構之寫碼區塊執行一或多個解塊操作之後可儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊的參考圖像以執行其他圖像之PU的框間預測。此外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊以對與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出一包括由熵編碼單元118產生之熵編碼資料的位元串流。
在一些實例中，視訊編碼器20可產生包括位元串流的檔案。根據本發明之一或多項技術，檔案可包含含有經寫碼圖像的複數個樣本。檔案亦可包含識別樣本群組之邏輯框，該樣本群組含有來自複數個樣本當中的一或多個樣本。邏輯框可進一步指示，樣本群組中之每一樣本係STSA樣本。此外，根據本發明之一或多項技術，檔案可儲存含有視訊資料之經寫碼圖像的經寫碼樣本。檔案亦可包括一包括記錄之邏輯框，該記錄包括一指示在記錄應用至之串流經解碼時被啟動之所有SPS是否具有語法元素的元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。
圖3為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。圖3為了解釋之目的而提供，且不限制如在本發明中廣泛例示且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同功能組件。
經寫碼圖像緩衝器(CPB)151可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元且剖析NAL單元以自位元串流獲得語法元素。熵解碼單元150可熵解碼NAL單元中的經熵編碼之語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波單元160可基於獲得自位元串流之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可剖析並熵解碼來自經寫碼圖塊NAL單 元的語法元素。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。
除對來自位元串流之語法元素進行解碼外，視訊解碼器30可對CU執行解碼操作。藉由對CU執行解碼操作，視訊解碼器30可重建構CU之寫碼區塊。
作為對CU執行重建構操作的部分，反量化單元154可反量化(亦即，解量化)與CU之TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣應用之反量化單元154的反量化程度。即，壓縮比(亦即，用以表示初始序列之位元數目與經壓縮序列之位元數目的比率)可藉由調整在量化變換係數時使用之QP的值來控制。壓縮比亦可取決於所使用之熵寫碼的方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用至係數區塊以便產生與TU相關聯的殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(Karhunen-Loeve transform，KLT)、反旋轉變換、反方向變換或另一反變換應用至係數區塊。
若PU使用框內預測來編碼，則框內預測處理單元166可執行框內預測以產生PU的預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間相鄰PU之預測區塊產生PU的預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定PU的框內預測模式。
預測處理單元152可基於提取自位元串流之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU使用框間預測來編碼，則熵解碼單元150可獲得PU之運動資訊。運動補償單元164可基於PU之運動資訊判定PU的一或多個參考區。運動補償單元164可基於PU之一或多個參考區塊處的樣本產生PU 的預測性明度、Cb及Cr區塊。
重建構單元158可使用來自與CU之TU相關聯的明度、Cb及Cr變換區塊之殘餘值以及CU之PU的預測性明度、Cb及Cr區塊(亦即，框內預測資料或框間預測資料)(在適用時)來重建構CU的明度、Cb及Cr寫碼區塊。舉例而言，重建構單元158可將明度、Cb及Cr變換區塊之樣本添加至預測性明度、Cb及Cr區塊的對應樣本以重建構CU的明度、Cb及Cr寫碼區塊。
濾波單元160可執行解塊操作以減少與CU之明度、Cb及Cr寫碼區塊相關聯的區塊效應假影。視訊解碼器30可將CU之明度、Cb及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、框內預測及顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度、Cb及Cr區塊執行其他CU之PU的框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取顯著明度係數區塊的變換係數級別，反量化變換係數級別，將變換應用至變換係數級別以產生變換區塊，至少部分基於變換區塊產生寫碼區塊，且輸出寫碼區塊以供顯示。
如上文所指示，遵照HEVC檔案格式之檔案可包括SampleToGroup邏輯框的零或零個以上例項。此外，如上文所指示，每一SampleToGroup邏輯框可包括識別樣本分組之一類型的分組類型元素。根據本發明之一或多項技術，SampleToGroup邏輯框可包括具有一值(例如，「stsa」)之分組類型元素，該值指示屬於與SampleToGroup邏輯框相關聯之樣本群組的樣本係STSA。舉例而言，HEVC視訊播放軌可含有具有「stsa」之grouping_type的SampleToGroupBox之零個例項或一個例項。具有具數個值之分組類型元素之SampleToGroup邏輯框的例項可被稱作步進式時間子層樣本 群組項目，前述值指示屬於與SampleToGroup邏輯框相關聯之樣本群組的樣本係STSA(例如，具有grouping_type「stsa」的SampleToGroup邏輯框)。步進式時間子層樣本群組項目可表示將樣本標註為步進式時間子層存取點(亦即，STSA)。換言之，步進式時間子層樣本群組項目可係用以標註STSA樣本的樣本群組。步進式時間子層樣本群組項目之分組類型可具有「stsa」之群組類型。
因此，視訊編碼器或另一器件可產生識別一樣本群組的邏輯框(例如，SampleToGroup邏輯框)，該樣本群組含有來自檔案中之複數個樣本當中的一或多個樣本。邏輯框可進一步指示(例如，藉由指定為「stsa」之分組類型)，樣本群組中之每一樣本係STSA樣本。因而，視訊解碼器或另一器件可基於邏輯框中之資料來識別來自檔案中之樣本當中的STSA樣本。
如上文所指示，SampleGroupDescription邏輯框可包括樣本群組之描述。此外，如上文所指示，SampleGroupDescription邏輯框可包括零或零個以上項目。SampleGroupDescription邏輯框中之項目可包括一或多個VisualSampleGroupEntry物件。VisualSampleGroupEntry物件可提供關於視覺(例如，視訊)樣本之群組的描述。VisualSampleGroupEntry物件可屬於VisualSampleGroupEntry類別。根據本發明之一或多項技術，StepWiseTemporalSubLayerEntry類別可擴展VisualSampleGroupEntry類別。因此，SampleGroupDescription邏輯框中之項目可包括一屬於StepWiseTemporalSubLayerEntry類別的物件(亦即，StepWiseTemporalSubLayerEntry物件)。因此，SampleGroupDescription邏輯框可係StepWiseTemporalSubLayerEntry物件的容器。對於檔案而言含有StepWiseTemporalSubLayerEntry物件可能並非係強制的，且檔案可含有零或零個以上StepWiseTemporalSubLayerEntry物件。
因此，以下描述內容可應用至步進式時間子層樣本群組項目：群組類型：「stsa」
容器：樣本群組描述邏輯框(「sgpd」)
強制：否
數量：零或零個以上
此樣本群組用以標註步進式時間子層存取(STSA)樣本。
以下內容係步進式時間子層樣本群組項目之實例語法。
在一些實例中，包括StepWiseTemporalSubLayerEntry物件之SampleGroupDescription邏輯框的例項可附隨步進式時間子層樣本群組項目(例如，具有為「stsa」之分組類型元素之SampleToGroup邏輯框的例項)。因此，在一些實例中，當SampleToGroup邏輯框具有為「stsa」之分組類型時，具有相同分組類型之SampleGroupDescription邏輯框的附隨例項應存在。
根據本發明之一或多項技術，HEVC視訊播放軌可含有具有為「ipsg」之grouping_type元素的SampleToGroup邏輯框之零個例項或一個例項。具有為「ipsg」之grouping_type元素的SampleToGroup邏輯框之例項可被稱作圖像內樣本分組。具有為「ipsg」之分組類型的SampleToGroup邏輯框例項(亦即，圖像內樣本分組)可表示將樣本標註為步進式時間子層存取點。因此，視訊編碼器或另一器件可產生識別一樣本群組的邏輯框(例如，SampleToGroup邏輯框)，該樣本群組含有來自檔案中之複數個樣本當中的一或多個樣本。邏輯框可進一步指示(例如，藉由指定為「ipsg」之分組類型)，樣本群組中之每一樣 本係框內樣本。因而，視訊解碼器或另一器件可基於邏輯框中之資料來自檔案中之樣本當中識別框內樣本。
在一些實例中，具有相同分組類型之SampleGroupDescriptionan邏輯框的附隨例項存在於HEVC視訊播放軌中。如上文所指示，SampleGroupDescription邏輯框可包括零或零個以上項目。SampleGroupDescription邏輯框中之項目可包括一或多個VisualSampleGroupEntry物件。VisualSampleGroupEntry物件可屬於VisualSampleGroupEntry類別。此外，根據本發明之一或多項技術，IntraPictureEntry類別可擴展VisualSampleGroupEntry類別。因此，SampleGroupDescription邏輯框中之項目可包括一屬於IntraPictureEntry類別的物件(亦即，IntraPictureEntry物件或圖像內樣本分組項目)。因此，SampleGroupDescription邏輯框可係IntraPictureEntry物件的容器。對於檔案而言含有IntraPictureEntry物件可能並非係強制的，且檔案可含有零或零個以上IntraPictureEntry物件。以此方式，檔案可包括樣本群組描述邏輯框(例如，SampleGroupDescription邏輯框)，該邏輯框包括一項目(例如，IntraPictureEntry物件)，該項目指示樣本群組用以標註含有經框內寫碼圖像的的樣本。
因此，以下描述內容可應用至IntraPictureEntry項目：群組類型：「ipsg」
容器：樣本群組描述邏輯框(「sgpd」)
強制：否
數量：零或零個以上
此樣本群組用以標註含有經框內寫碼圖像的樣本，亦即，所有圖塊係框內圖塊的樣本。
以下內容係框內圖像樣本分組項目的實例語法。
如上文所指示，HEVC檔案格式提供HEVC解碼器組態記錄。舉例而言，遵照HEVC檔案格式之檔案之播放軌邏輯框內的樣本表邏輯框可包括HEVC解碼器組態記錄。HEVC解碼器組態記錄含有HEVC視訊內容的組態資訊。舉例而言，HEVC解碼器記錄可包括零或零個以上NAL單元。含有於HEVC解碼器記錄中之NAL單元可包括含有諸如VPS、SPS、PPS等之參數集的NAL單元。
以下內容提供針對HEVC解碼器組態記錄之實例語法。以下語法之以粗體展示之部分可指示HEVC解碼器組態記錄之在MPEG輸出文獻W12846「Study of ISO/IEC 14496-15：2010/PDAM 2 Carriage of HEVC」(瑞典斯德哥爾摩MPEG第101次會議，2012-07-16至2012-07-20)中指定的經修改部分。
HEVC解碼器組態記錄含有用於每一樣本中以指示由HEVC解碼器組態記錄約束之NAL單元之長度的長度欄位之大小(例如，lengthSizeMinusOne)，以及參數集(若儲存於樣本項目中)。HEVC解碼器組態記錄可經外部加框。換言之，HEVC解碼器組態記錄之大小可由含有HEVC解碼器組態記錄的結構來供應。
此外，HEVC解碼器組態記錄可含有版本欄位。在以上提供之實例語法中，此版本欄位名為組態版本。對記錄之不相容改變可藉由版 本號之改變來指示。在一些實例中，若器件或另一讀取器並未辨識出藉由HEVC解碼器組態記錄指定之版本號時，器件或其他讀取器必須不試圖解碼HEVC解碼器組態記錄或HEVC解碼器組態記錄應用至之串流。在一些實例中，對HEVC解碼器組態記錄之相容擴展並不擴展HEVC解碼器組態記錄，且並不改變由HEVC解碼器組態記錄之版本欄位指定的組態版本碼。器件或其他讀取器在一些實例中可準備好以忽略超出器件或其他讀取器理解之資料定義的未經識別資料。
VPS除其他語法元素外亦可包括general_profile_space語法元素、general_profile_idc語法元素、general_profile_compatibility_flag[i]語法元素及general_reserved_zero_16bits語法元素。general_profile_space語法元素針對在0至31(包括)之範圍內之i的所有值指定用以解譯general_profile_idc語法元素及general_profile_compatibility_flag[i]語法元素的內容脈絡。當general_profile_space語法元素等於0時，general_profile_idc語法元素指示CVS遵照之設定檔。HEVC工作草案8之附錄A描述設定檔之實例集合。當general_profile_space語法元素等於0且general_profile_compatibility_flag[i]語法元素等於1時，general_profile_compatibility_flag[i]語法元素指示，CVS遵照藉由等於i之general_profile_idc語法元素指示的設定檔。當general_profile_space語法元素等於0時，general_profile_idc[general_profile_idc]等於1。「general_profile_idc[general_profile_idc]」表示與藉由general_profile_idc語法元素指定之索引值相關聯的general_profile_idc語法元素。在一些實例中，對於並非指定為general_profile_idc之所允許值的i之任何值而言，general_profile_compatibility_flag[i]語法元素等於0。HEVC工作草案8之附錄A指定general_profile_idc語法元素之 所允許值的實例集合。general_reserved_zero_16bits語法元素在位元串流中等於0。general_reserved_zero_16bits語法元素之某些值可用於HEVC之擴展。
此外，VPS可包括profile_tier_level語法結構，該語法結構包括general_tier_flag語法元素及general_level_idc語法元素。general_tier_flag語法元素指定用於解譯general_level_idc語法元素的階層內容脈絡。general_level_idc語法元素指示CVS遵照之級別。HEVC工作草案8之附錄A基於由general_tier_flag語法元素指定之階層內容脈絡來指定general_level_idc語法元素的實例解譯。
在上文所提供之HEVC解碼器組態記錄的實例語法中，對於此HEVC解碼器組態記錄應用至之串流，如ISO/IEC 23008-2中所定義，profile_space、tier_flag、profile_idc、profile_compatibility_indications、constraint_indicator_flags及level_idc元素分別含有語法元素general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[i](對於自0至31(包括)變動之i)、general_reserved_zero_16bits及general_level_idc的匹配值。
在一個實例中，對於在HEVC解碼器組態記錄描述之串流經經解碼時啟動的所有參數集(被稱作串流之所有參數集或所有參數集)，HEVC解碼器組態記錄之profile_space、tier_flag、profile_idc、profile_compatibility_indications、constraint_indicator_flags及level_idc的值必須為有效的。換言之，在此實例中，HEVC解碼器組態記錄之profile_space、tier_flag、profile_idc、profile_compatibility_indications、constraint_indicator_flags及level_idc元素的值必須正確地描述在HEVC解碼器組態記錄描述之串流經解碼時啟動的參數集中之對應語法元素的值。
舉例而言，在串流經解碼時啟動的VPS中之每一者中的 general_profile_space語法元素可具有等同於profile_space元素之值的值。換言之，profile_space元素在所有參數集中的值必須為等同的。因此，HEVC解碼器組態記錄可包括設定檔空間元素(例如，profile_space元素)。在HEVC解碼器組態記錄應用至之串流經解碼時啟動的參數集中之所有一般設定檔空間旗標語法元素(例如，general_profile_space語法元素)可具有與設定檔空間元素的值匹配之值。
此外，在此實例中，階層指示(例如，tier_flag)必須指示階層等於或大於在由HEVC解碼器組態記錄描述之串流經解碼時啟動的所有參數集中指示的最高階層。因此，HEVC解碼器組態記錄可包括階層旗標元素(例如，tier_flag元素)。器件可判定，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的參數集中所有一般階層旗標語法元素(例如，general_tier_flag語法元素)具有與階層旗標元素之值匹配的值。一般階層旗標語法元素中之每一者可指示用於解譯指示經寫碼視訊序列遵照之級別的一般級別指示符語法元素的階層內容脈絡。
在此實例中，級別指示元素(例如，level_idc)必須指示能力級別等於或大於所有參數集中最高階層之所指示的最高級別。因此，HEVC解碼器組態記錄可包括級別指示符元素(例如，level_idc元素)。器件可判定，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的參數集中所有一般級別指示語法元素(例如，general_level_idc語法元素)具有與級別元素之值匹配的值。一般級別指示語法元素中之每一者可指示經寫碼視訊序列遵照的級別。
在此實例中，設定檔指示元素(例如，profile_idc)必須指示與HEVC解碼器組態記錄相關聯之串流遵照的設定檔。因此，HEVC解碼器組態記錄可包括設定檔指示符元素(例如，profile_idc元素)。器件可判定，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的參 數集中所有設定檔指示語法元素(例如，profile_idc語法元素)具有與設定檔指示元素之值匹配的值。設定檔指示語法元素中之每一者可指示經寫碼視訊序列遵照的設定檔。
若所有參數集設定profile_compatibility_indications元素中之每一位元，則可僅設定該位元。因此，HEVC解碼器組態記錄可包括設定檔相容性指示元素(例如，profile_compatibility_indications元素)。器件可判定，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的參數集中所有一般設定檔相容性旗標語法元素(例如，general_profile_compatibility_flag語法元素)具有與設定檔相容性指示元素之值匹配的值。
此外，HEVC解碼器組態記錄可包括約束指示符旗標元素(例如，constraint_indicator_flags元素)。器件可判定，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的所有參數集中所有一般預留之為零之16位元語法元素(例如，general_reserved_zero_16bits語法元素)具有與設定檔相容性指示元素之值匹配的值。
因為HEVC解碼器組態記錄指定profile_space、tier_flag、profile_idc、profile_compatibility_indications、constraint_indicator_flags及level_idc，所以器件(例如，視訊解碼器30)可能能夠在不剖析串流情況下判定串流的對應性質。確切而言，器件可藉由檢驗應用至串流之HEVC解碼器組態記錄來判定串流的對應性質。
若藉由不同設定檔來標註串流之SPS，則串流可需要檢查以判定整個串流遵照之設定檔(若存在)。若未檢查整個串流或檢查展現不存在整個串流遵照之設定檔，則在此實例中，整個串流必須被分裂成具有單獨組態記錄(例如，HEVC解碼器組態記錄)的兩個或兩個以上子串流，在該等單獨組態記錄中可滿足此等規則。
HEVC解碼器組態記錄可提供關於以下各者之顯式指示：色度格 式及位元深度，以及由HEVC視訊基本串流使用的其他格式資訊。基本串流可包含一或多個位元串流之序列。若基本串流含有多個位元串流，則位元串流中之每一者(唯最後位元串流外)以位元串流結束(EOS)NAL單元終止。
在一些實例中，每一類型之此資訊在單一HEVC解碼器組態記錄中在所有參數集(若存在)中必須係等同的。若兩個序列在任何類型之此資訊上不同，則視訊處理器可經要求以產生兩個不同HEVC解碼器組態記錄。若兩個序列在其視訊可用性資訊(VUI)中在色彩空間指示上不同，則視訊處理器(例如，視訊編碼器20或另一器件)可經要求以產生兩個不同HEVC解碼器組態記錄。在HEVC中，SPS可包括一含有VUI語法元素的VUI語法結構。
在上文所描述之HEVC解碼器組態記錄的實例語法中，對於此HEVC解碼器組態記錄應用至之串流而言，chromaFormat元素含有如在ISO/IEC 23008-2(亦即，HEVC)中藉由chroma_format_idc語法元素定義的chroma_format指示符。SPS之chroma_format_idc語法元素可指定色度取樣。在HEVC工作草案8中，chroma_format_idc語法元素相對於HEVC工作草案8之子條款6.2中指定的明度取樣指定色度取樣。若針對當前圖像經啟動之SPS的chroma_format_idc語法元素等於0，則當前圖像可由一個樣本陣列(例如，SL)組成。否則，若chroma_format_idc語法元素不等於0，則當前圖像可包含三個樣本陣列(例如，SL、SCb及SCr)。
在上文所提供之HEVC解碼器組態記錄的實例語法中，對於此HEVC解碼器組態記錄應用至之串流而言，bitDepthLumaMinus8元素含有如在ISO/IEC 23008-2中藉由bit_depth_luma_minus8語法元素定義的明度位元深度指示符。對於此組態記錄應用至之串流，bitDepthChromaMinus8元素可含有如在ISO/IEC 23008-2中由 bit_depth_chroma_minus8語法元素定義的色度位元深度指示符。樣本值(例如，明度樣本或色度樣本)之位元深度可指示多少個位元用以表示樣本值。
此外，在上文提供之HEVC解碼器組態記錄之實例語法中，對於HEVC解碼器組態記錄應用至之串流，avgFrameRate元素以訊框數/(256秒)為單位給出平均圖框速率。具有等於0之值的avgFramRate元素可指示未指定之平均圖框速率。
在上文提供之HEVC解碼器組態記錄的實例語法中，等於1之constantFrameRate元素可指示，此HEVC解碼器組態記錄應用至之串流係具有恆定圖框速率。等於2之constantFrameRate元素可指示，串流中之每一時間層的表示係具有恆定圖框速率。等於0之constantFrameRate元素指示，串流可能或可能不具有恆定圖框速率。
此外，在上文提供之HEVC解碼器組態記錄的實例語法中，numTemporalLayers元素可指示HEVC解碼器組態記錄應用至之串流是否係時間上可調的，且時間層(ISO/IEC 23008-2中亦被稱作時間子層或子層)之所含有數目是否等於numTemporalLayers。舉例而言，大於1之numTemporalLayers語法元素可指示，此HEVC解碼器組態記錄應用至之串流係時間上可調的，且所含有之時間層的數目等於numTemporalLayers。在此實例中，等於1之numTemporalLayers元素可指示，串流並非係時間可調的。此外，在此實例中，等於0之numTemporalLayers元素可指示，不知曉串流是否係時間可調的。
在上文提供之HEVC解碼器組態記錄之實例語法中，temporalIdNested元素可指示，HEVC解碼器組態記錄應用至的串流時經啟動的所有SPS是否具有等於0之sps_temporal_id_nesting_flag語法元素。舉例而言，等於1之temporalIdNested元素可指示，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的所有SPS具有等於1之如 ISO/IEC 23008-2中所定義之sps_temporal_id_nesting_flag語法元素，且至任何較高時間層之時間子層向上切換可在任何樣本處執行。在此實例中，等於0之temporalIdNested元素可指示，在HEVC解碼器組態記錄應用至之串流經解碼時啟動的SPS中之至少一者具有等於0的sps_temporal_id_nesting_flag語法元素。
以此方式，器件可產生儲存經寫碼樣本之檔案，該等樣本含有視訊資料的經寫碼圖像。檔案亦包括一包括記錄之邏輯框，該記錄包括一指示在記錄應用至之串流經解碼時被啟動之所有SPS是否具有語法元素sps_temporal_id_nesting_flag的元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。
在上文所提供之HEVC解碼器組態記錄之實例語法中，lengthSizeMinusOne元素加上1指示HEVC解碼器組態記錄應用至之串流中的HEVC視訊樣本中NALUnitLength欄位之以位元組計的長度。舉例而言，一位元組之大小藉由為0之值指示。此欄位之值應係分別對應於藉由1、2或4個位元組編碼之長度的0、1或3中的一者。
此外，HEVC解碼器組態可含有攜載初始化NAL單元的陣列之集合。換言之，在HEVC解碼器組態記錄中，存在攜載初始化NAL單元的陣列之集合。HEVC解碼器組態記錄中之NAL單元類型可經約束至含有VPS、SPS、PPS及SEI訊息的NAL單元。HEVC工作草案8及本發明提供若干預留NAL單元類型。在將來，此等預留NAL單元類型可經定義以實施對HEVC之擴展。換言之，ISO/IEC 23008-2中且此說明書中預留之NAL單元類型可在將來獲取定義。在一些實例中，讀取器(例如，接收並處理HEVC解碼器組態記錄的器件)應忽略具有預留或未准許NAL單元類型值的NAL單元之陣列。忽略具有預留或未准許NAL單元類型值之NAL單元之陣列的此「容許」行為經設計而使得錯 誤不提高，藉此允許對將來規範中此等陣列之向後相容擴展的可能性。在一些實例中，陣列可係呈VPS、SPS、PPS及SEI之次序。在其他實例中，陣列可藉由大小在HEVC解碼器組態記錄內進行排序。舉例而言，陣列可在HEVC解碼器組態記錄內排序，使得較小陣列在較大陣列之前發生。
此外，在上文所提供之HEVC解碼器組態記錄的語法元素中，numArrays元素指示具有所指示類型之NAL單元之陣列的數目。HEVC解碼器組態記錄之array_completeness元素可指示，串流除給定類型之彼等NAL單元外亦可包括具有給定類型之NAL單元，該等NAL單元係在HEVC解碼器組態記錄中之陣列內。舉例而言，等於1之array_completeness語法元素可指示，給定類型之所有NAL單元係在HEVC解碼器組態記錄中NAL單元的陣列中，且皆不在串流中。等於0之array_completeness元素指示，所指示類型之額外NAL單元可係在串流中。array_completeness元素之預設及所准許值可受樣本項目碼約束。
此外，在上文所提供之HEVC解碼器組態記錄的語法元素中，NAL_unit_type元素指示NAL單元之陣列中NAL單元的類型。在此實例中，陣列中之所有NAL單元必須屬於由NAL_unit_type元素指定的類型。NAL_unit_type元素可採用如ISO/IEC 23008-2中所定義之值。在一些實例中，NAL_unit_type元素經約束以採用值中之指示VPS、SPS、PPS或SEI NAL單元中的一值。
在上文所提供之實例HEVC解碼器組態記錄語法中，numNalus元素指示HEVC解碼器組態記錄應用至之串流的具有包括於HEVC解碼器組態記錄中之所指示類型之NAL單元的數目。在一些實例中，HEVC解碼器組態記錄之NAL_unit_type元素可指示，HEVC解碼器組態記錄包括SEI陣列(亦即，SEI NAL單元之陣列)。舉例而言，在此等 實例中，若numNalus等於四，則SEI陣列可由四個SEI NAL單元組成。此外，在一些此等實例中，SEI陣列必須僅含有具有「宣告性」本質的SEI訊息。即，SEI陣列可僅作為整體含有提供關於串流之資訊的SEI訊息。具有「宣告性」本質之SEI訊息的實例係使用者資料SEI訊息。
此外，在上文所提供之HEVC解碼器組態記錄之實例語法中，HEVC解碼器組態記錄之nalUnitLength元素指示NAL單元之以位元組計的長度。如ISO/IEC 23008-2中所指定，HEVC解碼器組態記錄之nalUnit元素可含有VPS、SPS、PPS或宣告性SEI NAL單元。
圖4係說明根據本發明之一或多項技術的實例操作200的流程圖。在圖4之實例中，第一器件(例如，視訊編碼器20或另一器件)產生檔案(202)。檔案包含含有經寫碼圖像之複數個樣本；識別樣本群組之邏輯框，該樣本群組含有來自複數個樣本當中的一或多個樣本。該邏輯框進一步指示，樣本群組中之每一樣本係STSA樣本。
此外，在圖4之實例中，第二器件(例如，視訊解碼器30或另一器件)基於識別樣本群組的邏輯框中之資料自含有邏輯框之檔案中的樣本當中識別STSA樣本(204)。
圖5係說明根據本發明之一或多項額外技術的實例操作250的流程圖。在圖5之實例中，第一器件(例如，視訊編碼器20或其他器件)可產生儲存經寫碼之樣本的檔案，該等樣本含有視訊資料的經寫碼圖像(252)。檔案亦可包括包括元素之樣本項目，該元素指示在樣本項目應用至之串流經解碼時被啟動之所有SPS是否具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處執行。
此外，在圖5之實例中，第二器件(例如，視訊解碼器30或其他器件)可基於含有樣本之檔案之樣本項目中的元素(該等樣本含有視訊資 料之經寫碼圖像)而判定在記錄應用至之串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯的任何樣本處執行(254)。
圖6係說明根據本發明之一或多項技術的一檔案300之實例結構的概念圖。在圖6之實例中，檔案300包括電影邏輯框302及複數個媒體資料邏輯框304。媒體資料邏輯框304中之每一者可包括一或多個樣本305。此外，在圖6之實例中，電影邏輯框302包括播放軌邏輯框306。在其他實例中，電影邏輯框302可包括不同播放軌之多個播放軌邏輯框。播放軌邏輯框306包括樣本表邏輯框308。樣本表邏輯框308包括SampleToGroup邏輯框310、SampleGroupDescription邏輯框312及HEVC解碼器組態記錄314。在其他實例中，樣本表邏輯框308除SampleToGroup邏輯框310及SampleGroupDescription邏輯框312外亦可包括其他邏輯框，及/或可包括多個SampleToGroup邏輯框及SampleGroupDescription邏輯框。
根據本發明之一或多項實例技術，SampleToGroup邏輯框310可識別含有來自樣本305當中之一或多個樣本的樣本群組。SampleToGroup邏輯框310可進一步指示，樣本群組中之每一樣本係STSA樣本。因此，器件可基於SampleToGroup邏輯框310中之資料來識別來自檔案300中的樣本305當中的STSA樣本。根據本發明之一或多項額外實例技術，SampleToGroup邏輯框310可指示，樣本群組中之每一樣本係框內樣本。因此，器件可基於SampleToGroup邏輯框310中之資料來自檔案300中的樣本305當中識別框內樣本。
根據本發明之一或多項額外實例技術，HEVC解碼器組態記錄314可包括一元素，該元素指示在HEVC解碼器組態記錄314應用至之串流經解碼時啟動的所有SPS是否具有語法元素，該等語法元素指示至較高時間子層之時間子層向上切換可在與SPS相關聯之任何樣本處 執行。因此，器件可基於含有樣本305之檔案300之樣本表邏輯框308中HEVC解碼器組態記錄314中的一元素(該等樣本305含有視訊資料之經寫碼圖像)而判定在HEVC解碼器組態記錄314應用至之串流經解碼時啟動的所有SPS具有語法元素，該等語法元素指示至任何較高時間子層之時間子層向上切換可在與SPS相關聯的任何樣本處執行。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)係非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他瞬間媒體，而是替代地係針對非瞬間有形儲存媒 體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因而，本文中所使用之術語「處理器」可係指上述結構或適於實施在本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全以一或多個電路或邏輯元件來實施。
本發明之技術可以廣泛之多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由結合合適軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
250‧‧‧操作

Claims (46)

  1. 一種處理視訊資料之方法，該方法包含基於含有樣本之一檔案的一樣本項目中之一元素而判定在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)具有語法元素，該等樣本含有該視訊資料之經寫碼圖像，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  2. 如請求項1之方法，其進一步包含在與該等SPS中之一者相關聯之一樣本處執行時間向上切換。
  3. 如請求項1之方法，其中該元素係在位於該樣本項目中之一解碼器組態記錄中。
  4. 如請求項1之方法，其中：具有一第一值之該元素指示，可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換，且具有一第二值之該元素指示，不保證可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換。
  5. 如請求項1之方法，其中該等語法元素係sps_temporal_id_nesting_flag語法元素。
  6. 如請求項1之方法，其中：該元素係一第一元素，該樣本項目包括一設定檔空間元素，且該方法進一步包含判定在該串流經解碼時啟動之參數集中的所有一般設定檔空間旗標語法元素具有與該設定檔空間元素之 值匹配的值。
  7. 如請求項1之方法，其中：該元素係一第一元素，該樣本項目包括一階層旗標元素，且該方法進一步包含判定在該串流經解碼時啟動的參數集中之所有一般階層旗標語法元素具有與該階層旗標元素之一值匹配的值，其中該等一般階層旗標語法元素中之每一者指示用於解譯一般級別指示符語法元素的一階層內容脈絡，該等一般級別指示符語法元素指示經寫碼視訊序列所遵照的級別。
  8. 如請求項1之方法，其中：該元素係一第一元素，該樣本項目包括一設定檔指示符元素，且該方法進一步包含判定在該串流經解碼時啟動的參數集中之所有設定檔指示語法元素具有與該設定檔指示元素之一值匹配的值，其中該等設定檔指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一設定檔。
  9. 如請求項1之方法，該元素係一第一元素，該樣本項目包括一設定檔相容性指示元素，且該方法進一步包含判定在該串流經解碼時啟動之參數集中的所有一般設定檔相容性旗標語法元素具有與該設定檔相容性指示元素之值匹配的值。
  10. 如請求項1之方法，其中：該元素係一第一元素，該樣本項目包括一約束指示符旗標元素，且該方法進一步包含判定在該串流經解碼時啟動之參數集中的 所有一般預留之為零的16位元語法元素具有與該設定檔相容性指示元素之值匹配的值。
  11. 如請求項1之方法，該元素係一第一元素，該樣本項目包括一級別指示符元素，且該方法進一步包含判定在該串流經解碼時啟動的參數集中之所有一般級別指示語法元素具有與該級別元素之一值匹配的值，其中該等一般級別指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一級別。
  12. 一種儲存經寫碼視訊資料之方法，該方法包含產生儲存經寫碼樣本之一檔案，該等樣本含有該視訊資料之經寫碼圖像，該檔案亦包括包括一元素的一樣本項目，該元素指示在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)是否具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  13. 如請求項12之方法，其中該元素係在位於該樣本項目中之一解碼器組態記錄中。
  14. 如請求項12之方法，其中：具有一第一值之該元素指示，可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換，且具有一第二值之該元素指示，不保證可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換。
  15. 如請求項12之方法，其中該等語法元素係sps_temporal_id_nesting_flag語法元素。
  16. 如請求項12之方法，其中：該元素係一第一元素，該樣本項目包括一設定檔空間元素，且在該串流經解碼時啟動之參數集中的所有一般設定檔空間旗標語法元素具有與該設定檔空間元素之值匹配的值。
  17. 如請求項12之方法，其中：該元素係一第一元素，該樣本項目包括一階層旗標元素，在該串流經解碼時啟動的參數集中之所有一般階層旗標語法元素具有與該階層旗標元素之一值匹配的值，且該等一般階層旗標語法元素中之每一者指示用於解譯一般級別指示符語法元素的一階層內容脈絡，該等一般級別指示符語法元素指示經寫碼視訊序列所遵照的級別。
  18. 如請求項12之方法，其中：該元素係一第一元素，該樣本項目包括一設定檔指示符元素，在該串流經解碼時啟動的參數集中之所有設定檔指示語法元素具有與該設定檔指示元素之一值匹配的值，且該等設定檔指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一設定檔。
  19. 如請求項12之方法，該元素係一第一元素，該樣本項目包括一設定檔相容性指示元素，且在該串流經解碼時啟動之參數集中的所有一般設定檔相容性旗標語法元素具有與該設定檔相容性指示元素之值匹配的值。
  20. 如請求項12之方法，其中： 該元素係一第一元素，該樣本項目包括一約束指示符旗標元素，且在該串流經解碼時啟動之參數集中的所有一般預留之為零的16位元語法元素具有與該設定檔相容性指示元素之值匹配的值。
  21. 如請求項12之方法，其中：該元素係一第一元素，該樣本項目包括級別指示符元素，在該串流經解碼時啟動的參數集中之所有一般級別指示語法元素具有與該級別元素之一值匹配的值，且該等一般級別指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一級別。
  22. 一種包含一或多個處理器之器件，該一或多個處理器經組態以基於含有樣本之一檔案的一樣本項目中之一元素而判定在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)具有語法元素，該等樣本含有視訊資料之經寫碼圖像，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  23. 如請求項22之器件，其中該一或多個處理器經組態以在與該等SPS中之一者相關聯之一樣本處執行時間向上切換。
  24. 如請求項22之器件，其中該元素係在位於該樣本項目中之一解碼器組態記錄中。
  25. 如請求項22之器件，其中：具有一第一值之該元素指示，可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換，且 具有一第二值之該元素指示，不保證可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換。
  26. 如請求項22之器件，其中該等語法元素係sps_temporal_id_nesting_flag語法元素。
  27. 如請求項22之器件，其中：該元素係一第一元素，該樣本項目包括一設定檔空間元素，且該一或多個處理器經進一步組態以判定在該串流經解碼時啟動之參數集中的所有一般設定檔空間旗標語法元素具有與該設定檔空間元素之值匹配的值。
  28. 如請求項22之器件，其中：該元素係一第一元素，該樣本項目包括一階層旗標元素，該一或多個處理器經進一步組態以判定在該串流經解碼時啟動的參數集中之所有一般階層旗標語法元素具有與該階層旗標元素之一值匹配的值，且該等一般階層旗標語法元素中之每一者指示用於解譯一般級別指示符語法元素的一階層內容脈絡，該等一般級別指示符語法元素指示經寫碼視訊序列所遵照的級別。
  29. 如請求項22之器件，其中：該元素係一第一元素，該樣本項目包括一設定檔指示符元素，該一或多個處理器經進一步組態以判定在該串流經解碼時啟動的參數集中之所有設定檔指示語法元素具有與該設定檔指示元素之一值匹配的值，且 該等設定檔指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一設定檔。
  30. 如請求項22之器件，該元素係一第一元素，該樣本項目包括一設定檔相容性指示元素，且該一或多個處理器經進一步組態以判定在該串流經解碼時啟動之參數集中的所有一般設定檔相容性旗標語法元素具有與該設定檔相容性指示元素之值匹配的值。
  31. 如請求項22之器件，其中：該元素係一第一元素，該樣本項目包括一約束指示符旗標元素，且該一或多個處理器經進一步組態以判定在該串流經解碼時啟動之參數集中的所有一般預留之為零的16位元語法元素具有與該設定檔相容性指示元素之值匹配的值。
  32. 如請求項22之器件，該元素係一第一元素，該樣本項目包括級別指示符元素，該一或多個處理器經進一步組態以判定在該串流經解碼時啟動的參數集中之所有一般級別指示語法元素具有與該級別元素之一值匹配的值，且該等一般級別指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一級別。
  33. 一種包含一或多個處理器之器件，該一或多個處理器經組態以產生儲存經寫碼樣本之一檔案，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括一元素的一樣本項目，該元素指示在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數 集(SPS)是否具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  34. 如請求項33之器件，其中該元素係在位於該樣本項目中之一解碼器組態記錄中。
  35. 如請求項33之器件，其中：具有一第一值之該元素指示，可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換，且具有一第二值之該元素指示，不保證可在與該等SPS相關聯之該等樣本中的任一者處執行至任何較高時間子層之時間子層向上切換。
  36. 如請求項33之器件，其中該等語法元素係sps_temporal_id_nesting_flag語法元素。
  37. 如請求項33之器件，其中：該元素係一第一元素，該樣本項目包括一設定檔空間元素，且在該串流經解碼時啟動之參數集中的所有一般設定檔空間旗標語法元素具有與該設定檔空間元素之值匹配的值。
  38. 如請求項33之器件，其中：該元素係一第一元素，該樣本項目包括一階層旗標元素，在該串流經解碼時啟動的參數集中之所有一般階層旗標語法元素具有與該階層旗標元素之一值匹配的值，且該等一般階層旗標語法元素中之每一者指示用於解譯一般級別指示符語法元素的一階層內容脈絡，該等一般級別指示符語 法元素指示經寫碼視訊序列所遵照的級別。
  39. 如請求項33之器件，其中：該元素係一第一元素，該樣本項目包括一設定檔指示符元素，在該串流經解碼時啟動的參數集中之所有設定檔指示語法元素具有與該設定檔指示元素之一值匹配的值，且該等設定檔指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一設定檔。
  40. 如請求項33之器件，該元素係一第一元素，該樣本項目包括一設定檔相容性指示元素，且在該串流經解碼時啟動之參數集中的所有一般設定檔相容性旗標語法元素具有與該設定檔相容性指示元素之值匹配的值。
  41. 如請求項33之器件，其中：該元素係一第一元素，該樣本項目包括一約束指示符旗標元素，且在該串流經解碼時啟動之參數集中的所有一般預留之為零的16位元語法元素具有與該設定檔相容性指示元素之值匹配的值。
  42. 如請求項33之器件，其中：該元素係一第一元素，該樣本項目包括級別指示符元素，在該串流經解碼時啟動的參數集中之所有一般級別指示語法元素具有與該級別元素之一值匹配的值，且該等一般級別指示語法元素中之每一者指示一經寫碼視訊序列所遵照的一級別。
  43. 一種器件，其包含：用於接收含有樣本之一檔案的構件，該等樣本含有視訊資料之經寫碼圖像；及用於基於該檔案之一樣本項目中之一元素而判定在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)具有語法元素的構件，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  44. 一種器件，其包含：用於產生儲存經寫碼樣本之一檔案的構件，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括一元素的一樣本項目，該元素指示在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)是否具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換；及用於輸出該檔案的構件。
  45. 一種上面儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時組態一或多個處理器以基於含有樣本之一檔案的一樣本項目中之一元素而判定在該樣本項目所應用至之一串流經解碼時啟動的所有序列參數集(SPS)具有語法元素，該等樣本含有視訊資料之經寫碼圖像，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
  46. 一種上面儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時組態一或多個處理器以產生儲存經寫碼樣本之一檔案，該等樣本含有視訊資料之經寫碼圖像，該檔案亦包括包括一元素的一樣本項目，該元素指示在該樣本項目所應用至之一 串流經解碼時啟動的所有序列參數集(SPS)是否具有語法元素，該等語法元素指示可在與該等SPS相關聯之任何樣本處執行至任何較高時間子層之時間子層向上切換。
TW102136094A 2012-10-04 2013-10-04 用於處理視訊資料及儲存經寫碼視訊資料之方法、器件及非暫時性電腦可讀儲存媒體 TWI558177B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261709748P 2012-10-04 2012-10-04
US14/043,383 US10038899B2 (en) 2012-10-04 2013-10-01 File format for video data

Publications (2)

Publication Number Publication Date
TW201433151A true TW201433151A (zh) 2014-08-16
TWI558177B TWI558177B (zh) 2016-11-11

Family

ID=50432651

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102136094A TWI558177B (zh) 2012-10-04 2013-10-04 用於處理視訊資料及儲存經寫碼視訊資料之方法、器件及非暫時性電腦可讀儲存媒體
TW102136093A TWI565305B (zh) 2012-10-04 2013-10-04 用於處理視訊資料之方法、用於產生含有經編碼視訊資料之一檔案之方法、用於處理視訊資料之器件、用於產生含有經編碼視訊資料之一檔案之器件及非暫時性電腦可讀儲存媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102136093A TWI565305B (zh) 2012-10-04 2013-10-04 用於處理視訊資料之方法、用於產生含有經編碼視訊資料之一檔案之方法、用於處理視訊資料之器件、用於產生含有經編碼視訊資料之一檔案之器件及非暫時性電腦可讀儲存媒體

Country Status (12)

Country Link
US (2) US20140098868A1 (zh)
EP (2) EP2904798B1 (zh)
JP (2) JP6239630B2 (zh)
KR (2) KR102172130B1 (zh)
CN (2) CN104704829B (zh)
BR (1) BR112015007502B1 (zh)
DK (2) DK2904798T3 (zh)
ES (2) ES2716852T3 (zh)
HU (2) HUE042386T2 (zh)
SI (1) SI2904798T1 (zh)
TW (2) TWI558177B (zh)
WO (2) WO2014055606A2 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
WO2013165215A1 (ko) * 2012-05-04 2013-11-07 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
US20140098868A1 (en) 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
WO2015140401A1 (en) * 2014-03-17 2015-09-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
US11418812B2 (en) * 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
GB2539461B (en) 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US20170111642A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Support of random access and switching of layers and sub-layers in multi-layer video files
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
JP6415652B1 (ja) * 2017-07-18 2018-10-31 三菱電機株式会社 映像再生装置、映像記録装置および映像記録方法
WO2019069857A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10999590B2 (en) * 2018-12-28 2021-05-04 Tencent America LLC Method for identification of random access point and picture types
WO2021132834A1 (ko) * 2019-12-26 2021-07-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021195026A1 (en) * 2020-03-27 2021-09-30 Bytedance Inc. Level information in video coding
GB2593897B (en) * 2020-04-06 2024-02-14 Canon Kk Method, device, and computer program for improving random picture access in video streaming
CN112565815B (zh) * 2020-10-16 2022-05-24 腾讯科技（深圳）有限公司 文件封装方法、文件传输方法、文件解码方法及相关设备
FR3137809A1 (fr) * 2022-07-08 2024-01-12 Orange Codage et décodage de données audio et/ou vidéo

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
GB0524983D0 (en) * 2005-12-07 2006-01-18 Imagination Tech Ltd Recompression and decompression of a data stream for rate smoothing
WO2008048886A2 (en) 2006-10-16 2008-04-24 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
EP2392138A4 (en) 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
TW201210325A (en) 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US9116988B2 (en) 2010-10-20 2015-08-25 Apple Inc. Temporal metadata track
US9497472B2 (en) 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
EP2664151A4 (en) 2011-01-14 2016-01-20 Vidyo Inc HIGH-COATED SYNTAX FOR TIMELY SCALABILITY
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US20130170561A1 (en) 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9414085B2 (en) 2012-01-20 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Sub-bitstream extraction
US20130195172A1 (en) 2012-01-30 2013-08-01 Qualcomm Incorporated Method of coding video and storing video content
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
US20140098868A1 (en) 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data

Also Published As

Publication number Publication date
BR112015007502B1 (pt) 2023-03-21
EP2904798A2 (en) 2015-08-12
HUE042386T2 (hu) 2019-06-28
BR112015007502A2 (pt) 2017-07-04
JP6203852B2 (ja) 2017-09-27
EP2904798B1 (en) 2018-12-26
TWI558177B (zh) 2016-11-11
WO2014055594A3 (en) 2014-12-04
US20140098868A1 (en) 2014-04-10
SI2904798T1 (sl) 2019-04-30
HUE053036T2 (hu) 2021-06-28
KR102172130B1 (ko) 2020-10-30
KR101924254B1 (ko) 2018-11-30
KR20150067264A (ko) 2015-06-17
US10038899B2 (en) 2018-07-31
JP2015536115A (ja) 2015-12-17
CN104704829A (zh) 2015-06-10
CN104704830B (zh) 2018-11-09
WO2014055606A3 (en) 2014-12-04
DK2904798T3 (en) 2019-03-25
EP2904799A2 (en) 2015-08-12
TW201433150A (zh) 2014-08-16
JP6239630B2 (ja) 2017-11-29
ES2854877T3 (es) 2021-09-23
CN104704830A (zh) 2015-06-10
DK2904799T3 (da) 2021-03-15
CN104704829B (zh) 2018-12-04
JP2015537421A (ja) 2015-12-24
ES2716852T3 (es) 2019-06-17
WO2014055606A2 (en) 2014-04-10
WO2014055594A2 (en) 2014-04-10
TWI565305B (zh) 2017-01-01
US20140098860A1 (en) 2014-04-10
EP2904799B1 (en) 2020-12-23
KR20150067265A (ko) 2015-06-17

Similar Documents

Publication Publication Date Title
TWI558177B (zh) 用於處理視訊資料及儲存經寫碼視訊資料之方法、器件及非暫時性電腦可讀儲存媒體
TWI523492B (zh) 在視訊寫碼中之非巢套式補充增強資訊訊息
US10284858B2 (en) Support of multi-mode extraction for multi-layer video codecs
TWI675588B (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
TWI565299B (zh) 假想參考解碼器參數之語法結構
TWI504238B (zh) 處理視訊資料之方法及器件，以及電腦可讀取儲存媒體
TWI533679B (zh) 在視訊寫碼中之參數集
EP3363204B1 (en) Support of random access and switching of layers and sub-layers in multi-layer video files
TW201524192A (zh) 多層視訊檔案格式設計
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
TWI679880B (zh) 用於載送視訊寫碼延伸之傳輸串流
TW201340723A (zh) 用於三維視訊寫碼之網路抽象層單元標頭設計
JP6442067B2 (ja) Ｈｅｖｃ拡張の搬送のための動作点のシグナリング