TW201733356A - 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良 - Google Patents

在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良 Download PDF

Info

Publication number
TW201733356A
TW201733356A TW106105156A TW106105156A TW201733356A TW 201733356 A TW201733356 A TW 201733356A TW 106105156 A TW106105156 A TW 106105156A TW 106105156 A TW106105156 A TW 106105156A TW 201733356 A TW201733356 A TW 201733356A
Authority
TW
Taiwan
Prior art keywords
bit stream
layer
layers
end indicator
stream end
Prior art date
Application number
TW106105156A
Other languages
English (en)
Other versions
TWI690197B (zh
Inventor
伏努 亨利
益魁 王
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201733356A publication Critical patent/TW201733356A/zh
Application granted granted Critical
Publication of TWI690197B publication Critical patent/TWI690197B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Peptides Or Proteins (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

在各種實施中，本文中描述用以解決與一ISO基本媒體檔案中之一EOB NAL單元的位置相關之問題的技術。在各種實施中，此等技術包括放寬檔案包括僅僅一個EOB NAL單元之要求。此等技術進一步包括當重建位元串流時提供來自最高層之EOB NAL單元。此EOB NAL單元可被添加至經重建位元串流中之一最後存取單元。當來自該最高層之該EOB NAL單元不存在時，可改為提供來自一較低層之一EOB NAL單元。

Description

在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良
本申請案係關於在分層高效視訊寫碼(L-HEVC，亦稱作LHEVC)位元串流儲存於(例如，寫入至)檔案中時位元串流(EOB)網路抽象層(NAL)單元之結束的處理。另外，本申請案亦描述對HEVC及L-HEVC頻塊播放軌的改良，其中包括用於避免HEVC及L-HEVC頻塊播放軌中之循環參考的方法及用於傳信頻塊播放軌與含有完整圖像之視訊的相應播放軌之相對位置的方法。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展，及高效視訊寫碼(HEVC)，亦被稱作ITU-T H.265及ISO/IEC 23008-2，包括其可調式寫碼擴展(亦即，可調式高效視訊寫碼，SHVC)及多視圖擴展(亦即，多視圖高效視訊寫碼，MV-HEVC)。
在一些實施例中，描述用於在分層高效視訊寫碼(L-HEVC)寫入至檔案時提供位元串流(EOB)網路存取層(NAL)單元之結束，以及用於讀取此檔案的技術。 根據至少一個實例，提供一種用於處理經編碼視訊資料的方法，該方法包括接收與經編碼視訊資料相關聯的檔案。經編碼視訊資料可根據檔案格式儲存於檔案中。經編碼視訊資料可包括兩個或大於兩個層。兩個或大於兩個層可儲存於檔案中之兩個或大於兩個播放軌中。方法進一步包括自兩個或大於兩個層當中判定第一層。第一層可經判定為兩個或大於兩個層當中之包括位元串流結束指示符的最高層。方法進一步包括判定第一位元串流結束指示符。第一位元串流結束指示符可為來自第一層之位元串流結束指示符。方法進一步包括自兩個或大於兩個層當中選擇一組層。方法進一步包括產生一系列存取單元。該系列存取單元可包括來自該組層之樣本。方法進一步包括使用該系列存取單元及第一位元串流結束指示符產生經重建位元串流。經重建位元串流中之最後存取單元可包括第一位元串流結束指示符。 在另一實例中，提供包括經組態以儲存視訊資料之記憶體及處理器的裝置。處理器經組態以且可接收與經編碼視訊資料相關聯的檔案。經編碼視訊資料可根據檔案格式儲存於檔案中。經編碼視訊資料可包括兩個或大於兩個層。兩個或大於兩個層可儲存於檔案中之兩個或大於兩個播放軌中。處理器經組態以且可自兩個或大於兩個層當中判定第一層。第一層可經判定為兩個或大於兩個層當中之包括位元串流結束指示符的最高層。處理器經組態以且可判定第一位元串流結束指示符。第一位元串流結束指示符可為來自第一層之位元串流結束指示符。處理器經組態以且可自兩個或大於兩個層當中選擇一組層。處理器經組態以且可產生一系列存取單元。該系列存取單元可包括來自該組層之樣本。處理器經組態以且可使用該系列存取單元及第一位元串流結束指示符產生經重建位元串流。經重建位元串流中之最後存取單元可包括第一位元串流結束指示符。 在另一實例中，提供一種其上儲存有指令的電腦可讀媒體，該等指令在由處理器執行時執行包括以下操作之方法：接收與經編碼視訊資料相關聯的檔案。經編碼視訊資料可根據檔案格式儲存於檔案中。經編碼視訊資料可包括兩個或大於兩個層。兩個或大於兩個層可儲存於檔案中之兩個或大於兩個播放軌中。方法進一步包括自兩個或大於兩個層當中判定第一層。第一層可經判定為兩個或大於兩個層當中之包括位元串流結束指示符的最高層。方法進一步包括判定第一位元串流結束指示符。第一位元串流結束指示符可為來自第一層之位元串流結束指示符。方法進一步包括自兩個或大於兩個層當中選擇一組層。方法進一步包括產生一系列存取單元。該系列存取單元可包括來自該組層之樣本。方法進一步包括使用該系列存取單元及第一位元串流結束指示符產生經重建位元串流。經重建位元串流中之最後存取單元可包括第一位元串流結束指示符。 在另一實例中，提供包括用於接收與經編碼視訊資料相關聯的檔案之構件的裝置。經編碼視訊資料可根據檔案格式儲存於檔案中。經編碼視訊資料可包括兩個或大於兩個層。兩個或大於兩個層可儲存於檔案中之兩個或大於兩個播放軌中。裝置進一步包含用於自兩個或大於兩個層當中判定第一層的構件。第一層可經判定為兩個或大於兩個層當中之包括位元串流結束指示符的最高層。裝置進一步包含用於判定第一位元串流結束指示符的構件。第一位元串流結束指示符可為來自第一層之位元串流結束指示符。裝置進一步包括用於自兩個或大於兩個層當中選擇一組層的構件。裝置進一步包括用於產生一系列存取單元的構件。該系列存取單元可包括來自該組層之樣本。裝置進一步包括用於使用該系列存取單元及第一位元串流結束指示符產生經重建位元串流的構件。經重建位元串流中之最後存取單元可包括第一位元串流結束指示符。 在一些態樣中，上文所描述的方法、裝置及電腦可讀媒體進一步包含判定來自該系列存取單元之最後存取單元不包括位元串流結束指示符。此等態樣進一步包括添加第一位元串流結束指示符至該系列存取單元中之最後存取單元。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含識別該組層當中之第二層，其中第二層經識別為該組層當中的最高層。此等態樣進一步包括判定第一層為比第二層高的層。此等態樣進一步包括添加第一位元串流結束指示符至該系列存取單元中之最後存取單元。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含識別該組層當中之第二層，其中第二層經識別為該組層當中的最高層。此等態樣進一步包括判定第二層為比第一層高的層。此等態樣進一步包括將第一位元串流結束指示符移動至該系列存取單元中之最後存取單元。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含判定經重建位元串流中之最後存取單元包括多於一個位元串流結束指示符。在此等態樣中，多於一個位元串流結束指示符包括第一位元串流結束指示符。此等態樣進一步包括自最後存取單元中移除除第一位元串流結束指示符以外的所有多於一個位元串流結束指示符。 在一些態樣中，兩個或大於兩個層當中之至少兩個層包括位元串流結束指示符。在一些態樣中，該組層係基於來自該組層中之經選擇用於顯示的層之樣本而選擇。在一些態樣中，檔案格式係自ISO基本媒體檔案格式衍生。 此發明內容並不意欲識別所主張之標的物之關鍵或基本特徵，亦不意欲孤立使用以判定所主張之標的物的範疇。應參照此專利之整個說明書之合適部分、任何或所有圖式及每一申請專利範圍來理解標的物。 當參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
下文提供本發明之某些態樣及實施例。此等態樣及實施例之一些可獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述眾多特定細節以便提供對本發明之實施例之透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將是顯而易見的。圖式及描述不意欲為限定性的。 隨後描述僅提供例示性實施例且並不意欲限制本發明的範疇、可應用性或組態。相反地，例示性實施例之隨後描述將為熟習此項技術者提供用於實施例示性實施例之能夠實現之描述。應理解，可在不背離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及配置做出各種變化。 在以下描述中給定特定細節從而提供實施例之透徹理解。然而，一般技術者應瞭解，實施例可在無需此等特定細節之情況下實踐。舉例而言，電路、系統、網路、處理程序及其他組件可在方塊圖形式中展示為組件以便不以不必要細節混淆實施例。在其他情況下，已在無不必要之細節的情況下展示熟知電路、處理程序、演算法、結構及技術以便避免混淆實施例。 又，應注意，個別實施例可描述為經描繪為流程圖、流程圖式、資料流程圖、結構圖或方塊圖之處理程序。儘管流程圖可能將操作描述為順序處理程序，但許多操作可並行地或同時來執行。另外，可重新配置操作之次序。當處理程序的操作完成時終止處理程序，但處理程序可具有不包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式，等等。當處理程序對應於函式時，其終止可對應於函式返回至呼叫函式或主函式。 術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存器件、光學儲存器件及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體，諸如緊密光碟(CD)或數位化通用光碟(DVD)、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、軟體套件、類別，或指令、資料結構或程式陳述式之任何組合。可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容將一碼段耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何合適方式傳遞、轉遞或傳輸。 此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施方法之實施例。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。 檔案格式標準可定義用於將視訊(及亦可能音訊)資料封裝及解封裝成一或多個檔案的格式。檔案格式標準包括國際標準化組織(ISO)基本媒體檔案格式(ISOBMFF，定義於ISO/IEC 14496-12中)及自ISOBMFF衍生的其他檔案格式，包括運動圖像專家組(MPEG)MPEG-4檔案格式(定義於ISO/IEC 14496-15中)、第三代合作夥伴計劃(3GPP)檔案格式(定義於3GPP TS 26.244中)及進階視訊寫碼(AVC)檔案格式(定義於ISO/IEC 14496-15中)。ISO/IEC 14496-12及14496-15之最新版本的草案本文可分別在http://phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及http://phenix.int-evry.fr/mpeg/ doc_end_user/documents/112_Warsaw/wg11/w15479-v2-w15479.zip處得到。 ISOBMFF用作許多編碼解碼器封裝格式(例如，AVC檔案格式或任何其他合適之編碼解碼器封裝格式)以及許多多媒體容器格式(例如，MPEG-4檔案格式、3GPP檔案格式(3GP)、DVB檔案格式或任何其他合適之多媒體容器格式)之基礎。ISOBMFF基本檔案格式可用於連續媒體，其亦稱作串流媒體。 除連續媒體(例如，音訊及視訊)以外，靜態媒體(例如，影像)及後設資料可儲存於遵循ISOBMFF之檔案中。根據ISOBMFF結構化的檔案可用於許多目的，包括本端媒體檔案播放、遠端檔案之漸進式下載、用作HTTP動態自適應串流(DASH)之片段、用作待串流傳輸的內容之容器(在此狀況下容器包括封包化指令)、用於記錄接收之即時媒體串流，或其他用途。 使用HEVC或HEVC之擴展編碼的位元串流大體包括在位元串流之結束處的指示符，指示符可向解碼器指示已達到位元串流之結束。指示符可採取位元串流結束(EOB)網路抽象層(NAL)單元的形式。 當位元串流包括多層時，EOB NAL單元將仍置放於位元串流之結束處，但當位元串流寫入至檔案時EOB NAL單元所置放之處可變化，且可引起解碼器器件之問題。舉例而言，當EOB NAL單元在最高層中且解碼器器件僅僅讀取基層時，EOB NAL單元可丟失。作為另一實例，當EOB NAL單元在基層中且解碼器器件經組態以再現較高層時，EOB NAL單元可置放於經重建位元串流中的除經重建位元串流之結束以外的位置中。作為另一實例，當基層係使用除HEVC以外的編碼解碼器(例如，AVC)編碼且亦包括EOB NAL單元時，EOB NAL單元將已經編碼為非HEVC NAL單元。在此實例中，當解碼器器件經組態以再現來自較高層之HEVC樣本時，解碼器器件可接收並非為HEVC NAL單元的EOB NAL單元。 在各種實施中，本文中描述用以解決與ISO基本媒體檔案中之EOB NAL單元的定位(例如，位置)相關之問題的技術。在各種實施中，此等技術包括放寬檔案包括僅僅一個EOB NAL單元之要求。此等技術進一步包括當重建位元串流時提供來自最高層之EOB NAL單元。當來自最高層之EOB NAL單元不存在時，可改為提供來自較低層之EOB NAL單元。 當ISO基本媒體檔案包括頻塊播放軌時，各種問題可產生。舉例而言，循環提取器參考、由於提取器的複製資料、不必要提取器、當僅僅需要頻塊播放軌之視訊部分時缺少用於重建位元串流的規範、缺少用於頻塊播放軌之偏移資訊及其他問題可發生。下文論述此等問題之各種解決方案。 圖1為說明包括編碼器件104及解碼器件112之系統100之實例的方塊圖。編碼器件104可為源器件之部分，且解碼器件112可為接收器件之部分。源器件及/或接收器件可包括電子器件，諸如，行動或靜止電話手機(例如，智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型電腦或筆記本電腦、平板電腦、機上盒、電視、相機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或任何其他合適的電子器件。在一些實例中，源器件及接收器件可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 藉由使用視訊寫碼標準或協定以產生經編碼視訊位元串流，編碼器件104(或編碼器)可用以編碼視訊資料，包括虛擬實境視訊資料。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼及多視圖視訊寫碼擴展(分別稱為SVC及MVC)。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)完成較近期的視訊寫碼標準(高效率視訊寫碼(HEVC))。對HEVC之各種擴展處理多層視訊寫碼，且亦正由JCT-VC開發，包括對HEVC之多視圖擴展(被稱作MV-HEVC)及對HEVC之可調式擴展(被稱作SHVC)或任何其他合適的寫碼協定。 本文中所描述之實施使用HEVC標準或其擴展來描述實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其擴展或已可用或尚不可用或尚未開發之其他合適寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。 視訊源102可將視訊資料提供至編碼器件104。視訊源102可為源器件之一部分，或可為除源器件以外的器件之一部分。視訊源102可包括視訊俘獲器件(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他合適的視訊源。視訊源102之一個實例可包括網際網路協定攝影機(IP攝影機)。IP攝影機為可用於監測、住家安全或其他合適應用的數位視訊攝影機之類型。不同於類比閉路電視(CCTV)攝影機，IP攝影機可經由電腦網路及網際網路發送及接收資料。 來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。圖像或圖框為作為視訊之部分的靜態影像。編碼器件104之編碼器引擎106(或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列的一或多個經寫碼視訊序列。經寫碼視訊序列(CVS)包括一系列存取單元(AU)，其始於具有在基層中且具有某些性質的隨機存取點圖像之AU，直至且不包括具有在基層中且具有某些性質的隨機存取點圖像之下一AU。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像以及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊在位元串流層級囊封至稱為網路抽象層(NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。  NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元串流、位元串流之CVS或其類似者)。編碼器引擎106藉由將每一圖像分割成多個圖塊而產生圖像之經寫碼表示。圖塊接著分割成明度樣本及色度樣本之寫碼樹型區塊(CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可經分裂成具有不同大小之多個寫碼單元(CU)。CU含有被稱為寫碼區塊(CB)之明度及色度樣本陣列。 明度及色度CB可進一步分裂成預測區塊(PB)。PB為使用用於框間預測之相同運動參數的明度或色度分量的樣本之區塊。明度PB及一或多個色度PB以及相關聯語法形成預測單元(PU)。在位元串流中針對每個PU傳信運動參數集合，且該運動參數集合用於明度PB及一或多個色度PB之框間預測。CB亦可分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB以及相應語法元素。 CU之大小對應於寫碼節點之大小，且可為正方形形狀。舉例而言，CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本或達至相應CTU之大小的任何其他適當大小。片語「N×N」在本文中用於指就垂直及水平尺寸而言視訊區塊之像素尺寸(例如，8像素×8像素)。可按列及行來配置區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的數目個像素。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼抑或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。 根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可接著由編碼器引擎106量化。 一旦視訊資料之圖像被分割成CU，編碼器引擎106即使用預測模式來預測每一PU。接著自原始視訊資料中減去預測以得到殘餘(下文描述)。對於每一CU，可使用語法資料在位元串流內部傳信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。使用框內預測時，使用(例如)DC預測以發現PU之平均值、使用平坦預測以使平坦表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他合適類型之預測，自同一圖像中之相鄰影像資料預測每一PU。使用框間預測時，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)在CU層級作出使用圖像間預測抑或圖像內預測來寫碼圖像區域的決策。在一些實例中，圖像之一或多個圖塊被指派有圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(圖框內，可獨立地解碼)為僅僅藉由框內預測寫碼的圖像之圖塊，且因此可獨立地解碼，此係由於I圖塊僅僅需要圖框內的資料以預測圖塊之任一區塊。P圖塊(單向預測圖框)為可藉由框內預測及單向框間預測寫碼之圖像的圖塊。P圖塊內之每一區塊係藉由框內預測或框間預測而寫碼。當框間預測應用時，區塊僅僅藉由一個參考圖像而預測，且因此參考樣本僅僅來自一個圖框之一個參考區。B圖塊(雙向預測性圖框)為可藉由框內預測及框間預測寫碼的圖像之圖塊。B圖塊之區塊可自兩個參考圖像雙向預測，其中每一圖像貢獻一個參考區且兩個參考區之樣品集經加權(例如，使用相等權重)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊被獨立寫碼。在一些狀況下，圖像可僅作為一個圖塊而被寫碼。  PU可包括與預測處理程序有關之資料。舉例而言，當使用框內預測來編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測來編碼PU時，PU可包括定義PU之運動向量的資料。界定PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。 編碼器件104接著可執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含像素差值。在預測執行之後可能剩餘的任何殘餘資料係使用區塊變換進行變換，該區塊變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換或其它合適之變換功能。在一些狀況下，一或多個區塊變換(例如，大小為32×32、16×16、8×8、4×4或其類似者)可應用於每一CU中之殘餘資料。在一些實施例中，TU可用於藉由編碼器引擎106實施的變換及量化處理程序。給定之具有一或多個PU的CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且接著可使用TU來量化及掃描殘餘值以產生用於熵寫碼之串列化變換係數。 在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提及，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括CU之殘餘資料的TU，且接著可變換TU以產生CU之變換係數。 編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減少用以表示係數之資料的量而提供進一步壓縮。舉例而言，量化可減少與係數中之一些或所有相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間降值捨位為m位元值，其中n大於m。 在執行量化後，經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如，預測模式、運動向量或其類似者)、分割資訊及任何其他合適之資料(諸如其他語法資料)。接著可藉由編碼器引擎106對經寫碼視訊位元串流之不同元素進行熵編碼。在一些實例中，編碼器引擎106可利用預定義掃描次序掃描經量化變換係數以產生可經熵編碼的串列化向量。在一些實例中，編碼器引擎106可執行自適應掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文自適應性可變長度寫碼、上下文自適應性二進位算術寫碼、基於語法之上下文自適應性二進位算術寫碼、機率區間分割熵寫碼或另一合適的熵編碼技術。 編碼器件104之輸出端110可經由通信鏈路120將組成經編碼視訊位元串流資料之NAL單元發送至接收器件之解碼器件112。解碼器件112之輸入端114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合的無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(RF)、UWB、WiFi-Direct、蜂巢式、長期演進(LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(DSL)或其類似者)。可使用各種裝備來實施有線及/或無線網路，該等裝備諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者。可根據通信標準(諸如，無線通信協定)調變經編碼視訊位元串流資料，且將其傳輸至接收器件。 在一些實例中，編碼器件104可將經編碼視訊位元串流資料儲存於儲存器108中。輸出端110可自編碼器引擎106或自儲存器108擷取經編碼視訊位元串流資料。儲存器108可包括多種分散式或本端存取之資料儲存媒體中之任一者。舉例而言，儲存器108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。 解碼器件112之輸入端114接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎116，或提供至儲存器118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)及提取組成經編碼視訊資料之一或多個經寫碼視訊序列的元素來解碼經編碼視訊位元串流。解碼器引擎116可接著重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。殘餘資料接著傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如，PU)。在一些實例中，預測被添加至反變換之輸出(殘餘資料)。 解碼器件112可將經解碼視訊輸出至視訊目的地器件122，視訊目的地器件可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出器件。在一些態樣中，視訊目的地器件122可為包括解碼器件112之接收器件之部分。在一些態樣中，視訊目的地器件122可為不同於接收器件的單獨器件之部分。 補充增強資訊(SEI)訊息可包括於視訊位元串流中。舉例而言，SEI訊息可用於攜載並非為由解碼器件112解碼位元串流所必需的資訊(例如，後設資料)。此資訊用於改良經解碼輸出之顯示或處理(例如，此類資訊可由解碼器側實體使用以改良內容之可視性)。 在一些實施例中，視訊編碼器件104及/或視訊解碼器件112可分別與音訊編碼器件及音訊解碼器件整合。視訊編碼器件104及/或視訊解碼器件112亦可包括實施上文所描述之寫碼技術所必需的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器件104及視訊解碼器件112可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。 對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作MV-HEVC)及可調式視訊寫碼擴展(被稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重建保真度表示視訊位元串流的不同可調式層。可調式層可包括基層(層ID=0)及一或多個增強層(層ID=1、 2、…n)。基層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。與基層相比，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重建保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編碼解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編碼解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。大體而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元被指派有特定層ID值。在層可取決於較低層的意義上，層可為階層式的。 大體而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元被指派有特定層ID值。在層可取決於較低層的意義上，層可為階層式的。層集合指表示於位元串流內之獨立的層之集合，意謂層集合內之層在解碼處理程序中可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元串流。可藉由子位元串流提取處理程序之操作自另一位元串流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時被解碼之層集合。 圖2說明分層HEVC位元串流200之簡化實例。位元串流200可為MV-HEVC位元串流及/或SHVC位元串流。在所說明的實例中，位元串流包括基層202及兩個增強層(層1 212及層2 214)。基層202可根據HEVC之特定版本(諸如低於當前版本)編碼。替代地，基層202可使用另一編碼解碼器(諸如AVC)來編碼。在此等及其他實例中，使用不同於HEVC之最近版本的編碼解碼器編碼基層202可向不支援HEVC之最近版本或不支援HEVC的解碼器件(例如，僅僅支援AVC之器件)提供反向相容性。藉由添加增強層，現有位元串流無需經重新編碼用於另一編碼解碼器。 在圖2的實例中，第一增強層(層1 212)提供與基層202中提供的相同但在更高解析度下的視訊。在一些狀況下，層1 212中之圖像214可使用來自基層202中之圖像204之資料而編碼。在一些狀況下，層1 212中之圖像214可經獨立地編碼。支援更高解析度之解碼器件因此可選擇以再現基層202或層1 212。在其他實例中，層1 212可提供與基層202相同之圖像214，但使用不同編碼解碼器。 層2 222在所說明實例中經提供為增強層之另一實例。在此實例中，層2 222提供與層1 212中提供之視訊相同但在較高圖框速率下的視訊。層2 222因此包括比層1 212中所包括的更多的圖像224。在一些狀況下，層2 222中之圖像224可使用層1 212中之圖像214及/或基層202中之圖像204編碼。在一些狀況下，層2 222中之圖像224可經獨立地編碼。在一些狀況下，層2 222中之一些圖像224可使用來自其他層之資料編碼而其他圖像222經獨立地編碼。 在不同於圖2中所說明的實例之實例中，位元串流200中之層可提供(例如)一個視訊之不同視圖、可頻塊化成一個圖像的不同視訊、在不同位元速率、不同圖框速率、不同解析度等下編碼的圖像。 在包括多層之位元串流中，存取單元可包括針對特定時間執行個體之所有圖像。舉例而言，參看圖2中所說明的實例，一個存取單元可包括來自基層202之圖像及增強層212、214之相應圖像，每一相應圖像對應與來自基層202之圖像相同的時刻。在一些狀況下，存取單元可具有來自僅僅一些層之圖像。舉例而言，由於層2 222中之圖像224係以較高圖框速率編碼，因此來自層2 222之一些圖像224可駐存於其自身存取單元中。在一些狀況下，基層202中之圖像204可並不具有增強層212、214中之相應圖像，且因此包括此等圖像204之存取單元可不包括任何其他圖像。 如先前所描述，HEVC位元串流包括一組NAL單元，NAL單元包括VCL NAL單元及非VCL NAL單元。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元串流相關之高層級資訊的參數集。舉例而言，參數集可包括視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)。參數集之目標之實例包括位元速率效率、錯誤復原(error resiliency)及提供系統層介面。每一圖塊參考單個作用中PPS、SPS及VPS以存取解碼器件112可用於解碼圖塊之資訊。可針對每一參數集寫碼識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一圖塊標頭包括PPS ID。使用ID，可識別針對給定圖塊之作用中參數集。  VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。各種類型之VCL NAL單元經定義於HEVC標準中。在單層位元串流中，如第一HEVC標準中所定義，含於AU中的VCL NAL單元具有相同NAL單元類型值，其中NAL單元類型值定義AU之類型及AU內的經寫碼圖像之類型。舉例而言，特定AU之VCL NAL單元可包括瞬時解碼再新(IDR)NAL單元(值19)，使得AU為IDR AU且AU之經寫碼圖像為IDR圖像。給定類型之VCL NAL單元係關於含於VCL NAL單元(例如，VCL NAL單元中的圖像之圖塊或圖塊片段)中的圖像，或其部分。三類圖像經定義於HEVC標準中，包括前置圖像、後置圖像及框內隨機存取(IRAP)圖像(亦稱作「隨機存取圖像」)。在多層位元串流中，AU內的圖像之VCL NAL單元具有相同NAL單元類型值及相同類型經寫碼圖像。舉例而言，含有類型IDR之VCL NAL單元的圖像稱為AU中之IDR圖像。在另一實例中，當AU含有為基層(層ID 等於0)處之IRAP圖像的圖像時，AU為IRAP AU。  HEVC位元串流可進一步包括位元串流結束(EOB)NAL單元。EOB NAL單元指示已達到位元串流之結束。編碼器大體產生EOB NAL單元，且對於HEVC位元串流，EOB NAL單元為位元串流之最後AU中的最後NAL單元。 如上文所論述編碼的視訊位元串流可寫入或封裝至一或多個檔案中以便將位元串流自編碼器件104轉移至解碼器件112。舉例而言，輸出端110可包括檔案寫入引擎，其經組態以產生含有位元串流的一或多個檔案。輸出端110可經由通信鏈路120傳輸一或多個檔案至解碼器件112。或者或另外，一或多個檔案可儲存於儲存媒體(例如，磁帶、磁碟或硬碟機，或一些其他媒體)上以供稍後傳輸至解碼器件112。 解碼器件112可包括(例如)在輸入端114中之檔案剖析引擎。檔案剖析引擎可讀取經由通信鏈路120或自儲存媒體接收之檔案。檔案剖析引擎可進一步自檔案提取樣本，並重建位元串流以用於由解碼器引擎116解碼。在一些狀況下，經重建位元串流可與由編碼器引擎106產生的位元串流相同。在一些狀況下，編碼器引擎106可能已產生具有用於解碼位元串流之若干可能選項的位元串流，在該狀況下，經重建位元串流可包括所有可能選項中之僅一者或少於所有可能選項。 如上文所論述編碼的位元串流可使用ISOBMFF、自ISOBMFF衍生的檔案格式、某一其他檔案格式及/或包括ISOBMFF的檔案格式之組合寫入至檔案。如上文所提及，當寫入至檔案時，位元串流可經儲存及/或傳輸至解碼器件，解碼器件可再現並顯示位元串流之內容。 圖3說明含有根據ISOBMFF格式化之用於視訊呈現之資料及後設資料的ISO基本媒體檔案300之實例。ISOBMFF經設計而以靈活並可擴展格式含有計時媒體資訊，該計時媒體資訊促進媒體之互換、管理、編輯及呈現。媒體之呈現可在含有呈現之系統「本端」，或呈現可係經由網路或其他串流傳遞機構。 如ISOBMFF規範中所定義之「呈現」為圖像序列，其常常由於由視訊俘獲器件依序俘獲而相關或由於某其他原因而相關。本文中，呈現亦可被稱作電影或視訊呈現。呈現可包括音訊。單一呈現可含於一或多個檔案中，其中一個檔案含有用於整個呈現之後設資料。後設資料包括資訊，諸如時序及成框資料、描述符、指標、參數，及描述呈現之其他資訊。後設資料自身並不包括視訊及/或音訊資料。除含有後設資料之檔案外的檔案不需要根據ISOBMFF而格式化，且僅需要經格式化使得此等檔案可由後設資料參考。  ISO基本媒體檔案之檔案結構為物件定向式結構，且檔案中之個別物件之結構可直接自物件之類型來推斷。ISOBMFF規範將ISO基本媒體檔案中之物件規範稱作「框」。ISO基本媒體檔案建構為可含有其他框之一系列框。框大體包括提供框之大小及類型的標頭。大小描述框之整個大小，包括標頭、欄位及含有於框內之所有框。播放器器件不能識別之類型的框通常被忽略並跳過。 如由圖3的實例所說明，在檔案之頂部層級處，ISO基本媒體檔案300可包括檔案類型框310、電影框320，及一或多個電影片段330a、330n。在此層級可被包括但在此實例中並未表示之其他框包括自由空間框、後設資料框及媒體資料框外加其他。  ISO基本媒體檔案可包括藉由框類型「ftyp」識別之檔案類型框310。檔案類型框310識別最適合於剖析檔案之ISOBMFF規範。「最」在此情況下意謂，ISO基本媒體檔案300可能已根據特定ISOBMFF規範格式化，但很可能與規範之其他反覆相容。此最合適規範被稱作主流品牌。播放器器件可使用主流品牌來判定器件是否能夠解碼並顯示檔案之內容。檔案類型框310亦可包括版本號，該版本號可用以指示ISOBMFF規範之版本。檔案類型框310亦可包括相容品牌之清單，該清單包括檔案相容之其他品牌的清單。ISO基本媒體檔案可與大於一個主流品牌相容。 當ISO基本媒體檔案300包括檔案類型框310時，存在僅一個檔案類型框。ISO基本媒體檔案300可省略檔案類型框310以便與其他早期播放器器件相容。當ISO基本媒體檔案300不包括檔案類型框310時，播放器器件可假定預設主流品牌(例如「mp41」)、次要版本(例如，「0」)及相容的品牌(例如，「mp41」)。檔案類型框310通常儘可能早地置放於ISO基本媒體檔案300中。  ISO基本媒體檔案可進一步包括電影框320，其可含有後設資料以供呈現。電影框320藉由框類型「moov」識別。ISO/IEC 14496-12規定，含於一個檔案或多個檔案中之呈現可包括僅一個電影框320。頻繁地，電影框320靠近ISO基本媒體檔案之開始。電影框320包括電影標頭框322，且可包括一或多個播放軌框324以及其他框。 藉由框類型「mvhd」識別之電影標頭框322可包括與媒體無關且與作為整體之呈現相關的資訊。舉例而言，電影標頭框322可包括資訊，諸如產生時間、修改時間、時間標度及/或針對呈現之持續時間外加其他。電影標頭框322亦可包括識別呈現中之下一播放軌的識別符。舉例而言，在所說明之實例中，識別符可指向由電影框320含有之播放軌框324。 藉由框類型「trak」識別之播放軌框324可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌，其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括對於播放軌中之內容特定之時間及空間資訊，且每一播放軌可與媒體框相關聯。播放軌中之資料可為媒體資料，在此狀況下，播放軌為媒體播放軌；或資料可為用於串流傳輸協定之封包化資訊，在此狀況下，播放軌為提示播放軌。媒體資料包括(例如)視訊及音訊資料。在所說明之實例中，實例播放軌框324包括播放軌標頭框324a及媒體框324b。播放軌框可包括其他框，諸如播放軌參考框、播放軌群組框、編輯框、使用者資料框、後設框及其他框。 由框類型「tkhd」識別之播放軌標頭框324a可指定含於播放軌框324中之播放軌的特性。舉例而言，播放軌標頭框324a可包括播放軌之產生時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、音量、寬度及/或高度，外加其他。對於媒體播放軌，播放軌標頭框324a可進一步識別播放軌是否經啟用，播放軌是否應作為呈現之部分而播放，或播放軌是否可用以預覽呈現，外加其他。播放軌之呈現通常假定為處於呈現之開始處。播放軌框324可包括此處未說明之編輯清單框，該編輯清單框可包括顯式時刻表圖。時刻表圖可指定播放軌之偏移時間外加其他，其中偏移指示在呈現開始之後播放軌之開始時間。 在所說明之實例中，播放軌框324亦包括由框類型「mdia」識別之媒體框324b。媒體框324b可含有物件及關於播放軌中之媒體資料之資訊。舉例而言，媒體框324b可含有處理常式參考框，其可識別播放軌之媒體類型以及藉以呈現播放軌中之媒體之處理程序。作為另一實例，媒體框324b可含有媒體資訊框，其可指定播放軌中媒體的特性。媒體資訊框可進一步包括樣本表，其中每一樣本描述包括(例如)樣本之資料之位置的媒體資料(例如，視訊或音訊資料)之塊。樣本之資料儲存於下文進一步論述之媒體資料框中。如同大部分其他框一般，媒體框324b亦可包括媒體標頭框。 在所說明之實例中，實例ISO基本媒體檔案300亦包括呈現之多個片段330a、330b、330c、330n。片段330a、330b、303c、330n並非為ISOBMFF框，而是描述電影片段框332及藉由電影片段框332參考之媒體資料框338。電影片段框332及媒體資料框338為頂部層級框，但此處分組在一起以指示電影片段框332與媒體資料框338之間的關係。 藉由框類型「moof」識別之電影片段框332可藉由包括將以其他方式儲存於電影框320中之額外資訊而擴展呈現。使用電影片段框332，呈現可經遞增地建置。電影片段框332可包括電影片段標頭框334及播放軌片段框336以及此處未說明之其他框。 藉由框類型「mfhd」識別之電影片段標頭框334可包括序號。播放器器件可使用序號來驗證片段330a包括資料之下一段以供呈現。在一些狀況下，檔案之內容或用於呈現之檔案可無序地被提供至播放器器件。舉例而言，網路封包可頻繁地以不同於最初傳輸封包之次序的次序到達。在此等狀況下，序號可輔助播放器器件判定片段之正確次序。 電影片段框332亦可包括藉由框類型「traf」識別之一或多個播放軌片段框336。電影片段框332可包括一組播放軌片段(每播放軌零或多個)。播放軌片段可含有零或多個播放軌行程，其中之每一者描述播放軌的樣本之連續行程。除添加樣本至播放軌外，播放軌片段可用以將空的時間添加至播放軌。 藉由框類型「mdat」識別之媒體資料框338含有媒體資料。在視訊播放軌中，媒體資料框338將含有視訊圖框。媒體資料框可替代地或另外包括音訊資料。呈現可包括含於一或多個個別檔案中之零或多個媒體資料框。媒體資料藉由後設資料描述。在所說明之實例中，媒體資料框338中之媒體資料可藉由包括於播放軌片段框336中之後設資料來描述。在其他實例中，媒體資料框中之媒體資料可藉由電影框320中之後設資料來描述。後設資料可藉由在檔案300內之絕對偏移參考特定媒體資料，以使得媒體資料標頭及/或媒體資料框338內之自由空間可被跳過。  ISO基本媒體檔案300中之其他片段330b、330c、330n可含有類似於針對第一片段330a說明之彼等的框，及/或可含有其他框。 除支援媒體之本端播放外，ISOBMFF包括對經由網路串流傳輸媒體資料的支援。包括一個電影呈現之檔案可包括稱為提示播放軌之額外播放軌，其含有可輔助串流傳輸伺服器形成並傳輸檔案作為封包的指令。舉例而言，此等指令可包括供伺服器發送之資料(例如標頭資訊)或對媒體資料之片段的參考。檔案可包括用於不同串流傳輸協定之單獨提示播放軌。提示播放軌亦可在不需要重新格式化檔案之情況下添加至檔案。 用於對媒體資料進行串流傳輸之一種方法為經由超文字傳送協定(HTTP)或DASH(定義於ISO/IEC 33009-1:2014)之動態自適應串流。被稱為MPEG-DASH之DASH為允許實現使用習知HTTP網頁伺服器之高品質媒體內容串流傳輸的自適應位元速率串流傳輸技術。DASH藉由將媒體內容打斷成一系列小之基於HTTP之檔案片段來操作，其中每一片段含有短時間間隔之內容。使用DASH，伺服器可以不同位元速率提供媒體內容。正播放媒體之用戶端器件可在下載下一片段時在替代性位元速率中做出選擇，且因此適應於改變的網路條件。DASH使用網際網路之HTTP網頁伺服器基礎架構來經由全球資訊網遞送內容。DASH獨立於用以編碼並解碼媒體內容之編碼解碼器，且因此與諸如H.264及HEVC之編碼解碼器外加其他一起操作。 ISOBMFF說明書指定適用於DASH之六種類型串流存取點(SAP)。前兩種SAP類型(類型1及2)對應於H.264/AVC及HEVC中之瞬時解碼再新(IDR)圖像。舉例而言，IDR圖像為圖像內(I圖像)圖像，其在解碼器處完全再新或重新初始化解碼程序且開始新的經寫碼視訊序列。在一些實例中，IDR圖像及按解碼次序在IDR圖像之後的任何圖像不可取決於按解碼次序在IDR圖像之前出現的任何圖像。 第三SAP類型(類型3)對應於開放GOP(圖片群組)隨機存取點，因此對應於HEVC中之斷鏈存取(BLA)或清潔隨機存取(CRA)圖像。舉例而言，CRA圖像亦為I圖像。CRA圖像可能並不再新解碼器，且可能不開始新CVS，從而允許CRA圖像之前置圖像取決於按解碼次序在CRA圖像之前出現的圖像。隨機存取可藉由解碼以下各者在CRA圖像處進行：CRA圖像、與並不取決於按解碼次序在CRA圖像之前出現之任何圖像的CRA圖像相關聯之前置圖像，及按解碼次序及輸出次序兩者在CRA之後的所有關聯圖像。在一些狀況下，CRA圖像可能並不具有關聯前置圖像。在一些實施例中，在多層狀況下，屬於具有大於0之層ID之層的IDR或CRA圖像可為P圖像或B圖像，但此等圖像可僅使用來自屬於與IDR或CRA圖像相同之存取單元且具有小於含有IDR或CRA圖像之層的層ID的其他圖像之層間預測。 第四種SAP類型(類型4)對應於漸次性解碼再新(GDR)隨機存取點。 圖4說明用於視訊呈現之包括兩層的ISO基本媒體檔案400之實例。如上文所論述，視訊呈現可包括多層，包括基層及一或多個增強層。在圖4之實例中，視訊包括層0中之基層及層1中之增強層。在其他實例中，視訊可包括大於一個增強層。 在檔案400之頂部層級處，ISO基本媒體檔案400包括檔案類型框410、電影框420及兩個媒體資料框430a、430b，針對層0及層1之樣本各有一個媒體資料框。檔案類型框410可識別最適合於讀取檔案400的品牌(例如，ISOBMFF規範之反覆或衍生)。檔案類型框410亦可識別相容品牌(亦即，適合於讀取檔案400的其他品牌)之清單。 電影框420可包括用於視訊呈現之後設資料。電影框420可包括電影標頭框422，其可含有關於作為整體之呈現的資訊。電影框420亦可包括一或多個播放軌框。在所說明的實例中，電影框420包括兩個播放軌框424a、424b，針對層0之後設資料及針對層1之後設資料各有一個播放軌框。在其他實例中，層0及層1兩者之後設資料可包括於一個播放軌框中。在其中呈現包括大於兩個層的實例中，所有層可包括於一個播放軌中或一些播放軌可具有僅僅一個層而其他播放軌具有兩個或大於兩個層。 播放軌框424a、424b中的每一者包括播放軌標頭框426a、426b。播放軌標頭框426a、426b可描述藉由各別播放軌框424a、424b參考的播放軌之特性。舉例而言，播放軌標頭框426a、426b可包括用於播放軌中之圖像的寬度、高度及層ID外加其他。 播放軌框424a、424b中的每一者可各自進一步包括媒體資料框428a、482b。媒體資料框428a、428b包括含於每一各別播放軌中的層中之樣本之描述。對於樣本之描述可包括(例如)樣本在檔案400內(或在另一檔案內)之位置、在時間上共置樣本之描述，及/或參考樣本之描述外加其他。 媒體資料框430a、430b含有兩個層之樣本。樣本含有含於ISO基本媒體檔案400中的媒體之資料。在所說明的實例中，樣本可含有視訊資料及音訊資料。在此實例中，層0之樣本定位於一個媒體資料框430a中且層1之樣本定位於第二媒體資料框430b中。在其他實例中，兩個層之樣本可包括於相同媒體資料框中。在其他實例中，一個層之樣本可包括於多個媒體資料框中。在其他實例中，樣本可含於其他檔案中。 如上文所論述，HEVC位元串流可包括作為位元串流的最後存取單元之最後NAL單元的位元串流結束(EOB)NAL單元。EOB NAL單元可向解碼器傳信位元串流之結束已達到。當位元串流為多層位元串流時，編碼器將使EOB NAL單元正確地置放於位元串流中之最後存取單元中。然而，當位元串流隨後寫入至檔案(例如，儲存至檔案或儲存於檔案內時)，可產生與EOB NAL單元之位置有關的問題。 圖5A說明其中已儲存多層位元串流的ISO基本媒體檔案500之一個實例。在所說明的實例中，位元串流包括層0中之基層及層1中之增強層。實例檔案500進一步包括檔案類型框510，其可指定ISOBMFF之品牌或特定反覆或ISOBMFF之檔案500與之相容的衍生。檔案500亦可包括電影框520，其可含有用於位元串流之後設資料。實例檔案500亦包括媒體資料框530a、530b，其可含有位元串流之樣本。 電影框520在此實例中包括電影標頭框522及播放軌0及播放軌1之兩個播放軌框524a、524b。電影標頭框522可包括描述作為整體之呈現的資訊。在此實例中，層0係在播放軌0中；因此第一播放軌框524a包括用於層0之後設資料。另外，層1係在播放軌1中；因此第二播放軌框524b包括用於層1之後設資料。在其他實例中，用於兩個層之後設資料可在一個播放軌框中。在其他實例中，位元串流可包括大於兩個層。在此等實例中，一些播放軌可包括一個層及/或一些播放軌可包括兩個或大於兩個層。 在此實例中，每一播放軌框524a、524b包括播放軌標頭框526a、562b及媒體框528a、528b。播放軌標頭框526a、562b可描述播放軌，而媒體框528a、528b可包括播放軌中之樣本的描述。 如上文所論述，儲存於檔案500中的位元串流可具有EOB NAL單元540。在所說明的實例中，編碼器將EOB NAL單元540置放在增強層(層1)中之資料的結束處。在此實例中，因此可在播放軌1中發現EOB NAL單元540。 在一些狀況下，EOB NAL單元540在播放軌1中的置放對於解碼器件之檔案剖析引擎可能係有問題的。圖5B及圖5C說明當圖5A中所說明之ISO基本媒體檔案500藉由不同解碼器器件讀取時可產生的位元串流550、552之實例。在圖5B中，解碼器件僅僅讀取播放軌0。自檔案500提取的位元串流550因此包括各自包括來自基層之基本圖像564a、564b、564c、564n的一系列存取單元562a、562b、562c、562n。然而，在圖5A的實例中，EOB NAL單元540係在播放軌1中；因此，EOB NAL單元540不包括於經重建位元串流550中。 在圖5B的實例中，解碼器件(例如)可能已僅僅讀取播放軌0，此係由於解碼器件經組態以僅僅播放基層(例如，增強層未經選擇用於顯示)。或者或另外，解碼器件可僅已能夠播放基層(例如，解碼器件僅僅為與AVC相容，且基層包括以AVC編碼的位元串流)。解碼器件可出於其他原因以其他方式僅僅讀取播放軌0。 在圖5C之實例中，解碼器件自檔案500提取基層及增強層兩者。所得位元串流552因此包括各自包括來自基層之基本圖像564a、564b、564c、564n及來自增強層之增強型圖像566a、566b、566c、566n的一系列存取單元562a、562b、562c、562n。在此實例中，由於EOB NAL單元540在增強層中，因此當自檔案提取增強層時，亦提取EOB NAL單元540，且被正確地置放在最後存取單元562n中。 在圖5C的實例中，解碼器件可能已讀取播放軌0及播放軌1兩者，此係由於(例如)增強層經選擇用於顯示，且增強層需要來自基層之資料。解碼器件可能出於其他原因以其他方式讀取兩個播放軌。 圖6A說明其中已儲存多層位元串流的ISO基本媒體檔案600之另一實例。在所說明的實例中，位元串流包括層0中之基層及層1中之增強層。實例檔案600進一步包括檔案類型框610，其可指定ISOBMFF之品牌或特定反覆或ISOBMFF之檔案600與之相容的衍生。檔案600亦可包括電影框620，其可含有用於位元串流之後設資料。實例檔案600亦包括媒體資料框630a、630b，其可含有位元串流之樣本。 電影框620在此實例中包括電影標頭框622及播放軌0及播放軌1之兩個播放軌框624a、624b。電影標頭框622可包括描述作為整體之呈現的資訊。在此實例中，層0係在播放軌0中，且因此第一播放軌框624a包括用於層0之後設資料。另外，層1係在播放軌1中，因此第二播放軌框624b包括用於層1之後設資料。在其他實例中，用於兩個層之後設資料可在一個播放軌框中。在其他實例中，位元串流可包括大於兩個層。在此等實例中，一些播放軌可包括一個層及/或一些播放軌可包括兩個或大於兩個層。 在此實例中，每一播放軌框624a、624b包括播放軌標頭框626a、626b及媒體框628a、628b。播放軌標頭框626a、626b可描述播放軌，而媒體框628a、628b可包括播放軌中之樣本的描述。 如上文所論述，儲存於檔案600中的位元串流可具有EOB NAL單元640。在所說明的實例中，編碼器器件已將EOB NAL單元640置放在基層中，且因此可在播放軌0中發現EOB NAL單元640。在各種實施中，可由於編碼約束條件需要編碼器器件將EOB NAL單元640置放在基層中。在一些狀況下，編碼器可出於另一原因而已將EOB NAL單元640置放在基層中。舉例而言，位元串流中之最後存取單元可將僅僅一圖像包括於基層中。 當EOB NAL單元640在基層中時，可產生針對解碼器器件的問題。圖6B及圖6C說明可自讀取圖6A中所說明的ISO基本媒體檔案600產生的位元串流650、652之實例。在圖6B中，解碼器件僅僅需要位元串流之基層，且因此指示檔案剖析引擎僅僅讀取播放軌0。所得位元串流650因此包括各自包括自播放軌0讀取的基本圖像664a、664b、664c、664n之一系列存取單元662a、662b、662c、662n。在此實例中，基層包括EOB NAL單元640；因此，圖6B中所說明之位元串流650將EOB NAL單元640包括於最後存取單元662n中。 在圖6C的實例中，解碼器件之檔案剖析引擎自檔案600讀取基層及增強層兩者。所得位元串流652因此包括各自包括自播放軌0讀取之基本圖像664a、664b、664c、664n及自播放軌1讀取之增強型圖像666a、666b、666c、666n的一系列存取單元662a、662b、662c、662n。在此實例中，每一存取單元首先以來自基層之NAL單元填充且接著以來自增強層之NAL單元填充。由於EOB NAL單元640在實例檔案600中之基層中，因此在實例位元串流652中，EOB NAL單元640並非為最後存取單元中之最後NAL單元。位元串流652因此可不被正確地解碼。 圖7說明其中已儲存多層位元串流的ISO基本媒體檔案700之另一實例。在所說明的實例中，位元串流包括層0中之AVC基層及層1中之包括AVC基層之HEVC版本的增強層。基層可已使用AVC編碼，此係由於位元串流為未經重新編碼用於HEVC的舊版位元串流或由於位元串流被製作成與具有早期解碼器引擎之解碼器器件相容，或出於某一其他原因。可進一步提供增強層，以使得可藉由支援HEVC之解碼器器件檢視相同位元串流。在其他實例中，可已使用不同於AVC之編碼解碼器編碼基層，使得基層包括未使用HEVC編碼解碼器編碼的樣本。 實例檔案700包括檔案類型框710，其可指定ISOBMFF之品牌或特定反覆或ISOBMFF之檔案700與之相容的衍生。檔案700亦可包括電影框720，其可含有用於位元串流之後設資料。實例檔案700亦包括媒體資料框730a、730b，其可含有位元串流之樣本。 電影框720在此實例中包括電影標頭框722及播放軌0及播放軌1之兩個播放軌框724a、724b。電影標頭框722可包括描述作為整體之呈現的資訊。在此實例中，層0係在播放軌0中，且因此第一播放軌框724a包括用於層0之後設資料。另外，層1係在播放軌1中；因此第二播放軌框724b包括用於層1之後設資料。在其他實例中，用於兩個層之後設資料可在一個播放軌框中。在其他實例中，位元串流可包括大於兩個層。在此等實例中，一些播放軌可包括一個層及/或一些播放軌可包括兩個或大於兩個層。 在此實例中，每一播放軌框724a、724b包括播放軌標頭框726a、762b及媒體框728a、728b。播放軌標頭框726a、762b可描述播放軌，而媒體框728a、728b可包括播放軌中之樣本的描述。舉例而言，播放軌0的框724a中之播放軌標頭框726a及/或媒體框728a可指示播放軌0之樣本係使用AVC而編碼。類似地，播放軌1的框724b中之播放軌標頭框726b及/或媒體框728b可指示播放軌1之樣本係使用HEVC而編碼。 如上文所論述，儲存於檔案700中的位元串流可具有EOB NAL單元740。在所說明的實例中，編碼器器件已將EOB NAL單元740置放在基層中，以使得可在播放軌0中發現EOB NAL單元740。在各種實施中，可由於編碼約束條件需要編碼器器件將EOB NAL單元740置放在基層中。在一些狀況下，編碼器可出於另一原因而已將EOB NAL單元740置放在基層中。舉例而言，位元串流中之最後存取單元可將僅僅一圖像包括於基層中。在此等及其他實例中，將根據AVC編碼解碼器產生EOB NAL單元740。 在此實例中，可產生針對解碼器器件之問題。舉例而言，當解碼器器件為與HEVC相容時，解碼器器件可指示檔案剖析引擎自檔案700讀取基層及增強層兩者。然而，EOB NAL單元740由於在基層中將為使用AVC產生的EOB NAL單元。因此，即使自檔案700讀取並置放於所得位元串流之結束處，所得位元串流可並不完全與HEVC相容，且可並不藉由HEVC解碼器器件正確地處理。 在各種實施中，各種技術可用以克服上文關於EOB NAL單元所論述的問題。圖8A說明根據本發明之技術產生的ISO基本媒體檔案800之實例。在所說明的實例中，位元串流包括層0中之基層及層1中之增強層。實例檔案800進一步包括檔案類型框810，其可指定ISOBMFF之品牌或特定反覆或ISOBMFF之檔案800與之相容的衍生。檔案800亦可包括電影框820，其可含有用於位元串流之後設資料。實例檔案800亦包括媒體資料框830a、830b，其可含有位元串流之樣本。 電影框820在此實例中包括電影標頭框822及播放軌0及播放軌1之兩個播放軌框824a、824b。電影標頭框822可包括描述作為整體之呈現的資訊。在此實例中，層0係在播放軌0中，且因此第一播放軌框824a包括用於層0之後設資料。另外，層1係在播放軌1中，因此第二播放軌框824b包括用於層1之後設資料。在其他實例中，用於兩個層之後設資料可在一個播放軌框中。在其他實例中，位元串流可包括大於兩個層。在此等實例中，一些播放軌可包括一個層及/或一些播放軌可包括兩個或大於兩個層。 在此實例中，每一播放軌框824a、824b包括播放軌標頭框826a、862b及媒體框828a、828b。播放軌標頭框826a、862b可描述播放軌，而媒體框828a、828b可包括播放軌中之樣本的描述。 在本發明之各種實施中，用於克服與EOB NAL單元在檔案800中之置放相關的問題的技術包括放寬EOB NAL單元在該檔案中之存在，以使得EOB NAL單元840a、840b可存在於一或多個播放軌中。如圖8中所說明，播放軌0因此可或可不包括EOB NAL單元840a。類似地，播放軌1亦可或可不包括EOB NAL單元840b。在一些狀況下，EOB NAL單元840a 840b可為類似的。在一些狀況下，播放軌0中之EOB NAL單元840a可不同於播放軌1中之EOB NAL單元840b。舉例而言，可使用不同於HEVC之編碼解碼器編碼播放軌0中之EOB NAL單元，而使用HEVC編碼解碼器編碼播放軌1中之EOB NAL單元。 圖8B及圖8C說明可自圖8A中所說明之檔案800建構的位元串流850、852的實例。在圖8B及圖8C兩者中，解碼器器件僅僅需要基層，且因此指示檔案剖析引擎僅僅讀取播放軌0。每一實例位元串流850、852因此包括各自包括來自基層之基本圖像864a、864b、864c、864n的一系列存取單元862a、862b、862c、862n。 在圖8B的實例中，播放軌0包括基層之EOB NAL單元840a，且播放軌1並不包括增強層之EOB NAL單元840b。在此實例中，解碼器器件之檔案剖析引擎可判定基層為包括EOB NAL單元之最高層，意謂無其他與比另一層(在此實例中，基層)更大(例如，「更高」)之層ID值相關聯的「較高」層(例如，增強層)包括EOB NAL單元。檔案剖析引擎因此可將來自基層之EOB NAL單元840a包括於重建位元串流850之最後存取單元862n中。所得位元串流850因此可在沒有任何與EOB NAL單元840a相關的錯誤之情況下被解碼。 圖8B中所說明的技術可確保當僅僅自檔案800讀取播放軌0時，EOB NAL單元840a包括於經重建位元串流650中。在此實例中，儘管考慮其他層，但檔案剖析引擎可判定來自基層之EOB NAL單元840a適於在位元串流650中使用。 在圖8C的實例中，有可能播放軌0並不包括EOB NAL單元，且播放軌1中之增強層包括EOB NAL單元840b。在此實例中，當解碼器器件之檔案剖析引擎讀取檔案800時，剖析引擎可經組態以偵測到基層不包括EOB NAL單元。檔案剖析引擎可經進一步組態以讀取(例如，處理)最高層之播放軌(在此實例中，播放軌1)以判定播放軌中之層是否包括EOB NAL單元。在各種實施中，當最高層播放軌不包括EOB NAL單元時，檔案剖析引擎可嘗試用於下一最高層之播放軌，等等直至EOB NAL單元經定位或檔案剖析引擎判定檔案800不包括EOB NAL單元為止。在所說明的實例中，發現播放軌1中之EOB NAL單元時，檔案剖析引擎可將此EOB NAL單元840b置放(例如，包括)於重建位元串流852之最後存取單元862n中(例如，內)。所得位元串流852因此可在沒有任何與EOB NAL單元相關的錯誤之情況下被解碼。 替代地，在圖8C的實例中，有可能播放軌0及播放軌1兩者包括EOB NAL單元840a、840b。在此狀況下，在一些實施中，檔案剖析引擎可經組態以定位最高層(例如，在此實例中，增強層)中之EOB NAL單元840b，並將此EOB NAL單元840b置放於經重建位元串流852之最後存取單元862n中。可丟棄任何其他EOB NAL單元(包括來自基層之EOB NAL單元840a)。 圖8C中所說明的技術可避免可在解碼器器件僅僅需要基層時產生的問題，基層不包括EOB NAL單元或包括與解碼器器件之解碼器引擎可能不相容的EOB NAL單元。舉例而言，當實例檔案800不包括基層中之EOB NAL單元時，可實際上提供來自較高層之EOB NAL單元。作為另一實例，當使用AVC編碼基層中之EOB NAL單元但解碼器器件包括HEVC解碼器引擎時，來自較高層之HEVC EOB NAL單元可取代基層中之EOB NAL單元。 圖8D及圖8E說明可自圖8A中所說明之檔案800建構的位元串流854、856的額外實例。在圖8D及圖8E兩者中，解碼器器件需要基層及增強層兩者，且因此指示檔案剖析引擎讀取播放軌0及播放軌1兩者。每一實例位元串流850、852因此包括各自包括來自基層之基本圖像864a、864b、864c、864n及來自增強層之增強型圖像868a、868b、868c、868n的一系列存取單元862a、862b、862c、862n。 在圖8D的實例中，基層及增強層兩者包括EOB NAL單元840a、840b。在此實例中，在各種實施中，解碼器器件之檔案剖析引擎可經組態以包括僅僅來自最高層(在此實例中，增強層)之EOB NAL單元840b並丟棄任何其他EOB NAL單元(例如，來自基層之EOB NAL單元840a)。經重建檔案854a因此僅僅包括來自增強層(例如，最高層)之EOB NAL單元840b。 圖8D中所說明的技術可避免產生包括大於一個EOB NAL單元或包括僅僅來自基層之EOB NAL單元的位元串流。舉例而言，當檔案將以其他方式僅僅具有基層中之EOB NAL單元時，允許增強層中之EOB NAL單元，以使得包括兩個層的經重建位元串流不僅僅具有不恰當地定位於最後存取單元之中間的來自基層之EOB NAL單元。解碼器器件之檔案剖析引擎可進一步確保位元串流不具有大於一個EOB NAL單元。 在圖8E的實例中，基層包括EOB NAL單元840a，但增強層不包括EOB NAL單元。在此實例中，在各種實施中，解碼器器件之檔案剖析引擎識別在最高層(在此實例中，基層)中的EOB NAL單元，並重新排序自檔案讀取的NAL單元，以使得來自最高層之EOB NAL單元移動至最後存取單元862n之結束。可丟棄任何其他EOB NAL單元。 圖8E中所說明的技術可避免產生具有不在最後存取單元之結束處的EOB NAL單元之位元串流。舉例而言，當基層包括EOB NAL單元但增強層不包括EOB NAL單元時，則在不使用所說明技術的情況下，EOB NAL單元將置放於最後存取單元862n之中間某處，而非結束處。 上文所論述之各種技術因此可解決可在位元串流寫入至(例如，儲存)檔案時關於EOB NAL單元之置放產生的問題。更一般而言，以上技術規定，當EOB NAL單元是圖像之並非來自最高層的部分時，EOB NAL單元應在重建位元串流期間置放於最後存取單元之結束處，除非在最高層中有作為圖像之部分存在的EOB NAL單元。在後一狀況中，來自最高層之EOB NAL單元應包括於最後存取單元中。或者或另外，當大於一個EOB NAL單元存在於存取單元中時，應使用為具有最高層ID值之圖像之部分的EOB NAL單元，且應丟棄任何其他EOB NAL單元。 圖9說明可包括於ISO基本媒體檔案中之媒體框940及媒體資料框938a、938b的實例。如上文所論述，媒體框可包括於播放軌框中，且可含有描述播放軌中之媒體資料的物件及資訊。在所說明之實例中，媒體框940包括媒體資訊框942。媒體框940亦可包括此處未說明之其他框。 媒體資訊框942可含有描述關於播放軌中之媒體之特性資訊的物件。舉例而言，媒體資訊框942可包括描述播放軌中之媒體資訊之位置的資料資訊框。作為另一實例，當播放軌包括視訊資料時，媒體資訊框942可包括視訊媒體標頭。視訊媒體標頭可含有獨立於視訊媒體之寫碼的大體呈現資訊。當播放軌包括音訊資料時，媒體資訊框942亦可包括聲音媒體標頭。 媒體資訊框942亦可包括樣本表框944，如所說明實例中所提供。藉由框類型「stbl」識別之樣本表框944可提供播放軌中之媒體樣本的位置(例如，檔案內之位置)，以及樣本之時間資訊。使用藉由樣本表框944提供之資訊，播放器器件可以正確時間次序定位樣本，判定樣本之類型，及/或判定大小、容器及容器內之樣本的偏移外加其他。 樣本表框944可包括藉由框類型「stsd」識別之樣本描述框946。樣本描述框946可提供關於(例如)用於樣本之寫碼類型之詳細資訊，及針對彼寫碼類型需要之任何初始化資訊。儲存於樣本描述框中之資訊對於包括樣本之播放軌的類型可為特定的。舉例而言，一個格式在播放軌為視訊播放軌時可用於樣本描述，且在播放軌為提示播放軌時可使用不同格式。作為另一實例，樣本描述之格式亦可取決於提示播放軌之格式而發生變化。 樣本描述框946可包括一或多個樣本項948a、948b、948c。樣本項類型為摘要類別，且因此通常樣本描述框946包括特定樣本項，諸如視訊資料之可見樣本項或音訊樣本之音訊樣本項外加其他實例。樣本項框可儲存針對特定樣本之參數。舉例而言，對於視訊樣本，樣本項框可包括視訊樣本之寬度、高度、水平解析度、垂直解析度、圖框計數及/或深度外加其他。作為另一實例，對於音訊樣本，樣本項可包括通道計數、通道佈局及/或取樣速率外加其他。 由樣本項948a、948b、948c描述之樣本970a、970b、970c儲存於媒體資料框938a、938b中。媒體資料框938a、938b可包括於檔案之頂部層級中。樣本描述框946中參考的樣本可包括於不同媒體資料框938a、938b中，或可包括於一個媒體資料框中。媒體資料框938a、938b可在與媒體框940相同之檔案中及/或可在其他檔案中。 除上文所論述之問題以外，產生在將頻塊播放軌寫入至根據ISOBMFF或自ISOBMFF衍生之格式而格式化的檔案方面的各種問題。 HEVC標準之某些版本提供對於稱為頻塊(tile)之矩形區之寫碼的支援。此等區可具有與來自先前經寫碼圖像之其他頻塊的寫碼相依性或可經獨立地解碼。頻塊可經描述為對應於圖框中之一或多個圖塊的單個矩形區。頻塊可分群成頻塊集合，其對應於在單個圖塊中寫碼的若干頻塊。頻塊集合可用以描述頻塊之間的相依性及/或描述跨越若干頻塊之關注區。 包括頻塊之樣本的ISO基本媒體檔案中之播放軌通常被稱作頻塊播放軌。頻塊播放軌可具有區分此等播放軌與其他播放軌的要求。來自ISO/IEC 14496-15的條款10.6.1之以下摘錄提供此等要求之一些實例： 「HEVC(分別地LHEHC)頻塊播放軌為存在對攜載頻塊所屬的相關聯HEVC層之NALU的HEVC(分別地LHEVC) 播放軌的'tbas'參考的視訊播放軌。HEVC頻塊播放軌之樣本描述類型應為'hvt1'。LHEVC頻塊播放軌之樣本描述類型應為'lht1'。 「頻塊播放軌中之樣本與樣本描述框都不應含有VPS、SPS或PPS NAL單元，此等NAL單元應在樣本中或在含有相關聯層的播放軌之樣本描述框中，如藉由播放軌參考所識別。HEVC/LHEVC頻塊播放軌及含有相關聯層之播放軌 (如藉由'tbas'播放軌參考所指示) 兩者可使用如附錄B中所定義的提取器以指示原始位元串流如何被重建；在某些應用領域中，提取器在此等播放軌中的存在可受限制。」 在上文中，包括頻塊播放軌所屬的層的播放軌(其藉由頻塊播放軌之'tbas'參考所參考)可被稱作基本播放軌。 如上述摘錄中所提及，提取器可用以重建頻塊化的位元串流。提取器為ISO基本媒體檔案中之使得能夠自不同於含有提取器之播放軌的播放軌提取NAL單元的結構。特定言之，提取器含有指令以自另一播放軌提取資料，該另一播放軌連結至提取器駐存於其中之播放軌。ISO/IEC 14496-15之條款10.6.4將提取器關於頻塊播放軌的使用描述如下：  「使用頻塊播放軌的HEVC或L-HEVC播放軌可使用提取器以參考來自其頻塊播放軌之資料，在此狀況下播放軌應具有對頻塊播放軌的'scal'播放軌參考。」 在一些狀況下，循環提取器參考可在ISO基本媒體檔案包括HEVC及L-HEVC頻塊播放軌時發生可係可能的。舉例而言，如上文所提及，參數集(例如，VPS、SPS或PPS NAL單元)未儲存於頻塊播放軌中，且實際上可在樣本描述框或含有與頻塊播放軌(例如，基本播放軌)相關聯之層的播放軌之樣本中發現。頻塊播放軌中之樣本因此使用提取器以參考參數集。然而，在一些狀況下，基本播放軌自身可使用提取器以參考頻塊播放軌中之NAL單元，如由來自條款10.6.4之上述引用規定。因此可產生頻塊播放軌之樣本與基本播放軌中之樣本之間的循環參考。 各種技術可用以克服頻塊播放軌中之循環提取器參考(在此等參考發生時)。舉例而言，約束條件可經定義以使得當播放軌含有對頻塊播放軌之'scal'播放軌參考時，參考頻塊播放軌不應含有提取器。在此實例中，參數集應僅僅存在於樣本項中，且不在由'tbas'播放軌參考所參考的基本播放軌之樣本中。 在一些狀況下，一或多個頻塊化的存取單元自ISO基本媒體檔案的重建亦可遇到問題。頻塊化的存取單元之重建描述於IOS/IEC 14496-14之條款10.6.4 中，且可概述如下：對於隱式重建，使用頻塊播放軌之HEVC或L-HEVC播放軌應使用對頻塊播放軌之'sabt'播放軌參考來指示頻塊定序；HEVC或LHEVC播放軌之樣本係藉由按播放軌參考之次序將在此播放軌之'sabt'播放軌參考中指示的所有播放軌中的具有相同解碼時間(例如，僅僅使用時間至樣本表而不考慮編輯清單)的樣本中所含有之NAL單元附加至樣本資料而重建。 當HEVC或LHEVC頻塊播放軌使用提取器(例如，以參考含於HEVC或LHEVC播放軌樣本中的參數集NAL單元)時，問題可隨上述重建方法一起發生。在一些狀況下，藉由提取器參考的資料將在最終經重建的頻塊化的存取單元中複製。 各種技術可用以避免資料在頻塊化的存取單元中的複製。舉例而言，可施加約束條件以使得HEVC或L-HEVC頻塊播放軌不應使用提取器以參考頻塊播放軌之'tbas''播放軌。作為另一實例，在頻塊存取單元之重建中，當使用隱式重建時，應忽略對'tbas'播放軌之提取器。作為另一實例，可施加約束條件以使得對於頻塊化的存取單元之隱式重建，應忽略頻塊播放軌中之提取器(若存在)。 如由來自上文引用的ISO/IEC 14496-15之條款10.6.1的摘錄規定，HEVC及L-HEVC頻塊播放軌可使用提取器。舉例而言，頻塊播放軌可自藉由頻塊播放軌之'tbas'參考所參考的播放軌(例如，基本播放軌)提取樣本。頻塊播放軌之解碼及/或播放因此需要基本播放軌的存在。由於提取器之一個目的係提供播放軌之更緊湊形式，因此使頻塊播放軌使用提取器似乎與此目的相反。 各種技術可用以避免在無利可圖的情況下使用頻塊播放軌中的提取器。舉例而言，在各種實施中，可禁止使用任一頻塊播放軌中的提取器。 與頻塊播放軌相關的可能出現的另一問題發生在僅僅需要來自HEVC或L-HEVC頻塊播放軌之視訊部分時。在此情況下，ISO/IEC 14496-15規範不指定錯誤剖析器應產生用於解碼器引擎之資料。 各種技術可用以克服在僅僅需要HEVC或L-HEVC頻塊播放軌之視訊部分時ISO/IEC 14496-15中關於串流或存取單元建構之遺漏規範。舉例而言，可使用以下處理程序：首先，可輸出含於樣本項中的參數集及補充增強資訊(SEI)NAL單元。接下來，可按以下次序輸出其他NAL單元：必須在VCL NAL單元(例如，參數集NAL單元、前置SEI NAL單元等)之前的在基本播放軌(如藉由'tbas'播放軌參考所指示)中之第一樣本(下文稱為「firstSampleInBaseTrack」)中之NAL單元；頻塊播放軌中之firstSampleInBaseTrack之相應樣本中的NAL單元；必須在VLC NAL單元(例如，EOS NAL單元、EOB NAL單元)之後的在firstSampleInBaseTrack中的NAL單元；必須在VLC NAL單元之前的在基本播放軌中之第二樣本(下文稱為「secondSampleInBaseTrack」)中的NAL單元；在頻塊播放軌中之secondSampleInBaseTrack之相應樣本中的NAL單元；必須在VLC NAL單元之後的在secondSampleInBaseTrack中的NAL單元，等等。 在上述處理程序中，基本播放軌及頻塊播放軌中之樣本係藉由解碼時間而同步。換言之，基本播放軌中之樣本及其在頻塊播放軌中之相應樣本具有相同解碼時間。 對於HEVC及L-HEVC頻塊播放軌之一個使用狀況為解碼圖像內之關注區(ROI)，而不是解碼整個圖像。在此狀況下，圖像之儲存在頻塊播放軌中的部分可被解碼。為如此執行，可需要知曉圖像內之頻塊的相對位置。 各種技術可用以傳信圖像內頻塊之位置。舉例而言，偏移資訊可包括於HEVC或L-HEVC頻塊播放軌之樣本項中。偏移資訊可包括水平及/或垂直偏移。可以像素單位、派卡(picas)、公分、幾分之一英吋、巨集區塊或一些其他量測單位提供偏移。 為提供頻塊播放軌之偏移資訊，提議對ISO/IEC 14496-15之章節10.6.2.2及10.6.3.2的修改。此等章節之本文提供於下，其中被添加至此等章節之文字使用帶下劃線的文字(添加文字之實例 )指示。10.6.2.2 語法 class HEVCTileConfigurationBox extends Box('hvtC') {unsigned int(16) horizontal_offset; unsigned int(16) vertical_offset; HEVCTileTierLevelConfigurationRecord() HEVCTileTierLevelConfig; }horizontal _ offset 及 vertical _ offset 按明度 樣本之單位給出由此播放軌表示的頻塊所表示的矩形區之左上明度樣本相對於由 ' tbas ' 參考播放軌表示的圖像之左上明度樣本的水平及垂直偏移。 10 . 6 . 3 . 2 語法 class LHEVCTileSampleEntry() extends VisualSampleEntry ('lht1'){unsigned int(16) min_horizontal_offset; unsigned int(16) min_vertical_offset; unsigned int(16) max_horizontal_offset; unsigned int(16) max_vertical_offset; MPEG4BitRateBox ();                          // 可選 Box extra_boxes[];                    // 可選 }min _ horizontal _ offset 及 min _ vertical _ offset 按明度 樣本之單位給出最低層的由此播放軌表示的頻塊所表示的矩形區之左上明度樣本相對於由 ' tbas ' 參考播放軌表示的最低層之圖像的左上明度樣本的水平及垂直偏移。 max _ horizontal _ offset 及 max _ vertical _ offset 按明度 樣本之單位給出最高層的由此播放軌表示的頻塊所表示的矩形區之左上明度樣本相對於由 ' tbas ' 參考播放軌表示的最低層之圖像的左上明度樣本的水平及垂直偏移。 圖10說明用於處理經編碼視訊資料的處理程序1000之實例，其中包括經編碼視訊資料之檔案可具有大於一個EOB NAL單元。在1002處，處理程序1000包括接收與經編碼視訊資料相關聯的檔案，其中該經編碼視訊資料根據檔案格式儲存於檔案中，其中經編碼視訊資料包括兩個或大於兩個層，且其中兩個或大於兩個層儲存於檔案中之兩個或大於兩個播放軌中。在一些狀況下，檔案中之至少兩層可各自具有EOB NAL單元。在一些狀況下，僅僅基層包括EOB NAL單元。在一些狀況下，一或多個增強層可各自具有EOB NAL單元。 在1004處，處理程序1000包括自兩個或大於兩個層當中判定第一層，其中第一層經判定為兩個或大於兩個層當中包括位元串流結束指示符的最高層(例如，具有最高層ID值之層)。亦即，當檔案包括具有EOB指示符之大於一個層時，在步驟1004處識別(例如，判定)具有EOB指示符之最高層。在一些狀況下，可能在檔案中存在甚至更高層(例如，與大於具有EOB指示符之前述最高層的層ID值相關聯的層)，但此等更高層不包括EOB。 在1006處，處理程序1000包括判定第一位元串流結束指示符，其中第一位元串流結束指示符為來自第一層之位元串流結束指示符。 在1008處，處理程序1000包括自兩個或大於兩個層當中選擇(例如，識別)一組層。在各種實施中，該組層可基於經選擇用於顯示的層中之樣本而選擇。在一些狀況下，該組層可包括比檔案中之層的數目少的層。在一些狀況下，該組層可包括僅僅一個層。 在1010處，處理程序1000包括產生一系列存取單元，其中該系列存取單元包括來自該組層之樣本。 在1012處，處理程序1000包括使用該系列存取單元及第一位元串流結束指示符產生經重建位元串流，其中經重建位元串流中之最後存取單元包括第一位元串流結束指示符。舉例而言，在一些狀況下，如上文所描述，一系列存取單元之最後存取單元可不包括位元串流結束指示符。在此等狀況下，第一位元串流結束指示符可被添加至該系列存取單元中之最後存取單元。在各種實施中，第一位元串流結束指示符可在位元串流重建期間被添加至該系列存取單元中之最後存取單元。該系列存取單元中之最後存取單元接著可變成經重建位元串流中之最後存取單元。 在一些狀況下，重建位元串流所源於的該組層可不包括在步驟1004處判定的第一層。換言之，與經重建位元串流相關聯的該組層可不包括與最大層ID值相關聯的亦包括位元串流結束指示符的層。在此等狀況下，第一層可為與高於存在於步驟1008中所選擇或識別的該組層中之最高層的層ID值相關聯的層。當情況就是這樣時，包括於第一層內的第一位元串流結束指示符可經添加(例如，被包括)至該系列存取單元中之最後存取單元，而不管該組層中之任何層是否將位元串流結束指示符貢獻給此最後存取單元。 在一些狀況下，在步驟1004判定的第一層可為比在步驟1008處判定的該組層中之最高層低的層。在此等狀況下，來自第一層的第一位元串流結束指示符可移動至該系列存取單元中之最後存取單元。第一層可或可不在該組層中。 在一些狀況下，在產生經重建位元串流中之最後存取單元後，此最後存取單元可具有大於一個位元串流結束指示符。當情況就是這樣時，可移除位元串流結束指示符中的不同於來自第一層的第一位元串流結束指示符的每一者。因此，經重建位元串流中之最後存取單元將僅僅包括第一位元串流結束指示符。 在一些實例中，處理程序1000可藉由計算器件或裝置(諸如系統100)執行。舉例而言，處理程序1000可藉由圖1中展示的系統100及/或儲存器108或輸出端110執行。在一些狀況下，計算器件或裝置可包括處理器、微處理器、微電腦或經組態以實施處理程序1000之步驟的器件之其他組件。在一些實例中，計算器件或裝置可包括經組態以俘獲包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。舉例而言，計算器件可包括攝影機器件(例如，IP攝影機或其他類型之攝影機器件)，該攝影機器件可包括視訊編碼解碼器。在一些實例中，俘獲視訊資料之攝影機或其他俘獲器件與計算器件分離，在此狀況下，計算器件接收所俘獲視訊資料。計算器件可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料。 處理程序1000經說明為邏輯流程圖，其操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上的當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、邏輯、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序組合及/或與實施程序並行。 另外，處理程序1000可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同在一或多個處理器上執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)、藉由硬體實施或其組合。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。 編碼器件1004及解碼器件1212之特定細節分別展示於圖11及圖12中。圖11為說明可實施本發明中所描述之技術中之一或多者的實例編碼器件1104之方塊圖。編碼器件1104可(例如)產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件1104可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。 編碼器件1104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建，編碼器件1104亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元63在圖11中展示為迴路濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。後處理器件57可對由編碼器件1104產生之經編碼視訊資料執行額外處理。本發明之技術可在一些情況下由編碼器件1104實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理器件57實施。 如圖11中所展示，編碼器件1104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括(例如)根據LCU及CU之四分樹結構分割成圖塊、圖塊片段、頻塊或其他較大單元，以及視訊區塊分割。編碼器件1104通常說明編碼待編碼之視訊圖塊內的視訊區塊之組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作頻塊之視訊區塊集合)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真等級，或其類似者)選擇複數個可能寫碼模式中之一者(諸如，複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建經編碼區塊以用於用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在相同之圖框或圖塊中之一或多個相鄰區塊的框內預測寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的位移。 預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，編碼器件1104可計算儲存於圖像記憶體64中之參考圖像的次整數像素位置之值。舉例而言，編碼器件1104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由將PU之位置與參考圖像之預測性區塊的位置比較而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於藉由運動估計判定之運動向量提取或產生預測性區塊，可能執行內插達子像素精確度。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件1104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供解碼器件1212用於解碼視訊圖塊之視訊區塊。 作為如上文所描述由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測處理單元46可對當前區塊進行框內預測。特定而言，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇待使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選定框內預測模式之資訊。編碼器件1104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，編碼器件1104藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。 變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化處理程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。 在量化之後，熵編碼單元56對經量化轉換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼器件1212，或加以存檔以供稍後由解碼器件1212傳輸或擷取。熵編碼單元56亦可對正經寫碼之當前視訊圖塊之運動向量及其他語法元素進行熵編碼。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重建像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建殘餘區塊，以計算次整數像素值以用於運動估計中。求和器62將經重建殘餘區塊添加至由運動補償單元44所產生之運動補償預測區塊以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。 以此方式，圖11之編碼器件1104表示經組態以產生經編碼視訊位元串流之語法的視訊編碼器之實例。編碼器件1104可(例如)產生如上文所描述之VPS、SPS及PPS參數集。編碼器件1104可執行本文中所描述之技術中之任一者，包括上文關於圖11及圖12描述之處理程序。大體上已關於編碼器件1104描述本發明之技術，但如上文所提及，本發明之技術中的一些亦可由後處理器件57實施。 圖12為說明實例解碼器件1212之方塊圖。解碼器件1212包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。解碼器件1212可在一些實例中執行與關於來自圖11之視訊器件1104描述之編碼遍次大體上互逆的解碼遍次。 在解碼程序期間，解碼器件1212接收表示由編碼器件1104發送之經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。在一些實施例中，解碼器件1212可自編碼器件1104接收經編碼視訊位元串流。在一些實施例中，解碼器件1212可自網路實體79(諸如，伺服器、媒體感知網路元件(MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類器件)接收經編碼視訊位元串流。網路實體79可或可不包括編碼器件1104。在網路實體79將經編碼視訊位元串流傳輸至解碼器件1212之前，本發明中所描述之技術中的一些可由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼器件1212可為獨立器件之部分，而在其他情況下，關於網路實體79描述之功能性可由包含解碼器件1212之同一器件執行。 解碼器件1212之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。解碼器件1212可接收視訊圖塊層級及/或視訊區塊層級之語法元素。熵解碼單元80可處理並剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當將視訊圖塊寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於傳信的框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框被寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單內之參考圖像中之一者產生。解碼器件1212可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素來判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單的建構資訊、圖塊之每一經框間編碼視訊區塊的運動向量、圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼器件1104使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元82可自所接收語法元素判定由編碼器件1104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化(或解量化)位元串流中所提供，並由熵解碼單元80解碼的經量化之變換係數。反量化處理程序可包括使用由編碼器件1104針對視訊圖塊中之每一視訊區塊計算之量化參數以判定應應用之量化程度(同樣地)及反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適的反變換)、反整數變換或概念上類似的反變換處理程序應用於變換係數以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，解碼器件1212藉由將來自反轉換處理單元88之殘餘區塊與由運動補償單元82所產生之相應預測性區塊求和，而形成經解碼視訊區塊。求和器90表示執行此求和運算之組件或多個組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器(諸如，解區塊濾波器、可調適迴路濾波器(ALF)及樣本可適性偏移(SAO)濾波器)。儘管濾波器單元91在圖12中展示為迴路濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1中所展示之視訊目的地器件122)上。 在前述描述中，申請案之態樣係參考特定實施例而描述，但熟習此項技術者將認識到本發明不限於此。因此，儘管申請案之說明性實施例已經在本文中詳細地描述，應理解，本發明概念可以其他方式不同地體現並採用，且意欲解釋所附申請專利範圍以包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而不是限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。 在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合的電子電路)以執行操作或其任何組合來實現此組態。 結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。將此功能性實施為硬體還是軟體視特定應用及外加於整個系統上之設計約束而定。對於每一特定應用而言，熟習此項技術者可以變化之方式實施所描述之功能性，但不應將該等實施決策解釋為導致脫離本發明之範疇。 因此，本文中描述之技術可以硬體、軟體、韌體或其任何組合實施。此等技術可實施於多種器件中之任何者中，諸如，通用電腦、無線通信器件手機或具有多種用途(包括在無線通信器件手機及其他器件中之應用）之積體電路器件。可將描述為模組或組件之任何特徵一起實施於整合式邏輯器件中或分開來實施為離散但可互操作之邏輯器件。若以軟體實施，則該等技術可至少部分由包含包括當經執行時執行以上描述方法中之一或多者之指令之程式碼的電腦可讀資料儲存媒體實現。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。該等技術另外或替代地可至少部分由電腦可讀通信媒體實現，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中所描述的技術中之任何者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構、前述結構之任何組合或適合於實施本文中描述之技術的任何其他結構或裝置中之任一者。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組，或併入於組合之視訊編碼器-解碼器(編碼解碼器)中。 本文中所論述之寫碼技術可體現於實例視訊編碼及解碼系統中。系統包括藉由目的地器件提供待稍後經解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話）、所謂「智慧型」平板電腦、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些狀況下，源器件及目的地器件可經裝備以用於無線通信。 目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含通信媒體以使得源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件至目的地器件之通信的任何其他裝備。 在一些實例中，經編碼資料可自輸出介面輸出至儲存器件。類似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之經編碼視訊的另一中間儲存器件。目的地器件可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或適合於存取存儲於檔案伺服器上的經編碼視訊資料之兩者的組合。來自儲存器件之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一個實例中，源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣，目的地器件可與外部顯示器件介接，而非包括整合式顯示器件。 以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱為「編碼解碼器(CODEC)」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅為源器件產生經寫碼視訊資料以供傳輸至目的地器件之此類寫碼器件的實例。在一些實例中，源器件及目的地器件可以大體上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源為視訊攝影機，則源器件及目的地器件可形成所謂攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，可由視訊編碼器編碼所俘獲、經預俘獲或電腦產生之視訊。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。 如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件。類似地，媒體生產設施(諸如光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖片群組(GOP))之特性及/或處理的語法元素。顯示器件將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。已描述了本發明之各種實施例。
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
57‧‧‧後處理器件
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧圖像記憶體
79‧‧‧網路實體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧圖像記憶體
100‧‧‧系統
102‧‧‧視訊源
104‧‧‧編碼器件
106‧‧‧編碼器引擎
108‧‧‧儲存器
110‧‧‧輸出端
112‧‧‧解碼器件
114‧‧‧輸入端
116‧‧‧解碼器引擎
118‧‧‧儲存器
120‧‧‧通信鏈路
122‧‧‧視訊目的地器件
200‧‧‧分層HEVC位元串流
202‧‧‧基層
204‧‧‧圖像
212‧‧‧層1
214‧‧‧圖像
222‧‧‧層2
224‧‧‧圖像
300‧‧‧ISO基本媒體檔案
310‧‧‧檔案類型框
320‧‧‧電影框
322‧‧‧電影標頭框
324‧‧‧播放軌框
324a‧‧‧播放軌標頭框
324b‧‧‧媒體框
330a‧‧‧電影片段
330b‧‧‧電影片段
330c‧‧‧電影片段
330n‧‧‧電影片段
332‧‧‧電影片段框
334‧‧‧電影片段標頭框
336‧‧‧播放軌片段框
338‧‧‧媒體資料框
400‧‧‧ISO基本媒體檔案
410‧‧‧檔案類型框
420‧‧‧電影框
422‧‧‧電影標頭框
424a‧‧‧播放軌框
424b‧‧‧播放軌框
426a‧‧‧播放軌標頭框
426b‧‧‧播放軌標頭框
428a‧‧‧媒體資料框
428b‧‧‧媒體資料框
430a‧‧‧媒體資料框
430b‧‧‧媒體資料框
500‧‧‧ISO基本媒體檔案
510‧‧‧檔案類型框
520‧‧‧電影框
522‧‧‧電影標頭框
524a‧‧‧播放軌框
524b‧‧‧播放軌框
526a‧‧‧播放軌標頭框
526b‧‧‧播放軌標頭框
528a‧‧‧媒體框
528b‧‧‧媒體框
530a‧‧‧媒體資料框
530b‧‧‧媒體資料框
540‧‧‧EOB NAL單元
550‧‧‧位元串流
552‧‧‧位元串流
562a‧‧‧存取單元
562b‧‧‧存取單元
562c‧‧‧存取單元
562n‧‧‧存取單元
564a‧‧‧基本圖像
564b‧‧‧基本圖像
564c‧‧‧基本圖像
564n‧‧‧基本圖像
566a‧‧‧增強型圖像
566b‧‧‧增強型圖像
566c‧‧‧增強型圖像
566n‧‧‧增強型圖像
600‧‧‧ISO基本媒體檔案
610‧‧‧檔案類型框
620‧‧‧電影框
622‧‧‧電影標頭框
624a‧‧‧播放軌框
624b‧‧‧播放軌框
626a‧‧‧播放軌標頭框
626b‧‧‧播放軌標頭框
628a‧‧‧媒體框
628b‧‧‧媒體框
630a‧‧‧媒體資料框
630b‧‧‧媒體資料框
640‧‧‧EOB NAL單元
650‧‧‧位元串流
652‧‧‧位元串流
662a‧‧‧存取單元
662b‧‧‧存取單元
662c‧‧‧存取單元
662n‧‧‧存取單元
664a‧‧‧基本圖像
664b‧‧‧基本圖像
664c‧‧‧基本圖像
664n‧‧‧基本圖像
666a‧‧‧增強型圖像
666b‧‧‧增強型圖像
666c‧‧‧增強型圖像
666n‧‧‧增強型圖像
700‧‧‧ISO基本媒體檔案
710‧‧‧檔案類型框
720‧‧‧電影框
722‧‧‧電影標頭框
724a‧‧‧播放軌框
724b‧‧‧播放軌框
726a‧‧‧播放軌標頭框
726b‧‧‧播放軌標頭框
728a‧‧‧媒體框
728b‧‧‧媒體框
730a‧‧‧媒體資料框
730b‧‧‧媒體資料框
740‧‧‧EOB NAL單元
800‧‧‧ISO基本媒體檔案
810‧‧‧檔案類型框
820‧‧‧電影框
822‧‧‧電影標頭框
824a‧‧‧播放軌框
824b‧‧‧播放軌框
826a‧‧‧播放軌標頭框
826b‧‧‧播放軌標頭框
828a‧‧‧媒體框
828b‧‧‧媒體框
830a‧‧‧媒體資料框
830b‧‧‧媒體資料框
840a‧‧‧EOB NAL單元
840b‧‧‧EOB NAL單元
850‧‧‧位元串流
852‧‧‧位元串流
854‧‧‧位元串流
856‧‧‧位元串流
862a‧‧‧存取單元
862b‧‧‧存取單元
862c‧‧‧存取單元
862n‧‧‧存取單元
864a‧‧‧基本圖像
864b‧‧‧基本圖像
864c‧‧‧基本圖像
864n‧‧‧基本圖像
868a‧‧‧增強型圖像
868b‧‧‧增強型圖像
868c‧‧‧增強型圖像
868n‧‧‧增強型圖像
938a‧‧‧媒體資料框
938b‧‧‧媒體資料框
940‧‧‧媒體框
942‧‧‧媒體資訊框
944‧‧‧樣本表框
946‧‧‧樣本描述框
948a‧‧‧樣本項
948b‧‧‧樣本項
948c‧‧‧樣本項
970a‧‧‧樣本
970b‧‧‧樣本
970c‧‧‧樣本
1000‧‧‧處理程序
1104‧‧‧編碼器件
1212‧‧‧解碼器件
下文參考如下圖式詳細描述本發明之說明性實施例： 圖1為說明包括編碼器件及解碼器件之系統之實例的方塊圖。 圖2說明分層HEVC位元串流之簡化實例。 圖3說明含有根據ISOBMFF格式化之用於視訊呈現之資料及後設資料的ISO基本媒體檔案之實例。 圖4說明用於視訊呈現之包括兩層的ISO基本媒體檔案之實例。 圖5A說明其中已儲存多層位元串流的ISO基本媒體檔案之一個實例。 圖5B及圖5C說明在圖5A中所說明之ISO基本媒體檔案藉由不同解碼器器件讀取時可產生的位元串流之實例。 圖6A說明其中已儲存多層位元串流的ISO基本媒體檔案之另一實例。 圖6B及圖6C說明可自讀取圖6A中所說明的ISO基本媒體檔案產生的位元串流之實例。 圖7說明其中已儲存多層位元串流的ISO基本媒體檔案之另一實例。 圖8A說明根據此等技術產生的ISO基本媒體檔案之實例。 圖8B、圖8C、圖8D及圖8E說明可自圖8A中所說明之檔案建構的位元串流的實例。 圖9說明可包括於ISO基本媒體檔案中的媒體框及媒體資料框之實例。 圖10說明用於處理經編碼視訊資料的處理程序之實例，其中包括經編碼視訊資料之檔案可具有大於一個EOB NAL單元。 圖11為說明實例編碼器件之方塊圖。 圖12為說明實例解碼器件之方塊圖。
800‧‧‧ISO基本媒體檔案
810‧‧‧檔案類型框
820‧‧‧電影框
822‧‧‧電影標頭框
824a‧‧‧播放軌框
824b‧‧‧播放軌框
826a‧‧‧播放軌標頭框
826b‧‧‧播放軌標頭框
828a‧‧‧媒體框
828b‧‧‧媒體框
830a‧‧‧媒體資料框
830b‧‧‧媒體資料框
840a‧‧‧EOB NAL單元
840b‧‧‧EOB NAL單元

Claims (32)

  1. 一種用於處理經編碼視訊資料之方法，該方法包含： 接收一與經編碼視訊資料相關聯的檔案，其中該經編碼視訊資料根據一檔案格式儲存於該檔案中，其中該經編碼視訊資料包括兩個或大於兩個層，且其中該兩個或大於兩個層儲存於該檔案中之兩個或大於兩個播放軌中； 自該兩個或大於兩個層當中判定一第一層，其中該第一層經判定為該兩個或大於兩個層當中之包括一位元串流結束指示符之一最高層； 判定來自該第一層的該位元串流結束指示符為一第一位元串流結束指示符； 自該兩個或大於兩個層當中識別一組層；及 基於該第一位元串流結束指示符及複數個存取單元產生一經重建位元串流，其中該複數個存取單元包括來自該組層之一或多個樣本，且其中該經重建位元串流中之一最後存取單元包括該第一位元串流結束指示符。
  2. 如請求項1之方法，其進一步包含： 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者，且其中該存取單元不包括一位元串流結束指示符；及 添加該第一位元串流結束指示符至該存取單元。
  3. 如請求項1之方法，其進一步包含： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第一層為一比該第二層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 添加該第一位元串流結束指示符至該存取單元。
  4. 如請求項1之方法，其進一步包含： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第二層為一比該第一層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 移動該第一位元串流結束指示符至該存取單元。
  5. 如請求項1之方法，其進一步包含： 判定該經重建位元串流中之該最後存取單元包括多於一個位元串流結束指示符，其中該多於一個位元串流結束指示符包括該第一位元串流結束指示符；及 自該最後存取單元移除不同於該第一位元串流結束指示符的一個位元串流結束指示符。
  6. 如請求項1之方法，其中該兩個或大於兩個層當中之至少兩個層各自包括一位元串流結束指示符。
  7. 如請求項1之方法，其進一步包含： 識別該組層係基於來自該組層中之經選擇用於顯示的層之樣本而選擇。
  8. 如請求項1之方法，其中該檔案格式係自一國際標準組織(ISO)基本媒體檔案格式衍生。
  9. 一種用於處理經編碼視訊之裝置，其包含： 一記憶體，其經組態以儲存一檔案，其中該檔案包括經編碼視訊資料，其中該經編碼視訊資料根據一檔案格式儲存於該檔案中，其中該經編碼視訊資料包括兩個或大於兩個層，且其中該兩個或大於兩個層儲存於該檔案中之兩個或大於兩個播放軌中；及 一處理器，其經組態以： 自該兩個或大於兩個層當中判定一第一層，其中該第一層經判定為該兩個或大於兩個層當中之包括一位元串流結束指示符之一最高層； 判定來自該第一層之該位元串流結束指示符為一第一位元串流結束指示符； 自該兩個或大於兩個層當中識別一組層；及 基於該第一位元串流結束指示符及複數個存取單元產生一經重建位元串流，其中該複數個存取單元包括來自該組層之一或多個樣本，且其中該經重建位元串流中之一最後存取單元包括該第一位元串流結束指示符。
  10. 如請求項9之裝置，其中該處理器經進一步組態以： 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者，且其中該存取單元不包括一位元串流結束指示符；及 添加該第一位元串流結束指示符至該複數個存取單元中之一最後存取單元。
  11. 如請求項9之裝置，其中該處理器經進一步組態以： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第一層為一比該第二層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 添加該第一位元串流結束指示符至該存取單元。
  12. 如請求項9之裝置，其中該處理器經進一步組態以： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第二層為一比該第一層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 移動該第一位元串流結束指示符至該複數個存取單元中之一最後存取單元。
  13. 如請求項9之裝置，其中該處理器經進一步組態以： 判定該經重建位元串流中之該最後存取單元包括多於一個位元串流結束指示符，其中該多於一個位元串流結束指示符包括該第一位元串流結束指示符；及 自該最後存取單元移除不同於該第一位元串流結束指示符的一個位元串流結束指示符。
  14. 如請求項9之裝置，其中該兩個或大於兩個層當中之至少兩個層各自包括一位元串流結束指示符。
  15. 如請求項9之裝置，其中該組層係基於來自該組層中之經選擇用於顯示的層的該等樣本而選擇。
  16. 如請求項9之裝置，其中該檔案格式係自一ISO基本媒體檔案格式衍生。
  17. 一種上面儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行以下操作： 接收一與經編碼視訊資料相關聯的檔案，其中該經編碼視訊資料根據一檔案格式儲存於該檔案中，其中該經編碼視訊資料包括兩個或大於兩個層，且其中該兩個或大於兩個層儲存於該檔案中之兩個或大於兩個播放軌中； 自該兩個或大於兩個層當中判定一第一層，其中該第一層經判定為該兩個或大於兩個層當中之包括一位元串流結束指示符之一最高層； 判定來自該第一層之該位元串流結束指示符為一第一位元串流結束指示符； 自該兩個或大於兩個層當中識別一組層；及 基於該第一位元串流結束指示符及複數個存取單元產生一經重建位元串流，其中該複數個存取單元包括來自該組層之一或多個樣本，且其中該經重建位元串流中之一最後存取單元包括該第一位元串流結束指示符。
  18. 如請求項17之非暫時性電腦可讀媒體，其進一步包含指令，該等指令在由該一或多個處理器執行時使得該一或多個處理器執行以下操作： 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者，且其中該存取單元不包括一位元串流結束指示符；及 添加該第一位元串流結束指示符至該存取單元。
  19. 如請求項17之非暫時性電腦可讀媒體，其進一步包含指令，該等指令在由該一或多個處理器執行時使得該一或多個處理器執行以下操作： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第一層為一比該第二層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 添加該第一位元串流結束指示符至該存取單元。
  20. 如請求項17之非暫時性電腦可讀媒體，其進一步包含指令，該等指令在由該一或多個處理器執行時使得該一或多個處理器執行以下操作： 自該組層當中識別一第二層，其中該第二層經識別為該組層當中的一最高層； 判定該第二層為一比該第一層高的層； 自該複數個存取單元判定一存取單元，其中該存取單元為該複數個存取單元中之最後者；及 移動該第一位元串流結束指示符至該存取單元。
  21. 如請求項17之非暫時性電腦可讀媒體，其進一步包含指令，該等指令在由該一或多個處理器執行時使得該一或多個處理器執行以下操作： 判定該經重建位元串流中之該最後存取單元包括多於一個位元串流結束指示符，其中該多於一個位元串流結束指示符包括該第一位元串流結束指示符；及 自該最後存取單元移除不同於該第一位元串流結束指示符的一個位元串流結束指示符。
  22. 如請求項17之非暫時性電腦可讀媒體，其中該兩個或大於兩個層當中之至少兩層各自包括一位元串流結束指示符。
  23. 如請求項17之非暫時性電腦可讀媒體，其中該組層係基於來自該組層中之經選擇用於顯示的層的該等樣本而選擇。
  24. 如請求項17之非暫時性電腦可讀媒體，其中該檔案格式係自一ISO基本媒體檔案格式衍生。
  25. 一種用於處理經編碼視訊資料之裝置，其包含： 用於接收一與經編碼視訊資料相關聯的檔案的構件，其中該經編碼視訊資料根據一檔案格式儲存於該檔案中，其中該經編碼視訊資料包括兩個或大於兩個層，且其中該兩個或大於兩個層儲存於該檔案中之兩個或大於兩個播放軌中； 用於自該兩個或大於兩個層當中判定一第一層的構件，其中該第一層經判定為該兩個或大於兩個層當中之包括一位元串流結束指示符之一最高層； 用於判定來自該第一層的該位元串流結束指示符為一第一位元串流結束指示符的構件； 用於自該兩個或大於兩個層當中識別一組層的構件；及 用於基於該第一位元串流結束指示符及複數個存取單元產生一經重建位元串流的構件，其中該複數個存取單元包括來自該組層之一或多個樣本，且其中該經重建位元串流中之一最後存取單元包括該第一位元串流結束指示符。
  26. 如請求項25之裝置，其進一步包含： 用於自該複數個存取單元判定一存取單元的構件，其中該存取單元為該複數個存取單元中之最後者，且其中該存取單元不包括一位元串流結束指示符；及 用於添加該第一位元串流結束指示符至該存取單元的構件。
  27. 如請求項25之裝置，其進一步包含： 用於自該組層當中識別一第二層的構件，其中該第二層經識別為該組層當中的一最高層； 用於判定該第一層為一比該第二層高的層的構件； 用於自該複數個存取單元判定一存取單元的構件，其中該存取單元為該複數個存取單元中之最後者；及 用於添加該第一位元串流結束指示符至該存取單元的構件。
  28. 如請求項25之裝置，其進一步包含： 用於自該組層當中識別一第二層的構件，其中該第二層經識別為該組層當中的一最高層； 用於判定該第二層為一比該第一層高的層的構件； 用於自該複數個存取單元判定一存取單元的構件，其中該存取單元為該複數個存取單元中之最後者；及 用於移動該第一位元串流結束指示符至該存取單元的構件。
  29. 如請求項25之裝置，其進一步包含： 用於判定該經重建位元串流中之該最後存取單元包括多於一個位元串流結束指示符的構件，其中該多於一個位元串流結束指示符包括該第一位元串流結束指示符；及 用於自該最後存取單元移除不同於該第一位元串流結束指示符的一個位元串流結束指示符的構件。
  30. 如請求項25之裝置，其中該兩個或大於兩個層當中之至少兩個層各自包括一位元串流結束指示符。
  31. 如請求項25之裝置，其進一步包含： 用於識別該組層係基於來自該組層中之經選擇用於顯示的層的樣本而選擇的構件。
  32. 如請求項25之裝置，其中該檔案格式係自一國際標準組織(ISO)基本媒體檔案格式衍生。
TW106105156A 2016-02-17 2017-02-16 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良 TWI690197B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662296569P 2016-02-17 2016-02-17
US62/296,569 2016-02-17
US15/432,855 US10349067B2 (en) 2016-02-17 2017-02-14 Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US15/432,855 2017-02-14

Publications (2)

Publication Number Publication Date
TW201733356A true TW201733356A (zh) 2017-09-16
TWI690197B TWI690197B (zh) 2020-04-01

Family

ID=59561896

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105156A TWI690197B (zh) 2016-02-17 2017-02-16 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良

Country Status (10)

Country Link
US (1) US10349067B2 (zh)
EP (1) EP3417624B1 (zh)
JP (1) JP6637613B2 (zh)
KR (1) KR102084344B1 (zh)
CN (1) CN108702518B (zh)
BR (1) BR112018016781A2 (zh)
HK (1) HK1256623A1 (zh)
SG (1) SG11201805952VA (zh)
TW (1) TWI690197B (zh)
WO (1) WO2017142949A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
CN107071496B (zh) * 2017-05-14 2020-01-17 北京工业大学 一种h.265/hevc帧间编码单元深度快速选择方法
US10841604B2 (en) * 2018-09-04 2020-11-17 Google Llc Temporal prediction shifting for scalable video coding
US10735770B2 (en) * 2018-09-13 2020-08-04 Tencent America LLC Method and device using high layer syntax architecture for coding and decoding
JP7337150B2 (ja) * 2018-09-25 2023-09-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 後方互換性を有するメディアビットストリーム
JP7377894B2 (ja) * 2019-05-21 2023-11-10 北京字節跳動網絡技術有限公司 サブブロックマージモードでのシンタックスシグナリング
BR112021024418A2 (pt) * 2019-06-21 2022-01-18 Ericsson Telefon Ab L M Métodos para a decodificação de um conjunto de imagens a partir de um fluxo contínuo de bits e para a codificação de uma imagem, decodificador de vídeo, codificador de vídeo, programa de computador, e, portadora
WO2021003446A1 (en) * 2019-07-03 2021-01-07 Futurewei Technologies, Inc. Types of reference pictures in reference picture lists
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
US11563983B2 (en) 2020-09-02 2023-01-24 Lemon, Inc. Association of operation point info properties to VVC image items
EP3965424A1 (en) * 2020-09-02 2022-03-09 Lemon Inc. Transition period for image transitions in a media file
US20230377606A1 (en) * 2022-05-23 2023-11-23 Microsoft Technology Licensing, Llc Video editing projects using single bundled video files

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US7554468B2 (en) * 2006-08-25 2009-06-30 Sony Computer Entertainment Inc, Entropy decoding methods and apparatus using most probable and least probable signal cases
EP2868092A4 (en) * 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
US8824812B2 (en) * 2012-10-02 2014-09-02 Mediatek Inc Method and apparatus for data compression using error plane coding
US9319703B2 (en) * 2012-10-08 2016-04-19 Qualcomm Incorporated Hypothetical reference decoder parameter syntax structure
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
RU2658812C2 (ru) * 2013-10-07 2018-06-22 Вид Скейл, Инк. Объединенная обработка масштабируемости для многослойного кодирования видео
JP6472442B2 (ja) * 2013-10-11 2019-02-20 シャープ株式会社 復号方法
GB2519745B (en) * 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
US11388441B2 (en) * 2014-03-18 2022-07-12 Qualcomm Incorporated Derivation of SPS temporal ID nesting information for multi-layer bitstreams
US9866852B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
CN108702518B (zh) 2020-12-18
EP3417624A1 (en) 2018-12-26
US20170237999A1 (en) 2017-08-17
SG11201805952VA (en) 2018-09-27
US10349067B2 (en) 2019-07-09
TWI690197B (zh) 2020-04-01
KR102084344B1 (ko) 2020-03-03
KR20180112792A (ko) 2018-10-12
WO2017142949A1 (en) 2017-08-24
JP6637613B2 (ja) 2020-01-29
BR112018016781A2 (pt) 2018-12-26
EP3417624B1 (en) 2022-04-20
HK1256623A1 (zh) 2019-09-27
JP2019506096A (ja) 2019-02-28
CN108702518A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
TWI690197B (zh) 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良
JP6690010B2 (ja) Ｈｅｖｃおよびｌ−ｈｅｖｃファイルフォーマットにおけるタイルグループ化に対する改善
TWI675588B (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
TWI692974B (zh) 在媒體檔案中虛擬實境視訊之儲存
TWI645709B (zh) 多層視訊檔案格式設計
JP6208150B2 (ja) ビデオを符号化しビデオコンテンツを記憶する方法
TWI763669B (zh) 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元
CN109792567B (zh) 用于发送遗失或损坏视频数据信号的系统及方法
TW201838419A (zh) 包含用於視頻寫碼之子圖像位元流之視頻內容之信令傳輸
TW201743611A (zh) 以高效率視訊寫碼及分層高效率視訊寫碼檔案格式之圖塊分組及樣本之映射
TWI659319B (zh) 用於在檔案格式中樣本分組發信號之方法及器件
TW201840201A (zh) 全向式視覺媒體中之感興趣區之進階傳信