TW201841511A - 用於視訊之改良式限制方案設計 - Google Patents

Abstract

本發明提供用於處理視訊資料且處理一或多個媒體格式檔案之技術及系統。舉例而言，可獲得且處理視訊資料，以產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框，該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。在另一實例中，獲得包括該視訊資料及與該視訊資料相關聯之該限制方案資訊框的該媒體格式檔案。可剖析該媒體格式檔案，且可根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。

Description

用於視訊之改良式限制方案設計

本申請案係關於用於視訊之限制方案。更特定言之，本申請案係關於用於提供媒體檔案格式之限制方案之改良式設計的系統及方法。

許多裝置及系統允許處理且輸出視訊資料以供消耗。數位視訊資料包括大量資料以滿足消費者及視訊提供商提供者之需求。舉例而言，視訊資料之消費者需要具有最優品質(具有高保真度、剖析度、圖框速率等等)之視訊。結果，滿足此等需求所需之大量視訊資料對處理及儲存視訊資料之通信網路及裝置造成負擔。 各種視訊寫碼技術可用以壓縮視訊資料。視訊寫碼係根據一或多個視訊寫碼標準執行。舉例而言，視訊寫碼標準包括高效視訊寫碼(high-efficiency video coding，HEVC)、進階視訊寫碼(advanced video coding，AVC)、活動圖像專家組(moving picture experts group，MPEG)寫碼等等。視訊寫碼通常使用利用存在於視訊影像或序列中之冗餘的預測方法(例如框間預測、框內預測等等)。視訊寫碼技術之重要目標係將視訊資料壓縮成使用較低位元速率之形式，同時避免視訊品質之降級或使視訊品質之降級最小化。隨著不斷演進的視訊服務變得可用，需要具有較佳寫碼效率之編碼技術。

在一些實例中，在本文中描述了用於提供一媒體檔案格式之限制方案之一改良式設計的系統及方法。該媒體檔案格式可包括ISO基本媒體檔案格式(ISOBMFF)或其他適合之媒體檔案格式。ISOBMFF係媒體檔案格式之一個實例，其包括一限制方案設計。ISOBMFF中之該限制方案設計用於處置以下情形：該媒體格式檔案之原創者在處理與該媒體格式檔案相關聯之媒體內容(例如一視訊位元串流)時需要藉由播放器或顯現器執行某些動作。限制方案使得播放器能夠檢查媒體格式檔案以易於判定用於顯現媒體內容之此類要求，且可防止舊版播放器下載、顯現及對需要進一步處理之檔案進行解碼。一舊版播放器可包括未被設計成處理某些媒體內容之一播放器裝置，此係因為例如該播放器僅能夠播放在無所需處理之情況下經寫碼之視訊內容。限制方案類型之說明性實例包括：立體視訊圖框封裝配置之一限制方案類型、虛擬實境視訊之一限制方案類型等等。 對該ISOBMFF之該限制方案設置各種限制。舉例而言，可包括於適用於某些媒體內容(例如與該媒體格式檔案之一樣本項相關聯之媒體內容)中的一媒體格式檔案之一部分之限制方案的數目限於僅一個限制方案。此類限制不允許同時將多種類型之限制方案應用與與一個樣本項相關聯之相同媒體內容。一樣本項可與一視訊檔案之一或多個樣本相關聯。舉例而言，各媒體串流可含於專用於媒體串流之媒體類型(例如視訊、音訊或其他媒體類型)的播放軌(屬於該媒體格式檔案)中。該媒體串流可由一樣本項參數化，該樣本項含有媒體類型(指示對該媒體串流進行解碼所需之解碼器的類型)的名稱及所需解碼器之任何參數化。在一個說明性實例中，對ISOBMFF中之該限制方案的限制防止以下可能性：將立體視訊配置之該限制方案及虛擬實境視訊之該限制方案應用於與一個樣本項相關聯之相同視訊內容。然而，多個限制方案應用於之視訊內容，諸如圖框封裝立體虛擬實境視訊，可能且極有可能處於真實世界媒體應用程式中。 本文中所描述之技術及系統可產生且處理媒體格式檔案(根據該媒體檔案格式)，該媒體格式檔案包括可同時應用於與一個樣本項相關聯之相同媒體內容的多個限制方案。術語「受限制方案」與「限制方案」可互換使用。該改良式設計適用於任何類型之視訊編解碼器。在一些實例中，多個方案類型框可包括於含於一媒體格式檔案之一樣本項中的一限制方案資訊框中。一方案類型框定義一特定限制之準確性質。該多個方案類型框允許識別處理與該樣本項相關聯之媒體內容所需之複數個限制方案的能力。一方案類型框亦可被稱作一相容方案類型框。在一些狀況下，多個方案資訊框亦可包括於該限制方案資訊框中。對於一特定方案所需之資料儲存於方案資訊框中。舉例而言，一個方案資訊框可包括於各方案類型框之限制方案資訊框中。在一些實例中，多個限制方案資訊框可包括於一樣本項容器中。 根據至少一個實例，提供一種處理視訊資料之方法。該方法包含獲得該視訊資料。該方法進一步包含產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。 在另一實例中，提供一種用於處理視訊資料之設備，其包括：經組態以儲存視訊資料之一記憶體；及一處理器。該處理器經組態以且可獲得該視訊資料。該處理器經進一步組態以且可產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。 在另一實例中，提供一種上面儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得該視訊資料；及產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。 在另一實例中，提供一種用於處理視訊資料之設備。該設備包括用於獲得該視訊資料之構件。該設備進一步包括裝置產生一媒體格式檔案之構件，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。 在一些態樣中，該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。 在一些態樣中，該視訊資料與該媒體格式檔案之一個樣本項相關聯。 在一些態樣中，該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。 在一些態樣中，該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。 在一些態樣中，該限制方案資訊框進一步包括複數個方案資訊框。該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。 在一些態樣中，使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。 在一些態樣中，上文所描述的該方法、該設備及該電腦可讀媒體可進一步包含傳輸該媒體格式檔案。 在一些態樣中，上文所描述的該方法、該設備及該電腦可讀媒體可進一步包含儲存該媒體格式檔案。 在一些態樣中，該設備包含具有用於捕捉圖像之一攝影機的一行動裝置。 根據至少一個其他實例，提供一種處理一或多個媒體格式檔案之方法。該方法包含獲得一媒體格式檔案，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。該方法進一步包含剖析該媒體格式檔案；及根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。 在另一實例中，提供一種處理一或多個媒體格式檔案之設備，該設備包括經組態以儲存該視訊資料之一記憶體、及一處理器。該處理器經組態以且可獲得一媒體格式檔案，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。該處理器經進一步組態以且可剖析該媒體格式檔案，且根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。 在另一實例中，提供一種上面儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得一媒體格式檔案，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型；剖析該媒體格式檔案；及根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。 在另一實例中，提供一種用於處理一或多個媒體格式檔案之設備。該設備包括用於獲得一媒體格式檔案之構件，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。該設備進一步包括用於剖析該媒體格式檔案之構件；及用於根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料之構件。 在一些態樣中，該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。 在一些態樣中，該視訊資料與該媒體格式檔案之一個樣本項相關聯。 在一些態樣中，該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。 在一些態樣中，該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。 在一些態樣中，該限制方案資訊框進一步包括複數個方案資訊框。該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。 在一些態樣中，使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。 在一些態樣中，上文所描述的該方法、該設備及該電腦可讀媒體可進一步包含對該視訊資料進行解碼。舉例而言，該設備可包括用於對該視訊資料進行解碼之一解碼器。 在一些態樣中，上文所描述的該方法、該設備及該電腦可讀媒體可進一步包含顯示經解碼視訊資料。舉例而言，該設備可包括用於顯示經解碼視訊資料之一顯示器。 在一些態樣中，該設備包含具有用於捕捉圖像之一攝影機的一行動裝置。 此發明內容並不意欲識別所主張主題之關鍵或基本特徵，亦不意欲單獨使用以判定所主張主題之範疇。應參考此專利之整個說明書之適當部分、任何或所有圖式及每一請求項來理解主題。 在參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。

在下文提供本發明之某些態樣及實施例。此等態樣及實施例之一些可獨立地應用並且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本發明之實施例的透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將係顯而易見的。圖式及描述不意欲係限定性的。 隨後描述僅提供例示性實施例且並不意欲限制本發明的範疇、可應用性或組態。實際上，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本發明精神及範疇的情況下對元件之功能及配置做出各種改變。 在以下描述中給出特定細節以提供對實施例之透徹理解。然而，一般技術者應瞭解，實施例可在無需此等具體細節之情況下實踐。舉例而言，電路、系統、網路、程序及其他組件可在區塊圖形式中展示為組件以便在不必要細節下不與實施例混淆。在其他情況下，可在無不必要細節之情況下展示熟知電路、程序、演算法、結構及技術以便避免混淆實施例。 又，應注意，個別實施例可描述為被描繪為流程圖(flowcart)、流程圖(flow diagram)、資料流程圖、結構圖或方塊圖之程序。儘管流程圖可能將操作描述為順序程序，但許多操作可並行地或同時加以執行。另外，操作之次序可重新配置。程序在其操作完成時終止，但可具有不包括於圖中之額外步驟。程序可對應於方法、函式、程序、次常式、子程式等。當程序對應於函式時，其終止可對應於函式傳回至呼叫函式或主函式。 術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存裝置、光儲存裝置，及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括但不限於磁碟或磁帶、諸如緊密光碟(compact disk，CD)或數位化通用光碟(digital versatile disk，DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體裝置。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、軟體套件、類別或指令、資料結構或程式語句陳述式之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、論證、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸等等之任何合適方式傳遞、轉遞或傳輸。 此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施方法之實施例。當以軟體、韌體、中間軟體或微碼實施時，執行必要任務之程式碼或程式碼片段(例如電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。 可捕捉視訊內容且將其寫碼成經編碼視訊位元串流。媒體格式可用於囊封經寫碼視訊。媒體格式之一個實例包括ISO基本媒體檔案格式(ISO base media file format，ISOBMFF)。ISOBMFF用作許多編解碼器囊封格式之基礎。連續媒體(例如音訊及視訊)、靜態媒體(例如影像)以及後設資料可儲存於符合ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多用途，包括本端媒體檔案播放、遠端檔案之逐漸下載、用於經由HTTP之動態自適應串流(Dynamic Adaptive Streaming over HTTP，DASH)之片段、用於待串流之內容及該內容之封包化指令之容器、及接收到之即時媒體串流的記錄等等。 ISOBMFF包括在以下情況下使用之限制方案設計：媒體格式檔案之創建者(例如原創者、生產者等等)在處理與媒體格式檔案相關聯之媒體內容(例如經編碼視訊位元串流)時需要藉由播放器或顯現器執行某些動作。如下文更詳細地描述，本文中所描述之一或多個系統及方法係針對改良限制方案設計。此類改良可用於基於ISOBMFF之檔案或用於任何其他檔案格式。 如上文所提及，所捕捉視訊圖框可經編碼及/或壓縮以供儲存及/或發射，且接收器裝置可對經編碼視訊圖框進行解碼及/或解壓縮。隨著更多裝置及系統為消費者提供消耗數位視訊資料之能力，對高效視訊寫碼技術之需要變得更加重要。需要視訊寫碼來減少處置存在於數位視訊資料中之大量資料所必要的儲存及傳輸要求。各種視訊寫碼技術可用於將視訊資料壓縮成使用較低位元速率同時維持高視訊品質之形式。 圖1係說明視訊寫碼系統100之實例的方塊圖，視訊寫碼系統100包括編碼裝置104及解碼裝置112。編碼裝置104可係源裝置之部分，且解碼裝置112可係接收裝置之部分。源裝置及/或接收裝置可包括電子裝置，諸如行動或靜止電話手機(例如智慧型手機、蜂巢式電話等等)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲主機、視訊串流裝置、網際網路協定(Internet Protocol，IP)攝影機或任何其他適合之電子裝置。在一些實例中，源裝置及接收裝置可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術可適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 編碼裝置104 (或編碼器)可用以使用視訊寫碼標準或協定編碼視訊資料以產生經編碼視訊位元串流。視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可縮放視訊寫碼(Scalable Video Coding，SVC)及多視圖視訊寫碼(Multiview Video Coding，MVC)擴展，及高效視訊寫碼(High Efficiency Video Coding，HEVC)或ITU-T H.265。存在涉及多層視訊寫碼的HEVC之各種擴展，包括範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D video coding，3D-HEVC)及多視圖擴展(multiview extension，MV-HEVC)及可縮放擴展(scalable extension，SHVC)。HEVC及其擴展已藉由ITU-T視訊寫碼專家組(Video Coding Experts Group，VCEG)及ISO/IEC動畫專家組(Motion Picture Experts Group，MPEG)之視訊寫碼聯合協作小組(Joint Collaboration Team on Video Coding，JCT-VC)以及3D視訊寫碼擴展開發聯合協作小組(Joint Collaboration Team on 3D Video Coding Extension Development，JCT-3V)開發。MPEG及ITU-T VCEG已亦形成聯合探索視訊小組(joint exploration video team，JVET)，以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體被稱作聯合探索模型(joint exploration model，JEM)。 本文中所描述之許多實施例提供使用JEM模型、HEVC標準及/或其擴展的實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其擴展或已可用或尚不可用或尚未開發之其他適合之寫碼標準。因此，儘管可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。 參考圖1，視訊源102可將視訊資料提供至編碼裝置104。視訊源102可係源裝置之一部分，或可係除源裝置以外的裝置之一部分。視訊源102可包括視訊捕捉裝置(例如視訊攝影機、攝影機電話、視訊電話等等)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他適合之視訊源。 來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。視訊之各圖像或圖框係場景之靜態影像。在一些實例中，視訊資料之圖像或圖框圖框可包括映射或投影至幾何形狀(例如TSP、立方體或其他適合之幾何形狀)之平面上的360度視訊資料。編碼裝置104之編碼器引擎106 (或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)係一系列之一或多個經寫碼視訊序列。經寫碼視訊序列(coded video sequence，CVS)包括一系列存取單元(access unit，AU)，其始於在基礎層中具有隨機存取點圖像且具有某些屬性之AU，直至且不包括在基礎層中具有隨機存取點圖像且具有某些屬性之下一AU。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊在位元串流層級囊封至稱為網路抽象層(network abstraction layer，NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。NAL單元中之每一者具有NAL單元標頭。在一個實例中，標頭對於H.264/AVC (除了多層擴展以外)係一個位元組且對於HEVC係兩個位元組。NAL單元標頭中之語法元素採取經指定位元，且因此對所有種類之系統及輸送層可見，諸如輸送串流、即時輸送(Real-time Transport，RTP)協定、檔案格式等等。 兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(video coding layer，VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。在一些狀況下，NAL單元可被稱作封包。HEVC AU包括含有經寫碼圖像資料之VCL NAL單元及對應於經寫碼圖像資料之非VCL NAL單元(若存在)。 NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如經編碼視訊位元串流、位元串流之CVS等等)。編碼器引擎106藉由將每一圖像分割成多個圖塊而產生圖像之經寫碼表示。一圖塊獨立於其他圖塊，以使得在不依賴於來自同一圖像內之其他圖塊之資料的情況下寫碼該圖塊中之資訊。一圖塊包括一或多個圖塊片段，該一或多個圖塊片段包括獨立圖塊片段及(若存在)取決於先前圖塊片段之一或多個相關圖塊片段。圖塊接著被分割成明度樣本及色度樣本之寫碼樹型區塊(coding tree block，CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(coding tree unit，CTU)。CTU係用於HEVC編碼之基本處理單元。CTU可經分裂成具有不同大小之多個寫碼單元(coding unit，CU)。CU含有被稱為寫碼區塊(coding block，CB)之明度及色度樣本陣列。 明度及色度CB可進一步被分裂成預測區塊(prediction block，PB)。PB係對於框間預測或塊內複製預測(在可用或經啟用以供使用時)使用相同運動參數的明度分量或色度分量之樣本之區塊。該明度PB及一或多個色度PB連同相關聯語法形成預測單元(prediction unit，PU)。對於框間預測，一組運動參數(例如一或多個運動向量、參考索引等等)在每一PU之位元串流中用信號發送，且用於明度PB該一或多個色度PB之框間預測。運動參數亦可被稱作運動資訊。CB亦可被分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(transform unit，TU)表示明度及色度樣本之TB以及對應語法元素。 CU之大小對應於寫碼模式之大小，且可係正方形形狀。舉例而言，CU之大小可係8×8樣本、16×16樣本、32×32樣本、64×64樣本或達至相應CTU之大小的任何其他適當大小。片語「N×N」在本文中用以指代視訊區塊就垂直及水平尺寸而言的像素尺寸(例如8像素×8像素)。可按列及行來排列區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼抑或經框間預測模式編碼之間有所不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據CTU將CU分割成一或多個TU。TU可係正方形或非正方形形狀。 根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(residual quad tree，RQT)之四分樹結構將對應於CU之殘餘樣本細分再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可隨後由編碼器引擎106量化。 一旦視訊資料之圖像被分割成CU，編碼器引擎106便使用預測模式來預測每一PU。隨後自原始視訊資料減去預測單元或預測區塊以得到殘差殘餘(如下描述)。對於每一CU，可使用語法資料在位元串流內部發信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。框內預測利用圖像內之空間相鄰樣本之間的相關。舉例而言，在使用框內預測之情況下，使用例如DC預測以發現PU之平均值、使用平面預測以使平面表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他合適類型之預測，自同一圖像中之相鄰影像資料預測每一PU。框間預測使用圖像之間的時間相關以便導出影像樣本之區塊的運動補償預測。舉例而言，在使用框間預測之情況下，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可例如以在CU層級決定是否使用圖像間預測抑或圖像內預測來寫碼圖像區域。 在一些實例中，圖像之一或多個圖塊被指派圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(框內預測圖框，可獨立解碼)係僅藉由框內預測寫碼之圖像的圖塊，且因此可獨立解碼，此係因為I圖塊僅需要圖框內之資料來預測圖塊之任何預測單元或預測區塊。P圖塊(單向預測圖框)係可藉由框內預測及藉由單向框間預測寫碼之圖像的圖塊。藉由框內預測或框間預測寫碼P圖塊內之每一預測單元或預測區塊。當應用框間預測時，僅藉由一個參考圖像預測該預測單元或預測區塊，且因此參考樣本僅來自一個圖框之一個參考區。B圖塊(雙向預測性圖框)係可運用框內預測及運用框間預測(例如雙向預測抑或單向預測)寫碼之圖像的圖塊。可自兩個參考圖像雙向預測B圖塊之預測單元或預測區塊，其中各圖像貢獻一個參考區域，且兩個參考區域之樣本集經加權(例如以相等加權或以不同加權)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊被獨立寫碼。在一些狀況下，圖像可僅作為一個圖塊而被寫碼。 PU可包括與預測程序相關之資料(例如運動參數或其他適合之資料)。舉例而言，當使用框內預測編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測來編碼PU時，PU可包括定義用於PU之運動向量的資料。定義用於PU之運動向量的資料可描述例如運動向量之水平分量(∆x)、運動向量之垂直分量(∆y)、用於運動向量之解析度(例如整數精度、四分之一像素精度或八分之一像素精度)、運動向量指向之參考圖像、參考索引、用於運動向量之參考圖像清單(例如清單0、清單1或清單C)，或其任何組合。 編碼裝置104接著可執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含正經寫碼之像素(PU)之當前區塊與用以預測當前區塊(例如當前區塊之經預測版本)之預測區塊之間的像素差值。舉例而言，在產生預測區塊(例如發出框間預測或框內預測)之後，編碼器引擎106可藉由自當前區塊減去由預測單元產生之預測區塊來產生殘餘區塊。殘餘區塊包括量化當前區塊之像素值與預測區塊之像素值之間的差的一組像素差值。在一些實例中，殘餘區塊可以二維區塊格式(例如像素值之二維矩陣或陣列)表示。在此等實例中，殘餘區塊係像素值之二維表示。 使用區塊變換來變換可在執行預測之後剩餘的任何殘餘資料，此變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他適合之變換函數或其任何組合。在一些狀況下，一或多個區塊變換(例如大小32×32、16×16、8×8、4×4或其他適合之大小)可應用於各CU中之殘餘資料。在一些實施例中，TU可用於藉由編碼器引擎106實施的變換及量化程序。給定之具有一或多個PU的CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且接著可使用TU來量化及掃描殘餘值以產生用於熵寫碼之串列化變換係數。 在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提及，殘餘資料可對應於未經編碼圖像之像素及與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括CU之殘餘資料的TU，且接著可變換TU以產生CU之變換係數。 編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減少用以表示係數之資料的量而提供進一步壓縮。舉例而言，量化可減少與係數中之一些或所有相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間經降值捨位係m位元值，其中n大於m。 一旦執行了量化，則經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如模式、運動向量、區塊向量等等)、分割資訊、及任何其他適合之資料，諸如其他語法資料。接著可藉由編碼器引擎106對經寫碼視訊位元串流之不同元素進行熵編碼。在一些實例中，編碼器引擎106可利用預定義掃描次序掃描經量化變換係數以產生可經熵編碼的串列化向量。在一些實例中，編碼器引擎106可執行自適應掃描。在掃描經量化變換係數以形成向量(例如一維向量)之後，編碼器引擎106可對向量進行熵編碼。舉例而言，編碼器引擎106可使用上下文自適應性可變長度寫碼、上下文自適應性二進位算術寫碼、基於語法之上下文自適應性二進位算術寫碼、機率區間分割熵寫碼或另一適合之熵編碼技術。 如先前所描述，HEVC位元串流包括NAL單元之群組，包括VCL NAL單元及非VCL NAL單元。VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。舉例而言，形成經寫碼視訊位元串流之位元序列存在於VCL NAL單元中。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元串流相關之高層級級資訊的參數集。舉例而言，參數集可包括視訊參數集(video parameter set，VPS)、序列參數集(sequence parameter set，SPS)及圖像參數集(picture parameter set，PPS)。參數集之目標之實例包括位元速率效率、錯誤復原及提供系統層介面。每一圖塊參考單一作用中PPS、SPS及VPS以存取解碼裝置112可用於解碼圖塊之資訊。可針對每一參數集寫碼識別符(identifier，ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一圖塊標頭包括PPS ID。使用ID，可識別針對給定圖塊之作用中參數集。 PPS包括適用於給定圖像中之所有圖塊的資訊。因此，圖像中之所有圖塊參考同一PPS。不同圖像中之圖塊亦可參考同一PPS。SPS包括適用於同一經寫碼視訊序列(coded video sequence，CVS)或位元串流中之所有圖像的資訊。如先前所描述，經寫碼視訊序列係一系列存取單元(access unit，AU)，其始於在基層中且具有某些屬性(如上文所描述)之隨機存取點圖像(例如瞬時解碼參考(instantaneous decode reference，IDR)圖像或斷鏈存取( broken link access，BLA)圖像或其他適當的隨機存取點圖像)，直至且不包括具有在基層中且具有某些屬性之隨機存取點圖像的下一AU (或位元串流之末端)。SPS中之資訊可不在經寫碼視訊序列內在圖像間改變。經寫碼視訊序列中之圖像可使用同一SPS。VPS包括適用於經寫碼視訊序列或位元串流內之所有層的資訊。VPS包括具有適用於全部經寫碼視訊序列之語法元素的語法結構。在一些實施例中，可與經編碼位元串流一起頻帶內傳輸VPS、SPS或PPS。在一些實施例中，可在與含有經寫碼視訊資料之NAL單元分開的傳輸中帶外經傳輸VPS、SPS或PPS。 視訊位元串流亦可包括補充增強資訊(Supplemental Enhancement Information，SEI)訊息。舉例而言，SEI NAL單元可係視訊位元串流之部分。在一些狀況下，SEI信息可含有解碼程序未必需要的資訊。舉例而言，SEI信息中之資訊可能並非對於解碼器對位元串流該視訊圖像進行解碼必不可少，但解碼器可使用該資訊以改良對圖像(例如經解碼輸出)之顯示或處理。SEI訊息中之資訊可係嵌入型後設資料。在一個說明性實例中，SEI訊息中之資訊可由解碼器側實體使用以改良內容之可見性。在一些情況下，某些應用標準可強制此類SEI訊息在位元串流中之存在以使得符合應用標準之所有裝置可達成品質之改良(例如用於圖框可相容平面立體3DTV視訊格式之圖框封裝SEI訊息的攜載，其中針對視訊之每一圖框攜載SEI訊息；恢復點SEI訊息之處置；拉移式掃描矩形SEI訊息在DVB中之使用；外加許多其他實例)。 編碼裝置104之輸出110可經由通信鏈路120將組成經編碼視訊位元串流資料之NAL單元發送至接收裝置之解碼裝置112。解碼裝置112之輸入114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合之無線網路(例如網際網路或其他廣域網路、基於封包之網路、WiFi^TM 、射頻(radio frequency，RF)、UWB、WiFi-Direct、蜂巢式、長期演進(Long-Term Evolution，LTE)、WiMax^TM 等等)。有線網路可包括任何有線介面(例如光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(digital signal line，DSL)等等)。可使用各種設備來實施有線及/或無線網路，該等設備諸如基地台、路由器、存取點、橋接器、閘道器、交換器等等。可根據通信標準(諸如無線通信協定)調變經編碼視訊位元串流資料，且將其傳輸至接收裝置。 在一些實例中，編碼裝置104可將經編碼視訊位元串流資料儲存於儲存器108中。輸出110可自編碼器引擎106或自儲存器108擷取經編碼視訊位元串流資料。儲存器108可包括多種分散式或本端存取之資料儲存媒體中之任一者。舉例而言，儲存器108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合之數位儲存媒體。 解碼裝置112之輸入114接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎116，或提供至儲存器118以供稍後由解碼器引擎116使用。藉由對組成經編碼視訊資料之一或多個經寫碼視訊序列的元素進行熵解碼(例如使用熵解碼器)及提取，解碼器引擎116可對經編碼視訊位元串流資料進行解碼。解碼器引擎116可接著重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。殘餘資料接著傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如PU)。在一些實例中，預測經添加至反變換之輸出(殘餘資料)。 解碼裝置112可將經解碼視訊輸出至視訊目的地裝置122，視訊目的地裝置可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出裝置。在一些態樣中，視訊目的地裝置122可係包括解碼裝置112之接收裝置的部分。在一些態樣中，視訊目的地裝置122可係不同於接收裝置的單獨裝置之部分。 在一些實施例中，視訊編碼裝置104及/或視訊解碼裝置112可分別與音訊編碼裝置及音訊解碼裝置整合。視訊編碼裝置104及/或視訊解碼裝置112亦可包括實施上文所描述之寫碼技術所必要的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(digital signal processor，DSP)、特殊應用積體電路(application specific integrated circuit，ASIC)、場可程式化閘陣列(field programmable gate array，FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼裝置104及視訊解碼裝置112可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。下文參考圖7描述編碼裝置104之特定細節的實例。下文參考圖8描述解碼裝置112之特定細節的實例。 對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作Multiview Video Coding extension，MV-HEVC)及可縮放視訊寫碼擴展(被稱作Scalable Video Coding extension，SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供表以示不同空間剖析度(或圖像剖析度)不同或不同重建構保真度不同之表示視訊位元串流的不同可調式層。可調式層可包括基層(具有層ID = 0)及一或多個增強層(其中層ID = 1、2、…n)。基層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。與基層相比，增強層具有增加之空間剖析度、時間剖析度或圖框速率及/或重建構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編碼解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。 一般而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可係階層式的。層集合指表示於位元串流內之獨立的層之集合，意謂在解碼程序中層集合內之層可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元串流。可藉由子位元串流提取程序之操作自另一位元串流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時被解碼之層集合。 如先前所描述，媒體格式可用於囊封經寫碼視訊。媒體格式之一個實例包括ISO基本媒體檔案格式(ISOBMFF，ISO/IEC 14496-12中指定)。亦存在自ISOBMFF (ISO/IEC 14496-14)導出之其他媒體檔案格式，包括MPEG-4檔案格式(ISO/IEC 14496-12)、3GPP檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15)。舉例而言，如上文所論述經編碼之視訊位元串流可使用ISOBMFF、自ISOBMFF導出之檔案格式、某一其他檔案格式及/或包括ISOBMFF之檔案格式的組合來寫入或封裝至一或多個檔案中。ISOBMFF檔案可使用視訊播放器裝置播放，可由編碼裝置(或檔案產生裝置)發射且接著由播放器裝置顯示，可經儲存，及/或可以任何其他適合之方式使用。 ISOBMFF用作許多編解碼器囊封格式(例如AVC檔案格式等等)以及用於許多多媒體容器格式(例如MPEG-4檔案格式、3GPP檔案格式(3GP)、DVB檔案格式等等)之基礎。連續媒體(例如音訊及視訊)、靜態媒體(例如影像)以及後設資料可儲存於符合ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多用途，包括本端媒體檔案播放、遠端檔案之逐漸下載、用於經由HTTP之動態自適應串流(DASH)之片段、用於待串流之內容及該內容之封包化指令之容器、及接收到之即時媒體串流的記錄、以及其他適合之目的。舉例而言，儘管最初經設計用於儲存，但ISOBMFF已證明為對於媒體串流傳輸(例如對於逐漸下載或DASH)極具價值。為了串流目的，可使用在ISOBMFF中定義之電影片段。 ISOBMFF經設計而以靈活且可擴展格式含有計時媒體資訊，該計時媒體資訊促進媒體之互換、管理、編輯及呈現。對媒體之呈現可在含有該呈現之系統「本端」，或該呈現可經由網路或其他串流傳送機構(例如DASH或其他適合之串流傳輸機制)。如ISOBMFF規範中所定義之「呈現」係常常藉由已由視訊擷取裝置依序擷取相關或由於某其他原因相關的圖像序列。本文中，呈現亦可被稱作電影或視訊呈現。呈現可包括音訊。單一呈現可含於一或多個檔案中，其中一個檔案含有用於整個呈現之後設資料。後設資料包括資訊，諸如時序及成框資料、描述詞、指標、參數，及描述呈現之其他資訊。後設資料自身並不包括視訊及/或音訊資料。除含有後設資料之檔案以外的檔案無需根據ISOBMFF而格式化，且僅僅需要經格式化以使得此等檔案可藉由後設資料參考。 ISO基本媒體檔案之檔案結構係物件定向式結構，且檔案中之個別物件之結構可直接自物件之類型來推斷。ISOBMFF規範將ISO基本媒體檔案中之物件規範稱作「框」。ISO基本媒體檔案建構為可含有其他框之一系列框。舉例而言，框可係ISOBMFF中之基本語法結構，包括四字元寫碼框類型、框之位元組計數及有效負載。框可包括提供框之大小及類型的標頭。大小描述框之整個大小，包括標頭、欄位及含有於框內之所有框。播放器裝置不能識別之類型的框通常被忽略且跳過。 ISOBMFF檔案可含有不同種類之框。舉例而言，電影框(「moov」)含有檔案中存在之連續媒體串流的後設資料，其中各媒體串流在檔案中表示為播放軌。將用於播放軌之後設資料封閉於播放軌框(「trak」)中，而將播放軌之媒體內容封閉於媒體資料框(「mdat」)中或直接封閉於單獨檔案中。可存在不同種類之追蹤器。舉例而言，ISOBMFF指定以下類型之播放軌：媒體播放軌，其含有基本媒體串流；提示播放軌，其包括媒體傳輸指令或表示接收之封包串流；及計時後設資料播放軌，其包含時間同步之後設資料。 用於播放軌之媒體內容包括一序列樣本，諸如音訊或視訊存取單元。每一播放軌之後設資料包括取樣描述項之清單，每一項提供在播放軌中使用之寫碼或封裝格式及對於處理彼格式需要之初始化資料。各樣本與播放軌之樣本描述項中之一者相關聯。 ISOBMFF實現使用各種機構來使用樣本特定後設資料。樣本表框(「stbl」)內之特定框已經標準化以回應普通需求。舉例而言，同步樣本框(「stss」)可用以列舉播放軌之隨機存取樣本。取樣分群機構實現根據四字元分群類型將取樣映射成共用指定為檔案中之取樣群組描述項之同一性質的取樣之群組。已在ISOBMFF中指定若干分群類型。 圖2係說明具有遵循ISO基本媒體檔案格式之結構檔案之檔案200之實例的圖式。ISO基本媒體檔案200亦可被稱作媒體格式檔案。媒體呈現可但並非始終含於一個檔案中，在此狀況下媒體呈現自含於檔案中。檔案200包括電影容器202 (或「電影框」)。電影容器202可含有媒體之後設資料，後設資料可包括例如一或多個視訊播放軌及一或多個音訊播放軌。舉例而言，視訊播放軌210可含有關於視訊之各層的資訊，資訊可儲存於一或多個媒體資訊容器214中。舉例而言，媒體資訊容器214可包括樣本表，樣本表提供關於視訊之視訊樣本的資訊。在各種實施方案中，視訊資料塊222及音訊資料塊224含於媒體資料容器204中。在一些實施方案中，視訊資料塊222及音訊資料塊224可含於一或多個其他檔案(除檔案200以外)中。 在各種實施方案中，呈現(例如運動序列)可含於若干檔案中。所有時序及成框(例如位置及大小)資訊可在ISO基本媒體檔案中，且輔助檔案可基本上使用任何格式。 ISO檔案具有邏輯結構、時間結構及實體結構。不需要不同結構耦接。檔案之邏輯結構具有又含有一組時間平行播放軌(例如視訊播放軌210)之電影。檔案之時間結構係播放軌在時間上含有樣本之序列，且彼等序列由可選編輯清單映射至整體電影之時刻表中。 檔案之實體結構自媒體資料樣本本身分離對於邏輯、時間及結構分解所需之資料。此結構資訊在電影框(例如電影容器202)中集中，同時可能在時間上由電影片段框擴展。電影框記錄樣本之邏輯及時序關係，且亦含有樣本定位於何處之指標。指標可指向同一檔案或另一檔案中，該檔案可由例如統一資源定位符(Uniform Resource Locator，URL)等等參考。 各媒體串流含於對於彼媒體類型專用之播放軌中。舉例而言，在圖2中所說明之實例中，電影容器202包括視訊播放軌210及音訊播放軌216。電影容器202亦可包括提示播放軌218，提示播放軌218可包括自視訊播放軌210及/或音訊播放軌216發射指令，或可表示關於電影容器202或檔案200之其他電影容器(未展示)中之其他播放軌的其他資訊。各播放軌可進一步由樣本項參數化。舉例而言，在所說明實例中，視訊播放軌210包括媒體資訊容器214，媒體資訊容器214包括樣本之表(被稱作「樣本表」)。樣本項含有準確媒體類型(例如對串流進行解碼所需之解碼器的類型)及彼所需解碼器之任何參數化的「名稱」。名稱可呈四字符碼(例如moov、trak或其他適合之名稱碼)形式。存在針對各種媒體類型定義之樣本項格式。樣本項可進一步包括對媒體資料容器204中之框220中之視訊資料塊(例如視訊資料塊222)的指標。框220包括交錯時間序視訊樣本(組織成視訊資料塊，諸如視訊資料塊222)、音訊框(例如音訊資料塊224中)及提示指令(例如提示指令塊226中)。 對後設資料之支援可呈不同形式。在一個實例中，時控後設資料可儲存於適當播放軌中，且可視需要與由後設資料描述之媒體資料同步。在第二實例中，存在對於附接至電影或個別播放軌之非時控後設資料的一般支援。結構支援係一般的，且如同該媒體資料，允許在檔案中或另一檔案中之其他處儲存後設資料資源。 在一些狀況下，視訊檔案中之一個播放軌可含有多個層。視訊播放軌亦可包括播放軌標頭(例如播放軌標頭212)，播放軌標頭可含有關於視訊播放軌(例如視訊播放軌210)之內容的一些資訊。舉例而言，播放軌標頭可包括播放軌內容資訊(亦被稱作「tcon」)框。tcon框可列出視訊播放軌中之所有層及子層。視訊檔案亦可包括操作點資訊框(亦被稱作「oinf」框)。oinf框記錄關於操作點之資訊，諸如構成操作點之層及子層、操作點之間的相依性(若存在)、設定檔、等級、操作點之層參數、及其他此類操作點相關資訊。在一些狀況下，操作點亦可被稱作操作點。 圖3係說明根據ISOBMFF格式化之ISO基本媒體檔案300之另一實例的圖式。ISO基本媒體檔案300亦可被稱作媒體格式檔案。ISO基本媒體檔案300含有視訊呈現之資料及後設資料。在檔案300之頂部層級處，包括有檔案類型框310、電影框320及一或多個片段330a、330b、330c至330n。在此層級可被包括但在此實例中並未表示之其他框包括自由空閒框、後設資料框及媒體資料框等等。 檔案類型框310由框類型「ftyp」識別。檔案類型框310通常儘可能早地置放於ISO基本媒體檔案300中。檔案類型框310識別最適合於剖析檔案之ISOBMFF規範。「最」在此情況下意謂，ISO基本媒體檔案300可能已根據特定ISOBMFF規範格式化，但很可能與規範之其他反覆相容。此最合適規範被稱作主流品牌。播放器裝置可使用主流品牌來判定裝置是否能夠對檔案之內容進行解碼且顯示檔案之內容。檔案類型框310亦可包括版本號，版本號可用以指示ISOBMFF規範之版本。檔案類型框310亦可包括相容品牌之清單，該清單包括檔案相容之其他品牌的清單。ISO基本媒體檔案可與大於一個主流品牌相容。 當ISO基本媒體檔案包括檔案類型框(如ISO基本媒體檔案300)時，僅存在一個檔案類型框。在一些狀況下，ISO基本媒體檔案可省略檔案類型框以便與其他早期播放器裝置相容。當ISO基本媒體檔案不包括檔案類型框時，播放器裝置可採用預設主流品牌(例如mp41)、次要版本(例如「0」)及相容品牌(例如mp41、isom、iso2、avc1等等)。 ISO基本媒體檔案300進一步包括電影框320，電影框320含有呈現之後設資料。電影框320由框類型「moov」識別。ISO/IEC 14496-12規定，含於一個檔案或多個檔案中之呈現可包括僅一個電影框320。電影框通常接近ISO基本媒體檔案之開始(例如如由ISO基本媒體檔案300中之電影框320的置放指示)。電影框320包括電影標頭框322，且可包括一或多個播放軌框324以及其他框。 由框類型「mvhd」識別之電影標頭框322可包括與媒體無關且與作為整體之呈現相關的資訊。舉例而言，電影標頭框322可包括資訊，諸如產生時間、修改時間、時間標度及/或針對呈現之持續時間等等。電影標頭框322亦可包括識別呈現中之下一播放軌的識別符。舉例而言，在所說明實例中，識別符可指向由電影框320含有之播放軌框324。 由框類型「trak」識別之播放軌框324可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌，其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括對於播放軌中之內容特定之時間及空間資訊，且每一播放軌可與媒體框相關聯。播放軌中之資料可係媒體資料，在此狀況下，播放軌係媒體播放軌；或資料可係用於串流傳輸協定之封包化資訊，在此狀況下，播放軌係提示播放軌。舉例而言，媒體資料包括視訊及音訊資料。在圖3中所展示之實例中，實例播放軌框324包括播放軌標頭框324a及媒體框324b。播放軌框可包括其他框，諸如播放軌參考框、播放軌群組框、編輯框、使用者資料框、後設框等等。 由框類型「tkhd」識別之播放軌標頭框324a可指定含於播放軌框324中之播放軌的特性。舉例而言，播放軌標頭框324a可包括播放軌之產生時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、音量、寬度及/或高度等等。對於媒體播放軌，播放軌標頭框324a可進一步識別播放軌是否經啟用，播放軌是否應作為呈現之部分而播放，播放軌是否可用以預覽呈現，以及播放軌之其他用途。播放軌之呈現通常假定為處於呈現之開始處。播放軌框324可包括編輯清單框(未展示)，編輯清單框可包括顯式時刻表圖。時刻表圖可指定播放軌之偏移時間等等，其中偏移指示播放軌之在呈現開始之後的開始時間。 在所說明實例中，播放軌框324亦包括由框類型「mdia」識別之媒體框324b。媒體框324b可含有物件及關於播放軌中之媒體資料之資訊。舉例而言，媒體框324b可含有處置程式參考框，其可識別播放軌之媒體類型及藉以呈現播放軌中之媒體之程序。作為另一實例，媒體框324b可含有媒體資訊框，其可指定播放軌中媒體的特性。媒體資訊框可進一步包括如上文關於圖2所描述之樣本表，其中各樣本描述包括例如樣本之資料之位置的一塊媒體資料(例如視訊或音訊資料)。樣本之資料儲存於下文進一步論述之媒體資料框中。如同大部分其他框一般，媒體框324b亦可包括媒體標頭框。 在所說明實例中，實例ISO基本媒體檔案300亦包括呈現之多個片段330a、330b、330c至330n。片段330a、330b、330c至330n並非ISOBMFF框，而是描述電影片段框332及由電影片段框332參考之媒體資料框338。電影片段框332及媒體資料框338係頂部層級框，但此處分組在一起以指示電影片段框332與媒體資料框338之間的關係。 由框類型「moof」識別之電影片段框332可藉由包括將以其他方式儲存於電影框320中之額外資訊來擴展呈現。使用電影片段方塊(例如電影片段框332)，可遞增地建構呈現。電影片段框332可包括電影片段標頭框334及播放軌片段框336以及此處未說明之其他框。 由框類型「mfhd」識別之電影片段標頭框334可包括序號。播放器裝置可使用序號來驗證片段330a包括資料之下一段以供呈現。在一些狀況下，檔案之內容或用於呈現之檔案可無序地被提供至播放器裝置。舉例而言，網路封包可以不同於最初傳輸封包之次序的次序頻繁地到達。在此等狀況下，序號可輔助播放器裝置判定片段之正確次序。 電影片段框332亦可包括由框類型「traf」識別之一或多個播放軌片段框336。電影片段框332可包括一組播放軌片段，每播放軌零或更多個片段。播放軌片段可含有零或多個播放軌行程，其中之每一者描述播放軌的樣本之連續行程。除添加樣本至播放軌外，播放軌片段可用以將空的時間添加至播放軌。 由框類型「mdat」識別之媒體資料框338含有媒體資料。在視訊播放軌中，該媒體資料框338可含有視訊圖框、存取單元、NAL單元、或其他形式之視訊資料。媒體資料框可替代地或另外地包括音訊資料。呈現可包括含有於一或多個個別檔案中之零或大於零的媒體資料框。媒體資料藉由後設資料描述。在所說明實例中，媒體資料框338中之媒體資料可藉由包括於播放軌片段框336中之後設資料來描述。在其他實例中，媒體資料框中之媒體資料可藉由電影框320中之後設資料來描述。後設資料可藉由在檔案300內之絕對偏移參考特定媒體資料，以使得媒體資料標頭及/或媒體資料框338內之自由空間可被跳過。 ISO基本媒體檔案300中之其他片段330b、330c至330n可含有類似於針對第一片段330a所說明之框的框，及/或可含有其他框。 如上文所提及，ISOBMFF包括經由網路支援串流傳輸媒體資料，以及支援對媒體之本端播放。包括一個電影呈現之檔案可包括稱為提示播放軌之額外播放軌，其含有可在形成且傳輸檔案作為封包中輔助串流傳輸伺服器的指令。舉例而言，此等指令可包括用於伺服器以供發送之資料(例如標頭資訊)或對媒體資料之片段的參考。檔案可包括用於不同串流傳輸協定之單獨提示播放軌。提示播放軌亦可在不需要重新格式化檔案之情況下添加至檔案。 用於對媒體資料進行串流傳輸之一種方法係經由超文字傳送協定(HyperText Transfer Protocol，HTTP)或DASH (定義於ISO/IEC 23009 -1:2014中)之動態自適應串流。被稱為MPEG-DASH之DASH係啟用媒體內容使用習知HTTP網頁伺服器之高品質串流傳輸的自適應位元速率串流傳輸技術。DASH藉由將媒體內容打斷成一系列基於HTTP之小檔案區段來操作，其中每一區段含有短時間間隔之內容。使用DASH，伺服器可以不同位元速率提供媒體內容。正播放媒體之用戶端裝置可在下載下一片段時自替代性位元速率做出選擇，且因此適應於改變網路條件。DASH使用網際網路之HTTP網頁伺服器基礎架構來經由全球資訊網遞送內容。DASH獨立於用以對媒體內容進行編碼及解碼之編碼解碼器，且因此與諸如H.264及HEVC之編碼解碼器等等一起操作。 ISOBMFF包括在以下情況下使用之限制方案設計：媒體格式檔案之創建者(例如原創者、生產者等等)在處理與媒體格式檔案相關聯之媒體內容時需要藉由播放器或顯現器執行某些動作。限制方案使得播放器能夠檢查媒體格式檔案以易於判定用於顯現媒體內容之此類要求，且可防止舊版播放器下載、顯現及對需要進一步處理之檔案進行解碼。舊版播放器可包括未被設計成處理某些媒體內容之播放器裝置，此係因為例如該播放器僅能夠播放在無所需處理之情況下經寫碼之視訊內容。當內容應僅由正確地呈現內容之播放器解碼時，可應用限制方案。限制方案類型之說明性實例包括：立體視訊圖框封裝配置(表示為「stvi」)之限制方案類型、虛擬實境視訊(表示為「vrvd」)之限制方案類型、投影全向視訊(表示為「podv」)之限制方案類型、等矩形投影視訊(表示為「erpv」)之限制方案類型、封裝等矩形或立方圖投影視訊(表示為「ercm」)之限制方案類型、超廣角全向視訊(表示為「fodv」)之限制方案類型等等。 限制方案機制之態樣類似於內容保護變換，其中樣本項隱藏於一般樣本項「encv」、enca」等等後，從而指示經加密或囊封媒體。用於受限制視訊之類似機構使用具有通用樣本項「resv」之變換。 如下應用限制方案之應用的實例： 1)樣本項之四字符碼由新樣本項「resv」(意謂受限制視訊)替換。 2)限制方案資訊框經添加至樣本描述，從而使得所有其他框未經修改。 3)原始樣本項類型儲存於含有於限制方案資訊框中之原始格式框內。 限制方案資訊框(RestrictedSchemeInfoBox)與保護方案資訊框(表示為ProtectionSchemeInfoBox)以相同方式格式化，惟限制方案資訊框使用識別符「rinf」而非「sinf」(如以下實例中所展示)除外。原始取樣想類型含有於位於限制方案資訊框中之原始格式框中(以相同於用於經加密媒體之保護方案資訊框的方式)。 限制之準確性質定義於含於限制方案資訊框中之方案頂部框(表示為SchemeTypeBox)中，且彼方案所需之資料儲存於方案資訊框(表示為SchemeInformationBox)中。 可同時應用約束與保護方案。變換之次序遵循來自樣本項之四字符碼。舉例而言，若樣本項類型係「resv」，則撤銷以上限制方案變換可產生樣本項類型「encv」，從而指示媒體受到保護。藉由剖析ISO基本媒體檔案之檔案結構以逐層展開檔案以獲得且處理檔案中之資訊，可使用剖析程序來完成撤銷變換(例如保護方案、保護方案等等)。舉例而言，在剖析受限制視訊樣本項類型「resv」之限制方案變換以獲得與針對樣本項類型「resv」使用之特定方案類型(例如立體視訊配置之限制方案類型、虛擬實境視訊之限制方案類型、或其他方案類型)相關的資訊之後，播放器裝置將在檔案中找到與樣本項類型「encv」相關之資訊。播放器裝置接著可剖析加密相關內容，以獲得對內容進行解密所需的資訊。甚至另外，在剖析且處理加密資訊之後，播放器裝置可找到對內容進行解碼所需之寫碼資訊。接著可處理自檔案讀取之不同內容。舉例而言，可使用來自檔案之加密相關資訊來對視訊內容進行解密。可使用檔案中之寫碼相關資訊來對經解密視訊進行解碼，且接著可使用限制方案資訊(例如使用立體視訊配置之「stvi」圖框類型資訊來解封裝圖框)連同檔案中之其他資訊來顯現經解碼視訊。 應注意，若檔案原創者僅想要提供諮詢資訊而不使舊版播放器停止播放檔案，則限制方案Info框可不置放於樣本項內部而不應用四字符碼變換。在此狀況下，不必要包括原始格式框。 限制方案資訊框目前定義如下：限制方案資訊框 框類型：「rinf」 容器：受限制樣本項或樣本項 必選：是 數量：恰好一個 限制方案資訊框含有理解所應用之限制方案及其參數兩者需要之所有資訊。其亦記錄媒體之原始(未經變換)樣本項類型。限制方案資訊框係容器框。其在使用指示樣本串流之碼亦即「resv」的樣本項中係必選的。 當用於受限制樣本項中時，此框必須含有原始格式框以記錄原始樣本項及方案類型框。方案資訊框取決於約束方案可被需要。 aligned(8)類別RestrictedSchemeInfoBox(fmt)擴展Box(「rinf」) { OriginalFormatBox(fmt) original_format； SchemeTypeBox scheme_type_box； SchemeInformationBox info； //可選 } 方案類型框目前定義如下：方案類型框 框類型：「schm」 容器：保護方案資訊框(「sinf」)，限制方案 資訊框(「rinf」)， 或SRTP程序框(「srpp」) 必選：否 數量：「sinf」中，零或一個，取決於保護結構；在以下各者中恰好一個： 「rinf」及「srpp」 方案類型框(「schm」)識別保護或限制方案。 aligned(8)類別SchemeTypeBox擴展FullBox(「schm」, 0, flags) { 無正負號int(32) scheme_type； //4CC識別方案 無正負號int(32) scheme_version； //方案版本 若(flags & 0x000001) { 無正負號 int(8) scheme_uri[]； //瀏覽器uri } } scheme_type係定義保護或限制方案之程式碼。 scheme_version係方案(用以產生內容)之版本 scheme_URI允許在使用者尚未在其系統上安裝方案之情況下將使用者引導至網頁頁面之選項。其係形成為UTF-8字符中之空字符結尾字串的絕對URI。 方案資訊框目前定義如下：方案資訊框 框類型：「schi」 容器：保護方案資訊框(「sinf」)，限制方案 資訊框(「rinf」)， 或SRTP程序框(「srpp」) 必選：否 數量：零或一個 方案資訊框係僅由正使用之方案解譯的容器框。加密或限制系統需要之任何資訊儲存於此處。此框之內容係其類型及格式由方案類型框中聲明之方案定義的一系列框。 aligned(8)類別SchemeInformationBox擴展Box(「schi」) { 框 scheme_specific_data[]； } 對於ISOBMFF中之限制方案，存在各種問題。舉例而言，在限制方案之現有設計中，在其容器(受限制樣本項容器或樣本項容器)中可僅存在一個限制方案資訊框。另外，在限制方案資訊框中可僅存在一個方案類型框，且在限制方案資訊框中可僅存在零或一個方案資訊框。 此類限制並不允許同時將多種類型之限制方案應用與與一個樣本項相關聯之相同媒體內容。樣本項可與視訊檔案之一或多個樣本相關聯。然而，存在利用多個限制方案應用於之視訊內容的許多真實世界媒體應用。將圖框封裝立體虛擬實境視訊用作一個說明性實例，對限制方案之限制防止以下可能性：將立體視訊配置(表示為「stvi」且定義於ISOBMFF之條項8.15.4中)之限制方案及虛擬實境視訊(在本文中表示為「vrvd」且定義於MPEG輸入文檔m37914中)之該限制方案應用於與一個樣本項相關聯之相同視訊內容。存在多個限制方案可應用於與一個樣本項相關聯之相同媒體內容的許多其他實例。 在本文中描述了用以運用限制方案解決上述問題之系統及技術。本文中所描述之態樣中的一些可獨立地應用，且該等態樣中的一些可組合地應用。在一些狀況下，可產生包括適用於某些視訊內容之多個限制方案的媒體格式檔案(根據媒體檔案格式，諸如ISOBMFF或其他適合之格式)。舉例而言，多個限制方案可同時應用於與一個樣本項相關聯之相同媒體內容。改良式設計適用於任何類型的視訊編解碼器。播放器裝置可接收在其中指示多個限制方案之媒體檔案，且可剖析檔案以獲得將多個限制方案應用於視訊內容所需之資訊。舉例而言，使用來自檔案之資訊，播放器裝置可將多個限制方案應用於與檔案中之一個樣本項相關聯的媒體內容。 在一些實例中，多個方案類型框可包括於含於媒體格式檔案之樣本項中的限制方案資訊框中。如上文所提及，方案類型框定義特定限制之準確性質。舉例而言，方案類型框識別適用於與樣本項相關聯之視訊內容的特定方案類型(例如播放軌符合之方案類型)。該多個方案類型框提供識別處理與該樣本項相關聯之媒體內容所需之複數個限制方案類型的能力。在一些狀況下，方案類型框亦可被稱作相容方案類型框。在一些實例中，除了多個方案類型框以外，多個方案資訊框亦可包括於限制方案資訊框中。對於特定方案類型所需之資料儲存於對應方案資訊框中。舉例而言，一個方案資訊框可包括於各方案類型框之限制方案資訊框中。限制方案資訊框(restrictedSchemeInfoBox)係基於Box()而非FullBox()，不存在版本場，因此無法定義框之新版本。然而，此方法係向後相容的，此係因為設計允許將更多可選框添加至框中之末端。 指定適用於與樣本項相關聯之媒體內容之多個限制方案()的媒體格式檔案之詳細實施例的說明性實例提供於下文中。在以下實例中，添加至ISO/IEC標準(例如ISO/IEC 14496-n、ISO/IEC 15444-n等等)之限制方案設計中描述之實施方案的額外文字在＜*＞括號之間展示(例如展示為＜「額外文字」＞)。 在說明性實例中，為了實施指定適用於與樣本項相關聯之媒體內容之多個限制方案的媒體格式檔案，限制方案資訊框、方案類型框及方案資訊框之定義如下文所示而改變：限制方案資訊框 框類型：「rinf」 容器：受限制樣本項或樣本項 必選：是 數量：恰好一個 限制方案資訊框含有理解所應用之約束方案及其參數兩者需要之所有資訊。其亦記錄媒體之原始(未經變換)樣本項類型。限制方案資訊框係容器框。其在使用指示樣本串流之碼亦即「resv」的樣本項中係必選的。 當用於受限制樣本項中時，此框必須含有原始格式框以記錄原始樣本項及方案類型框。方案資訊框取決於約束方案可被需要。 aligned(8)類別RestrictedSchemeInfoBox(fmt)擴展Box(「rinf」) { OriginalFormatBox(fmt) original_format； SchemeTypeBox＜#1＞ scheme_type_box＜#1＞； SchemeInformationBox＜#1＞ info＜#1＞； //可選 ＜... SchemeTypeBox#i scheme_type_box#i； //可選 SchemeInformationBox#i info#i； //可選 ... SchemeTypeBox#N scheme_type_box#N； //可選 SchemeInformationBox#N info#N； //可選＞ }方案類型框 框類型：「schm」 容器：保護方案資訊框(「sinf」)，限制方案資訊框(「rinf」)或SRTP程序框(「srpp」) 必選：否 數量：「sinf」中零或一個，取決於保護結構；「srpp」中恰好一個；＜「rinf」中一或多個＞ 方案類型框(「schm」)識別保護或限制方案類型。 aligned(8)類別SchemeTypeBox擴展FullBox(「schm」, 0, flags) { 無正負號 int(32) scheme_type； //4CC識別方案 無正負號 int(32) scheme_version； //方案版本 若(flags & 0x000001) { 無正負號 int(8) scheme_uri[]； //瀏覽器uri } } scheme_type係定義保護或限制方案之程式碼。 scheme_version係方案(用以產生內容)之版本 scheme_URI允許在使用者尚未在其系統上安裝方案之情況下將使用者引導至網頁頁面之選項。其係形成為UTF-8字符中之空字符結尾字串的絕對URI。方案資訊框 框類型：「schi」 容器：保護方案資訊框(「sinf」)，限制方案資訊框(「rinf」) 或SRTP程序框(「srpp」) 必選：否 數量：「sinf」及「srpp」之零或一個；＜「rinf」中零或更多個＞ 方案資訊框係僅由正使用之方案解譯的容器框。加密或限制系統需要之任何資訊儲存於此處。此框之內容係其類型及格式由方案類型框中聲明之方案定義的一系列框。 aligned(8)類別SchemeInformationBox擴展Box(「schi」) { 框 scheme_specific_data[]； } 如上述說明性實例中所展示，限制方案資訊框包括多個方案類型框(SchemeTypeBox#1、SchemeTypeBox#i至SchemeTypeBox#N)，方案類型框指示處理與含有限制方案資訊框之特定樣本項容器相關聯之媒體內容所需的多個方案類型。在一些狀況下，方案類型框中之每一者亦可表示為CompatibleSchemeTypeBox。另外，限制方案資訊框包括多個方案資訊框(SchemeInformationBox#1、SchemeInformationBox#i至SchemeInformationBox#N)，方案資訊框包括執行對應方案類型所需之資料。舉例而言，SchemeInformationBox#1可包括包括實施由SchemeTypeBox#1識別之方案類型所需之資料的一或多個框。 在一些實例中，根據本文中所描述之技術產生的媒體格式檔案可包括樣本項容器中之多個限制方案資訊框，以便指示適用於與彼樣本項相關聯之媒體內容的多個限制方案。此技術之詳細實施例的說明性實例提供於下文中。在以下實例中，添加至ISO/IEC標準(例如ISO/IEC 14496-n、ISO/IEC 15444-n等等)之限制方案設計中描述之實施方案的額外文字在＜*＞括號之間展示(例如展示為＜「額外文字」＞)。 限制方案資訊框之定義如下文所示而改變：限制方案資訊框 框類型：「rinf」 容器：受限制樣本項或樣本項 必選：是 數量：＜一或多個＞ 限制方案資訊框含有理解所應用之約束方案及其參數兩者需要之所有資訊。其亦記錄媒體之原始(未經變換)樣本項類型。限制方案資訊框係容器框。其在使用指示樣本串流之碼亦即「resv」的樣本項中係必選的。 當用於受限制樣本項中時，此框必須含有原始格式框以記錄原始樣本項及方案類型框。方案資訊框取決於約束方案可被需要。 aligned(8)類別RestrictedSchemeInfoBox(fmt)擴展Box(「rinf」) { OriginalFormatBox(fmt) original_format； SchemeTypeBox scheme_type_box； SchemeInformationBox info； //可選 } 如上述說明性實例中所展示，在媒體格式檔案之樣本項容器中產生具有多個限制方案資訊框之媒體格式檔案允許檔案指示適用於與樣本項相關聯之媒體內容的多個限制方案。 圖4說明可包括於ISO基本媒體檔案中之媒體框424的實例，ISO基本媒體檔案指定適用於與樣本項相關聯之媒體內容的多個限制方案(使用多個方案類型框462a、462b及多個方案資訊框464a、464b)。如上文所論述，媒體框可包括於播放軌框中，且可含有描述播放軌中之媒體資料的物件及資訊。在所說明的實例中，媒體框424包括媒體資訊框442。媒體框424亦可包括其他框，其在此處不予以說明。 媒體資訊框442可含有描述關於播放軌中之媒體之特性資訊的物件。舉例而言，媒體資訊框442可包括描述播放軌中之媒體資訊之位置的資料資訊框。作為另一實例，當播放軌包括視訊資料時，媒體資訊框442可包括視訊媒體標頭。視訊媒體標頭可含有獨立於視訊媒體之寫碼的大體上呈現資訊。當播放軌包括音訊資料時，媒體資訊框442亦可包括聲音媒體標頭。 媒體資訊框442亦可包括樣本表框444。由框類型「stbl」識別之樣本表框444可提供播放軌中之媒體樣本的位置(例如具有檔案之位置檔案以及該等樣本之時間資訊。使用藉由樣本表框444提供之資訊，播放器裝置可以正確時間次序定位樣本，判定樣本之類型，及/或判定大小、容器及容器內之樣本的偏移等等。 樣本表框444可包括由框類型「stsd」識別之樣本描述框446。樣本描述框446可提供關於例如用於樣本之寫碼類型之詳細資訊，及針對彼寫碼類型需要之任何初始化資訊。儲存於樣本描述框中之資訊可特定針對於包括樣本之播放軌的類型。舉例而言，一個格式在播放軌係視訊播放軌時可用於樣本描述，且在播放軌係提示播放軌時可使用不同格式。作為另一實例，針對樣本描述之格式亦可取決於提示播放軌之格式而發生變化。 樣本描述框446可包括一或多個樣本項448a至448n。樣本項類型係摘要類別，且因此通常樣本描述框包括特定樣本項框，諸如視訊資料之視覺樣本項或音訊樣本之音訊樣本項等等實例。樣本項框可儲存針對特定樣本之參數。舉例而言，對於視訊樣本而言，樣本項框可包括視訊樣本之寬度、高度、水平剖析度、垂直剖析度、圖框計數及/或深度等等。作為另一實例，對於音訊樣本，樣本項可包括通道計數、通道佈局及/或取樣速率等等。 在所說明實例中，第一樣本項448a包括限制方案資訊框460。在此類實例中，第一樣本項448a可具有指示受限制串流之程式碼(例如「resv」)。如本文中所描述，由框類型「rinf」識別之限制方案資訊框可含有理解應用於樣本之限制方案及方案之參數兩者所需的資訊(例如在一或多個其他框中)。如上文所提及，檔案之原創者可需要來自播放器裝置之某些動作以處理某些媒體內容。在此類狀況下，檔案可包括限制方案資訊框，播放器裝置可定位且使用限制方案資訊框以判定顯現與樣本項相關聯之媒體內容的要求。可能不能夠顯現內容之播放器亦可使用限制方案資訊框來判定其不可顯現內容，且因此不應試圖處理內容。限制方案資訊框通常包括原始樣本項類型，即，在藉由限制方案資訊框描述之任何變換之前的樣本項之類型。 在各種實施方案中，如上文所提及，可針對不同種類之內容定義不同類型之限制方案。限制方案之類型可指定於由框類型「schm」識別之方案類型框中。限制方案類型之說明性實例包括：立體視訊配置(表示為「stvi」)之限制方案類型、虛擬實境視訊(表示為「vrvd」)之限制方案類型、投影全向視訊(表示為「podv」)之限制方案類型、等矩形投影視訊(表示為「erpv」)之限制方案類型、封裝等矩形或立方圖投影視訊(表示為「ercm」)之限制方案類型、超廣角全向視訊(表示為「fodv」)之限制方案類型等等。 在圖4中所展示之說明性實例中，第一樣本項448a包括圖框封裝立體虛擬實境視訊內容。適用於圖框封裝立體虛擬實境視訊內容之兩種類型的限制方案包括立體視訊配置(「stvi」)之限制方案類型及虛擬實境視訊(「vrvd」)之限制方案類型。限制方案資訊框460添加至包括圖框封裝立體虛擬實境視訊內容之第一樣本項448a。方案類型框462a指示表示為「vrvd」之虛擬實境內容的限制方案類型，且方案類型框462b指示表示為「stvi」之立體視訊內容的限制方案類型。 所說明實例中之限制方案資訊框460亦包括兩個方案資訊框464a及464b，該兩個方案資訊框皆由框類型「schi」識別。方案資訊框464a、464b可儲存與其相關之具體方案的資訊。舉例而言，方案資訊框464a適用於虛擬實境內容之限制方案類型框462a (「vrvd」方案類型)，且包括虛擬實境內容之參數。舉例而言，此等參數可包括虛擬實境視訊係2-D抑或3-D，虛擬實境視訊經預縫合或後縫合，及/或針對虛擬實境視訊之映射。在各種實施方案中，方案資訊框可經定義用於虛擬實境內容，具體而言用於含有針對虛擬實境內容之參數。 方案資訊框464b適用於圖框封裝立體內容(「stvi」方案類型)之限制方案類型框462b，且包括對於圖框封裝立體內容之限制方案類型所需的參數。舉例而言，當經立體寫碼視訊圖框經解碼時，經解碼圖框可含有形成立體對之兩個空間封裝之構成圖框的表示，或可僅包括立體對(不同播放軌中之左視圖及右視圖)之一個視圖。由於當經立體寫碼視訊之限制可含於方案資訊框464b中。舉例而言，方案資訊框464b係容器框，且含於方案資訊框464b中之框可包括表示為「StereoVideoBox」之框。在一個說明性實例中，對於立體視訊圖框，方案資訊框464b中之(例如含於方案資訊框464b中之StereoVideoBox中的)參數可包括資訊，資訊指示經解碼圖框含有形成立體對之兩個空間封裝之構成圖框的表示抑或含有立體對之兩個視圖中的一者。舉例而言，兩個空間封裝之構成圖框圖像可包括同一時間例項處之相同場景的兩個超廣角圖像，但該等圖像來自不同視圖。兩個圖像可封裝於視訊圖框中(例如並排封裝配置中)。在另一實例中，對於全向圖像，方案資訊框464b中之參數可包括資訊，資訊指示含有兩個空間封裝之構成圖像之表示之經重建影像。 現描述立體視訊框的之說明性實例。如上文所提及，立體視訊框的可含於方案資訊框464b中，且包括對於「stvi」限制方案類型所需之資料。立體視訊框的可如下定義： 框類型：「stvi」 容器：SchemeInformationBox 必選：是(當SchemeType係「stvi」時) 數量：一個 立體視訊框之語法及語義的實例如下： aligned(8)類別StereoVideoBox擴展extends FullBox(「stvi」,版本= 0, 0) { 預留模板無正負號Int(30) = 0; 無正負號 int(2) single_view_allowed; 無正負號 int(32) stereo_scheme; 無正負號 int(32) length; 無正負號 int(8)[length] stereo_indication_type; Box[] any_box; //可選 } single_view_allowed係整數。零值指示內容可僅顯示於立體顯示器上。當(single_view_allowed&1)等於1，其被允許以在單像單一視圖顯示器上顯示右視圖。當(single_view_allowed & 2)等於2時，其被允許以在單像單一視圖顯示器上顯示左視圖。 stereo_scheme係整數，其指示所使用之立體配置方案及根據所使用之方案的立體指示類型。stereo_scheme之以下值經指定如下： 1: 如由ISO/IEC 14496-10 [ISO/IEC 14496-10]之圖框填充配置補充增強資訊訊息指定的框架填充方案 2: 如ISO/IEC 13818-2 [ISO/IEC 13818-2:2000/修訂4]之附錄L中所指定之配置類型方案 3: 如針對相容之圖框/服務及2D/3D混合服務兩者之ISO/IEC 23000-11中所指定的立體方案。 預留stereo_scheme之值。 長度指示stereo_indication_type欄位之位元組的數目。 stereo_indication_type指示根據所使用之立體指示方案之立體配置類型。stereo_indication_type之語法及予以取決於stereo_scheme之值。針對stereo_scheme之以下值之stereo_indication_type的語法及予以指定如下： stereo_scheme等於1：長度之值應係4，且stereo_indication_type應係無正負號之int(32)，其含有來自ISO/IEC 14496-10 [ISO/IEC 14496-10]之表D-8的frame_packing_arrangement_type值] (「frame_packing_arrangement_type之定義」)。 stereo_scheme等於2：長度之值應係4，且stereo_indication_type應係無正負號之int(32)，其含有ISO/IEC 13818-2 [ISO/IEC 13818-2:2000/修正4]之表L-1的類型之] (「arrangement_type之定義」)。 stereo_scheme等於3：長度之值應係2，且stereo_indication_type應含有無正負號Int(8)之兩個語法元素。第一語法元素應含有來自ISO/IEC 23000-11:2009之表4的立體組合物類型。第二語法元素之最低有效位元應含有如ISO/IEC 23000-11:2009之8.4.3中指定的is_left_first之值，而其他位元經預留且應設定為0。 當使用StereoVideoBox時，以下情形適用： - 在TrackHeaderBox中 - 寬度及高度指定單一視圖在解封裝之後的視覺呈現大小。 - 在SampleDescriptionBox中 - frame_count應係1，此係因為解碼器是提上輸出單一圖框。換言之，包括於圖框封裝圖像內之構成圖框由frame_count記錄。 - 寬度及高度記錄圖框封裝圖像之像素計數(且不記錄圖框封裝圖像內單一視圖之像素計數)。 - 當視圖顯示與單像單一視圖顯示器上時，PixelAspectRatioBox記錄每一視圖之像素寬高比。舉例而言，在許多空間圖框填充配置中，像素寬高比框因此指示2:1或1:2像素寬高比，此係由於圖框封裝視訊之一個視圖的空間剖析度相較於同一格式之單一視圖視訊之彼空間剖析度通常沿著一個座標軸線被減半。 藉由運用限制方案資訊框460產生媒體資訊框442以包括方案類型框462a及方案類型框462b兩者以及方案資訊框464a及方案資訊框464b兩者，兩種類型之限制方案(「vrvd」及「stvi」方案類型)可同時應用於與第一樣本項448a相關聯之圖框封裝立體虛擬實境視訊內容。 存在多個限制方案可應用於與一個樣本項相關聯之相同媒體內容的許多其他實例。舉例而言，虛擬實境視訊(或360度視訊)內容可包括投影至等矩形表示之球形視訊內容。作為另一實例，虛擬實境視訊(或360度視訊)內容可包括投影成立方圖幾何形狀、截斷正方形金字塔幾何形狀或其他投影之球形視訊內容。多個限制方案可應用於此類內容。在下文描述可包括於媒體檔案中且適用於與媒體檔案中之樣本項相關聯之媒體內容的限制方案之實例。 限制方案類型之另一實例係用於投影全向視訊(其中方案類型表示為「podv」)。舉例而言，將投影全向視訊方案用於受限制視訊樣本項類型「resv」指示經解碼圖像係含有單像抑或立體內容之封裝圖像。對投影全向視訊方案之使用由scheme_type指示，scheme_type等於限制方案資訊框(RestrictedSchemeInfoBox)中之方案類型框(SchemeTypeBox)內的「podv」(投影全向視訊)。投影單像圖像之格式以含於限制方案資訊框中之方案資訊框(SchemeInformationBox)內的ProjectedOmniVideoBox指示。在一些狀況下，當方案類型係「podv」時，一個且僅一個ProjectedOmniVideoBox應在SchemeInformationBox中存在。在一些狀況下，「podv」方案類型定義為用於投影全向視訊之開端式方案類型。 提供用於等矩形投影視訊(其中方案類型表示為「erpv」)之另一限制方案類型。在一些狀況下，「erpv」方案類型定義為用於投影全向視訊之密閉式方案類型。當在限制方案資訊框(RestrictedSchemeInfoBox)中之方案類型框(亦被稱作相容方案類型框)中scheme_type等於「erpv」時，對應播放軌符合等於「podv」之scheme_type的約束(如ISO/IEC 14496-15標準文檔中定義)，以及各種額外約束。舉例而言，投影全向視訊框(ProjectedOmniVideoBox)內之投影格式框(ProjectionFormatBox)應指示等矩形投影。另外，當區域式封裝框(RegionWisePackingBox)存在時，以下約束全部適用： NumRegions之值應等於HorDiv1×VerDiv1。 對於介於0至NumRegions - 1 (包括0及NumRegions - 1)範圍內之i的各值，以下適用： PackingType[i]之值應等於0。 TransformType[i]之值應等於0。 PackedRegWidth[i]之值應等於ProjRegWidth[i]。 PackedRegHeight[i]之值應等於ProjRegHeight[i]。 與等矩形投影視訊限制方案類型「erpv」相關聯之其他約束包括：ProjectionFormatBox、StereoVideoBox (若存在)、RegionWisePackingBox (若存在)、RotationBox (若存在)及CoverageInformationBox (若存在)之版本應等於0。另外，方案資訊框(SchemeInformationBox)不應直接地或間接地含有除ProjectedOmniVideoBox、ProjectionFormatBox、StereoVideoBox、RegionWisePackingBox、RotationBox及CoverageInformationBox以外之任何框。 圖5係說明用於使用本文中所描述之技術來處理視訊資料的程序500之實例的流程圖。在區塊502處，程序500包括獲得視訊資料。在一個說明性實例中，視訊資料可包括應與媒體格式檔案之樣本項相關聯之經編碼視訊位元串流的部分(例如一或多個樣本)。在一些實例中，可對經編碼視訊位元串流進行加密。在另一說明性實例中，視訊資料可包括應與媒體格式檔案之樣本項相關聯之視訊(例如由一或多個攝影機捕捉)的一部分。在此類實例中，在產生媒體格式檔案之前，可藉由程序500對視訊資料進行編碼，且在一些狀況下，進行加密。 在區塊504處，程序500包括產生媒體格式檔案，媒體格式檔案包括視訊資料及與視訊資料相關聯之限制方案資訊框。在一個說明性實例中，使用ISO基本媒體檔案格式(ISOBMFF)或使用自ISO基本媒體檔案格式導出之媒體檔案格式產生媒體格式檔案。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。舉例而言，該複數個方案類型框中之各方案類型框可識別用於處理視訊資料所需之不同限制方案類型。在一些狀況下，視訊資料與媒體格式檔案之一個樣本項相關聯。在此類狀況下，媒體格式檔案可指定適用於與媒體格式檔案之一個樣本項相關聯之視訊資料的多個限制方案(使用複數個方案類型框，且在一些狀況下，使用多個方案資訊框)。在一些實例中，該複數個方案類型框中之方案類型框識別由方案類型框識別之限制方案類型的版本。舉例而言，上文使用之scheme_version的值可具有指示特定限制方案類型之版本的特定值(例如0、1、2等等)。特定限制方案類型之不同版本可包括由方案類型指示之限制方案的變體。在一些實例中，該複數個方案類型框中之方案類型框包括識別符，該識別符識別實施由方案類型框識別之限制方案類型所需的資料源。舉例而言，識別符可包括統一資源定位符(URL)或可提供對源之存取以獲得資料的其他適合源識別符。 由複數個方案類型框識別之限制方案類型可包括任何適合之限制方案類型。限制方案類型之說明性實例包括：立體視訊配置(表示為「stvi」)之限制方案類型、虛擬實境視訊(表示為「vrvd」)之限制方案類型、投影全向視訊(表示為「podv」)之限制方案類型、等矩形投影視訊(表示為「erpv」)之限制方案類型、封裝等矩形或立方圖投影視訊(表示為「ercm」)之限制方案類型、超廣角全向視訊(表示為「fodv」)之限制方案類型等等。 在一些實例中，限制方案資訊框進一步包括複數個方案資訊框。該複數個方案資訊框中之方案資訊框包括由複數個方案類型框中之方案類型框識別之限制方案類型所需的資料。使用來自上文之實例，方案資訊框可包括包括對於「stvi」限制方案類型所需之立體視訊框。 一旦產生，則媒體格式檔案可以任何適合之方式使用。舉例而言，程序500可包括傳輸媒體格式檔案。舉例而言，媒體格式檔案可傳輸至檔案處理裝置(例如媒體播放器、檔案剖析器、解碼裝置、儲存裝置、諸如伺服器之中間中間、及/或其他適合之裝置)。在另一實例中，程序500可包括儲存媒體格式檔案。 在一些實例中，程序500可由計算裝置或設備執行，諸如媒體格式檔案產生裝置、編碼裝置104 (其可以經組態以產生媒體格式檔案)或任何其他計算裝置。在一些狀況下，計算裝置或設備可包括處理器、微處理器、微電腦或經組態以實施程序500之步驟之裝置的其他組件。在一些實例中，計算裝置或設備可包括經組態以捕捉包括視訊圖框之視訊資料(例如視訊序列)的攝影機。舉例而言，計算裝置可包括攝影機裝置，攝影機裝置可或可不包括視訊編解碼器。作為另一實例，計算裝置可包括具有攝影機之行動裝置(例如諸如數位攝影機、IP攝影機等等之攝影機裝置、包括攝影機之行動電話或平板電腦、或具有攝影機之其他類型的裝置)。在一些狀況下，計算裝置可包括用於顯示影像之顯示器。在一些實例中，攝影機或捕捉視訊資料之其他捕捉裝置與計算裝置分離，在此狀況下，計算裝置接收或獲得所捕捉視訊資料。計算裝置可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料或其他網路資料。 圖6係說明用於使用本文中所描述之技術來處理一或多個媒體格式檔案的程序600之實例的流程圖。在區塊602處，程序600包括獲得媒體格式檔案，媒體格式檔案包括視訊資料及與視訊資料相關聯之限制方案資訊框。在一個說明性實例中，使用ISO基本媒體檔案格式(ISOBMFF)或使用自ISO基本媒體檔案格式導出之媒體檔案格式產生媒體格式檔案。該限制方案資訊框包括複數個方案類型框。該複數個方案類型框識別用於處理視訊資料所需之複數個限制方案類型。舉例而言，該複數個方案類型框中之各方案類型框可識別用於處理視訊資料所需之不同限制方案類型。在一些狀況下，視訊資料與媒體格式檔案之一個樣本項相關聯。在此類狀況下，媒體格式檔案可指定適用於與媒體格式檔案之一個樣本項相關聯之視訊資料的多個限制方案(使用複數個方案類型框，且在一些狀況下，使用多個方案資訊框)。在一些實例中，該複數個方案類型框中之方案類型框識別由方案類型框識別之限制方案類型的版本。在一些實例中，該複數個方案類型框中之方案類型框包括識別符，該識別符識別實施由方案類型框識別之限制方案類型所需的資料源。舉例而言，識別符可包括統一資源定位符(URL)或可提供對源之存取以獲得資料的其他適合源識別符。 由複數個方案類型框識別之限制方案類型可包括任何適合之限制方案類型。限制方案類型之說明性實例包括：立體視訊配置(表示為「stvi」)之限制方案類型、虛擬實境視訊(表示為「vrvd」)之限制方案類型、投影全向視訊(表示為「podv」)之限制方案類型、等矩形投影視訊(表示為「erpv」)之限制方案類型、封裝等矩形或立方圖投影視訊(表示為「ercm」)之限制方案類型、超廣角全向視訊(表示為「fodv」)之限制方案類型等等。 在一些實例中，限制方案資訊框進一步包括複數個方案資訊框。該複數個方案資訊框中之方案資訊框包括由複數個方案類型框中之方案類型框識別之限制方案類型所需的資料。使用來自上文之實例，方案資訊框可包括包括對於「stvi」限制方案類型所需之立體視訊框。 在區塊604處，程序600包括剖析媒體格式檔案。舉例而言，可藉由展開框且獲得框內之內容來剖析包括於媒體格式檔案中之框中的每一個。在區塊606處，程序600包括根據由複數個方案類型框識別之複數個限制方案類型而處理視訊資料。 可視需要處理視訊資料及自媒體格式檔案剖析之內容。舉例而言，程序600可對視訊資料進行解碼(例如使用解碼器)。程序600可進一步包括使用與包括於媒體格式檔案中之限制方案相關的資訊來顯現且顯示經解碼視訊資料。 在一些實例中，程序600可由計算裝置或設備執行，諸如媒體格式檔案處理裝置、解碼裝置112 (其可以經組態以諸如藉由執行媒體格式檔案之反變換來剖析媒體格式檔案)或任何其他計算裝置。在一些狀況下，計算裝置或設備可包括處理器、微處理器、微電腦或經組態以實施程序600之步驟之裝置的其他組件。在一些實例中，計算裝置或設備可包括經組態以捕捉包括視訊圖框之視訊資料(例如視訊序列)的攝影機。舉例而言，計算裝置可包括攝影機裝置，攝影機裝置可或可不包括視訊編解碼器。作為另一實例，計算裝置可包括具有攝影機之行動裝置(例如諸如數位攝影機、IP攝影機等等之攝影機裝置、包括攝影機之行動電話或平板電腦、或具有攝影機之其他類型的裝置)。在一些狀況下，計算裝置可包括用於顯示影像之顯示器。在一些實例中，攝影機或捕捉視訊資料之其他捕捉裝置與計算裝置分離，在此狀況下，計算裝置接收或獲得所捕捉視訊資料。計算裝置可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料或其他網路資料。 程序500及600經說明為邏輯流程圖，該等程序之操作表示可以硬體、電腦指令或其組合實施之一連串操作。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上當藉由一或多個處理器執行時執行所敍述操作之電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、邏輯、資料結構等等。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施程序並行地組合。 另外，程序500及600可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為在一或多個處理器上、藉由硬體或其組合共同地執行之程式碼(例如可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可係非暫時性的。 本文中所論述之技術及系統可實施於實例視訊編碼及解碼系統(例如系統100)中。在一些實例中，系統包括提供稍後由目的地裝置解碼之經編碼視訊資料的源裝置。詳言之，源裝置經由電腦可讀媒體將視訊資料提供至目的地裝置。源裝置及目的地裝置可包含廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型電腦(亦即，筆記本電腦)、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置等等。在一些狀況下，源裝置及目的地裝置可經裝備以用於無線通信。 目的地裝置可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源裝置移動至目的地裝置的任何類型之媒體或裝置。在一個實例中，電腦可讀媒體可包含通信媒體以使得源裝置能夠即時地將經編碼視訊資料直接傳輸至目的地裝置的通信媒體。可根據通信標準(諸如無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地裝置。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置至目的地裝置之通信的任何其他裝備。 在一些實例中，經編碼資料可自輸出介面輸出至儲存裝置。類似地，經編碼資料可由輸入介面自儲存裝置存取。儲存裝置可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置產生之經編碼視訊的另一中間儲存裝置。目的地裝置可經由串流傳輸或下載自儲存裝置存取所儲存之視訊資料。檔案伺服器可係能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如用於網站)、FTP伺服器、網路附加儲存(network attached storage，NAS)裝置或本端磁碟機。目的地裝置可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如Wi-Fi連接)、有線連接(例如DSL、纜線數據機等)或兩者之組合。自儲存裝置的經編碼視訊資料之傳輸可係串流傳輸、下載傳輸或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一個實例中，源裝置包括視訊源、視訊編碼器及輸出介面。目的地裝置可包括輸入介面、視訊解碼器及顯示裝置。源裝置之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣，目的地裝置可與外部顯示裝置介接，而非包括整合式顯示裝置。 該實例系統僅僅係一個實例。用於平行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置來執行。儘管本發明之技術一般由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源裝置及目的地裝置僅係源裝置產生經寫碼視訊資料以供傳輸至目的地裝置之此類寫碼裝置的實例。在一些實例中，源裝置及目的地裝置可以大體上對稱之方式操作，使得該等裝置中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊裝置之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊捕捉裝置，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源係視訊攝影機，則源裝置及目的地裝置可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器編碼所捕捉、經預捕捉或電腦產生之視訊。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。 如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光盤光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源裝置接收經編碼視訊資料，且將例如經由網路發射經編碼視訊資料提供給目的地裝置。類似地，媒體生產設施(諸如光碟衝壓設施)之計算裝置可自源裝置接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。 目的地裝置之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如圖像群組(group of pictures，GOP))之特性及/或處理的語法元素。顯示裝置將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(cathode ray tube，CRT)、液晶顯示器(liquid crystal display，LCD)、電漿顯示器、有機發光二極體(organic light emitting diode，OLED)顯示器或另一類型之顯示裝置。已描述本發明之各種實施例。 編碼裝置104及解碼裝置112之特定細節分別展示於圖7及圖8中。圖7係說明可實施本發明中所描述之技術中之一或多者的實例編碼裝置104之方塊圖。編碼裝置104可例如產生本文中所描述之語法結構(例如VPS、SPS、PPS或其他語法元素之語法結構)。編碼裝置104可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。 編碼裝置104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼裝置104亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解區塊濾波器、自適應性迴路濾波器(adaptive loop filter，ALF)及樣本自適應性偏移(sample adaptive offset，SAO)濾波器。儘管濾波器單元63在圖7中展示為迴路內濾波器，但在其他組態中，濾波器單元63可實施為迴路後濾波器。後處理裝置57可對由編碼裝置104產生之經編碼視訊資料執行額外處理。本發明之技術可在一些情況下由編碼裝置104實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理裝置57實施。 如圖7中所展示，編碼裝置104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括分割成圖塊、圖塊片段、影像塊或其他較大單元，以及視訊區塊分割，例如根據LCU及CU之四分樹結構。編碼裝置104一般說明編碼待編碼之視訊圖塊內的視訊區塊的組件。片段可劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於錯誤結果(例如寫碼速率及失真等級等等)選擇複數個可能寫碼模式中之一者，諸如複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重構經編碼區塊以用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之處理，該等運動向量估計視訊區塊之運動。運動向量例如可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的移位。 預測性區塊係就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(sum of absolute difference，SAD)、平方差和(sum of square difference，SSD)或其他差度量判定。在一些實例中，編碼裝置104可計算儲存於圖像記憶體64中之參考圖像的次整數像素位置的值。舉例而言，編碼裝置104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確密度)判定之運動向量而提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼裝置104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差形成用於區塊之殘餘資料，且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供解碼裝置112用於解碼視訊圖塊之視訊區塊。 如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。特定而言，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可例如在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46可自經測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。率失真分析大體上判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下，在選擇用於區塊之框內預測模式後，框內預測處理單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。編碼裝置104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測產生用於當前視訊區塊之預測性區塊之後，編碼裝置104藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(discrete cosine transform，DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如頻域)。 變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元率。量化程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。 在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(context adaptive variable length coding，CAVLC)、上下文自適應性二進位算術寫碼(context adaptive binary arithmetic coding，CABAC)、基於語法之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding，SBAC)、機率區間分割熵(probability interval partitioning entropy，PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，經編碼位元串流可傳輸至解碼裝置112，或經存檔以供稍後由解碼裝置112傳輸或由解碼裝置112擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊的運動向量及其他語法元素。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算用於次整數像素值以用於運動估計。求和器62將經重建構殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。 以此方式，圖7之編碼裝置104表示經組態以導出LIC參數、適應性地判定模板之大小及/或適應性地選擇權重的視訊編碼器之實例。如上文所描述，編碼裝置104可例如導出LIC參數、適應性地判定模板之大小，及/或適應性地選擇權重集合。舉例而言，編碼裝置104可執行本文中所描述技術中之任一者，包括上文關於圖5所描述的程序。在此類狀況下，編碼裝置104經組態以產生媒體格式檔案。在一些狀況下，本發明之技術中之一些亦可藉由後處理裝置57實施。 圖8係說明實例解碼裝置112之方塊圖。解碼裝置112包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。解碼裝置112可在一些實例中執行與關於來自圖7之編碼裝置104描述之編碼遍次大體上互逆的解碼遍次。 在解碼程序期間，解碼裝置112接收表示由編碼裝置104發送之經編碼視訊圖塊之視訊區塊及由編碼裝置104發送之相關聯語法元素的經編碼視訊位元串流。在一些實施例中，解碼裝置112可自編碼裝置104接收經編碼視訊位元串流。在一些實施例中，解碼裝置112可自網路實體79 (諸如伺服器、媒體感知網路元件(media-aware network element，MANE)、視訊編輯器/編接器(splicer)或經組態以實施上文所描述之技術中之一或多者的其他此類裝置)接收經編碼視訊位元串流。網路實體79可或可不包編碼裝置104。在網路實體79將經編碼視訊位元串流傳輸至解碼裝置112之前，本發明中所描述之技術中的一些可由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼裝置112可係獨立裝置之部分，而在其他情況下，關於網路實體79描述之功能性可由包含解碼裝置112之同一裝置執行。 解碼裝置112之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。解碼裝置112可接收以視訊圖塊層級及/或視訊區塊層級接的收語法元素。熵解碼單元80可處理且剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當視訊圖塊被寫碼係經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於經發信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼係經框間寫碼(亦即B、P或GPB)圖塊時，預測處理單位81之運動補償單元82基於運動向量及自熵解碼單元80接收到之其他語法元素而產生當前視訊圖塊之視訊區塊的預測性塊。預測性區塊可自參考圖像清單內之參考圖像中的一者產生。解碼裝置112可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單--清單0及清單1。 運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊以產生經解碼當前視訊區塊之預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素以判定用於寫碼視訊圖塊之視訊區塊之預測模式(例如框內預測或框間預測)、框間預測圖塊類型(例如B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在視訊區塊之編碼期間由編碼裝置104使用的內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收語法元素判定由編碼裝置104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化或解量化位元串流中所提供且由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由編碼裝置104針對視訊圖塊中之每一視訊區塊計算的量化參數來判定量化程度及同樣應應用之反量化程度。反變換處理單元88將反變換(例如反DCT或其他合適之反變換)、反整數變換或概念上類似的反變換程序應用於變換係數以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，解碼裝置112藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器(諸如解區塊濾波器、自適應性迴路濾波器(ALF)及樣本自適應性偏移(SAO)濾波器)。儘管濾波器單元91在圖8中展示為迴路濾波器，但在其他組態中，濾波器單元91可實施為迴路後濾波器。給定圖框或圖像中之經解碼視訊區塊隨後儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示裝置(諸如圖1中所展示之視訊目的地裝置122)上。 以此方式，圖8之解碼裝置112表示經組態以導出LIC參數、適應性地判定模板之大小及/或適應性地選擇權重的視訊解碼器之實例。如上文所描述，解碼裝置112可例如導出LIC參數、適應性地判定模板之大小，及/或適應性地選擇權重集合。舉例而言，解碼裝置112可執行本文中所描述之技術中之任一者，包括上文關於圖6所描述之程序。在此類狀況下，解碼裝置112經組態以剖析媒體格式檔案。 在前述描述中，參考其特定實施例描述申請案之態樣，但熟習此項技術者將認識到本發明不限於此。因此，儘管本文中已詳細描述申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現且使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而非限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。 在組件被描述為「經組態以」執行某些操作之情況下，可例如藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此組態。 結合本文所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以了描述。將此功能性實施為硬體還是軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以不同方式實施所描述之功能性，但不應將此等實施決策解釋為導致脫離本發明之範疇。 本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此等技術可實施於多種裝置中之任何者中，諸如通用電腦、無線通信裝置手機或具有多種用途之積體電路裝置，用途包括無線通信裝置手機及其他裝置中之應用。可將描述為模組或組件之任何特徵共同實施於整合式邏輯裝置中或分開實施為離散但可互操作之邏輯裝置。若以軟體實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現，該程式碼包括在被執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(random access memory，RAM)，諸如同步動態隨機存取記憶體(synchronous dynamic random access memory，SDRAM)、唯讀記憶體(read-only memory，ROM)、非揮發性隨機存取記憶體(non-volatile random access memory，NVRAM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)、快閃記憶體、磁性或光學資料儲存媒體等等。另外或替代地，該等技術可至少部分地由電腦可讀通信媒體實現，該電腦可讀通信媒體載送或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可係微處理器；但在替代例中，處理器可係任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，諸如DSP與微處理器之組合、複數個微處理器、一或多個微處理器結合DSP核心，或任何其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構中之任一者、前述結構之任何組合或適合於實施本文中所描述之技術的任何其他結構或設備。此外，在一些態樣中，本文中描述之功能性可設置於經組態用於編碼及解碼之專用軟體模組或硬體模組內，或併入於組合之視訊編碼器-解碼器(編解碼器)中。

35‧‧‧分割單元

41‧‧‧預測處理單元

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測處理單元

50‧‧‧求和器

52‧‧‧變換處理單元

54‧‧‧量化單元

56‧‧‧熵編碼單元

57‧‧‧後處理裝置

58‧‧‧反量化單元

60‧‧‧反變換處理單元

62‧‧‧求和器

63‧‧‧濾波器單元

64‧‧‧圖像記憶體

79‧‧‧網路實體

80‧‧‧熵解碼單元

81‧‧‧預測處理單元

82‧‧‧運動補償單元

84‧‧‧框內預測處理單元

86‧‧‧反量化單元

88‧‧‧反變換處理單元

90‧‧‧求和器

91‧‧‧濾波器單元

92‧‧‧圖像記憶體

100‧‧‧視訊寫碼系統

102‧‧‧視訊源

104‧‧‧編碼裝置

106‧‧‧編碼器引擎

108‧‧‧儲存器

110‧‧‧輸出

112‧‧‧解碼裝置

114‧‧‧輸入

116‧‧‧解碼器引擎

118‧‧‧儲存器

120‧‧‧通信鏈路

122‧‧‧視訊目的地裝置

200‧‧‧ISO基本媒體檔案

202‧‧‧電影容器

204‧‧‧媒體資料容器

210‧‧‧視訊播放軌

212‧‧‧播放軌標頭

214‧‧‧媒體資訊容器

216‧‧‧音訊播放軌

218‧‧‧提示播放軌

220‧‧‧框

222‧‧‧視訊資料塊

224‧‧‧音訊資料塊

226‧‧‧提示指令塊

300‧‧‧ISO基本媒體檔案

310‧‧‧檔案類型框

320‧‧‧電影框

322‧‧‧電影標頭框

324‧‧‧播放軌框

324a‧‧‧播放軌標頭框

324b‧‧‧媒體框

330a‧‧‧片段

330b‧‧‧片段

330c‧‧‧片段

330n‧‧‧片段

332‧‧‧電影片段框

334‧‧‧電影片段標頭框

336‧‧‧播放軌片段框

338‧‧‧媒體資料框

424‧‧‧媒體框

442‧‧‧媒體資訊框

444‧‧‧樣本表框

446‧‧‧樣本描述框

448a‧‧‧第一樣本項

448n‧‧‧樣本項

460‧‧‧限制方案資訊框

462a‧‧‧方案類型框

462b‧‧‧方案類型框

464a‧‧‧方案資訊框

464b‧‧‧方案資訊框

500‧‧‧程序

502‧‧‧區塊

504‧‧‧區塊

600‧‧‧程序

602‧‧‧區塊

604‧‧‧區塊

606‧‧‧區塊

下文參考如下圖式詳細描述本發明之說明性實施例： 圖1係說明根據一些實例之編碼裝置及解碼裝置之實例的方塊圖； 圖2係說明根據一些實例之遵循ISO基本媒體檔案格式(ISOBMFF)之實例檔案結構的圖式； 圖3係說明根據一些實例之含有視訊呈現之資料及後設資料的ISO基本媒體檔案(根據ISOBMFF格式化)之實例的圖式； 圖4係圖式說明根據一些實例之可包括於ISO基本媒體檔案中之媒體框的實例； 圖5係說明根據一些實例之用於處理視訊資料的程序之實例的流程圖； 圖6係說明根據一些實例之用於處理一或多個媒體格式檔案的程序之實例的流程圖； 圖7係說明根據一些實例之實例視訊編碼裝置的方塊圖；且 圖8係說明根據一些實例之實例視訊解碼裝置的方塊圖。

Claims (52)

1. 一種處理視訊資料之方法，該方法包含： 獲得該視訊資料；及 產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。
2. 如請求項1之方法，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
3. 如請求項1之方法，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
4. 如請求項1之方法，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。
5. 如請求項1之方法，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
6. 如請求項1之方法，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
7. 如請求項1之方法，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。
8. 如請求項1之方法，其進一步包含傳輸該媒體格式檔案。
9. 如請求項1之方法，其進一步包含儲存該媒體格式檔案。
10. 一種用於處理視訊資料之設備，其包含： 一記憶體，其經組態以儲存該視訊資料；及 一處理器，其經組態以： 獲得該視訊資料；及 產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。
11. 如請求項10之設備，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
12. 如請求項10之設備，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
13. 如請求項10之設備，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案的一版本。
14. 如請求項10之設備，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
15. 如請求項10之設備，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
16. 如請求項10之設備，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。
17. 如請求項10之設備，其中該處理器經組態以傳輸該媒體格式檔案。
18. 如請求項10之設備，其中該處理器經組態以儲存該媒體格式檔案。
19. 如請求項10之設備，其中該設備包含具有用於捕捉圖像之一攝影機的一行動裝置。
20. 一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行以下操作： 獲得視訊資料；及 產生一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型。
21. 如請求項20之非暫時性電腦可讀媒體，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
22. 如請求項20之非暫時性電腦可讀媒體，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
23. 如請求項20之非暫時性電腦可讀媒體，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。
24. 如請求項20之非暫時性電腦可讀媒體，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
25. 如請求項20之非暫時性電腦可讀媒體，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
26. 如請求項20之非暫時性電腦可讀媒體，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。
27. 一種處理一或多個媒體格式檔案之方法，其包含： 獲得一媒體格式檔案，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型； 剖析該媒體格式檔案；及 根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。
28. 如請求項27之方法，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
29. 如請求項27之方法，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
30. 如請求項27之方法，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。
31. 如請求項27之方法，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
32. 如請求項27之方法，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
33. 如請求項27之方法，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。
34. 如請求項27之方法，其進一步包含對該視訊資料進行解碼。
35. 如請求項34之方法，其進一步包含顯示經解碼視訊資料。
36. 一種用於處理一或多個媒體格式檔案之設備，其包含： 一記憶體，其經組態以儲存視訊資料及該一或多個媒體格式檔案；及 一處理器，其經組態以： 獲得一媒體格式檔案，該媒體格式檔案包括該視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型； 剖析該媒體格式檔案；及 根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。
37. 如請求項36之設備，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
38. 如請求項36之設備，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
39. 如請求項36之設備，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。
40. 如請求項36之設備，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
41. 如請求項36之設備，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
42. 如請求項36之設備，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。
43. 如請求項36之設備，其進一步包含： 一解碼器，其用於對該視訊資料進行解碼。
44. 如請求項43之設備，其進一步包含： 一顯示器，其用於顯示經解碼視訊資料。
45. 如請求項36之設備，其中該設備包含具有用於捕捉圖像之一攝影機的一行動裝置。
46. 一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行以下操作： 獲得一媒體格式檔案，該媒體格式檔案包括視訊資料及與該視訊資料相關聯之一限制方案資訊框，該限制方案資訊框包括複數個方案類型框，其中該複數個方案類型框識別用於處理該視訊資料所需之複數個限制方案類型； 剖析該媒體格式檔案；及 根據由該複數個方案類型框識別之該複數個限制方案類型而處理該視訊資料。
47. 如請求項46之非暫時性電腦可讀媒體，其中該複數個方案類型框中之各方案類型框識別用於處理該視訊資料所需之一不同限制方案類型。
48. 如請求項46之非暫時性電腦可讀媒體，其中該視訊資料與該媒體格式檔案之一個樣本項相關聯。
49. 如請求項46之非暫時性電腦可讀媒體，其中該複數個方案類型框中之一方案類型框識別由該方案類型框識別之一限制方案類型的一版本。
50. 如請求項46之非暫時性電腦可讀媒體，其中該複數個方案類型框中之一方案類型框包括一識別符，該識別符識別實施由該方案類型框識別之一限制方案類型所需之一資料源。
51. 如請求項46之非暫時性電腦可讀媒體，其中該限制方案資訊框進一步包括複數個方案資訊框，且其中該複數個方案資訊框中之一方案資訊框包括由該複數個方案類型框中之一方案類型框識別之一限制方案類型所需的資料。
52. 如請求項46之非暫時性電腦可讀媒體，其中使用一ISO基本媒體檔案格式(ISOBMFF)或使用自該ISO基本媒體檔案格式導出之一媒體檔案格式產生該媒體格式檔案。