TWI473016B - 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體 - Google Patents

用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體 Download PDF

Info

Publication number
TWI473016B
TWI473016B TW98124071A TW98124071A TWI473016B TW I473016 B TWI473016 B TW I473016B TW 98124071 A TW98124071 A TW 98124071A TW 98124071 A TW98124071 A TW 98124071A TW I473016 B TWI473016 B TW I473016B
Authority
TW
Taiwan
Prior art keywords
track
group
box
relationship
tracks
Prior art date
Application number
TW98124071A
Other languages
English (en)
Other versions
TW201009701A (en
Inventor
Miska Hannuksela
Ye-Kui Wang
Original Assignee
Sisvel Internat S A
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel Internat S A filed Critical Sisvel Internat S A
Publication of TW201009701A publication Critical patent/TW201009701A/zh
Application granted granted Critical
Publication of TWI473016B publication Critical patent/TWI473016B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體 發明領域
本發明大體上關於即時多媒體資料之領域，且更特定地關於這樣的多媒體資料之組織。
 發明背景
本節意在為在申請專利範圍中敍述之本發明提供一背景或脈絡。本文之描述可包括可貫徹的概念，但不必需是先前已設想的或貫徹的概念。因此，除非本文另有說明，在本節中所描述的内容不是在本申請案中的該描述及申請專利範圍之先前技術且不藉由列入本節被承認是先前技術。
ISO基本媒體檔案格式及其修訂，諸如SVC檔案格式，支持分層組織之位元流子集之特徵之指示。例如，一可縮放視訊編碼(SVC)位元流之子集之特徵可用於指示層(其實質上類似於可縮放層)或全部記錄軌(其相當於可縮放層)。然而，該ISO基本媒體檔案格式不支持指示不同層次分區及重疊位元流子集(其沒有洋蔥殼結構)。多視圖視訊編碼(MVC)需要兩種指示類型，因此在選擇輸出視圖上有靈活性。
儘管記錄軌可藉由記錄軌參照與其它記錄軌關聯且一記錄軌或一記錄軌子集(例如，SVC之一層)之特徵可被指示，但在該ISO基本媒體檔案格式或其衍生物中沒有指示記錄軌或記錄軌子集之一群集之特徵之機制。例如，這樣的特徵可是所需設定檔、等級及解碼器緩衝參數。
該ISO基本媒體檔案格式缺少指示記錄軌或記錄軌子集之一群集與記錄軌或記錄軌子集之另一群集之關係(共同或有區別的因素)之一機制。
 發明概要
在本發明之一個層面中，一方法包含把即時多媒體資料儲存在多個記錄軌及/或記錄軌子集中；及識別一個或多個多記錄軌群，每一多記錄軌群與該等記錄軌及/或記錄軌子集中的一個或多個之間的一關係相關聯。
在一個實施例中，該方法進一步包含識別兩個或更多組多記錄軌群之間的至少一個關係。
在一個實施例中，識別一個或多個多記錄軌群包括基於至少一個記錄軌子集識別一多記錄軌群。
在一個實施例中，識別一個或多個多記錄軌群包括群集該相同內容之多個視圖。
在一個實施例中，識別一個或多個多記錄軌群包括用一多記錄軌群盒指示記錄軌及/或記錄軌子集之間的關係。
在一個實施例中，該方法進一步包含形成至少一組多記錄軌群，該組多記錄軌群與該等多記錄軌群之一個或多個特徵相關聯。
在一個實施例中，該形成至少一組多記錄軌群基於來自多視圖媒體呈現、編碼或捕獲視點之相似特徵。
在一個實施例中，該形成至少一組多記錄軌群包括用一多記錄軌群關係盒指示多記錄軌群之間的關係。一個或多個準則可被用以指示多記錄軌群之間的關係。一準則可指示在一個時間應當只有該等被指示的多記錄軌群中的一個被處理。
在本發明之另一層面中，一電腦程式被實施在一電腦可讀媒體上。該電腦程式受組配以提供一方法，其包含把即時多媒體資料儲存在多個記錄軌及/或記錄軌子集中；及識別一個或多個多記錄軌群，每一多記錄軌群與該等記錄軌及/或記錄軌子集中的一個或多個之間的一關係相關聯。
在另一層面，本發明包括一裝置，其包含用於儲存即時多媒體資料之一儲存單元；及一處理器。該處理器受組配以把即時多媒體資料儲存在多個記錄軌及/或記錄軌子集中；及識別一個或多個多記錄軌群，每一多記錄軌群與該等記錄軌及/或記錄軌子集中的一個或多個之間的一關係相關聯。
當以下詳細的描述與附圖相結合時，本發明之各個實施例之這些及其它優勢及特徵連同該組織及其操作方式將變得明顯。
圖式簡單說明
藉由參考所附圖，本發明之範例實施例遭描述，其中：第1圖說明了一多媒體檔案格式層次；第2圖根據該ISO基本媒體格式檔案說明了一典型的盒；第3A圖是說明樣本群集之一示範盒；第3B圖說明了包含電影片段之一示範盒，該電影片斷包括一樣本到群盒；第4圖說明了一典型的MVC解碼順序；第5圖說明了用於多視圖視訊編碼之一示範的MVC預測結構；第6圖說明了作為一時間之函數的一示範音訊/視訊比率共享曲線；第7圖說明了作為可得到的位元率之一函數的一示範音訊率共享曲線；第8圖是多媒體資料組織之一圖式說明；第9圖是根據本發明之實施例之多媒體資料組織之一圖式說明；第10圖是根據本發明之實施例之一說明一過程之一流程圖；第11圖根據本發明之實施例，說明了兩者之間具有一切換關係之兩個多記錄軌群之一範例檔案；第12圖根據本發明之實施例，說明了具有三個視圖之一視訊流之一範例格式結構；第13圖根據本發明之各個實施例，說明了每一視圖被儲存為一記錄軌之一範例檔案；第14圖根據本發明之實施例，說明了所有視圖被儲存為一個記錄軌之一範例檔案；第15圖根據本發明之實施例，說明了具有記錄軌之一範例檔案，該等記錄軌具有不同數目之視圖；第16圖根據本發明之實施例，說明了包括相關於視圖層次結構之不同分支之一SEI訊息之一示範多視圖位元流；第17圖是一系統之概觀圖，本發明之各個實施例可在其內實施；第18圖說明了一範例電子裝置之一透視圖，其可根據本發明之各個實施例被使用；第19圖是電路之一示意圖，該電路可被包括在第18圖中的該電子裝置中；及第20圖是一通用多媒體通訊系統之一圖示表示，在該系統內各個實施例可被實施。
 較佳實施例之詳細說明
在下面的描述中，出於解釋而不是限制之目的，細節及描述被闡述以提供對本發明之一深入了解。然而，對於熟於此技者將明顯的是，本發明可在背離這些細節及描述之其它的實施例中實施。
該多媒體容器檔案格式是在一連串多媒體内容製作、處理、傳輸及耗用中的一重要要素。在編碼格式(亦稱基本串流格式)及該容器檔案格式之間有很多不同。該編碼格式與把該内容資訊編碼成一位元流之一特定編碼演算法之動作相關。該容器檔案格式包含以一方式組織該產生的位元流之工具，該方式使得該產生的位元流可用於本地解碼及播放、作為一檔案傳輸、或遭串流化，皆使用各種儲存及傳輸結構。而且，該檔案格式可促進媒體之交換及剪輯及把接收到的即時位元流記錄成一檔案。多媒體檔案格式200之層次在第1圖中遭說明。
可用媒體檔案格式標準包括ISO基本媒體檔案格式(ISO/IEC 14496-12)、MPEG-4檔案格式(ISO/IEC 14496-14，也被認為是MP4格式)、AVC檔案格式(ISO/IEC 14496-15)及3GPP檔案格式(3GPP TS 26.244，也被認為是3GP格式)。對AVC檔案格式之一最近修訂規定了用於可縮放視訊編碼(SVC)之檔案格式。動畫專家組(MPEG)中正在進行的工作是規定用於多視圖視訊編碼(MVC)之檔案格式，作為對AVC檔案格式之一修訂。MPEG還為FLUTE(IETF RFC 3926)及ALC(IETF RFC 3450)會議規定了一隱示記錄軌格式，其成為該ISO基本媒體檔案格式之2005版本之修訂2之一部分。包括該ISO基本媒體檔案格式之該2005版本之所有修訂及勘誤表之該ISO基本媒體檔案格式之該2005版本作為該ISO基本媒體檔案格式之一新版本(版本3)近期被出版，其將被稱作該ISO基本媒體檔案格式之2008版本或該ISO基本媒體檔案格式之版本3。
來自該ISO基本媒體檔案格式之另一格式是DVB檔案格式，作為一DVB藍皮書A121近期被出版。定義該DVB檔案格式之主要目的是緩解諸如根據目前(DVT-T,DVB-C,DVB-S)及將來DVB標準之機上盒、IP(網際網路協定)電視接收機及根據DVB-H及其未來演變之行動電視接收機之DVB技術之實施態樣之間的内容互通性。該DVB檔案格式促進所有DVB内容在終端機側之儲存。該DVB檔案格式意在作為一交換格式以保證兼容DVB裝置之間的互通性。它不必作為用於DVB兼容裝置之一内部儲存格式。該檔案格式應該能夠處理正在藉由其它DVB廣播規範使用的任一種媒體及資料。該DVB檔案格式將允許來自不同製造商的裝置之間交換記錄媒體、使用USB大容量記憶體或類似讀/寫裝置交換内容及共享存取一本地網路上的公共磁碟儲存器及很多其它功能。
該ISO檔案格式是上述所有該等檔案格式(除該ISO檔案格式本身外)之衍生之基礎。這些檔案格式(包括該ISO檔案格式本身)被稱為該ISO檔案格式系列。
第2圖根據該ISO基本媒體檔案格式，顯示了一簡化的檔案結構220。在該ISO基本媒體檔案格式中的基本構建塊被稱為一盒。每一盒具有一標頭及一酬載。該盒標頭以位元組指示該盒之類型及該盒之大小。一盒可包含其它盒，且該ISO檔案格式規定哪種盒類型允許在某一類型之盒內。而且一些盒強制性地存在於每一檔案中，而其它的是可選擇的。此外，對於一些盒類型來說，允許不止一個的盒存在於一檔案中。可以得出這樣的結論，該ISO基本媒體檔案格式規定盒之一層次結構。
根據ISO檔案格式系列，一檔案由媒體資料及元資料組成，其等被分別地包括在獨立的盒-媒體資料(mdat)盒及電影(moov)盒中。對於一可操作檔案來說，這兩種盒是必須存在的。該電影盒可包含一個或多個記錄軌，且每一記錄軌位於一記錄軌盒中。一記錄軌可以是以下類型中的一個：媒體、隱示、定時元資料。一媒體記錄軌指的是根據一媒體壓縮格式(及其對該ISO基本媒體檔案格式之封裝)格式化之樣本。一隱示記錄軌指的是隱示樣本，其包含碼簿指令，該等碼簿指令用於透過一經指示通訊協定構造用於傳輸之封包。該等碼簿指令可包含用於封包標頭構造之導引及包括封包酬載構造。在該封包酬載構造中，位於其它記錄軌或項目中的資料可被參考，即藉由一參照指示，在該封包構造過程中，在一特定記錄軌或項目中的哪段資料被指示需複製到一封包內。一定時元資料記錄軌指的是描述遭參照的媒體及/或隱示樣本之樣本。對於一種媒體類型-演示來說，典型地一個媒體記錄軌遭選擇。一記錄軌之樣本隱含地與在該樣本之被指示的解碼順序中按1增加的樣本編號相關聯。
應注意到，該ISO基本媒體檔案格式不限制一演示被包含於一個檔案中，而是它可被包含於一些檔案中。一個檔案包含用於整個演示的元資料。該檔案還可包含所有媒體資料，因此該演示是自含的。其它的檔案，如果被使用，不需要被格式化為ISO基本媒體檔案格式、被用以包含媒體資料、且還被包含未使用的媒體資料或其它資訊。該ISO基本媒體檔案格式只涉及該演示檔案之結構。該媒體資料檔案之格式被限制在該ISO基本媒體檔案格式或其衍生格式，只因為在該等媒體檔案中的該媒體資料必須按照在該ISO基本媒體檔案格式或其衍生格式中所規定被格式化。
當記錄内容到ISO檔案中時，電影片段可被使用，以防止如果一記錄應用程式當機、耗盡磁碟或其它事故發生時丟失資料。在沒有電影片段的情況下，資料丟失可發生，因為該檔案格式堅持要求所有的元資料(該電影盒)應當被寫入該檔案之一連續區域中。而且，當記錄一檔案時，可能沒有足夠數量的隨機存取記憶體(RAM)以對於該可用儲存器之大小緩衝用一電影盒，且當該電影之關閉太慢時重新計算一電影盒之内容。另外，使用一有規律的ISO檔案剖析器，電影片段可實現一檔案之同時記錄與播放。最後，當電影片段被使用且相比於具有相同媒體内容但不具有電影片段結構的一檔案來說該初始電影盒較小時，最初緩衝之較短持續時間被需要用以漸次下載，即同時接收及播放一檔案。
該電影片段特徵能夠將通常位於該moov盒中的該元資料分成多段，每一段對應用於用於一記錄軌之某一時間段。換句話說，該電影片段特徵能夠交錯檔案元資料及媒體資料。因此，該moov盒之大小可被限制且上述之使用實例可實現。
如果用於該等電影片段之該等媒體樣本與該moov盒在相同檔案中，照例，該等媒體樣本位於一mdat盒中。然而，對於該等電影片斷之該元資料，提供了一moof盒。它包含對於某一持續播放時間之資訊，其先前已在該moov盒中。該moov盒仍然獨立地代表一有效電影，但此外，其包含指示該等電影片段將在該相同檔案中接著出現之一mvex盒。該等電影片段在時間上擴展與該moov盒相關連的演示。
可被包括在該moof盒中的該元資料被限制於可被包括於一moov盒中的該元資料之一子集及在某些情況下被不同地編碼。可被包括在一moof盒中的該等盒之細節可從該ISO基本媒體檔案格式說明中找到。
現在參考第3A圖及第3B圖，盒中之樣本群集之使用被說明。在該ISO基本媒體檔案格式及其衍生(諸如該AVC檔案格式及該SVC檔案格式)中的一樣本群集，是基於一群集準則分配在一記錄軌中的每一樣本，以成為一個樣本群中的一成員。在一樣本群集中的一樣本群不被限制為相鄰的樣本且可包含不相鄰的樣本。由於有不止一個的樣本群集用於一記錄軌中的該等樣本，每一樣本群集具有一類型欄位以指示群集之類型。樣本群集由兩個連接的資料結構表示：(1)一SampleToGroup盒(sbgp盒)表示分配樣本到樣本群；(2)一SampleGroupDescription盒(sgpd盒)包含用於每一樣本群之一樣本群項目，其描述該群之屬性。基於不同的群集準則，可有該等SampleToGroup盒及SampleGroupDescription盒之多個實例。此等藉由被用以指示群集類型的一類型欄位區別開來。
第3A圖提供了一簡化的盒層次以指示用於該等樣本群盒之巢狀結構。該等樣本群盒(SampleGroupDescription盒及SampleToGroup盒)位於該樣本表(stbl)盒内部，該樣本表被包括於一電影(moov)盒内的該媒體資訊(minf)、媒體(mdia)及記錄軌(trak)盒(按此順序)中。
該SampleToGroup盒被允許位於一電影片段中。因此，樣本群集可逐片段地完成。第3B圖說明了一檔案之一範例，該檔案包含包括一SampleToGroup盒之一電影片段。
該ISO基本媒體檔案格式支持兩種類型的編輯操作：透過編輯列表(Edit List)盒修改播放時間及檔案元資料重新編寫。編輯列表盒規定了一媒體組成時間表如何被轉換為一播放時間線，且能把該媒體時間線分成段及將那些段映射到在該播放時間線中的時間片。因此，編輯列表盒使略去播放之媒體樣本、在播放中改變媒體段之順序及改變媒體段之播放速度成為可能。然而，編輯列表盒不被所有播放器支持，例如，因為藉由編輯列表盒提供的特徵之靈活性導致播放器實施態樣的挑戰。而且，使用媒體列表盒不能釋放用於該moov盒及moof盒中的未播放的媒體樣本及該未播放的媒體樣本之描述的儲存空間。因此，很多檔案編輯者通常不使用編輯列表盒，而是透過檔案元資料之重新編寫修改檔案。
當包含於一ISO基本媒體檔案格式之衍生檔案中的該多媒體演示藉由增加或移除媒體資料被改變時，該檔案元資料需要被重新編寫。很多次，檔案可以之後移除或增加多媒體資料不需完整重新編寫該檔案元資料之一方式被編寫。例如，如果只有很少區塊包含用於該記錄軌之該等媒體樣本時，一完整的記錄軌可以一簡易的方式被刪除。
在多視圖視訊編碼中，自不同攝影機輸出之視訊序列被編碼成一個位元流，每一攝影機對應不同的視圖。解碼之後，為了顯示某一視圖，屬於該視圖之已解碼的圖片被重建及顯示。不止一個之視圖被重建及顯示也是可能的。
多視圖視訊編碼具有各種各樣的應用，包括自由視點視訊/電視、3D TV及監視。目前，ISO/IEC動畫專家組(MPEG)與ITU-T視訊編碼專家組之聯合視訊組(JVT)正致力於發展一MVC標準，其將成為H.264/AVC之一擴展。此後，我們稱這兩種(草案)標準分別為MVC及AVC。
MVC之最新聯合草案在JVT-AA209“Joint Draft 7.0 on Multiview Video Coding”,27th JVT meeting,Geneva,Switzerland,Apr. 2008遭描述，其可從http://ftp3.itu.ch/av-arch/jvt-site/2008_04_Geneva/JVT-AA2 09.zip得到。
根據多少及哪些視圖期望被顯示，一多視圖視訊位元流可以各種方式遭解碼。在具有特定特徵的一N視圖自動立體顯示器上，在一給定的時間範圍内，某一組N個視圖可以是最佳的輸出，而在具有一組不同特徵的一N視圖自動立體顯示器上或在另一給定的時間範圍内，另一組N個視圖可以是最佳的輸出。也常見的是，有很多較佳組N個視圖，該使用者可從其選擇或在其中瀏覽。N之值可從1變化到在該位元流中的視圖之總數目且根據該顯示器之特徵應該在一解碼/播放時間被選擇。應注意到，由於視圖間互相關聯性，用於輸出的該較佳組N個視圖可能需要解碼多於N個視圖。
現在參考第4圖，一示範的MVC解碼順序(即位元流順序)遭說明。該解碼順序安排被稱為時間優先編碼。每一存取單元被定義為包含用於一個輸出時間實例之所有視圖之已解碼的圖片。要注意存取單元之該解碼順序可能與該輸出或顯示順序不一致。
現在參考第5圖，用於多視圖視訊編碼之一示範的MVC預測(包括在每一視圖内的圖片間預測及視圖間預測兩種)結構遭說明。在該已說明的結構中，預測藉由箭頭指示，被指向的對象使用發動指向的對象用於預測參考。
在MVC中，視圖間預測只被紋理預測(即只有該等重建的樣本值可用於視圖間預測)支持，且只有該相同輸出時間實例之該等重建的圖片作為目前圖片被用以視圖間預測。重建的樣本值被用在視圖間預測中之事實還表明了MVC利用多環路解碼。換句話說，運動補償及已解碼的圖片重建針對每一視圖被執行。
H.264/AVC、SVC及MVC位元流包含以在位元組流格式中或是被外部訊框化的解碼順序的網路抽象層(NAL)單元。NAL單元由一標頭及酬載構成。該NAL單元標頭指示該NAL單元之類型及包含在該NAL單元中的一已編碼的片是一參考圖片之一部分還是一非參考圖片之一部分。在該NAL單元標頭之第一位元組後，跟隨着一NAL單元標頭擴展(3個位元組)。該NAL單元標頭擴展包括描述在MVC之脈絡中的該NAL單元之屬性之語法元素。
補充增強資訊(SEI)訊息是可被包括於H.264/AVC、SVC及MVC位元流中的語法結構。SEI訊息不需要用於解碼輸出圖片中的樣本值但協助相關處理，諸如一圖片輸出時序、呈現、錯誤檢測、錯誤匿報及資源預留。很多SEI訊息在H.264/AVC、SVC及MVC中被規定。該等使用者資料SEI訊息能夠使組織或公司針對他們自己的使用規定SEI訊息。H.264/AVC、SVC及MVC標準包含用於該等特定SEI訊息之語法及語義，但沒有用於在該解碼器中處理訊息的過程被定義。因此，當編碼器創建SEI訊息時，其被要求遵守有關標準，且符合該有關標準之解碼器不需要為了輸出順序一致性而處理該等SEI訊息。一SEI NAL單元包含一個或多個SEI訊息。該MVC可縮放巢狀SEI訊息包含一個或多個普通的H.264/AVC SEI訊息且指示與該訊息有關的視圖。因此，該MVC可縮放巢狀SEI訊息能夠再次使用用於該基本視圖以外的視圖之H.264/AVC SEI訊息之該語法。
用於多視圖視訊之獲取系統之資訊對於在一呈現系統中正確地重建三維體驗是必不可少的。用於一多視圖視訊獲取系統之參數可被分為內在與外在參數。內在參數指示作為一個別單元之一單一攝影機之特徵，該攝影機獨立於該多視圖獲取系統之其它攝影機。應注意到，內在參數可包括來自該攝影機處理鏈之任何部分之特徵，諸如光學(及尤其透鏡)及圖像感測器。典型的內在攝影機參數包括但不限於指示焦點或焦距、像主點及輻射畸變差(其在光學及攝影科學中是眾所周知的術語)。外在參數指示一單一攝影機之與外部世界相關的特徵。典型的外在攝影機參數包括但不限於攝影機在世界坐標(x、y、z)中的相對攝影機位置及攝影機相對於三個軸之旋轉(即俯仰、滾動、偏搖/傾斜)。外在參數相對於已選參考，諸如坐標系之原點。該草案MVC標準之該多視圖獲取資訊SEI訊息是用於多視圖視訊之獲取資訊之格式之一範例。
該MPEG中正在進行的工作是規定用於多視圖視訊編碼(MVC)之檔案格式以作為對該AVC檔案格式之一修訂。可能的是，包含於該SVC檔案格式中的很多結構將在該MVC檔案格式中也被使用。可能在該MVC檔案格式中使用的這些SVC檔案格式結構中的一些在以下段落中被描述。
聚合器被用以群集屬於該相同樣本之NAL單元。聚合器使用與SVC VCL NAL單元或MVC VCL NAL單元相同的NAL單元標頭，但具有一不同NAL單元類型值。聚合器是能夠效率高的群集NAL單元之檔案格式内部結構。聚合器在該樣本結構之脈絡中被看作NAL單元。當存取一樣本(即從檔案中得到一樣本且將其傳給該解碼器)時，聚合器必須被移開(剩下其等包含或參考的NAL單元)。聚合器一定不能存在於該檔案格式外部的一串流中。藉由包含，聚合器可聚集在它們内的NAL單元(在藉由它們的長度指示的大小内)及還藉由參照聚集跟隨在其等後的NAL單元(在藉由聚合器内的該additional_bytes欄位指示的區域内)。當該串流藉由一AVC檔案閲讀器掃描時，只有該等被包含的NAL單元被看作在該聚合器“内”；例如，此允許一AVC檔案閲讀器跳過一整套不需要的SVC VCL NAL單元或MVC VCL NAL單元。相似地，如果AVC NAL單元藉由參照被聚集，該AVC閲讀器將不跳過它們且它們仍為該閱讀器保持在該串流中。當掃描該串流時：a)如果該聚合器沒被辨識出(例如，藉由一AVC閱讀器或解碼器)，它很容易地與其包含的内容被丟棄；b)如果該聚合器不被需要(即它屬於一未被期望的層或視圖)，藉由包括及參考之聚合器及其内容很容易地被丟棄(用它的長度及additional_bytes欄位)；及c)如果該聚合器被需要，其標頭被容易地丟棄且其内容獲保留。一聚合器被儲存在像任何其它NAL單元之一樣本内。所有的NAL單元以解碼順序保持在一聚合器内。
以下的樣本群可用於一SVC或MVC記錄軌以記錄該SVC或MVC流之結構及方便得到該串流之子集之資訊及提取出任一子集。有很多盒在下面被定義，其可出現在該樣本群描述中，也就是用於一SVC串流之可縮放群項目(Scalable Group Entry)及用於一MVC串流之多視圖群項目(Multiview Group Entry)。每一可縮放群項目或多視圖群項目分別記錄該SVC串流或該MVC串流之一子集。每一個子集與一層相關聯且可包含一個或多個操作點。一操作點是一位元流之一子集。用於一MVC串流之一操作點代表在一特定時間解析度的一組特定的視圖。在該MVC脈絡中，一層代表一組特定視圖之一組特定時間子集。‘scif’或‘mvif’之一群集類型被分別用以定義可縮放群項目或多視圖群項目。對每一層來說，在群集類型‘scif’或‘mvif’之該樣本群描述盒(SampleGroupDescriptionBox)中分別有不止一個的可縮放群項目或多視圖群項目。只有這些項目中的一個是該層之主要定義。
雖然該等可縮放及多視圖群項目被包含在該樣本群描述盒(SampleGroupDescription)中，但由於每一樣本不止與一層相關聯、由於這些群被用以描述該等樣本之部分-該等NAL單元，因此該群集不是一真正的樣本群集。因此，可能的是，沒有該群集類型‘scif’或‘mvif’之一樣本到群盒(SampleToGroup box)，除非碰巧一群事實上確實描述一整個樣本。即使該群集類型‘scif’或‘mvif’之一樣本到群盒存在，該資訊也不需要被用於層中的NAL單元之提取；相反地，該映射群必須一直記錄在該樣本内的NAL單元之‘型樣’及提供可能被需要用於NAL單元之提取之該NAL-unit-to-tier資訊。
層資訊(Tier Information)盒、層位元率(Tier Bit Rate)盒、SVC優先權範圍(SVC Priority Range)盒、初始參數組(Initial Parameter Set)盒、緩衝(Buffering)盒、層依賴性(Tier Dependency)盒被規定用於MVC檔案格式，相似地也用於該SVC檔案格式。尤其，它們可被包括在多視圖群項目中。
每一可縮放或多視圖群項目與一群ID(groupID)及一層ID(tierID)是相關聯的。該等層ID項目根據藉由該層ID之值發信的該等層ID項目的相依性被排列。層ID之一較大值指示一較高層。一值0指示最低層。一層之解碼獨立於任一較高層但可依賴於較低層。因此，該最低層可獨立地被解碼，層1之解碼可依賴於層0，層2之解碼可依賴於層0及層1，諸如此類。一層可包括來自該視訊流中的一個或多個層或視圖的資料。
應當準確地有針對每一層的一主要定義。對每一可縮放群項目或多視圖群項目來說，當該欄位主要群ID(primary_groupID)等於該欄位群ID(field groupID)時，該群是該層之該主要定義，且以下適用。一層資訊盒(TierInfoBox)及SVC優先權範圍盒(SVCPriorityRangeBox)應當存在。對於某一層來說，如果該等可選擇的盒中的任一個不存在，那麽，針對該層之資訊沒被定義(沒有層資訊之繼承)。如果對於某一層來說，沒有層相依性盒(TierDependencyBox)存在，那麽該層可依賴具有較低層ID(tierID)的所有層。如果初始化參數組盒(InitialParameterSetBox)存在，那麽解碼該層及其依賴的所有較低層所需的參數組藉由該盒被指示。如果該盒不存在，那麽藉由該SVC解碼器組態記錄(SVCDecoderConfigurationRecord)或MVC解碼器組態記錄(MVCDecoderConfigurationRecord)給定的所有參數組是否需要不遭發信。如果該等參數設定流被使用，那麽該初始化參數組盒(InitialParameterSetBox)將不存在。該等層ID(tierID)之值不需要是連續的。此外，對於每一可縮放群項目(ScalableGroupEntry)來說，當該欄位主要_群ID(field primary_groupID)等於該欄位群ID，SVC依賴範圍盒(SVCDependencyRangeBox)將存在。此外，對於每一多視圖群項目(MultiviewGroupEntry)來說，當該欄位主要群ID(field primary_groupID)等於該欄位群ID(field groupID)，視圖識別符盒(ViewIdentifierBox)將存在。
對每一被指定的層ID(tierID)來說，將有至少一個與其相關聯的NAL單元存在。換句話說，不允許指定未在該記錄軌中使用的層。在該基本串流中的每一NAL單元與一層ID(tierID)值相關聯，如下所述。首先，每一樣本透過隨後指定的類型“scnm”之該樣本群集與群ID(groupID)值之一映射相關聯。因此該“scnm”樣本群集指示在每一樣本内的NAL單元與群ID(groupID)值的相關性。使用類型“scif”或“mvif”之該樣本群描述盒，群ID(groupID)之值進而可與層ID(tierID)之值相關聯。與一特定層ID(tierID)相關聯的NAL單元可能需要與所有較小層ID(tierID)值相關聯的一些或所有NAL單元以用於適當解碼操作，但絕不會需要與一較大層ID(tierID)值相關聯的任一NAL單元(即，依賴性只存在於較低層方向中)。一伺服器(Server)或播放器(Player)可基於類型“scif”或“mvif”之該樣本群描述盒之該等項目(例如，訊框率等)内存在的該等描述欄位之值，選擇將被適當解碼操作所需的層ID(tierID)值之一子集。
該多視圖群項目如下被定義。
群類型：‘mvif’
容器：樣本群描述盒(‘sgpd’)
強制性：否
個數：0或多個
該多視圖群項目之語法如下。
該多視圖群項目之語義如下。
群ID(groupID)給定了該群項目之識別符。群ID(groupID)是任意值但將是唯一的。
主要群ID(primary_groupID)規定包含該層之主要定義的該群。如果該值等於該群ID(groupID)之值，那麽該群是該層之該主要定義。
當is_tl_switching_point設為1時，其指示，對於該群之成員(在ISO/IEC 14496-10附錄H中規定的具有temporal_id之最大值的成員)是時間層切換點。讓該群之該等成員之時間_id(temporal_id)之最高值作為tId，接著該位元流可在具有等於tId之temporal_id之任一成員處自具有等於tId-1之temporal_id之時間層到具有等於tId之temporal_id之時間層切換，假定藉由tl_switching_distance指示之等於tId-1之時間_id之該等成員已經被處理(被發送或解碼)。is_tl_switching_point等於0指示具有(temporal_id)之最大值之該群之成員(在ISO/IEC 14496-10附錄H中規定)可以是或不是時間層切換點。
當is_tl_switching_point為1時，tl_switching_distance被使用。它指示必須被解碼之具有等於tId-1之temporal_id之時間層之樣本之該數目以保證該串流從該切換點向前之在時間層tld處及以上之可解碼性。該值0指示無關於該較低時間層之一時間切換點。一特定樣本所需的距離可藉由用於一特定樣本之時間並行元資料記錄軌中的一時間層切換距離而減小。
NAL單元如下被映射到映射群及層。為了描述在一SVC或MVC存取單元内的可縮放性或視圖層次，兩種樣本群被使用：a)用以描述一樣本之部分之一群。對該等群之每一個來說，存在定義該等群屬性的一可縮放群項目(ScalableGroupEntry)或一多視圖群項目(MultiviewGroupEntry)。注意這些描述了層，而不是整個串流，且因此描述在任何瞬間屬於一個層之該等NAL單元，而不是整個存取單元。b)一映射群，其描述把在一存取單元内的每一NAL單元映射到一映射群(屬於群集類型‘scnm’(grouping_type‘scnm’))。對屬於一特定映射群之每一不同序列NAL單元來說，存在一可縮放NALU映射項目(ScalableNALUMapEntry)。在一存取單元内，一映射群包括一層中的所有的NAL單元。
定義映射群需要有一有限數量的映射群集型樣用於所有存取單元。如果在用於一給定層的連續存取單元中有一變化數量的NAL單元，聚合器(Aggregator)可被用以使這些變化的結構一致且減少所需的映射群數量。相同的映射群定義，可縮放NALU映射項目(ScalableNALUMapEntry)被用於SVC檔案格式及MVC檔案格式兩者。
當該解碼器組態記錄被用於可解釋為一MVC或一AVC串流之一串流時，該AVC解碼器組態記錄將反映該AVC兼容基礎層之屬性，例如，它將只包含需要用於解碼該AVC基礎層之參數組。一參數組串流可與MVC串流一起被使用，就像AVC串流之情況一樣。在這種情況下，參數組將不被包括在該解碼器組態記錄中。該MVC解碼器組態記錄(MVCDecoderConfigurationRecord)在結構上等同於及在語義上相同於一SVC解碼器組態記錄(SVCDecoderConfigurationRecord)。
一多視圖視訊串流藉由在一檔案中的一個或多個視訊記錄軌表示。每一記錄軌表示該串流之一個或多個視圖。如果藉由一記錄軌表示的一視圖使用藉由另一記錄軌表示的另一視圖以作為一視圖間預測參考，類型‘mvpr’之一記錄軌參照將被包括在參照該來源記錄軌之該記錄軌中以用於視圖間預測。
一MVC樣本由一個或多個視圖組件及該等相關的非VCL NAL單元組成。為了從一個或多個MVC記錄軌之樣本重建一存取單元，輸出視圖首先被確定。解碼該等經確定的輸出視圖所需的該等視圖可從該等‘mvpr’記錄軌參照或層依賴(Tier Dependency)盒中推斷出。如果一些記錄軌包含用於該存取單元之資料，在記錄軌中的各個樣本的對準在解碼時間上被執行，即不考慮剪輯列表而僅使用該時間到樣本表(time-to-sample table)。藉由按照該MVC標準要求的一順序排列該等NAL單元，一存取單元自在該等需要的記錄軌及層中的各自的樣本重建，該順序在下面以一通用等級表現：
‧　來自該等相關參數組記錄軌及來自該等相關基本串流記錄軌之所有的參數組NAL單元。
‧　來自該等相關的參數組記錄軌及來自該等相關的基本串流記錄軌之所有的SEI NAL單元。
‧　視圖組件依視圖順序索引值之上升順序。在一視圖組件内的NAL單元在該樣本内按照它們的出現順序。
應注意到，在該SVC檔案中規定的提取器可被用以定義包含一存取單元的一樣本格式。然而，這樣的一樣本格式並不是很適用於MVC，因為任意視圖可被選擇以用於輸出。該組輸出視圖及該視圖間依賴性層次決定哪些視圖需要用於解碼。位元流子集之數量可以是很大的，每一位元流子集適用於輸出一組不同的視圖。例如，36立體視圖子集可來自一經一般組織的9視圖MVC位元流。如果提取器被使用，用於輸出視圖之每一結合之一獨立的記錄軌應該被創建，其將導致一不必要的大檔案容量。對於一經一般組織的9視圖MVC位元流來說，用於所有立體視圖子集之提取器將處理至少約500千位元/秒，其導致檔案大小的一大幅增加。無論如何，本發明之各種實施例可適用於一樣本格式，在該樣本格式中一樣本包含一存取單元且提取器(Extractor)與該SVC檔案格式同樣地被使用。
用於該MVC之該樣本項目格式如下被定義。
盒類型：‘avc1’,‘avc2’,‘mvc1’
容器：樣本描述盒(‘stb1’)
強制性：avc1或avc2或mvc1是強制性的
個數：可存在一個或多個樣本項目
如果一MVC基本串流包含一可用的AVC兼容基礎層，那麽一AVC視覺樣本項目(‘avc1’或‘avc2’)將被使用。此處，該項目最初將包含一AVC組態盒(AVC Configuration Box)，如下定義可能被一MVC組態盒(MVC Configuration Box)跟隨。該AVC組態盒如藉由AVC解碼器組態記錄(AVCDecoderConfigurationRecord)定義，記錄有關於該AVC兼容基礎層的設定檔(Profile)、等級(Level)及參數組(Parameter)資訊。該MVC組態盒如藉由MVC解碼器組態記錄(MVCDecoderConfigurationRecord)定義，記錄有關於包含非基礎視圖的整個串流的設定檔、等級及參數組資訊(藉由該MVC解碼器配置記錄規定)，該MVC解碼器組態記錄儲存在MVC組態盒中。
如果該MVC基本串流不包含一可用的AVC基礎視圖，那麽一MVC視覺樣本項目(‘mvc1’)將被使用。該MVC視覺樣本項目將包含一MVC組態盒，如下定義。其包括一MVC解碼器組態記錄。
一優先權分配URI提供被用以分配優先權_id(priority_id)值的一方法之名稱(在該URI空間內)。當其在一AVC或MVC樣本項目中發生時，恰好一個URI將存在，其記錄該優先權_id(priority_id)分配於該串流中。該URI在此只被看作一名稱；它應該是不可參考的，雖然這沒要求。檔案閱讀器可能夠辨識出一些方法，且從而知道基於優先權_id(priority_id)將實施哪些串流提取操作。
該樣本項目名稱‘avc1’可只被使用在藉由在該AVC組態盒中給定的組態(包括設定檔及等級)下操作的一AVC解碼器所觀察到的該整個串流是一兼容且可用的AVC串流的情況下。類似於NAL單元之該等檔案格式特定結構可存在但一定不能用以存取該AVC基本資料；也就是，該AVC資料一定不能被包括在聚合器中(雖然它們可被包括在藉由該附加_位元組欄位(additional_bytes field)參考的該等位元組內)。該樣本項目名稱‘avc2’指示，為了形成預期的AVC串流，聚合器必須針對所包含的NAL單元被檢查。聚合器可被用於在‘avc1’、‘avc2’或‘mvc1’記錄軌中的MVC VCL NAL單元。
該等盒MVC組態盒(MVCConfigurationBox)、ViewScalabilityInfoSEIBox、IntrinsicCameraParametersBox、及ExtrinsicCameraParametersBox中的任一個可存在於一‘avc1’或‘avc2’樣本項目中。在這些情況下，以下該AVCMVC樣本項目(AVCMVCSampleEntry)或AVC2MVC樣本項目(AVC2MVCSampleEntry)定義分別適用。
下表為一視訊記錄軌顯示了當一MVC基本串流被儲存在一個或多個記錄軌、組態及該等MVC工具(除定時元資料之外，其總是被用於另一記錄軌中)中時樣本項目之所有可能的用法：
用於該等樣本項目的語法如下被規定。
用於該等樣本項目之該等欄位之語義相當於該SVC檔案格式之語義(用於方法、位元率及descr參數)或下面所規定。如ISO/IEC 14496-10附錄H中規定，視圖可縮放性包含一SEI NAL單元，該SEI NAL單元只包含一視圖可縮放性資訊SEI訊息。
該內在攝影機參數盒如下被定義。
盒類型：‘cam’
容器：樣本項目(‘avc1’,‘avc2’,‘mvc1’)
強制性：否
個數：0或1個
該內在攝影機參數盒之語法如下被定義。
用於該內在攝影機參數盒之語義相當於MVC之該多視圖獲取資訊SEI訊息之語義。
該外在攝影機參數盒如下被定義。
盒類型：‘ecam’
容器：樣本項目(‘avc1’,‘avc2’,‘mvc1’)
強制性：否
個數：0或1個
用於該外在攝影機參數之語法如下被定義。
用於該外在攝影機參數盒之語義相當於MVC之該多視圖獲取資訊SEI訊息之語義。
視圖識別符盒(View Identifier box)如下被定義。
盒類型：‘vwid’
容器：樣本項目(‘avcl’,‘avc2’,‘mvcl’)或多視圖群項目(MultiviewGroupEntry)
強制性：是(對於在多視圖群項目中的樣本項目及該主要群定義來說)
個數：恰好有一個(對於在多視圖群項目中的樣本項目及該主要群定義來說)
對於在多視圖群項目中的非主要群定義來說，0個
當被包括在一樣本項目中時，該盒藉由MVC之該視圖_id(view_id)語法元素之該等值指示包括在該記錄軌中的該等視圖。當被包括在一多視圖群項目中時，該盒藉由MVC之該視圖_id語法元素之該等值指示包括在各個層中的該等視圖。該盒還指示用於每一已列出的視圖之該視圖順序索引。此外，當該視圖識別符盒被分別包括在一樣本項目或多視圖群項目中時，該盒包括被包括在該記錄軌或層中的時間_id(temporal_id)之最小及最大值。
用於該視圖識別符盒之語法如下被定義。
該視圖識別符盒之語義如下被定義。
當該視圖識別符盒存在於一樣本項目中時，num_views指示包括在該記錄執中的視圖之數量。當該視圖識別符盒存在於一多視圖群(Multiview Group)項目中時，num_views指示包括在各個層中的視圖之數量。
當該視圖識別符盒被包括在一樣本項目或多視圖群項目中時，view_id分別為包括在該記錄軌或層中的一視圖指示MVC之該view_id語法元素之該值。
當該視圖識別符盒被包括在一樣本項目或多視圖群項目中時，view_order_index分別為包括在該記錄軌或層中的一視圖指示在MVC中指定的VOIdx變數之值。
當該視圖識別符盒被分別包括在一樣本項目或多視圖群項目中時，min_temporal_id、max_temporal_id取得存在於該等NAL單元之該NAL單元標頭擴展中的該temporal_id語法元素之最小值或值，該等NAL單元之該NAL單元標頭擴展被映射到該記錄軌或層。對於AVC串流來說，此取得在或將在該前置碼NAL單元中之值。
如果與‘avc1’或‘avc2’樣本項目相關聯的且包含一MVC基本串流的一記錄軌被包括在一替代群中，其它的群成員為包含在該記錄軌中的基礎視圖之替代物。如果與‘mvc1’樣本項目相關聯的一記錄軌被包含在一替代群中，其他群成員是包含與該‘mvc1’記錄軌一樣多的視圖之多視圖視訊記錄軌且其中該‘mvc1’記錄軌之每一個視圖在其它的記錄軌中有一各自的視圖。
一多描述編碼器產生來自一個原始信號的很多獨立的串流，其被稱為描述。每一描述典型地具有相似的重要性，該等描述中的任何一個足以再生一基本品質的解碼信號，且該再生品質改善作為接收到的描述之一功能。因此，明顯的是，描述是互相關聯的且多視圖描述編碼(MDC)相比於單一描述編碼在壓縮效率上是不利的。該相互關聯性還可使該解碼器能夠隱藏丟失的描述。很多演算法利用空間、頻率或時域劃分，已經被提出以用於多描述編碼。
該ISO基本媒體檔案格式如下規定了用以形成替代群及切換群之方法。alternate_group是攜帶在該記錄軌標頭盒中的一整數值之參數，其規定記錄軌之一群或集合。如果該欄位是0，沒有任何可能關於其它記錄軌之資訊。如果該欄位不是0，它應當對於包含互相替代的資料之記錄軌來說是相同的且對於屬於不同的這樣的群之記錄軌來說是不同的。在任一時間，在一替代群内只有一個記錄軌應當被播放或串流化，且必須藉由諸如位元率、編碼譯碼器、語言、封包大小等屬性與在該群中的其它記錄軌有所區別。一替代群可能只有一個成員。
儲存在一檔案中的一典型的演示包含每一媒體類型的一個替代群：一個用於視訊，一個用於音訊等。這樣的一檔案可包括一些視訊記錄軌，然而，在任一時間點，只有這些中的一個被播放或串流化。這藉由分配所有的視訊記錄軌到相同的替代群中實現。
在一替代群中的所有的記錄軌是用於媒體選擇的後選者，但是在在一段期間的這些記錄軌中的一些之間切換是沒有意義的。例如，一者可允許以不同位元率在視訊記錄軌之間切換及保持訊框之大小，但不允許在不同訊框之大小的記錄軌之間切換。在相同方式下，能夠在不同視訊編碼譯碼器或不同音訊語言之間選擇但不切換可能是令人期望的。
用於選擇及切換之記錄軌之間的區別藉由分配記錄軌到除替代群外還有的切換群中來處理。一個替代群可包含一個或多個切換群。在一替代群中的所有記錄軌是媒體選擇的候選者，而在一切換群中的記錄軌還可用於在一段期間切換。不同的切換群代表不同的操作點，諸如不同的訊框之大小、高/低品質等。
對於非可縮放位元流之情況來說，一些記錄軌可被包括在一切換群中。相同情況也適用於諸如傳統AVC串流之非分層可縮放位元流。
藉由用屬性標記記錄軌，可能描述其等之特徵。每一記錄軌可以一屬性列表來標記，該屬性列表可被用以描述在一特定切換群中的記錄軌或區分屬於不同切換群之記錄軌。
在用於一記錄軌之該使用者資料盒中所攜帶的該記錄軌選擇(Track Selection)盒包含一switch_group參數及一attribute_list。
switch_group是指定記錄軌之一群或集合之一整數。如果該欄位是0(預設值)或如果該記錄軌選擇盒不存在，沒有關於該記錄軌是否可以被用於在播放或串流化間切換之資訊。如果該整數不是0，對於可被用於在互相之間切換的記錄軌來說將是相同的。屬於相同的切換群之記錄軌將屬於相同的替代群。一切換群可只有一個成員。
attribute_list是一屬性列表。在該列表中的該等屬性應被用作在該相同替代或切換群中的記錄軌之描述或用於在該相同替代或切換群中的記錄軌之區分準則。每一區分屬性與指向區分該記錄軌之該欄位或資訊的一指標相關聯。
美國專利申請號11/844,300，標題是SYSTEM AND METHOD FOR INDICATING TRACK RELATIONSHIPS IN MEDIA FILES，提出了一記錄軌關係盒(Track Relation Box)，其能夠根據一特定的群集類型形成記錄軌之一個或多個群。用於替代記錄軌、切換記錄軌、分層編碼及多描述編碼之群集類型遭規定。該替代記錄軌群集類型能能把屬於特定替代群之記錄軌列表，即在該記錄軌標頭(Track Header)盒中的alternate_group之每一值具有一個記錄軌群。該替代記錄軌群集類型為剖析器提供了一機制以識別替代群，其可代替遍歷所有記錄軌之該等記錄軌標頭盒而被使用。該切換記錄軌群集類型提供了一方法以識別切換群，其可代替剖析所有記錄軌之該記錄軌選擇盒而被使用。該分層編碼群集類型提供了一方式以識別形成一分層(可縮放)位元流之記錄軌。該機制可代替遍歷所有記錄軌之該等記錄軌參照(Track Reference)盒而被用在剖析器中。該多描述編碼群集類型提供了一方式以把具有一多描述相互關係的位元流之記錄軌關聯起來。
該記錄軌關係盒如下被定義：
盒類型：‘trel’
容器：電影盒(‘moov’)
強制性：否
個數：0或1個
用於該記錄軌關係盒之語法如下定義：
在以上語法中，“版本”是規定該記錄軌關係盒之版本之一整數(如以上描述為0)。
“旗標”是具有旗標的一24位元整數。下面的位元被定義，其中位元0是最低的有效位元，位元1是第二個最低有效位元，諸如此類。當位元0等於1時，這指示替代記錄軌群之資訊存在於該盒中。當位元0等於0時，這指示替代記錄軌群之資訊不存在於該盒中。
當位元1等於1時，這指示切換記錄軌群之資訊存在於該盒中。當位元1等於0時，這指示切換記錄軌群之資訊不存在於該盒中。
當位元2等於1時，這指示分層記錄軌群之資訊存在於該盒中。當位元2等於0時，這指示分層記錄軌群之資訊不存在於該盒中。
當位元3等於1時，這指示MDC記錄軌群之資訊存在於該盒中。當位元3等於0時，這指示MDC記錄軌群之資訊不存在於該盒中。
“num_alternate_group”指示遭發信之替代記錄軌群之數量。“alternate_group_id”指示遭發信之第i個替代記錄軌群之識別符。該值不等於0。與一a1ternate_group_id相關的任一記錄軌具有一等於該alternate_group_id之一alternate_group(在該記錄軌標頭盒中)。具有不等於0的一alternate_group(在該記錄軌標頭盒中)的任一記錄軌與一“alternate_group_id”相關聯。“num_tracks_in_alternate_group”指示遭發信之該第i個替代記錄軌群中的記錄軌之數量。該“alternate_track_id”指示遭發信之該第i個替代記錄軌群中的第j個記錄軌之該記錄軌ID。
“num_switch_groups”指示遭發信之切換記錄軌群之數量。“switch_group_id”指示遭發信之第i個切換記錄軌群之識別符。該值不等於0。對於與一switch_group_id相關聯的任一記錄軌來說，如果一記錄軌選擇盒存在，那麽在該記錄軌選擇盒中遭發信的該switch_group等於該switch_group_id。對於具有一記錄軌選擇盒存在的任一記錄軌來說，如果該alternate_group不等於0，該記錄軌將與一switch_group_id相關聯。“num_tracks_in_switch_group”指示遭發信之該第i個切換記錄軌群中的記錄軌之數量。“switch_track_id”指示遭發信之該第i個切換記錄軌群中該第j個記錄軌之該記錄軌ID。
“num_layered_groups”指示遭發信之分層記錄軌群之數量。“layered_group_id”指示遭發信之該第i個分層記錄軌群之識別符。
“num_tracks_in_layered_group”指示遭發信之該第i個分層記錄軌群中的記錄軌之數量。“layered_track_id”指示遭發信之該第i個分層記錄軌群中的該第j個記錄軌之該記錄軌ID。
“num_dependent_on_tracks”指示與在該第i個分層記錄軌群中的該第j個記錄軌直接或間接相關之記錄軌之數量。“dependent_on_track_id”指示與在該第i個分層記錄軌群中的第j個記錄軌直接或間接相關之該第k個記錄軌之記錄軌ID。
“num_mdc_groups”指示遭發信之MDC記錄軌群之數量。“mdc_group_id”指示遭發信之該第i個MDC之識別符。
“num_tracks_in_mdc_group”指示遭發信之在該第i個MDC記錄軌群中的記錄軌之數量。“mdc_track_id”指示遭發信之在該第i個MDC記錄軌群中的該第j個記錄軌之記錄軌ID。
在該記錄軌關係盒之一個實施例中，一檔案遞送對話群盒(FDSessionGroupBox)被用以把與該檔案遞送對話之相同群ID相關聯的檔案遞送(FLUTE/ALC)隱示記錄軌列表(例如，形成相同網頁中的不同的對象，諸如圖像)。該FDSessionGroupBox如下被定義：
盒類型：‘segr’
容器：FD資訊盒(‘fiin’)
強制性：否
個數：0或1
該FD對話群盒是可選擇的，儘管對於包含多於一個FD隱示記錄軌之檔案來說是強制性的。它包含對話之一列表還有屬於每一對話之檔案群及隱示記錄軌。一FD對話透過被列表在用於一特定FD時期之該FD對話群盒中的所有FD隱示軌(通道)同時發送。
在任一時間應當只有一對話群被處理。在一對話群中的第一個列出的隱示記錄軌指定基本通道。如果一伺服器在該等對話群之間沒有偏好，該預設選擇應當是該第一個對話群。包含藉由該等隱示記錄軌參照的該等檔案之所有檔案群之該等群ID將被包含在檔案群之該列表中。該等檔案群ID可逐個被轉換成藉由該伺服器被包含在FDT中之檔案群名稱(使用該群ID到名稱(group ID to name)盒)。
用於該FDSessionGroupBox之語法如下被定義：
“num_session_groups”規定該等對話群之數量。“entry_count”提供在以下列表中的項目之數量，該以下列表包含該對話群符合的所有檔案群。如藉由每一源檔案之項目資訊項目指定，該對話群包含被包括在該等列出的檔案群中的所有檔案。要注意，用於該對話群之FDT應當只包括在該結構中列出的那些群。
“group_ID”指示該對話群符合的一檔案群。“num_channels_in_session_groups”指定在該對話群中的通道之數量。num_channels_in_session_groups之值將是一正整數。“hint_track_ID”指定屬於一特定對話群之該FD隱示記錄軌之該記錄軌ID。要注意，一個FD隱示記錄軌對應一個LCT通道。
當可縮放視訊流經由具有一約束帶寬的一通道遞送時，需要提供指示如何動態地執行從所有被聯合地遞送的媒體中提取出資料部分。因此，包含一個或多個可縮放媒體流之檔案還可被修訂為持有在藉由該等比率共享樣本群描述項目(RateShareEntry)描述的比率共享樣本群中的比率共享資訊。比率共享資訊之目的是為了通知一伺服器關於媒體應當如何在任一時間情況下從每一可縮放媒體串流中被提取。這使得在一伺服器處縮放媒體之一受控的或被建議的方式成為可能，因此能夠產生基本媒體串流。
藉由把媒體之部分(即時間範圍)與指定一目標比率共享值得比率共享資訊記錄關聯起來，定時比率共享資訊可被加到儲存在媒體記錄軌中的可縮放媒體串流。該目標比率共享值指示正在討論中的應當被分配給該媒體的可得位元率之一目標百分比。在最簡單的場景中，如在第6圖中所說明，在每一媒體及時間範圍內，只有一個目標比率共享值被指定。
然而，為了適應隨可得位元率改變的比率共享值，指定多於一個的操作範圍是可能的。例如，可指示一音訊串流部分在低可得位元率處需要該可得位元率之一較高(與視訊比較)百分比。如第7圖中所顯示，這藉由在一比率共享樣本群描述項目內指定兩個比率共享操作點來實現。
在第7圖中的每一操作點指定了一目標比率共享。對於更複雜的情況來說，指定更多的操作點也是可能的。此外，第一個及最後一個操作點分別在這些點處及為較低及較高可得位元率指定了一目標比率共享。在兩個操作點之間的該目標比率共享被指定在這些操作點之目標比率共享之間的範圍中。例如，用線性内插估算兩個操作點之間的該目標比率共享是可能的。
該目標比率共享指示正在討論中的應當被分配給該媒體的可得位元率之該目標百分比。給定該分配，該最大及最小位元率被用以指定邊界。最大位元率提供了用於該指定的媒體及時間範圍之該可得位元率之一上限。可選擇的，它可用以提供一上閾值，對於該上閾限來說，該被分配的位元率是用於該媒體的一優先權。最小位元率指示被視為有用之一較低閾值。例如，如果該被分配的位元率低於該最小位元率值，到伺服器的建議是完全不分配任何位元率到該媒體。那麽該位元率可被提供給其它媒體流或是一替代流，如果該替代流可得的話。
用於比率共享資訊之該樣本群集機制可被用以指示在記錄軌間的一目標位元率共享。把該等記錄軌減小到該目標位元率之演算法沒被指定。藉由該取樣群集機制定義的比率共享資訊應用於一媒體樣本之持續時間。然而，由於相同的位元率資訊有可能應用於一記錄軌之很多連續的樣本及可能將只在兩個或三個不同的記錄中變化，比率共享資訊可藉由使用樣本群被有效地儲存在一記錄軌中。一記錄軌之每一樣本可與(0或)一個樣本群描述相關聯，每一樣本群描述定義比率共享資訊之一記錄。
美國專利申請案編號11/874,138揭露了一檔案格式結構，被稱為一“rate share operation box”，用於指示用於已解碼的媒體之哪些適應操作點在一檔案中可得到。在該ISO基本媒體檔案格式中的該比率共享樣本群集基於兩種基本假設：
1.假設該經結合的媒體藉以應被傳遞的通道之總位元率是時間之逐段常數函數。然而，並非指示針對某一總位元率之一最理想的音訊-視訊位元率共享，某些應用將從造成一穩定音訊-視訊品質或體驗之一適配路徑之指示中受益。例如，若統計多工被使用在廣播應用中，那麽個人視聽服務之該位元率被允許改變，目標是保持一穩定的品質。同時，遍及用於一多工之所有視聽服務之該總位元率應當保持不變。截至今日，保持一穩定品質之比率共享資訊不能被指示。
2.只提供了記錄軌之間的該目標位元率，但沒提供藉由適應如何得到該被指示的共享之隱示或碼簿。因此，由於有很多適應可縮放媒體之可能性，例如，訊框比率縮放或品質縮放，在不同實施態樣中的適應過程之結果可大大不同。此事實降低該比率共享樣本群集之值。
為了解決上述問題，提出了一比率共享操作盒，其包括該等適應操作點之特性描述。一適應操作點可與包括在該比率共享樣本群描述項目中的一比率共享操作點相關聯，該比率共享樣本群描述項目相比於該ISO基本媒體檔案格式也是基本上不變的。可選擇地，一適應操作點可與在一新提出的定時元資料記錄軌中遭發信的一特定適應路徑相關聯，該新提出的定時元資料路徑指示不同的適應路徑。為了使該解決方法適合於隱示記錄軌及所有的未來可縮放媒體編碼格式，一獨立於SVC之一元資料樣本結構遭提出。每一元資料樣本提供了用於每一被相關聯的適應路徑之該等碼簿指令以產生一經過改編的樣本。該等碼簿指令指示該被參考的樣本資料之哪些部分強制性地存在於該已改編的樣本中及諸如精細可縮放經編碼片之哪些部分可自由地縮短為自該片標頭之任何長度。
一適應操作點藉由選擇該一個或多個已編碼的媒體位元流中之哪些部分被處理，指定一已編碼的多媒體剪輯是如何被縮放的，該已編碼的多媒體剪輯由一個或多個已編碼的媒體位元流組成。該一個或多個已編碼的媒體位元流之處理可包括以下之一個或多個：傳輸封包之組成、該等已縮放的媒體位元流之傳輸及解碼。美國專利申請案編號11/874,138描述了一檔案格式結構，被稱為一“rate share operation box”，用於指示用於已編碼的媒體之哪些適應操作點在一檔案中是可得到的。
此外，該比率共享操作盒可包括用於每一適應操作點之該適應結果之一特性描述，諸如該適應是否導致在所有相關聯的記錄軌之間共享的一所需的總位元率或該適應是否導致在每一相關聯的記錄軌中之一穩定品質。而且，該比率共享操作盒還可包括指示哪個算法被用以產生每一適應操作點。一適應操作點還對應在與該適應操作點相關聯的每一記錄軌中的一適應路徑。一適應操作點及一特定適應路徑可在該比率共享操作盒中特徵化，例如，在藉由該適應路徑實現的根據最小及最大位元率、用於適應的坐標軸之方面、諸如圖片之空間適應、圖片之品質適應、圖片比率適應或其中的任一組合。
本發明之一實施例在下面以根據在該ISO基本媒體檔案格式中使用的虛擬碼符號之一比率共享操作盒之形式被表現。一電影盒(‘moov’)包含0或1個比率共享操作盒(‘rsop’)，如下面定義。
在該比率共享工作點中的該等語法元素之語義如下：operation_point_count是提供操作點之該數量的一整數。
operation_description指示該操作點之該比率適應操作之輸出特性。用於operation_description之以下旗標被指定：0x1　所有相關聯的記錄軌之累計輸出位元率固定為該可得到的位元率。
0x2　每一相關聯的記錄軌之主觀品質在該記錄軌之整個持續時間中保持相似。
track_count指示與該操作點相關聯的記錄軌之數量。如果track_count等於1，那麽針對該工作點發信的資訊為包含在該單一經識別的記錄軌中的該單一媒體類型規定了一適應規則。如果track_count大於1，且所有被指示的記錄軌包含相同的媒體類型，那麽針對該操作點發信的資訊仍然為包含在該等多個經識別記錄軌中的單一媒體類型描述一適應規則。
track_id指示與該操作點相關聯的該記錄軌之track_ID。如果該track_id沒有參考包含一般可縮放媒體元資料之一定時元資料，adaptation_path_id將是0。否則，adaptation_path_id指示哪個適應路徑應當被使用在該操作點中。
rate_adaptation_algorithm等於0指示沒有適應應當針對任一相關聯的記錄軌來進行，而是該相關聯記錄軌之所有樣本應當如下被處理。如果該相關聯的記錄軌是一隱示記錄軌，對應於所有隱示樣本之封包應當被產生。如果該相關聯的記錄軌是一SVC媒體記錄軌，包括該等潛在的提取器NAL單元之所有樣本應當被剖析。對於其它記錄軌來說，所有的樣本應當被正常地剖析。該處理之輸出將符合如在該盒中指示的該操作點之特性。rate_adaptation_algorithm等於1指示一未知適應演算法應當被用以獲得藉由該比率共享樣本群集指示的目標比率共享。rate_adaptation_algorithm之其它值在本說明書中未被指定但識別被用以獲得在該等參考的一般可縮放媒體元資料記錄軌中的該等適應路徑之演算法。
num_constants_in_operation_points指定了在該適應路徑中保持不變的該等特徵之數量。
constant_list是一四字元碼，其隱含地表明指出指定該適應路徑之不變的特徵之盒或結構。該等四字元碼包括那些為SVC之該記錄軌選擇盒(Track Selection Box)所規定者。根據該裝置及/或軟體播放該檔案或接收根據包括在該檔案中的該等隱示記錄軌組成的該等封包串流，該常數列表能夠選擇一適當的操作點。
minimum_bitrate是一非零值(以每秒千位元)，其指示該操作點應當使用的最低累積位元率。
maximum_bitrate是一非零值(以每秒千位元)，其指示該操作點應當使用的最高累積位元率。
用於比率共享資訊之該樣本群集機制可被用以指示記錄軌之間的一目標位元率共享。把該等記錄軌減小到一目標位元率之演算法沒被指定。如果在一適應操作點中的該track_id指的不是包含一般可縮放媒體元資料之一定時元資料之一記錄軌，該記錄軌可包含如下所指定的類型‘rash’之樣本群集。
該ISO基本媒體檔案格式之該比率共享樣本群項目藉由如下所定義之operation_point_id被擴展：
operation_point_id指示在該比率共享操作點盒中的該適應工作點之索引。operation_point_id之每一值對應於藉由用於該操作點之該目前記錄軌之adaptation_path_id識別的一適應路徑。
適應路徑藉由一檔案格式結構遭發信，被稱為通用可縮放媒體元資料記錄軌。一通用可縮放媒體元資料記錄軌相關於一已編碼的媒體位元流(媒體記錄軌)或包含自一已解碼的媒體位元流形成傳送封包之結構之一隱示記錄軌。換句話說，一通用可縮放媒體元資料記錄軌包含可被用以把一參考記錄軌變稀到一所需的位元率或品質之“碼簿”指令。解碼一通用可縮放媒體元資料記錄軌導致經適應樣本。如果從一通用可縮放媒體元資料記錄軌參照的該記錄軌是一隱示記錄軌，該等適應樣本是有效的封包酬載。如果被參考的記錄軌是一媒體記錄軌，該等適應樣本是有效的媒體樣本，諸如已編碼的圖片或者視訊或已編碼的音訊訊框之存取單元。
該通用可縮放媒體元資料記錄軌之一實施例在以下被提供。一通用可縮放媒體元資料記錄軌是一定時元資料記錄軌，其藉由在該媒體盒中的一‘meta’handler_type識別。該定時元資料記錄軌藉由在該媒體資訊盒中包括一通用可縮放媒體元資料標頭盒被進一步特徵化為一通用可縮放媒體元資料記錄軌。該通用可縮放媒體元資料標頭盒包含如下所指定的與該記錄軌相關的一般資訊：
num_adaptation_paths指示該記錄軌提供了多少適應路徑。
adaptation_path_id指的是在該比率工作盒中被特徵化的路徑及識別該適應路徑。
truncation_flag等於1指示藉由在一些樣本中的適應路徑識別符標誌的一些部分可被截去。truncation_flag等於0指示沒有藉由在任一樣本中的適應路徑識別符標誌的部分可被截去。
一通用可縮放媒體元資料記錄軌之該樣本項目如下被指定：
該樣本項目之該等欄位被用以指定用於該記錄軌之該樣本結構中使用的語法元素之大小(分別對應於該等欄位之值0、1、2及3之8、16、24或32位元)。
在該通用可縮放媒體元資料記錄軌中的一樣本使用如下結構：
該通用可縮放媒體樣本群項目(Generic scalable media sample entry)包含log2_num_parts_minus_one、log2_num_paths_minus_one、log2_path_id_minus_one、log2_offset_minus_one及log2_size_minus_one之值。
該等元資料樣本與在被參考的媒體或隱示記錄軌中的該等樣本在時間上對準(在解碼時間上)。每一元資料樣本(也被稱為一適應樣本)相關於該相應的適應樣本，其來自於如下的初始適應樣本。
一初始適應樣本可來自於與一適應樣本相關的該已編碼的媒體樣本或該隱示樣本。當該相關的記錄軌為一媒體記錄軌時，一初始適應樣本來自於一相關的媒體樣本。如果該媒體樣本不包含如在該SVC檔案格式中規定的聚合器或提取器NAL單元，該初始適應媒體樣本與該媒體樣本相同。否則，藉由該等提取器NAL單元參考的資料被插入到該初始適應單元而非該提取器NAL單元，用於該等聚合器NAL單元之標頭被移除，且該初始適應媒體樣本之任何剩餘部分包含正如該媒體樣本之資料。當該相關記錄軌為一隱示記錄軌時，該初始適應記錄軌來自於該相關隱示樣本。該初始適應樣本等同於利用該樣本之該酬載建構器產生的該封包酬載。
一適應樣本包含對於每一適應路徑之資訊，其中該初始適應樣本之部分被包括在該適應樣本中。部分之指示可藉由在該初始適應樣本中的位元組範圍之一列表被指示。位元組範圍之使用使該解決方法不知道該媒體樣本或封包酬載之語法且因此可應用於任何編碼或封包酬載格式。如果該位元組範圍可自由地被縮短到從該被指示的範圍之開頭開始之任意長度時，一適應樣本還可在每一被指示的位元組範圍中包含一指示。
所提出的通用可縮放媒體元資料之樣本結構把初始適應樣本之經指示位元組範圍映射至一適應樣本。不同的位元組範圍可指示不同的適應路徑。它也可被指示某一位元組範圍是否可自由截斷，即從該位元組範圍之開頭開始之來自該位元組範圍之任一數量的位元組可被包括在該適應樣本中。
用於該通用可縮放媒體元資料記錄軌之該樣本結構之語義如下：num_parts指示在該初始適應樣本中的部分之數量。沒有給定一部分之準確定義，但它典型地是在該初始適應樣本中的一位元組範圍，該位元組範圍對應一預測參考單元，諸如在可縮放視訊中的一已編碼的圖片。
num_paths_whole_part指示包括該整個部分之適應路徑之數量。
truncatable_part_flag等於0指示該部分不可被截斷。truncatable_part_flag等於1指示該部分之至少一子部分可被截斷。
path_id_whole_part指示用於如在該比率共享操作盒中引入的該部分之該適應路徑識別符。
offset_whole_part指示該部分開始的該初始適應樣本之位元組偏置，該部分從該位元組偏置開始。該初始適應樣本之第一個位元組偏置值為0。
num_bytes_whole_part指示被包括在該部分中的位元組之數量。
num_partitionings指示一部分被分成子部分之分區之數量。把一部分分成子部分之每一獨特方式是一分區。例如，如果一部分對應一精細顆粒可縮放圖片，且指定了兩種適應路徑，其分別允許在該整個圖片大小之50%至100%及80%至100%範圍中位元率縮放，那麽將有兩分區用於該部分。在第一分區中，對應該圖片之大小之50%之一位元組範圍之一子部分將用等於0的free_truncation_flag指示，且該圖片之剩餘部分將用等於1的free_truncation_flag標誌。用於第二分區之子部分將類似地被指示。
num_paths指示共享一部分之相同分區到子部分之適應路徑之數量。
path_id指示用於對該分區指定的該等子部分之該適應路徑識別符，其如在比率共享操作盒中被引入。
num_subparts指示子部分之數量。沒有給定一子部分之準確定義，但它是在一部分内的一位元組範圍，例如該位元組範圍對應一精細顆粒可縮放已編碼片之片標頭及片資料。
偏置指示該等子部分開始的該初始適應樣本之該位元組偏置。該初始適應樣本之第一個位元組偏置值為0。
num_bytes指示包括在該子部分中的位元組之數量。
free_truncation_flag等於0指示該子部分不能被截斷。free_truncation_flag等於1，藉由排除起始於該子部分之末尾的樣本，指示該子部分可被截斷到任一長度。
一適應樣本如下被產生。讓currPathId等於用於該所需的適應路徑之識別符。對包含用於該所需適應路徑之資料之一樣本來說，如藉由比率共享資訊樣本群指示，執行以下過程。對每一被指示的部分來說，path_id_whole_part之列表首先與currPathId作比較。如果有path_id_whole_part之一個值等於currPathId，那麽藉由offset_whole_part及num_bytes_whole_part之值指示的整個部分被包括在該適應樣本中。如果沒有path_id_whole_part之值等於currPathId且truncatable_part_flag等於1，對子部分之經指示的分區之一迴圈遭執行，直到發現path_id之一個值等於currPathId。那麽，藉由偏置及num_bytes之值指示的每一子部分被包括在該適應樣本中。如果該適應樣本之進一步截斷被需要以滿足某一位元預算，例如，free_truncation_flag等於1的那些子部分，被截斷到一所需長度。
該等適應樣本形成一適應記錄軌。如果該經參照的記錄軌是一隱示記錄軌，則該等適應樣本是有效封包酬載。如果該經參照的記錄軌為一媒體記錄軌，則該等適應樣本是有效媒體樣本。
應當注意到，在視訊編碼中的已編碼的樣本典型地是已編碼的圖片及存取單元。在音訊中的已編碼的樣本典型地是已編碼的音訊訊框。此外，如以上描述，如果該simple_priority_id臨限值在一已編碼的視訊序列中間(即在IDR存取單元之間)被改變時，未給定關於串流有效性之保證。對於在本發明中提出的適應路徑來說，同樣正確。為了指示在適應路徑之間的有效切換點，用於適應路徑切換點之該樣本群集機制被用以指示可被用以從一適應路徑切換到另一適應路徑之該等適應樣本。對於該樣本群集機制的需求產生自SVC利用單迴圈解碼之事實，即參考圖象只對於最高解碼層解碼。因此，層之間在任意位置之切換並不是是可能的，因為在某些位置，要被切換的該層之參考圖片還沒被解碼。因此，該樣本群集機制可被用以指示層切換點或更一般地，適應路徑之間的切換點。
如果適應路徑切換樣本群描述存在，則一記錄軌之每一樣本被映射到下面指定的一個適應路徑切換點項目。用於群集類型‘tpsw’之0或1個樣本到群盒(‘sbgp’)可被包含在一通用可縮放媒體元資料記錄軌之該樣本表盒(‘stbl’)中。該適應路徑切換點樣本群項目如下被定義：
該適應路徑切換點樣本群項目之語義如下：num_refresh指示當任一適應路徑先前被使用在適應樣本之產生中時，在該樣本處可被切換到的適應路徑之數量。
refresh_adaptation_path_id指示當任一適應路徑先前被使用在適應樣本之產生中時，用於可切換到的那些適應路徑之識別符。
用一比率共享操作盒處理一檔案之一裝置、一軟體程式、一元件或任何其他適當單元可選擇一所需的適應操作點。所做的選擇基於該裝置及該可能的接收單元之限制與能力如何與該適應操作點之特性或該適應操作點被計算時所用的所需的演算法相匹配。
用於選擇一適應操作點之一範例系統如下被描述。一串流伺服器可以使用包含一比率共享操作盒之一檔案。該檔案包含一非可縮放音訊位元流及一可縮放視訊位元流，該可縮放視訊位元流在品質及時間上是可縮放的。兩個適應工作點被指示在該比率共享操作盒中，二者的目標為在音訊及視訊之間共享一全部位元率。每一適應操作點參照一對隱示記錄軌，一隱示記錄軌用於音訊及另一隱示記錄軌用於視訊。該比率共享操作盒指示在第一個適應操作點中該視訊在時間上縮放，而逐品質縮放被用在第二個適應操作點中。一個一對一(即單播)串流對話被建立在一接收器及該伺服器之間。時間及逐品質選項都是自該伺服器通知到該接收器。該接收器單元可包括一使用者介面切換器以選擇該使用者之偏好，即較偏好訊框比率(時間上縮放)或是圖片保真度(品質上縮放)。基於該使用者之選擇，該接收器單元指示給該伺服務器哪一適應路徑應當被採用。該伺服務器接著基於藉由該接收器指示的該適當隱示記錄軌及適應路徑產生封包。
因此，第8圖說明了以上描述的用於處理記錄軌之技術之一簡化摘要，其能夠把媒體資料組織成記錄軌、識別記錄軌子集、提供記錄軌及記錄軌子集之特徵及根據一經識別的群集準則把記錄軌組織成多記錄軌群。
該定時媒體資料(及定時元資料)被邏輯地組織在記錄軌中。每一記錄軌提供了媒體内容之一演示，其可被解碼及呈現。各種類型的元資料被提供給在該記錄軌標頭盒(Track Header box)中的一記錄軌及其同輩分。該記錄軌選擇盒(Track Selection box)提供描述該記錄軌之内容或區分來自於該相同替代群中的其它記錄軌之内容之屬性(如下)。在該記錄軌中的樣本藉由所提供的樣本項目被描述。
子集可對於記錄軌被提供。一記錄軌子集識別且相關於用於整個記錄軌之一媒體資料之一子集。一記錄軌子集提供媒體内容之一演示，其通常可被解碼及呈現。
如上所述，該ISO基本媒體檔案格式及其修訂，諸如SVC檔案格式，支持分層組織的位元流子集之特徵之指示。例如，一可縮放視訊(SVC)位元流之子集之特徵可對於層被指示(其本質上類似於可縮放層)或整個記錄軌(其對應可縮放層)。然而，該ISO基本媒體檔案格式不支持指示不同層次之分區及重疊位元流子集(其不具有洋蔥殼結構)。多視圖視訊編碼需要兩種類型指示，因此在選擇用於輸出之視圖上有靈活性。
儘管記錄軌可藉由記錄軌參照互相相關聯且一記錄軌或一記錄軌子集(例如，SVC之一層)之特徵可被指示，但在該ISO基本媒體檔案格式或其衍生中沒有機制可以指示一群記錄軌或一群記錄軌子集之特徵。例如，這樣的特徵可以是設定檔、等級及解碼器緩衝參數。
該ISO基本媒體檔案格式缺少一機制以指示一群記錄軌或一群記錄軌子集與另一記錄軌群或另一群記錄軌子集之關係(共同或不同的因素)。這樣的一機制對於選擇一群記錄軌或一群記錄軌子集用於處理而忽略其它相似的群來說是有用的。例如，一群記錄軌或一群記錄軌子集可被要求用以指示一多視圖視訊串流之該所需的輸出視圖。
多視圖視訊位元流可以各種方式，從在一個記錄軌中儲存一個視圖到在一個單一記錄軌中儲存所有視圖，儲存在一容器中。在檔案格式之該ISO基本媒體檔案格式系列中沒有機制可以指示一記錄軌之一子集與一(其它可能的)記錄軌之另一子集之間的關係。
根據本發明之實施例，提供了一種用於把多記錄軌群群集成多組多記錄軌群之機制。本發明之實施例指示用於一組多記錄軌群之共同的特徵及群集準則且指示多組多記錄軌群之間的關係。本發明之一範例實施例在第9圖中被圖表式地說明。
根據本發明之實施例，用於把多記錄軌群群集成多組多記錄軌群之一機制可被提供。而且，指示用於一組多記錄軌群之共同特徵及群集準則是可能的。多組多記錄軌群之間的關係可被指示且一多記錄軌群可在一記錄軌子集之基礎上形成。
應注意到，在第9圖中的K、L、M及N可以是任意正整數值且彼此相互獨立。在第9圖中的“#”代表用於各個檔案格式結構之編號或識別符。
現在參考第10圖，一流程圖說明了組織多媒體資料的一範例過程。根據本發明之實施例，該被說明的過程400在多個記錄軌及/或記錄軌子集中儲存即時多媒體資料(方塊402)。該等記錄軌及/或記錄軌子集在第9圖中藉由參考數字302被說明。再一次參考第10圖，記錄軌及/或記錄軌子集中的一個或多個多記錄軌群基於該等記錄軌及/或記錄軌子集之間的關係被識別(方塊404)。在第9圖說明的實施例中，該等群藉由參考數字304說明。例如，該等群之識別可包括儲存或傳送與該等群相關的資訊。在本發明之某實施例中，該過程400可進一步包括形成至少一組多記錄軌群(方塊406)。該等組多記錄軌群可與該等多記錄軌群之一個或多個特徵相關聯。在第9圖中，該等組多記錄軌群藉由參考數字306說明。
本發明之實施例處理多視圖視訊及多視圖音訊。尤其，具有相同内容之多個視圖可以是用於一多記錄軌群之群集準則。為一多視圖視訊或多視圖音訊指定的一多記錄軌群之特徵可被指示。而且，本發明之實施例可提供用於把多於一個的多記錄軌群群集成一組多記錄軌群，該組多記錄軌群具有來自多視圖媒體呈現、編碼或捕獲視點之相似特徵。一組多記錄軌群之共同多視圖特徵及多組多記錄軌群之間的多視圖關係可被指示。
本發明之實施例之一範例實施態樣根據與該ISO基本媒體檔案格式相關的語法及語義在下面被說明。此外，得到多記錄軌群盒以用於MVC。
根據本發明之實施例，提供了一抽象的多記錄軌群盒，其用以群集記錄軌或記錄軌子集且指示其等之間的關係。該群集準則藉由繼承該多記錄軌群盒之盒之四字元碼來指示。在一個實施例中，用於多視圖視訊之一個群集準則被描述，但其它的準則也可被設計，例如用於多描述編碼。四字元碼“mvcg”被用於多視圖視訊之多記錄軌群。該等列出的記錄軌或其中的記錄軌子集指示預期的輸出視圖。例如，一記錄軌子集可以是藉由該樣本群集機制定義的一層。
根據本發明之實施例，一多記錄軌群關係盒被用以指示被指示的多記錄軌群之間的關係。列出某一組多記錄軌群之主要準則藉由繼承該多記錄軌群關係盒之盒之四字元碼來指示。根據本發明之實施例，一個準則可以是切換(‘swtc，)，其指示在一個時間只有一個被指示的多記錄軌群應當被處理(播放或傳送)且在多記錄軌群之間的一切換在任意時間是允許的，如果需要的話。其它的準則也可被實施。
在一多記錄軌群内的記錄軌或記錄軌子集之間的關係及具有一衍生出的多記錄軌群關係盒之多記錄軌群之間的關係藉由一關係屬性盒(“ratr”)被指示。在一個實施例中，有兩種類型的關係：對於所有被指向的單元是共用的關係及區分該等被指向的單元之關係。
為了能夠直接了當地剖析該多記錄軌群集資訊，所有的多記錄軌群盒及多記錄軌群關係盒可被包含在一個多記錄軌群容器盒(“mtgc”)中，該“mtgc”被包括在一電影盒(“moov”)中。
現在參考第11圖，具有用於多視圖視訊之兩個多記錄軌群盒之一檔案之一簡化的範例被說明，該兩個多記錄軌群盒參照部分不同的記錄軌。在該範例中，一個記錄軌被形成用於該多視圖位元流之一個視圖。一切換多記錄軌群關係盒被包括以指示藉由該兩個多記錄軌群形成的該等多視圖串流之間的相似性及差異性。在第11圖中的虛缐箭頭指示一參考。
該關係屬性盒如下被定義：
盒類型：‘ratr’
容器：　來自多記錄軌群盒或多記錄軌群關係盒之一衍生盒
強制性：否
個數：0或1個
當該關係屬性盒被包含在一多記錄軌群盒中時，它指示該各自多記錄軌群之該等記錄軌或記錄軌子集相互之間的關係。當該關係屬性盒被包含在一多記錄軌群關係盒中時，它指示該等多記錄軌群相互之間的關係。對於該關係屬性盒之語義，當該關係屬性盒被包含在一多記錄軌群盒中時，一單元被指定為一記錄軌或記錄軌子集，及當該關係屬性盒被包含在一多記錄軌群關係盒中時，一單元被規定為一多記錄軌群。
在該關係屬性盒中的語法元素之語法及語義如下：
common_attribute及differentiating_attribute選自於下面的列表。可被用作一區分屬性之屬性與指向該區別欄位或資訊之一指標相關聯。
所有單元共享相同的共用屬性或者該等共用屬性共同地特徵化所有單元。一區分屬性指示基於該屬性，至少一個單元不同於其它單元。一區分屬性之指標指示把一單元從具有該相同屬性的其它單元中區分出來的資訊之位置。
該多記錄軌群容器盒如下被定義：
盒類型：‘mtgc’
容器：電影盒(‘moov’)
強制性：否
個數：0或1個
該盒包含分類的多記錄軌群盒。在該多記錄軌群容器盒中的該等語法元素之語法及語義如下：
該多記錄軌群盒如下被定義：
盒類型：為每一多記錄軌群集類型登記
容器：多記錄軌群容器盒(‘mtgc’)
強制性：否
個數：0或多個
在該多記錄軌群盒中的該等語法元素之語法及語義如下：
multi_track_group_id為在該檔案中的該多記錄軌群提供了一唯一識別符。relation_attribute_box包含該等被指示的記錄軌或記錄軌子集之間的關係。num_entries是包含在該多記錄軌群中的記錄軌及記錄軌子集之數量。
entry_type指示下面是哪種類型之記錄軌或記錄軌子集。以下entry_type之值被指定：
0-一整個記錄軌
1-在一記錄軌內的一層
2-與一特定樣本群集之一特定群相關的樣本
3-SVC之一優先權層
4-某一priority_id範圍之一SVC/MVC位元流子集
5-只包含所有樣本中的特定樣本之一串流
6-只包含在一特定降級優先權範圍內之樣本之一串流
7-只包含一特定適應路徑之一串流
track_id指示一記錄軌。tier_id指示在一記錄軌(屬於SVC或MVC)內的一層。
grouping_type指示哪一樣本描述群盒及樣本到群盒相關聯。
grouping_flags之最低有效位應當被設定，如果該grouping_type_parameter在用於ISO基本媒體檔格式版本3之草稿修訂1(MPEG文件N9826)中被指定。grouping_type_parameter還用於指示哪一群描述盒及樣本到群盒被相關聯。
group_description_index指示在該(等)相關聯的樣本到群盒中的形成記錄軌子集的那些樣本之索引。
priority_layer指示哪一priority_layer被用以形成一記錄軌子集。當優先權層被參考時，該track_id將指向用於SVC之定時元資料記錄軌，其包含適當的優先權層描述。
num_subsample_entries指示定義哪些子樣本被包括在該記錄軌子集中之項目之數目。min_subsample_priority及max_subsample_priority指示包括在記錄軌子集中的子樣本優先權範圍。
discardable_required等於0指示具有等於0的可丟棄欄位之樣本不被包括在該記錄軌子集中。discardable_required等於1指示具有等於1的可丟棄欄位之樣本不被包括在該記錄軌子集中。discardable_required等於2指示當選擇用於該記錄軌子集之該等樣本時，該可丟棄的欄位被忽略。
mask_one_bit_required為該子樣本資訊盒之保留欄位提供了一遮罩。當(mask_one_bit_required ＆ reserved)==mask_one_bit_required(＆是逐位元與)，該相應的子樣本被包括在該記錄軌子集中(假設也滿足所有的其它準則)。
mask_zero_bit_required為該子樣本資訊盒之該保留欄位提供了一遮罩。When(mask_zero_bit_required ＆ reserved)==0時，該相應的子樣本被包括在該記錄軌子集中(假設也滿足所有的其它準則)。
當entry_type為6時，具有在從0到max_degradation_priority範圍中的降級優先權之樣本被包括在該記錄軌子集中。(這假設降級優先級0表示最重要的資料且當降級優先權升高時重要性降低。)
adaptation_path_id指示哪一適應路徑提供該記錄軌子集。
用於多視圖視訊之多記錄軌群盒如下被定義：
盒類型：‘mvcg’
容器：多記錄軌群容器盒(‘mtgc’)
強制性：否
個數：0或多個
該盒指定了用於多視圖視訊流之被輸出的視圖之一多記錄軌群。包括在該盒中的每一記錄軌或記錄軌子集意在被輸出。如果一記錄軌或記錄軌子集包含多個視圖，所有被包含的視圖意在被輸出。
解碼輸出視圖可能需要解碼不必輸出的其它視圖。解碼所需的但不用於輸出的視圖可從該等'mvpr'記錄軌參照及從該內容層依賴(Tier Dependency)盒得出。
在用於多視圖視訊之該多記錄軌群盒中的該等語法元素之語法及語義如下：
應注意到，該層資訊盒、層位元率盒及緩衝盒除了被允許存在於先前提出的該層資訊盒、層位元率盒及緩衝盒之定義中所提及的那些被允許的容器盒外，還必須被允許存在於用於多視圖視訊之該多記錄軌群盒中。
包括在該多記錄軌群盒中的relation_attribute_box指示輸出視圖之間的關係。如果‘ecam’被用作一共用屬性，所有的輸出視圖與具有相同旋轉及固定行間距之外在攝影機參數相關聯。如果‘ecam’被用作一區分屬性，一個輸出視圖與具有不同於其它視圖的旋轉之外在攝影機參數相關聯或者該等輸出視圖與不具有一固定行距之外在攝影機參數相關聯。
subset_stream_info指示包含該等被指示的輸出視圖及其所依賴的視圖之該位元流子集之特徵。
subset_stream_bit_rate指示包含該等被指示的輸出視圖及其依賴的視圖之位元流子集之位元率統計。在該層位元率盒(TierBitRateBox)中的層基本位元率(tierBaseBitRate)、層最大位元率(tierMaxBitRate)及層平均位元率(tierAvgBitRate)之值並未被指定。
subset_stream_buffering指示該假想參考解碼器(HRD)參數，其適用於包含該等被指示的輸出視圖及其依賴的視圖之該位元流子集。
subset_stream_initial_parameter_sets包括解碼包含該等被指示的輸出視圖及其依賴的視圖之該位元流子集所需的參數組。
multiview_scene_info包含任意存取單元中的任意空間相鄰的輸出視圖之間以整數像素解析度為單位的最大差異。
該多記錄軌群關係盒如下被定義：
盒類型：針對每一關係類型登記
容器：多記錄軌群容器盒(‘mtgc’)
強制性：否
個數：0或多個
該抽象盒提供了一機制以指示多記錄軌群及它們相互之間的關係。該等衍生出的盒之盒類型指示用於把該等被指示的多記錄軌群群集到一起之準則。在該多記錄軌群關係盒中的該等語法元素之語法及語義如下：
num_entries指示相關聯的記錄軌群之數量。multi_track_group_id是一相關聯的多記錄軌群之識別符。relation_attributes指示該等相關聯的多記錄軌群之間的關係。
該切換多記錄軌群關係盒如下被定義：
盒類型：swtc
容器：多記錄軌群容器盒(‘mtgc’)
強制性：否
個數：0或多個
該盒指定了一組多記錄軌群，自其中一個多記錄軌群在任一時間被解碼及播放。給定的關係屬性指定哪些特徵在所有相關聯的多記錄軌群中是公用的及哪些因素使該等多記錄軌群相互不同。該等給定的關係屬性可用以選擇一組適當的多記錄軌群用於播放，例如，在多視圖視訊內容之情況下則基於輸出視圖之數量。該等區分屬性可用以選擇在該組中的哪一多記錄軌群適合於該播放器，例如，基於解碼所需的等級。
用於該切換多記錄軌群關係盒之語法如下：
列在該切換多記錄軌群關係盒中的多記錄軌群之順序可指示一偏好順序。例如，第一個被指示的多記錄軌群可以是用於播放的較佳的一個(藉由內容創建者判斷)。
所提出的檔案格式結構之使用關於在第12圖中說明的範例被描述。該範例位元流包含三個視圖。視圖0是AVC兼容基本視圖。在視圖2內的用於訊框間預測之參考圖片從視圖0進行視圖間預測，且在視圖1內的用於訊框間預測之參考圖片從視圖0及1進行視圖間預測。每一視圖具有兩個時間層次，藉由被解碼為一非參考圖片之在每一視圖内之每隔一個的視圖成分實現。用以獲得該等視圖之攝影機排成直線且兩個相鄰攝影機之間的距離在該拍攝配置中保持不變。該等攝影機指向相同方向(即它們的旋轉是相同的)，且它們是相同的類型(即它們的內在攝影機參數相同)。
第13圖到第15圖說明了把範例位元流儲存在一容器檔案中之可能的方式。在第13圖中，分別地形成用於每一視圖之一記錄軌。用於儲存基本視圖的記錄軌之樣本項目是‘avcl’。其它的兩個記錄軌標有類型‘mvpr’之記錄軌標記參照，其指示解碼包含該記錄軌參照之記錄軌時所需的記錄軌。
下面的一段虛擬碼定義了四個多記錄軌群。多記錄軌群1由視圖0及視圖1(記錄軌#1及記錄軌#2)組成，多記錄軌群2由視圖1及視圖2(記錄軌#2及記錄軌#3)組成，多記錄軌群3由視圖0及視圖2(記錄軌#1及記錄軌#3)組成，及多記錄軌群4由所有的視圖組成。相同共用屬性及區分屬性分別為每一多記錄軌群加以定義。訊框率還有內在及外在攝影機參數被稱為共用參數，因為它們在所有的視圖中保持相同。編碼解碼器從在記錄軌#1中的AVC(‘avc1’樣本項目)變化到在其它記錄軌中的MVC(‘mvc1’樣本項目)；因此它被看作一區分屬性。在該範例中還假設，需要的等級根據哪些視圖被解碼而不同(在大多數編碼配置中，這是很可能的)。
該虛擬碼接著指定類型“switch”之三個多記錄軌群關係盒。第一個關係盒列出了所有已定義的多記錄軌群。它們的共用屬性是訊框率、內在攝影機參數、編碼解碼器(在所有情況下該組樣本項目由‘avc1’及‘mvc1’組成時)及設定檔(在該組設定檔由用於該基本視圖之設定檔及該已選擇的多視圖設定檔組成時)。該等區分參數是輸出視圖之數量(其在該範例中從2到3)、外在攝影機參數(在用於多記錄軌群3中的輸出視圖之攝影機之間的距離不同於其它多記錄軌群時)及等級。能夠顯示任意多視圖內容之一播放器可基於該關係盒選擇一多記錄軌群以播放。
第二個關係盒列出多記錄軌群1、2及3。該等共用參數及區分參數關於第一個關係盒是相同的，除了輸出視圖之數量現在是一共用屬性(在所有列出的多記錄軌群中，該數量值為2)。能夠播放任意2個視圖內容(例如，藉由使用快門鏡片)之一播放器可基於該關係盒選擇一多記錄軌群以播放。
第三個關係盒列出多記錄軌群1及2。該等共用參數及區分參數關於第二個關係盒是相同的，除了該等外在攝影機參數現在是一共用屬性(因為在該等列出的多記錄軌群中，用於輸出視圖之攝影機之間的空間距離是相同的)。需要該等已顯示的視圖(例如，用於在一自動立體顯示器上顯示)之一明確的相互關係之一播放器可基於該關係盒選擇一多記錄軌群以播放。
第14圖顯示了一檔案，其中一記錄軌包含所有的視圖。用於包含該基本視圖之記錄軌之樣本項目是‘avcl’，因為一AVC檔案閱讀器可剖析及解碼該記錄軌。該樣本項目包含一MVC解碼器組態記錄。利用該樣本群機制為該記錄軌定義了三個層，每一層包含一個視圖。
相比於用於第13圖之該虛擬碼，下面的虛擬碼在語義上是相同的。‘===’指示相對於用於第13圖之該虛擬碼，該結構之内容保持不變。可以看出，除了用於一多記錄軌群之元素之指示外，該等結構並未改變，其中相比於在第13圖之範例中指示一整個記錄軌，需要一不同的機制以指示在一記錄軌中的一層。
應注意到，所提到的機制是靈活的，足以處理包含一不同數量之視圖之記錄軌。在第15圖中，該範例位元流以這樣一種方式儲存使得該基本視圖形成一記錄軌及其它視圖形成另一記錄軌。利用該樣本群集機制為第二記錄軌指定了兩個層，每一層包含一視圖。
相比於在第13圖及第14圖中的虛擬碼段，下面的虛擬碼在語義上是相同的。
本發明之實施例之另一範例實施態樣在相關於該ISO基本媒體檔案格式之語法及語義方面被描述。
該多視圖群容器盒如下被定義：
盒類型：‘mvgc’
容器：電影盒(‘moov’)
強制性：否
個數：0或1個
該盒包含多視圖群盒及多視圖群關係盒。
該多視圖群容器盒之語法如下被規定：
該多視圖群盒如下被定義：
盒類型：‘mvcg’
容器：多視圖群容器盒(‘mvgc’)
強制性：否
個數：1個或多個
該盒為該多視圖視訊之輸出的視圖指定了一多視圖群。包括在該盒中的一記錄軌或層中的每一視圖要用於輸出。如果包括在該盒中的一記錄軌或一層包含多個視圖，所有被包含的視圖要用於輸出。解碼該等輸出視圖可能需要解碼不用於輸出之其他視圖。解碼所需的但不用於輸出之該等視圖可從‘mvpr’記錄軌參照或該層依賴盒得到。
該多視圖群盒之語法如下被定義。
應注意到，該層資訊盒、層位元率盒及緩衝盒除了被允許存在於先前提出的該層資訊盒、層位元率盒及緩衝盒之定義中所提及的那些被允許的容器盒外，還必須允許存在於用於多視圖群盒中。
該多視圖群盒之語義如下被定義。
multiview_group_id為在該檔案內的該多視圖群提供了一唯一識別符。
num_entries是包括在該多視圖群內的記錄軌或層之數量。
entry_type指示接著是哪種類型之一記錄軌或層。以下entry_type之值被指定：0-一整個記錄軌，1-在一記錄軌中的一層。
track_id指示一記錄軌。
tier_id指示在一記錄軌内的一層。
subset_stream_info指示包含該被指示的輸出視圖及其所依賴的視圖之該位元流子集之特徵。
relation_attributes指示輸出視圖之間的關係。如果‘ecam’被用作一共用屬性，所有的輸出視圖相關於外在攝影機參數，其指示該等攝影機具有相同的旋轉及等間距且成一直缐，即相互平行。如果‘ecam’被用作一區分屬性，一個輸出視圖相關於具有不同於其它視圖之旋轉之外在攝影機參數或該等輸出視圖相關於不具有一固定行間距之外在攝影機參數。
subset_stream_bit_rate指示包含該等被指示的輸出視圖及其所依賴的視圖之該位元流子集之位元率統計。該層位元率盒內的層基本位元率、層最大位元率及層平均位元率之值並未被指定。
subset_stream_buffering指示HDR參數，其應用於包含該等被指示的輸出視圖及其所依賴的該等視圖之位元流子集。
multiview_scene_info包含任一存取單元中以整數像素解析度之單位的任一空間相鄰的輸出視圖之間的最大不同。
該多視圖群關係盒可藉由還包括其它盒被擴展。
該多視圖群關係盒如下被定義。
盒類型：swtc
容器：多視圖容器盒(‘mvgc’)
強制性：否
個數：0或多個
該盒規定了一組多視圖群，自其中一個多視圖群在任意時間被解碼及播放。給定的關係屬性指定了哪些特徵在所有相關聯的多視圖群中是共用的及哪些因素使該等多視圖群互相不同。該等關係屬性可用於選擇一組適當的多視圖群用於播放，例如基於輸出視圖之數量。該等區分屬性可用以選擇在該組內的哪一多視圖群適用於該播放器，例如基於解碼所需的等級。
該多視圖群關係盒之語法如下被定義。
該多視圖群關係盒之語義如下被指定。num_entries指示相關聯的多視圖群之數量。multiview_group_id是一相關聯的多視圖群之識別符。relation_attributes指示相關聯的多視圖群之間的關係。
該多視圖關係屬性盒如下被定義。
盒類型：‘mvra’
容器：多視圖群盒或多視圖群關係盒
強制性：否
個數：0或1個
當該多視圖關係屬性盒被包含在一多視圖群盒中時，其指示該各自多視圖群中的該等記錄軌或層相互之間的關係。當該多視圖關係屬性盒被包含在一多視圖群關係盒中時，其指示該等多視圖群相互之間的關係。
該多視圖關係屬性盒之語法如下被定義。
對於該多視圖關係屬性盒之語義來說，當該多視圖關係屬性盒被包含在一多視圖群盒中時，一單元被指定為一記錄軌或一層及當該多視圖關係屬性盒被包含在一多視圖群關係盒中時一單元被指定為一群輸出視圖。common_attribute及differentiating_attribute選自下面的列表。可被用作一區分屬性之屬性與指向該欄位或資訊之一區別指標相關聯。
所有單元共享該等相同共用屬性或者該等公用屬性共同特徵化所有單元。一區分屬性指示，基於該屬性至少一個單元不同於其它單元。一區分屬性之指標指示把一個單元從其它具有該相同屬性之單元中區分出來的資訊之位置。
下面的虛擬碼(像num_entries、num_common_attributes及num_differentiating_attributes之一些欄位未被包括)定義了四個多視圖記錄軌群，等同於用於先前範例之該虛擬碼。多視圖群1由視圖0及視圖1(記錄軌#1及記錄軌#2)組成，多視圖群2由視圖1及視圖2(記錄軌#2及記錄軌#3)組成，多視圖群3由視圖0及視圖2(記錄軌#1及記錄軌#3)組成，及多記錄軌群4由所有的視圖組成。為每一多視圖群定義了該等相同共用屬性及區分屬性。訊框率還有內在及外在攝影機參數被稱為共用參數，因為它們在所有視圖中保持相同。在該範例中還可假設，所需的等級根據哪些視圖被解碼而不同(其在大多數解碼配置中是很可能的)。
該虛擬碼接著指定了三個多視圖群關係盒(再次地像num_entries、num_common_attributes及num_differentiating_attributes之一些欄位未被包括)。第一個關係盒列出了所有已定義的多視圖群。它們的共用屬性是訊框率、內在攝影機參數及設定檔(在該組設定檔由用於基本視圖之設定檔及已選擇的多視圖設定檔組成時)。該等區分屬性是輸出視圖之數量(其在該範例中從2到3)、外在攝影機參數(在用於多視圖群3中的該等輸出視圖之該等攝影機之間的距離不同於其它多視圖群時)及等級。能夠顯示任意多視圖内容之一播放器可基於該關係盒選擇一多視圖群以播放。
第二個關係盒列出了多視圖群1、2及3。該等共用參數及區分參數關於第一個關係盒是相同的，除了輸出視圖之數量(在所有已列出的多視圖群中其值為2)現在是一共用屬性。能夠顯示任意2個視圖内容之一播放器(例如，藉由使用快門鏡片)可基於該關係盒選擇一多視圖群以播放。
第三個關係盒列出多視圖群1及2。該等共用參數及該區分參數關於第二個關係盒是相同的，除了該等外在攝影機參數現在是一共用參數(因為用於該等輸出視圖之該等攝影機之間的空間距離在等列出的多視圖群中是相同的)。需要該等被顯示的視圖(例如，用於在一自動立體顯示器上顯示)之一明確的相互關係之一播放器可基於該關係盒選擇一多視圖群以播放。
本發明之實施例之另一範例實施態樣根據與該ISO基本媒體檔案格式有關之語法及語義在下面被描述。尤其，使用了該ISO基本媒體檔案格式之第3版之即將來臨的修訂1之grouping_type_parameter特徵。當其版本號比原來規定的高時，該grouping_type_parameter被包括在該樣本到群盒及樣本群描述盒中。當該grouping_type_parameter存在時，該樣本到群盒及樣本群描述盒之多個實例被允許在相同的容器盒中具有相同grouping_type值。每一實例藉由該grouping_type_parameter識別。在本實施例中，用於'mvif'樣本群集之該grouping_type_parameter用以指示相比於具有一不同grouping_type_parameter值之'mvif'樣本群集之一組不同的輸出視圖。grouping_type_parameter相當於先前範例中的該multiview_group_id。該多視圖群項目被以此方式修改使得其可被指示哪些groupID值或tierID值不需要輸出或不需要解碼。例如，使用該多視圖關係屬性盒，類型'mvif'之該樣本群描述盒也可包含共同特徵及區分特徵及被指示的視圖之間的關係。除此之外，每一個先前範例可與此範例一起使用以指示多記錄軌群之特徵及它們之間的關係。
在本發明之各個實施例中，一多記錄軌群之一指示用於把兩個檔案格式結構相互關聯起來。通常，記錄軌參照(或包括在一特定記錄軌參照盒中的列表索引)已被用於把結構相互關聯起來。例如，該SVC檔案格式之一提取器使用類型'scal'之記錄軌參照盒索引以識別該記錄軌，從該記錄軌藉由參照把資料包括在當前記錄軌中。類似地，有用於該等RTP隱士記錄軌樣本之構造器，其藉由參照包括來自用那些媒體記錄軌之該等記錄軌識別符之媒體記錄軌之資料。
利用在第16圖中說明的參考多記錄軌群之一範例描述了一個實施例。該圖顯示了一多視圖位元流及其視圖間預測層次。視圖1及視圖2被預測自該基本視圖，而視圖3預測自視圖0及視圖1及視圖4預測自視圖0及視圖2。有一SEI訊息與視圖1及視圖2相關聯，例如，藉由把該SEI訊息包括在該MVC可縮放巢狀SEI訊息中。
當在第16圖中顯示的該位元流被以此方式儲存在一檔案中使得視圖1及視圖2被儲存在獨立的記錄軌中時，出現了該SEI NAL單元被儲存在哪裏的問題。關於該SEI NAL單元之儲存有很多種選擇，包含至少以下。
該SEI NAL單元可被複製及包括在其所應用的每一記錄軌中。這導致了文件大小的增加。再者，當視圖1及視圖2都包括在已解碼的一位元流中時，該解碼器如何處理SEI訊息之複製是不可確定的。而且，該解碼器已產生了只包含該SEI訊息之一個複本之一位元流且該位元流之緩衝順應性已經被相應地調整及發信。該SEI訊息之複製可造成藉由一檔案剖析器產生的該串流之緩衝順應性不起作用。
該SEI NAL單元可被包括在一參數組記錄軌中。藉由包括一提取器(或類似者)於用於視圖1及視圖2之該等記錄軌之適當的樣本中，用於視圖1及視圖2之該等記錄軌可明確地包括(藉由參考)該SEI NAL單元。
該SEI NAL單元可被包括在一參數組記錄軌中。用於該參數組記錄軌之該樣本格式可包括一多記錄軌群識別符列表，該SEI NAL單元應用於該列表。可選擇地，用於該參數組記錄軌之該樣本格式可包括一視圖識別符列表，該SEI NAL單元應用於該列表。當該檔案被顯示時，該剖析器選擇一適當的多記錄軌群以解碼。如果該SEI NAL單元被指示對於該多記錄軌群是有效的，則其被包括在被重建以用於該解碼器之該存取單元中。
另一實施例被顯示，其中一多記錄軌群之一指示被用於把兩個檔案格式結構關聯起來。一樣本之解碼時間相當於H.264/AVC、SVC及MVC之該HRD已解碼圖片緩衝(CPB)移除時間。用於一特定存取單元之該CPB移除時間取決於存在用於該存取單元及先前的存取單元之該等NAL單元。因此，如果得到一位元流子集，該最初位元流之該CPB移除時間不再可能正確。因此，用於樣本之一組不同的CPB移除時間及各自的解碼時間應當被提供以用於每一位元流子集。由於在不同記錄軌中的MVC樣本與該相同存取單元之相關聯藉由該等樣本之解碼時間進行，把該相同存取單元中的所有樣本之解碼時間設成一相同的值是有益的，該值可不對應於任一位元流子集之該CPB移除時間(及可等於可應用於該整個位元流之該CPB移除時間)。一多視圖解碼重新定時盒可被指定以指示一多視圖群識別符及用於每一樣本之一差量時間值，當該差量時間值加到該樣本之解碼時間時，其提供了用於各個存取單元之CPB移除時間，其適用於該多視圖群指定的位元流子集。可選擇地，一多視圖解碼重新定時樣本群集可類似於該SVC檔案格式之解碼重新定時群被指定，但透過其識別符連結至一特定多視圖群。
第17圖顯示了一系統10，在該系統10中本發明之各個實施例可被使用，該系統10包含可透過一個或多個網路通訊之多個通訊裝置。該系統10可包含有線或無線網路之任一組合，該有線或無線網路包含但不限於一行動電話網路、一無線區域網路(LAN)、一藍牙個人區域網絡、一乙太LAN、一表徵環LAN、一廣域網路、網際網路等。該系統10可包括有線及無線通訊裝置兩者。
例如，在第17圖中顯示的該系統10包括一行動電話網路11及網際網路28。到網際網路28之連接可包括但不限於遠距離無線連接、近距離無線連接及各種有線連接(其包括但不限於電話線、電纜線、電力線及類似之物)。
該系統10之範例通訊裝置可包括但不限於以一行動電話形式之一電子裝置12、一組合式個人數位助理(PDA)與行動電話14、一PDA 16、一整合傳訊裝置(IMD)18、一桌上型電腦20、一筆記型電腦22等。該等通訊裝置可以是固定不動的，或當被正在移動的一個體攜帶時，其可以是可移動的。該等通訊裝置也可處於一運輸模式，其包括但不限於一汽車、一卡車、一計程車、一公共汽車、一火車、一船舶、一飛機、一腳踏車、一機車等。該等通訊裝置中的一些或全部可發送及接收通話及訊息且可透過到一基地台24之一無線連接25與服務提供者通訊。該基地台24可與允許該行動電話網路11及該網際網路28之間通訊之一網路伺服器26相連接。該系統10可包括其它通訊裝置及不同類型之通訊裝置。
該等通訊裝置可利用各種通訊技術通訊，該等通訊技術包括但不限於分碼多重接取(CDMA)、全球行動通信系統(GSM)、通用行動電信系統(UMTS)、分時多重接取(TDMA)、分頻多重接取(FDMA)、傳輸控制協定/網際網路協定(TCP/IP)、短訊息服務(SMS)、多媒體訊息處理服務(MMS)、電子郵件、即時訊息服務(IMS)、藍牙、IEEE802.11等。涉及實施本發明之各個實施例之一通訊裝置可利用各種媒介通訊，該等媒介包括但不限於無線電、紅外線、雷射、電纜連接或相似之物。
第18圖及第19圖顯示了一個有代表性的電子裝置，根據本發明之各個實施例其可用作一網路節點。然而，應當理解，本發明之範圍不是為了限於一種特定類型的裝置。第18圖及第19圖中的該電子裝置28包括一外殼30、一液晶顯示器形式之一顯示器32、一小鍵盤34、一麥克風36、一耳機38、一電池40、一紅外線埠42、一天線44、根據一個實施例之一UICC形式之一智慧卡46、一讀卡器48、無線電介面電路52、編解碼器電路54、一控制器56及一記憶體58。根據本發明之各個實施例，以上描述的元件能夠使該電子裝置28發送/接收各種訊息到/自位於一網路上的其它裝置。個別的電路及元件都是此技藝中眾所周知之類型，例如，諾基亞系列之行動電話。
第20圖是一通用多媒體通訊系統之一圖形表示方式，在該通用多媒體通訊系統内，本發明之各個實施例可被實施。如第20圖中顯示，一資料源100提供一類比、未壓縮數位或壓縮數位格式或這些格式之任一組合之一源信號。一編碼器110把該源信號編碼成一已編碼的媒體串流。應當注意到，要被解碼的一位元流可直接或間接地接收自實際上位於任意類型之網路內的一遠端裝置。此外，該位元流可接收自本地硬體或軟體。該編碼器110可以能夠編碼不止一種媒體類型，諸如音訊及視訊，或者不止一個編碼器110被需要以編碼不同媒體類型的源信號。該編碼器110也可獲得綜合產生的輸入，諸如圖形與文字，或者其可以能夠產生合成媒體之已編碼位元流。以下，只考慮了一種媒體類型之一個已編碼媒體位元流之處理以簡化該描述。然而，應當注意到，典型地即時廣播服務包含一些位元流(典型地至少一個音訊、視訊及文字字幕串流)。還應當注意到，該系統可包括很多編碼器，但在第20圖中只描繪了一個編碼器110以簡化該描述而不缺乏普遍性。應當進一步理解到，儘管包含在本文中的文字及範例可特定地描述一編碼過程，一個熟於此技者將了解到，相同的概念及原理也適用於相應的解碼過程且反之亦然。
該已編碼的媒體位元流被轉送到一儲存器120。該儲存器120可包含任意類型的大容量記憶體以儲存該已編碼的媒體位元流。該儲存器120中的該已編碼的媒體位元流之格式可以是一基本的自含的位元流格式，或一個或多個已編碼的媒體位元流可被封裝成一容器檔案。如果一個或多個媒體位元流被封裝成到一容器檔案中，一檔案產生器(未在該圖中顯示)被用以把該一個或多個媒體位元流儲存在該檔案中且產生檔案格式元資料，其也被儲存在該檔案中。該編碼器110或該儲存器120可包含該檔案產生器，或者該檔案產生器在可操作地依附於該編碼器110或該儲存器120。一些系統執行“直播”，即略去儲存且把來自該編碼器110之已編碼的媒體位元流直接轉送到發送器130。該已編碼的媒體位元流接著被轉送到該發送器130，該發送器130也可被稱為伺服器，視需要而定。在傳送中使用的格式可以是一基本的自含位元流格式、一封包位元流格式，或者一個或多個已編碼的媒體位元流可被封裝到一容器檔案中。該編碼器110、該儲存器120及該伺服器130可位於相同的實體裝置中或者它們可被包括在不同的裝置中。該編碼器110及伺服器130可處理直播即時內容，在這種情況下，該已編碼的媒體位元流典型地不被長期儲存，而是在該內容編碼器110及/或在該伺服器130中緩衝一小段時間以平滑化在處理延遲、轉送延遲及已編碼的媒體位元率上的變化。
該伺服器130利用一通訊協定堆疊發送該已編碼的媒體位元流。該堆疊可包括但不限於即時傳送通信協定(RTP)、用戶資料元協定(UDP)及網際網路協定(IP)。當該通訊協定堆疊是封包導向時，該伺服器130把該已編碼的媒體位元流封裝成封包。例如，如果使用了RTP，該伺服器130根據一RTP酬載格式把該已編碼的位元流封裝成RTP封包。典型地，每一媒體類型具有一專用的RTP酬載格式。應當再次注意到，一系統可包含不止一個伺服器130，但為了簡化起見，下面的描述只考慮了一個伺服器130。
如果該媒體内容被封裝到一容器檔案中以用於該儲存器120或用於把該資料輸入到該發送器130，該發送器130可包含或可操作地依附於一“發送檔案剖析器”(未在該圖中顯示)。尤其，如果該容器檔案並未這樣發送而是至少一個被包含的已編碼的媒體位元流被封裝以透過一通訊協定發送，一發送檔案剖析器設置該已編碼的媒體位元流之適當的部分以透過該通訊協定傳送。該發送檔案剖析器也可有助於產生用於該通訊協定之正確的格式，諸如封包標頭及酬載。該多媒體容器檔案可包含諸如以該ISO基本媒體檔案格式的隱示記錄軌之封裝指令，用於在該通訊協定上封裝至少一個被包含的媒體位元流。
該伺服器130可以或可以不透過一通訊網路相連於一閘道器140。該閘道器140可執行不同類型的功能，諸如依照一通訊協定堆疊之一封包串流到另一通訊協定堆疊將一封包串流解譯、合併及分叉資料串流、及根據下行鏈路及/或接收器能力操控資料流，諸如根據主要的下行鏈路網路狀態控制該轉送之串流之位元率。閘道器140之範例包括多點會議控制單元(MCU)、電路交換視訊技術及封包交換視訊電話之間的閘道器、蜂巢式按鈕通話(PoC)伺服器、手持式數位視訊廣播(DVB-H)系統中的IP封裝器、或把廣播節目局部地轉送到家庭無線網路中之機上盒。當使用了RTP時，該閘道器140被稱為一RTP混合器或一RTP轉譯器且典型地作為一RTP連接之一端點。
該系統包括一個或多個接收器150，其典型地能夠接收已發送的信號、解調已發送的信號及把該已發送的信號拆封成一已編碼的媒體位元流。該已解碼的媒體位元流被轉送到一記錄儲存器155。該記錄儲存器155可包含任一類型的大容量記憶體以儲存該已編碼的媒體位元流。該記錄儲存器155可以可選擇地或附加地包含計算記憶體，諸如隨機存取記憶體。在該記錄儲存器155中的該已編碼的媒體位元流之格式可以是一基本的自含的位元流格式，或一個或多個已編碼的媒體位元流可被封裝到一容器檔案。如果有很多諸如一音訊串流及一視訊串流之已編碼的媒體位元流相互關聯，一容器檔案典型地被使用且該接收器150包含或連接從輸入串流產生一容器檔案之一接收檔案產生器(未在該圖中顯示)。一些系統執行“直播”，即省略該記錄儲存器155且把來自該接收器150之已編碼的媒體位元流直接轉送給該解碼器160。在一些系統中，只有該已記錄的串流之最近時間部分(例如，該已記錄的串流之最近10分鐘選錄)保留在該記錄儲存器155中，而任何更早的已記錄的資料從該記錄儲存器155丟棄。
該已編碼的媒體位元流自該記錄儲存器155被轉送到該解碼器160。如果有很多諸如一音訊串流及一視訊串流之已編碼的媒體位元流互相關聯且被封裝到一容器檔案中或者一單一的媒體位元流被封裝到一容器檔案中，例如用於較易於存取，一檔案剖析器(未在該圖中顯示)被用以解封來自該容器檔案之每一已編碼的媒體位元流。該記錄儲存器155或一解碼器160可包含該檔案剖析器，或者該檔案剖析器連接記錄儲存器155或該解碼器160。
該編解碼器媒體位元流被一解碼器160典型地進一步處理，其輸出是一個或多個未壓縮的媒體串流。例如，最後一呈現器170可用一揚聲器或一顯示器再產生該等未壓縮的媒體串流。該接收器150、記錄儲存器155、解碼器160及呈現器170可位於相同的實體裝置中或者它們可被包括在獨立的裝置中。
根據各個實施例，一檔案產生器識別來自該等已編碼的媒體位元流之多記錄軌群或接收來自該編碼器110之多記錄軌群之一識別。該檔案產生器可在不同的基礎上形成多記錄軌群，諸如在一多視圖視訊位元流之預期輸出視圖之基礎上。該檔案產生器包括關於該等已編碼的媒體位元流之哪些部分被包括在該檔案中的一特定多記錄軌群中之資訊。用於該資訊之格式之一範例是該多記錄軌群盒。該檔案產生器也可指示在該檔案中的多記錄軌群之間的關係，例如，藉由利用該多記錄軌群關係盒。根據各個實施例，一接收檔案產生器與該檔案產生器相似地操作，但該等已編碼的媒體位元流被接收自該接收器150。
根據各個實施例，一發送檔案剖析器可讀該等多記錄軌群特徵及關係以確定該檔案之哪些部分被封裝以用於發送。而且，多記錄軌群資訊可已被產生在該檔案產生器中用於封裝資訊，該封裝資訊用於透過一通訊協定發送。例如，這樣的封裝資訊可以是形成用於透過多個發送對話發送一多視圖視訊串流之封包之指令(諸如隱示記錄軌)，其中每一對話攜帶該多視圖視訊流中的一個或多個視圖。
根據各個實施例，一發送器130可因多個原因受組配以選擇該等已發送的視圖，諸如回應該接收器150之請求或該網路該位元流藉以被發送之網路之主要狀態。例如，來自該接收器之一請求可以是用於顯示之視圖之一改變之一請求或相比於該先前呈現裝置具有不同能力之一呈現裝置之一改變之一請求。當選擇該等已發送的視圖時，受組配以選擇該等已發送的視圖之一發送器130可使用或可操作地連接於一發送檔案剖析器。
根據各個實施例，一檔案剖析器基於包括在該檔案中的各個指示識別來自該檔案之多記錄軌群。該檔案剖析器讀取關於該等多記錄軌群之特徵及其相互之間的關係(共用及區分屬性)之資訊。基於該等特徵及關係，該檔案剖析器選擇一多記錄軌群用於處理。例如，該檔案剖析器可選擇一多視圖視訊多記錄軌群，其具有正確數目之輸出視圖且其外在攝影機參數符合用於呈現之該顯示器之特徵。該處理通常包括把對應於該多記錄軌群之該媒體資料從該檔案中提取出來、可能重新格式化該已提取出的媒體資料及把該已重新格式化的媒體資料傳給該解碼器160用於解碼及呈現。
根據各個實施例，一檔案編輯器基於包括在該檔案中的各個指示識別來自該檔案之多記錄軌群。該檔案編輯器讀取關於該等多記錄軌群之特徵及其相互之間關係(共用及區分屬性)之資訊。基於該等特徵及關係，該檔案剖析器選擇哪些多記錄軌群保留在該檔案中及哪些被移除。例如，該檔案編輯器可選擇一多視圖視訊多記錄軌群，其具有用於目標檔案之一所需數目之輸出視圖。該檔案編輯器識別需被移除自該檔案且未保留在該檔案中的該媒體資料。接著，該檔案編輯器移除這樣的媒體資料及相關的檔案元資料。該檔案編輯器也可把媒體資料加入該檔案。如果該媒體資料關於存在於該檔案中的媒體資料或多記錄軌群可遭迫使基於該已添加的媒體資料，該檔案編輯器識別來自該檔案中的已編碼的媒體之多記錄軌群。該檔案編輯器包括關於該等已編碼的媒體位元流之哪些部分被包括在該檔案中的一特定多記錄軌群中之資訊。該檔案編輯器也可指示在該檔案中的多記錄軌群之間的關係。
本文描述的各個實施例被描述在方法步驟或過程之大體脈絡中，該等方法步驟或過程可藉由體現在一電腦可讀媒體上之一電腦程式產品在一個實施例中遭實施，該電腦程式產品包括諸如程式碼之電腦可執行指令，其被在網路環境中的電腦執行。一電腦可讀媒體可包括可移除及不可移除之儲存裝置，等該可移除及不可移除之儲存裝置可包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、光碟(CD)、多功能數位光碟(DVD)等。通常，程式模組可包括常式、程式、物件、元件、資料結構等，其執行特定工作或實施特定抽象資料類型。電腦可執行指令、相關的資料結構及程式模組表示用於執行本文揭露的該等方法之步驟之程式碼範例。這樣的可執行指令之特定序列或相關的資料結構表示用於實施在此等步驟及過程中描述的功能之相應動作之範例。
本發明之實施例可在軟體、硬體、應用邏輯元件或軟體、硬體及應用邏輯元件之一組合中實施。例如，該軟體、應用邏輯元件及/或硬體可位於一晶片組、一行動裝置、一桌上型電腦、一膝上型電腦或一伺服器上。各個實施例之軟體及網頁實施態樣可利用具有以規則為基礎的邏輯元件及其它邏輯元件之標準程式技術實現，以實現各種資料庫搜尋步驟或過程、相關步驟或過程、比較步驟或過程及決策步驟或過程。各個實施例也可在網路元件或模組内完全或部分被實施。應當注意到，本文及下面的申請專利範圍中使用的詞“元件”或“模組”是為了包含利用一行或多行軟體碼之實施態樣及/或硬體實施態樣及/或用於接收手動輸入之設備。
本發明之實施例之上述描述已為了說明及描述之目的被表示。不是為了詳盡或把本發明限於揭露的具體形式，且根據上述教示之修改及變化是可能的或者可從本發明之實踐中得到。該等實施例被選擇及描述是為了解釋本發明之原理及本發明之實際應用，使熟於此技者能在各個實施例中應用本發明及應用具有各種經過思考的適合於特定應用的修改之本發明。
10‧‧‧系統
100‧‧‧資料源
11‧‧‧行動電話網路
110‧‧‧編碼器
12‧‧‧電子裝置
120‧‧‧儲存器
130‧‧‧發送器
14‧‧‧組合式個人數位助理(PDA)與行動電話
140‧‧‧閘道器
150‧‧‧接收器
155‧‧‧記錄儲存器
16‧‧‧PDA
160‧‧‧解碼器
170‧‧‧呈現器
18‧‧‧整合傳訊裝置(IMD)
20‧‧‧桌上型電腦
22‧‧‧筆記型電腦
24‧‧‧基地台
25‧‧‧無線連接
26‧‧‧網路伺服器
28‧‧‧網際網路
30‧‧‧外殼
32‧‧‧顯示器
34‧‧‧小鍵盤
36‧‧‧麥克風
38‧‧‧耳機
40‧‧‧電池
42‧‧‧紅外線埠
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡器
52‧‧‧無線電介面電路
54‧‧‧編解碼器電路
56‧‧‧控制器
58‧‧‧記憶體
200‧‧‧多媒體檔案格式
220‧‧‧檔案結構
302、304、306‧‧‧參考數字
400‧‧‧過程
402、404、406‧‧‧方塊
第1圖說明了一多媒體檔案格式層次；
第2圖根據該ISO基本媒體格式檔案說明了一典型的盒；
第3A圖是說明樣本群集之一示範盒；
第3B圖說明了包含電影片段之一示範盒，該電影片斷包括一樣本到群盒；
第4圖說明了一典型的MVC解碼順序；
第5圖說明了用於多視圖視訊編碼之一示範的MVC預測結構；
第6圖說明了作為一時間之函數的一示範音訊/視訊比率共享曲線；
第7圖說明了作為可得到的位元率之一函數的一示範音訊率共享曲線；
第8圖是多媒體資料組織之一圖式說明；
第9圖是根據本發明之實施例之多媒體資料組織之一圖式說明；
第10圖是根據本發明之實施例之一說明一過程之一流程圖；
第11圖根據本發明之實施例，說明了兩者之間具有一切換關係之兩個多記錄軌群之一範例檔案；
第12圖根據本發明之實施例，說明了具有三個視圖之一視訊流之一範例格式結構；
第13圖根據本發明之各個實施例，說明了每一視圖被儲存為一記錄軌之一範例檔案；
第14圖根據本發明之實施例，說明了所有視圖被儲存為一個記錄軌之一範例檔案；
第15圖根據本發明之實施例，說明了具有記錄軌之一範例檔案，該等記錄軌具有不同數目之視圖；
第16圖根據本發明之實施例，說明了包括相關於視圖層次結構之不同分支之一SEI訊息之一示範多視圖位元流；
第17圖是一系統之概觀圖，本發明之各個實施例可在其內實施；
第18圖說明了一範例電子裝置之一透視圖，其可根據本發明之各個實施例被使用；
第19圖是電路之一示意圖，該電路可被包括在第18圖中的該電子裝置中；及
第20圖是一通用多媒體通訊系統之一圖示表示，在該系統內各個實施例可被實施。
400‧‧‧過程
402、404、406‧‧‧方塊

Claims (13)

  1. 一種用以處理多視圖視訊位元串流之方法，其係處理多個紀錄軌或紀錄軌子集中之多視圖視訊位元串流，該方法包含下列步驟：儲存該位元串流於多個記錄軌或記錄軌子集中；識別一個或多個多重記錄軌群，每一多重記錄軌群基於分群準則而被識別，該等分群準則包括該等紀錄軌中的一或多個、該等紀錄軌子集中的一或多個、或該等記錄軌及記錄軌子集中的一或多個之間的一關係，且其中該等多紀錄軌群係對應於代表一景象中不同視圖的位元串流；及使用一多重記錄軌群盒來指出包括在一多重紀錄軌群內的紀錄軌或紀錄軌子集之間的關係，其特徵在於該方法還包含：基於包括針對多視角視訊位元串流指定的該等多重紀錄軌群的一或多個共同特徵的分群準則，而形成至少一組多重紀錄軌群，以及指示該一組多重紀錄軌群中的兩個或更多的多重紀錄軌群之間的至少一關係，其中該等多重紀錄軌群包括多個層次分區或重疊位元串流子集。
  2. 如申請專利範圍第1項所述之方法，其中，兩個或更多的多重紀錄軌群之間的該等關係，係由包含在一多重紀錄軌群關係盒內的一關係屬性盒來指示。
  3. 如申請專利範圍第1-2項中任一項所述之方法，其中在 多重紀錄軌群內之記錄軌或記錄軌子集之間的該等關係，係由包含在一多重紀錄軌群盒內的一關係屬性盒來指示。
  4. 如申請專利範圍第2項所述之方法，其中，形成至少一組多重紀錄軌群，包含以下至少一者：至少部分基於來自多視圖媒體呈現、編碼或捕獲視點之共同及/或不同特徵而形成至少一組多重記錄軌群；及利用一多重記錄軌群關係盒指示多重記錄軌群之間的關係而形成該至少一組多重記錄軌群。
  5. 如申請專利範圍第4項所述之方法，其中，當利用一多重紀錄軌群關係盒指示多重記錄軌群之間的關係時，一或多個準則被用來指示分群類型。
  6. 如申請專利範圍第5項所述之方法，其中一準則指示一次只有該等多重記錄軌群中的一個要處理。
  7. 一種包含電腦程式的電腦可讀媒體，該電腦程式包含電腦可執行指令，該等指令在由一處理器執行時導致如申請專利範圍第1-6項中任一項之方法之執行。
  8. 一種用以處理多視圖視訊位元串流之裝置，其係處理多個紀錄軌或紀錄軌子集中之多視圖視訊位元串流，該裝置包含：一記憶體，其用以儲存該位元串流及包含電腦程式碼；及一處理器， 該記憶體及該電腦程式碼係組配來配合該處理器運作，以使該裝置執行至少以下動作：儲存該位元串流於多個記錄軌或記錄軌子集中；識別一個或多個多重記錄軌群，每一多重記錄軌群基於分群準則而被識別，該等分群準則包括該等紀錄軌中的一或多個、該等紀錄軌子集中的一或多個、或該等記錄軌及記錄軌子集中的一個或多個之間的一關係，且其中該多重紀錄軌群係對應於代表一景象中不同視圖的位元串流；及使用一多重記錄軌群盒來指出包括在一多重紀錄軌群內的紀錄軌或紀錄軌子集之間的關係，其特徵在於：該記憶體及該電腦程式碼係組配來配合該處理器運作，以使該裝置執行至少以下動作：基於包括針對多視角視訊位元串流指定的該等多重紀錄軌群的一或多個共同特徵的分群準則，而形成至少一組多重紀錄軌群，以及指示該一組多重紀錄軌群中的兩個或更多的多重紀錄軌群之間的至少一關係，其中該多重紀錄軌群包括多個層次分區或重疊位元串流子集。
  9. 如申請專利範圍第8項所述之裝置，其中，該記憶體及該電腦程式碼係組配來配合該處理器運作以進一步使該裝置：在包含在一多重紀錄軌群關係盒內的一關係屬性盒中，指示兩個組或更多的多重記錄軌群間的該等關係。
  10. 如申請專利範圍第8-9項中任一項所述之裝置，其中，該記憶體及該電腦程式碼係組配來配合該處理器運作以進一步使該裝置在包含於一多重記錄軌群盒內的一關係屬性盒中指示在一多重紀錄軌群內之記錄軌或記錄軌子集之間的關係。
  11. 如申請專利範圍第8-9項中任一項所述之裝置，其中，形成至少一組多重記錄軌群包含：至少部分基於來自多視圖媒體呈現、編碼或捕獲視點之共同及/或不同特徵來形成該至少一組多重記錄軌群。
  12. 如申請專利範圍第11項所述之裝置，其中當利用一多重記錄軌群關係盒指示多重記錄軌群之間的關係時，一個或多個準則被用來指示分群類型。
  13. 如申請專利範圍第12項所述之裝置，其中一準則指示一次只有該等多重記錄軌群中的一個要處理。
TW98124071A 2008-07-16 2009-07-16 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體 TWI473016B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US8132808P 2008-07-16 2008-07-16

Publications (2)

Publication Number Publication Date
TW201009701A TW201009701A (en) 2010-03-01
TWI473016B true TWI473016B (zh) 2015-02-11

Family

ID=41550050

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98124071A TWI473016B (zh) 2008-07-16 2009-07-16 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體

Country Status (10)

Country Link
US (1) US20100153395A1 (zh)
EP (1) EP2314072B1 (zh)
JP (1) JP5462259B2 (zh)
KR (1) KR101242472B1 (zh)
CN (1) CN102132562B (zh)
CA (1) CA2730543C (zh)
RU (1) RU2492585C2 (zh)
TW (1) TWI473016B (zh)
WO (1) WO2010007513A1 (zh)
ZA (1) ZA201101158B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI628594B (zh) * 2015-03-27 2018-07-01 英特爾股份有限公司 用戶等級分叉及會合處理器、方法、系統及指令

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210202B2 (en) * 2007-06-20 2015-12-08 Qualcomm Incorporated System and method for sharing media in a group communication among wireless communication devices
US20100190478A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated System and method for push-to-share file distribution with previews
US9674675B2 (en) 2007-06-20 2017-06-06 Qualcomm Incorporated Synchronizing floor control and media sharing in a half-duplex PTT system
JP5558481B2 (ja) * 2008-11-26 2014-07-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 複数のメディアトラックを介してアクセス可能になるメディアコンテンツを扱う技術
RU2534936C2 (ru) * 2009-04-09 2014-12-10 Телефонактиеболагет Лм Эрикссон (Пабл) Управление мультимедийными контейнерными файлами
US8719309B2 (en) * 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
US8949289B2 (en) * 2009-05-05 2015-02-03 NoteVault, Inc. System and method for multilingual transcription service with automated notification services
US9680892B2 (en) * 2009-06-26 2017-06-13 Adobe Systems Incorporated Providing integration of multi-bit-rate media streams
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP5591932B2 (ja) * 2009-09-22 2014-09-17 クゥアルコム・インコーポレイテッド ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
US8340578B2 (en) 2009-10-05 2012-12-25 Apple Inc. Methods and apparatus for enhanced coexistence algorithms in wireless systems
US8693569B2 (en) * 2009-10-19 2014-04-08 Apple Inc. Methods and apparatus for dynamic wireless device coexistence
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
US8892145B2 (en) * 2010-02-18 2014-11-18 Qualcomm Incorporated System and method for selective media object removal in group communications among wireless communication devices
EP2537318A4 (en) * 2010-02-19 2013-08-14 Ericsson Telefon Ab L M METHOD AND ARRANGEMENT FOR DISPLAY SWITCHING IN AN HTTP STREAMING
US9460232B2 (en) * 2010-04-07 2016-10-04 Oracle International Corporation Searching document object model elements by attribute order priority
WO2011139305A1 (en) * 2010-05-04 2011-11-10 Azuki Systems, Inc. Method and apparatus for carrier controlled dynamic rate adaptation and client playout rate reduction
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
US20130097334A1 (en) * 2010-06-14 2013-04-18 Thomson Licensing Method and apparatus for encapsulating coded multi-component video
US9323438B2 (en) 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US8819557B2 (en) 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips
US8875025B2 (en) 2010-07-15 2014-10-28 Apple Inc. Media-editing application with media clips grouping capabilities
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
CN101951504B (zh) * 2010-09-07 2012-07-25 中国科学院深圳先进技术研究院 基于重叠边界的多媒体切片转码方法和系统
US9009118B2 (en) * 2010-10-20 2015-04-14 Apple Inc. Temporal metadata track
US9116988B2 (en) 2010-10-20 2015-08-25 Apple Inc. Temporal metadata track
GB2484969B (en) * 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
US8954477B2 (en) 2011-01-28 2015-02-10 Apple Inc. Data structures for a media-editing application
US8599709B2 (en) 2011-02-10 2013-12-03 Apple Inc. Methods and apparatus for wireless coexistence based on transceiver chain emphasis
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US8966367B2 (en) 2011-02-16 2015-02-24 Apple Inc. Anchor override for a media-editing application with an anchored timeline
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
MY166340A (en) * 2011-06-30 2018-06-25 Ericsson Telefon Ab L M Reference picture signaling
KR101885852B1 (ko) * 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
US8995929B2 (en) 2011-12-06 2015-03-31 Apple Inc. Methods and apparatus for wireless optimization based on platform configuration and use cases
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
US9219929B2 (en) * 2012-02-27 2015-12-22 Fritz Barnes Enhanced startup and channel change for fragmented media stream delivery
US9165603B2 (en) * 2012-03-29 2015-10-20 Adobe Systems Incorporated Method and apparatus for grouping video tracks in a video editing timeline
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9161004B2 (en) 2012-04-25 2015-10-13 Qualcomm Incorporated Identifying parameter sets in video files
KR101995270B1 (ko) 2012-04-25 2019-07-03 삼성전자주식회사 비디오 데이터를 재생하는 방법 및 장치
US8995553B2 (en) 2012-06-08 2015-03-31 Apple Inc. Methods and apparatus for mitigating interference in aggressive form factor designs
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US10021394B2 (en) 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
US9014544B2 (en) 2012-12-19 2015-04-21 Apple Inc. User interface for retiming in a media authoring tool
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
BR112015017192B1 (pt) 2013-01-18 2023-11-07 Canon Kabushiki Kaisha Método e dispositivo para encapsular dados de mídia programada particionados, meio de armazenamento e meio de gravação
US9426242B2 (en) * 2013-01-29 2016-08-23 Apple Inc. Determining an invitational content item type based on predicted user attention
US20140307803A1 (en) 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
US10186299B2 (en) 2013-07-10 2019-01-22 Htc Corporation Method and electronic device for generating multiple point of view video
TWI535282B (zh) * 2013-07-10 2016-05-21 宏達國際電子股份有限公司 用於產生多視點視訊的方法和電子裝置
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
GB2519746B (en) * 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
KR101797505B1 (ko) * 2013-11-13 2017-12-12 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US20150187390A1 (en) * 2013-12-30 2015-07-02 Lyve Minds, Inc. Video metadata
KR102141520B1 (ko) * 2014-02-21 2020-08-05 삼성전자주식회사 무안경 다시점 영상 디스플레이 장치
EP4177886A1 (en) * 2014-05-30 2023-05-10 Sony Corporation Information processing apparatus and information processing method
CN113851138A (zh) * 2014-06-30 2021-12-28 索尼公司 信息处理装置和信息处理方法
US10484725B2 (en) 2014-09-26 2019-11-19 Sony Corporation Information processing apparatus and information processing method for reproducing media based on edit file
US10733146B2 (en) 2014-09-30 2020-08-04 Apple Inc. Inline keyed metadata
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US20160373771A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
US10034010B2 (en) * 2015-10-14 2018-07-24 Qualcomm Incorporated Alignment of operation point sample group in multi-layer bitstreams file format
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10937460B2 (en) 2016-06-09 2021-03-02 Apple Inc. Media files and protocols supporting runtime dependent tracks
US11197040B2 (en) 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding
WO2018171758A1 (en) * 2017-03-24 2018-09-27 Mediatek Inc. Method and apparatus for deriving vr projection, packing, roi and viewport related tracks in isobmff and supporting viewport roll signaling
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
CN107392220B (zh) * 2017-05-31 2020-05-05 创新先进技术有限公司 数据流的聚类方法和装置
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
GB2567625B (en) * 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
US10939086B2 (en) * 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
RU2683499C1 (ru) 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
US11272224B2 (en) * 2018-03-29 2022-03-08 Sony Corporation Information processing device and method
US10944977B2 (en) 2018-04-03 2021-03-09 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding overlay compositions
GB2582024B (en) * 2019-03-08 2022-06-08 Canon Kk Method and apparatus for encapsulating groups of images in a file
US11711526B2 (en) * 2018-04-05 2023-07-25 Canon Kabushiki Kaisha Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
US10869016B2 (en) 2018-04-12 2020-12-15 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
US11146802B2 (en) * 2018-04-12 2021-10-12 Mediatek Singapore Pte. Ltd. Methods and apparatus for providing two-dimensional spatial relationships
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
CN110876051B (zh) * 2018-08-29 2023-04-11 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
CN113170238B (zh) * 2018-09-12 2023-08-01 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US11183220B2 (en) 2018-10-03 2021-11-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for temporal track derivations
CN109815210B (zh) * 2018-12-29 2022-04-29 河北省科学院应用数学研究所 轨道电压异常数据监测方法、系统及终端设备
US11205456B2 (en) * 2019-01-09 2021-12-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using edit operations to perform temporal track derivations
US11581022B2 (en) * 2019-05-29 2023-02-14 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
WO2021047820A1 (en) * 2019-09-13 2021-03-18 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB2587364B (en) * 2019-09-24 2023-11-15 Canon Kk Method, device, and computer program for encapsulating media data into a media file
US10964089B1 (en) 2019-10-07 2021-03-30 Sony Corporation Method and apparatus for coding view-dependent texture attributes of points in a 3D point cloud
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
KR20230129434A (ko) * 2020-12-09 2023-09-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 개선된 액세스 유닛 구분자, 시퀀스 단부, 비트스트림단부, 및 비-비디오 코딩 레이어 네트워크 액세스 레이어 유닛을 갖는 비디오 비트 스트림, 방법, 파일 퍼서, 및 파일 생성기
KR20230122106A (ko) * 2020-12-21 2023-08-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 코딩된 비디오 시퀀스들에 대해 파라미터 세트들을사용하는 파일 파서, 파일 생성기, 인코더, 디코더, 클라이언트, 서버, 및 방법들
CN112804256B (zh) * 2021-02-09 2022-05-24 腾讯科技（深圳）有限公司 多媒体文件中轨道数据的处理方法、装置、介质及设备
WO2024076494A1 (en) * 2022-10-03 2024-04-11 Bytedance Inc. Enhanced signalling of preselection in a media file

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163781A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
TWI247277B (en) * 2002-04-01 2006-01-11 Sony Corp Track management method and apparatus for managing tracks on a storage medium
US20060133777A1 (en) * 1998-04-06 2006-06-22 Pioneer Electronic Corporation Data recording medium, and data reproducing apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4279893A (en) * 1992-04-10 1993-11-18 Avid Technology, Inc. A method and apparatus for representing and editing multimedia compositions
EP0677842B2 (en) * 1993-10-29 2001-01-10 Kabushiki Kaisha Toshiba Multi-scene recording medium, reproduction method and reproduction apparatus
US5632007A (en) * 1994-09-23 1997-05-20 Actv, Inc. Interactive system and method for offering expert based interactive programs
JP3345352B2 (ja) * 1995-08-21 2002-11-18 松下電器産業株式会社 記録媒体の記録方法
CN1187756C (zh) * 1999-05-28 2005-02-02 松下电器产业株式会社 半导体存储器卡、播放装置、记录装置、播放方法、记录方法、和计算机可读记录介质
SK282249B6 (sk) * 1999-08-17 2001-12-03 Juraj Kelly�R Spôsob záznamu, reprodukcie alebo projekcie digitálnych alebo analógových, vzorkovaných alebo spojitých audio- a/alebo videozáznamov
FI20011871A (fi) * 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
JP2003179867A (ja) * 2001-12-10 2003-06-27 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP2005049834A (ja) * 2003-07-11 2005-02-24 Matsushita Electric Ind Co Ltd メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム
US7251376B2 (en) * 2003-08-29 2007-07-31 Canadian Space Agency Data compression engines and real-time wideband compressor for multi-dimensional data
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US7344679B2 (en) * 2005-10-14 2008-03-18 International Business Machines Corporation Method and apparatus for point of care osmolarity testing
KR20070108434A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 ＳＶＣ(Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)파일포맷에서의 데이터 공유 개선방법
WO2007081150A1 (en) * 2006-01-09 2007-07-19 Electronics And Telecommunications Research Institute Method defining nal unit type and system of transmission bitstream and redundant slice coding
JP2006230001A (ja) * 2006-03-20 2006-08-31 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
CN1960328B (zh) * 2006-08-14 2010-05-12 中兴通讯股份有限公司 一种移动多媒体广播实时流的封装方法
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
WO2008047319A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation Generic indication of adaptation paths for scalable multimedia
US20080263010A1 (en) * 2006-12-12 2008-10-23 Microsoft Corporation Techniques to selectively access meeting content
PL2528341T3 (pl) * 2007-04-18 2017-10-31 Dolby Int Ab System kodowania, stosujący uzupełniający zestaw parametrów sekwencyjnych do skalowalnego kodowania wideo lub kodowania wielowidokowego

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133777A1 (en) * 1998-04-06 2006-06-22 Pioneer Electronic Corporation Data recording medium, and data reproducing apparatus
US20030163781A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
TWI247277B (en) * 2002-04-01 2006-01-11 Sony Corp Track management method and apparatus for managing tracks on a storage medium
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI628594B (zh) * 2015-03-27 2018-07-01 英特爾股份有限公司 用戶等級分叉及會合處理器、方法、系統及指令

Also Published As

Publication number Publication date
JP2011528868A (ja) 2011-11-24
WO2010007513A1 (en) 2010-01-21
JP5462259B2 (ja) 2014-04-02
KR20110033273A (ko) 2011-03-30
EP2314072B1 (en) 2014-08-27
RU2011104986A (ru) 2012-08-27
US20100153395A1 (en) 2010-06-17
EP2314072A1 (en) 2011-04-27
RU2492585C2 (ru) 2013-09-10
CA2730543A1 (en) 2010-01-21
CN102132562A (zh) 2011-07-20
CN102132562B (zh) 2014-10-22
KR101242472B1 (ko) 2013-03-12
EP2314072A4 (en) 2011-08-03
TW201009701A (en) 2010-03-01
ZA201101158B (en) 2012-08-29
CA2730543C (en) 2014-04-22

Similar Documents

Publication Publication Date Title
TWI473016B (zh) 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體
US11375291B2 (en) Virtual reality video signaling in dynamic adaptive streaming over HTTP
CN110870321B (zh) 用于媒体内容的按区包装，内容覆盖度，以及发信帧包装
KR102613593B1 (ko) 필수 및 비필수 비디오 보충 정보의 시그널링
KR101549760B1 (ko) 비디오 데이터를 스트리밍하기 위한 랜덤 액세스 포인트의 시그널링
US8768984B2 (en) Media container file management
US8976871B2 (en) Media extractor tracks for file format track selection
TWI458334B (zh) 用於檔案格式軌跡選擇之媒體提取器軌跡
US10567734B2 (en) Processing omnidirectional media with dynamic region-wise packing
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
JP2013536623A (ja) ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
KR101421390B1 (ko) 트릭 모드 비디오 표현물에 대한 비디오 샘플의 시그널링
CN110870323B (zh) 使用全向媒体格式处理媒体数据

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees