TWI793743B

TWI793743B - 處理多媒體資料的方法和裝置

Info

Publication number: TWI793743B
Application number: TW110132282A
Authority: TW
Inventors: 新王; 魯林陳
Original assignee: 新加坡商聯發科技（新加坡）私人有限公司
Priority date: 2020-08-31
Filing date: 2021-08-31
Publication date: 2023-02-21
Also published as: US11743441B2; TW202211691A; US20220070429A1

Abstract

本文描述的技術涉及被配置為訪問多媒體資料的方法、裝置和電腦可讀介質，該多媒體資料包括多個媒體軌道和導出軌道，每個媒體軌道包括相關聯的一系列媒體資料樣本，以及該導出軌道包括待執行的導出操作集合以生成該導出軌道的一系列媒體資料樣本。該導出操作集合中的導出操作被執行以生成該導出軌道的媒體資料的一部分，包括：基於該導出操作，藉由確定組中的每個媒體軌道滿足分組標準來確定來自多個媒體軌道的媒體軌道組，從媒體軌道組中選擇一個媒體軌道，以及將該媒體軌道的樣本添加到導出軌道中，以生成導出軌道的一部分。

Description

處理多媒體資料的方法和裝置

本發明涉及的技術一般是選擇和切換輸入視訊軌道，包括ISO基本媒體檔案格式(ISO Base Media File Format，簡稱ISOBMFF)中的輸入視訊軌道之間選擇和切換。

存在各種類型的3D內容和多向內容。例如，全向視訊是一種使用一組攝像機拍攝的視訊，而不是像傳統的單向視訊那樣僅使用單個攝像機拍攝。例如，多個攝像機被放置在特定中心點周圍，以便每個攝像機在場景的球形覆蓋範圍內捕獲一部分視訊以捕獲360度視訊。來自多個攝像機的視訊可以被拼接、可能旋轉和投影，以生成表示球形內容的投影二維圖像。例如，等長矩形投影可被用於將球面圖放入二維圖像中。然後可以對其進行進一步處理，例如，使用二維編碼和壓縮技術。最終，編碼和壓縮的內容使用所需的傳送機制(例如，拇指驅動器、數位視訊磁片(digital video disk，簡稱DVD)、文檔下載、數位廣播，和/或線上流媒體)進行存儲和傳送。此類視訊可用於虛擬實境(virtual reality，簡稱VR)和/或3D視訊。

在用戶端，當用戶端處理內容時，視訊解碼器對編碼和壓縮的視訊進行解碼，以及執行反向投影以將內容放回到球體上。用戶然後可以查看呈現的內容，例如使用頭戴式查看設備。內容通常根據用戶的視口(viewport)進行渲染，視口代表用戶觀看內容的角度。視口還可以包括表示觀看區域的組件，該組件可以描述觀看者正在以特定角度觀看的區域有多大以及以什麼形狀觀看。

當視訊處理不是以視口相關的方式完成時，使得視訊編碼器和/或解碼器不知道用戶將實際觀看什麼，那麼整個編碼、傳送和解碼過程將處理整個球形內容。這可以允許例如用戶在任一特定視口和/或區域查看內容，因為所有球形內容都被編碼、傳送和解碼。

然而，處理所有球形內容可能是計算密集型的，以及會消耗大量頻寬。例如，對於線上流媒體應用程式，處理所有球形內容會給網路頻寬帶來不必要的負擔。因此，當頻寬資源和/或計算資源有限時，可能很難保留用戶體驗。一些技術只處理用戶正在查看的內容。例如，如果用戶正在查看頂部區域(例如北極)，則不需要傳送內容的底部(例如南極)。如果用戶更改視口，則可以為新視口相應地傳送內容。作為另一示例，對於自由視點電視(free viewpoint，簡稱FTV)應用程式(例如，使用多個攝像機捕獲場景的視訊)，內容可根據用戶正在觀看場景的角度來傳送。例如，如果用戶正在從一個視口(例如，攝像機和/或相鄰攝像機)查看內容，則可能不需要為其他視口傳送內容。

根據所公開的主題，用於使用軌道導出過程在輸入視訊軌道之間選擇和切換的裝置、系統和方法被提供，例如到ISOBMFF中的軌道導出操作的輸入軌道。

一些實施例涉及一種由與記憶體通訊的至少一個處理器實現的方法，其中該記憶體存儲電腦可讀指令，當由該至少一個處理器執行時，該指令使該至少一個處理器執行訪問多媒體資料，包括：(a)多個媒體軌道，每個媒體軌道包括相關聯的一系列媒體資料樣本，以及(b)導出軌道，包括待執行的導出操作集合以生成導出軌道的一系列媒體資料樣本，執行導出操作集合中的導出操作以生成用於導出軌道的媒體資料的一部分，包括：基於該導出操作，確定來自多個媒體軌道的媒體軌道組，還包括：確定該媒體軌道組中的每個媒體軌道滿足分組標準，其中該媒體軌道組是該多個媒體軌道的子集合；從媒體軌道組中選擇一個媒體軌道以及將該媒體軌道的樣本添加到導出軌道中，以生成導出軌道的一部分。

在一些示例中，分組標準包括備選組值，以及確定媒體軌道組中的每個媒體軌道滿足分組標準包括：確定媒體軌道組中的每個媒體軌道包括等於備選組值的備選組。

在一些示例中，分組標準包括切換組值，以及確定媒體軌道組中的每個媒體軌道滿足分組標準包括：確定媒體軌道組中的每個媒體軌道包括等於切換組值的切換組。

在一些示例中，從媒體軌道組中選擇一個媒體軌道包括：基於導出操作確定包括一個或多個屬性的屬性列表，以及藉由確定一個媒體軌道滿足屬性列表中的一個或多個屬性中的每一個來選擇一個媒體軌道。

在一些示例中，該媒體軌道組是導出操作的輸入，以及導出軌道的一部分是導出操作的輸出。

在一些示例中，代表軌道是導出操作的輸入，其中代表軌道用於確定分組標準，以及導出軌道的一部分是導出操作的輸出。

在一些示例中，至少一個處理器被配置為執行該導出操作集合中的每個導出操作以從多個媒體軌道中選擇媒體樣本以生成具有所選媒體樣本的導出軌道。

一些實施例涉及包括與記憶體通訊的處理器的裝置，該處理器被配置為執行存儲在記憶體中的指令，該指令使處理器執行：訪問多媒體資料，包括(a)多個媒體軌道，每個媒體軌道包括相關聯的一系列媒體資料樣本，以及(b)導出軌道，該導出軌道包括待執行的導出操作集合以生成導出軌道的一系列媒體資料樣本，以及執行導出操作集合的導出操作以生成用於導出軌道的媒體資料的一部分，包括：基於導出操作從多個媒體軌道中確定媒體軌道組，包括確定該媒體軌道組中的每個媒體軌道滿足分組標準，其中該媒體軌道組是多個媒體軌道的子集合；從媒體軌道組中選擇一個媒體軌道；以及將來自一個媒體軌道的樣本添加到導出軌道以生成導出軌道的一部分。

在一些示例中，從媒體軌道組中選擇一個媒體軌道包括：基於導出操作確定包括一個或多個屬性的屬性列表，以及藉由確定一個媒體軌道滿足屬性列表中一個或多個屬性中的每一個來選擇一個媒體軌道。

在一些示例中，指令使處理器執行該導出操作集合中的每個導出操作以從多個媒體軌道中選擇媒體樣本以生成具有所選媒體樣本的導出軌道。

一些實施例涉及一種裝置，該裝置包括與記憶體通訊的處理器，該處理器被配置為執行存儲在記憶體中的指令，該指令使處理器執行編碼多媒體資料，該多媒體資料包括(a)多個媒體軌道，每個媒體軌道包括相關聯的一系列媒體資料樣本，以及(b)導出軌道，該導出軌道包括待執行的導出操作集合以生成導出軌道的一系列媒體資料樣本，其中該導出操作集合的導出操作提供生成導出軌道的媒體資料的一部分，藉由：基於導出操作從多個媒體軌道中確定媒體軌道組，包括確定媒體軌道組中的每個媒體軌道滿足分組標準，其中該媒體軌道組是多個媒體軌道的子集合；從媒體軌道組中選擇一個媒體軌道；以及將來自一個媒體軌道的樣本添加到導出軌道以生成導出軌道的一部分。

在一些示例中，導出操作包括包含一個或多個屬性的屬性列表，以及從媒體軌道組中選擇一個媒體軌道包括：藉由確定一個媒體軌道滿足屬性列表中一個或多個屬性中的每一個來選擇一個媒體軌道。

在一些示例中，該組媒體軌道是導出操作的輸入，以及導出軌道的一部分是導出操作的輸出。

因此，已經相當廣泛地概述了所公開主題的特徵，以便可以更好地理解其隨後的詳細描述，並且可以更好地理解本領域對本領域的貢獻。當然，所公開的主題的附加特徵將在下文中描述並且將形成所附申請專利範圍的主題。應當理解，本文所用的措辭和術語是為了描述的目的，不應被視為限制。

102A-102N:攝像機

104:編碼設備

106:視訊處理器

108:編碼器

110:解碼設備

112:解碼器

114:渲染器

116:顯示器

201:球形視口

202:拼接、投影、映射塊

204:編碼塊

206:傳送塊

208:解碼塊

210:構建塊

212:渲染塊

214:交互塊

300:示例性軌道分層結構

302:3D軌道

304:元資料軌道

306:投影軌道

308:軌道

310A:區域軌道

312A:變體軌道

312K:變體軌道

310R:區域軌道

314A:變體軌道

314K:變體軌道

402A:多個輸入軌道/圖像

402B:多個輸入軌道/圖像

402N:多個輸入軌道/圖像

404:視覺軌道

406:軌道導出操作

408:導出視覺軌道

500:轉換屬性

502:reference_width

504:reference_height

506:top_left_x

508:top_left_y

510:寬度

512:高度

600:軌道報頭框

602:alternate_group

700:軌道選擇框

702:switch_group

704:attribute_list

800:AlternateGroupSelection

802:VisualDerivationBase

804:attribute_list[]

900:SwitchGroupSelection

902:VisualDerivationBase

904:attribute_list

1000:AlternateGroupSelection1

1002:VisualDerivationBase

1004:無符號int(32)陣列attribute_list[]

1100:SwitchGroupSelection1

1102:VisualDerivationBase

1104:switch_group

1106:attribute_list

1200:示例性電腦化方法

1202:步驟

1204:步驟

1206:步驟

1208:步驟

1210:步驟

在附圖中，在各個圖中示出的每個相同或幾乎相同的組件由相同的附圖標記表示。為清楚起見，並非每個組件都可以在每張圖中標出。附圖不一定按比例繪製，而是重點放在說明本文描述的技術和設備的各個方面。

第1圖示出根據一些實施例的示例性視訊編碼配置。

第2圖示出根據一些示例的虛擬實境(VR)內容的視口相關內容流過程。

第3圖示出根據一些實施例的示範性軌道層次結構。

第4圖示出根據一些示例的軌道導出操作的示例。

第5圖示出根據一些示例的用於僅選擇一個轉換屬性的示例性語法。

第6圖示出根據一些示例的軌道報頭框的示例性語法。

第7圖示出根據一些示例的軌道選擇框的示例性語法。

第8圖示出根據一些實施例的備用組選擇轉換屬性的示例性語法。

第9圖示出根據一些實施例的切換組選擇轉換屬性的示例性語法。

第10圖示出根據一些實施例的用於備用組選擇一個轉換屬性的示例性語法。

第11圖示出根據一些實施例的用於切換組選擇一個轉換屬性的示例性語法。

第12圖示出根據一些實施例的用於從一組軌道中選擇或切換的軌道導出過程的示例性電腦化方法。

ISO基本媒體檔案格式(ISO Base Media File Format，簡稱ISOBMFF)提供軌道導出，其中通常一個或多個輸入軌道被處理以生成輸出/導出軌道。然而，發明人已經意識到傳統方法中存在缺陷。特別地，用於從軌道組中選擇軌道的傳統方法存在缺陷。例如，雖然一些傳統方法可以從軌道組中選擇一個軌道，但是這些方法不能使用軌道導出操作來執行。相反，此類方法是在資料流或播放期間暫時執行的。因此，例如，不可能使用傳統方法將其他軌道(例如，元資料(metadata)或音訊軌道)與選定或切換的軌道相關聯。此外，這樣的方法簡單地在軌道級別選擇軌道，從而選擇該軌道所有相關的樣本，而不提供任何方式來選擇樣本級別而不是軌道級別的內容。結果，傳統方法不提供指定或生成由軌道選擇或軌道切換產生的新軌道(例如，具有與被選擇或切換的軌道不同的軌道ID的新軌道)。因此，此類傳統方法不能用於生成具有來自一個或多個輸入軌道的樣本的單個封裝軌道，如導出軌道中樣本級別的轉換操作所指定的那樣。作為另一示例，雖然一些傳統方法提供了組合轉換特性(composition transform property)，但是這樣的轉換特性不提供指定輸入軌道之間的任何選擇標準。此外，此類組合操作包括用於重新定位和縮放所選內容的放置參數，這可能是不需要和/或不希望的(例如，由於操作中的額外開銷和操作所需的關聯元資料)。

在此描述的技術藉由提供用於軌道導出操作的轉換操作來解決這些和其他缺陷，該轉換操作可用於在樣本級別(例如，不是軌道級別)執行軌道選擇和軌道切換。如這裡所描述的，藉由軌道選擇導出操作(track selection derivation operation)，多個輸入軌道被處理以在樣本級別從輸入軌道之一選擇樣本以生成輸出軌道的媒體樣本。因此，本文描述的基於選擇的軌道導出技術允許在導出操作時從軌道組中的軌道選擇樣本。在一些實施例中，基於選擇的軌道導出可以提供軌道樣本的軌道封裝作為來自導出軌道的導出操作的輸出，其中軌道樣本從軌道組中選擇或切換。傳統的軌道選擇機制不提供這種軌道封裝。結果，軌道選擇導出操作可以將來自任一輸入軌道的樣本提供到如導出軌道的轉換所指定的導出操作，以生成樣本的結果軌道封裝。

在以下描述中，關於所公開主題的系統和方法以及此類系統和方法可以在其中運行的環境等的許多具體細節被闡述，以提供對所公開主題的透徹理解。此外，可以理解的是，以下提供的示例是示例性的，以及預期存在在所公開主題的範圍內的其他系統和方法。

第1圖示出根據一些實施例的示例性視訊編碼配置100。攝像機102A-102N是N個攝像機，以及可以是任一類型的攝像機(例如，包括音訊記錄能力和/或單獨的攝像機和音訊記錄功能的攝像機)。編碼設備104包括視訊處理器106和編碼器108。視訊處理器106處理從攝像機102A-102N接收的視訊，例如拼接、投影和/或映射。編碼器108編碼和/或壓縮二維視訊資料。解碼裝置110接收編碼資料。解碼設備110可以藉由廣播網路、藉由移動網路(例如，蜂窩網路)和/或藉由互聯網接收作為視訊產品(例如，數位視訊光碟或其他電腦可讀介質)的視訊。解碼設備110可以是例如電腦、手持設備、頭戴式顯示器的一部分或任一其他具有解碼能力的設備。解碼設備110包括被配置為對編碼視訊進行解碼的解碼器112。解碼設備110還包括渲染器114，用於將二維內容渲染回用於播放的格式。顯示器116顯示來自渲染器114的渲染內容。

通常，3D內容可以使用球形內容來表示以提供場景的360度視圖(例如，有時稱為全向媒體內容)。雖然多個視圖可使用3D球體來支援，但終端用戶通常只查看3D球體上的部分內容。傳輸整個3D球體所需的頻寬會給網路帶來沉重負擔，並且可能不足以支援球面內容。因此，希望使3D內容傳送更有效。視口相關處理被執行以改進3D內容傳送。3D球形內容可以被劃分為區域/圖塊/子圖像，以及只有與觀看螢幕(例如，視口)相關的那些才能被傳輸並傳送給終端用戶。

第2圖示出根據一些示例的用於VR內容的視口相關內容流過程200。如圖所示，球形視口201(例如，其可以包括整個球體)在塊202處經歷拼接、投影、映射(以生成投影和映射區域)，在塊204處被編碼(以生成多種品質的編碼/轉碼圖塊)，在塊206被傳送(作為圖塊)，在塊208被解碼(以生成解碼的圖塊)，在塊210被構建(以構建球形渲染視口)，以及在塊212被渲染。在塊214的用戶交互可以選擇一個視口，它會啟動許多“即時(just-in-time)”流程步驟，如虛線箭頭所示。

在流程200中，由於當前網路頻寬限制和各種適配要求(例如，不同品質、編解碼器和保護方案)，首先3D球形VR內容被處理(拼接、投影和映射)到2D平面上(藉由塊202)，然後被封裝在多個基於圖塊(或基於子圖像)和分段檔中(在塊204)，用於傳送和播放。在這種基於圖塊的分段檔中，2D平面中的空間圖塊(例如，它表示空間部分，通常為2D平面內容的矩形形狀)通常被封裝為其變體的集合，例如在不同的品質和位元速率，或不同的編解碼器和保護方案(例如，不同的加密演算法和模式)。在一些示例中，這些變體對應於MPEG DASH中的適配集合中的表示。在一些示例中，基於用戶在視口上的選擇，當不同圖塊的這些變體中的一些變體放在一起時提供所選視口的覆蓋，由接收器獲取或遞送到接收器(藉由傳送塊206)，然後解碼(在塊208)以構建和渲染所需的視口(在塊210和212)。

如第2圖所示，視口的概念是終端用戶所看到的，它涉及到球體上區域的角度和大小。對於360度內容，這些技術通常將所需的圖塊/子圖像內容傳送到用戶端以覆蓋用戶將要觀看的內容。此過程取決於視口，因為這些技術僅提供覆蓋當前感興趣視口的內容，而不是整個球形內容。視口(例如，一種球形區域)可以改變，因此不是靜態的。例如，當用戶移動他們的頭部時，系統需要獲取相鄰的圖塊(或子圖像)以覆蓋用戶接下來想要查看的內容。

例如，內容的平面文檔結構被用於單個電影的視訊軌道。對於VR內容，內容多於接收設備發送和/或顯示的內容。例如，如本文所討論的，可以存在整個3D球體的內容，其中用戶僅查看一小部分。為了更有效地編碼、存儲、處理和/或傳送此類內容，內容可被劃分為不同的軌道。第3圖示出根據一些實施例的示例性軌道分層結構300。頂部軌道302是3D VR球形內容軌道，頂部軌道302下方是關聯的元資料軌道304(每個軌道具有關聯的元資料)。軌道306是2D投影軌道。軌道308是2D大畫面軌道。區域軌道被示為軌道310A到310R，通常被稱為子圖像軌道310。每個區域軌道310具有相關聯的變體軌道組。區域軌道310A包括變體軌道312A到312K。區域軌道310R包括變體軌道314A到314K。因此，如軌道層次結構300所示，以實體多變體區域軌道312開始的結構可被開發，以及層次結構可被建立用於區域軌道310(子圖像或圖塊軌道)、投影和打包2D軌道308、投影2D軌道306和VR 3D視訊軌道302，以及與它們相關聯的適當的元資料軌道。

在操作中，變體軌道包括實際圖像資料。設備在備用的變體軌道中選擇一個代表子圖像區域(或子圖像軌道)的軌道310。子圖像軌道310被平鋪以及一起組成2D大圖像軌道308。然後最終，軌道308被反向映射，例如，一些部分被重新排列以生成軌道306。然後軌道306被反向投影回3D軌道302，其是原始3D圖像。

示例性軌道分層結構可以包括在以下描述的方面，例如：m39971(“Deriving Composite Tracks in ISOBMFF”，2017年1月，瑞士，日內瓦)；m40384(“Deriving Composite Tracks in ISOBMFF using track grouping mechanisms”,2017年4月，澳大利亞，霍巴特)；m40385(“Deriving VR Projection and Mapping related Tracks in ISOBMFF”)；m40412(“Deriving VR ROI and Viewport related Tracks in ISOBMFF”,MPEG第118次會議，2017年4月)，其全部內容以引用方式併入本文中。在第3圖中，rProjection、rPacking、compose和alternate分別表示軌道導出TransformProperty項reverse 'proj'、reverse 'pack'、'cmpa'和'cmp1'，僅用於說明目的，並非旨在進行限制。元資料軌道中所示的元資料類似地用於說明目的並且不旨在進行限制。例如，如w17235(“ISO/IEC FDIS 23090-2 Omnidirectional Media Format”，第120屆MPEG會議，2017年10月，中國，澳門)中所述，來自OMAF的元資料框被使用，其全部內容以引用方式併入本文中。

第3圖所示的軌道數旨在說明而非限制。例如，在如第3圖所示的層次結構中不一定需要一些中間導出軌道的情況下，相關的導出步驟可被合并為一個(例如，反向打包和反向投影被組合在一起以消除投影軌道306的存在)。

導出的視覺軌道可以藉由其包含的“dtrk”類型的樣本條目來指示。導出樣本包含要對輸入圖像或樣本的有序列表執行的操作的有序列表(ordered list)。每個操作都可以由轉換屬性(Transform Property)指定或指示。導出的視覺樣本藉由按循序執行指定的操作來重建。ISOBMFF中可用於指定軌道導出的轉換屬性示例，包括最新的ISOBMFF正在考慮的技術(Technologies Under Consideration，TuC)中的那些示例(參見，例如，N17833，“Technologies under Consideration for ISOBMFF”，2018年7月，斯洛文尼亞，盧布亞納，其全部內容以引用方式併入本文中)，包括：“idtt”(身份)轉換屬性；“clap”(乾淨光圈)轉換屬性；“srot”(旋轉)轉換屬性；“dslv”(溶解)轉換屬性；“2dcc”(ROI裁剪)轉換屬性；“tocp”(軌道疊加組合)轉換屬性；“tgcp”(軌道網格組合)轉換屬性；“tgmc”(使用矩陣值的軌道網格組合)轉換屬性；“tgsc”(軌道網格子圖像組合)轉換屬性；“tmcp”(轉換矩陣組合)轉換屬性；“tgcp”(軌道分組組合)轉換屬性；和“tmcp”(使用矩陣值的軌道分組組合)轉換屬性。所有這些軌道導出都與空間處理有關，包括影像處理和輸入軌道的空間組成。

導出的視覺軌道可用於指定視覺轉換操作的定時序列，該視覺轉換操作將被用於導出操作的輸入軌道。輸入軌道可以包括例如具有靜止圖像和/ 或定時圖像序列樣本的軌道。在一些實施例中，導出的視覺軌道可以包含在ISOBMFF中提供的方面，其在w18855(“Text of ISO/IEC 14496-12 6^th edition，”2019年10月，瑞士，日內瓦)中指定，其全部內容以引用方式併入本文中。ISOBMFF可用於提供例如基本媒體文檔設計和轉換操作集合。示例性的轉換操作包括，例如，身份(Identity)、溶解(Dissolve)、裁剪(crop)、旋轉(Rotate)、鏡像(Mirror)、縮放(Scaling)、感興趣區域(Region-of-interest)和軌道網格(Track Grid)，如w19428(“Revised text of ISO/IEC CD 23001-16 Derived visual tracks in the ISO base media file format”，2020年7月，線上，其全部內容以引用方式併入本文中)。TuC w19450(“Technologies under Consideration on ISO/IEC 23001-16”，2020年7月，線上，其全部內容以引用方式併入本文中)提供了一些額外的導出轉換候選，包括與組合和沉浸式媒體處理相關的轉換操作。

第4圖示出根據一些示例的軌道導出操作400的示例。多個輸入軌道/圖像1(1)402A、2(2)402B到N 402N被輸入到導出的視覺軌道404，其攜帶轉換樣本的轉換操作。軌道導出操作406將轉換操作應用於導出的視覺軌道404的轉換樣本以生成包括視覺樣本的導出視覺軌道408。

m39971(“Deriving Composite Tracks in ISOBMFF”，2017年1月，瑞士，日內瓦，其全部內容以引用方式併入本文)中提出了兩種基於軌道選擇的導出轉換，即“選擇一個(Selection of One)”(“sel1”)和“(選擇任一(Selection of Any)”(“seln”)。然而，這兩種轉換都是為了輸入軌道的圖像組合而設計，因此需要用於組合操作的維度資訊。例如，第5圖示出根據一些示例的用於僅選擇一個(“sel1”)轉換屬性500的示例性語法。sel1轉換屬性500包括參考寬度(reference_width)502欄位和參考高度(reference_height)504欄位，它們分別給出了參考矩形空間的寬度和高度，其中計算了所有座標(top_left_x 506、 top_left_y 508、寬度510和高度512)。這些欄位指定由其相應輸入視覺軌道的所有輸入圖像組成的導出圖像的大小。欄位top_left_x 506和top_left_y 508分別指定要放置相應軌道的輸入媒體圖像的矩形區域的左上角的水平和垂直座標。欄位寬度510和高度512分別指定要放置相應軌道的輸入媒體圖像的矩形區域的寬度和高度。sel1轉換屬性可以指定導出樣本的參考寬度和高度(分別為reference_width 502和reference_height 504)，以及將來自整個轉換過程中選擇的同一軌道的一個(例如，只有一個)輸入圖像放置或組合到導出樣本上在由top_left_x 506和top_left_y 508指定的以及具有相應的大小寬度510和高度512的相應位置處。

發明人已經意識到用於組合操作的這種選擇方法的問題。例如，此類轉換屬性(例如，像sel1和seln轉換屬性)不提供指定輸入軌道之間的任何選擇標準。作為另一示例，放置參數重新定位和縮放所選圖像，這可能是不需要或不希望的。例如，可能需要僅從輸入軌道中選擇圖像或樣本而不重新定位和/或縮放圖像或樣本。結果，重定位和/或縮放操作增加了不需要的複雜性和/或需要提供不必要的資訊。此外，此類常規方法尚未被採用，因此ISOBMFF不包括此類轉換特性以供使用。

軌道元資料可以包括指定分組資訊的資訊。例如，第6圖示出根據一些示例的用於軌道報頭框600的示例性語法。如該示例中所示，軌道報頭框600可以在各種欄位中包括alternate_group 602欄位。alternate_group 602可以是指定軌道組或集合的整數值。如果該值為零(0)，則在軌道報頭框600中沒有關於與其他軌道的可能關係的資訊。如果該欄位不為零(0)，那麼對於包含彼此備用資料的軌道，該值應該相同，而對於屬於不同此類組的軌道，該值應該不同。一個示例性的相關約束是，在任何時候備用組(alternate group)中僅一個軌道應被播放或流傳輸，以及應藉由位元速率、編解碼器、語言、資料包大小等屬性與組中的其他軌道區分開來。

一些軌道選擇機制可用於從軌道組中進行選擇。例如，第7圖示出根據一些示例的可以與ISOBMFF一起使用的軌道選擇框700的示例性語法。軌道選擇框700包括switch_group 702欄位，其可以是指定軌道組或集合的整數值。如果該欄位被設置為零(0，預設值)，或者如果軌道選擇框700不存在，則沒有關於軌道是否可以用於在播放或流傳輸期間進行切換的資訊。如果該欄位未被設置為零(0)，則對於可用於彼此之間切換的軌道，該欄位應相同。屬於同一個切換組的軌道應該屬於同一個備用組，一個切換組或備用組只能有一個成員。

attribute_list 704欄位是一個列表，由跟在框末尾的資料組成並列出屬性。列表中的屬性可用作軌道的描述或同一備用或切換組中軌道的區分標準。一些屬性可以是描述性屬性，用於表徵它們修改的軌道。示例性描述屬性可以包括，例如，時間可伸縮性(“tesc”)，其中軌道可以在時間上進行縮放，細-細微性SNR可伸縮性(“fgsc”)，其中軌道可以在品質方面進行縮放，粗-細微性SNR可伸縮性(“cgsc”)，其中軌道可以在品質方面進行縮放，空間可擴展性(“spsc”)，其中軌道可以在空間上縮放，感興趣區域可擴展性(“resc”)，其中軌道可以是區域-興趣縮放，視圖可擴展性(“vwsc”)，其中軌道可以根據視圖的數量和/或類似物進行縮放。一些屬性可被區分，以及區分屬於同一備用或切換組的軌道。區分屬性可以具有指示資訊位置的指標，該資訊將軌道與具有相同屬性的其他軌道區分開。示例性區分屬性可以包括例如具有指向樣本條目(例如，在媒體軌道的SampleDescriptionBox中)的指標的編解碼器(“codec”)、具有指向寬度和高度欄位(例如，VisualSampleEntry)的指標的螢幕尺寸(“scsz”)，具有指向Maxpacketsize欄位(例如，在RtpHintSampleEntry中)的指標的最大資料包大小(“mpsz”)，具有指向處理類型(例如，在媒體軌道的HandlerBox中)的指標的媒體類型(“mtyp”)，具有指向MediaHeaderBox中語言欄位的指標的媒體語言(“mela”)，具有指向軌道中樣本總大小除以TrackHeaderBox中的持續時間的指標的位元速率(“bitr”)，具有指向軌道中的樣本數除以TrackHeaderBox中的持續時間的指標的畫面播放速率(“frar”)，具有指向軌道中視圖數的指標的視圖數(“nvws”)，等等。

切換組可以是備用組中軌道的子集合。例如，備用組可以指定視訊軌道組，其中一個可以如本文所述被播放。切換組可以形成備用組中軌道的子組，以及可以指示切換組內的軌道如何切換(例如，根據什麼參數)。此外，軌道選擇框可以提供許多屬性供選擇。因此，許多參數可被指定來幫助提供有關如何切換軌道的資訊。例如，編解碼器屬性可用於提供基於不同編解碼器的選擇。另一示例是螢幕尺寸，其中切換組可以包含用於不同螢幕尺寸的不同軌道。例如，此類屬性可用於位元速率適配。

常規方法，例如結合第7圖討論的軌道截面框。在第7圖中，僅提供發送屬於軌道的切換組的軌道(例如，使得可以在播放或流傳輸期間切換組的任一成員軌道可被選擇)。然而，此類傳統方法不提供指定或創建由選擇或切換產生的新軌道(例如，具有不同軌道ID的新軌道)。此外，由於傳統的軌道選擇或切換方法在播放或流傳輸過程中是暫時的，例如，不可能將其他軌道(例如，元資料和/或音訊軌道)與所選或切換的軌道相關聯。

在此描述的技術提供了用於軌道導出操作的轉換操作，其可用於執行軌道選擇和軌道切換。這裡描述的技術藉由提供從多個輸入軌道中選擇樣本來改進現有的軌道導出技術。如這裡進一步描述的，由於軌道導出操作可以有多個輸入軌道，軌道選擇導出可以選擇樣本級別(例如，不是軌道級別)的輸入軌道之一作為輸出軌道。因此，本文描述的基於選擇的軌道導出技術允許在導出時從軌道組中選擇軌道樣本以生成新軌道。軌道導出操作可以在導出操作的輸入軌道數量方面提供靈活性。在一些實施例中，輸入軌道是軌道組。在一些實施例中，僅一個輸入軌道被提供至導出操作，其用於確定導出操作的關聯軌道組。

輸出軌道或導出軌道的結果媒體資料可以包括連續視訊資料樣本的時間序列。如本文所述，導出軌道可以包括指定如何生成導出軌道的樣本的轉換屬性的序列(例如，其中每個轉換操作指定如何生成輸出軌道的關聯樣本)。在一些實施例中，本文描述的基於選擇的軌道導出技術可以提供軌道樣本的封裝(例如，作為來自導出操作的輸出)，其中軌道樣本從選擇轉換屬性指定的軌道組中選擇或切換。這種軌道封裝不是由傳統的軌道選擇機制提供的，例如那些使用軌道分組機制的機制(例如，備用或切換組，在軌道級別而不是樣本級別進行切換)。結果，本文描述的軌道選擇導出操作可以將來自任一輸入軌道的樣本提供至導出操作，如導出軌道的轉換所指定。此外，得到的導出軌道可以是新軌道。結果，該技術將其他軌道(例如，元資料和/或音訊軌道)與輸出導出軌道相關聯。

在一些實施例中，分組資訊可用於指示應為導出操作切換或選擇哪一組軌道。如這裡所描述的，導出操作的輸入軌道可以被分組為備用或切換組。例如，可以分別按照最新ISOBMFF規範中的第8.3.2節“track header box”和第8.10.3節“track selection box”中的描述來實現備用或切換組，例如分別結合第6-7圖。例如，備用組特徵，例如由軌道報頭框中的備用組(alternate_group)欄位指定的特徵，可用於對導出操作指示一個或多個軌道的備用組。導出操作可以在特定時間(例如，用於播放)選擇或切換到備用組的一個軌道作為輸出軌道。結果，如果輸入軌道是備用組的一部分，則導出操作一次只能從這樣的輸入軌道之一中選擇樣本進行播放。

因此，這樣的技術可以提供傳統方法無法獲得的軌道切換和選擇導出操作。在一些實施例中，這樣的軌道封裝可以允許關於所選擇或切換軌道的元資料與軌道封裝本身的直接關聯(例如，藉由在導出軌道中指定元資料)，而不是將元資料與從中選擇或切換軌道的軌道組相關聯。例如，為了指定在運行時從軌道組中選擇的軌道具有感興趣區域(region of interest，簡稱ROI)，使用這裡描述的技術來發送導出軌道的ROI變得非常容易和自然。對於靜態ROI，作為一個示例，ROI可以在導出軌道中發送，例如在導出軌道的元資料框(例如，“中繼”框)中。對於動態ROI，作為另一示例，定時元資料軌道可以參考導出軌道，例如藉由使用參考類型“cdsc”。相比之下，對於傳統技術，沒有直接的方式來發送此類ROI元資料，因為它不能在導出軌道中發送。例如，雖然藉由使用傳統技術，靜態ROI訊號可以在備用或切換組中每個軌道的元資料框中發送，但此類訊號錯誤地傳達了每個軌道都具有靜態ROI(而不僅僅是具有從這些軌道中選擇的樣本的單個軌道具有ROI)。動態ROI會出現類似的問題：如果表示動態ROI的定時元資料軌道參考備用或切換組，則軌道參考框中的現有軌道參考要求ROI應用於備用或切換組中的每個軌道。例如，ISOBMFF中的第8.3.3節規定，當它適用於參考軌道組時，“軌道參考單獨應用於被參考軌道組的每個軌道”。與靜態ROI情況類似，這樣的軌道參考不是所需的功能，因為ROI不適用於每個軌道，而是適用於導出的結果(單個)軌道。

此處描述的軌道選擇或切換技術可用於例如受益於選擇性播放、適應性流傳輸和/或其他各種多媒體處理場景的應用，例如那些需要從一個或多個軌道切換或選擇媒體樣本的應用。在一些實施例中，本文提供的軌道選擇導出技術提供能夠創建和執行基於軌道的媒體處理工作流的導出軌道封裝。例如，導出的軌道封裝技術可以提供基於網路的媒體處理(例如，如w19062，“Text of ISO/IEC FDIS 23090-8 Network-based Media Processing,”，2020年1月，比利時，布魯塞爾，其全部內容以引用方式併入本文中)，它可以將導出的軌道不僅用作輸出，而且還用作工作流中的中間輸入。

在一些實施例中，導出的軌道封裝允許軌道選擇或軌道切換對動態適應性流傳輸的用戶端來說是透明的，例如DASH(例如，如w19062中所述)，以及在相應的伺服器或分發網路內執行，例如，結合SAND實施(例如，如w18609，“Text of ISO/IEC FDIS 23009-1：2014 4th edition”，2019年7月，瑞典，哥德堡，其全部內容以引用方式併入本文)中所述。例如，這種方法可以簡化用戶端邏輯和實現，以將動態內容適應性地從流媒體列表級別轉移到文檔格式導出軌道級別。這可以基於如本文所述的屬性列表(例如，具有描述性和區分屬性)來完成。例如，對於適應性流傳輸，DASH清單檔(manifest file)包括適配集，該適配集可以具有多個表示，每個表示對應一個軌道，這允許用戶端根據用戶端在網路中的能力，從具有不同品質的適配集的表示中持續選擇片段。然而，這樣的選擇不會產生新的軌道。相反，用戶端從軌道中選取片段以及使用所選內容，但不會產生導致另一軌道的輸出。此外，用戶端需要知道各種可用版本的內容以及確定如何選擇內容。用戶端可能還需要實現邏輯來請求內容的特定部分。例如，如果客戶端正在消費360度內容，則用戶端將藉由視口查看內容。對於360度內容，各種圖塊或內容的一部分通常需要被拼接和處理以生成最終的視口內容，因此用戶端需要選擇下載哪些圖塊需要被選擇以覆蓋視口(通常需要用戶端請求比覆蓋視口所需的更多內容)，以及執行拼接和其他步驟以生成最終視口內容。因此，需要在用戶端支援此類處理可能是一個問題，尤其是對於輕用戶端設備。

相比之下，本文描述的技術可以在軌道級別而不是在列表級別實現適應性流傳輸。結果，該處理可使用本文描述的技術在用戶端或伺服器端執行(例如，以實現伺服器端適配而不是用戶端適配)。例如，本文描述的技術可以消除用戶端提取(pick-up)或選擇表示和/或執行後續處理以生成內容(例如，視口的內容)的需要。相反，用戶端可以向伺服器提供一組參數(例如，螢幕尺寸/解析度、網路頻寬等)來指定用戶端可以支援的內容。在伺服器端，伺服器可以採用這些參數以及應用軌道選擇操作來對用戶端生成片段，然後只將該片段發送給用戶端。

因此，本文描述的封裝技術可以提供消除對適配集(AdaptationSet)的使用和/或將其使用限制為僅包含DASH中的單個表示，因為可以在DASH清單檔(manifest file)之外執行軌道選擇。使用基於選擇的導出軌道，DASH用戶端(例如，如w19062中所述)和DASH感知網路元素(DASH aware network elements，簡稱DANE)(例如，如w18609中所指定)可以簡單地提供在導出軌道中期望和/或需要的屬性值(例如，編解碼器“cdec”、螢幕大小“scsz”、位元速率“bitr”等)，這樣媒體原始伺服器和/或內容傳送網路(content delivery netwok，簡稱CND)可以從可用媒體軌道組提供內容選擇和切換。結果，邏輯的適配部分可以從用戶端移動到伺服器，使得用戶端簡單地提供設置參數。這種範式轉變(paradigm shift)可以顯著減少用戶端所需的處理。特別是，對於一些用戶端，尤其是低成本用戶端，可能需要令伺服器對用戶端構建內容以及簡單地向用戶端發送單個流。使用此類技術，如果客戶端正在消費360度內容，則用戶端可以簡單地請求視口以及從伺服器準確接收該內容。作為另一示例，該技術可以用於線上遊戲以提供伺服器來產生內容。

另外，本文描述的技術，包括導出轉換，也可以用於除視訊內容之外的其他類型的內容。例如，本文描述的技術可用於對導出圖像和導出圖像條目提供類似的轉換，例如在ISO/IEC 23008-12中指定的影像文檔格式，例如，如w16230，“ISO/IEC FDIS 23009-5 Server and Network Assisted DASH”，2016年6月，瑞士，日內瓦，其全文以引用方式併入本文。

在一些實施例中，該技術提供轉換操作，該轉換操作可用於從輸入軌道選擇樣本和/或在作為相同備用組的一部分的輸入軌道中的樣本之間進行切換。轉換操作可以包括屬性列表，以及屬性列表值可以用於從輸入的軌道組中選擇樣本。

在一些示例中，新的元資料框可被創建，此處將在一個示例中被參考作為備用組選擇(AlternateGroupSelection)導出轉換，但應當理解，此和其他示例性語法和欄位名稱僅用於說明目的僅且不旨在限制，因為可以使用其他命名約定來代替這裡描述的技術。AlternateGroupSelection導出轉換可以提供從輸入軌道的可用樣本中選擇一個(例如，以及只有一個)樣本。在一些實施例中，輸入軌道來自相同的備用組。例如，輸入軌道可以在它們的軌道報頭中具有與alter_group欄位相同的值(例如，非零值)。作為說明性示例，軌道選擇可以根據ISOBMFF規範中的第8.3.3節“Track header box”中提供的alter_group欄位在軌道導出時進行。

在一些實施例中，樣本選擇可以根據屬性列表中提供的屬性列表來指定，例如在轉換操作中指定的值attribute_list[]的陣列。此類屬性可用作描述和/或區分標準，用於從具有所有匹配屬性的輸入軌道中選擇一個軌道。作為說明性示例，屬性可以逐個地匹配(例如，按照列表中屬性的出現順序)。在一些實施例中，屬性列表可以是空的。當列表為空時，導出可以不會對樣本選擇施加任何額外限制。在一些實施例中，匹配的屬性可以在軌道的TrackSeletionBoxes中提供。因此，在一些實施例中，屬性可以是(或可以不是)每個輸入軌道的TrackSeletionBox中的屬性的子集合。

在一些實施例中，備用組選擇轉換操作可以用屬性列表擴展視覺導出庫。第8圖示出根據一些實施例的用於AlternateGroupSelection 800轉換的示例性語法。在該示例中，AlternateGroupSelection800轉換擴展了VisualDerivationBase(“atgs”,flags)802，以及包括無符號int(32)陣列attribute_list[]804。attribute_list[]804是描述和區分屬性的列表，如本文所述。在一些實施例中，attribute_list[]804包括諸如在ISOBMFF的第8.10.3節中指定的那些屬性。在一些實施例中，attribute_list[]804可以如本文所述為空。如果attribute_list[]804為空，則在切換組內的所有軌道中進行選擇(例如，因為列表中沒有可用作描述或區分的屬性以從軌道組中選擇軌道)。在一些實施例中，每個條目與指向區分軌道的欄位或資訊的指標相關聯。導出操作可以使用屬性在軌道組中搜索合適的軌道。例如，如果attribute_list[]包含兩個屬性，codec和screen size(按這個順序)，那麼導出操作可以先搜索組中哪些軌道符合codec屬性，然後在這些軌道中搜索，看哪一個符合screen size屬性。如這裡所描述的，備用組選擇轉換可以在導出軌道中攜帶以及在導出軌道的每個樣本的細微性(granularity)和/或導出軌道的一系列樣本的細微性(granularity)處指定。

在一些實施例中，其他軌道組可以是軌道導出操作的輸入，而不是備用軌道組。例如，輸入軌道可以來自切換組，使得導出操作可以從切換軌道組中選擇樣本。作為說明性示例，切換組選擇(例如，SwitchGroupSelection)導出轉換可以提供從來自相同切換組的輸入軌道的樣本中選擇一個(例如，以及僅一個)樣本。例如，每個輸入軌道可以包含一個軌道選擇框(TrackSeletionBox)，每個軌道選擇框在軌道選擇框中都具有相同的switch_group欄位值(例如，非零值)。在一些示例中，可以根據ISOBMFF中的第8.10.3節“Track selection box”中提供的TrackSeletionBox在軌道導出時進行選擇。在一些實施例中，從切換組中的選擇可以根據屬性列表中提供的屬性列表(例如，描述和/或區分屬性)來限制，例如可以在導出轉換中提供的參數陣列attribute_list[]。如本文所述，列表中的屬性可用作從輸入軌道中選擇一個軌道的描述和/或區分標準。

第9圖示出根據一些實施例的用於SwitchGroupSelection 900轉換的示例性語法。在該示例中，SwitchGroupSelection900轉換擴展了VisualDerivationBase(“sgsl”,flags)902，以及包括無符號int(32)陣列 attribute_list[]904。attribute_list 904可以是，如本文所述，描述和區分屬性的列表(例如，如ISOBMFF中第8.10.3節中定義的那些)。類似於第9圖中的AlternateGroupSelection 800轉換，SwitchGroupSelection 900可以接收軌道組作為輸入，以及應用在導出軌道中指定的attribute_list 904以及基於屬性列表產生樣本輸出。如本文所述，切換組選擇轉換可以在導出軌道中承載以及在導出軌道的每個樣本的細微性和/或導出軌道的一系列樣本的細微性處指定。

在一些實施例中，樣本可以從用戶端和/或用戶端-伺服器配置的用戶端和/或伺服器端的輸入軌道中選擇，例如第1圖中的編碼設備104和解碼設備110。例如，在一些實施例中，用戶端(例如，解碼設備)可以對接收的軌道組執行選擇。作為另一示例，用戶端可以將一個或多個參數傳送給伺服器(例如，編碼設備104和/或存儲編碼媒體的伺服器)，其指示伺服器向用戶端提供導出過程的輸出。例如，參考第2-3圖，軌道可以根據網格組合，使得網格組合根據網格放置輸入軌道以解碼媒體內容。因此，用戶端和/或伺服器只需要處理轉換樣本的屬性列表即可執行網格組合操作。

在一些實施例中，這些技術可以用於單個輸入軌道而不是輸入軌道組。如這裡所討論的，如果軌道是備選組的一部分，則該軌道將包括alternate_group值。類似地，軌道可以包括switch_group值。在一些實施例中，這些技術可以不包括指定軌道組或切換組的資訊，而是簡單地查看備用組值，以及從該組中挑選一個軌道。因此，對於單個輸入軌道，導出過程可以藉由查看分組資訊(grouping information)來執行軌道選擇。因此，一些實施例可以提供用於使用單個(代表性)輸入軌道而不是多個輸入軌道的軌道選擇和切換的軌道導出。

在一些實施例中，選擇可以從備用組的軌道中執行。作為說明性示例，出於示例性目的，輸入軌道的備用組選擇轉換被稱為 AlternateGroupSelection1導出轉換，但這並不旨在進行限制。這種AlternateGroupSelection1導出轉換可以提供從輸入軌道提供的備用組(例如，輸入軌道在其中和/或由輸入軌道表示的備用組)中的所有軌道的樣本中選擇一個樣本。例如，備用組可以是所有軌道，如果有的話，在它們的軌道報頭中具有與輸入軌道相同的非零值的alternate_group。在一些實施例中，如本文所述，選擇可以在根據ISOBMFF中的第8.3.3節“Tack header box”中提供的alternate_group在軌道導出時進行。

在一些實施例中，選擇可以根據屬性列表進一步被限制。例如，屬性列表可以在導出轉換中的參數attribute_list[]中提供。這些屬性可用作描述或區分標準，用於從備用組中的軌道中選擇一個軌道。屬性可以按照屬性在列表中出現的先後順序進行一一匹配。在一些實施例中，當列表為空時，導出對選擇沒有額外限制。在一些實施例中，屬性可以與每個軌道的TrackSeletionBox中的屬性相匹配。因此，屬性可以是也可以不是備用組中的每個軌道的TrackSeletionBox中的屬性的子集合。

第10圖示出根據一些實施例的用於AlternateGroupSelection1 1000轉換的示例性語法。在該示例中，AlternateGroupSelection1 1000轉換擴展了VisualDerivationBase(“ats1”,flags)1002，以及包括無符號int(32)陣列attribute_list[]1004。attribute_list[]如此處描述，是描述和區分屬性的列表，例如ISOBMFF第8.10.3節規定。導出操作可以使用屬性來搜索這裡描述的軌道組中的適當軌道。

在一些實施例中，可以提供用於從切換組中的軌道中進行選擇的技術。對於備用組，檔案格式受到限制，因此任一軌道只能在一個備用組中。但是，由於軌道可以位於多個切換組中，因此切換組可被指定為導出操作的一部分。例如，由於一個軌道可以是許多個切換組的一部分，這些技術可以指示導出操作需要查看哪個切換組以進行選擇。

在一些實施例中，SwitchGroupSelection1導出轉換提供從輸入軌道指定的切換軌道組(例如，輸入軌道所在的和/或由輸入軌道表示的切換軌道組)中的軌道樣本中選擇一個且僅一個樣本。切換軌道組可以藉由導出轉換中指定的參數switch_group的非零值來標識。結果，從中選擇用於導出操作的軌道可以包括切換組中的每個軌道，包括輸入軌道，其包含參數switch_group的相同值。例如，switch_group可以由每個軌道中的軌道選擇框TrackSeletionBox指定。相應地，在一些示例中，選擇可以根據ISOBMFF中的第8.10.3節“Track selection box”中提供的TrackSeletionBox的定義在軌道導出時進行。

在一些實施例中，選擇可以根據導出轉換中的參數陣列attribute_list[]中提供的描述和區分屬性的列表來限制。這些屬性可以用作描述或區分標準，用於從具有所有匹配屬性的切換軌道組中選擇一個軌道。在一些實施例中，如本文所述，當列表為空時，導出不對如本文所述的選擇施加額外限制。例如，導出操作可以包括將attribute_list[]中的屬性與每個軌道的TrackSeletionBox中的屬性進行匹配。屬性可以按照列表中屬性出現的順序一一匹配，如本文所述。因此，指定的屬性可以是也可以不是切換軌道組中的每個軌道的TrackSeletionBox中的屬性的子集合。

第11圖示出根據一些實施例的用於SwitchGroupSelection1 1100轉換的示例性語法。在該示例中，SwitchGroupSelection1 1100轉換擴展了VisualDerivationBase(“sgs1”,flags)1102，以及包括模板int(32)switch_group 1104和無符號int(32)陣列attribute_list[]1106。switch_group 1104可以是一個參數，其語義指定一個切換組(例如，如ISOBMFF中的第8.10.3條所指定的)以及具有非零值。如本文所述，attribute_list 1106可以是描述和區分屬性的列表(例如，諸如在ISOBMFF的第8.10.3節中定義的那些)。

第12圖示出了根據一些實施例的用於從一組軌道中選擇或切換的軌道導出過程的示例性電腦化方法1200。在步驟1202，計算設備(例如，編碼設備104或解碼設備110)訪問多媒體資料，該多媒體資料包括(a)多個媒體軌道，每個媒體軌道具有相關聯的一系列媒體資料樣本，以及(b)導出軌道，包括導出操作集合，用於生成導出軌道的一系列媒體資料樣本。在一些實施例中，如虛線框1210所指示的，如步驟1204-1208中所描述的，多個媒體軌道中的一些或全部可以是導出操作的輸入軌道。

在步驟1204，計算設備基於導出操作從多個媒體軌道中確定媒體軌道組。媒體軌道組可以是多個媒體軌道的子集合。計算設備藉由確定該組中的每個媒體軌滿足分組標準來確定該軌道組。例如，在一些實施例中，分組標準可以是備用組值，以及計算設備可以確定軌道組中的每個媒體軌道具有等於備用組值的備用組。作為另一示例，在一些實施例中，分組標準可以包括切換組值，以及計算設備可以確定軌道組中的每個媒體軌道具有等於切換組值的切換組。

在步驟1206，計算設備從媒體軌道組中選擇一個媒體軌道。在一些實施例中，計算設備基於屬性列表從媒體軌道組中選擇一個媒體軌道。例如，計算設備可以基於導出操作確定包括一個或多個屬性的屬性列表。計算設備可以藉由確定一個媒體軌道滿足屬性列表的一個或多個屬性中的每一個(例如，同時確定其他軌道不滿足該一個或多個屬性)來選擇一個媒體軌道。

在步驟1208，計算設備將來自所選擇的一個媒體軌道的樣本添加到導出軌道以生成導出軌道的一部分。計算設備可以執行該導出操作集合中的每個導出操作以從多個媒體軌道中選擇媒體樣本以生成具有所選媒體樣本的導出軌道。

在一些實施例中，如本文所述，軌道組(例如，備用軌道組和/ 或切換軌道組)可以是導出操作的輸入，以及導出軌道的部分是導出操作的輸出。在一些實施例中，單個代表軌道可以是導出操作的輸入。在一些實施例中，代表軌道可用於確定分組標準(例如，代表軌道的備用組可用於識別具有相同備用組和/或切換組的其他軌道)。在一些實施例中，導出操作可以指定分組標準(例如，可以指定切換組，因為代表軌道可以屬於多個切換組)。

在一些實施例中，這些技術可以由編碼器和/或解碼器執行。在一些實施例中，這些技術可用於根據本文描述的技術(例如，其包括具有軌道選擇或切換導出操作的一個或多個導出軌道)生成編碼位元流。在一些實施例中，這些技術可以用於解碼根據這裡描述的技術生成的編碼位元流。

根據本文描述的原理操作的技術可以以任何合適的方式實現。上述的流程圖的處理和決策塊表示可包括在執行該些各種過程的演算法中的步驟和動作。從該些過程導出的演算法可實現為與一個或多個單用途或多用途處理器的操作集成並指導其操作的軟體，可實現為功能等效電路，例如數位訊號處理(Digital Signal Processing，簡稱DSP)電路或應用-特定積體電路(Application-Specific Integrated Circuit，簡稱ASIC)，或者可以以任一其他合適的方式實現。應當理解，本發明包括的流程圖不描繪任何具體電路或任何具體程式設計語言或程式設計語言類型的語法或操作。相反，流程圖示出本領域習知技術者可用來製造電路或實現電腦軟體演算法以執行執行本文所述技術類型的具體裝置的處理的功能資訊。還應當理解，除非本文另有指示，否則每個流程圖中描述的具體步驟和/或動作序列僅僅是對可實現的演算法的說明，以及可在本文描述的原理的實現方式和實施例中變化。

因此，在一些實施例中，本文描述的技術可體現為實現為軟體的電腦可執行指令，包括作為應用軟體，系統軟體，韌體，仲介軟體，嵌入代碼或任何其他合適類型的電腦代碼。這樣的電腦可執行指令可使用多個合適的程式設計語言和/或程式設計或腳本工具中的任何一種來編寫，以及還可被編譯為在框架或虛擬機器上執行的可執行機器語言代碼或中間代碼。

當本文描述的技術體現為電腦可執行指令時，該些電腦可執行指令可以以任何合適的方式實現，包括作為多個功能設施，每個功能設施提供一個或多個操作以完成根據該些技術操作的演算法的執行操作。然而，產生實體的“功能設施”是電腦系統的結構組件，當與一個或多個電腦集成和由一個或多個電腦執行時，會導致一個或多個電腦執行特定的操作角色。功能設施可以是軟體元素的一部分或整個軟體元素。例如，功能設施可根據過程，或作為離散過程，或作為任何其他合適的處理單元來實現。如果這裡描述的技術被實現為多功能設施，則每個功能設施可以以其自己的方式實現；所有該些都不需要以同樣的方式實現。另外，該些功能設施可以適當地並行和/或串列地執行，以及可使用它們正在執行的電腦上的共用記憶體以在彼此之間傳送資訊，使用消息傳送協定，或其他合適的方式。

一般來說，功能設施包括執行具體任務或實現具體抽象資料類型的慣例，程式，物件，組件，資料結構等。通常，功能設施的功能可根據需要在它們運行的系統中組合或分佈。在一些實現方式中，執行本文技術的一個或多個功能設施可一起形成完整的套裝軟體。在備選實施例中，該些功能設施可以適於與其他不相關的功能設施和/或過程交互，以實現軟體程式應用。

本發明已經描述了用於執行一個或多個任務的一些示例性功能設施。然而，應當理解，所描述的功能設施和任務劃分僅僅是可以實現本文描述的示例性技術的功能設施的類型的說明，以及實施例不限於以任何具體數量，劃分，或功能設施的類型。在一些實現方式中，所有功能可在單個功能設施中實現。還應當理解，在一些實施方式中，本文描述的一些功能設施可與其他功能設施一起實施或與其他功能設施分開實施(即，作為單個單元或單獨的單元)，或者該些功能設施中的一些可以不實現。

在一些實施例中，實現本文描述的技術的電腦可執行指令(當實現為一個或多個功能設施或以任何其他方式實施時)可在一個或多個電腦可讀介質上編碼以向媒體提供功能。電腦可讀介質包括諸如硬碟驅動器之類的磁介質，諸如光碟(Compact Disk，簡稱CD)或數位多功能碟(Digital Versatile Disk，簡稱DVD)之類的光學介質，永久或非永久固態記憶體(例如，快閃記憶體，磁性RAM等)或任何其他合適的存儲介質。這種電腦可讀介質可以以任何合適的方式實現。如這裡所使用的，“電腦可讀介質”(也稱為“電腦可讀存儲介質”)指的是有形存儲介質。有形存儲介質是非暫時性的以及具有至少一個物理結構組件。在如本文所使用的“電腦可讀介質”中，至少一個物理結構組件具有至少一個物理特性，該特性可在創建具有嵌入資訊的介質的過程，在其上記錄資訊的過程，或用資訊編碼媒體的任何其他過程期間以某種方式改變。例如，電腦可讀介質的物理結構的一部分的磁化狀態可在記錄過程期間改變。

此外，上述一些技術包括以特定方式存儲資訊(例如，資料和/或指令)以供該些技術使用的動作。在該些技術的一些實現方式中—諸如將技術實現為電腦可執行指令的實現方式—該資訊可以在電腦可讀存儲介質上編碼。在本文中將特定結構描述為存儲該資訊的有利格式的情況下，該些結構可用於在編碼在存儲介質上時發送資訊的物理組織。然後，該些有利結構可藉由影響與資訊交互的一個或多個處理器的操作來向存儲介質提供功能；例如，藉由提高處理器執行的電腦操作的效率。

在其中技術可以體現為電腦可執行指令的一些但非全部實現方式中，該些指令可在任一合適的電腦系統中操作的一個或多個合適的計算設備中執行，或一個或多個計算設備(或者，一個或多個計算設備的一個或多個處理器)可被程式設計為執行電腦可執行指令。當指令以計算設備或處理器可訪問的方式存儲時，計算設備或處理器可被程式設計為執行指令，例如在資料存儲(例如，片上快取記憶體或指令寄存器，可被匯流排訪問的電腦可讀存儲介質，可被一個或多個網路訪問並可由設備/處理器訪問的電腦可讀存儲介質等)。包括該些電腦可執行指令的功能設施可與以下設備的操作集成和指導其操作：單個多用途可程式設計數位計算設備，共用處理能力和聯合執行本文描述的技術的兩個或更多個多用途計算設備的協調系統，專用於執行本文所述技術的單個計算設備或計算設備的協調系統(同位或地理分佈)，用於執行本文所述技術的一個或多個現場可程式設計閘陣列(Field-Programmable Gate Array，簡稱FPGA)，或任何其他合適的系統。

計算設備可包括至少一個處理器，網路介面卡和電腦可讀存儲介質。計算設備可以是例如臺式或膝上型個人電腦，個人數位助理(Personal digital assistant，簡稱PDA)，智慧行動電話，伺服器或任何其他合適的計算設備。網路適配器可以是任何合適的硬體和/或軟體，以使計算設備能夠藉由任何合適的計算網路與任何其他合適的計算設備進行有線和/或無線通訊。計算網路可包括無線接入點，交換機，路由器，閘道和/或其他網路設備以及用於在兩個或更多個電腦(包括網際網路)之間交換資料的任何合適的有線和/或無線通訊介質或介質。電腦可讀介質可以適於存儲要處理的資料和/或要由處理器執行的指令。處理器能夠處理資料和執行指令。資料和指令可以存儲在電腦可讀存儲介質上。

計算設備可另外具有一個或多個組件和周邊設備，包括輸入和輸出設備。除其他用途之外，該些設備可用於呈現用戶介面。可用於提供用戶介面的輸出設備的示例包括用於輸出視覺呈現的印表機或顯示幕，和用於輸出的有聲呈現的揚聲器或其他聲音生成設備。可用作用戶介面的輸入裝置的示例包括鍵盤和指示設備，諸如滑鼠，觸控板和數位化平板電腦。作為另一示例，計算設備可藉由語音辨識或其他有聲格式接收輸入資訊。

以電路和/或電腦可執行指令實現該些技術的實施例已被描述。應當理解，一些實施例可以是方法的形式，其中已經提供了至少一個示例。作為方法的一部分執行的動作可以以任何合適的方式排序。因此，這樣的實施例可被構造，其中以不同於所示的順序執行動作，其可包括同時執行一些動作，即使在示例性實施例中示出為順序動作。

上述實施例的各個方面可單獨使用，組合使用，或者在前面描述的實施例中沒有具體討論的各種佈置中使用，因此不限於其應用於前面的描述或附圖中示出的上述實施例中闡述的組件的細節和佈置。例如，一個實施例中描述的各方面可以以任何方式與其他實施例中描述的各方面組合。

在申請專利範圍中使用諸如“第一”，“第二”，“第三”等的序數術語來修改申請專利範圍的元素本身並不意味著任何優先權，優先順序，或一個申請專利範圍元素的順序優先於另一個，或執行方法的行為的時間順序，但僅用作標籤以區分具有具體名稱的一個申請專利範圍元素與具有相同名稱的另一個元素(但是用於使用序數術語)，進而區分申請專利範圍的元素。

此外，這裡使用的措辭和術語是出於描述的目的，而不應被視為限制。本文中“包括”，“包含”，“具有”，“含有”，“涉及”及其變化形式的使用旨在涵蓋其後列出的項目及其等同物以及附加項目。

本文使用的“示例性”一詞意味著用作示例，實例或說明。因此，在此描述為示例性的任何實施例，實現，過程，特徵等應當被理解為說明性示例，並且除非另有指示，否則不應被理解為優選或有利示例。

至少一個實施例的若干方面已被如此描述，應當理解，本領域習知技術者將容易想到各種改變，修改和改進。該些改變，修改和改進旨在成為本公開的一部分，並且旨在落入本文描述的原理的精神和範圍內。因此，前面的描述和附圖僅是示例性的。