TWI735038B

TWI735038B - 將軌道推導用於基於網路的媒體處理的方法和裝置

Info

Publication number: TWI735038B
Application number: TW108132961A
Authority: TW
Inventors: 新王; 魯林陳
Original assignee: 新加坡商聯發科技（新加坡）私人有限公司
Priority date: 2018-09-14
Filing date: 2019-09-12
Publication date: 2021-08-01
Also published as: US20200092530A1; TW202021367A; US11509878B2

Abstract

本文描述的技術涉及被配置成執行媒體處理的方法、裝置和電腦可讀介質。媒體處理實體包括與記憶體進行通信的至少一個處理器，其中，該記憶體儲存電腦可讀指令，所述電腦可讀指令在由至少一個處理器執行時，使所述至少一個處理器執行：從遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，該分層軌道結構至少包括：該分層軌道結構的第一層級處的第一軌道，該第一軌道包括第一多媒體資料；以及與分層軌道結構中的第二層級處的第二軌道相關聯的元資料，該第二層級與第一軌道的第一層級不同。所述指令還使處理器基於與第二軌道相關聯的元資料來執行對第一軌道的第一多媒體資料的處理，以生成第二軌道的第二多媒體資料。

Description

將軌道推導用於基於網路的媒體處理的方法和裝置

本文描述的技術通常涉及將軌道推導(track derivation)用於基於網路的媒體處理，並且具體涉及使用軌道推導值來指定要由媒體處理實體執行的功能。

存在各種類型的3D內容和多向內容。例如，全向視訊是使用一組相機拍攝的一種視訊，這與傳統的單向視訊所採用的僅單個相機相反。例如，可以將相機放置在特定中心點的周圍，以使得各個相機在場景的球面覆蓋範圍上拍攝一部分視訊，以拍攝360度視訊。來自多個相機的視訊可以被縫合、可能旋轉和投影，以生成表示球面內容的投影二維圖片。例如，可以使用等矩形投影(equal rectangular projection)來將球面映射放入二維圖像中。然後，可以例如使用二維編碼和壓縮技術對其進行進一步處理。最終，使用期望的傳送機制(例如，拇指驅動器、數位視訊盤(DVD)、檔下載、數位廣播和/或線上流傳輸)來儲存和傳送已編碼的且已壓縮的內容。這種視訊可以用於虛擬實境(VR)和/或3D視訊。

在用戶端側，當用戶端處理內容時，視訊解碼器對已編碼的且已壓縮的視訊進行解碼並且執行反向投影以將內容放回球面上。然後，使用者可以諸如使用頭戴式觀看設備來觀看渲染內容。經常根據使用者的視埠(viewport)來渲染內容，該視埠表示使用者查看內容的角度。視埠還可以包括代表觀看區域的部件，該部件可以描述觀看者正在以特定角度觀看的區域的大小和形狀。

當未以視埠相關的方式進行視訊處理時，使得視訊轉碼器和/或解碼器不知道使用者實際將觀看的內容，則整個編碼、傳送和解碼處理將處理整個球面內容。例如，由於所有球面內容被編碼、傳送和解碼，所以這可以允許用戶在任何特定的視埠和/或區域觀看內容。

然而，對所有球面內容進行的處理可能是計算密集的，並且可能消耗大量頻寬。例如，對於線上流傳輸應用而言，對所有球面內容進行的處理可能會給網路頻寬帶來比所必須的更大的負擔。因此，當頻寬資源和/或計算資源受到限制時，可能難以維持用戶的體驗。一些技術僅對使用者正在觀看的內容進行處理。例如，如果使用者正在觀看頂部區域(例如，北極點)，則無需傳送內容的底部部分(例如，南極點)。如果用戶更改了視埠，則可以針對新的視埠相應地傳送內容。作為另一示例，對於無視點電視(FTV)應用(例如，使用多個相機拍攝一個場景的視訊)而言，可以根據使用者觀看場景的角度來傳送內容。例如，如果用戶正在從一個視埠(例如，相機和/或相鄰相機)觀看內容，則可能不需要為其它視埠傳送內容。

根據所公開的主題，提供了將軌道推導值用於基於網路的媒體處理的裝置、系統和方法。

一些實施方式涉及由媒體處理實體實施的媒體處理方法。所述媒體處理實體包括與記憶體進行通信的至少一個處理器，其中，所述記憶體儲存電腦可讀指令，所述電腦可讀指令在由所述至少一個處理器執行時，使所述至少一個處理器執行：從遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同。所述指令還使所述至少一個處理器基於與所述第二軌道相關聯的所述元資料來執行對所述第一軌道的所述第一多媒體資料進行的處理，以生成所述第二軌道的第二多媒體資料。

在一些示例中，從所述遠端計算設備接收所述多視圖多媒體資料包括從第二遠端媒體處理實體接收所述多視圖多媒體資料。

在一些示例中，所述方法還包括：將包括所生成的第二多媒體資料的所述第二軌道發送給第二計算設備，其中，所述第二計算設備包括第二媒體處理實體、與所述第一計算設備不同的第二遠端計算設備或二者。所述方法可以包括：將與所述分層軌道結構中的第三層級處的第三軌道相關聯的元資料發送給所述第二媒體處理實體，所述第三層級與所述第一軌道的所述第一層級以及所述第二軌道的所述第二層級不同。

在一些示例中，所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之上，並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行解碼，以生成所述第二軌道的所述第二多媒體資料。接收與所述第二軌道相關聯的所述元資料可以包括接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：縫合操作，其用於縫合所述第一軌道的所述第一多媒體資料的圖像，並將所縫合的圖像投影到投影面上，從而生成所述第二多媒體資料；反向投影操作，其用於將所述第一多媒體資料的圖像投影到三維球面上，從而生成所述第二多媒體資料；反向封裝操作，其用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；反向子圖片操作，其用於根據多個軌道構成所述第二多媒體資料，所述多個軌道包括所述第一軌道以及一個或更多個附加軌道；選擇一個操作，其用於根據所述第一多媒體資料構造樣本圖像，從而生成所述第二多媒體資料；轉碼操作，其用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，其用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，其用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。

在一些示例中，所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之下，並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行編碼，以生成所述第二軌道的所述第二多媒體資料。接收與所述第二軌道相關聯的所述元資料包括接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：投影操作，其用於將所述第一多媒體資料的圖像投影到二維平面上，從而生成所述第二多媒體資料；封裝操作，其用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；子圖片操作，其用於構成針對多個軌道的多個不同多媒體資料，所述多個軌道包括所述第二軌道以及一個或更多個附加軌道；視埠操作，其用於根據所述第一多媒體資料的球面樣本圖像構造視埠樣本圖像，從而生成所述第二多媒體資料；轉碼操作，其用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，其用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，其用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。

在一些示例中，所述元資料指定多個輸出軌道，並且指定如何生成所述多個輸出軌道中的各個輸出軌道。

在一些示例中，與所述第二軌道相關聯的所述元資料包括資料結構，所述資料結構指定要對所述第一多媒體資料執行以生成所述第二多媒體資料的變換屬性，所述資料結構包括輸入的數量、輸出的數量以及所述變換屬性。所述第二軌道可以包括所述資料結構。

一些實施方式涉及一種被配置成處理視訊資料的裝置。所述裝置包括與記憶體進行通信的處理器，所述處理器被配置成執行儲存在所述記憶體中的指令，所述指令使所述處理器從遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同。所述指令還使所述處理器基於與所述第二軌道相關聯的所述元資料來處理所述第一軌道的所述第一多媒體資料，以生成所述第二軌道的第二多媒體資料。

在一些示例中，所述指令還使所述處理器將(a)包括所生成的第二多媒體資料的所述第二軌道以及(b)與所述分層軌道結構中的第三層級處的第三軌道相關聯的元資料發送給第二遠端計算設備，所述第三層級與所述第一軌道的所述第一層級以及所述第二軌道的所述第二層級不同，其中，所述第二計算設備包括第二媒體處理實體、與所述第一計算設備不同的第二遠端計算設備或二者。

在一些示例中，所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之下，並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行編碼，以生成所述第二軌道的所述第二多媒體資料。接收與所述第二軌道相關聯的所述元資料可以包括接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：投影操作，其用於將所述第一多媒體資料的圖像投影到二維平面上，從而生成所述第二多媒體資料；封裝操作，其用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；子圖片操作，其用於構成針對多個軌道的多個不同多媒體資料，所述多個軌道包括所述第二軌道以及一個或更多個附加軌道；視埠操作，其用於根據所述第一多媒體資料的球面樣本圖像構造視埠樣本圖像，從而生成所述第二多媒體資料；轉碼操作，其用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，其用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，其用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。

在一些示例中，與所述第二軌道相關聯的所述元資料包括資料結構，所述資料結構指定要對所述第一多媒體資料執行以生成所述第二多媒體資料的變換屬性，所述資料結構包括輸入的數量、輸出的數量以及所述變換屬性。

一些實施方式涉及至少一個電腦可讀儲存介質，所述電腦可讀儲存介質儲存有處理器可執行指令，所述處理器可執行指令在由至少一個處理器執行時，使所述至少一個處理器執行從遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同。所述指令還使所述至少一個處理器基於與所述第二軌道相關聯的所述元資料來處理所述第一軌道的所述第一多媒體資料，以生成所述第二軌道的第二多媒體資料。

因此，已經相當廣泛地概述了所公開的主題的特徵，以便可以更好地理解其隨後的詳細描述，並且可以更好地理解對本領域的當前貢獻。當然，存在所公開的主題的將在下文中描述的附加特徵，並且這些附加特徵將構成所附權利要求的主題。應當理解，本文採用的措詞和術語是出於描述的目的，並且不應被認為是限制性的。

100:視訊編解碼配置

102A-102N:相機

104:編碼設備

106:視訊處理器

108:編碼器

110:解碼設備

112:解碼器

114:渲染器

116:顯示器

200:處理

201:球面視埠

202:縫合、投影、映射

204:編碼

206:傳送

208:解碼

210:構造

212:渲染

214:交互

300:軌道分層結構

302:頂部軌道

304:元資料軌道

306:2D投影軌道

308:2D大圖片軌道

310A-310R:區域軌道

310:子圖片軌道

312A-312K、314A-314K:變型軌道

312:變型區域軌道

400、500:編碼和解碼架構

402、502:獲取部件

404、504:圖像縫合、投影和映射部件

406、506:音訊編碼部件

408、508:視訊編碼部件

410、510:圖像編碼部件

412、512:文檔/片段封裝部件

414、514:傳送部件

416、516:文檔/片段解封裝部件

418、518:音訊解碼部件

420、520:視訊解碼部件

422、522:圖像解碼部件

424、524:音訊渲染部件

426:圖像渲染部件

432、532:音訊輸出設備

430、530:顯示器

428、528:頭部/眼睛追蹤部件

526:圖像合成和渲染部件

600、650:媒體處理框架

602、652:媒體源

604、610、654:媒體處理實體(MPE)

606:控制功能

608:處理功能

612、656:媒體接收器

658:NBMP工作流管理器

660:功能儲存庫

700-712、800-804、850-852、900-904、1000-1006、1100-1108、1200-1202、1300-1304、1400-1408、1500-1502、1600-1608、1700-1704、1800-1806、1900:語法

2000:工作流

2002、2004:源

2006:功能一

2008:功能二

2010:功能三

2012:接收器

2100:方法

2102-2110:步驟

在附圖中，在各種附圖中例示的各個相同或幾乎相同的部件由相似的附圖標記表示。為了清楚起見，並非每個部件都在每個附圖中進行了標記。附圖不一定按比例繪製，而是著重于例示本文描述的技術和設備的各個方面。

第1圖示出了根據一些實施方式的示例性的視訊編解碼配置。

第2圖示出了根據一些實施例的用於虛擬實境(VR)內容的視埠相關內容流處理。

第3圖示出了根據一些實施方式的示例性的軌道分層結構。

第4圖是根據一些示例的編碼和解碼架構的示意圖。

第5圖示出了根據一些示例的編碼和解碼架構的示意圖。

第6A圖示出了根據一些實施方式的媒體處理框架的示例。

第6B圖示出了根據一些示例的媒體處理框架的另一示例。

第7圖示出了根據一些示例的針對縫合變換屬性的示例性語法。

第8A圖是根據一些實施方式的針對投影變換屬性的第一示例性語法。

第8B圖是根據一些實施方式的針對投影變換屬性的第二示例性語法。

第9圖示出了根據一些實施方式的針對封裝變換屬性的示例性語法。

第10圖示出了根據一些實施方式的針對子圖片變換屬性的示例性語法。

第11圖示出了根據一些實施方式的針對轉碼變換屬性的示例性語法。

第12圖示出了根據一些實施方式的針對縮放變換屬性的示例性語法。

第13圖示出了根據一些實施方式的針對改變大小變換屬性的示例性語法。

第14圖示出了根據一些實施方式的用於輸出一組軌道的示例性語法。

第15圖示出了根據一些實施方式的用於輸出一組軌道的另一示例性語法。

第16圖示出了根據一些實施方式的用於轉碼的示例性語法，該轉碼可以導致轉碼軌道的替代組。

第17圖示出了根據一些實施方式的針對用於創建子圖片視覺軌道的子圖片軌道組的子圖片變換屬性的示例性語法。

第18圖示出了根據一些實施方式的示例性XML格式模式。

第19圖是根據一些實施方式的示例XML要素，該示例XML要素對輸出五軌道的軌道組的轉碼任務進行採集。

第20圖示出了根據一些實施方式的一組媒體處理功能的示例性工作流。

第21圖是根據本文描述的技術的針對媒體處理實體執行媒體處理的示例性電腦化處理的流程圖。

本文描述了可以用於基於網路的媒體處理的各種技術。發明人已經發現並意識到，期望使用基於網路的資源來執行媒體處理功能，諸如通過使用基於雲的資源。然而，現有框架處於發展初期。雖然已經提出了包括用於執行基於網路的媒體處理的媒體處理實體(MPE)的通用框架，但是當前的設計集中在使用多媒體資料的傳統一般圖像檔案格式(例如，MPEG-2傳輸流)並且指定使用基於索引的查找方法的處理功能。發明人已經發現並意識到了使用分層軌道結構(包括使用軌道推導技術)的優點。然而，當前基於網路的框架不支援分層軌道結構。

本文描述的技術提供了在基於網路的處理架構中使用分層軌道結構。具體地，所述技術提供了使用軌道推導技術來向媒體處理實體提供指令。在一些示例中，MPE接收輸入軌道和相關聯的推導軌道，所述推導軌道指定要對輸入軌道執行的用以生成一個或更多個輸出軌道(例如，單個輸出軌道、多個輸出軌道的軌道組等的樣本)的變換屬性。因此，所述技術利用推導軌道來指定用於基於網路的媒體處理的處理功能。在一些實施方式中，所述技術可以包括使用格式模式來使架構中的部件之間(例如，包括媒體源與MPE之間以及MPE之間)的介面標準化，諸如通過使用XML模式來呈現可以用於表達變換屬性的統一技術。

在以下描述中，闡述了與所公開的主題的系統和方法以及這種系統和方法可以在其中進行操作的環境等有關的許多具體細節，以便提供對所公開的主題的透徹理解。另外，將理解，下面提供的示例是示例性的，並且可以想到，存在所公開的主題的範圍內的其它系統和方法。

第1圖示出了根據一些實施方式的示例性的視訊編解碼配置100。相機102A-102N是N個相機，並且可以是任何類型的相機(例如，包括音訊記錄能力的相機，和/或單獨的相機和音訊記錄功能)。編碼設備104包括視訊處理器106和編碼器108。視訊處理器106對從相機102A-102N接收的視訊進行處理(諸如，縫合、投影和/或映射)。編碼器108對二維視訊資料進行編碼和/或壓縮。解碼設備110接收編碼資料。解碼設備110可以通過廣播網路、通過移動網路(例如，蜂窩網路)和/或通過互聯網接收作為視訊產品(例如，數位視訊盤或其它電腦可讀介質)的視訊。例如，解碼設備110可以是電腦、手持設備、頭戴式顯示器的一部分或具有解碼能力的任何其它裝置。解碼設備110包括解碼器112，該解碼器被配置成對編碼視訊進行解碼。解碼設備110還包括用於將二維內容渲染回用於重播的格式的渲染器114。顯示器116顯示來自渲染器114的渲染內容。

通常，可以使用球面內容來表示3D內容，以提供一個場景的360度視圖(例如，有時稱為全向媒體內容)。儘管可以使用3D球面來支援許多視圖，但端用戶通常只觀看3D球面上的一部分內容。發送整個3D球面所需的頻寬可能給網路造成沉重的負擔，並且可能不足以支援球面內容。因此，期望使3D內容傳送更加有效。可以執行視埠相關處理以改善3D內容傳送。可以將3D球面內容劃分成區域/圖塊/子圖片，並且只有那些與觀看螢幕(例如，視埠)相關的區域/圖塊/子圖片可以被發送並傳送給端用戶。

第2圖示出了根據一些示例的用於VR內容的視埠相關內容流處理200。如圖所示，球面視埠201(例如，其可以包括整個球面)在框202處經受縫合、投影、映射(以生成已投影且已映射區域)，在框204處被編碼(以生成多種品質的編碼/轉碼圖塊)，在框206處被傳送(作為圖塊)，在框208處被解碼(以生成解碼圖塊)，在框210處被構造(以構造球面渲染視埠)，並在框212處被渲染。框214處的用戶交互可以選擇一個視埠，如經由虛線箭頭所示，這啟動了多個“即時(just-in-time)”處理步驟。

在處理200中，由於當前網路頻寬限制和各種適應性要求(例如，關於不同的品質、轉碼器和保護方案)，3D球面VR內容首先被處理(縫合、投影和映射)到2D平面上(通過框202)，然後被封裝在多個基於圖塊(或基於子圖片)且分段的文檔中(在框204處)，以進行傳送和重播。在這種基於圖塊且分段的文檔中，通常將2D平面中的空間圖塊(例如，所述空間圖塊代表空間部分、通常為2D平面內容的矩形形狀)(諸如，按不同的品質和位元速率，或按不同的轉碼器和保護方案(例如，不同的加密演算法和模式))封裝為其變型的集合。在一些示例中，這些變型與MPEG DASH中的適應集內的表示相對應。在一些示例中，基於用戶對視埠的選擇，放在一起時提供了所選視埠的覆蓋範圍的不同圖塊的這些變型中的一些變型由接收器恢復或被傳送給接收器(通過傳送框206)，然後被解碼(在框208處)以構造和渲染期望的視埠(在框210和212處)。

如第2圖所示，視埠概念是終端用戶所觀看的，該視埠概念涉及球面上的區域的角度和大小。通常，對於360度內容而言，所述技術將所需的圖塊/子圖片內容傳送給用戶端，以覆蓋用戶所將要觀看的。該處理是視埠相關的，因為所述技術僅傳送覆蓋當前感興趣的視埠的內容，而不是整個球面內容。視埠(例如，一種球面區域)可以改變，因此不是靜態的。例如，當使用者移動其頭部時，系統則需要提取相鄰的圖塊(或子圖片)以覆蓋使用者接下來想要觀看的內容。

例如，內容的平面文檔結構可以用於單個電影的視訊軌道。對於VR內容而言，內容多於接收設備發送和/或顯示的內容。例如，如本文所討論的，可以存在整個3D球面的內容，其中使用者僅觀看一小部分。為了更有效地對這些內容進行編碼、儲存、處理和/或傳送，可以將內容劃分成不同的軌道。第3圖示出了根據一些實施方式的示例性的軌道分層結構300。頂部軌道302是3DVR球面內容軌道，並且在頂部軌道302下方是相關聯的元資料軌道304(各個軌道具有相關聯的元資料)。軌道306是2D投影軌道。軌道308是2D大圖片軌道。區域軌道被示為軌道310A至310R，通常被稱為子圖片軌道310。各個區域軌道310具有相關聯的變型軌道的集合。區域軌道310A包括變型軌道312A至312K。區域軌道310R包括變型軌道314A至314K。因此，如軌道分層結構300所示，可以開發從物理多個變型區域軌道312開始的結構，並且可以利用與區域軌道310(子圖片或圖塊軌道)、投影的且封裝的2D軌道308、投影的2D軌道306和VR 3D視訊軌道302相關聯的適當元資料軌道來為這些軌道建立軌道分層。

在操作中，變型軌道包括實際的圖片資料。設備在替換的變型軌道中進行選擇，以選取代表子圖片區域(或子圖片軌道)310的變型軌道。子圖片軌道310被平鋪並一起構成2D大圖片軌道308。最終，軌道308被反向映射，例如，以重新排列某些部分從而生成軌道306。然後，軌道306被反向投影回到作為原始3D圖片的3D軌道302。

例如，示例性軌道分層結構可以包括在以下內容中描述的方面：m39971，“Deriving Composite Tracks in ISOBMFF”，2017年1月(Geneva，CH)；m40384，“Deriving Composite Tracks in ISOBMFF using track grouping mechanisms”，2017年4月(Hobart，AU)；m40385，“Deriving VR Projection and Mapping related Tracks in ISOBMFF”；m40412，“Deriving VR ROI and Viewport related Tracks in ISOBMFF”，MPEG第118次會議，2017年4月，其全部內容通過引用合併於此。在第3圖中，出於例示性目的並且不旨在進行限制，rProjection、rPacking、compose以及alternate分別表示軌道推導變換屬性項反向‘proj’、反向‘pack’、‘cmpa’以及‘cmp1’。元資料軌道中示出的元資料類似地出於例示性目的並且不旨在進行限制。例如，可以按照w17235，“Text of ISO/IEC FDIS 23090-2 Omnidirectional Media Format”，第120次MPEG會議，2017年10月(澳門，中國)(其全部內容通過引用合併於此)中所描述的，使用來自OMAF的元資料盒。

第3圖所示的軌道數量旨在例示而非限制。例如，在如第3圖所示的分層中不一定需要一些中間推導軌道的情況下，相關的推導步驟可以組合一個步驟(例如，在反向封裝和反向投影組合在一起以消除投影軌道306的存在的情況下)。

第4圖是根據一些示例的編碼和解碼架構400的示意圖。架構 400可以解決在VR360視聽媒體中提供多達三個自由度導航(navigation)的應用。架構400可以是MPEG-I架構，諸如，該MPEG-I架構由N17563，“Revised text of ISO/IEC FDIS 23090-2 Omnidirectional Media Format”，2018年4月，San Diego，US(其全部內容通過引用合併於此)中描述的第一版MPEG-I第2部分(OMAF)提出的MPEG-I架構。如圖所示，架構400包括獲取部件402，該獲取部件獲取與圖像縫合、投影和映射部件404以及音訊編碼部件406進行通信的多媒體資料。圖像縫合、投影和映射部件404與視訊編碼部件408和圖像編碼部件410進行通信。音訊編碼部件406、視訊編碼部件408和圖像編碼部件410與文檔/片段封裝部件412進行通信，該文檔/片段封裝部件412也可以從圖像縫合、投影和映射部件404接收元資料。可以將部件404-412視為架構400的編碼部件。

文檔/片段封裝部件412與傳送部件414進行通信，這二者均與文檔/片段解封裝部件416進行通信。文檔/片段解封裝部件416與音訊解碼部件418、視訊解碼部件420和圖像解碼部件422進行通信。音訊解碼部件418與音訊渲染部件424進行通信，該音訊渲染部件與諸如揚聲器或耳機的音訊輸出設備432進行通信。視訊解碼單元420和圖像解碼單元422與圖像渲染部件426進行通信，該圖像渲染部件與顯示器430進行通信。如圖所示，頭部/眼睛追蹤部件428可以用於向傳送部件414、文檔/片段解封裝部件416、視訊解碼部件420、圖像解碼部件422、圖像渲染部件426、音訊解碼部件418和音訊渲染部件424提供取向/視埠元資料。文檔/片段解封裝部件可以向圖像渲染部件426提供元資料。可以將部件416至428視為架構400的解碼部件。對於3DoF而言，頭部/眼睛追蹤部件428與用戶的頭部進行交互，以追蹤頭部的移動並提供回饋，如圖所示，從而確定要傳送的多媒體資料。

第5圖示出了根據一些示例的編碼和解碼架構500的示意圖。例如，架構500可以是MPEG-I的另一示例性架構，該另一示例性架構(例如，與架構400相比)被設計成不僅支持具有3個自由度的導航，而且還支援用戶橫向地移動其頭部的有限空間。例如，在N17888，“MPEG-I Architecture”，2018年7月，Ljubljana，SK(其全部內容通過引用合併於此)中，對與第4圖至第5圖所示的架構類似的MPEG-I架構進行了描述。

架構500包括獲取多媒體資料的獲取部件502，該獲取部件與圖像縫合、投影和映射部件504以及音訊編碼部件506進行通信。圖像縫合、投影和映射部件504與視訊編碼部件508和圖像編碼部件510進行通信。音訊編碼部件506、視訊編碼部件508和圖像編碼部件510與文檔/片段封裝部件512進行通信，該文檔/片段封裝部件也可以從圖像縫合、投影和映射部件504接收元資料(包括深度資訊)。部件504至512可以被視為架構500的編碼部件。

文檔/片段封裝部件512與傳送部件514進行通信，這二者均與文檔/片段解封裝部件516進行通信。文檔/片段解封裝部件516與音訊解碼部件518、視訊解碼部件520和圖像解碼部件522進行通信。音訊解碼部件518與音訊渲染部件524進行通信，該音訊渲染部件與諸如揚聲器或耳機的音訊輸出設備532進行通信。視訊解碼單元520和圖像解碼單元522與圖像合成和渲染部件526進行通信，該圖像合成和渲染部件與顯示器530進行通信。如圖所示，頭部/眼睛追蹤部件528可以用於向傳送部件514、文檔/片段解封裝部件516、視訊解碼部件520、圖像解碼部件522、圖像合成和渲染部件526、音訊解碼部件518和音訊渲染部件524提供取向/視埠元資料。文件/片段解封裝部件516可以向圖像合成和渲染部件526提供元資料(包括深度資訊)。可以將部件516至528視為架構500的解碼部件。

與架構400相比，部件504、508、510、520和522可以相應地對超過一個的圖像或視訊進行處置。另外，從圖像縫合、投影和映射部件504 以及從文檔/片段解封裝部件516提供的元資料可以包括深度資訊。此外，與第4圖中的圖像渲染部件426相比，圖像合成和渲染部件526包括合成。本質上，對於3DoF+而言，可能存在更多的需要編碼的視訊或圖像，以允許使用者移動其頭部來以不同的角度和位置觀看多媒體內容。因此，架構500包括處置附加內容的方面。

可以使用各種框架來實現以上架構中描述的處理功能(例如，MPEG-I處理功能)。在一些實施方式中，框架可以用於使用諸如基於雲的資源的網路資源來執行基於網路的媒體處理。例如，媒體處理中的一些或全部處理可以在雲中執行(例如，在傳送到端設備之前)。如本文進一步描述的，一個或更多個基於雲的媒體處理實體可以用於提供基於網路的多媒體處理功能。例如，一個實體可以執行投影，另一實體可以執行映射，第三實體執行縫合等。因此，可以創建實體池以實現期望的功能。

第6A圖示出了媒體處理框架600的示例，該媒體處理框架可以用於使用基於網路的資源(例如，雲資源)來實現處理功能中的一些功能。在N17502，“Use cases and requirements for NBMP(v4)”，2018年4月，San Diego，US(其全部內容通過引用合併於此)中，通過基於網路的媒體處理(NBMP)活動提出了這樣的媒體處理框架的示例。媒體處理框架600包括媒體源602，諸如，相機、個人電腦、儲存部和/或即時編碼器。媒體源602使用NBMP格式向媒體處理實體(MPE)604提供內容。如第6A圖所示，可以使用多個MPE；在該示例中，MPE 604使用NBMP格式與第二MPE 610進行通信。各個MPE可以包括控制功能和/或處理功能，如針對MPE 604所示，該MPE 604包括控制功能606和處理功能608。MPE 604將多媒體資料傳達到諸如媒體播放機的媒體接收器(media sink)612。多媒體資料可以採用出版格式，諸如，通用媒體應用格式(CMAF)、HTTP動態自我調整流(DASH)、多媒體處理單元(MPU)、 HTTP即時流傳輸(HLS)、MPEG-2傳輸流(TS)等。

第6B圖示出了根據一些示例的媒體處理框架650的另一示例。類似於第6A圖，框架650包括媒體源652(其是NBMP源)，一個或更多個MPE 654(其被配置成執行一個或更多個任務，在該實施例中被示為任務1和任務2)的集合以及媒體接收器656。框架650還包括與MPE 654(例如，在該實施例中為任務1)和可選的功能儲存庫660進行通信的NBMP工作流管理器658。

當現有媒體源被儲存或封裝在ISOBMFF的媒體軌道中時(例如，如ISO/IEC 14496-12：2015“Information technology-Coding of audio-visual objects-Part 12：ISO Base Media File Format”(其全部內容通過引用合併於此)中所描述的)，視覺軌道可以被構造成通過其包含的類型為“dtrk”的樣本條目標識的推導軌道(例如，其中推導軌道是具有多個輸入軌道的軌道)。推導樣本可以包含要對輸入圖像或樣本的有序列表執行的操作的有序列表。操作中的各個操作都可以通過變換屬性(在本文中也被稱為TransformProperty)來指定或指示。因此，推導軌道可以包含TransformProperty項的形式的與如何根據其輸入軌道的內容資料生成/產生其內容資料(例如，樣本)有關的指令。因為推導軌道也是軌道，所以可以將推導軌道與非推導軌道結合使用，以推導其它推導軌道並形成軌道推導的分層並構建軌道推導的工作流。TransformProperty的示例包括：(1)‘idtt’：同一性，(2)‘clap’：清潔光圈(clean aperture)，(3)‘srot’：旋轉，(4)‘dslv’：漸隱，(5)‘2dcc’：ROI裁剪，(6)‘tocp’：軌道疊加合成，(7)‘tgcp’：軌道網格合成，(8)‘tgmc’：使用矩陣值的軌道網格合成，(9)‘tgsc’：軌道網格子圖片合成，(10)‘tmcp’：變換矩陣合成，(11)‘tgcp’：軌道分組合成，以及(12)‘tmcp’：使用矩陣值的軌道分組合成。

在諸如VR、FTV和NBMP的許多應用中，可能期望作為根據 ISOBMFF中的現有軌道的媒體處理的結果用信號通知並推導軌道。此外，可能期望使用基於網路的媒體處理來構造推導軌道並執行推導軌道處理。例如，對於視埠處理而言，接收設備(例如，移動設備)可能無法考慮各種處理考慮因素(諸如，網路資源約束、頻寬、功耗等)。由於移動設備不能考慮這樣的考慮因素，這可能使得在移動設備內渲染視埠變得越來越困難，因此期望將視埠渲染的各個方面轉移到基於網路/基於雲的資源中。然而，當前的基於網路的媒體處理框架基於一般圖像檔案格式，因此不支援分層軌道結構(或執行軌道推導操作，諸如以支援VR視埠相關的內容流處理)。例如，MPE的典型輸入是平面ISO檔案格式、MPEG-2傳輸流等。此外，MPE處理的當前配置是為特定的MPE功能提供識別字，並且MPE在儲存庫或資料庫中查找該識別字，以確定特定功能的語義。因此，MPE的當前輸入不提供要由MPE執行的功能的任何實際規範。

本文描述的技術提供了將軌道分層結構與基於網路的媒體處理框架一起使用。在一些示例中，各個基於網路的MPE可以執行一個或更多個軌道推導操作，使得處理功能中的各個處理功能可以被實現為軌道推導。例如，參照第6A圖，各個MPE的輸入可以是(1)一個或更多個輸入軌道和(2)推導軌道，其中各個推導軌道可以具有任何數量的輸入軌道。推導軌道指定一個或更多個變換屬性，以使得將MPE配置成使用輸入軌道來構造推導軌道的樣本。在一些實施方式中，推導軌道可以是特定MPE的處理的輸出。因此，MPE的集合可以通過針對各個步驟使用各種輸入軌道和相關聯的推導軌道提供軌道推導的處理功能描述來實現整個編碼和/或解碼架構。因此，所述技術可以使用軌道推導作為提供用於實現要由特定MPE執行的多媒體處理的指令的方式。

本文所描述的技術還提供了用於上文在3DoF和3DoF+架構中討論的媒體處理操作的軌道推導值的新變換屬性項的說明性示例。儘管本文結合這些示例提供了某些示例性語法，但是應當理解，包括示例性功能名稱、參數、相關聯的功能等的這種配置僅用作示例並且不旨在進行限制。如本文進一步描述的，示例性變換屬性可以包括：‘stch’：(例如，全向視訊)縫合；‘proj’：(例如，全向視訊)投影；‘pack’：(全向視訊)封裝；‘subp’：(例如，全向視訊)子圖片；‘trsc’：轉碼(例如，以期望的位元速率)；‘vpot’：(例如，全向視訊)視埠(例如，用於預渲染)；‘sell’：選擇一個；‘scal’：縮放；和/或‘srez’：改變大小。作為附加示例，可以提供加密和解密(例如，反向加密)，諸如通過使用定時元資料軌道(例如，類似於使用視埠操作)或不使用定時元資料軌道(例如，類似於使用投影和封裝操作)，諸如根據N14849，“ISO/IEC 23001-7 3nd Edition-Common encryption in ISO base media file format files”2014年10月，Strasbourg,Fr.(其全部內容通過引用合併於此)中所描述的通用加密。還可以類似地提供其它操作，諸如NBMP中識別的超解析度和基於QoE的提高(upscaling)。

所述技術還提供了用於推導作為軌道推導操作的輸出的軌道集合或軌道組的機制。這種機制在以下舉例中很有用：例如，多個推導軌道需要被分組在一起以指示它們的關係，諸如以不同的位元速率轉碼以進行自我調整流傳輸(例如，如在DASH中所做的，諸如N17813，“Revised text of ISO/IEC FDIS 23009-1 3rd edition”，2018年7月，Ljubljana，SK(其全部內容通過引用合併於此)中所描述的)或視埠相關的沉浸式媒體處理的子圖片軌道生成(例如，如在OMAF中所做的)。出於說明性目的，這種軌道組推導機制通過旨在說明且非限制性的兩個示例變換屬性進行說明：‘subp’(例如，全向視訊)：子圖片和‘trsc’：轉碼(例如，以期望的位元速率)。

在一些實施方式中，可以提供縫合變換屬性(諸如，縫合‘stch’變換屬性)，該縫合變換屬性對於各個樣本而言可以是可選的並且可以指定為任何量。縫合變換屬性可以為輸入軌道的圖像的縫合處理提供資訊，並將該圖像投影到投影面上以形成縫合的視覺軌道(例如，根據已知的各種混合參數，諸如用於在https：//en.wikipedia.org/wiki/Image_stitching(全部內容通過引用合併於此)中進行了描述的圖像縫合的那些混合參數)。在一些實施方式中，當存在縫合‘stch’變換屬性時，該縫合‘stch’變換屬性可以包括大於1的num_inputs，並且用於相應縫合操作的輸入實體可以是視覺軌道。當輸入實體是視覺項時，可以將其視為包含相同視覺項的樣本的視覺軌道。

在一些實施方式中，縫合變換屬性可以指定輸入實體中的各個輸入實體的寬度和高度、通過對輸入實體的相應樣本進行縫合而得到的推導樣本的投影面類型以及用於對輸入樣本的疊加區域進行混合的可選混合模式。可以省略寬度和高度參數，諸如假設它們的值被攜帶在輸入實體中。在一些示例中，可以將該變換屬性拆分成多個變換屬性，所述多個變換屬性中的各個變換屬性與特定的投影面類型相對應，這可以消除投影面類型的用信號的通知。例如，對於投影面類型為球面的全向視訊縫合(如在基於雲的360 VR縫合(例如，N17502的第4.1.5節)的用例中)而言，變換屬性‘ovst’(針對“全向視訊縫合”)可以以與‘stch’相同的方式來指定，但省略了投影面類型。類似地，對於投影面類型為2D平面的全景縫合(如在網路輔助VR縫合(例如，N17502的第4.1.1節)的用例中)而言，可以指定變換屬性‘pvst’(針對“全景視訊縫合”)。在一些示例中，變換屬性可以僅提供執行視訊縫合所需的參數。在這樣的示例中，諸如通過考慮例如投影面類型和混合模式，找出如何(例如，正確地、有效地和/或高效地)執行視訊縫合取決於縫合軌道推導的實現。

第7圖示出了根據一些示例的針對縫合變換屬性的示例性語法700。image_width 702和image_height 704可以分別指定圖像的以亮度樣本為單位的寬度和高度。projection_surface_type 706可以指定縫合的樣本要投影到的表面的類型(諸如，值0表示直線、1表示球面、2表示圓柱形、3表示立方體並且4-15被保留)。blending_flag 708可以指示在對輸入視覺實體的疊加區域進行縫合時是否涉及混合。alpha_blending_mode 710可以利用下面的示範性表1中的值來指定alpha混合模式。

表1出於示例性目的，因為可以在單獨的文檔中定義這種表(例如，以及具有默認參數的相關聯的演算法)(諸如，ISO/IEC 23001-8或“W3C：Composing and Blending 1.0”，W3C候選推薦，2015年1月(其全部內容通過引用合併於此))。在一些示例中，諸如各個軌道的TrackHeaderBox中的“層”的參數值的參數(該參數指定視覺軌道的從前到後的次序)可以被設置並且用作用於合成兩個軌道的相對的前層和後層指示符。在表1中，術語“源”和“目的地”分別可以是前/頂層以及後/底層或背景。

blending_mode_specific_params 712可以指定具有給定混合模式的可選參數。例如，blending_mode_specific_params 712可以用於指定其它參數，而不是使用例如在ISO/IEC 23001-8中指定的預設值的參數(諸如，alpha通道資料)。在一些實施方式中，可以以與ISOBMFF TuC N17833，“Technologies under Consideration for ISOBMFF”，2018年7月，Ljubljana，SK(其全部內容通過引用合併於此)中的方式相同的方式來指定混合相關參數。

在一些實施方式中，可以提供投影變換屬性(諸如，投影‘proj’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何數。投影‘proj’變換屬性可以為將輸入軌道的圖像投影到2D平面上的處理提供資訊，以諸如根據諸如在OMAF中給出的等矩形投影(ERP)和立方體貼圖投影(CMP)的投影格式來形成推導軌道。指示符is_reverse可以用於指示操作是(正向)投影構造還是反向投影構造。當存在投影‘proj’變換屬性時，該投影‘proj’變換屬性可以具有等於1的num_inputs，並且用於相應圖像操作的輸入實體可以是視覺軌道。

在一些實施方式中，變換屬性可以假定輸入和(推導的)輸出軌道是符合OMAF的軌道。當操作是(正向)投影構造(例如，is_reverse==0)時，輸入軌道可以是未投影圖片軌道，輸出軌道可以是已投影圖片軌道，並且投影格式封裝結構ProjectionFormatStruct()可以用信號通知(例如，在ProjectionFormatProperty內)，以指示投影圖片中的投影格式。當操作是反向投影構造(例如，is_reverse==1)時，輸入軌道可以是具有包含ProjectionFormatStruct()結構的投影格式項屬性的投影圖片軌道，輸出軌道可以是未投影圖片軌道，並且投影格式結構ProjectionFormatStruct()可以是用於指示投影圖片中的投影格式的輸入軌道。

在一些示例中，指示符的引入可能是出於語法緊湊的目的；可以分別地指定投影和反向投影的變換屬性。在一些示例中，可以放寬針對投影操作的num_inputs等於1的約束，以允許該操作單獨地應用於輸入軌道中的各個輸入軌道；即，以構造num_inputs個投影軌道或未投影軌道(例如，如結合本文中的軌道組推導進一步描述的)。在一些示例中，即使對於反向投影構造而言，也可以用信號通知ProjectionFormatStruct()，諸如出於對輸入投影圖片軌道中的相應的ProjectionFormatStruct()結構進行重寫的目的。

第8A圖和第8B圖分別是根據一些實施方式的針對投影變換屬性的示例性語法800和850。各個語法800和850包括is_reverse 802，其可以指示操作是(正向)投影(例如，當等於0時)還是反向投影(例如，當等於1時)。ProjectFormatStruct()804和projection_type 806可以具有與如OMAF中提供的語法和語義相同的語法和語義。

在一些實施方式中，可以提供封裝變換屬性(諸如，封裝‘pack’ 變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。封裝‘pack’變換屬性可以為輸入軌道的區域的變換、改變大小和重新定位的處理提供資訊，以根據諸如在OMAF中給出的區域形式(region-wise)封裝的封裝方案來形成推導軌道。指示符is_reverse可以用於指示操作是(正向)封裝構造還是反向解包構造。當存在封裝‘pack’變換屬性時，該封裝‘pack’變換屬性可以具有等於1的num_inputs，並且用於相應圖像操作的輸入實體可以是視覺軌道。

在一些示例中，該變換屬性可以假定輸入和(推導的)輸出軌道是符合OMAF的軌道。當操作是(正向)封裝構造(例如，is_reverse==0)時，輸入軌道是投影圖片軌道，輸出軌道可以是封裝圖片軌道，並且區域形式封裝結構RegionWisePackingStruct()可以用信號通知，以指示封裝圖片中的各個封裝區域的位置、形狀和大小。當操作是反向封裝(或解包)構造(例如，is_reverse==1)時，輸入軌道可以是具有包含RegionWisePackingStruct()結構的區域形式封裝項屬性的封裝圖片軌道，輸出軌道可以是投影圖片軌道，並且輸入軌道中的區域形式封裝結構RegionWisePackingStruct()可以用於指示封裝圖片中的各個封裝區域的位置、形狀和大小。

在一些示例中，指示符的引入可能是出於語法緊湊的目的；可以分別地指定封裝和反向封裝的變換屬性。在一些示例中，可以放寬針對封裝操作的num_inputs等於1的約束，以允許該操作單獨地應用於輸入軌道中的各個輸入軌道；即，以構造num_inputs個封裝軌道或解包軌道(例如，如結合本文中的軌道組推導進一步描述的)。在一些示例中，即使對於反向封裝構造而言，也可以用信號通知RegionWisePackingStruct()，諸如出於對輸入封裝圖片軌道中的相應的RegionWisePackingStruct()進行重寫的目的。

第9圖示出了根據一些實施方式的針對封裝變換屬性的示例性語法900。欄位is_reverse 902可以指示操作是(正向)封裝(例如，等於0) 還是反向封裝(例如，等於1)。在一些實施方式中，RegionWisePackingStruct()904可以具有與OMAF中提供的元資料相同的語義。

在一些示例中，考慮到操作的輸入是輸入軌道而不是輸入區域(其數量由num_inputs而不是num_regions來指定)以及不需要各個輸入軌道都具有其自己的packing_type的簡化，封裝變換屬性的結構可以與OMAF中的RegionWisePackingBox的結構類似。應當理解，如果要使用非區域形式封裝方案或其它封裝類型，則可以以類似的方式引入除本文討論的那些結構以外的其它結構。

在一些實施方式中，可以提供子圖片變換屬性(諸如，子圖片‘subp’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。子圖片‘subp’變換屬性可以根據子圖片軌道或軌道組規範(例如，諸如在OMAF中給出的用於子圖片軌道組的規範)，從輸入合成(或超圖片)軌道構造子圖片軌道，或從多個輸入子圖片軌道構成合成圖片軌道。指示符is_reverse可以用於指示操作是(正向)子圖片構造還是反向合成圖片構造。

在一些實施方式中，當存在子圖片‘subp’變換屬性時，該子圖片‘subp’變換屬性可以具有大於或等於1的num_inputs，並且用於相應圖像操作的輸入實體可以是視覺軌道。當操作是(正向)子圖片構造時，num_inputs可以等於1，輸入軌道中的各個視覺樣本圖像可以大於或等於SpatialRelationship2DSourceBox()中用信號通知的大小，並且可以根據輸入圖像的原點(origin)利用SubPictureRegionBox()中用信號通知的大小和座標，測量用於子圖片構造的圖像部分。當操作是反向合成圖片構造時，可以將輸入軌道限制為屬於同一子圖片軌道組，各個輸入軌道包含track_group_type等於‘2dcc’的子圖片軌道組盒SpatialRelationship2DDescriptionBox，但不包含屬於同一替代組的軌道中的任何兩個軌道(例如，出於從替代組中僅選擇一個軌道的目的，它們不包含具有相同的非零alternate_group值的軌道報頭盒‘tkhd’，該非零alternate_group值指示它們屬於同一替代組)。

在一些示例中，引入指示符is_reverse的目的是使變換屬性的數量最小化；應當理解，可以分別地定義子圖片和反向合成圖片構造的變換屬性。在一些示例中，即使對於合成圖片構造而言，也可以用信號通知SpatialRelationship2DSourceBox()和SubPictureRegionBox()，諸如出於對其在輸入子圖片軌道中的相應盒進行重寫的目的。在一些示例中，子圖片變換屬性可以與“感興趣區域(ROI)選擇”、“2dcc”的變換屬性不同，因為後者需要兩個輸入軌道，一個視覺的和另一個定時元資料，以提供潛在的時變ROI資訊，而子圖片變換屬性可以用於選擇靜態且固定的矩形區域。

第10圖示出了根據一些實施方式的針對子圖片變換屬性的示例性語法。欄位is_reverse 1002指示該操作是(正向)子圖片分割(例如，等於0)還是反向子圖片合成(例如，等於1)。SpatialRelationship2DSourceBox()1004和SubPictureRegionBox()1006可以具有與第二版OMAF(如w17827，“WD of ISO/IEC 23090-2 2nd edition OMAF”，2018年7月，Ljubljana,SK(其全部內容通過引用合併於此)中所描述的)的工作草案中定義的語法和語義相同的語法和語義。SpatialRelationship2DSourceBox()1004和SubPictureRegionBox()1006分別指定合成圖片的大小以及各個子圖片的大小和位置。

在一些實施方式中，可以提供轉碼變換屬性(諸如，轉碼‘trsc’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。轉碼‘trsc’變換屬性可以為輸入軌道的圖像以期望的位元速率進行轉碼的處理提供資訊，以根據給定的參數(例如，諸如，混合參數、諸如用於本文所述的圖像縫合的參數)形成轉碼視覺軌道。當存在轉碼‘trsc’變換屬性時，該轉碼‘trsc’變換屬性可以具有等於1的num_inputs，並且用於相應轉碼操作的輸入實體可以是視覺軌道。變換屬性可以指定期望的位元速率、畫面播放速率以及從輸入實體轉碼的推導樣本的參考寬度和高度。應當理解，轉碼變換屬性僅示出為用於轉碼的一個示例。可以諸如針對上限位元速率、NBMP用例中給出的預轉碼和N17502中的要求等指定其它類型的轉碼屬性。

第11圖示出了根據一些實施方式的針對轉碼變換屬性的示例性語法1100。frame_rate 1102可以指定轉碼視覺軌道的乘以100的每秒幀圖像數。image_width 1104和image_height 1106可以分別指定轉碼圖像的以亮度樣本為單位的寬度和高度。bitrate 1108可以指定轉碼視覺軌道的以kbits/s為單位的恒定或上限位元速率。

在一些實施方式中，可以提供“視埠”變換屬性(諸如，視埠‘vpot’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定有任何量。視埠‘vpot’變換屬性可以根據視埠規範(諸如，OMAF中給出的針對(定時)球面區域的規範)，從輸入全向視訊軌道的球面樣本圖像構造(或提取)視埠樣本圖像。當存在視埠‘vpot’變換屬性時，該視埠‘vpot’變換屬性可以具有等於2的num_inputs。用於相應圖像操作的輸入實體可以是全向視訊軌道和球面區域定時元資料軌道(諸如，‘rosc’(球面區域)或‘rcvp’(推薦視埠)定時元資料軌道)，其中‘cdsc’軌道參考視訊軌道。

在一些實施方式中，視埠變換屬性可以使用定時元資料軌道的球面區域元資料來從輸入視訊軌道的樣本中提取視埠樣本。換句話說，可以將球面區域元資料軌道規範地應用于作為視埠變換屬性的輸入實體的視訊軌道。圖像操作的輸出可以只包含球面區域元資料軌道指定的球面區域。在一些實施方式中，當期望靜態的固定視埠時，可以僅使用單個球面區域定義(諸如，OMAF中的球面區域結構SphereRegionStruct())而不是使用定時球面區域元資料軌道來指定單獨的變換屬性。

在一些實施方式中，可以提供選擇一個變換屬性(諸如選擇一個‘sell’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。選擇一個‘sell’變換屬性通過從屬於同一替代組的輸入視覺軌道中的一個視覺軌道中選擇樣本圖像來構造所述樣本圖像。當存在該變換屬性時，該變換屬性可以具有num_input大於或等於1的多個輸入條目，並且輸入實體可以是屬於同一替代組(例如，ISOBMFF中指定的同一替代組)的視覺軌道。變換屬性可以指定推導軌道，推導軌道的樣本中的各個樣本是選自輸入軌道中的一個輸入軌道的樣本圖像。在一些實施方式中，如果目標是從替代組中的輸入軌道的列表中選擇一個軌道，則可以定義單獨的變換屬性(諸如，一個軌道(或實體)的選擇)。此外，可以利用屬性和參數來擴充選擇一個變換屬性，以用信號通知應如何基於所述屬性和參數來進行樣本圖像的選擇。

在一些實施方式中，可以提供縮放變換屬性(諸如，縮放‘scal’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。當存在該縮放‘scal’變換屬性時，該縮放‘scal’變換屬性可以具有num_input等於1的多個輸入條目，並且輸入實體可以是視覺軌道或圖像項。變換屬性可以以百分比為單位對輸入視覺軌道的樣本圖像進行縮放。第12圖示出了根據一些實施方式的針對縮放變換屬性的示例性語法1200。除以100的percentages 1202的值可以指定輸入樣本圖像的縮放因數。

在一些實施方式中，可以提供改變大小變換屬性(諸如，改變大小‘srez’變換屬性)，其對於各個樣本而言可以是可選的並且可以指定為任何量。當存在改變大小‘srez’變換屬性時，該改變大小‘srez’變換屬性可以具有num_input等於1的多個輸入條目，並且輸入實體可以是視覺軌道。變換屬性可以根據寬度和高度來改變輸入視覺軌道的樣本圖像的大小。第13圖示出了根據一些實施方式的針對改變大小變換屬性的示例性語法1300。image_width 1302 和image_height 1304分別給出改變大小後的輸入樣本圖像的寬度和高度。

本文描述的技術提供了推導軌道集合或軌道組。預設情況下，現有的軌道推導選項(例如，N17833中描述的ISOBMFF TuC中列出的那些軌道推導選項)將單個推導軌道視為軌道推導的輸出。發明人已經發現並意識到，在一些情況下(諸如，軌道推導經常用於生成一組軌道(例如，具有不同位元速率的軌道集合和子圖片軌道的集合)的轉碼和子圖片生成)，期望將推導軌道組作為輸出。根據一些實施方式，新軌道組推導機制(例如，基於ISOBMFF TuC中的軌道推導機制列表的方面)具有支持軌道組的推導的特徵。在一些實施方式中，除了輸入或實體的數量(例如，在TuC中，‘num_inputs’針對選項1-3，或者‘input_count’針對選項4)之外，欄位(例如，‘num_outputs’或‘output_count’)可以用於發信號通知輸出推導軌道(或實體)的數量。

第14圖示出了根據一些實施方式的用於輸出一組軌道的示例性語法1400。第14圖示出了TuC中的選項3的語法和語義的示例，該示例被用於軌道組推導，並且如語法1400所示，包括num_outputs欄位1404以及num_outputs 1404的使用for循環的相關聯的處理。num_inputs 1402可以指定用於該圖像操作的輸入實體的數量。當num_inputs 1402設置為0時，它可以指示唯一的輸入是先前ImageOperation的輸出。num_outputs 1404可以指定用於該圖像操作的輸出實體的數量。entity_idx 1406可以是類型為‘dtrk’的TrackReferenceTypeBox的基於1的索引，也可以是值0以指示先前ImageOperation的輸出。當entity_idx 1406指向解析為圖像序列軌道的軌道ID的ID值時，可以指定函數IsPictTrack(entity_idx)返回1，否則可以指定函數IsPictTrack(entity_idx)返回0。如果entity_idx 1406是指軌道並且sample_offset_flag等於1，則可以存在sample_offset 1408，並且sample_offset 1408對樣本相對於推導樣本的解碼時間的偏移量(正或負)進行編碼。當不存在sample_offset 1408時，sample_offset 1408被推斷為等於0。在一些示例中，樣本0(零)是與推導視覺軌跡的樣本的解碼時間相比具有相同或在前最接近的解碼時間的樣本；樣本1(一)是下一個樣本，樣本-1(負1)是上一個樣本，以此類推。

第15圖示出了根據一些實施方式的用於輸出一組軌道的另一示例性語法1500。語法1500示出了TuC中的選項4的語法和語義的示例，該示例通過將類VisualDerivationOutputs、類‘doup’以及VisualDerivaitonOutputs欄位輸出1504包括在Visual Derivation‘dimg’類中而用於軌道組推導。

本文描述的技術可以提供用於推導軌道組的變換屬性。為了便於說明，本文提供了兩個示例，一個示例針對轉碼，並且另一示例針對子圖片。對於下面的示例，正向轉碼可以導致轉碼軌道的替代組，並且正向子圖片可以導致子圖片視覺軌道的子圖片軌道組。

例如，對於轉碼而言，可能有必要將多媒體資料轉碼為許多不同位元速率。因此，可能期望MPE能夠將多媒體資料轉碼為不同位元速率的集合。可以提供轉碼變換屬性(諸如，轉碼‘tcdb’變換屬性)以創建軌道替代組，該轉碼變換屬性對於各個樣本而言可以是可選的並且可以指定為任何量。類似於結合第11圖討論的轉碼變換屬性，當存在轉碼‘trsc’變換屬性時，該轉碼‘trsc’變換屬性可以具有等於1的num_inputs，並且用於相應轉碼操作的輸入實體可以是視覺軌道。變換屬性可以為各個輸出轉碼軌道指定從輸入實體轉碼的推導樣本的畫面播放速率、參考寬度和高度以及期望的位元速率。輸出轉碼視覺軌道可以形成替代組(例如，根據依據ISOBMFF的替代組)。

第16圖示出了根據一些實施方式的用於轉碼的示例性語法1600，該轉碼可以導致轉碼軌道的替代組。frame_rate 1602指定轉碼視覺軌道的乘以100的每秒幀圖像數。image_width 1604和image_height 1606分別指定轉碼圖像的以亮度樣本為單位的寬度和高度。bitrate 1608指定轉碼視覺軌道的以kbits/s為單位的恒定或上限位元速率。

像轉碼一樣，可能期望指定不同的子圖片，包括如何將圖片劃分成子圖片。可以提供子圖片變換屬性(諸如，子圖片‘subp’變換屬性)以創建子圖片視覺軌道的子圖片軌道組，其對於各個樣本而言可以是可選的並且可以指定為任何量。子圖片‘subp’變換屬性可以根據子圖片軌道或軌道組規範(例如，諸如在OMAF中給出的用於子圖片軌道組的規範)，從輸入合成(或超圖片)軌道構造子圖片軌道的子圖片軌道組。當存在子圖片‘subp’變換屬性時，該子圖片‘subp’變換屬性可以具有等於1的num_inputs，並且用於相應圖像操作的輸入實體可以是視覺軌道。輸入軌道中的各個視覺樣本圖像可以大於或等於SpatialRelationship2DSourceBox()中用信號通知的大小，並且用於子圖片構造的圖像的部分在SubPictureRegionBox()中用信號通知並從輸入圖像的原點測量。輸出子圖片視覺軌道形成子圖片軌道組(例如，與OMAF第二版中提供的子圖片軌道組一致)。第17圖示出了根據一些實施方式的針對用於創建子圖片視覺軌道的子圖片軌道組的子圖片變換屬性的示例性語法1700。SpatialRelationship2DSourceBox()1702和SubPictureRegionBox()1704可以具有與m40385中的第二版OMAF的工作草案中提供的語法和語義相同的語法和語義。SpatialRelationship2DSourceBox()1702和SubPictureRegionBox()1704分別指定合成圖片的大小以及各個子圖片的大小和位置。

本文描述的技術可以涉及用於處理任務的NBMP格式(例如，媒體和元資料)以及NBMP API(諸如，在N17874，“Description of Core Experiments on Network-Based Media Processing”，2018年7月，Ljubljana，SI以及N17502，“Use cases and requirements for NBMP(v4)”2018年4月，San Diego，US(這二者的全部內容通過引用合併於此)中描述的那些格式/API)。該技術提供了利用軌道推導機制和軌道推導值(例如，如在N17833中所描述的)，以在諸如結合第6A圖至第6B圖討論的NBMP架構的媒體處理架構中定義OMAF媒體處理相關的任務。

如本文所描述的，利用NBMP處理的媒體內容可以以符合ISOBMFF的檔案格式儲存。與媒體內容相關的元資料可以被儲存在‘mdat’盒和定時元資料軌道ISOBMFF文件中。如本文中還描述的，軌道推導值和軌道組推導值可以用作用於在檔案格式層級處實現個體NBMP任務的機制。

本文描述的技術提供了使用格式模式來指定NBMP任務。在NBMP層級處，這種格式模式將能夠用於將NBMP媒體處理任務通知給媒體處理節點(諸如，MPE)。發明人還發現並意識到檔案格式層級可以包括不需要在格式模式中重複的資訊。因此，代替提供在檔案格式層級處重複軌道推導的類似資訊的XML格式模式(例如，關於輸入規範、輸出規範和參數規範)，該技術提供了可以用於在媒體內容可用之前提供XML文檔的格式模式。

第18圖示出了根據一些實施方式的示例性XML格式模式1800。如模式1800所示，可以使用“urn：mpeg-i：nbmp：2018”命名空間來指定nbmp：num_inputs 1802屬性和nbmp：num_outputs 1804屬性以及nbmp：dtrk要素1806。可以使用這種XML格式模式來採集變換屬性，包括本文描述的屬性。第19圖是根據一些實施方式的示例XML要素1900，該示例XML要素對轉碼任務‘tcdb’進行採集。

可以使用本文描述的用於個體媒體處理功能的方法來提供用於定義NBMP工作流模式的基礎，該NBMP工作流模式用於連結和組合個體功能以實現合成媒體處理功能。第20圖示出了根據一些實施方式的一組媒體處理功能的示例性工作流2000。工作流2000包括第一源2002和第二源2004。工作流還包括功能一2006、功能二2008和功能三2010三個功能塊。源202提供功能塊一2006的輸入，並且源2004提供功能塊二2008的輸入。功能塊一2006和功能塊二2008二者提供功能塊三2010的輸入。功能塊三2010將其輸出提供給接收器2012。因此，如第20圖所示，可以使用多個功能塊來實現一個或更多個不同的媒體處理功能。應當理解，工作流2000的各個部件中的塊和流的示例性數量是出於示例性目的並且不是限制性的。在不脫離本文描述的技術的精神的情況下，可以使用任何數量塊和/或流來實現期望的功能。

如本文所描述的，可以使用各種數量的MPE來執行期望的媒體處理功能。第21圖是根據本文描述的技術的針對MPE執行媒體處理的示例性電腦化處理2100的流程圖。在步驟2102和2104處，MPE從遠端計算設備(例如，從媒體源和/或從另一MPE)接收包括分層軌道結構的多視圖多媒體資料。具體地，在步驟2102處，MPE接收在分層軌道結構的第一層級處的包括第一多媒體資料的第一軌道，該第一軌道可以是例如一個或更多個輸入軌道。在步驟2104處，MPE接收與分層軌道結構中的第二層級處的第二軌道相關聯的元資料，該第二層級與第一軌道的第一層級不同，該第二軌道可以是推導軌道。如本文所描述的，推導軌道可以指定(例如，使用XML結構)要對輸入軌道執行的一個或更多個變換屬性。在虛線框2106中示出了步驟2102和2104，以指示可以分別地和/或同時執行步驟2102和2104。另外，如本文所描述的，MPE可以從多個不同的遠端設備接收輸入軌道。在步驟2108處，MPE基於與第二軌道相關聯的元資料來處理(例如，編碼或解碼)第一軌道的第一多媒體資料，以生成第二軌道的第二多媒體資料(例如，樣本)。

在步驟2110處，MPE將所生成的第二多媒體資料發送到第二遠端計算設備，諸如另一MPE、接收器設備等。如本文所描述的，輸出可以包括一個或更多個輸出軌道(例如，諸如軌道組)。在一些實施方式中，MPE還可以發送與分層軌道結構中的第三層級處的第三軌道相關聯的元資料，該第三層級與第一軌道的第一層級以及第二軌道的第二層級不同。如本文所描述的，例如，第三軌道可以是另一推導軌道，該另一推導軌道指定要對一個或更多個輸入軌道執行的一個或更多個變換屬性。

參照步驟2102和2104，與第二軌道相關聯的元資料可以指定一個或更多個解碼(或反向)變換屬性。例如，分層軌道結構中的第二層級可以在第一軌道的第一層級之上，並且MPE可以對第一軌道(例如，該第一軌道可以包括多個輸入軌道)的第一多媒體資料進行解碼以生成第二軌道的第二多媒體資料。

如本文所描述的，可以通過推導軌道的元資料來指定各種這樣的變換屬性。例如，元資料可以指定縫合操作，以縫合第一軌道的第一多媒體資料的圖像並將所縫合的圖像投影到投影面上以生成第二多媒體資料。作為另一示例，元資料可以指定反向投影操作，以將第一多媒體資料的圖像投影到三維球面上，從而生成第二多媒體資料。作為又一示例，元資料可以指定反向封裝操作，以執行對第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成第二多媒體資料。作為另一示例，元資料可以指定反向子圖片操作，以根據多個軌道構成第二多媒體資料，所述多個軌道包括第一軌道以及一個或更多個附加軌道。作為又一示例，元資料可以指定選擇一個操作，以根據第一多媒體資料構造樣本圖像，從而生成第二多媒體資料。作為另一示例，元資料可以指定轉碼操作，以將第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成第二多媒體資料。作為又一示例，元資料可以指定縮放操作，以將第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成第二多媒體資料。作為附加示例，元資料可以指定改變大小操作，以將第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成第二多媒體資料。

進一步參照步驟2102和2104，與第二軌道相關聯的元資料可以指定一個或更多個編碼變換屬性。例如，分層軌道結構中的第二層級可以在第一軌道的第一層級之下，並且MPE可以對第一軌道的第一多媒體資料進行編碼，以生成第二軌道的第二多媒體資料。

如本文所描述的，可以通過推導軌道的元資料來指定各種這樣的變換屬性。例如，元資料可以指定投影操作，以將第一多媒體資料的圖像投影到二維平面上，從而生成第二多媒體資料。作為另一示例，元資料可以指定封裝操作，以執行對第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成第二多媒體資料。作為又一示例，元資料可以指定子圖片操作，以構成針對多個軌道的多個不同多媒體資料，所述多個軌道包括第二軌道以及一個或更多個附加軌道。作為另一示例，元資料可以指定視埠操作，以根據第一多媒體資料的球面樣本圖像構造視埠樣本圖像，從而生成第二多媒體資料。作為又一示例，元資料可以指定轉碼操作，以將第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成第二多媒體資料。作為另一示例，元資料可以指定縮放操作，以將第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成第二多媒體資料。作為又一示例，元資料可以指定改變大小操作，以將第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成第二多媒體資料。

可以以任何合適的方式來實現根據本文描述的原理進行操作的技術。上面流程圖的處理和決策框代表了可以被包含在執行這些各種處理的演算法中的步驟和動作。從這些處理中得出的演算法可以實現為與一個或更多個單用途或多用途處理器集成並指導其運行的軟體、可以實現為諸如數位信號處理(DSP)電路或專用積體電路(ASIC)的功能等效電路或者可以以任何其它合適的方式實現。應當理解，本文所包括的流程圖未描繪任何特定電路或任何特定程式設計語言或程式設計語言類型的語法或操作。相反，流程圖例示了本領域技術人員可以用來製造電路或實現電腦軟體演算法以執行實現本文所述技術類型的特定裝置的處理的功能資訊。還應當理解，除非本文另外指出，否則各個流程圖中描述的步驟和/或動作的特定順序僅是可以實現的演算法的示例，並且可以在本文描述的原理的實現方式和實施方式中進行改變。

因此，在一些實施方式中，本文描述的技術可以實施為被實現成軟體(包括應用軟體、系統軟體、固件、中間軟體、嵌入式代碼或任何其它合適類型的電腦代碼)的電腦可執行指令。這樣的電腦可執行指令可以使用多種合適的程式設計語言和/或程式設計或腳本工具中的任何一種來編寫，並且還可以被編譯為在框架或虛擬機器上執行的可執行機器語言代碼或中間代碼。

當本文描述的技術被實施為電腦可執行指令時，這些電腦可執行指令可以以任何合適的方式來實現，包括作為多個功能設施，各個功能設施提供一個或更多個操作，以完成根據這些技術操作的演算法的執行。然而，產生實體的“功能設施”是電腦系統的結構部件，當與一個或更多個電腦集成並由一個或更多個電腦執行時，其使所述一個或更多個電腦執行特定的操作角色。功能設施可以是軟體要素的一部分或整個軟體要素。例如，功能設施可以根據處理、或者離散處理、或者任何其它合適的處理單元來實現。如果本文描述的技術被實現為多個功能設施，則各個功能設施可以以其自己的方式來實現；所有功能設施不必以相同的方式來實現。另外，這些功能設施可以視情況而定並行和/或串列地執行，並且可以使用消息傳遞協定或以任何其它合適的方式在以下功能設施之間傳遞資訊：該功能設施使用它們正在其上運行的電腦上的共用記憶體。

通常，功能設施包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、部件、資料結構等。典型地，功能設施的功能可以根據需要在其運行的系統中進行組合或分佈。在一些實施方式中，執行本文技術的一個或更多個功能設施可以一起形成完整的套裝軟體。在替代實施方式中，這些功能設施可以適於與其它不相關的功能設施和/或處理進行交互，以實現軟體程式應用。

本文已經描述了用於執行一個或更多個任務的一些示例性功能設施。然而，應當理解，所描述的功能設施和任務的劃分僅是可以實施本文所描述的示例性技術的功能設施的類型的說明，並且實施方式不限於以任何特定數量、劃分或功能設施的類型來實現。在一些實現方式中，所有功能可以在單個功能設施中實現。還應當理解，在一些實現方式中，本文所描述的功能設施中的一些功能設施可以與其它功能設施一起或彼此單獨地實現(即，作為單個單元或單獨的單元)，或者可以不實現這些功能設施中的一些功能設施。

在一些實施方式中，可以將實現本文描述的技術的電腦可執行指令(當實現為一個或更多個功能設施或以任何其它方式實現時)編碼在一個或更多個電腦可讀介質上，以向該介質提供功能。電腦可讀介質包括磁性介質(諸如，硬碟驅動器)、光學介質(諸，如光碟(CD)或數位多功能盤(DVD))、永久性或非永久性固態記憶體(例如，快閃記憶體、磁性RAM等)或任何其它合適的儲存介質。這樣的電腦可讀介質可以以任何合適的方式來實現。如本文所使用的，“電腦可讀介質”(也稱為“電腦可讀儲存介質”)是指有形儲存介質。有形儲存介質是非暫時性的並且具有至少一個物理結構部件。在本文所使用的“電腦可讀介質”中，至少一個物理結構部件具有至少一種物理屬性，該物理屬性可以在創建具有嵌入式資訊的介質的處理期間、在其上記錄資訊的處理期間或對具有資訊的介質進行編碼的任何其它處理期間以某種方式改變。例如，可以在記錄處理期間改變電腦可讀介質的物理結構的一部分的磁化狀態。

此外，上文描述的一些技術包括以某些方式儲存資訊(例如，資料和/或指令)以供這些技術使用的動作。在這些技術的一些實現方式(諸如技術被實現為電腦可執行指令的實現方式)中，資訊可以被編碼在電腦可讀儲存介質上。在本文將特定結構描述為儲存該資訊的有利格式的情況下，這些結構在被編碼在儲存介質上時可以用於賦予資訊的物理組織。然後，這些有利的結構可以通過影響與資訊交互的一個或更多個處理器的操作來向儲存介質提供功能；例如，通過提高處理器執行的電腦操作的效率。

在技術可以被實施為電腦可執行指令的一些但不是全部實現方式中，這些指令可以在以任何合適的電腦系統運行的一個或更多個合適的計算設備上執行，或者一個或更多個計算設備(或一個或更多個計算設備的一個或更多個處理器)可以被程式設計為執行電腦可執行指令。當指令以計算設備或處理器可訪問的方式儲存在諸如資料儲存部(例如，晶片上快取記憶體或指令寄存器、經由匯流排可訪問的電腦可讀儲存介質、經由一個或更多個網路可訪問並且通過設備/處理器可訪問的電腦可讀儲存介質等)中時，可以將計算設備或處理器程式設計為執行該指令。包括這些電腦可執行指令的功能設施可以與以下項集成並指導其操作：單個多功能可程式設計數位計算設備、共用處理能力並共同執行本文所描述的技術的兩個或更多個多功能計算設備的協調系統、專用于執行本文所描述的技術的單個計算設備或計算設備(共同定位或地理地分佈)的協調系統、用於執行本文所描述的技術的一個或更多個現場可程式設計閘陣列(FPGA)或任何其它合適的系統。

一種計算設備可以包括至少一個處理器、網路介面卡和電腦可讀儲存介質。例如，計算設備可以是臺式或膝上型個人電腦、個人數位助理(PDA)、智慧行動電話、伺服器或任何其它合適的計算設備。網路適配器可以是任何合適的硬體和/或軟體，以使計算設備能夠通過任何合適的計算網路與任何其它合適的計算設備進行有線和/或無線通訊。計算網路可以包括無線接入點、交換機、路由器、閘道和/或其它聯網設備以及任何合適的有線和/或無線通訊介質或用於在兩個或更多個電腦之間交換資料的介質(包括互聯網)。電腦可讀介質可以適於儲存要被處理的資料和/或要被處理器執行的指令。處理器使得能夠處理資料和執行指令。資料和指令可以被儲存在電腦可讀儲存介質上。

計算設備可以另外具有一個或更多個部件和週邊設備，包括輸入裝置和輸出設備。這些設備尤其可以用於呈現使用者介面。可以用於提供使用者介面的輸出設備的示例包括用於可視地呈現輸出的印表機或顯示器螢幕，以及用於可聽地呈現輸出的揚聲器或其它聲音生成設備。可以用於使用者介面的輸入裝置的示例包括鍵盤和指向設備，諸如滑鼠、觸控板和數位化平板電腦。作為另一示例，計算設備可以通過語音辨識或其它可聽格式接收輸入資訊。

已經描述了以電路和/或電腦可執行指令實現技術的實施方式。應當理解，一些實施方式可以是方法的形式，已經提供了其至少一個實施例。作為該方法的一部分執行的動作可以以任何合適的方式排序。因此，可以構造實施方式，其中以與所示出的次序不同的次序來執行動作，即使在說明性實施方式中被示為順序動作，也可以包括同時執行一些動作。

上文描述的實施方式的各個方面可以單獨使用、組合使用或以在前述實施方式中未具體討論的各種佈置來使用，因此，其應用不限於在前面的描述中闡述的或在附圖中示出的部件的細節和佈置。例如，在一個實施方式中描述的方面可以以任何方式與在其它實施方式中描述的方面組合。

在權利要求書中使用諸如“第一”、“第二”、“第三”等序數用語來修飾權利要求要素本身並不意味著一個權利要求要素相對於另一權利要求要素的任何優先權、優先順序或次序，或者執行方法動作的時間次序，而是僅用作標籤，該標籤用於區分具有特定名稱的一個權利要求要素與具有相同名稱的另一要素(針對序數用語的使用)，以區分權利要求要素。

另外，本文所使用的措詞和術語是出於描述的目的，並且不應被視為限制性的。本文中的“包括”、“包含”、“具有”、“含有”、“涉及”及其變型的使用旨在涵蓋之後列出的項及其等同物以及附加項。

表述“示例性”在本文中用來表示用作示例、實例或說明。因此，除非另外指出，否則本文中描述為示例性的任何實施方式、實現方式、處理、特徵等應被理解為說明性示例，並且不應被理解為優選或有利示例。

因此，已經描述了至少一個實施方式的若干方面，應當理解，本領域技術人員將容易想到各種變更、修改和改進。這樣的變更、修改和改進旨在成為本公開的一部分，並且旨在落入本文所描述的原理的精神和範圍內。因此，前面的描述和附圖僅作為示例。

2100:方法

2102-2110:步驟

Claims

一種媒體處理方法，所述媒體處理方法由包括與記憶體進行通信的至少一個處理器的媒體處理實體來實施，其中，所述記憶體儲存電腦可讀指令，所述電腦可讀指令在由所述至少一個處理器執行時，使所述至少一個處理器執行：從第一遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同；以及基於與所述第二軌道相關聯的所述元資料來處理所述第一軌道的所述第一多媒體資料，以生成所述第二軌道的第二多媒體資料，其中所述第二軌道在執行所述生成所述第二軌道的第二多媒體資料之前，不包含所生成的第二多媒體資料。
如申請專利範圍第1項所述的方法，其中，從所述遠端計算設備接收多視圖多媒體資料包括從第二遠端媒體處理實體接收所述多視圖多媒體資料。
如申請專利範圍第1項所述的方法，所述方法還包括：將包括所生成的第二多媒體資料的所述第二軌道發送給第二計算設備，其中，所述第二計算設備包括第二媒體處理實體、與所述第一遠端計算設備不同的第二遠端計算設備或二者。
如申請專利範圍第3項所述的方法，所述方法還包括：將與所述分層軌道結構中的第三層級處的第三軌道相關聯的元資料發送給所述第二媒體處理實體，所述第三層級與所述第一軌道的所述第一層級以及所述第二軌道的所述第二層級不同。
如申請專利範圍第1項所述的方法，其中：所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之上；並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行解碼，以生成所述第二軌道的所述第二多媒體資料。
如申請專利範圍第5項所述的方法，其中：接收與所述第二軌道相關聯的所述元資料包括：接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：縫合操作，所述縫合操作用於縫合所述第一軌道的所述第一多媒體資料的圖像，並將所縫合的圖像投影到投影面上，從而生成所述第二多媒體資料；反向投影操作，所述反向投影操作用於將所述第一多媒體資料的圖像投影到三維球面上，從而生成所述第二多媒體資料；反向封裝操作，所述反向封裝操作用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；反向子圖片操作，所述反向子圖片操作用於根據多個軌道構成所述第二多媒體資料，所述多個軌道包括所述第一軌道以及一個或更多個附加軌道；選擇一個操作，所述選擇一個操作用於根據所述第一多媒體資料構造樣本圖像，從而生成所述第二多媒體資料；轉碼操作，所述轉碼操作用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，所述縮放操作用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，所述改變大小操作用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。
如申請專利範圍第1項所述的方法，其中：所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之下；並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行編碼，以生成所述第二軌道的所述第二多媒體資料。
如申請專利範圍第7項所述的方法，其中：接收與所述第二軌道相關聯的所述元資料包括：接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：投影操作，所述投影操作將所述第一多媒體資料的圖像投影到二維平面上，從而生成所述第二多媒體資料；封裝操作，所述封裝操作用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；子圖片操作，所述子圖片操作用於構成針對多個軌道的多個不同多媒體資料，所述多個軌道包括所述第二軌道以及一個或更多個附加軌道；視埠操作，所述視埠操作用於根據所述第一多媒體資料的球面樣本圖像構造視埠樣本圖像，從而生成所述第二多媒體資料；轉碼操作，所述轉碼操作用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，所述縮放操作用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，所述改變大小操作用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。
如申請專利範圍第1項所述的方法，所述元資料指定多個輸出軌道，並且指定如何生成所述多個輸出軌道中的各個輸出軌道。
如申請專利範圍第1項所述的方法，其中，與所述第二軌道相關聯的所述元資料包括資料結構，所述資料結構指定要對所述第一多媒體資料執行以生成所述第二多媒體資料的變換屬性，所述資料結構包括輸入的數量、輸出的數量以及所述變換屬性。
如申請專利範圍第10項所述的方法，其中，所述第二軌道包括所述資料結構。
一種被配置成處理視訊資料的裝置，所述裝置包括與記憶體進行通信的處理器，所述處理器被配置成執行儲存在所述記憶體中的指令，所述指令使所述處理器：從第一遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同；以及基於與所述第二軌道相關聯的所述元資料來處理所述第一軌道的所述第一多媒體資料，以生成所述第二軌道的第二多媒體資料，其中所述第二軌道在執行所述生成所述第二軌道的第二多媒體資料之前，不包含所生成的第二多媒體資料。
如申請專利範圍第12項所述的裝置，其中，從所述遠端計算設備接收多視圖多媒體資料包括從第二遠端媒體處理實體接收所述多視圖多媒體資料。
如申請專利範圍第12項所述的裝置，其中，所述指令還使所述處理器將(a)包括所生成的第二多媒體資料的所述第二軌道以及(b)與所述分層軌道結構中的第三層級處的第三軌道相關聯的元資料發送給第二遠端計算設備，所述第三層級與所述第一軌道的所述第一層級以及所述第二軌道的所述第二層級不同，其中，所述第二計算設備包括第二媒體處理實體、與所述第一遠端計算設備不同的第二遠端計算設備或二者。
如申請專利範圍第12項所述的裝置，其中：所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之上；並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行解碼，以生成所述第二軌道的所述第二多媒體資料。
如申請專利範圍第15項所述的裝置，其中：接收與所述第二軌道相關聯的所述元資料包括：接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：縫合操作，所述縫合操作用於縫合所述第一軌道的所述第一多媒體資料的圖像，並將所縫合的圖像投影到投影面上，從而生成所述第二多媒體資料；反向投影操作，所述反向投影操作用於將所述第一多媒體資料的圖像投影到三維球面上，從而生成所述第二多媒體資料；反向封裝操作，所述反向封裝操作用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；反向子圖片操作，所述反向子圖片操作用於根據多個軌道構成所述第二多媒體資料，所述多個軌道包括所述第一軌道以及一個或更多個附加軌道；選擇一個操作，所述選擇一個操作用於根據所述第一多媒體資料構造樣本圖像，從而生成所述第二多媒體資料；轉碼操作，所述轉碼操作用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，所述縮放操作用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，所述改變大小操作用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。
如申請專利範圍第12項所述的裝置，其中：所述分層軌道結構中的所述第二層級在所述第一軌道的所述第一層級之下；並且處理所述第一軌道的所述第一多媒體資料包括對所述第一軌道的所述第一多媒體資料進行編碼，以生成所述第二軌道的所述第二多媒體資料。
如申請專利範圍第17項所述的裝置，其中：接收與所述第二軌道相關聯的所述元資料包括：接收指示變換屬性的元資料，所述變換屬性指定以下項中的一項或更多項：投影操作，所述投影操作用於將所述第一多媒體資料的圖像投影到二維平面上，從而生成所述第二多媒體資料；封裝操作，所述封裝操作用於執行對所述第一多媒體資料的一個或更多個區域進行的變換、改變大小和重定位中的一項或更多項，從而生成所述第二多媒體資料；子圖片操作，所述子圖片操作用於構成針對多個軌道的多個不同多媒體資料，所述多個軌道包括所述第二軌道以及一個或更多個附加軌道；視埠操作，所述視埠操作用於根據所述第一多媒體資料的球面樣本圖像構造視埠樣本圖像，從而生成所述第二多媒體資料；轉碼操作，所述轉碼操作用於將所述第一多媒體資料從第一位元速率轉碼為第二位元速率，從而生成所述第二多媒體資料；縮放操作，所述縮放操作用於將所述第一多媒體資料從第一尺寸縮放成第二尺寸，從而生成所述第二多媒體資料；以及改變大小操作，所述改變大小操作用於將所述第一多媒體資料從第一寬度和第一高度改變大小為第二寬度和第二高度，從而生成所述第二多媒體資料。
如申請專利範圍第12項所述的裝置，其中，與所述第二軌道相關聯的所述元資料包括資料結構，所述資料結構指定要對所述第一多媒體資料執行以生成所述第二多媒體資料的變換屬性，所述資料結構包括輸入的數量、輸出的數量以及所述變換屬性。
一種至少一個電腦可讀儲存介質，所述電腦可讀儲存介質儲存有處理器可執行指令，所述處理器可執行指令在由至少一個處理器執行時，使所述至少一個處理器執行：從遠端計算設備接收包括分層軌道結構的多視圖多媒體資料，所述分層軌道結構至少包括：所述分層軌道結構的第一層級處的第一軌道，所述第一軌道包括第一多媒體資料；以及與所述分層軌道結構中的第二層級處的第二軌道相關聯的元資料，所述第二層級與所述第一軌道的所述第一層級不同；以及基於與所述第二軌道相關聯的所述元資料來處理所述第一軌道的所述第一多媒體資料，以生成所述第二軌道的第二多媒體資料，其中所述第二軌道在執行所述生成所述第二軌道的第二多媒體資料之前，不包含所生成的第二多媒體資料。