TWI709327B - 用於發信空間區域資訊的方法及裝置 - Google Patents

用於發信空間區域資訊的方法及裝置 Download PDF

Info

Publication number
TWI709327B
TWI709327B TW107107670A TW107107670A TWI709327B TW I709327 B TWI709327 B TW I709327B TW 107107670 A TW107107670 A TW 107107670A TW 107107670 A TW107107670 A TW 107107670A TW I709327 B TWI709327 B TW I709327B
Authority
TW
Taiwan
Prior art keywords
visual
track
metadata
roi
view
Prior art date
Application number
TW107107670A
Other languages
English (en)
Other versions
TW201838417A (zh
Inventor
新 王
魯林 陳
柏霖 賴
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201838417A publication Critical patent/TW201838417A/zh
Application granted granted Critical
Publication of TWI709327B publication Critical patent/TWI709327B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本發明的方面提供一種裝置，其包括介面電路和處理電路。介面電路用於接收承載元資料的複數個訊號，其中該元資料將由第一視覺軌道提供的第一視覺視圖中的感興趣區域與該第一視覺軌道和提供第二視覺視圖的第二視覺軌道關聯，該第二視覺視圖是該第一視覺視圖的一部分。處理電路用於解析該元資料；當該感興趣區域被選擇時，確定該第二視覺軌道以提供視覺資料；以及基於來自於該第二視覺軌道的該視覺資料，生成該感興趣區域的複數個圖像。

Description

用於發信空間區域資訊的方法及裝置 【相關申請的交叉引用】
本發明要求2017年03月07日提出的申請號為62/467,860且名稱為"Methods of Carriage and Signaling of 2-Dimensional Spatial Region Information in ISOBMFF"的美國臨時申請的權利，其整體以引用方式併入本文中。
本發明大體涉及視訊編解碼方法及裝置，且更具體地涉及多軌道視覺資料處理技術。
此處提供的先前技術描述通常用作說明本發明的上下文的目的。目前署名發明人的工作內容，既包含在本先前技術部分中所描述的工作的內容，也包含在申請時未被認為是先前技術的說明書的各方面，這些既不明確也不暗示地被承認是本發明的先前技術。
視覺內容可以包括全球視覺資料和特定目的的區域視覺資料。在道路自行車比賽事件的視覺內容的示例中，視覺內容包括一主組騎手的全景視圖，也包括該主組中的騎手子集的追蹤視圖。追蹤視圖提供觀察者感興趣的感興趣區域，例如，特定騎手。
本發明的方面提供一種裝置，其包括介面電路和處理電路。介面電路用於接收承載元資料的複數個訊號，其中元資料將由第一視覺軌道提供的第一視覺視圖中的感興趣區域與第一視覺軌道和提供第二視覺視圖的第二視覺軌道關聯，第二視覺視圖是第一視覺視圖的一部分。處理電路用於解析元資料；當感興趣區域被選擇時，確定第二視覺軌道以提供視覺資料；以及基於來自於第二視覺軌道的視覺資料，生成感興趣區域的複數個圖像。
根據本發明的一方面，處理電路用於透過介面電路自另一裝置請求並接收第二視覺軌道的視覺資料。
在一實施例中，介面電路用於接收元資料的複數個訊號，其中元資料承載將感興趣區域與複數個第二視覺軌道關聯，複數個第二視覺軌道提供相應的第一視覺視圖的複數個部分視覺視圖。
在一示例中，介面電路用於接收元資料的複數個訊號，其中元資料承載將複數個感興趣區域與第二視覺軌道關聯，第二視覺軌道提供第二視覺視圖。處理電路用於在複數個感興趣區域中的一個被選擇時確定第二視覺軌道，以提供視覺資料。
在一實施例中，介面電路用於接收承載元資料軌道的複數個訊號，其中元資料軌道參考第一視覺軌道並包括第二視覺軌道的識別碼和感興趣區域的識別碼。在一示例中，介面電路用於接收承載元資料軌道的複數個訊號，其中元資料軌 道包括位於在至少一個樣本及複數個樣本的樣本條目中的第二視覺軌道的識別碼和感興趣區域的識別碼。
在另一實施例中，介面電路用於接收承載一元資料軌道的複數個訊號，其中元資料軌道參考第二視覺軌道且包括第二視覺軌道的識別碼和感興趣區域的識別碼。在一示例中，介面電路用於接收承載元資料軌道的複數個訊號，其中元資料軌道包括位於在至少一個樣本及複數個樣本的樣本條目中的第二視覺軌道的識別碼和感興趣區域的識別碼。
本發明的方面提供了一種裝置，其包括處理電路和記憶體電路。處理電路用於：形成用於第一視覺視圖的視覺資料的第一視覺軌道和用於第二視覺視圖的視覺資料的第二視覺軌道，其中第二視覺視圖是第一視覺視圖的一部分；確定將第一視覺視圖中的一感興趣區域與第一視覺軌道和第二視覺軌道關聯的元資料；以及將具有第一視覺軌道和第二視覺軌道的元資料封裝到一文檔中。記憶體電路用於存儲文檔。
本發明的方面提供一種方法。本方法包括：一裝置的介面電路接收承載元資料的複數個訊號，其中元資料將由第一視覺軌道提供的第一視覺視圖中的感興趣區域與第一視覺軌道和提供第二視覺視圖的第二視覺軌道關聯，第二視覺視圖是第一視覺視圖的一部分；裝置的處理電路解析元資料；當感興趣區域被選擇時，確定第二視覺軌道以提供視覺資料；以及基於來自於第二視覺軌道的視覺資料，生成感興趣區域的複數個圖像。
100:媒體系統
110:來源子系統
111、161:介面電路
112:獲取設備
115:記憶體
120、170:處理電路
130:文檔生成模組
150:傳送子系統
160:渲染子系統
165:顯示裝置
180:處理模組
190:圖像生成模組
210、310、410、510:主視覺視圖
211~214、311~314、411~414、511~514:區域視覺視圖
216、417:ROI
230、330、430、530:文檔
240、250、260、270、280、290:軌道框
340、350、360、370、380、390:軌道框
440、450、460、470、480、490、497:軌道框
540、550、560、570、580、590、597:軌道框
245、255、265、275、285、295:媒體框
345、355、365、375、385、395:媒體框
445、465、475、485、495、499:媒體框
545、565、575、585、595、599:媒體框
316、516:第一ROI
317、517:第二ROI 317
521、522、525、527:左上角
526:ROI-1部分
600、700:流程
S601、S610~S640、S699:步驟
S701、S710~S740、S799:步驟
將結合下面的圖式對被提供作為示例的本發明的各種實施例進行詳細描述，其中相同的符號表示相同的元件，以及其中：第1圖是根據本發明一實施例的媒體系統100的結構示意圖；第2圖-第5圖是根據本發明一些實施例的媒體文件的示意圖；第6圖是示出了根據本發明一實施例的流程示例600的流程圖；以及第7圖是示出了根據本發明一實施例的流程示例700的流程圖。
視覺內容，例如2D視訊和3D全向視訊/360視訊內容，可以被表示為時間上的複數個媒體流。當媒體流以一文檔案格式被表示或者捕獲，例如國際標準化組織基本媒體文檔案格式(ISO base media file format，ISOBMFF)時，媒體流稱為軌道(track)。在一些實施例中，視覺軌道包括以時間順序的圖像樣本的序列，並且視覺軌道具有與視覺軌道相關的空間屬性，例如視覺視圖(例如，視覺軌道中視覺資料的空間範圍)。例如，主視覺軌道包括相對較大視覺視圖的圖像樣本序列(例如，全景情景)，並且區域視覺軌道包括較大視覺視圖中的區域(例如，片段情景、分割、子圖像)的圖像樣本序列。媒體文檔可以包括具有各自空間屬性的複數個視覺軌道。不同媒體應用和使用實例需要提供特定區域的時間資料，並且特定 區域稱為感興趣區域(region of interest，ROI)。在不同視訊應用中，視覺內容被要求且傳送為視覺軌道組。本發明的方面提供了將視覺軌道與ROI關聯(associate)的技術，以支持ROI相關使用實例和應用。具體地，本發明提供了方法以用於在ISOBMFF中對視覺軌道和承載或貢獻(contributing)給它們的ROI的區域視覺軌道的關聯進行發信，另外，對ROI承載或貢獻的區域視覺軌道及它們與單個ROI的關聯的定時元資料進行發信，以便支持更多ROI相關使用實例及需求。在一些示例中，關聯關係可以包括包含關係和提供關係。例如，當視覺軌道包含ROI(即包含關係)時，整個ROI位於由視覺軌道所提供的視覺視圖之內。當視覺軌道貢獻給(contributes to)一個ROI(即貢獻關係)時，至少ROI的一部分是位於由視覺軌道所提供的視覺視圖之內。
第1圖顯示了根據本發明一實施例的媒體系統100的結構示意圖。媒體系統100包括耦接在一起的來源子系統110、傳送子系統150和渲染子系統160。來源子系統110被配置為獲取媒體資料(例如，虛擬實境視訊)并適當地將媒體資料封裝成一個或複數個文檔。傳送子系統150被配置成將來自於來源子系統110的已封裝媒體資料傳送到渲染子系統160。渲染子系統160被配置成根據媒體資料渲染視訊。
根據本發明的一方面，來源子系統110將媒體資料構造成複數軌道，每個軌道是基於以時間順序的樣本序列而形成的。在一實施例中，來源子系統110根據特定屬性，例如空間分割、圖像品質、加密模式等，將視覺資料(例如，圖像 資料、視訊資料)構成視覺軌道。此外，來源子系統110構造提供視覺資料和/或視覺軌道的資訊的元資料(metadata)。例如，來源子系統110構造將ROI的關聯資訊提供給視覺軌道的元資料。在一些實施例中，來源子系統110可以構造具有時間順序的元資料樣本的元資料軌道。位於一時間處的元資料樣本給位於此時間的視覺軌道提供ROI的關聯資訊。
根據一些實施例，來源子系統110參考特定視覺軌道來構造元資料軌道，並且特定視覺軌道稱為元資料軌道的參考視覺軌道。來源子系統110包括元資料軌道中的感興趣區域資訊，並且ROI資訊包括ROI到參考視覺軌道的視覺視圖的空間關係。另外，來源子系統110包括將ROI與除了參考視覺軌道之外的視覺軌道關聯的資訊，例如，承載一ROI的視覺資料或者提供ROI的視覺軌道列表。
在一實施例中，來源子系統110可以構造主視覺軌道、區域視覺軌道和參考主視覺軌道的元資料軌道。在道路自行車比賽事件的視覺內容的一示例中，主視覺軌道包括一主組騎手的全景視圖的圖像樣本，特定區域視覺軌道包括該主組中的騎手子集的追蹤視圖的圖像樣本。另外，來源子系統110構造參考主視覺軌道的元資料軌道。元資料軌道包括ROI與主視覺軌道的視覺視圖的空間關係，並在元資料軌道中指定了ROI由特定區域視覺軌道來承載。
在另一示例中，主視覺軌道包括較大視覺視圖的定時圖像序列，並且區域視覺軌道包括較大視覺視圖的空間分割的定時圖像樣本。另外，來源子系統110構造參考主視覺軌 道的元資料軌道。主視覺軌道包含ROI。元資料軌道包括ROI與主視覺軌道的視覺視圖的空間關係，並在元資料軌道中指定了提供ROI的區域視覺軌道。元資料軌道可以包括位於不同層處的ROI資訊，例如，樣本層、樣本條目層等。一樣本條目對應於時間週期內的複數個樣本。在一示例中，元資料軌道包括定時元資料樣本，位於一時間處的元資料樣描述了空間屬性，例如參考主視覺軌道的位於該時間處的ROI的尺寸、位置，以及提供ROI的區域視覺軌道的識別碼(identifier)的列表。在另一示例中，當ROI的位置和尺寸在某個時間週期段不變時，ROI資訊可以被包括在時間週期的樣本條目中。
在一實施例中，來源子系統110構造一個ROI的一個元資料軌道。在另一實施例中，來源子系統110構造複數個ROI的一個元資料軌道。在一示例中，來源子系統110可以構造包含複數個ROI、複數個區域視覺軌道和參考主視覺軌道的一元資料軌道的主視覺軌道，以包括複數個ROI的ROI資訊。例如，對於由一識別碼標識的每個ROI，元資料軌道包括ROI到主視覺軌道的視覺視圖的空間關係，並在元資料軌道中指定了提供ROI的區域視覺軌道列表。同樣地，元資料軌道可以包括位於不同層處的ROI資訊，例如，樣本層、樣本條目層等。例如，當ROI到參考視覺軌道的相對空間關係在某個時間週期段內不改變時，元資料軌道可以包括該時間段內的樣本條目中的ROI資訊；以及當ROI到參考視覺軌道的相對空間關係隨著時間而改變時，元資料軌道可以包括位於樣本層處的各自元資料樣中的ROI資訊。
注意的是，在一些實施例中，來源子系統110可以參考區域視覺軌道來構造元資料軌道。在一示例中，來源子系統110可以構造主視覺軌道、區域視覺軌道和參考特定區域視覺軌道的元資料軌道。元資料軌道包括參考特定區域視覺軌道的ROI資訊。例如，元資料軌道包括參考特定區域視覺軌道的視覺視圖的ROI的空間關係。在一示例中，當ROI的元資料軌道參考特定區域視覺軌道時，特定區域視覺軌道提供ROI的圖像生成。元資料軌道可以包括複數個ROI的ROI資訊。ROI資訊可以被包括在樣本層和樣本條目層處。
如臨時申請中所公開，更具體地，當(主)視覺軌道v中存在包含、提供或者關於複數個ROI，即R 1 ,...,R k ,k
Figure 107107670-A0305-02-0010-21
1的內容的(區域)視覺軌道，即v 1 ,...,v n ,n
Figure 107107670-A0305-02-0010-22
0時，本發明提供有效機制，以在如下情景中進行發信以用於額外的使用示例，其中，參考視覺軌道是包含這些ROI的(主)視覺軌道v或者提供這些ROI的(區域)視覺軌道v i ,1
Figure 107107670-A0305-02-0010-23
i
Figure 107107670-A0305-02-0010-24
n：
1.主視覺內容包含單個ROI：定時元資料軌道m發信參考(主)視覺軌道v包含一ROI，其由其2D笛卡爾(Cartesian)座標所定義、由ROI識別碼id所標識并由視覺軌道v 1 ,...,v n 所提供(或承載在視覺軌道v 1 ,...,v n 中)。
注意的是，當n=0時，元資料軌道不發信承載ROI內容的任何區域視覺軌道，這降低回到諸如由ISO/IEC 23001-10標準當前所支持的使用實例。還注意的是，標準中的“特寫(close-up)視圖(視訊中的視訊)”使用實例是這種的特定實例，其中ROI視訊由且僅由一區域視訊軌道提供。
2.主視覺內容包含複數個ROI：定時元資料軌道m發信參考(主)視覺軌道v包含複數個ROI，每個ROI由其2D笛卡爾座標所定義、由ROI識別碼id所標識并承載在視覺軌道v 1 ,...,v n 。
3.區域視覺內容包含單個ROI：定時元資料軌道m'發信指示參考(區域)視覺軌道v'提供(主)視覺軌道v的一ROI，其由ROI識別碼id所標識，並且來自於v'的提供部分是由該ROI和軌道v'本身的2D笛卡爾座標進行定義的。
注意的是，ROI可以以區域的形式來定義，這是因為任何區域或者整體屬於ROI，或者根本不提供ROI。在這種情況中，提供部分的發信可以被忽略。還注意的是，主視覺軌道v被發信以用於確保區域視覺軌道所提供的ROI的唯一性以及容易定位ROI。如果ROI的標識可以被做成唯一的且容易訪問的，則主視覺軌道v的發信也可以被忽略。
4.區域視覺內容提供複數個ROI：定時元資料軌道m'發信參考(區域)視覺軌道v'提供複數個ROI，並且對於(主)視覺軌道v的由ROI識別碼id所標識的每個提供ROI，來自於v'的提供部分是由ROI和軌道v'本身的2D笛卡爾座標進行定義的。
根據本發明的一方面，由來源子系統110所構造的元資料軌道透過其各自的關聯定時元資料軌道提供包含(主)視覺軌道的ROI與提供(區域)視覺軌道之間的可行且雙方式關聯。因此，容易訪問和切換可以從一個類型的軌道到另一類型的軌道進行實現，以用於諸如ROI處理、存儲、傳送、 注釋(annotating)和渲染的目的。
在一些實施例中，所公開的技術可以用於發信分層ROI，其中ROI可以具有其自身的ROI。在這些情景中，提供區域視覺軌道的ROI也可以是包含主視覺軌道的ROI，並且一個或複數個定時元資料軌道可以用於發信其所提供的ROI，一個或複數個定時元資料軌道用於發信其所包含的ROI。
注意的是，本發明中所定義的樣本條目類型和類別的名稱是示意性的，並且其定義可以是較優的且是更緊湊的，特別當某些因素可以被忽略、固定且假設為常數或者非時變時。
在第1圖示例中，來源子系統110包括耦接在一起的獲取設備112、處理電路120、記憶體115和介面電路111。
獲取設備112被配置為獲取各種媒體資料。在一示例中，獲取設備112被配置為獲取道路自行車比賽事件的視覺內容，例如，一主組的騎手的全景視圖和主組中騎手子集的追蹤視圖。在另一示例中，獲取設備112被配置為獲取2D視訊的圖像、聲音等和/或3D全景視訊/360視訊。獲取設備112可以具有任何適當的設置。在一示例中，獲取設備112包括全景視圖的Peloton攝像機和追蹤視圖的追蹤攝像機。在另一示例中，獲取設備112包括具有複數個攝像機的攝像機裝置(未示出)，例如具有兩個魚眼攝像機的成像系統、具有四個攝像機的四面體成像系統、具有六個攝像機的立方體成像系統、具有八個攝像機的八面體成像系統和具有二十個攝像機的二十面體成像系統等，其被配置為拍攝周圍空間內的各個方向的圖 像。
在一實施例中，相比單個攝像機，複數個攝像機所拍攝的圖像是重疊的，並且可以被縫合(stitched)以提供周圍空間的更大覆蓋。在一示例中，複數個攝像機所拍攝的圖像可以提供整個周圍空間的360°球面覆蓋。注意的是，複數個攝像機所拍攝的圖像可以提供周圍空間的少於360°球面覆蓋。
獲取設備112所獲取的媒體資料可以被適當地存儲或緩存，例如，在記憶體115中。處理電路120可以訪問記憶體115，處理媒體資料並以適合的格式封裝媒體資料。隨後，已封裝媒體資料被適當地存儲或者緩存，例如，在記憶體115中。
在一實施例中，處理電路120包括被配置為處理音訊資料的音訊處理路徑，並包括被配置為處理圖像/視訊資料的圖像/視訊處理路徑。隨後，處理電路120根據適當的格式將元資料與封裝音訊、圖像和視訊資料封裝到一起。
在一示例中，獲取設備112所獲取的圖像是二維(two-dimension，2D)圖像。在另一示例中，在圖像/視訊處理路徑上，處理電路120可以縫合不同攝像機所拍攝的圖像以形成已縫合圖像，例如，全向圖像等。隨後，處理電路120可以根據適當的2D平面來投影全向圖像，以將全向圖像轉換成可使用2D編碼技術編碼的2D圖像。隨後，處理電路120可以適當地編碼圖像和/或圖像流。
注意的是，處理電路120可以根據任何適當的投影技術來投影全向圖像。在一示例中，處理電路120可以使用 等角投影(equirectangular projection，ERP)投影全向圖像。ERP投影以與將地球投影到地圖的方式相似的方式，將球體表面，例如全向圖像，投影到矩形平面，例如2D圖像。在一示例中，球體表面(例如地球表面)使用偏航(例如，經度)和俯仰(緯度)的球面坐標系統，矩形平面使用XY坐標系統。在投影期間，偏航圈被轉換成垂直線，俯仰圈被轉換成水平線，偏航圈和俯仰圈在球體坐標系統中是正交的，並且垂直線和水平線在XY坐標系統中是正交的。
在另一示例中，處理電路120可以將全向圖像投影到正多面體的面，例如，四面體、立方體、八面體和二十面體等。已投影面可以被分別重新排列，例如旋轉、重新定位，以形成2D圖像。隨後，2D圖像被編碼。
注意的是，在一實施例中，處理電路120可以編碼不同攝像機所拍攝的圖像，並對這些圖像不執行縫合操作和/或投影操作。
根據本發明的一方面，處理電路120被配置為將視覺內容封裝成複數個視覺軌道，並構造關於各自的參考視覺軌道的元資料軌道。元資料軌道包括ROI，並將ROI與除了參考視覺軌道之外的視覺軌道進行關聯。
根據本發明的一方面，處理電路120包括文檔生成模組130，其配置為將視覺軌道和元資料軌道封裝到一文檔中。在一實施例中，處理電路120被配置為使用可拓展格式標準，例如ISO基本媒體文檔案格式(ISOBMFF)等，以用於基於時間的媒體，例如視訊和/或音訊。在一示例中，ISO基本媒體 文檔案格式定義了基於時間的多媒體文檔的常規結構，且是靈活且可拓展的，其有利於互換、管理、編輯和媒體的表示。ISO基本媒體文檔案格式是獨立於特定網路通訊協定，並且通常可以支持不同的網路通訊協定。因此，在一示例中，透過網路或透過其他流傳送機制，ISO基本媒體文檔案格式的基於文檔的呈現可以被本地渲染。
通常，媒體表示可以被包含在一個或複數個文檔中。一個或複數個文檔中的一個具體文檔包括媒體表示的元資料，並根據文檔案格式而被格式化，例如ISO基本媒體文檔案格式。該具體文檔也可以包括媒體資料。當媒體表示被包含在複數個文檔中時，其他文檔可以包括元資料。在一實施例中，元資料用於透過參考媒體資料來描述媒體資料。因此，在一示例中，媒體資料被存儲在與任何協定無關(agnostic)的狀態中。同一媒體資料可以用於局部表示和複數個協定等。媒體資料可以按照或者不按照順序進行存儲。
ISO基本媒體文檔案格式包括特定集合的框(box)。這些框是邏輯容器。框包括描述符，其保留自媒體內容和媒體內容結構推導出的參數。媒體被封裝在框的分層中。框是由唯一類型識別碼所定義的物件導向的創建塊。
在一示例中，媒體內容的表示被稱為電影，並被分割成以時間的形式串聯的軌道。每個軌道表示媒體內容的樣本的定時序列。媒體內容被存儲，並由訪問單元進行訪問，例如資訊框等。訪問單元被定義為基礎流內的資料的最小單個可訪問部分，並且唯一定時資訊可以分配給每個訪問單元。在一 實施例中，訪問單元可以被實體地存儲在任何序列和/或任何組中，是完整的或被子分割成封包(packet)。使用對訪問單元被存儲的位元組位置的參考，ISO基本媒體文檔案格式使用框以將訪問單元映射成樣本流。在一示例中，樣本資訊允許訪問單元以在時間線上同時被解碼且表示，而無論存儲如何。
根據本發明的方面，處理電路120被配置為包括參考被參考視覺軌道的元資料軌道中的ROI資訊。ROI資訊包括含有參考被參考視覺軌道的視覺視圖的ROI空間資訊，並且包括視覺軌道的承載者(例如，承載ROI的視覺資料的視覺軌道)或者貢獻者(例如，將視覺資料貢獻到ROI的視覺軌道)資訊。在一實施例中，處理電路120被配置為使用軌道框(track box)以包括參考參考視覺軌道的元資料。例如，處理電路120使用軌道框以包括參考參考視覺軌道的ROI元資料樣本。處理電路120可以包括屬性的描述，例如，位於元資料軌道中的元資料樣本層或者元資料樣條目層的ROI的識別碼、ROI的2D笛卡爾座標、視覺軌道的識別碼列表等。
另外，根據本發明的一方面，處理電路120被配置為接收ROI的視覺資料的請求，並確定基於媒體文檔中的元資料而提供ROI的視覺軌道。隨後，回應於該請求，處理電路120可以提供，例如，所確定的視覺軌道。在一示例中，處理電路120可以取回所確定的視覺軌道的視覺資料，並生成封包以承載所取回的視覺資料。隨後，介面電路111可以發送封包。
ROI資訊和文檔案格式的示例如第2圖-第5圖所示，並將結合第2圖-第5圖進行描述。
在一實施例中，處理電路120使用一個或複數個處理器來實現，並且一個或複數個處理器被配置為執行軟體指令以執行媒體資料處理。在另一實施例中，處理電路120使用積體電路來實現。
在第1圖示例中，封裝的媒體資料透過介面電路111被提供給傳送子系統150。傳送子系統150被配置為適當地將媒體資料提供到用戶端設備，例如渲染子系統160。
在一實施例中，傳送子系統150包括不同的網路元件，例如路由器、網路交換機、基站和接入點等，以形成來源子系統110和渲染子系統160之間的傳送路徑。在一示例中，來源子系統110透過傳送子系統150將媒體表示發送到渲染子系統160。渲染子系統160透過傳送子系統150將視埠資訊，例如，以ROI的識別碼的形式，發信到來源子系統110。視埠資訊表示渲染子系統160所請求的ROI。基於視埠資訊，處理電路120執行及時處理。例如，處理電路120基於視埠資訊選擇提供ROI的適當的視覺軌道，基於時間週期選擇適當的圖像樣本，以及基於可用的頻寬和加密模式需求編碼和/或加密所選擇的圖像樣本，以生成封包。傳送子系統150將封包傳送給渲染子系統160。隨後，渲染子系統160解碼和/或解密包以重構圖像樣本以用於顯示。
傳送子系統150的元件透過有線連接和/或無線連接適當地耦接在一起。傳送子系統150透過有線連接和/或無線連接與來源子系統110和渲染子系統160適當地耦接。
渲染子系統160可以使用任何適當的技術來實 現。在一示例中，渲染子系統160的元件被整合在一設備封包中。在另一示例中，渲染子系統160是一分散式系統，來源子系統110的元件可以位於不同的位置處，並透過有線連接和/或無線連接適當地耦接在一起。
在第1圖示例中，渲染子系統160包括耦接在一起的介面電路161、處理電路170和顯示裝置165。介面電路161被配置為透過任何適當的通信協議適當地接收媒體資訊，例如媒體表示的文檔、媒體流等。
處理電路170被配置為處理媒體資訊，並生成圖像以用於顯示裝置165呈現給一個或複數個用戶。顯示裝置165可以是任何適當的顯示，例如電視機、智慧手機、穿戴顯示、頭戴式設備等。
在一示例中，處理電路170包括處理模組180和圖像生成模組190。處理模組180被配置為執行封包處理、控制操作和通信操作。圖像生成模組190被配置為生成感興趣區域的圖像。處理模組180和圖像生成模組190可以被實現為執行軟體指令的處理器，或者可以被實現為積體電路。
根據本發明的一方面，渲染子系統160可以處理由來源子系統110所構造的元資料。在一實施例中，來源子系統110透過傳送子系統150將媒體文檔發送到渲染子系統160。媒體文檔包括元資料軌道。元資料軌道包括ROI與視覺軌道的關係，例如，ROI與參考視覺軌道的視覺視圖的空間關係、視覺軌道與ROI的承載者關係或者提供者關係等。
在一實施例中，處理電路170可以解析元資料軌 道以提取ROI與視覺軌道的關係。另外，在一示例中，當ROI被選擇時，處理電路170可以確定可提供視覺資料的視覺軌道，以用於生成ROI的圖像。在一示例中，處理電路170可以生成一請求，以請求確定的視覺軌道的視覺資料。該請求可以是由介面電路161發送出去的。隨後，介面電路161可以接收承載確定的視覺軌道的視覺資料的訊號。隨後，處理電路170可以基於接收到的視覺資料生成ROI的圖像。
第2圖顯示了示出根據本發明一些實施例的視覺內容和相應的媒體文檔230的示意圖。視覺內容包括視覺樣本(圖中用MDTA來表示)的不同空間屬性。例如，視覺內容包括主視覺視圖210的視覺資料、四個區域視覺視圖211-214和ROI 216(即ROI-1)。主視覺視圖210的視覺資料可以形成視覺軌道v，用來提供主視覺視圖210中的視訊。區域視覺視圖211的視覺資料可以形成提供區域視覺視圖211中的視訊的視覺軌道v1，區域視覺視圖212的視覺資料可以形成提供區域視覺視圖212中的視訊的視覺軌道v2，區域視覺視圖213的視覺資料可以形成提供區域視覺視圖213中的視訊的視覺軌道v3，區域視覺視圖214的視覺資料可以形成提供區域視覺視圖214中的視訊的視覺軌道v4。
在一示例中，ROI 216位於主視覺視圖210之內，並且可以在主視覺視圖210內移動。例如，如第2圖所示，在一時間處，ROI 216的一部分是位於區域視覺視圖212中，ROI 216的剩餘部分是位於區域視覺視圖214中。在另一時間(未示出)處，整個ROI 216可以移動到區域視覺視圖212中。
如第2圖所示，文檔230包括視覺軌道(圖中用TRAK來表示)的軌道框和元資料軌道的軌道框。例如，文檔230包括主視覺軌道v(也稱為視訊)的軌道框240。軌道框240包括媒體框245，其可以包括主視訊樣本的索引。同樣地，文檔230包括區域視覺軌道v1到區域視覺軌道v4的軌道框260、軌道框270、軌道框280和軌道框290。軌道框260包括媒體框265，其可以包括區域視訊樣本的索引，以用於生成區域視訊v1。軌道框270包括媒體框275，其可以包括區域視訊樣本的索引，以用於生成區域視訊v2。軌道框280包括媒體框285，其可以包括區域視訊樣本的索引，以用於生成區域視訊v3。軌道框290包括媒體框295，其可以包括區域視訊樣本的索引，以用於生成區域視訊v4。
還如第2圖所示，文檔230包括ROI 216的元資料軌道m的軌道框250。軌道框250包括一描述以表示ROI的參考視覺軌道是主視訊v(例如，tref(‘cdsc’,v))，且主視訊包含ROI。軌道框250包括媒體框255，以包括ROI資訊的描述，例如參考主視訊v的空間關係和與其他視覺軌道的關聯。在一些實施例中，媒體框255包括樣本條目框，樣本條目框包括複數個樣本的索引。樣本條目和可以用於指定對複數個樣本相同的屬性。
ROI可以被指定在不同層處。在一示例中，當參考主視訊v的ROI的位置和尺寸是靜態的(即不隨時間而改變)時，ROI可以被指定在樣本條目層處。例如，樣本條目框指定了參考主視訊v的ROI以及與其他視覺軌道的關聯。例如，元 資料樣本條目框包括ROI 216的識別碼、參考視覺軌道v的視覺視圖中的ROI 216的位置、ROI 216的尺寸和提供ROI 216的視覺軌道(例如v2和v4)的列表。在一示例中，參考視覺軌道的視覺視圖透過視覺視圖的尺寸進行描述，例如reference_width、reference_height；視覺視圖中的ROI 216的位置使用頂層角的座標進行描述，例如top_left_x和top_left_y(例如，假設主視覺視圖210的頂層角是原點)；ROI 216的尺寸使用寬度和高度進行描述。
在另一示例中，當參考主視訊v的ROI的位置和尺寸隨著時間改變時，ROI可以被指定在樣本層。例如，用於第2圖中的圖像的時間的第一元資料樣本包括ROI 216的識別碼、主視覺視圖中的ROI 216的位置、ROI 216的尺寸和提供ROI 216的視覺軌道(例如v2和v4)的列表；用於不同時間的第二元資料樣本包括ROI 216的識別碼、ROI 216在主視覺視圖中的新位置(例如，左上角的座標)、ROI 216的新尺寸(例如寬度和高度)和視覺軌道(僅v2)的列表。
申請號為62/467,860的美國臨時申請的“Signaling for a Main Visual Track Containing a single ROI”的部分中公開了主視覺軌道包含單個ROI的發信的介紹、樣本條目層描述的語法及語義、樣本層描述的語法及語義，其被包括在附錄A中。
第3圖顯示了示出根據本發明一些實施例的視覺內容和相應的媒體文檔330的示意圖。視覺內容包括視覺樣本(圖中用MDTA來表示)的不同空間屬性。例如，視覺內容包括主視覺視圖310的視覺資料、四個區域視覺視圖311-314、 第一ROI 316(即ROI-1)和第二ROI 317(即ROI-2)。主視覺視圖310的視覺資料可以形成視覺軌道v，其提供主視覺視圖310中的視訊。區域視覺視圖311的視覺資料可以形成提供區域視覺視圖311中的視訊的視覺軌道v1，區域視覺視圖312的視覺資料可以形成提供區域視覺視圖312中的視訊的視覺軌道v2，區域視覺視圖313的視覺資料可以形成提供區域視覺視圖313中的視訊的視覺軌道v3，區域視覺視圖314的視覺資料可以形成提供區域視覺視圖314中的視訊的視覺軌道v4。
在一示例中，ROI 316和ROI 317位於主視覺視圖310之內，並且可以在主視覺視圖310內移動。例如，在一時間處，ROI 316的一部分是在區域視覺視圖312中，ROI 316的剩餘部分是在區域視覺視圖314中。在另一時間處，整個ROI 316可以移動到區域視覺視圖312中。在另一示例中，ROI 317在區域視覺視圖314內移動。
如第3圖所示，文檔330包括視覺軌道(圖中用TRAK來表示)的軌道框和元資料軌道的軌道框。例如，文檔330包括主視覺軌道v的軌道框340。軌道框340包括媒體框345，其可以包括主視訊樣本的索引。同樣地，文檔330包括區域視覺軌道v1到區域視覺軌道v4的軌道框360、軌道框370、軌道框380和軌道框390。軌道框360包括媒體框365，其可以包括區域視訊樣本的索引，以用於生成區域視訊v1。軌道框370包括媒體框375，其可以包括區域視訊樣本的索引，以用於生成區域視訊v2。軌道框380包括媒體框385，其可以包括區域視訊樣本的索引，以用於生成區域視訊v3。軌道框 390包括媒體框395，其可以包括區域視訊樣本的索引，以用於生成區域視訊v4。
還如第3圖所示，文檔330包括ROI 316的元資料軌道m的軌道框350。軌道框350包括一描述(例如，tref(‘cdsc’,v))以表示ROI的參考視覺軌道是主視訊v。軌道框350包括媒體框355，以包括參考主視訊v的ROI以及ROI與其他視覺軌道的關聯的描述。在一示例中，媒體框355包括以時間順序的元資料樣本的索引。在另一實施例中，媒體框355包括樣本條目框，樣本條目框包括複數個樣本的索引。樣本條目和可以用於指定對複數個樣本共同的屬性。
ROI可以被指定在不同層處。在一示例中，當參考主視訊v的ROI的位置和尺寸是靜態的(即不隨時間而改變)時，ROI可以被指定在樣本條目層處。例如，樣本條目框指定參考主視訊v的ROI和與其他視覺軌道的關聯。例如，元資料樣本條目框包括ROI 316的識別碼ROI-1、視覺視圖310中的ROI 316的位置(例如左上角的座標)、ROI 316的尺寸(例如寬度和高度)和提供ROI 316的視覺軌道(例如v2和v4)的列表。另外，元資料樣本條目框包括ROI 317的識別碼ROI-2、ROI 317在視覺視圖310中的位置(例如左上角的座標)、ROI 317的尺寸(例如寬度和高度)和提供ROI 317的視覺軌道(例如v4)的列表。
在另一示例中，當與主視訊v相關的ROI的位置和尺寸隨著時間改變時，ROI可以被指定在樣本層處。例如，用於第3圖中的圖像的該時間的第一元資料樣本包括ROI 316 的識別碼ROI-1、ROI 316在主視覺視圖中的位置(例如左上角的座標)、ROI 316的尺寸(寬度和高度)和提供ROI 316的視覺軌道(例如v2和v4)的列表；用於不同時間的第二元資料樣本包括ROI 316的識別碼、ROI 316在主視覺視圖中的新位置(例如，左上角的座標)、ROI 316的新尺寸(例如寬度和高度)和視覺軌道(僅v2)的列表。
在第3圖示例中，軌道框350包括一個元資料軌道，以用於定義複數個ROI。在其他示例中，文檔330可以包括複數個元資料軌道框，以分別用於複數個ROI。
申請號為62/467,860的美國臨時申請的“Signaling for a Main Visual Track Containing Multiple ROIs”的部分中公開了主視覺軌道包含複數個ROI的發信的介紹、樣本條目層描述的語法及語義、樣本層描述的語法及語義，其被包括在附錄A中。
第4圖顯示了示出根據本發明一些實施例的視覺內容和相應的媒體文檔430的示意圖。視覺內容包括視覺樣本(圖中用MDTA來表示)的不同空間屬性。例如，視覺內容包括主視覺視圖410、四個區域視覺視圖411-414和ROI 417(即ROI-2)的視覺資料。主視覺視圖410的視覺資料可以形成視覺軌道v，其提供主視覺視圖410中的視訊。區域視覺視圖411的視覺資料可以形成提供區域視覺視圖411中的視訊的視覺軌道v1，區域視覺視圖412的視覺資料可以形成提供區域視覺視圖412中的視訊的視覺軌道v2，區域視覺視圖412的視覺資料可以形成提供區域視覺視圖412中的視訊的視覺軌道v3，區域 視覺視圖414的視覺資料可以形成提供區域視覺視圖414中的視訊的視覺軌道v4。
在一示例中，參考視覺軌道(即視覺軌道v4)的視覺視圖以視覺視圖414的尺寸進行描述，例如，視覺視圖414的reference_width、視覺視圖414的reference_height。視覺視圖414中的ROI 417的位置使用參考視覺視圖414的左上角的座標進行描述，例如track_portion_top_left_x和track_portion_top_left_y(例如，假設視覺視圖414的左上角是原點)，ROI 417的尺寸使用寬度和高度進行描述，例如portion_width、portion_height。
注意的是，參考視覺視圖414的ROI 417的位置不同於參考視覺視圖410的ROI 417的位置。例如，當ROI 417的一部分位於視覺視圖414之外時，參考視覺視圖414的ROI 417的尺寸可以不同於參考視覺視圖410的ROI 417的尺寸。
如第4圖所示，文檔430包括視覺軌道(圖中用TRAK來表示)的軌道框和元資料軌道的軌道框。例如，文檔430包括主視覺軌道v的軌道框440。軌道框440包括媒體框445，其可以包括主視訊樣本的索引。同樣地，文檔430包括區域視覺軌道v1到區域視覺軌道v4的軌道框460、軌道框470、軌道框480和軌道框490。軌道框460包括媒體框465，其可以包括區域視訊樣本的索引，以用於生成區域視訊v1。軌道框470包括媒體框475，其可以包括區域視訊樣本的索引，以用於生成區域視訊v2。軌道框480包括媒體框485，其可以包括區域視訊樣本的索引，以用於生成區域視訊v3。軌道框 490包括媒體框495，其可以包括區域視訊樣本的索引，以用於生成區域視訊v4。
還如第4圖所示，文檔430包括ROI 417的元資料軌道m’的軌道框497。軌道框497包括表示ROI 417的參考視覺軌道是區域視訊v4的一描述(例如，tref(‘cdsc’,v))。軌道框497包括媒體框499，以表示參考視覺軌道v4提供主視訊v中的ROI 417(即ROI-2)。在一示例中，文檔430還包括參考主視覺軌道v的元資料軌道m的軌道框450。軌道框450指示提供給ROI-2的區域軌道v4。
在一實施例中，媒體框499包括樣本條目框，樣本條目框包括複數個樣本的索引。樣本條目框可以用於指定對複數個樣本相同的屬性。
區域視覺軌道提供單個ROI-2的發信可以被指定在不同層處。在一示例中，當參考主視訊v4的ROI的位置和尺寸是靜態的(即不隨時間而改變)時，ROI-2可以被指定在樣本條目層處。例如，樣本條目框指定了參考主視訊v4的ROI和與其他視覺軌道的關聯。例如，元資料樣本條目框包括ROI 417的識別碼、ROI 417在區域視覺視圖414中的位置、ROI 417在區域視覺視圖414中的尺寸。
在另一示例中，當與主視訊v相關的ROI 417的位置和尺寸隨著時間改變時，ROI 417可以被指定在樣本層處。例如，用於第4圖中的圖像的時間的第一元資料樣本包括ROI 417的識別碼、ROI 417在區域視覺視圖414中的位置(參考區域視覺視圖414)、區域視覺視圖414中的ROI 417的尺 寸；用於不同時間的第二元資料樣本包括ROI 417的識別碼、ROI 417在區域視覺視圖414中的新位置、ROI 417在區域視覺視圖414中的新尺寸。
申請號為62/467,860的美國臨時申請的“Signaling for a Region Visual Track Contributing a single ROI”的部分中公開了主視覺軌道包含單個ROI的發信的介紹、樣本條目層描述的語法及語義、樣本層描述的語法及語義，其被包括在附錄A中。
第5圖顯示了示出根據本發明一些實施例的視覺內容和相應的媒體文檔530的示意圖。視覺內容包括視覺樣本(圖中用MDTA來表示)的不同空間屬性。例如，視覺內容包括主視覺視圖510、四個區域視覺視圖511-514、第一ROI 516(即ROI-1)和第二ROI 517(即ROI-2)的視覺資料。主視覺視圖510的視覺資料可以形成視覺軌道v，其提供主視覺視圖510中的視訊。區域視覺視圖511的視覺資料可以形成提供區域視覺視圖511中的視訊的視覺軌道v1，區域視覺視圖512的視覺資料可以形成提供區域視覺視圖514中的視訊的視覺軌道v2，區域視覺視圖513的視覺資料可以形成提供區域視覺視圖513中的視訊的視覺軌道v3，區域視覺視圖514的視覺資料可以形成提供區域視覺視圖514中的視訊的視覺軌道v4。
在一示例中，參考視覺軌道(即視覺軌道v4)的視覺視圖以視覺視圖514的尺寸進行描述，例如，區域視覺視圖514的寬度、區域視覺視圖514的高度。區域視覺視圖514中的ROI的位置使用參考區域視覺視圖514的左上角的座標進 行描述；區域視覺視圖中的ROI的尺寸使用區域視覺視圖514的部分寬度和部分高度進行描述(位於區域視覺視圖514之外的ROI的一部分不被計入)。
注意的是，參考視覺視圖514的ROI的位置不同於參考視覺視圖510的ROI的位置。例如，當ROI 517的一部分位於視覺視圖514之外時，參考視覺視圖514的ROI 517的尺寸可以不同於參考視覺視圖510的ROI 517的尺寸。在第5圖示例中，ROI-1 516位於主視覺視圖510之內，並且ROI-1的一部分，稱為ROI-1部分526，位於區域視覺視圖514之內。參考主視覺視圖510，ROI-1 516的左上角被示為522，並可以被表示為座標(roi_portion_top_left_x,roi_portion_top_left_y)，例如，假設主視覺視圖510的左上角521是原點。參考區域視覺視圖514，ROI-1 526的左上角被示為527，並可以被表示為座標(track_portion_top_left_x,track_portion_top_left_y)，例如，假設區域視覺視圖514的左上角525是原點。在第5圖示例中，ROI-1部分526的寬度和高度可以由portion_width和portion_height來表示。
如第5圖所示，文檔530包括視覺軌道(圖中用TRAK來表示)的軌道框和元資料軌道的軌道框。例如，文檔530包括主視覺軌道v的軌道框540。軌道框540包括媒體框545，其可以包括主視訊樣本的索引。同樣地，文檔530包括區域視覺軌道v1到區域視覺軌道v4的軌道框560、軌道框570、軌道框580和軌道框590。軌道框560包括媒體框565，其可以包括區域視訊樣本的索引，以用於生成區域視訊v1。軌 道框570包括媒體框575，其可以包括區域視訊樣本的索引，以用於生成區域視訊v2。軌道框580包括媒體框585，其可以包括區域視訊樣本的索引，以用於生成區域視訊v3。軌道框590包括媒體框595，其可以包括區域視訊樣本的索引，以用於生成區域視訊v4。
還如第5圖所示，文檔530包括ROI的元資料軌道m’的軌道框597。軌道框597包括一描述(例如，tref(‘cdsc’,v4))以表示ROI的參考視覺軌道是區域視訊v4。軌道框597包括媒體框599，以表示參考視覺軌道v4提供ROI 516(即ROI-1)和ROI 517(即ROI-2)。主視訊v包含ROI-1和ROI-2。在一示例中，文檔530還包括與主視覺軌道v相關的元資料軌道的軌道框550。軌道框550表示區域軌道v4提供ROI-1和ROI-2。
在一實施例中，媒體框599包括樣本條目框，樣本條目框包括複數個樣本的索引。樣本條目框可以用於指定對複數個樣本相同的屬性。
區域視訊軌道提供複數個ROI的發信可以被指定在不同層處。在一示例中，當參考主視訊v4的ROI的位置和尺寸是靜態的(即不隨時間而改變)時，ROI可以被指定在樣本條目層處。例如，樣本條目框指定了參考主視訊v4的ROI和與其他視覺軌道的關聯。例如，元資料樣本條目框包括ROI 517的識別碼、ROI 517在區域視覺視圖514中的位置、ROI 517在區域視覺視圖514中的尺寸。
在另一示例中，當與主視訊v相關的複數個ROI 的位置和尺寸隨著時間改變時，ROI可以被指定在樣本層處。例如，用於第5圖中的圖像的該時間的第一元資料樣本包括ROI 516的識別碼、ROI 516在區域視覺視圖514中的位置；用於不同時間的第二元資料樣本包括ROI 516的識別碼、ROI 516在區域視覺視圖514中的新位置、ROI 516在區域視覺視圖514中的新尺寸。
申請號為62/467,860的美國臨時申請的“Signaling for a Region Visual Track Contributing to Multiple ROIs”的部分中公開了區域視覺軌道包含複數個ROI的發信的介紹、樣本條目層描述的語法及語義、樣本層描述的語法及語義，其被包括在附錄A中。
注意的是，第2圖-第5圖中使用的是笛卡爾2D坐標系統。另外，在第2圖-第5圖中，區域，例如感興趣區域、片段區域、子圖像區域、分割區域等，通常具有矩形形狀，且該區域的空間屬性可以由矩形形狀的角位置(例如左上角)、矩形形狀的寬度和高度來指定。
第6圖顯示了示出根據本發明實施例的流程示例600的流程圖。在一示例中，流程600由第1圖示例中的來源子系統110來執行。本流程始於S601並繼續到S610。
在S610中，獲取媒體資料。在一示例中，獲取設備112包括全景視圖的Peloton攝像機和追蹤視圖的追蹤攝像機。在另一示例中，獲取設備112包括具有拍攝周圍空間內的各個方向的圖像的複數個攝像機的攝像機裝置。在一些其他實施例中，媒體資料是自多於一個源設備(例如，獲取設備112 或者被配置為提供媒體資料的任何其他類型的源設備)獲取的，其在本發明中不作限定。
在S620中，處理視覺資料，以生成視覺樣本並形成視覺軌道。在一示例中，處理電路120可以將從不同攝像機拍攝的圖像縫合在一起，以形成已縫合圖像，例如全向圖像等。隨後，處理電路120可以根據適當的2D平面來投影圖像，以將該圖像轉換成2D圖像。在一示例中，2D平面可以被分割成複數子圖像區域(分割)，並且處理電路120形成不同視覺視圖的視覺軌道，例如，第2圖-第5圖示例中的視覺軌道v和視覺軌道v1-v4。隨後，處理電路120生成軌道框以分別對應於視覺軌道。視覺軌道的軌道框可以包括指向視覺樣本子集以形成該視覺軌道的資料索引。
在S630中，確定將ROI與視覺軌道關聯的元資料。在一示例中，處理電路120選擇ROI的參考視覺軌道，例如，主視覺軌道、區域視覺軌道等。處理電路120確定參考與參考視覺軌道相關的ROI的空間屬性，例如與參考參考視覺軌道相關的視覺視圖的ROI的位置、ROI的一部分在參考視覺軌道的視覺視圖中的ROI的部分的尺寸等。另外，處理電路120確定一框層(box level)以包括ROI資訊。例如，當ROI的位置和尺寸在某個時間段內不改變時，處理電路120確定包括位於樣本條目層處的ROI資訊，其指定時間段內的複數個樣本的共同屬性；以及當ROI的位置和尺寸隨著時間而改變時，處理電路120確定包括逐樣本改變的位於樣本層處的ROI資訊。隨後，處理電路120形成元資料軌道以包括定時元資料樣本。
在S640中，將視覺軌道和元資料軌道封裝在一文檔中。在一示例中，視覺軌道、元資料軌道和其他適合的軌道被封裝在符合ISOBMFF的一文檔(例如，文檔230、文檔330、文檔430和文檔530)中。在一示例中，該文檔被適當地存儲。隨後，本流程繼續到S699並結束。
第7圖顯示了示出根據本發明實施例的流程示例700的流程圖。在一示例中，流程700由第1圖示例中的渲染子系統160來執行。流程700始於S701並繼續到S710。
在S710中，接收將ROI與視覺軌道關聯的元資料。在一示例中，來源子系統110生成媒體檔文檔，例如媒體檔文檔230、媒體檔文檔330、媒體檔文檔430、媒體檔文檔530等，其包括將ROI與不同視覺視圖的視覺軌道關聯的元資料(例如，元資料軌道)。在一實施例中，處理電路170可以解析元資料軌道以提取ROI與視覺軌道的關係，例如ROI與參考視覺軌道的空間關係、視覺軌道與ROI的包含關係或者提供關係。
在S720中，選擇一ROI。在一示例中，渲染子系統160自使用者介面接收輸入，其表示由用戶所選擇的ROI。
在S730中，確定視覺軌道，以提供ROI的視覺資料。在一示例中，當ROI被選擇時，處理電路170可以確定視覺軌道，視覺軌道可以提供視覺資料，以基於將ROI與視覺軌道關聯的元資料生成ROI的圖像。
在S740中，取回確定的視覺軌道，並相應地生成選擇的ROI的圖像。在一示例中，處理電路170可以生成一請 求，以請求確定的視覺軌道的視覺資料。該請求可以透過介面電路161發送出去。隨後，介面電路161可以接收承載所確定的視覺軌道的視覺資料的訊號。隨後，處理電路170可以基於接收的視覺資料生成ROI的圖像。隨後，本流程繼續到S799並結束。
附錄A
1 主視覺軌道包含單個ROI的發信
1.1 介紹
本發明的一實施例指定了定時元資料，以用於發信(主)視覺軌道包含單個2D ROI，並且複數個(區域)視覺軌道提供ROI。更具體地，定時元資料軌道m發信參考(主)視覺軌道v包含一ROI，其由其2D笛卡爾座標定義、由ROI識別碼id定義且在視覺軌道v 1 ,...,v n 中承載。
使用視訊(而不是更廣義的視覺)內容作為示例，元資料軌道可以參考主視訊軌道v，可以承載元資料以用於定義ROI，並包括提供ROI的區域軌道v 1 ,...,v n 的標識。
1.2 樣本條目
1.2.1 介紹
樣本條目類型：‘2d1r’
容器：Sample Description Box(‘stsd’)
必選：否
數量：0或1
2D1RoiSampleEntry指定了參考視覺軌道所包含的ROI的參考笛卡爾座標。
2D1RoiSampleEntry的一可選定義還指定了ROI的2D位置和尺寸是否隨著時間而改變的指示。如果ROI不改變，則其指定其位置和尺寸以及提供ROI的區域視覺軌道的數量。在這種情況下，將在樣本中不指定定時元資料。
1.2.2 語法
Figure 107107670-A0305-02-0034-1
如果考慮(2D矩形)ROI的位置和尺寸不隨著時間而改變的情景，則其元資料可以如下被指定在樣本條目中。
Figure 107107670-A0305-02-0035-2
1.2.3 語義
reference_width和reference_height分別表示參考矩形空間的寬度和高度，其中所有ROI座標(top_left_x,top_left_y,width和height)均被計算。這些資料欄(field)允許將ROI元資料軌道與不同解析度的視覺軌道關聯，但表示同一視覺源。
fixed_roi_tag等於1指定ROI的位置和尺寸不隨時間而改變。
roi_id指定ROI的識別碼。其值將相對於參考軌道包含的任何其他ROI而言是唯一的。
top_left_x和top_left_y分別表示與參考軌道的媒體樣本關聯的矩形區域的左上角的水平座標和垂直座標。
Width和height分別表示與參考軌道的媒體樣本關聯的矩形區域的寬度和高度。
num_roi_tracks指定了其內容提供ROI的軌道的數量。當其等於0時，意味著不存在提供ROI的視覺軌道(除了包含ROI的參考軌道)。
1.3 樣本格式
1.3.1 介紹
2D1RoiSample指定根據樣本條目中參考笛卡爾座標的ROI的識別碼、位置和尺寸，以及其內容提供ROI的複數個(區域)視覺軌道的識別碼。當提供軌道的ROI的數量為0時，意味著不存在提供ROI的(已知)區域視覺軌道。
當ROI是靜態的時，如上述可選定義所示，其元資料可以被發信在樣本條目中，並且無需以樣本格式來發信。
2D1RoiSample的又一可選定義還根據ROI的笛卡爾座標，指定了ROI的部分，每個提供給軌道的提供者。
1.3.2 語法
Figure 107107670-A0305-02-0037-3
當ROI是靜態的時，其元資料可以被指定在樣本條目中，並且無需提供樣本中的任何元資料。為了保證此，上述語法可以被改善成如下。
Figure 107107670-A0305-02-0038-4
該語法還可以被改善，如下，以根據ROI的笛卡爾座標，指定每個提供給軌道的提供者ROI的部分。
Figure 107107670-A0305-02-0039-5
該語法還可以被改善，如下，以根據提供軌道本身的笛卡爾座標，指定每個提供軌道提供的ROI的一部分。
Figure 107107670-A0305-02-0040-6
注意的是，添加到上述定義中的一些資訊，例如track_portion_top_left_x、track_portion_top_left_y、portion_width和portion_height，可以從此處被忽略，並被發信在參考提供視覺軌道本身的ROI的定時元資料軌道中；請參考部分3。
1.3.3 語義
roi_id指定了ROI的識別碼。其值相對於參考軌道包含的任何其他ROI是唯一的。
top_left_x和top_left_y分別表示與參考軌道的媒體樣本關聯的矩形ROI的左上角的水平座標和垂直座標。
width和height分別表示與參考軌道的媒體樣本關聯的矩形ROI的寬度和高度。
num_roi_tracks指定了內容提供給ROI的軌道的數量。當其等於0時，意味著除了包含ROI參考軌道之外不存在貢獻給ROI的(可能可用或者已知的)視覺軌道。
track_id指定了內容提供給視覺軌道的識別碼。其將不等於參考(主)視覺軌道的識別碼。
roi_portion_top_left_x和roi_portion_top_left_y分別表示，根據ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，track_id的提供軌道將提供ROI的矩形部分的左上角的水平座標和垂直座標。
portion_width和portion_height分別表示，根據ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，track_id的軌道的媒體樣本的矩形部分的寬度和高度。注意的是，根據樣本條目中所定義的參考座標，這些可以被可選地定義，並且此外，如果ROI以整個區域的形式被定義，即區域是ROI的整體部分，或者其沒有部分不屬於ROI，則這些可以被忽略。還注意的是，假設軌道部分和ROI部分之間不存在縮放。
媒體樣本本身之內，track_portion_top_left_x和track_portion_top_left_y分別表示track_id的提供軌道的媒體樣本的矩形部分的左上角的水平座標和垂直座標。
2 主視覺軌道包含複數個ROI的發信
2.1 介紹
當主視覺軌道包含多於一個ROI時，在單個定時元資料軌道內將其一起發信是方便的，即使可能使用複數個定時元資料軌道，一個定時元資料軌道用於每個ROI。
本發明的實施例指定了一定時元資料，以用於發信(主)視覺軌道包含複數個2D ROI，以及複數個(區域)視覺軌道提供每個ROI。更具體地，定時元資料軌道m發信參考(主)視訊軌道v包含複數個ROI，每個ROI由其2D笛卡爾座標來定義，由ROI識別碼id來標識並承載在視訊軌道v 1 ,...,v n 中。
使用視訊(而不是更常規視覺)內容作為示例，元資料軌道m可以參考主視訊軌道v，承載元資料以用於定義k個ROI，並包括提供k個ROI的區域軌道的k個標識集合，即{v 11,...,
Figure 107107670-A0305-02-0042-7
},...,{v k1,...,
Figure 107107670-A0305-02-0042-8
}。
本部分的剩餘部分所公開的實施例是位於單個ROI情況中的樣本條目及樣本的基本定義之外。其他替代、改善(enhancement)和變形實施例可以基於單個ROI情況中的相似替代、改善和變形定義來獲得。
2.2 樣本條目
2.2.1 介紹
樣本條目類型：‘2dmr’
容器：Sample Description Box(‘stsd’)
必選：否
數量：0或1
2DmRoiSampleEntry指定了參考視覺軌道所包含的複數個ROI的參考笛卡爾座 標。
2.2.2 語法
Figure 107107670-A0305-02-0043-9
2.2.3 語義
reference_width和reference_height分別表示參考矩形空間的寬度和高度，其中所有ROI座標(即top_left_x,top_left_y,width和height)被計算。這些資料欄允許將ROI元資料軌道與不同解析度的視覺軌道關聯，但表示同一視覺源。
2.3 樣本格式
2.3.1 介紹
2DmRoiSample指定了複數個ROI，並且對於每個ROI而言，相對於樣本條目中的參考笛卡爾座標，指定了該ROI的識別碼、位置和尺寸。其還指定了其內容提供ROI的複數個(區域)視覺軌道的識別碼。當提供ROI的軌道的數量是0時，意味著不存在提供該ROI的(已知的)視覺軌道。
2.3.2 語法
Figure 107107670-A0305-02-0044-10
2.3.3 語義
num_rois指定了與參考軌道的媒體樣本關聯的ROI的數量。
roi_id指定ROI的識別碼。其值將相對於參考軌道所包含的任何其他ROI而言是唯一的。
top_left_x和top_left_y分別表示與參考軌道的媒體樣本關聯的矩形ROI的左上角的水平座標和垂直座標。
Width和height分別表示與參考軌道的媒體樣本關聯的矩形ROI的寬度和高度。
num_roi_tracks指定了其內容提供ROI的軌道的數量。當其等於0時，這意味著除了包含ROI的參考軌道之外不存在提供該ROI的(可能可用或者已知的)視覺軌道。
track_id指定了其內容提供ROI的視覺軌道的識別碼。
3 區域視訊軌道提供單個ROI的發信
3.1 介紹
本發明的實施例指定了定時元資料軌道，以用於發信(區域)視覺軌道將一部分提供單個2D ROI。更具體地，定時元資料軌道m'發信參考(區域)視覺軌道v'提供(主)視覺軌道v的ROI，其由ROI識別碼id所標識，並且自v'所提供的該部分是用該ROI和該軌道v'本身的2D笛卡爾座標來定義的。
使用視訊(而不是更常規的視覺)內容作為示例，(ROI部分)元資料軌道m'可以參考區域視訊軌道v'，並承載區域軌道所提供的主視訊軌道v中的ROI的識別碼roi_id以及用於定義提供該ROI的區域的部分的元資料。如果存在與包含由區域軌道v 1 ,...,v n ,所提供的ROI的主視覺軌道v關聯的ROI元資料軌道m，則區域軌道v'將必須是這些區域軌道中的一個。
考慮到發信包含單個ROI的主視覺軌道的這些，例如，ROI是靜態的，提供部分是非時變的，基於優化、改善和變形而獲得的更多實施例可以被獲得。
3.2 樣本條目
3.2.1 介紹
樣本條目類型：‘2dr1’
容器：Sample Description Box(‘stsd’)
必選：否
數量：0或1
2DRoi1SampleEntry指定了參考視覺軌道所提供的ROI的參考笛卡爾座標。
3.2.2 語法
Figure 107107670-A0305-02-0046-11
3.2.3 語義
reference width和reference_height分別表示參考矩形空間的寬度和高度，其中所有ROI座標(即top_left_x,top_left_y,width和height)被計算。這些資料欄計算允許將ROI元資料軌道與不同解析度的視覺軌道關聯，但表示同一視覺源。
3.3 樣本格式
3.3.1 介紹
2DRoi1Sample指定了ROI的識別碼、包含該ROI的主視覺軌道的識別碼、關 聯媒體樣本將提供的ROI的一部分的位置和尺寸以及該部分在關聯媒體樣本中的位置。
3.3.2 語法
Figure 107107670-A0305-02-0047-12
3.3.3 語義
roi_id指定了ROI的識別碼。其值將相對於參考軌道所包含的任何其他ROI而言是唯一的。
track_id指定了其內容提供ROI的視覺軌道的識別碼。
相對於ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，roi_portion_top_left_x和roi_portion_top_left_y分別表示track_id的參考軌道所提供的ROI的矩形部分的左上角的水平座標和垂直座標。
相對於ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，portion_width和portion_height分別表示track_id的軌道的媒體樣本的矩形部分的寬度和高度。注意的是，這些可以被可選地定義，用樣本條目中所 定義的參考座標。還注意的是，假設軌道部分和ROI部分之間不存在縮放。
媒體樣本本身之內，track_portion_top_left_x和track_portion_top_left_y分別表示track_id的提供軌道的媒體樣本的矩形部分的左上角的水平座標和垂 直座標。
4 區域視訊軌道提供複數個ROI的發信
4.1 介紹
當區域視覺軌道提供多於一個ROI時，在單個定時元資料軌道內將這些ROI一起發信是緊湊且方便的，即使可能使用與同一區域視覺軌道關聯的複數個定時元資料軌道，一個定時元資料軌道用於每個ROI。
本發明的實施例指定了定時元資料軌道，以用於發信(區域)視覺軌道提供複數個2D ROI。更具體地，定時元資料軌道m'發信參考(區域)視覺軌道v'提供(主)視覺軌道v的複數個ROI，並且每個提供ROI由ROI識別碼id所標識，自v'所提供的該部分是用該ROI和該軌道v'本身的2D笛卡爾座標來定義的。使用視訊(而不是更常規的視覺)內容作為示例，元資料軌道m參考主視訊軌道v，承載元資料以用於定義k個ROIs，并包括提供k個ROI的區域軌道的k個標識集合，即{v 11,...,
Figure 107107670-A0305-02-0048-13
},...,{v k1,...,
Figure 107107670-A0305-02-0048-14
}。
4.2 樣本
4.2.1 介紹
樣本條目類型：‘2drm’
容器：Sample Description Box(‘stsd’)
必選：否
數量：0或1
2DRoimSampleEntry指定了參考視覺軌道所提供的複數個ROI的參考笛卡爾座標。
4.2.2 語法
Figure 107107670-A0305-02-0049-15
4.2.3 語義
reference_width和reference_height分別表示參考矩形空間的寬度和高度，其中所有ROI座標(即top_left_x,top_left_y,width和height)被計算。這些資料欄允許將ROI元資料軌道與不同解析度的視覺軌道關聯，但表示同一視覺源。
4.3 樣本格式
4.3.1 介紹
2DRoimSample指定了關聯媒體樣本所提供的複數個ROI。對於每個提供ROI，其指定了該ROI的識別碼、包含該ROI的主視覺軌道的識別碼、關聯媒體樣本將提供的ROI的一部分的位置和尺寸以及該部分在關聯媒體樣本中的位置。
當關聯媒體樣本所提供的ROI的數量為0時，意味著不存在該樣本所提供的(已知)ROI。
4.3.2 語法
Figure 107107670-A0305-02-0050-16
4.4 語義
num_contributed_rois指定了相關媒體樣本用其內容所提供的ROI的數量。
roi_id指定了ROI的識別碼。其值將相對於參考軌道所包含的任何其他ROI而言是唯一的。
track_id指定了包含該ROI的主視覺軌道的識別碼。
相對於ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，roi_portion_top_left_x和roi_portion_top_left_y分別表示track_id的參考軌道所提供的ROI的矩形部分的左上角的水平座標和垂直座標。
相對於ROI的笛卡爾座標和尺寸(即top_left_x,top_left_y,width和height)，portion_width和portion_height分別表示track_id的軌道的媒體樣本的矩形部分的寬度和高度。注意的是，這些可以被可選地定義，用樣本條目中所定義的參考座標。還注意的是，假設軌道部分和ROI部分之間不存在縮放。
在媒體樣本本身之內，track_portion_top_left_x和track_portion_top_left_ytrack_portion_top_left_x和track_portion_top_left_y分別表示track_id的提供軌道的媒體樣本的矩形部分的左上角的水平座標和垂直座標。
當在硬體中實現時，該硬體可以包括離散元件、積體電路、應用特定積體電路(application-specific integrated circuit，ASIC)等中的一個或複數個。
由於已經結合本發明的被提出用作示例的具體實施例描述了本發明的各個方面，可以做出這些示例的替代、修改和變形。因此，此處所說明的實施例用作示意目的，但不用於限制。在不脫離請求項的範圍的情況下，可以做出改變。
100‧‧‧媒體系統
110‧‧‧來源子系統
111、161‧‧‧介面電路
112‧‧‧獲取設備
115‧‧‧記憶體
120、170‧‧‧處理電路
130‧‧‧文檔生成模組
150‧‧‧傳送子系統
160‧‧‧渲染子系統
165‧‧‧顯示裝置
180‧‧‧處理模組
190‧‧‧圖像生成模組

Claims (18)

  1. 一種視訊編解碼裝置，包括：介面電路，用於接收承載元資料的複數個訊號，其中該元資料將由第一視覺軌道提供的第一視覺視圖中的感興趣區域與該第一視覺軌道和提供第二視覺視圖的第二視覺軌道關聯，該第二視覺視圖是該第一視覺視圖的一部分；以及處理電路，用於：解析該元資料；當該感興趣區域被選擇時，確定該第二視覺軌道以提供視覺資料；以及基於來自於該第二視覺軌道的該視覺資料，生成該感興趣區域的複數個圖像；該介面電路用於接收承載一元資料軌道的該等訊號，其中該元資料軌道參考該第一視覺軌道並包括該第二視覺軌道的識別碼和該感興趣區域的一識別碼；其中該元資料包含該第一視覺視圖中該感興趣區域的位置座標。
  2. 如申請專利範圍第1項所述之視訊編解碼裝置，其中，該處理電路用於：透過該介面電路自另一裝置請求並接收該第二視覺軌道的該視覺資料。
  3. 如申請專利範圍第1項所述之視訊編解碼裝置，其中，該介面電路用於接收該元資料的該等訊號，其中該元資料承載將該感興趣區域與複數個第二視覺軌道關聯，該等第二 視覺軌道提供相應的該第一視覺視圖的複數個部分視覺視圖。
  4. 如申請專利範圍第1項所述之視訊編解碼裝置，其中，該介面電路用於接收該元資料的該等訊號，其中該元資料承載將複數個感興趣區域與該第二視覺軌道關聯，該第二視覺軌道提供該第二視覺視圖；以及該處理電路用於在該等感興趣區域中的一個被選擇時確定該第二視覺軌道，以提供該視覺資料。
  5. 如申請專利範圍第1項所述之視訊編解碼裝置，其中，該介面電路用於接收承載該元資料軌道的該等訊號，其中該元資料軌道包括該第二視覺軌道的識別碼和該感興趣區域位於在一個樣本與複數個樣本的樣本條目至少其中之一裡的識別碼。
  6. 如申請專利範圍第1項所述之視訊編解碼裝置，其中，其中該元資料軌道參考該第二視覺軌道。
  7. 如申請專利範圍第6項所述之視訊編解碼裝置，其中，該介面電路用於接收承載該元資料軌道的該等訊號，其中該元資料軌道包括位於至少一個樣本及複數個樣本的樣本條目中的該第二視覺軌道的識別碼和該感興趣區域的識別碼。
  8. 一種視訊編解碼裝置，包括：處理電路，用於：形成用於第一視覺視圖的視覺資料的第一視覺軌道和用於第二視覺視圖的視覺資料的第二視覺軌道，其中該第二視 覺視圖是該第一視覺視圖的一部分；確定將該第一視覺視圖中的一感興趣區域與該第一視覺軌道和該第二視覺軌道關聯的元資料；以及將具有該第一視覺軌道和該第二視覺軌道的該元資料封裝到一文檔中；其中該元資料包含該第一視覺視圖中該感興趣區域的位置座標；形成一元資料軌道，其中該元資料軌道參考該第一視覺軌道並包括該第二視覺軌道的識別碼和該感興趣區域的識別碼；以及記憶體電路，用於存儲該文檔。
  9. 如申請專利範圍第8項所述之視訊編解碼裝置，其中，該處理電路用於：接收用於該感興趣區域的視覺資料的請求；回應於該請求，基於該元資料，確定該第二視覺軌道；透過一介面電路發送來自於該第二視覺軌道的視覺資料。
  10. 如申請專利範圍第8項所述之視訊編解碼裝置，其中，該處理電路用於：確定該元資料，其中該元資料將該感興趣區域與複數個第二視覺軌道關聯，該等第二視覺軌道提供相應的該第一視覺視圖的複數個部分視覺視圖。
  11. 如申請專利範圍第8項所述之視訊編解碼裝置，其中，該處理電路用於：確定該元資料，其中該元資料將複數個感興趣區域與該第二視覺軌道關聯，該第二視覺軌道提供該第二視覺視圖。
  12. 如申請專利範圍第8項所述之視訊編解碼裝置，其中，該處理電路用於：該元資料軌道包括位於至少一個樣本及複數個樣本的樣本條目中的該第二視覺軌道的識別碼和該感興趣區域的識別碼。
  13. 如申請專利範圍第8項所述之視訊編解碼裝置，其中該元資料軌道參考該第二視覺軌道。
  14. 如申請專利範圍第13項所述之視訊編解碼裝置，其中，該元資料軌道包括位於至少一個樣本及複數個樣本的樣本條目中的該第二視覺軌道的識別碼和該感興趣區域的識別碼的。
  15. 一種視訊編解碼方法，包括：藉由一裝置的介面電路接收承載元資料的複數個訊號，其中該元資料將由第一視覺軌道提供的第一視覺視圖中的感興趣區域與該第一視覺軌道和提供第二視覺視圖的第二視覺軌道關聯，其中元資料軌道承載該元資料、參考該第一視覺軌道並包括該第二視覺軌道的識別碼和該感興趣區域的識別碼，其中該元資料包含該第一視覺視圖中該感興趣區域的位置座標；該第二視覺視圖是該第一視覺視圖的一部分；藉由該裝置的處理電路解析該元資料；當該感興趣區域被選擇時，確定該第二視覺軌道以提供視覺資料；以及基於來自於該第二視覺軌道的該視覺資料，生成該感興趣 區域的複數個圖像。
  16. 如申請專利範圍第15項所述之視訊編解碼方法，其中，還包括：透過該介面電路自另一裝置請求該第二視覺軌道的該視覺資料；透過該介面電路自另一裝置接收該第二視覺軌道的該視覺資料。
  17. 如申請專利範圍第15項所述之視訊編解碼方法，其中，接收承載該元資料的該等訊號，還包括：接收承載該元資料的該等訊號，其中該元資料將該感興趣區域與複數個第二視覺軌道關聯，該等第二視覺軌道提供相應的該第一視覺視圖的複數個部分視覺視圖。
  18. 如申請專利範圍第15項所述之視訊編解碼方法，其中，接收承載該元資料的該等訊號，還包括：接收承載該元資料的該等訊號，其中該元資料將複數個感興趣區域與該第二視覺軌道關聯，該第二視覺軌道提供該第二視覺視圖。
TW107107670A 2017-03-07 2018-03-07 用於發信空間區域資訊的方法及裝置 TWI709327B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762467860P 2017-03-07 2017-03-07
US62/467,860 2017-03-07
US15/913,738 2018-03-06
US15/913,738 US11139000B2 (en) 2017-03-07 2018-03-06 Method and apparatus for signaling spatial region information

Publications (2)

Publication Number Publication Date
TW201838417A TW201838417A (zh) 2018-10-16
TWI709327B true TWI709327B (zh) 2020-11-01

Family

ID=63445043

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107670A TWI709327B (zh) 2017-03-07 2018-03-07 用於發信空間區域資訊的方法及裝置

Country Status (4)

Country Link
US (1) US11139000B2 (zh)
CN (1) CN110383846A (zh)
TW (1) TWI709327B (zh)
WO (1) WO2018161916A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779014B2 (en) 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
KR102287133B1 (ko) * 2018-11-30 2021-08-09 한국전자기술연구원 자유 시점 영상 제공 방법 및 장치
GB2585052B (en) * 2019-06-26 2023-07-26 Canon Kk Method and apparatus for encapsulating panorama images in a file
GB2596325B (en) * 2020-06-24 2023-04-19 Canon Kk Method and apparatus for encapsulating annotated region in ISOBMFF tracks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840247B2 (en) * 2002-09-16 2010-11-23 Imatx, Inc. Methods of predicting musculoskeletal disease
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US9883011B2 (en) 2012-10-12 2018-01-30 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
CN109587573B (zh) * 2013-01-18 2022-03-18 佳能株式会社 生成设备和方法、显示设备和方法以及存储介质
EP2824884A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client for smooth display of a panoramic video
RU2018135725A (ru) * 2013-07-19 2018-11-21 Сони Корпорейшн Устройство и способ обработки информации
WO2015013720A1 (en) * 2013-07-26 2015-01-29 Futurewei Technologies Inc. Spatial adaptation in adaptive streaming
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
US11139000B2 (en) 2021-10-05
TW201838417A (zh) 2018-10-16
WO2018161916A1 (en) 2018-09-13
US20180261254A1 (en) 2018-09-13
CN110383846A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US10887577B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN108702528B (zh) 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
TWI709327B (zh) 用於發信空間區域資訊的方法及裝置
US20230132473A1 (en) Method and device for transmitting or receiving 6dof video using stitching and re-projection related metadata
CN110800311B (zh) 用于传输媒体内容的方法、装置和计算机程序
EP3780595A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN110741649B (zh) 用于轨道合成的方法及装置
TWI672947B (zh) 用於推導複合軌的方法和裝置
US11218685B2 (en) Method, an apparatus and a computer program product for virtual reality
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN111263191B (zh) 视频数据的处理方法、装置、相关设备及存储介质
CN116248947A (zh) 处理媒体数据的方法、客户端和服务器
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品