TWI676388B - 說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置 - Google Patents

說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置 Download PDF

Info

Publication number
TWI676388B
TWI676388B TW107111163A TW107111163A TWI676388B TW I676388 B TWI676388 B TW I676388B TW 107111163 A TW107111163 A TW 107111163A TW 107111163 A TW107111163 A TW 107111163A TW I676388 B TWI676388 B TW I676388B
Authority
TW
Taiwan
Prior art keywords
spherical
area
visual
trajectory
track
Prior art date
Application number
TW107111163A
Other languages
English (en)
Other versions
TW201842774A (zh
Inventor
新 王
Xin Wang
魯林 陳
Lulin Chen
柏霖 賴
Wang Lin Lai
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201842774A publication Critical patent/TW201842774A/zh
Application granted granted Critical
Publication of TWI676388B publication Critical patent/TWI676388B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊處理方法包括：接收虛擬實境內容；編碼從該虛擬實境內容獲得的視訊資料，以生成一部分已編碼的位元流；以及將該部分已編碼的位元元元流封裝成國際標準化組織基本媒體檔案格式的檔案。該國際標準化組織基本媒體檔案格式的檔案可以包括與球面視覺軌跡關聯的時變元資料軌跡，其中該時變元資料軌跡被設置以說明關聯的該球面資料軌跡包含自區域視覺軌跡所組成的球面區域；或包括與區域視覺軌跡關聯的時變元資料軌跡，其中該時變元資料軌跡被設置以說明關聯的該區域視覺軌跡組成承載在球面視覺軌跡中的球面區域。

Description

說明國際標準化組織基本媒體檔案格式的球面區域資訊的方 法和裝置 相關申請的交叉引用
本申請要求2017年3月30日提交的申請號為62/478,676的美國臨時申請的權益，其以引用的方式併入此處。
本發明涉及處理虛擬實境內容(virtual reality，VR)，特別是涉及一種說明國際標準化組織基本媒體檔案格式(ISO Base Media File Format，ISOBMFF)的球面區域資訊的方法和裝置。
最近，虛擬實境已得到主要由消費設備的目前市場可用性所驅動的重點關注，例如，頭戴式顯示器(head-mounted display，HMD)。具有頭戴式顯示器的虛擬現實與不同應用程式相關。向使用者顯示寬領域的視圖內容的能力可用於提供身臨其境的視覺體驗。現實世界的環境必須在所有方向上被捕捉，得到全向虛擬現實內容。隨著攝像機裝置和頭戴式顯示器的進步，全向虛擬現實內容的傳輸可能很快成為 瓶頸，因為表示這種360度內容所需的較高位元速率。
近些年，如由大型行業參與所證明，圍繞虛擬現實已存在大量的活動。例如，由於期望消費者關於虛擬現實的頭戴式顯示器的日益普及將導致虛擬現實內容的增長需求，各個公司也已經開始研發全向攝像機以允許獲取360°內容。但是，適當標準的缺乏，以及相應的降低的互通性將變成一個問題。因此，運動圖像專家組(Moving Picture Experts Group，MPEG)已經啟動了一個稱為全向媒體應用格式(Omnidirectional Media Application Format，OMAF)的項目，其旨在標準化360°音訊-視訊內容的存儲和傳輸格式。在OMAF的上下文中，存儲和傳輸格式是基於國際標準化組織基本媒體檔案格式。然而，關於虛擬現實內容存儲和傳輸的開發標準，還存在很大改進空間。
所要求保護的本發明的目的之一是，提供一種說明用於國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置。
根據本發明的第一方面，公開了一種示例性的視訊處理方法。示例性的視訊處理方法包括：接收虛擬實境內容；編碼從虛擬實境內容獲得的視覺資料，以生成一部分已編碼的位元流；檔案封裝電路將部分已編碼的位元元元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中，至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面 視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的球面視覺軌跡包含自至少一個區域視覺軌跡所組成的至少一個球面區域。
根據本發明的第二方面，公開了一種示例性的視訊處理方法。示例性的視訊處理方法包括：接收虛擬實境內容；編碼從虛擬實境內容獲得的視覺資料，以生成一部分已編碼的位元流；檔案封裝電路將部分已編碼的位元元元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中，至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域。
根據本發明的協力廠商面，公開了一種示例性的視訊處理方法。示例性的視訊處理方法包括：接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的球面視覺軌跡包含自至少一個區域視覺軌跡組成的至少一個球面區域；解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和說明時變元資料軌跡的元資料；根據元資料解碼部分已編碼的位元元元流；以及根據部分已編碼的位元元元流的解碼結果驅動顯示幕。
根據本發明的第四方面，公開了一種示例性的視 訊處理方法。示例性的視訊處理方法包括：接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域；解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和說明時變元資料軌跡的元資料；根據元資料解碼部分已編碼的位元元元流；以及根據部分已編碼的位元元元流的解碼結果驅動顯示幕。
此外，本發明還提供了與上述視訊處理方法相關的視訊處理裝置。
在閱讀以下對各圖及圖式中所例示的優選實施例的詳細說明之後，本發明的這些及其它目標無疑將對所屬領域的通常知識者顯而易見。
100‧‧‧虛擬現實系統
102‧‧‧源電子設備
103‧‧‧傳輸裝置
104‧‧‧目標電子設備
112‧‧‧視訊獲取設備
114‧‧‧轉換電路
116‧‧‧視訊編碼器
118‧‧‧檔案封裝電路
120‧‧‧檔案解封裝電路
122‧‧‧視訊解碼器
124‧‧‧圖像渲染電路
126‧‧‧顯示幕
第1圖是根據本發明實施例的虛擬實境系統的示意圖。
第2圖是根據本發明實施例的球體上球面區域的第一形狀類型的示意圖。
第3圖是根據本發明實施例的球體上球面區域的第二形狀類型的示意圖。
第4圖是根據本發明實施例的主球面視覺軌跡和球面區域元資料(metadata)軌跡之間的關聯(association)的示意圖。
第5圖是根據本發明實施例的包含在承載在球面視覺軌跡v中的球面視訊內容中的單個球面區域的示意圖。
第6圖是根據本發明實施例的與球面視覺軌跡關聯且以ISOBMFF進行封裝的一個時變元資料軌跡的示意圖。
第7圖是根據本發明實施例的包含在承載在球面視覺軌跡v中的球面視訊內容中的複數個球面區域的示意圖。
第8圖是根據本發明實施例的與球面視覺軌跡關聯且以ISOBMFF進行封裝的另一時變元資料軌跡的示意圖。
第9圖是根據本發明的實施例的與區域視覺軌跡關聯且以ISOBMFF進行封裝的示意圖。
第10圖是根據本發明實施例的用球面區域和區域視覺軌跡本身的球面座標和尺寸所定義的區域視覺軌跡的組成(contribution)部分的示意圖。
第11圖是根據本發明實施例的與區域視覺軌跡相關且以ISOBMFF進行封裝的另一個時變元資料軌跡的示意圖。
本說明書及專利申請範圍通篇中所用的某些用語表示特定部件。如所屬領域的通常知識者可以理解的是，電子設備製造商可利用不同名稱來表示同一個部件。本文並非以名稱來區分部件，而是以功能來區分部件。在以下說明書及專利申請範圍中，用語“包括”是開放式的限定詞語，因此其應被解 釋為“包括但不限於...”。另外，用語“耦合”旨在意指間接電連接或直接電連接。因此，當一個裝置耦合到另一裝置時，則這種連接可以是直接電連接或透過其他裝置及連接部而實現的間接電連接。
第1圖是示出了根據本發明實施例的虛擬實境系統的示意圖。虛擬現實系統100包括兩個視訊處理裝置(例如，源電子設備102和目標電子設備104)。源電子設備102包括視訊獲取設備112，轉換電路114，視訊編碼器116和檔案封裝電路118。視訊獲取設備112是提供虛擬現實內容(如全向虛擬現實內容)Bv的虛擬現實內容提供器。例如，視訊獲取設備112可以是用於獲取不同方向上的場景Av的攝像機集合，從而覆蓋整個環境的複數個獲取的圖像由該視訊獲取設備112產生。在其他一些實施例中，覆蓋整個環境的複數個獲取的圖像可以從多於一個源電子設備，多於一個視訊獲取設備或者至少一個源電子設備與至少一個視訊獲取設備的組合接收。在本實施例中，視訊獲取設備112可配備有視訊縫合(stitching)能力。因此，由視訊獲取設備112的不同攝像機獲取的內容可被縫合在一起以形成縫合圖像。另外，縫合圖像還可以被投影到三維(three-dimensional，3D)投影結構(如球體)上。因此，視訊獲取設備112可以提供在球體上的虛擬現實內容Bv。
轉換電路114耦接在視訊獲取設備112和視訊編碼器116之間。轉換電路114透過將視覺預處理應用到三維空間中的虛擬現實內容Bv，在二維(two-dimensional，2D)平面上生成圖像Dv。當虛擬現實內容Bv對應於三維空間中的球體時， 在轉換電路114處所執行的視覺預處理可以包括投影和可選的區域式填充(region-wise packing)。因此，當可選的區域式填充不被應用到投影圖像時，圖像Dv可以是該投影圖像，或者當可選的區域式填充被應用到投影圖像時，圖像Dv可以是填充圖像。三維投影結構(如球體)上的虛擬現實內容Bv還可以透過360°虛擬現實投影格式被排列在二維投影圖像上。例如，360°虛擬現實投影格式可以是等角投影(equirectangular projection，ERP)格式或立方體映射投影(cubemap projection，CMP)格式。假設使用可選的區域式填充，則二維投影圖像上的區域還被映射到二維填充圖像上。區域式填充處理可在編碼之前被應用於具有特定投影佈局(如ERP佈局或緊湊CMP佈局)的投影圖像。例如，投影圖像被劃分成複數個矩形區域，並且區域式填充可被應用於矩形區域，以用於將矩形區域填充到填充圖像。關於投影圖像的矩形區域，在將矩形區域式填充到填充圖像之前，區域式填充可以將平移、縮放、旋轉和/或鏡像應用到矩形區域。
圖像Dv可以是自轉換電路114產生的視訊幀序列中的一個視訊幀。視訊編碼器116是編碼電路，其用於編碼/壓縮該圖像Dv，以產生部分已編碼的位元元元流。在接收到來自視訊編碼器116的該部分已編碼的位元元元流(其包括圖像Dv的編碼資料Ev)之後，檔案封裝電路118將該部分已編碼的位元元元流與附加的元資料Dm一起封裝到一個或複數個ISOBMFF檔案F中。例如，附加的元資料Dm可以提供用於HTTP(DASH)上的動態適應性流的附加說明。
在本發明的一些實施例中，基於視埠的流方案(如基於片段或基於子圖像的流方案)可以被使用以用於360°視訊傳輸。根據基於片段的流方案，圖像Dv被分割成複數個片段(或子圖像)，其中每個片段(或子圖像)被獨立地編解碼。換句話說，圖像Dv的片段是圖像Dv的空間部分(即，子圖像)，並且通常是矩形形狀。此外，相同片段的內容可以用不同品質和位元元元速率進行編解碼，以生成編碼片段的變形，或者可以用不同編碼器和保護方案進行編解碼，以生成編碼片段的變形。在這種情況下，每個ISOBMFF檔案F是基於片段的檔案。檔案封裝電路118將相同片段的每個編碼變形封裝到變形軌跡(即，變形子圖像軌跡)中，並且將相同片段的所有編碼變形的變形軌跡封裝到相同的ISOBMFF檔案F中。元資料Dm可以包括透過使用軌跡元資料框直接放置在視覺軌跡中的元資料，和/或可以包括放置在與視覺軌跡關聯的元資料軌跡(如時變元資料軌跡)中的元資料。例如，用於說明的元資料Dm可以包括投影/方向資訊，填充資訊，子圖像合成資訊，感興趣區域(region of interest，ROI)資訊，視埠信息等。
可選地，圖像Dv可以由球體上的虛擬現實內容Bv直接進行設置。因此，在自視訊編碼器116接收部分已編碼的位元元元流(其包括圖像Dv的編碼資料Ev)之後，檔案封裝電路118將該部分已編碼的位元元元流與附加的元資料Dm一起封裝到一個或複數個ISOBMFF檔案F中，其中球面視覺軌跡(即虛擬現實三維視訊軌跡)被包括在該ISOBMFF檔案F中，並且球面區域視覺軌跡(即，區域三維視訊軌跡)被包括在該 ISOBMFF檔案F中。然而，這僅用於說明目的，並不意味著是對本發明的限制。也就是說，在本發明的一些實施例中，可以省略球面視訊軌跡(即虛擬現實三維視訊軌跡)的說明。例如，球面視訊軌跡(即虛擬現實三維視訊軌跡)可以是從虛擬現實應用端(即目標電子設備104)處執行的軌跡推導獲得的推導(derived)軌跡。
檔案封裝電路118透過傳輸裝置103將ISOBMFF檔案F輸出到目標電子設備104。例如，傳輸裝置103可以是有線/無線通訊鏈路，並且利用單播、多播或廣播傳輸透過HTTP將ISOBMFF檔案F傳輸到目標電子設備104。
目標電子設備104可以是頭戴式顯示器。如第1圖所示，目標電子設備104包括檔案解封裝電路120，視訊解碼器122，圖像渲染電路124和顯示幕126。檔案解封裝電路120自傳輸裝置103接收ISOBMFF檔案F’。如果沒有傳輸錯誤，檔案解封裝電路120接收的ISOBMFF檔案F’應當與檔案封裝電路118輸出的ISOBMFF檔案F相同。在接收到ISOBMFF檔F’之後，檔案解封裝電路120將ISOBMFF檔案F’解封裝成部分已編碼的位元元元流(其中包括待重構的圖像的編碼資料E’v)，和/或從ISOBMFF檔案F’中提取/解析附加的元資料D’m。如果沒有傳輸錯誤和解封裝錯誤，從ISOBMFF檔案F’中提取/解析的元資料D’m應該與添加到ISOBMFF檔案F的元資料Dm相同。
視訊解碼器122耦接于檔案解封裝電路120和圖像渲染電路124之間，且是用於根據提取的/解析的元資料D’m解碼該部分已編碼的位元元元流的解碼電路。例如，視訊解碼器 122解碼該部分已編碼的位元元元流，以獲得由元資料D’m指定的球體上的球面區域(如視埠或感興趣區域)的解碼資料D’v。圖像渲染電路124是後處理電路，其用於根據從視埠的解碼資料中獲得的顯示資料A’v在顯示幕126上渲染並顯示球面區域。換句話說，圖像渲染電路124根據該部分已編碼的位元元元流的解碼結果來驅動顯示幕126。
當三維球面視覺(特別是視訊)內容包含感興趣區域(Region of Interes,ROI)或用於視埠的區域時，最新的OMAF標準草案提供ISOBMFF的球面區域定義，其透過‘cdsc’(內容描述)軌跡參考的方式，可以被承載在時變元資料軌跡中，並與球面視覺軌跡關聯。
對於球面區域(例如感興趣區域或視埠)說明，定義了至少兩種形狀類型：由四個大圈界定的一種，由兩個偏航圈和兩個俯仰圈界定的另一種。第2圖是示出根據本發明實施例的球體上的球面區域SR的第一形狀類型的示意圖。自位於虛擬現實服務提供器端(即源電子設備102)處的檔案封裝電路118生成的ISOBMFF檔案F至少包括與球體上的球面區域SR的方向關聯的第一參數center_yaw和第二參數center_pitch，其中第一參數center_yaw和第二參數center_pitch分別表示球面區域SR的中心PV的偏航角和俯仰角。換句話說，第一參數center_yaw和第二參數center_pitch決定球面區域SR的球面座標。第一參數center_yaw和第二參數center_pitch均被說明給虛擬現實應用端(即目標電子設備104)。在虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收到ISOBMFF 檔案F’之後，從ISOBMFF檔案F’提取/解析第一參數center_yaw和第二參數center_pitch以指示球面區域SR的中心PV。
進一步地，在虛擬現實服務提供器端(即源電子設備102)處的檔案封裝電路118生成的ISOBFFF檔案F還可以至少包括與球體上的球面區域SR關聯的第四個參數hor_range和第五參數ver_range，其中第四參數hor_range表示球面區域SR的水準範圍，第五參數ver_range表示球面區域SR的垂直範圍。換句話說，第四參數hor_range和第五參數ver_range決定了球面區域SR的水準尺寸和垂直尺寸(即覆蓋)。第四參數hor_range和第五參數ver_range也被說明到虛擬現實應用端(即目標電子設備104)。在虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收到ISOBMFF檔案F’之後，從ISOBMFF檔案F’提取/解析第四參數hor_range和第五參數ver_range以分別指示球面區域SR的水準範圍和垂直範圍。如第2圖所示，球面區域SR的邊界由四個大圈C1，C2，C3和C4決定，每個圈與球相交並且位於透過球心的平面上。
第3圖是示出根據本發明實施例的球體上的球面區域SR的第二形狀類型的示意圖。球面區域SR的邊界由兩個偏航圈Y1和Y2以及兩個俯仰圈P1和P2決定。每個偏航圈是球體上的一個圈，其連接具有相同偏航角值的所有點。每個俯仰圈是球體上的一個圈，其連接具有相同俯仰角值的所有點。
具體地，球面區域定義具有以下樣本條目語法：
Figure TWI676388B_D0001
Figure TWI676388B_D0002
以及下面的樣本語法：
Figure TWI676388B_D0003
Figure TWI676388B_D0004
第4圖是根據本發明實施例的主球面視覺軌跡和球面區域元資料軌跡之間的關聯的示意圖。例如，ISOBMFF檔案F/F’可以包括具有媒體內容vs(其被包含在類型‘mdat’的資料框中)的現有球面視覺軌跡v(其包含在類型‘trak’的軌跡框中)。另外，ISOBMFF檔案F/F’還可以包括球面區域元資料軌跡m(其被包含在類型‘trak’的軌跡框中)，其具有媒體內容ms(其包含在類型‘mdat’的資料框中)。球面區域元資料軌跡m可以是時變元資料軌跡，並且可以關聯於或可以參考現有視覺軌跡v，以在現有球面視覺軌跡v中提供關於媒體內容的元資料。
然而，使用這種機制，一個僅可以說明參考視覺軌跡v中的主球面視覺樣本包含由時變元資料軌跡m中的球面區域定義(樣本條目及樣本)所指定的球面區域。由於球面區域元資料軌跡m僅說明球面視覺軌跡v具有在球面區域元資料軌跡m中定義的球面區域，當球面區域內容存在並且被承載在其他n(n
Figure TWI676388B_D0005
1)個視覺軌跡中時，這種機制不指定主球面視覺軌跡v如何與承載視覺軌跡的其他球面區域關聯。
此外，不存在最新的OMAF標準草案中定義的時變元資料，以用於可以與視覺軌跡關聯，並用於指示其如何與球面視覺軌跡的元資料中說明的區域相關的球面區域。
為瞭解決上述問題，本發明提出了用於說明球面 視覺軌跡及承載或組成OMAF的ISOBMFF的(球面或二維投影的)區域視覺軌跡的關聯的方法，以便增強OMAF標準以支持更多的感興趣區域和視埠相關的使用實例和需求。
更具體地，當(主)球面視覺軌跡v中存在承載或組成(contribute to)球面區域內容R 1 ,...,R k ,k
Figure TWI676388B_D0006
1的(球面或二維投影的)區域視覺軌跡v 1 ,...,v n ,n
Figure TWI676388B_D0007
0時，本發明提供有效的機制，以在如下情景中進行說明，其中參考視覺軌跡是包含球面區域的球面軌跡v，或者是組成球面區域的區域視覺軌跡v i ,1
Figure TWI676388B_D0008
i
Figure TWI676388B_D0009
n：球面視覺內容包含單個球面區域：時變元資料軌跡m說明參考(主)球面視覺軌跡v包含一球面區域，該球面區域由其球面座標和尺寸定義，由球面區域識別碼id標識，並由區域視覺軌跡v 1 ,...,v n 組成(或承載在區域視覺軌跡v 1 ,...,v n 中)。對於用於說明包含複數個球面區域的訊號，這依賴於使用與球面視覺軌跡關聯的複數個時變元資料軌跡。
球面視覺內容包含複數個球面區域：時變元資料軌跡m說明參考(主)球面視覺軌跡v包含複數個球面區域，每個球面區域由其球面座標和尺寸定義，由球面區域識別碼id標識，並被承載在複數個區域視覺軌跡v 1 ,...,v n 中。
區域視覺內容組成單個球面區域：時變元資料軌跡m'說明參考區域視覺軌跡v'組成(主)視覺軌跡的球面區域，其由球面區域識別碼id標識，並且來自於v'的組成部分由球面區域和軌跡v'本身的球面座標和尺寸進行定義。對於說明複數個球面區域的組成，這依賴於使用與區域視覺軌跡關聯的複數 個時變元資料軌跡。
注意的是，某人可以以區域的形式來定義球面區域，其中任何區域或者完全屬於球面區域，或者根本不組成球面區域。在這種情況下，組成部分的訊號的說明可以被省略。還注意的是，說明主視覺軌跡v以確保區域視覺軌跡所組成的球面區域的唯一性以及確保容易定位。如果球面區域的標識可以被做成唯一的並且容易訪問的，則主視覺軌跡v的說明也可以被省略。
區域視覺內容組成複數個球面區域：時變元資料軌跡m'說明參考區域視覺軌跡v'組成複數個球面區域，並且對於(主)球面視覺軌跡v的且由識別碼id標識的每個球面組成區域，來自於v'的組成部分由球面區域和軌跡v'本身的球面座標和尺寸來定義。
本發明的有益效果包括透過各自關聯的時變元資料軌跡的包含(主)球面視覺軌跡的球面區域和組成(區域)視覺軌跡的球面區域之間的可行且雙方式的關聯，從而容易訪問和切換可以從一種類型的軌跡到另一種軌跡進行實現，以用於諸如感興趣區域/視埠處理，存儲，傳輸，注釋和渲染的目的。
本發明也可以用於說明分層球面區域，其中球面區域可以具有其本身的(子)球面區域。在這些情景中，組成區域視覺軌跡的球面區域也可以是包含主視覺軌跡的球面區域，並且一個或複數個時變元資料軌跡可以用於說明其所組成的球面區域，以及一個或複數個時變元資料軌跡可以用於說明 其所包含的球面區域。
本發明還提供了一個不同的實施例，以用於在樣本條目和樣本語法中定義球面區域，其是更優化和簡潔的。另外，本發明可以被擴展以包括其他形狀的球面區域，例如圓形，三角形和正方形。
值得注意的是，本發明中所定義的樣本條目類型和類別的名稱是說明性的，並且其定義可以被優化並且變得更簡潔，尤其當某些因素可以被省略，固定並假定為常量的或非時變的時。
下面結合圖式進一步具體地描述在上述情景中所使用的提出的球面區域。
第5圖是示出根據本發明實施例的包含在承載在球面視覺軌跡v中的球面視訊內容中的單個球面區域的示意圖。為了清楚和簡潔，第5圖示出了二維平面上球面視訊內容的矩形投影圖像。實際上，該球面視訊內容位於三維空間中的球體上，並且可以具有自球體投影的形狀。如第5圖所示，承載在球面視覺軌跡v中的球面視覺內容也被劃分為複數個球面子圖像，其分別被承載在複數個區域視覺軌跡，即v’1，v’2，v’3和v’4中。在本實施例中，球面視覺軌跡v僅包含單個球面區域(由“ROI”表示)。因此，滿足上述第一種場景。應該注意的是，單個球面區域可以是感興趣區域或視埠，這取決於實際的設計考慮。為了清楚和簡潔，球面區域ROI具有矩形的形狀。然而，這只是為了說明的目的，並不意味著本發明的限制。如上所述，球面區域ROI由其球面座標(例如，center_yaw和 center_pitch)和三維空間中的尺寸(例如，hor_range和ver_range)進行定義。此外，如第2圖所示，球面區域ROI可以由四個大圈界定(第一形狀類型)，或者如第3圖所示，其可以由兩個偏航圈和兩個俯仰圈界定(第二形狀類型)。
本發明提出了自虛擬現實服務提供器端(即源電子設備102)處的檔案封裝電路118生成的ISOBMFF檔案F包括與球面視覺軌跡關聯的時變元資料軌跡，並且時變元資料軌跡由檔案封裝電路118進行設置，以說明關聯球面視覺軌跡僅包含自各個軌跡識別碼所標識或參考的一個或複數個區域視覺軌跡所組成的單個球面區域。時變元資料軌跡被發送到虛擬現實應用端(即目標電子設備104)。在ISOBMFF檔案F’由虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收之後，時變元資料軌跡從ISOBMFF檔案F’中解封裝，以獲得提取/解析的元資料，其表示承載在關聯球面視覺軌跡中的單個球面區域是自一個或複數個區域視覺軌跡來組成的。由時變元資料軌跡說明的元資料包含以下說明處理階段所需的資訊，例如視訊解碼器122和圖像渲染電路124。例如，檔案解封裝電路120對ISOBMFF檔案F’進行解封裝，以獲得部分已編碼的位元元元流和由時變元資料軌跡說明的元資料。視訊解碼器122至少根據提取/解析的元資料解碼該部分已編碼的位元元元流。具體地，視訊解碼器122至少根據由時變元資料軌跡所說明的元資料來訪問並解碼選定類型的視覺軌跡的編碼資料。圖像渲染電路124根據該部分已編碼的位元元元流的解碼結果驅動顯示幕126。
第6圖是示出根據本發明的實施例的與球面視覺軌跡關聯且以ISOBMFF進行封裝的一個時變元資料軌跡的示意圖。時變元資料軌跡m說明參考(主)球面視覺軌跡v包含一個球面區域，其由其球面座標(例如，center_yaw和center_pitch)和尺寸(例如，hor_range和ver_range)所定義，由唯一的球面區域識別碼所標識，且由軌跡識別碼所標識或參考的區域視覺軌跡v1,...,vn所組成(或者被承載在由軌跡識別碼所標識或參考的區域視覺軌跡v1,...,vn中)。也就是說，時變元資料軌跡m說明球面區域識別碼、球面區域的球面座標和尺寸以及區域視覺軌跡的軌跡識別碼。以第5圖中所示的球面區域ROI為例，其由兩個區域虛擬軌跡v’2和v’4組成。因此，第6圖所示的區域視覺軌跡v1,...,vn由v’2和v’4組成(即{v1,...,vn}={v’2,v’4})。
下面提供第一個場景的更多細節，其中球面視覺內容包含單個球面區域。
1.球面視覺軌跡包含單個球面區域的訊號的說明
本發明的一個實施例指定了時變元資料，以用於說明(主)球面視覺軌跡包含單個球面區域，且複數個(球面或二維投影的)區域視覺軌跡組成該球面區域。更具體地，時變元資料軌跡m說明參考(主)球面視覺軌跡v包含一球面區域，其由其球面座標和尺寸所定義，由球面區域識別碼所標識，並被承載在區域視覺軌跡v 1 ,...,v n 中。
1.1樣本條目
1.1.1語法
Figure TWI676388B_D0010
1.1.2語義
shape_type等於1指定了由四個大圈指定的區域。
shape_type等於2指定了由兩個偏航圈和兩個俯仰圈指定的區域。
shape_type值等於0和大於1被保留。
dynamic_range_flag等於0指定了該區域的水準範圍和垂直範圍在參考本樣本條目的所有樣本中保持不變。dynamic_range_flag等於1指定了該區域的水準範圍和垂直範圍用樣本格式來表示。
static_hor_range和static_ver_range分別指定了該區域的水準和垂直範圍，以用於參考本樣本條目且以0.01度為單位的每個樣本。
static_hor_range和static_ver_range指定了透過該區域的中心點的這些範圍。
1.2樣本格式
1.2.1語法
Figure TWI676388B_D0011
該語法還可以被增強成如下，以相對於球面區域的球面座標和尺寸，指定每個組成軌跡所組成的球面區域的一部分。
Figure TWI676388B_D0012
該語法還可以被增強成如下，以相對於組成軌跡自身的球面座標和尺寸，指定每個組成軌跡的球面區域的一部分。
Figure TWI676388B_D0013
Figure TWI676388B_D0014
1.2.2語義
sr_id指定該球面區域的識別碼。其值相對於參考軌跡所包含的其他球面區域而言是唯一的。
center_yaw和center_pitch指定相對於全球坐標系統的以0.01度為單位所指定的區域的中心點。center_yaw將在-18000至17999的範圍內，包括兩端點。center_pitch將在-9000至9000的範圍內，包括兩端點。
hor_range和ver_range，當存在時，分別指定以0.01度為單位所指定的區域的水準範圍和垂直範圍。hor_range和 ver_range指定了透過該區域的中心點的範圍。
num_region_tracks指定其內容組成球面區域的區域虛擬軌跡的數量。當其等於0時，這意味著除了包含球面區域的參考軌跡之外不存在組成球面區域的(可能可用的或已知的)視覺軌跡。
track_id指定其內容組成球面區域的區域視覺軌跡的識別碼。其不應等於參考(主)球面視覺軌跡的識別碼。
region_portion_yaw和region_portion_pitch指定track_id的組成軌跡將組成的球面區域上的部分的中心點。
portion_hor_range和portion_ver_range分別指定以0.01度為單位所指定的track_id的組成軌跡將組成的部分的水準範圍和垂直範圍。portion_hor_range和portion_ver_range指定了透過區域的中心點的範圍。
track_portion_yaw和track_portion_pitch指定track_id的組成軌跡將組成的區域上的部分的中心點。
第7圖是示出根據本發明根據本發明實施例的包含在承載在球面視覺軌跡中的球面視訊內容中的複數個球面區域的示意圖。為了清楚和簡潔，第7圖示出了二維平面上球面視訊內容的矩形投影圖像。實際上，該球面視訊內容位於三維空間中的球體上，並且可以具有自球體投影的形狀。如第7圖所示，承載在球面視覺軌跡v中的球面視覺內容也被劃分為複數個球面子圖像，其分別被承載在複數個區域視覺軌跡，即v’1，v’2，v’3和v’4中。在本實施例中，球面視覺軌跡v包含兩個球面區域(由“ROI1”和“ROI2”表示)。因此，滿足上述第二 種場景。應該注意的是，這些球面區域可以是感興趣區域或視埠，這取決於實際的設計考慮。為了清楚和簡潔，球面區域ROI1和球面區域ROI2中的每個具有矩形的形狀。然而，這只是為了說明的目的，並不意味著本發明的限制。如上所述，球面區域ROI1和球面區域ROI2中的每個由其球面座標(例如，center_yaw和center_pitch)和三維空間中的尺寸(例如，hor_range和ver_range)進行定義。此外，如第2圖所示，球面區域ROI1可以由四個大圈(第一形狀類型)界定，或者如第3圖所示，其可以由兩個偏航圈和兩個俯仰圈(第二形狀類型)限定。同樣地，如第2圖所示，球面區域ROI2可以由四個大圈(第一形狀類型)界定，或者如第3圖所示，其可以由兩個偏航圈和兩個俯仰圈(第二形狀類型)限定。
本發明提出了自虛擬現實服務提供器端(即源電子設備102)處的檔案封裝電路118生成的ISOBMFF檔案F包括與球面視覺軌跡關聯的時變元資料軌跡，並且時變元資料軌跡由檔案封裝電路118進行設置，以說明關聯球面視覺軌跡包含複數個球面區域，每個球面軌跡是自一個或複數個區域視覺軌跡組成的。時變元資料軌跡被說明到虛擬現實應用端(即目標電子設備104)。在ISOBMFF檔案F’由虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收之後，時變元資料軌跡從ISOBMFF檔案F’中解封裝，以獲得提取/解析的元資料，其表示承載在關聯球面視覺軌跡中的複數個球面區域是自一個或複數個區域視覺軌跡來組成的。由時變元資料軌跡說明的元資料包含以下說明處理階段所需的資訊，例如視訊解碼器 122和圖像渲染電路124。例如，檔案解封裝電路120對ISOBMFF檔案F’進行解封裝，以獲得部分已編碼的位元元元流和由時變元資料軌跡說明的元資料。視訊解碼器122至少根據提取/解析的元資料解碼部分已編碼的位元元元流。具體地，視訊解碼器122至少根據由時變元資料軌跡所說明的元資料來訪問並解碼選定類型的視覺軌跡的編碼資料。圖像渲染電路124根據部分已編碼的位元元元流的解碼結果驅動顯示幕126。
第8圖是示出根據本發明的實施例的與球面視覺軌跡相關且以ISOBMFF進行封裝的另一個時變元資料軌跡的示意圖。時變元資料軌跡m說明參考(主)球面視覺軌跡v包含複數個球面區域，每個球面區域由其球面座標(例如，center_yaw和center_pitch)和尺寸(例如，hor_range和ver_range)所定義，由唯一的球面區域識別碼所標識，且由軌跡識別碼所標識或參考的區域視覺軌跡v1,...,vn所組成(或者被承載在由軌跡識別碼所標識或參考的區域視覺軌跡v1,...,vn中)。也就是說，時變元資料軌跡m說明球面區域識別碼、球面區域的球面座標和尺寸以及區域視覺軌跡的軌跡識別碼。以第7圖中所示的球面區域ROI1和球面區域ROI2為例，球面區域ROI1由兩個區域虛擬軌跡v’2和v’4所組成，球面區域ROI1單獨由區域虛擬軌跡v’4所組成。由於球面視覺軌跡v中承載有兩個球面區域，即ROI1和ROI2，第8圖所示的時變元資料軌跡具有兩個感興趣區域元資料樣本的集合，其指定組成區域視覺軌跡{v 11...,
Figure TWI676388B_D0015
}和組成區域視覺軌跡{v 21...,
Figure TWI676388B_D0016
}，其中k=2。關於第一球面區域(即ROI1)，第8圖所示的區域視覺軌跡v 11...,
Figure TWI676388B_D0017
由v’2和v’4設置(即{v 11...,
Figure TWI676388B_D0018
}={v’2,v’4})。關於第二球面區域(即，ROI2)，第8圖所示的區域視覺軌跡v 21...,
Figure TWI676388B_D0019
由v’4設置(即{v 21...,
Figure TWI676388B_D0020
}={v’4}，其中k=2)。
下面提供第二個場景的更多細節，其中球面視覺內容包含複數個球面區域。
2.主球面視覺軌跡包含複數個球面區域的說明
當主球面視覺軌跡包含需要說明的多於一個球面區域時，在單個時變元資料軌跡中將其一起說明是方便的，即使可能使用複數個時變元資料軌跡，其中一個時變元資料軌跡用於每個球面區域。
本發明的一個實施例指定了時變元資料，以用於說明(主)球面視覺軌跡包含複數個球面區域，且複數個(球面或二維投影的)區域視覺軌跡組成該球面區域。更具體地，時變元資料軌跡m說明參考(主)球面視覺軌跡v包含一球面區域，其由其球面座標和尺寸所定義，由球面區域識別碼所標識，並被承載在區域視覺軌跡v 1 ,...,v n 中。
本部分的剩餘部分中所公開的實施例是建立在單個球面區域實例中的樣本條目和樣本的基本定義之上。在單個球面區域情況下，其他可選、增強和變形實施例可以基於單個球面區域實例中的類似的可選、增強和變形定義來獲得。
2.1樣本條目
2.1.1語法
Figure TWI676388B_D0021
Figure TWI676388B_D0022
2.1.2語義
shape_type等於1指定了由四個大圈指定的區域。
shape_type等於2指定了由兩個偏航圈和兩個俯仰圈指定的區域。
shape_type值等於0和大於1被保留。
dynamic_range_flag等於0指定了該區域的水準範圍和垂直範圍在參考本樣本條目的所有樣本中保持不變。dynamic_range_flag等於1指定了該區域的水準範圍和垂直範圍用樣本格式來表示。
static_hor_range和static_ver_range分別指定了該 區域的水準和垂直範圍，以用於參考本樣本條目且以0.01度為單位的每個樣本。static_hor_range和static_ver_range指定了透過該區域的中心點的這些範圍。
num_spherical_regions指定了參考本樣本條目的樣本中的球面區域的數量。
2.2樣本格式
2.2.1語法
Figure TWI676388B_D0023
2.2.2語義
sr_id指定該球面區域的識別碼。其值相對於參考 軌跡所包含的其他球面區域而言是唯一的。
center_yaw和center_pitch指定相對於全球坐標系統的以0.01度為單位所指定的區域的中心點。center_yaw將在-18000至17999的範圍內，包括兩端點。center_pitch將在-9000至9000的範圍內，包括兩端點。
hor_range和ver_range，當存在時，分別指定以0.01度為單位所指定的區域的水準範圍和垂直範圍。hor_range和ver_range指定了透過該區域的中心點的範圍。
num_region_tracks指定其內容組成球面區域的區域虛擬軌跡的數量。當其等於0時，這意味著除了包含球面區域的參考軌跡之外不存在組成球面區域的(可能可用的或已知的)視覺軌跡。
track_id指定其內容組成球面區域的區域視覺軌跡的識別碼。其不應等於參考(主)球面視覺軌跡的識別碼。
如第5圖所示，區域視覺軌跡v’2和v’4中的每一個僅組成單個球面區域ROI。具體地，區域視覺軌跡v’2組成球面區域ROI的上部分，區域視覺軌跡v’4組成球面區域ROI的下部分。因此，上面提到的第三種場景由第5圖中所示的區域視覺軌跡v’2和v’4中的每個來滿足。
如第7圖所示，區域視覺軌跡v’2僅組成單個球面區域ROI1。具體地，區域視覺軌跡v’2組成球面區域ROI1的上部分。因此，上面提到的第三種場景也由第7圖中所示的區域視覺軌跡v’2來滿足。
本發明提出了自虛擬現實服務提供器端(即源電 子設備102)處的檔案封裝電路118生成的ISOBMFF檔案F包括與球面視覺軌跡關聯的時變元資料軌跡，並且時變元資料軌跡由檔案封裝電路118進行設置，以說明關聯球面視覺軌跡僅包含承載在一個球面視覺軌跡中的單個球面區域。時變元資料軌跡被發送到虛擬現實應用端(即目標電子設備104)。在ISOBMFF檔案F’由虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收之後，時變元資料軌跡從ISOBMFF檔案F’中解封裝，以獲得提取/解析的元資料，其表示關聯區域視覺軌跡僅組成承載在一個球面視覺軌跡中的單個球面區域。由時變元資料軌跡說明的元資料包含以下說明處理階段所需的資訊，例如視訊解碼器122和圖像渲染電路124。例如，檔案解封裝電路120對ISOBMFF檔案F’進行解封裝，以獲得部分已編碼的位元元元流和由時變元資料軌跡說明的元資料。視訊解碼器122至少根據提取/解析的元資料解碼該部分已編碼的位元元元流。具體地，視訊解碼器122至少根據由時變元資料軌跡所說明的元資料來訪問並解碼選定類型的視覺軌跡的編碼資料。圖像渲染電路124根據該部分已編碼的位元元元流的解碼結果驅動顯示幕126。
第9圖是示出根據本發明的實施例的與區域視覺軌跡相關且以ISOBMFF進行封裝的一時變元資料軌跡的示意圖。時變元資料軌跡m’說明參考區域視覺軌跡v’組成由軌跡識別碼標識的(主)球面視覺軌跡v的球面區域，其由球面區域識別碼(如roi_id)標識。也就是說，時變元資料軌跡m’說明球面區域的球面區域識別碼，以及球面視覺軌跡的軌跡識別碼。
第5圖中所示的球面視覺軌跡v僅具有自區域虛擬軌跡v’2和v’4組成的單個球面區域ROI。此外，區域虛擬軌跡v’2和v’4中的每一個僅組成單個球面區域。因此，第9圖中所示的區域視覺軌跡{v1,...,v’,...,vn}由v’2和v’4組成(即{v1,...,v’,...,vn}={v’2,v’4}，其中v’=v’2或v’4)。ISOBMFF檔案F/F’包括一個元資料軌跡m’，其說明關聯區域視覺軌跡v’2(v’=v’2)組成由球面區域識別碼roi_id所標識且承載在球面視覺軌跡v中的球面區域ROI，並且還包括另一個元資料軌跡m’，其說明關聯區域視覺軌跡v’4(v’=v’4)組成由球面區域識別碼roi_id標識且承載在球面視覺軌跡v中的同一球面區域ROI。
第7圖中所示的球面視覺軌跡v具有自區域虛擬軌跡v’2和區域虛擬軌跡v’4組成的複數個球面區域，即ROI1和ROI2。此外，區域虛擬軌跡v’2僅組成單個球面區域ROI1，區域虛擬軌跡v’4組成複數個球面區域ROI1和ROI2。因此，第9圖所示的區域視覺軌跡{v1,...,v’,...,vn}由v’2和v’4組成(即{v1,...,v’,...,vn}={v’2,v’4}，其中v’=v’2)。ISOBMFF檔F/F’包括一個元資料軌跡m’，其說明關聯的區域視覺軌跡v’2(v’=v’2)組成由球面區域識別碼roi_id所標識且承載在球面視覺軌跡v中的球面區域ROI1。
與區域視覺軌跡v’關聯的時變元資料軌跡m’可以透過說明一個或球面區域和區域視覺軌跡v'本身中至少一個的球面座標和尺寸來進一步定義自區域視覺軌跡v’組成的部分。第10圖是根據本發明實施例的用球面區域和區域視覺軌跡本身的球面座標和尺寸定義的區域視覺軌跡的組成部分的示 意圖。為了清楚和簡潔，第10圖示出了二維平面上球面視訊內容的矩形投影圖像。實際上，該球面視訊內容位於三維空間中的球體上，並且可以具有自球體投影的形狀。應該注意的是，具有矩形形狀的球面區域和具有矩形形狀的每個球面區域部分僅用於說明性目的，而不意味著對本發明的限制。另外，如第2圖所示，球面區域可以由四個大圓圈界定(第一形狀類型)，或者如第3圖所示，其可以由兩個偏航圓圈和兩個俯仰圓圈界定(第二形狀類型)。
如上所述，第5圖中的區域視覺軌跡v’2僅組成單個球面區域(特別是球面區域ROI的上部分)。自區域視覺軌跡v’2組成的球面區域ROI的上部分被指定在與區域視覺軌跡v’2關聯的元資料軌跡中。在本發明的一些實施例中，用球面區域的球面座標和尺寸方面，與區域視覺軌跡v’(例如，v’2)關聯的時變元資料軌跡m’指定區域視覺軌跡v’所組成的球面區域的一部分(例如，球面區域ROI的上部分)。例如，時變元資料軌跡m’被設置，以用球面區域的球面座標和尺寸，說明關聯區域視覺軌跡v’(例如，v’2)所組成的球面區域的部分的球面座標(例如，region_portion_yaw和region_portion_pitch)和尺寸(例如，region_hor_range和region_ver_range)。
在本發明的一些實施例中，用區域視覺軌跡v’本身的球面座標和尺寸，與區域視覺軌跡v’(例如，v’2)關聯的時變元資料軌跡m’還可以指定區域視覺軌跡v’所組成的球面區域的一部分(例如，球面區域ROI的上部分)。例如，時變元資料軌跡m’被設置，以用區域視覺軌跡v’(例如，v’2)的球面區 域的球面座標和尺寸，以進一步說明關聯的區域視覺軌跡v’所組成的球面區域的一部分的球面座標(例如，region_portion_yaw和region_portion_pitch)和尺寸(例如，region_hor_range和region_ver_range)。
下面提供第三個場景的更多細節，其中球面視覺內容組成單個球面區域。
3.區域視訊軌跡組成單個球面區域的訊號說明
本發明的實施例指定時變元資料軌跡，以用於說明(球面或投影二維)區域視覺軌跡組成單個球面區域的一部分。更具體地，時變元資料軌跡m'說明參考區域視覺軌跡v'組成(主)球面視覺軌跡的球面區域，其由球面區域識別碼id標識，並且自v'組成的部分是用該球面區域和軌跡v'自身的球面座標和尺寸進行定義的。
基於優化、增強和變形而獲得的更多實施例可以透過考慮用於說明主球面視覺軌跡包含單個球面區域的那些實施例來獲得，例如球面區域是靜態的，並且組成部分是非時變的。
3.1樣本條目
3.1.1語法
Figure TWI676388B_D0024
Figure TWI676388B_D0025
3.1.2語義
shape_type等於1指定了由四個大圈指定的區域。
shape_type等於2指定了由兩個偏航圈和兩個俯仰圈指定的區域。
shape_type值等於0和大於1被保留。
dynamic_range_flag等於0指定了該區域的水準範圍和垂直範圍在參考本樣本條目的所有樣本中保持不變。dynamic_range_flag等於1指定了該區域的水準範圍和垂直範圍用樣本格式來表示。
static_hor_range和static_ver_range分別指定了該區域的水準和垂直範圍，以用於參考本樣本條目且以0.01度為單位的每個樣本。static_hor_range和static_ver_range指定透過該區域的中心點的這些範圍。
3.2樣本格式
3.2.1語法
Figure TWI676388B_D0026
3.2.2語義
sr_id該球面區域的識別碼。其值相對於參考軌跡所包含的其他球面區域而言是唯一的。
track_id指定包含該球面區域的主球面視覺軌跡的識別碼。
region_portion_yaw和region_portion_pitch指定參考軌跡將組成的球面區域上的一部分的中心點。
portion_hor_range和portion_ver_range分別指定了參考軌跡所組成的且以0.01度為單位元元所指定的部分的水準範圍和垂直範圍。
portion_hor_range和portion_ver_range指定了透過該區域的中心點的該範圍。
track_portion_yaw和track_portion_pitch指定參考軌跡將組成的區域上的部分的中心點，該部分區域由參考軌跡 組成。
如第7圖所示，區域視覺軌跡v’4組成複數個球面區域，即ROI1和ROI2。具體地，區域視覺軌跡v’4組成球面區域ROI1的下部分，並且也組成整個球面區域ROI2。因此，上述第四種情景由如第7圖所示的區域視覺軌跡v’4來滿足。本發明提出了自虛擬現實服務提供器端(即源電子設備102)處的檔案封裝電路118生成的ISOBMFF檔案F包括與球面視覺軌跡關聯的時變元資料軌跡，並且時變元資料軌跡由檔案封裝電路118進行設置，以說明關聯球面視覺軌跡組成承載在一個或複數個球面視覺軌跡中的複數個球面區域。時變元資料軌跡被說明到虛擬現實應用端(即目標電子設備104)。在ISOBMFF檔F’由虛擬現實應用端(即目標電子設備104)處的檔案解封裝電路120接收之後，時變元資料軌跡從ISOBMFF檔案F’中解封裝，以獲得提取/解析的元資料，其表示關聯區域視覺軌跡組成承載在一個或複數個球面視覺軌跡中的複數個球面區域。由時變元資料軌跡說明的元資料包含以下說明處理階段所需的資訊，例如視訊解碼器122和圖像渲染電路124。例如，檔案解封裝電路120對ISOBMFF檔F’進行解封裝，以獲得部分已編碼的位元元元流和由時變元資料軌跡說明的元資料。視訊解碼器122至少根據提取/解析的元資料解碼該部分已編碼的位元元元流。具體地，視訊解碼器122至少根據由時變元資料軌跡所說明的元資料來訪問並解碼選定類型的視覺軌跡的編碼資料。圖像渲染電路124根據該部分已編碼的位元元元流的解碼結果驅動顯示幕126。
第11圖示出根據本發明的實施例的與區域視覺軌跡相關且以ISOBMFF進行封裝的一時變元資料軌跡的示意圖。時變元資料軌跡m’說明參考區域視覺軌跡v’組成複數個球面區域。第7圖所示的球面視覺軌跡v具有自區域虛擬軌跡v’2和v’4組成的複數個球面區域，即ROI1和ROI2。此外，區域虛擬軌跡v’2僅組成單個球面區域，區域虛擬軌跡v’4組成複數個球面區域。
在第一種情況下，由相同區域視覺軌跡v’所組成的球面區域被承載在同一球面視覺軌跡v中。因此，如第11圖所示，由第一球面區域識別碼roi_id1所標識並承載在第一球面視覺軌跡v1中的第一球面區域是承載在第7圖中所示的球面視覺軌跡v中的球面區域ROI1，其中v1=v；以及如第11圖所示，由第n球面區域識別碼roi_idn標識並承載在第n球面視覺軌跡vn中的第n球面區域是承載在第7圖中所示的球面視覺軌跡v中的球面區域ROI2，其中vn=v。由於從{v1，...，vn}中選擇的球面視覺軌跡vi是球面視覺軌跡v，所以第11圖中示出的區域視覺軌跡{v i1,...,v’,...,
Figure TWI676388B_D0027
}僅由v’4組成(即{v i1,...,v’,...,
Figure TWI676388B_D0028
}={v’4}，其中v’=v’4)。ISOBMFF檔F/F’包括一個元資料軌跡m’，其說明關聯的區域視覺軌跡v’4(v’=v’4)組成由球面區域識別碼roi_id1標識且承載在由軌跡識別碼標識或參考的球面軌跡v中的球面區域ROI1，並且其還組成由球面區域識別碼roi_id2標識且承載在由軌跡識別碼標識或參考的球面軌跡v中的球面區域ROI2。也就是說，時變元資料軌跡m’說明球面區域的球面區域識別碼以及球面視覺軌跡的軌跡識別碼。
在第二種情況下，由相同區域視覺軌跡v’組成的球面區域可以被承載在對應於不同球體上的球面視覺內容的不同球面視覺軌跡{v1,...,vn}中，其中v1≠vn。因此，對於從{v1,...，vn}中選擇的任何球面視覺軌跡vi，其可以包括由區域視覺軌跡v’組成的球面區域。因此，ISOBMFF檔F/F’包括一個元資料軌跡m’，其說明關聯的區域視覺軌跡v’組成由不同球面區域識別碼{roi_id1，...，roi_idn}標識且承載在分別由各自的軌跡識別碼標識或參考的不同球面視覺軌跡{v1，...，vn}中。也就是說，時變元資料軌跡m’說明球面區域的球面區域識別碼以及球面視覺軌跡的軌跡識別碼。
進一步地，在任何上述情況下，對於由球面區域識別碼{roi_rd1，...，roi_idn}標識並且承載在(主)球面視覺軌跡{v1，...，vn}中的每個組成球面區域，如第10圖所示，自區域視覺軌跡v’組成的部分是用球面區域和區域視覺軌跡v’自身中至少一個的球面座標和尺寸進行定義。也就是說，相對於球面區域的球面座標和尺寸，與區域視覺軌跡v’關聯的時變元資料軌跡m’可以指定區域視覺軌跡v’所組成的球面區域的一部分，並且相對於區域視覺軌跡v’本身的球面座標和尺寸，可以還指定區域視覺軌跡v’所組成的球面區域的部分。
下面提供了第四個場景的更多細節，其中區域視覺內容組成複數個球面區域。
4.區域視訊軌跡組成複數個球面區域的訊號說明
當區域視覺軌跡組成多於一個球面區域時，在單個時變元資料軌跡內將這些球面區域一起說明也可以是更緊 湊和方便的，即使可能使用複數個時變元資料軌跡，其中一個時變元資料軌跡用於每個球面區域。
本發明的實施例指定了時變元資料軌跡，以用於說明(球面或二維投影的)區域視覺軌跡組成複數個球面區域。更具體地，時變元資料軌跡m'說明參考區域視覺軌跡v'組成複數個球面區域，並且對於(主)球面視覺軌跡v的由球面區域識別碼id標識的每個球面區域，自v'組成的部分是用球面區域和軌跡v'自身的球面座標和尺寸進行定義的。
4.1樣本條目
4.1.1語法
Figure TWI676388B_D0029
}
4.1.2語義
shape_type等於1指定了由四個大圈指定的區域。
shape_type等於2指定了由兩個偏航圈和兩個俯仰圈指定的區域。
shape_type值等於0和大於1被保留。
dynamic_range_flag等於0指定了該區域的水準範圍和垂直範圍在參考本樣本條目的所有樣本中保持不變。dynamic_range_flag等於1指定了該區域的水準範圍和垂直範圍用樣本格式來表示。
static_hor_range和static_ver_range分別指定了該區域的水準範圍和垂直範圍，以用於參考本樣本條目且以0.01度為單位的每個樣本。static_hor_range和static_ver_range指定了透過該區域的中心點的這些範圍。
num_spherical_regions指定了參考本樣本條目的樣本中的球面區域的數量。
4.2樣本格式
4.2.1語法
Figure TWI676388B_D0030
Figure TWI676388B_D0031
4.2.2語義
num_contributed_spherical regions指定關聯媒體樣本組成其內容的球面區域的數量。
sr_id該球面區域的識別碼。其值相對於參考軌跡所包含的其他球面區域而言是唯一的。
track_id指定包含該球面區域的主球面視覺軌跡的識別碼。
region_portion_yaw和region_portion_pitch指定參考軌跡將組成的球面區域上的部分的中心點。
portion_hor_range和portion_ver_range分別指定由該參考軌跡將組成且以0.01為單位元元所指定的部分的水準範圍和垂直範圍。portion_hor_range和portion_ver_range指定了透過該區域中心點的該範圍。
track_portion_yaw和track_portion_pitch指定參考軌跡將組成的區域上的部分的中心點。
依據本發明一實施方式，提供一種視訊處理方法，包括：接收虛擬實境內容；編碼從虛擬實境內容獲得的視訊資料，以生成一部分已編碼的位元流；以及檔案封裝電路將部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的球面數據軌跡包含自至少一個區域視覺軌跡所組成的至少一個球面區域。
依據本發明另一實施方式，提供一種視訊處理方法，包括接收虛擬實境內容；編碼自虛擬實境內容獲得的視訊資料，以生成一部分已編碼的位元流；以及檔案封裝電路將部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域。
依據本發明另一實施方式，提供一種視訊處理方法，包括接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的球面數據軌跡包含自至少一個區域視覺軌跡組成的至少一個球面區域；解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位 元流和由時變元資料軌跡說明的元資料；至少根據元資料解碼部分已編碼的位元流；以及根據部分已編碼的位元流的解碼結果驅動顯示幕。
依據本發明另一實施方式，提供一種視訊處理方法，包括接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域；解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由時變元資料軌跡說明的元資料；根據元資料解碼部分已編碼的位元流；以及根據部分已編碼的位元流的解碼結果驅動顯示幕。
依據本發明另一實施方式，提供一種視訊處理裝置，包括轉換電路，用於接收虛擬實境內容；視訊編碼器，用於透過編碼變換電路從虛擬實境內容獲得的視訊資料，生成一部分已編碼的位元流；以及檔案封裝電路，用於將部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的該球面資料軌跡包含由至少一個區域視覺軌跡所組成的至少一個球面區域。
依據本發明另一實施方式，提供一種視訊處理裝置，包括轉換電路，用於接收虛擬實境內容；視訊編碼器，用於透過編碼變換電路從該虛擬實境內容獲得的視訊資料，生成一部分已編碼的位元流；以及檔案封裝電路，用於將部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡被設置以說明關聯的該區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域。
依據本發明另一實施方式，提供一種視訊處理裝置，包括檔案解封裝電路，用於接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中透過至少一個國際標準化組織基本媒體檔案格式的檔案，並解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由該時變元資料軌跡說明的元資料，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的該球面資料軌跡包含自至少一個區域視覺軌跡組成的至少一個球面區域；視訊解碼器，用於根據元資料解碼部分已編碼的位元流；以及圖像渲染電路，用於根據部分已編碼的位元流的解碼結果驅動顯示幕。
依據本發明另一實施方式，提供一種視訊處理裝置，包括檔案解封裝電路，用於接收至少一個國際標準化組織基本 媒體檔案格式的檔案，並解封裝至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由時變元資料軌跡說明的元資料，其中虛擬實境內容透過至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且時變元資料軌跡說明關聯的區域資料軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域；視訊解碼器，用於根據元資料解碼部分已編碼的位元流；以及圖像渲染電路，用於根據部分已編碼的位元流的解碼結果驅動顯示幕。
所屬領域的通常知識者易知，可在保持本發明的教示內容的同時對裝置及方法作出諸多修改及變動。因此，以上公開內容應被視為僅受隨附專利申請範圍的範圍的限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (21)

  1. 一種視訊處理方法，包括：接收虛擬實境內容；編碼從該虛擬實境內容獲得的視訊資料，以生成一部分已編碼的位元流；以及檔案封裝電路將該部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中該至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡被設置以說明關聯的該球面數據軌跡包含自至少一個區域視覺軌跡所組成的至少一個球面區域。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，該時變元資料軌跡被設置，以進一步說明該至少一個球面區域中每一個的球面區域識別碼，以及該至少一個區域視覺軌跡中每一個的軌跡識別碼。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，該時變元資料軌跡被設置以進一步說明該至少一個球面區域中每一個的球面座標和尺寸。
  4. 如申請專利範圍第1項所述之視訊處理方法，其中，關聯的該球面視覺軌跡僅包含單個球面區域，且該時變元資料軌跡指示該單個球面區域被承載在該至少一個區域視覺軌跡中。
  5. 如申請專利範圍第4項所述之視訊處理方法，其中，該至少一個區域視覺軌跡的數量大於1。
  6. 如申請專利範圍第1項所述之視訊處理方法，其中，關聯的該球面視覺軌跡包含複數個球面區域，且該時變元資料軌跡說明該複數個球面區域被承載在複數個區域視覺軌跡中，其中該複數個球面區域中的每一個被承載在至少一個區域視覺軌跡中。
  7. 如申請專利範圍第6項所述之視訊處理方法，其中，該複數個區域視覺軌跡中至少一個的數量大於1。
  8. 如申請專利範圍第6項所述之視訊處理方法，其中，該複數個區域視覺軌跡分別與複數個時變元資料軌跡關聯。
  9. 一個視訊處理方法，包括：接收虛擬實境內容；編碼自該虛擬實境內容獲得的視訊資料，以生成一部分已編碼的位元流；以及檔案封裝電路將該部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中該至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡被設置以說明關聯的該區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域。
  10. 如申請專利範圍第9項所述之視訊處理方法，其中，該時變元資料軌跡被設置以進一步說明該至少一個球面區域中每一個的球面區域識別碼和至少一個球面視覺軌跡中每一個的軌跡識別碼。
  11. 如申請專利範圍第9項所述之視訊處理方法，其中，該時變元資料軌跡被設置以相對於該至少一個球面區域中每一個的球面座標和尺寸，進一步說明關聯的該區域視覺軌跡所組成的該至少一個球面區域中每一個的一部分的球面座標和尺寸。
  12. 如申請專利範圍第9項所述之視訊處理方法，其中，該時變元資料進一步被設置為以相對於關聯的該區域視覺軌跡的區域上的一部分的球面座標和尺寸，進一步說明該區域視覺軌跡所組成的該至少一個球面區域中每一個的一部分的球面座標和尺寸。
  13. 如申請專利範圍第9項所述之視訊處理方法，其中，關聯的該區域視覺軌跡僅組成單個球面區域。
  14. 如申請專利範圍第9項所述之視訊處理方法，其中，關聯的該區域視覺軌跡組成複數個球面區域。
  15. 如申請專利範圍第14項所述之視訊處理方法，其中，該複數個球面區域包括分別承載在對應於不同球體的不同球面視覺軌跡中的複數個球面區域。
  16. 一種視訊處理方法，包括：接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過該至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，該至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡說明關聯的該球面數據軌跡包含自至少一個區域視覺軌跡組成的至少一個球面區域；解封裝該至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由該時變元資料軌跡說明的元資料；至少根據該元資料解碼該部分已編碼的位元流；以及根據該部分已編碼的位元流的解碼結果驅動顯示幕。
  17. 一種視訊處理方法，包括：接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中虛擬實境內容透過該至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，該至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡說明關聯的該區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域；解封裝該至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由該時變元資料軌跡說明的元資料；根據該元資料解碼該部分已編碼的位元流；以及根據該部分已編碼的位元流的解碼結果驅動顯示幕。
  18. 一種視訊處理裝置，包括：轉換電路，用於接收虛擬實境內容；視訊編碼器，用於透過編碼該變換電路從該虛擬實境內容獲得的視訊資料，生成一部分已編碼的位元流；以及檔案封裝電路，用於將該部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中該至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡被設置以說明關聯的該球面資料軌跡包含由至少一個區域視覺軌跡所組成的至少一個球面區域。
  19. 一種視訊處理裝置，包括：轉換電路，用於接收虛擬實境內容；視訊編碼器，用於透過編碼該變換電路從該虛擬實境內容獲得的視訊資料，生成一部分已編碼的位元流；以及檔案封裝電路，用於將該部分已編碼的位元流封裝成至少一個國際標準化組織基本媒體檔案格式的檔案，其中該至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡被設置以說明關聯的該區域視覺軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域。
  20. 一種視訊處理裝置，包括：檔案解封裝電路，用於接收至少一個國際標準化組織基本媒體檔案格式的檔案，其中透過該至少一個國際標準化組織基本媒體檔案格式的檔案，並解封裝該至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由該時變元資料軌跡說明的元資料，其中虛擬實境內容透過該至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，該至少一個國際標準化組織基本媒體檔案格式的檔案包括與球面視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡說明關聯的該球面資料軌跡包含自至少一個區域視覺軌跡組成的至少一個球面區域；視訊解碼器，用於根據該元資料解碼該部分已編碼的位元流；以及圖像渲染電路，用於根據該部分已編碼的位元流的解碼結果驅動顯示幕。
  21. 一種視訊處理裝置，包括：檔案解封裝電路，用於接收至少一個國際標準化組織基本媒體檔案格式的檔案，並解封裝該至少一個國際標準化組織基本媒體檔案格式的檔案以獲得一部分已編碼的位元流和由該時變元資料軌跡說明的元資料，其中虛擬實境內容透過該至少一個國際標準化組織基本媒體檔案格式的檔案進行傳輸，該至少一個國際標準化組織基本媒體檔案格式的檔案包括與區域視覺軌跡關聯的時變元資料軌跡，且該時變元資料軌跡說明關聯的該區域資料軌跡組成承載在至少一個球面視覺軌跡中的至少一個球面區域；視訊解碼器，用於根據該元資料解碼該部分已編碼的位元流；以及圖像渲染電路，用於根據該部分已編碼的位元流的解碼結果驅動顯示幕。
TW107111163A 2017-03-30 2018-03-30 說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置 TWI676388B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762478676P 2017-03-30 2017-03-30
US62/478,676 2017-03-30
PCT/CN2018/081114 WO2018177373A1 (en) 2017-03-30 2018-03-29 Method and apparatus for signaling spherical region information in isobmff
??PCT/CN2018/081114 2018-03-29
WOPCT/CN2018/081114 2018-03-29

Publications (2)

Publication Number Publication Date
TW201842774A TW201842774A (zh) 2018-12-01
TWI676388B true TWI676388B (zh) 2019-11-01

Family

ID=63674284

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107111163A TWI676388B (zh) 2017-03-30 2018-03-30 說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置

Country Status (4)

Country Link
US (1) US10819907B2 (zh)
CN (1) CN110651482B (zh)
TW (1) TWI676388B (zh)
WO (1) WO2018177373A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
CN110546961B (zh) * 2019-06-25 2021-02-09 北京小米移动软件有限公司 全景媒体播放方法、设备及计算机可读存储介质
CN112511866B (zh) * 2019-12-03 2024-02-23 中兴通讯股份有限公司 媒体资源播放方法、装置、设备和存储介质
GB2596325B (en) * 2020-06-24 2023-04-19 Canon Kk Method and apparatus for encapsulating annotated region in ISOBMFF tracks
CN114374675B (zh) * 2020-10-14 2023-02-28 腾讯科技（深圳）有限公司 媒体文件的封装方法、媒体文件的解封装方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US20160352791A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
US9762938B2 (en) * 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
WO2015014773A1 (en) * 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
US9330101B2 (en) * 2013-12-18 2016-05-03 Microsoft Technology Licensing, Llc Using constraints on media file formats to improve performance
EP3079283A1 (en) * 2014-01-22 2016-10-12 Radioscreen GmbH Audio broadcasting content synchronization system
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information
US20160373771A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US9794574B2 (en) * 2016-01-11 2017-10-17 Google Inc. Adaptive tile data size coding for video and image compression
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
US10264264B2 (en) * 2016-09-24 2019-04-16 Apple Inc. Multi-bin decoding systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US20160352791A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置

Also Published As

Publication number Publication date
TW201842774A (zh) 2018-12-01
US10819907B2 (en) 2020-10-27
CN110651482A (zh) 2020-01-03
US20200053282A1 (en) 2020-02-13
WO2018177373A1 (en) 2018-10-04
CN110651482B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
TWI676388B (zh) 說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置
TWI670973B (zh) 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置
CN110870303B (zh) 呈现超出全方位媒体的vr媒体的方法和装置
CN111837383B (zh) 发送和接收关于动态视点的坐标系的元数据的方法和装置
US10887577B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR102138536B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
JP6960528B2 (ja) メディアコンテンツを生成および処理するための方法、装置、およびコンピュータプログラム
US10893254B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR20190094451A (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR20200065076A (ko) 볼류메트릭 비디오 포맷을 위한 방법, 장치 및 스트림
JP7133038B2 (ja) メディアコンテンツを送信する方法、装置及びコンピュータプログラム
JP2020526057A (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
EP3609187A1 (en) Method for transmitting region-based 360-degree video, method for receiving region-based 360-degree video, region-based 360-degree video transmission device, and region-based 360-degree video reception device
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
JP2023531579A (ja) ボリュメトリックメディア処理方法および装置
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质