TW201818351A - 在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置 - Google Patents

在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置 Download PDF

Info

Publication number
TW201818351A
TW201818351A TW106132593A TW106132593A TW201818351A TW 201818351 A TW201818351 A TW 201818351A TW 106132593 A TW106132593 A TW 106132593A TW 106132593 A TW106132593 A TW 106132593A TW 201818351 A TW201818351 A TW 201818351A
Authority
TW
Taiwan
Prior art keywords
type
projection
mapping
code points
viewports
Prior art date
Application number
TW106132593A
Other languages
English (en)
Other versions
TWI689896B (zh
Inventor
新 王
魯林 陳
柏霖 賴
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201818351A publication Critical patent/TW201818351A/zh
Application granted granted Critical
Publication of TWI689896B publication Critical patent/TWI689896B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種方法，其在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點。一種實施這個方法的裝置接收由一個或多個集群中的多個媒體源所捕獲的多個媒體內容。這個裝置處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點。這個裝置也編碼該多個媒體內容以提供至少一個基礎流。

Description

在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置 【相關申請的交叉引用】
本申請是要求如下申請的優先權：2016年09月23日提出的申請號為62/398,549的美國專利申請案和在2016年09月29日提出的申請號為62/401,276的美國專利申請案的非臨時申請案的一部分。且上述列出的應用的內容以引用方式整體併入本文中。
本發明涉及多個媒體源的媒體處理。具體而言，本發明涉及在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立于編解碼的碼點(coding-independent code points，CICP)的系統及方法。
除非此處另有說明外，本部分所描述的方法相對於下面列出的申請專利範圍而言不是習知技術，並且本部分包含的內容不被承認是習知技術。
當前，在大範圍的幾何結構中，存在多樣性的攝 像機和圖像或光學感測器，其允許捕獲具有多種空間維度的更豐富形式的視覺媒體資料。這種多樣性包括多視圖陣列(multi-view array)(例如，線狀、弧狀、平面、圓頂狀)、360°虛擬實境(virtual reality，VR)攝像機設置、光場攝像機(例如攝像機陣列)、6自由度(6-degree-of-freedom，6DoF)攝像機或者深度攝像機。不同攝像機設置捕獲三維(three-dimensional，3D)空間的光輻射的不同表示，並且不同表示可以形成從寬基線和稀疏多視圖陣列到窄基線和密集的光場資料的光譜。
ISO/IEC 23001-8的說明意圖定義各種碼點和碼場(code field)，其建立獨立於壓縮編碼和位元速率的視訊流或者音訊流的特性。但是，在其最新版本中，缺乏用於多個媒體源，特別是這些由攝像機和圖像感測器或者光感測器所捕獲的媒體源的碼點，以在信號由相應的編碼器以一種適合壓縮這類輸入信號的方式促進壓縮之前，提供來自於多個媒體源的信號的特徵。也缺乏用於多個媒體源，特別是這些由攝像機和圖像感測器或者光感測器所捕獲的媒體源的碼點，以提供可以描述解碼視訊資料或者解碼音訊資料的合適說明的特性。沒有這些所指定和發信的獨立編解碼的碼點，很難定義依賴於這些碼點的其他面向應用的規範和系統。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非显而易见的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因 此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
在一方面中，一種方法可以涉及接收由一個或多個集群中的多個媒體源所捕獲的多個媒體內容。這個方法也可以涉及處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點。這個方法還可以涉及編碼該多個媒體內容以提供至少一個基礎流。
在一方面中，一種裝置可以包括處理電路和編碼電路。處理電路可以用於接收由一個或多個集群中的多個媒體源所捕獲的多個媒體內容。該處理電路也可以用於處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點。編碼電路可以用於編碼該多個媒體內容以提供至少一個基礎流。
在一方面中，一種裝置可以包括解碼電路和渲染電路。解碼電路可以用於解碼包含由一個或多個集群中多個媒體源所捕獲的編碼視訊內容的至少一個基礎流和用於該多個媒體源多個獨立編解碼的碼點，以提供一個或多個解碼媒體內容流。渲染電路可以用於基於解碼媒體內容流中的多個視訊內容，渲染一個或多個視埠、一個或多個區域及其組合。
100‧‧‧情景
110‧‧‧處理階段
120‧‧‧編碼階段
700、1900‧‧‧流程
1700‧‧‧內容流流程
1800‧‧‧裝置
1810、1860‧‧‧處理器
1812‧‧‧媒體內容處理電路
1814‧‧‧編碼電路
1820、1870‧‧‧通信設備
1830、1880‧‧‧記憶體
1840‧‧‧媒體源
1850‧‧‧集群
1866‧‧‧解碼電路
1868‧‧‧渲染電路
1910、1920、1930‧‧‧步驟
提供下列圖式以進一步理解本發明公開的內容，並且這些圖式被納入且構成本發明公開的一部分。這些圖式說明了本發明的實施方式，並與說明書一起用以解釋本發明的原理。為了清楚地說明本發明的概念，由於與實際實施方式中的 尺寸相比，一些元件可以不按照比例被示出，這些圖式無需按照比例繪製。
第1圖是根據本發明的各種示例可實現的示例情景的示意圖。
第2圖是根據本發明的各種示例可實現的n維空間中的自由度的示意圖。
第3圖包括示出根據本發明的一些示例形狀的視埠(viewport)的表格。
第4圖是根據本發明的n維空間中示例視埠的示意圖。
第5圖是根據本發明的由沿著環移動的攝像機生成的動態視埠的示意圖。
第6圖包括示出根據本發明的可形成視埠的幾何形狀的示例類型的表格。
第7圖是根據本發明的示例流程的示意圖。
第8圖是根據本發明的用於球形視埠的示例等角投影和映射的示意圖。
第9圖是根據本發明的用於立方形視埠的示例立方體投影和映射的示意圖。
第10圖是根據本發明的用於矩形區域的示例環形投影和映射的示意圖。
第11圖包括顯示根據本發明的示例集群幾何類型的表格。
第12圖包括顯示根據本發明的示例視圖特徵的表格。
第13圖包括顯示根據本發明的示例投影類型的表格。
第14圖包括顯示根據本發明的示例映射類型的表格。
第15圖包括顯示根據本發明的示例逆映射類型的表格。
第16圖包括顯示根據本發明的示例逆投影類型的表格。
第17圖是根據本發明的具有規範化流程的新內容流流程的示意圖。
第18圖是根據本發明的示例裝置的示意圖。
第19圖是根據本發明的流程的流程圖。
在下面詳細的說明書中，為了透徹理解相關教示內容，透過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者多個示例性實施方式的電路。
概述
本發明提出了一種系統及方法，其用於在編碼之前的不同的媒體處理階段，以及在解碼之後的傳輸和處理期間，指定、發信和使用用於多個集群(或者集合)中多個媒體源的獨立編解碼的碼點。本發明也提出了一種系統及方法，其先透過規範化(canonicalization)，變換自在球面上排列成不同幾何類型的媒體源(例如攝像機)而獲得的源內容，然後使用用於球面內容的傳統內容流流程和新內容流流程，處理規範化的內容。
第1圖示出了根據本發明的各種示例可實現的示例情景100的示意圖。在情景100中，提供視訊(序列或者圖像序列)、靜止圖像和/或其他類型媒體(例如音訊、文本)的多個媒體源S0(0)~SM-1(NM-1-1)可以概念上或者物理上組成多個集群C0~CM-1，其中M和N中的每個為大於1的正整數。一個或多個類型的媒體源的集群C0~CM-1提供在編碼之前的處理階段110中待處理的一種或多種類型的媒體。為了簡化，由處理階段110後處理(post process)的一個或多個具有給定類型(例如，視訊)的處理过的媒體(processed media)被示出作為多個媒體源s0(0)~sm-1(nm-1-1)。它們被組成多個集群c0~cm-1以提供給定類型的媒體，以用於在提供多個基礎流ES0~ESm-1的編碼階段120進行編碼。如第1圖示所，在處理階段110和編碼階段120中的每個之前，可以使用根據本發明的有關於CICP的方案、概念、方法及技術。
可以在廣泛範圍的目標應用中使用本發明所提出的方案、概念、方法、系統及技術，從而允許編碼之前的对媒體源內容集合的媒體處理。這些目標應用包括，例如但不限於，360°(全向)視訊、自由視點電視(free viewpoint television，FVT)、用於重構物體或者情景作為編碼之前和解碼之後的多個媒體源的組成部分(具有深度資訊)的點雲類型應用和包括媒體感測器的光場。
在根據本發明的各種實施方式中，所提出的CICP可以支持捕獲位於源(resource)處的多個視埠和投影映射之後的區域作為碼點。所提出的CICP可以使能多個基於視埠和區 域的適應流(adaptive streaming)。此外，所提出的CICP可以支持構造位於宿(sink)處的任意選擇的視埠。另外，所提出的CICP可以使得上流和下流視埠縫合、投影和映射變得方便。此外，所提出的CICP可以提供用於以檔案格式發信碼點的承載和參考的資訊、用於內容存儲的流清單和媒體组合(media orchestration)、適應流和媒體組成。
基本概念
在本發明中，概念“視埠”是指在三維/二維/一維空間內觀察者(或者攝像機、圖像感測器或者光感測器)可觀察到的視圖(或者圖像、情景)區域(area)。在VR應用中，視埠可以是3D球面視訊的視圖區域。
在本發明中，概念“區域”是指觀察者(或攝像機、圖像感測器或者光感測器)可觀察到的二維(two-dimensional，2D)平面的視圖(或者圖像、情景)區域。
在本發明中，概念“投影”是指將視埠投影到區域的流程。
在本發明中，概念“映射”是指將視埠映射到被映射到一個或多個其他視埠和區域(可能由投影所形成)，使它们可以被进一步映射到2D平面上一個或多個其他區域的的流程。
n維空間內的自由度
鑒於n維空間內的自由度(degrees of freedom，簡寫為DoF)，由觀察者或者攝像機在任何給定時刻可觀察到的任何程度的世界是在n維空間內特定位置和方向處可視的部分世界，其中n=3,2,1。n維空間內的DoF(任何剛體(rigid object) 的)被定義成平移自由度n與旋轉自由度n*(n-1)的和。在3D空間中，如第2圖的部分(A)所示，存在6(=3+3*(3-1)/2)個自由度(six degrees of freedom，6DoF)，其中6DoF中的三個為平移的，6DoF中的其他三個為旋轉的。3D空間內的三個平移的自由度包括如下：沿著X軸向左和向右移動(搖擺)、沿著Y軸向上和向下移動(起伏)和沿著Z軸向前和向後移動(衝浪)。3D空間內的三個旋轉的自由度包括如下：圍繞著X軸向前和向後傾斜(俯仰)、圍繞著Y軸向左和向右轉動(turning)(偏航)和圍繞著Z軸側對側傾斜(滾動(rolling))。因此，3D空間內的任何觀察者(或者攝像機、圖像感測器或者光感測器)在觀察者主體的空間平移中具有三個自由度，以及在觀察者頭部(或者透鏡)的角度旋轉中具有三個自由度。
在2D空間內，如第2圖的部分(B)所示，存在3(=2+2*(2-1)/2)個自由度(three degrees of freedom，3DoF)，其中3DoF中的兩個與沿著X軸和Y軸的平移，即(x,y)相關，3DoF中的一個與旋轉，即θ相關。2D空間內的兩個平移的自由度包括如下：沿著X軸向左和向右移動(搖擺)和沿著Y軸向上和向下移動(起伏)。2D空間內的旋轉的自由度包括圍繞著中心順時針和逆時針轉動(轉動)。同樣地，2D空間內的任何觀察者(或者攝像機、圖像感測器或者光感測器)在觀察者主體的空間平移中具有兩個自由度，以及在觀察者頭部(或者透鏡)的角度旋轉中具有一個自由度。
在1D空間中，如第2圖的部分(C)所示，存在1(=1+1*(1-1)/2)個自由度(one degrees of freedom，1DoF)。這個自 由度與沿著X軸的平移，即x相關。1D空間內的平移的自由度包括沿著X軸向左和向右移動(搖擺)。這意味著1D空間內的任何觀察者(或者攝像機、圖像感測器或者光感測器)僅在觀察者主體的空間平移中具有一個自由度，即向左和向右移動，並且，在觀察者頭部(或者透鏡)的角度旋轉中沒有自由度/具有0個自由度。
視埠
即便在全向視訊應用中，視埠通常主要被考慮成3D球面視訊的區域，但是在本發明中，視埠V被考慮成一般意義上n維(n-dimensional，nD)空間內的視圖(或者情景、圖像)區域。因此，視埠V由其在(n+n*(n-1)/2)自由度的空間內的點和具有某個幾何形狀和尺寸的視圖(或者情景、圖像)來確定。一般化的目標在於拓展3D空間、2D空間和1D空間內的視埠的覆蓋範圍，以用於更廣泛範圍的應用。
形式上，視埠V表示成如下：V=(τ,ρ,)
此處，τ表示平移(或者位置)，ρ表示旋轉，表示圖像(或者視圖、情景)形狀。視埠的直觀解釋是，視埠為具有旋轉ρ和平移τ的形狀的圖像。
根據空間的維度，如下面的表1所示，視埠可以具有不同的表示形式的平移τ和旋轉ρ。
注意的是，在很多應用中，平移和旋轉可以用的實際範圍值是離散的，且可能甚至是有限的。在這些情況中，這些值可以被表示為描述的值，例如用於平移的“中心”、“左”、“右”、“上”、“下”、“前”和“後”(用於(x,y,z)的一些預設單位)，以及用於旋轉(例如以90°為單位的旋轉)的“向前”(θx=θy=θz=0)、“向上”(θx=90),“向下”(θx=-90),“向左”(θy=90)、“向右”(θy=-90°)、“向後”(θy,=180°)、“順時針”(θz=90°)和“逆時針”(θz=-90°)。
根據其形狀，視埠可以具有其圖像(或者視圖、情景)的不同表示形式。第3圖示出了一些視埠的示例形狀。值得注意的是，在一些情況中，可以存在其他方式來表示視圖及其形狀。例如，可以以範圍形式來表示矩形，如下：(R)=(x1,x2,y1,y2)
此處，(x1,x2)和(y1,y2)為在一些參考坐標系統中的座標範圍(即起點和終點)，w=｜x1-x2｜和h=｜y1-y2｜。
第4圖的部分(A)示出了3D空間內的一些示例視埠。這些示例視埠可以被表示成如下面的表2所示。
第4圖的部分(B)示出了2D空間內的兩個示例視埠。這些示例視埠可以被表示成如下面的表3所示。
第4圖的部分(C)示出了1D空間內的兩個示例視埠。這些示例視埠可以被表示成如下面的表4所示。
視埠可隨著時間的推移而改變運動。動態(或者運動)視埠為與時間相關的視埠序列V(t)。在離散時間中，動態視埠可以以絕對形式表示成如下： V(t),v(t+1),...,可選地，動態視埠可以以增量形式表示成如下：V(t),V(t+1)=V(t)+δV(t),....
當在3D/2D/1D空間內漫遊時，動態視埠可以提供由觀察者(或者攝像機、圖像感測器或者光感測器)可觀察到的視訊(圖像序列、視圖序列或者情景序列)，從而反射在視埠改變其平移、旋轉和可能的形狀時所捕獲的媒體內容。具有其平移和旋轉被限制於n維度的nD動態視埠，其中n=3,2,1。例如，如第5圖所示，由位於環上的多個攝像機中的一個圍繞著環移動而產生的視埠為2D動態視埠。
當動態視埠V(t)不改變其維度中的一些(例如，位置、旋轉和/或形狀)時，可以簡化其表示。例如，在全向視訊應用中，視埠改變通常僅涉及俯仰旋轉和偏航旋轉，即δθx(t)和δθy(t)上的改變，但不涉及平移、滾動旋轉和/或視埠形狀和視埠尺寸上的改變。在這些情況中，可以以非常簡化的形式表示動態視埠V(t)，其中原始視埠V(0)=V0=(τ0,ρ0,)，一系列的改變δθx(t)和δθy(t)，t=1,2,...等。在一些應用中，動態視埠的平移和旋轉可以相關，其也可以用於簡化視埠表示。對於諸如第5圖所示的環上的動態視埠而言，動態視埠可以由原始視埠V(0)=V0=(τ(2) 0,ρ(2) 0,)和在其旋轉θ上的一系列的增量改變δθ(t)來表示。
區域
在本發明中，區域被考慮成2D平面的圖像(或者視圖、情景)區域。在這層意義上，區域R由其在平面上的位 置及其幾何形狀(包括尺寸)來確定。區域與2D視埠之間的差異在於，區域在旋轉上沒有自由，而視埠有。
形式上，區域R被表示成如下：R=(λ,)
此處，λ=(x,y)表示位置，表示圖像形狀。值得注意的是，位置可以被指定為，例如，與某個坐標系統相關的圖像的左上角位置、左下位置或者中心位置。圖像的區域的示例形狀可以包括如下：矩形(R)=(w,h)，圓形(C)=r以及三角形(T)=(w,h)。
當區域隨著時間的推移而改變運動時，區域可以變成動態(或者運動)區域。這樣，動態(或者運動)區域為與時間相關的區域序列R(t)。在離散時間中，動態區域可以以絕對形式表示成如下：R(t),R(t+1),...,可選地，動態區域可以以增量形式表示成如下：R(t),R(t+1)=R(t)+δR(t),....
動態區域可以提供視訊(圖像序列、視圖序列或者情景序列)，從而反射在區域改變其位置和可能的形狀時所捕獲或者觀察到的媒體內容。
當動態區域R(t)不改變其維度中的一些(例如，位置和形狀)時，可以簡化動態區域的表示。例如，在感興趣(region of interest，ROI)視訊應用中，區域改變通常涉及位置(x,y)上的改變，並且不涉及形狀上的改變。在這些情況中，可以以簡化的形式表示動態區域R(t)，其中原始區域R(0)=R0 =(λ0,0)，一系列的改變δλ(t)，t=1,2,...等。
在本發明中，瓦片(tile)是一種具有矩形形狀的特殊類型的區域，且動態瓦片是在2D平面周圍移動的瓦片。
視埠的幾何類型
在由視埠媒體源產生的視埠集群的情況下，視埠可以共同排列成一些幾何形狀。第6圖示出了根據本發明的可形成視埠的幾何形狀的一些示例類型。第6圖中未示出的其他示例可以包括偏球體、多面體(具有4個、8個和20個表面)、截棱錐(truncated pyramid)、用於3D視埠的分段球體和定向魚眼(directed fisheye)、多邊形(具有不同數量的邊緣)以及用於2D視埠的矩形網格(w*h的尺寸)。
值得注意的是，視埠集群可以具有其本身內部的多層結構。例如，集群可以被分割成多個子集群。當每個子集群可具有其本身的幾何形狀時，子集群可以共同具有集群層幾何形狀，每個子集群作為“大”視埠，並且集群形狀和子集群形狀可以不同。為了簡化，本發明針對由集群內所有視埠形成的單個幾何形狀。
投影和映射方法
對於VR、FVT和其他相關的應用，在解碼之前，來自於媒體源的捕獲的媒體內容(例如視訊)的視埠或者區域需要被投影並映射(例如，透過縫合)到2D平面上。為了渲染需要的視埠或者區域，可以傳輸、解碼、渲染以及呈現一些映射區域的編碼版本。第7圖示出了根據本發明的示例流程700的示意圖。
對於3D空間中具有幾何排列的K個媒體源S0,...,SK-1的集群，投影和映射可以定義成如下：
˙對於投影為函數P：(V0,...,VK-1)→(R0,...,RK-1)
˙對於映射為函數M：(R0,...,RK-1)→(R’0,...,R’L-1)
˙對於逆映射為函數M-1：(R’0,...,R’M-1)→(R0,...,RN-1)
˙對於逆投影為P-1函數：(R0,...,RN-1)→(V0,...,VN-1)
在VR和FVT相關應用中上述函數的一些常見示例包括，例如但不限於，用於球形視埠的等角投影和映射(equirectangular projection and mapping，ERP)、用於立方形視埠的立方體投影和映射(cube projection and mapping，CMP)和用於矩形區域的環形投影和映射(ring projection and mapping，RMP)。下面描述這些示例中的每個。
ERP為360°視訊中常見的投影和映射，構成其投影和映射的結果如第8圖的部分(A)所示。在ERP的情況中，源視埠可以被描述成具有自球體的中心(x,y,z)=(0,0,0)觀看到的緯度尺寸和經度尺寸而無任何滾動θz=0的球形源視埠，如下：V=(τ,ρ,)其中τ=(0,0,0),ρ=(θx,θy,0),(R)=(δθx,δθy),投影區域和映射區域均為無任何旋轉θ=0的矩形形狀，如下：R=(λ,)其中λ=(x,y),=(R)=(w,h)
R’=(λ’,)其中λ’=(x’,y’),=(R)=(w’,h’)。
第8圖的部分(B)顯示了ERP中投影區域和映射區域的示例。投影函數、映射函數、逆映射函數和逆投影函數，即P,M,Mr和Pr如下面的表5所示。
值得注意的是，映射和逆映射由兩個因數，即cx和cy來參數化，以用於縮放整個2D區域的尺寸。此外，存在大量的可用的球體投影，其中一些球體投影在減小不同種類失真(例如面積、方向和距離)方面更好，但是在計算投影、映射及其逆函數方面具有更高的計算複雜度，例如Winkel tripe投影。
在CMP中，將視埠投影並映射到立方體的6個面上，取決於這些面在2D平面上如何排列。第9圖的部分(A)顯示了CMP的一個示例。如第9圖的部分(A)所示，由於上面(2)和下面(3)不相鄰，使得編解碼不是最有效的。由於投影函數和映射函數被定義成獨立的函數，這6個面可以被重新排列以為了實現更好的編解碼效率。第9圖的部分(B)顯示了排列這些面的另一種方式。使用這種排列，源視埠可以被描述成自立方體的中心(x,y,z)=(0,0,0)觀看到的而無任何滾動θz=0的立方矩形視埠，如下：V=(τ,ρ,)其中τ=(0,0,0),ρ=(θx,θy,0),=(S)=d
此處，θx=0°,±90°和180°，θy=0°,±90°，d表示立方體的尺寸。投影區域和映射區域均為無任何旋轉θ=0的矩形形狀，如下：Ri=(λi,i)其中λi=(xi,yi),=d
Ri’=(λi’,)其中λi’=(xi’,yi’),=(w’,h’)
投影函數、映射函數、逆映射函數和逆投影函數，即P,M,Mr和Pr如下面的表6所示。
值得注意的是，映射和逆映射由兩個因數，即cx和cy來參數化，以用於縮放整個2D區域的尺寸。此外，在不同數量的表面的其他多面體和其他種類立體中存在媒體源排列，例如，二十面體、八面體和截頂方棱錐。對於這些其他立體，其視埠Vi、投影區域Rj、映射區域R’k、投影P、映射M、逆映射M-1和逆投影P-1可以以與立方體的這些相似的方式來 定義，其中表面形狀的視埠和區域的位置和尺寸需要具體定義。
關於RMP，第10圖顯示了具有涉及重疊消除(在投影期間)和縫合(在映射期間)的區域的示例。在第10圖所示的示例中，在半徑為ρ的2D環中排列有n個2D視埠，每個2D視埠被放置在具有旋轉θi=i*360/n的(xi,yi)處且面向環的中心，並且具有尺寸為(W,H)的矩形視圖形狀，如下：Vi=(τi,ρi,)其中τi=(xi,yi),ρ=θi,==(W,H)。
投影區域和映射區域均矩形形狀，如下：Ri=(λi,)其中λi=(xi,yi),=(w,h)
Ri’=(λi’,)其中λi’=(xi’,yi’),=(w’,h’)。
投影函數、映射函數、逆映射函數和逆投影函數，即P,M,M-1和P-1如下面的表7所示。
值得注意的是，投影和逆投影由一個重疊比例因數t來參數化，以用於使用每側處的相鄰區域消除重疊區域。映射和逆映射由兩個因數，即cx和cy來參數化，以用於縮放整個2D區域的尺寸。此外，這種投影和映射可以被應用到攝像機的排列，例如矩形形狀的攝像機陣列和圓形形狀和矩形形狀的多層攝像機陣列(用多行映射到2D區域)。
用於多個視訊源的CICP
根據本發明，獨立編解碼的碼點可以被定義以用於媒體源集群。儘管在下文中強調的是視訊源，但是方案和概念可以被應用到其他類型的媒體源。
對於集群，可以定義多個CICP。下面提供示例定義。
ClusterID的CICP可以定義成如下：
˙名稱：ClusterID
˙類型：串
˙範圍：沒有
根據一些識別系統，ClusterID的CICP可以表示相關媒體源集群的識別值。
ClusterSize的CICP可以定義成如下：
˙名稱：ClusterSize
˙類型：不帶正負號的整數
˙範圍：沒有
ClusterSize的CICP可以表示相關媒體源集群的尺寸。
ClusterPositionIndex的CICP可以定義成如下：
˙名稱：ClusterPositionIndex
˙類型：不帶正負號的整數，計數(enumeration)
˙範圍：0到ClusterSize-1
ClusterPositionIndex的CICP可以表示相關媒體源集群內的媒體源的位置索引。其值小於ClusterSize的值。
ClusterGeometryType的CICP可以定義成如下：
˙名稱：ClusterGeometryType
˙類型：不帶正負號的整數，計數
˙範圍：0-255
ClusterGeometryType的CICP可以表示3D空間或者2D空間中集群內的相關媒體源的幾何排列的類型。
第11圖顯示了根據本發明的示例集群幾何類型的表格。值得注意的是，根據需要，這個表格可以被拓展、修改或者重新排序。例如，諸如偏球體、多面體(具有4個、8個和20個表面)、截棱錐、分段球體和定向魚眼的3D幾何類型以 及諸如多邊形(具有不同數量的邊緣)和矩形網格(w*h的尺寸)的2D幾何類型可以根據需要被添加到這個表格中。此外，任何幾何類型的嵌套版本(nested version)，例如嵌套的球體或者環(具有相同中心但不同半徑的一系列的球或者環)、嵌套的立方體、嵌套的矩形(具有相同中心和比例尺寸的一系列的矩形)，也可以作為候選，以用於添加到這個表格中。
CubeSurfaceID的CICP可以定義成如下：
˙名稱：CubeSurfaceID
˙類型：不帶正負號的整數，計數
˙範圍：0-15
CubeSurfaceID的CICP可以表示相關媒體資源集群的立方體幾何類型的表面的標稱識別值(nominal identification value)。CubeSurfaceID的示例值如下面的表8所示。
表8-CubeSurfaceID
CylinderSurfaceID的CICP可以定義成如下：
˙名稱：CylinderSurfaceID
˙類型：不帶正負號的整數，計數
˙範圍：0-15
CylinderSurfaceID的CICP可以表示相關媒體資源集群的圓柱體幾何類型的表面的標稱識別值。CylinderSurfaceID的示例值如下面的表9所示。
表9-CylinderSurfaceID
值得注意的是，額外的屬性可以被引進以用於其他集群幾何類型，其表面需要被標稱地識別。示例包括多面體、截棱錐和分段球體。
對於視埠的平移和旋轉，可以定義一些CICP。下面提供示例定義。
ViewportPositionX、ViewportPositionY和ViewportPositionZ的CICP可以定義成如下：
˙名稱：ViewportPositionX,ViewportPositionY,ViewportPositionZ
˙類型：固定點或者整數
˙範圍：沒有
ViewportPositionX、ViewportPositionY和ViewportPositionZ的CICP可以分別表示相對於參考坐標系統的視埠在X軸、Y軸和Z軸上的座標。
ViewportRotationPitch,ViewportRotationYaw,ViewportRotationRoll和ViewportRotation的CICP可以定義成如下：
˙名稱：ViewportRotationPitch,ViewportRotationYaw,ViewportRotationRoll,ViewportRotation
˙類型：固定點或者整數
˙範圍：[-180,180]或[0,360]
ViewportOrientationPitch,ViewportOrientationYaw,ViewportOrientationRoll和ViewportRotation的CICP可以分別表示相對於參考坐標系統的3D和2D中的視埠的俯仰、偏航和轉動旋轉。
RegionLocationX和RegionLocationY的CICP可以定義成如下：
˙名稱：RegionLocationX,RegionLocationY
˙類型：固定點或者整數
˙範圍：沒有
RegionLocationX和RegionLocationY的CICP可以分別表示相對於參考坐標系統的區域在X軸和Y軸上的座標。
RegionBasePoint的CICP可以定義成如下：
˙名稱：RegionBasePoint
˙類型：不帶正負號的整數，計數
˙範圍：0到15
RegionBasePoint的CICP可以表示相對於參考坐標系統的座標為RegionLocationX和RegionLocationY的區域上的參考點的類型，RegionBasePoint的示例值如下面的表10所示。
RegionOverlappingRatio的CICP可以定義成如下：
˙名稱：RegionOverlappingRatio
˙類型：不帶正負號的整數，計數
˙範圍：0到255
RegionOverlappingRatio的CICP可以表示在其被縫合在一起時區域與其相鄰區域中的每個之間的重疊比例。RegionOverlappingRatio的示例值如下面的表11所示。
表11-RegionOverlappingRatio
對於視埠和區域的視圖，可以定義一個或多個CICP。下面提供示例定義。
ViewCharateristics的CICP可以定義成如下：
˙名稱：ViewCharateristics
˙類型：不帶正負號的整數，計數
˙範圍：0-15
ViewCharateristics的CICP可以表示視圖的形狀和尺寸。第12圖顯示了示例視圖特徵的表格。這個表格中所列出的示例視圖特徵包括矩形、正方形、圓形和三角形。值得注意的是，其他形狀(例如，多邊形、橢圓和橢圓形(ellipse and oval)及其尺寸可以根據需要被添加到這個表格中。
對於投影和映射，可以定義一些CICP。下面提供示例定義。
ProjectionType的CICP可以定義成如下：
˙名稱：ProjectionType
˙類型：不帶正負號的整數，計數
˙範圍：0-255
ProjectionType的CICP可以表示視埠清單到另一區域清單的投影類型。第13圖顯示了示例投影類型的表格。這個表格中所列出的示例投影類型包括球面展開、立方體展開和環形展開。
MappingType的CICP可以定義成如下：
˙名稱：MappingType
˙類型：不帶正負號的整數，計數
˙範圍：0-255
MappingType的CICP可以表示一區域清單到另一區域清單的映射類型。第14圖顯示了示例映射類型的表格。這個表格中所列出的示例映射類型包括陣列覆蓋(tiling)、T覆蓋和線覆蓋。
ReverseMappingType的CICP可以定義成如下：
˙名稱：ReverseMappingType
˙類型：不帶正負號的整數，計數
˙範圍：0-255
ReverseMappingType的CICP可以表示一區域清單到另一區域清單的逆映射類型。第15圖顯示了示例逆映射類型的表格。這個表格中所列出的示例逆映射類型包括陣列去覆蓋(de-tiling)、T去覆蓋和線去覆蓋。
ReverseProjectionType的CICP可以定義成如下：
˙名稱：ReverseProjectionType
˙類型：不帶正負號的整數，計數
˙範圍：0-255
ReverseProjectionType的CICP可以表示區域清單到另一視埠清單的逆投影類型。第16圖顯示了示例逆投影類型的表格。這個表格中所列出的示例逆投影類型包括球面形成(forming)、立方體形成和環形成。
CICP配置(profile)
涉及多個媒體源的很多應用在3D空間或者2D空間中的一些自由度上具有限制。由於這些應用的視埠和區域可以具有特定的形狀，因而，這些應用的投影和映射可以具有特殊的形式。因此，定義配置方便以用於獨立編解碼碼點上的關於CICP的特定類型的應用，並為其量身打造。在一些實施例中，CICP配置條目(profiling item)包括，例如但不限於，每個媒體源的幾何類型、幾何表面識別(Geometry Surface Identification)、視埠的平移和旋轉、區域的位置、視埠和區域的視圖、投影、映射、逆映射和逆投影。下面列出這些示例CICP配置條目。
1.多個媒體源的幾何類型：ClusterGeometryType表格中已有的和拓展的。
2.幾何表面識別：如果需要，所配置的幾何類型的表面的已有的或者拓展的標稱識別。
3.視埠的平移和旋轉：
a.視埠位置(ViewportPositionX,ViewportPositionY和ViewportPositionZ)的數量及其範圍的限制
b.定位(ViewportOrientationPitch,ViewportOrientationYaw,ViewportOrientationRoll,ViewportOrientation)的數量及其範圍的限制
4.區域的位置：
c.位置(RegionLocationX和RegionLocationY)的數量及其範圍的限制
d.定位(RegionBasePoint)的限制
e.RegionOverlappingRatio的限制
5.視埠和區域的視圖：關於視圖形狀和尺寸的ViewCharateristics表格中已有的和拓展的。
6.投影：ProjectionType表格中已有的和拓展的。
7.映射：MappingType表格中已有的和拓展的。
8.逆映射：ReverseMappingType表格中已有的和拓展的。
9.逆投影：ReverseProjectionType表格中已有的和拓展的。
為了示意目的，下面描述VR配置和FVT配置。
作為一個示例，ERP中球面(360°或者180°)VR配置可以具有如下所列出的多個限制。
1.ClusterGeometryType=1(球面)
2.沒有表面識別
3.視埠的平移和旋轉：V=(τ,ρ,)其中(x0,y0,z0),ρ=(θx,θy,0)
a.ViewportPositionX=x0,ViewportPositionY=y0和ViewportPositionZ=z0。這意味著視埠位置被固定到參考坐標系統中具體的點處，並且視埠不會移動且改變其位置。
b.ViewportRotationRoll=0。這意味着视埠没有滾動旋转。對應180°球面VR，ViewportRotationPitch和ViewportRotationYaw的範圍被限制在[0,180)或者(-90,90]
4.区域的位置：R=(λ,)其中λ=(x,y)
a.RegionBasePoint=1。這意味著區域的基準點位於該區域的中心
b.RegionOverlappingRatio=0。這意味著區域與其相鄰區域沒有重疊
5.視埠和區域的視圖：ViewCharateristics=1(矩形)
6.投影：ProjectionType=1(球面展開)
7.映射：MappingType=1(陣列覆蓋)
8.逆映射：ReverseMappingType=1(陣列去覆蓋)
9.逆投影：ReverseProjectionType=1(球面形成)
作為另一示例，CMP中的立方體VR配置可以具有多個如下所列出的限制。
1.ClusterGeometryType=2(立方體)
2.CubeSurfaceID被選擇
3.視埠的平移和旋轉：V=(τ,ρ,)其中τ=(x0,y0,z0),ρ=(θx,θy,0)
a.ViewportPositionX=x0,ViewportPositionY=y0以及ViewportPositionZ=z0。這意味著視埠位置被固定到參考坐標系統中具體的點，並且視埠不會移動且改變其位置。
b.ViewportRotationRoll=0。這意味著視埠沒有滾動旋轉。
4.區域的位置：R=(λ,)，其中λ=(x,y)
a.RegionBasePoint=1。這意味著區域的基準點位於該區域的左上角
b.RegionOverlappingRatio=0。這意味著區域與其相鄰區域沒有重疊
5.視埠和區域的視圖：ViewCharateristics=2(正方形)
6.投影：ProjectionType=2(立方體展開)
7.映射：MappingType=2(t覆蓋)
8.逆映射：ReverseMappingType=2(t去覆蓋)
9.逆投影：ReverseProjectionType=2(立方體形成)
作為又一示例，用於攝像機的環形排列的RAP中的FTV配置可以具有如下列出的一些限制。
1.ClusterGeometryType=201(環)。
2.沒有表面識別。
3.視埠(二維的)的平移和旋轉：Vi=(τi,ρi,)其中τi=(xi,yi),ρ=θi
a.沒有。
4.區域的位置：R=(λ,)with λ=(x,y)
b.RegionBasePoint=1。這意味著區域的基準點位於區域的左上角
5.視埠和區域的視圖：ViewCharateristics=1(矩形的)
6.投影：ProjectionType=201(環形展開)
7.映射：MappingType=201(線覆蓋)
8.逆映射：ReverseMappingType=201(線去覆蓋)
9.逆投影：ReverseProjectionType=201(環形成)。
規範化流程
在使用全向(例如，360°VR)媒體內容的全向媒體應用中，全向圖像或者視訊通常使用多個攝像機來捕獲，然後被校準，被縫合在一起，根據特定的投影被投影到一個或多個2D平面，並根據特定的映射被映射到幀上。隨後，編碼並傳輸圖像幀或者視訊幀，並且傳輸的幀在接收器側被解碼，特定視圖被提取且顯示(例如，在頭戴式設備(head-mounted device，HMD)或者一些其他顯示裝置上)。根據源攝像機的幾何排列，不同的投影和映射可以用於準備圖像幀和視訊幀以用於編碼和傳輸。常見的幾何類型包括，例如，球體、立方體、二十面體、偏球體、圓柱體、4個、8個和12個面的多面體、截棱錐、分段球體和直接的魚眼(direct fisheye)。
當由於用戶交互而試圖構造回應於用戶選擇的視埠而需要的視埠以用於呈現時，例如用戶頭部的移動，在處理很多不同類型的投影和映射圖像幀或者視訊幀中出現一個主 要問題。要求複雜的資訊應被提供給用於傳輸的封裝機制內的這些幀，例如存儲檔和流清單，並且要求不同視圖構造演算法應在接收器側實施，以用於識別相關幀區域，且構造所要求的視埠。當投影圖像或者視訊和映射圖像或者視訊被分割成待編碼的瓦片，被轉換成不同品質以及被單獨傳輸時，特別是用於有效的動態適應流並快速回應於用戶選擇的視埠，這個問題變得更加嚴重。
鑒於上述，為了實施更有效的全向媒體應用，提高用戶體驗，並具有較低實施複雜度，本發明提出了一種規範化全向內容的傳輸和重構的方法及系統。本發明所提出的方法及系統首先透過規範化將攝像機所獲得且排列成其他幾何類型的源內容變換到球面上，然後使用用於球面內容的傳統內容流流程和新內容流流程處理規範化的內容。
選擇球面作為目標幾何類型來變換其他類型的原因在於，存在很多很好研究的用於球面的投影方法和映射方法，並且在發信和渲染方面，其等角投影和映射通用且易於實現。此外，由於球形視埠和映射區域的相鄰關係方面的連續性保護-其與經常導致區域相鄰非連續性的其他幾何類型視埠的投影和映射成對比，球面對用戶選擇的視圖的多區域(或者多瓦片)傳輸和重構非常友好。另外，在球面上的圖像幀或者視訊幀的很多情況中，回應於使用者的頭部運動，將要顯示給使用者的是使用者選擇的視埠。當處理解碼非球面投影和映射的圖像幀或者視訊幀時，接收器(或者用戶端)需要基於非球形視埠構造球形視埠。這意味著，存在一些從非球形視埠到球形視 埠的變換，使得用戶選擇的球形視埠被構造。因此，如果從非球形視埠到相應的球形視埠的變換在編碼之前實施，則可以規範化，使得更有效率，且易於實現，甚至於標準化從編碼開始的整個內容流流程。
根據本發明，在“圖像縫合、投影和映射”的流程之前，引進所提出的規範化流程。所提出的規範化流程可以將自媒體源捕獲的非球形視埠變換到球形視埠集群、球形視埠集或者球形視埠集合。第17圖示出了根據本發明的具有規範化流程的新內容流流程。如第17圖所示，內容流流程1700考慮了潛在的部分處理和及時處理(例如，為了支援動態適應傳輸和基於使用者交互的按需處理)。在內容流流程1700中，在規範化之後，源視埠可以無需恢復整個球面(例如，由於在立方體上不存在上面視埠)。如果用戶選擇的視埠(例如，直接向上看的)不能基於已有的源視埠來構造，則這使得可以使用及時處理(例如，將攝像機轉向直接向上看，或者開啟直接向上看的攝像機)變得可能。一般地，所有階段處理可以無需處理所有可用的輸入圖像或者視訊資料，並且可以由來自於用戶選擇的視埠的按需請求(on-demand request)來部分驅動或者甚至全部驅動。這可能導致解碼、傳輸、編碼/轉換、投影/映射、規範化、捕獲必要的瓦片中可能的部分處理，以用於構造用戶選擇的視埠。這也可能導致可能的及時處理，以用於產生需要但遺失的解碼、傳輸以及編碼/編碼變換的瓦片，投影/映射區域以及規範化且捕獲的視埠。
用內容流流程1700，關注的一方面可以是從“縫 合、投影、映射”開始的處理球形視埠，關注的另一方面可以是其他幾何類型的視埠到球形視埠的規範化。存在大量的充分研究的球形投影。一些投影傾向於計算效率，但會引起可觀察到的面積、方向和距離上的變換失真，例如等角投影。一些其他投影傾向於更好地減小面積、方向和距離上的不同種類失真，但可能在計算投影、映射及其逆函數方面需要更高計算複雜度，例如Winkel tripel投影。
通常，所提出的規範化流程可以用於非球形視埠，甚至與傳統(即非規範化)內容流流程一起。所提出的規範化流程可以被考慮成“縫合、投影、映射”和“構造”處理的組成部分。對於每個非球形類型，根據不同的標準(例如，面積失真、方向失真和距離失真)，除了計算複雜度和編解碼壓縮效率的影響，使用一些變換演算法，可以實現所提出的規範化流程。
對於具有定義好的中心(或者原點)的非球形類型的視埠，最簡單且直接的規範化可以是對到具有相同中心(或者原點)的球形的視埠上的所有點(或者“向量”)進行規範化或者縮放。就是說，對於一個視埠上的任何點(x,y,z)，規範化變換可以涉及計算相應的相對於中心的方位角和傾斜角(θ x ,θ y )，如下：
隨後，將這個點映射到具有角度(θ x ,θ y )的球面上。 在具有相同角度(θ x ,θ y )的視埠上存在多個點的情況中，相應的球面點可取一點值(point value)，其為這些非球形視埠的值的平均或者加權平均。值得注意的是，儘管簡單且直接，但這類規範化或者縮放在避免失真方面可能不是完美的。例如，當將規範化應用到立方體(其中｜x｜=d/2,｜y｜=d/2 or｜z｜=d/2)上的面視埠(face viewport)時，結果可以是集中在球面上的點，其對應於位於立方體的角上的這些點。
由於規範化變換的改善，下面用於規範化立方視埠的示例變換可以更加均勻地展開位於立方體的角周圍的點。具體地，對於立方體幾何類型的面視埠上的任何點(x,y,z)，球面上相應的變換點(transformed point)為(x’,y’,z’)，如下：
球面上相應的變換點具有方位角和傾斜角(θ x ',θ y ')，如下：
當從球體內部觀看時，上述變換可使得由變換映射的角和邊緣周圍更光滑。
示意的實施方式
第18圖示出了根據本發明一實施方式的示例裝置1800。裝置1800可以執行各種功能，以實現此處描述的有關於在處理來自於多個媒體源的媒體內容中指定、發信並使用CICP的方案、技術、處理和方法，包括上述根據第1圖-第16圖所描述的各種方案、概念和示例，以及下面所描述的流程1900。
裝置1800可以是電子裝置的一部分，其可以是便攜裝置或者移動裝置、可穿戴裝置、無線通訊裝置或者計算裝置。例如，裝置1800可以在智慧手機、智慧手錶、個人數位助理、數位攝像機或者諸如平板電腦、掌上型電腦或者筆記型電腦的計算設備。裝置1800也可以是機器類型裝置的一部分，其可以是物聯網(Internet-of-Things，IoT)裝置，例如非移動裝置或者固定裝置、家庭裝置、有線通信裝置或者計算裝置。
在一些實施方式中，裝置1800可以以一個或多個積體電路(integrated-circuit，IC)晶片的形式來實現，例如，例如但不限於，一個或多個單核處理器、一個或多個多核處理器或者一個或多個複雜指令集計算(complex-instruction-set-computing，CISC)處理器。裝置1800可以包括如第18圖所示的這些元件中的至少一些，例如第一處理器1810和第二處理器1860。裝置1800還可包括與本發明所提出的方案無關的一個或多個其他元件(例如，內部電源、顯示裝置和/或用戶周邊設備)，並且為了簡潔，因此裝置1800的這些元件沒有在第18圖中顯示，也沒有在下面進行描述。
一方面，處理器1810和處理器1860中的每個可以以一個或多個單核處理器、一個或多個多核處理器或者一個或多個CISC處理器的形式來實現。就是說，儘管此處使用單數的術語“處理器”以表示處理器1810和處理器1860中的每個，但是根據本發明，處理器1810和處理器1860中的每個可以在一些實施方式中包括多個處理器，並且在其他實施方式中包括單個處理器。另一方面，處理器1810和處理器1860中的每個可以以具有電子元件的硬體(並且優選地，韌體)的形式來實現，其包括，例如但不限於，一個或多個電晶體、一個或多個二極體、一個或多個電容器、一個或多個電阻器、一個或多個電感器、一個或多個記憶電阻和/或一個或多個變容管，其用於實現根據本發明的特定目的。換言之，在至少一些實施方式中，處理器1810和處理器1860中的每個為專用機器，其被特殊設計、設置並被配置成執行包括這些有關於根據本發明各個實施方式的在處理來自於多個媒體源的媒體內容中指定、發信並使用CICP的特定任務。處理器1810可以包括媒體內容處理電路1812、編碼電路1814。處理器1860可以包括解碼電路1866和渲染電路1868。解碼電路1866可以用於對編碼媒體內容進行解碼。渲染電路1868可以用於渲染解碼媒體內容以用於顯示(由裝置1800或者遠端裝置或者遠端設備)。
例如，解碼電路1866可以用於解碼至少一個基本流(elementary stream)，其包括由一個或多個集群中的多個媒體源所捕獲的編碼媒體內容，以及用於多個媒體源以提供一個或多個解碼媒體內容流的多個CICP。此外，例如透過使用表 徵一個或多個視埠中的每個的逆投影類型的CICP和表徵一個或多個視埠中的每個的逆映射類型的CICP，渲染電路1868可以用於基於解碼媒體內容流中的視訊內容渲染一個或多個視埠、一個或多個區域或者其結合。
在一些實施方式中，裝置1800也可以包括與處理器1820耦接的通信設備1820，以及與處理器1860耦接的通信設備1870。通信設備1820和通信設備1870中的每個可以包括收發器，其用於無線地和/或透過有線介質發送和接收資料、資訊和/或信號。在一些實施方式中，裝置1800還可包括與處理器1810耦接的記憶體1830和與處理器1860耦接的記憶體1880，其每個分別用於由處理器1810或者處理器1860訪問，並存儲資料。記憶體1830和記憶體1880中的每個可包括隨機存取記憶體(random-access memory，RAM)的類型，例如動態RAM(dynamic RAM，DRAM)、靜態RAM(static RAM，SRAM)、晶閘管RAM(thyristor RAM，T-RAM)和/或非零電容器RAM(zero-capacitor RAM，Z-RAM)。可選地或者額外地，記憶體1830和記憶體1880中的每個可包括唯讀記憶體(read-only memory，ROM)的類型，例如掩蔽型ROM、可程式設計ROM(programmable ROM，PROM)、可擦除可程式設計ROM(erasable programmable ROM，EPROM)和/或電子可擦除可程式設計ROM(electrically erasable programmable ROM，EEPROM)。可選地或者額外地，記憶體1830和記憶體1880中的每個可包括非揮發性隨機存取存取器(non-volatile random-access memory，NVRAM)的類型，例如快閃記憶體、 固態記憶體、鐵電RAM(ferroelectric RAM，FeRAM)、磁阻RAM(magnetoresistive RAM，MRAM)和/或相位變化記憶體。
在一些實施方式中，媒體內容處理電路1812可以用於接收(例如，透過通信設備1820)由一個或多個集群1850(1)~1850(M)中的多個媒體源1840(1)~1840(N)所捕獲的媒體內容，其中N和M中的每個為正整數。多個媒體源1840(1)~1840(N)中的每個可以是攝像機、光感測器、圖像感測器、音訊感測器或者另一類型的感測器。媒體內容處理電路1812也可以用於處理媒體內容，以提供根據本發明的用於多個媒體源的多個CICP。編碼電路1814可以用於編碼媒體內容以提供至少一個基礎流。
為了簡潔且避免重複，下面結合流程1900，提供裝置1800的進一步功能、能力和操作的具體說明。
第19圖示出了根據本發明的示例流程1900。流程1900可以表示實施所提出的概念和方案的一方面，例如上述根據第1圖-第18圖所描述的各種方案、概念和示例中的一個或多個。更具體地，流程1900可以表示有關於在處理來自於多個媒體源中指定、發信和使用CICP的所提出的概念和方案的一方面。例如，無論是部分地還是全部地，流程1900可以是上述所提出方案、概念和示例的一個示例實施方式，以用於在處理來自於多個媒體源中指定、發信和使用CICP。流程1900可包括由步驟1910、步驟1920和步驟1930中的一個或多個所示出的一個或多個操作、動作或者功能。雖然按照離散的步驟示出，但是根據特定的實施方式，流程1900的各個步驟可以 被分成額外的步驟、被組合成更少的步驟或者被省略。此外，流程1900的步驟可以以第19圖所示的順序來執行，或者可選地，以不同的順序來執行。流程1900的步驟可以被反覆運算地執行。流程1900及其各自變形可以由裝置1800來實施或者在裝置1800中或在其變形中實施。僅用於說明的目的而不限制本發明的範圍，下面結合裝置1800描述流程1900。流程1900可以始於步驟1910。
在1910中，流程1900可涉及裝置1800的媒體內容處理電路1812，其接收由一個或多個集群1850(1)~1850(M)中的多個媒體源1840(1)~1840(N)所捕獲的媒體內容。流程1900可以從1910繼續到1920。
在1920中，流程1900可以涉及媒體內容處理電路1812，其處理媒體內容以提供用於多個媒體源1840(1)~1840(N)的多個CICP。流程1900可以從1920繼續到1930。
在1930中，流程1900可涉及裝置1800的編碼電路，其編碼媒體內容以提供至少一個基礎流。
在一些實施方式中，在處理媒體內容以提供用於多個媒體源的多個CICP方面，流程1900可涉及媒體內容處理電路1812，其產生多個CICP作為來自於多個媒體源的媒體內容的信號的特徵。
在一些實施方式中，媒體內容可以包括視訊內容。在這些情況中，多個CICP可以表徵投影類型，其表示視埠清單到區域清單的投影的類型。投影的類型可以包括球面展開、立方體展開或者環形展開。在一些實施方式中，多個CICP 也可以表徵逆投影類型，其表示區域清單到視埠清單的逆投影的類型。逆投影的類型可以包括球面形成、立方體形式或者環形成。
在一些實施方式中，媒體內容可以包括視訊內容。在這些情況中，多個CICP可以表徵映射類型，其表示第一區域清單到第二區域清單的映射的類型。映射的類型可以包括陣列覆蓋、T覆蓋或者線覆蓋。在一些實施方式中，多個CICP也可以表徵逆映射類型，其表示第二區域清單到第一區域清單的逆映射的類型。逆映射的類型可以包括陣列去覆蓋、T去覆蓋或者線去覆蓋。
在一些實施方式中，多個CICP可以表徵CICP的一個或多個應用類型的一個或多個配置。
在一些實施方式中，一個或多個配置中的每個配置可以包括表示多個方面中的一個或多個方面的資訊。這多個方面可以包括如下：多個媒體源的幾何類型，幾何表面識別、一個或多個視埠中每個的各自數量的平移、一個或多個視埠中每個的各自數量的旋轉、一個或多個區域中每個的各自位置、一個或多個視埠和一個或多個區域中每個的各自視圖、投影類型、映射類型、逆映射類型(如果不被映射類型暗示)和逆投影類型(如果不被投影類型暗示)。
在一些實施方式中，一個或多個應用類型可以包括VR，並且一個或多個配置可以包括球形VR配置和/或立方體VR配置。可選地，一個或多個應用類型可以包括FVT，且一個或多個配置可以包括FVT配置。
在一些實施方式中，多個CICP可以包括用於與一個或多個集群相關的多個方面中一個或多個方面的碼點。這多個方面可以包括如下：一個或多個集群中每個的集群識別值、一個或多個集群中每個的集群尺寸、表示一個或多個集群中每個集群內的多個媒體源中各自的位置的集群位置索引、表示一個或多個集群中每個集群內的多個媒體源中各自子集的幾何排列的類型的集群幾何類型、一個或多個視埠中每個的各自數量的平移、一個或多個視埠中每個的各自數量的旋轉、一個或多個區域中每個的各自位置、一個或多個視埠和一個或多個區域中每個的各自視圖、投影類型、映射類型、逆映射類型以及逆投影類型。
額外說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是“相關聯的”，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為“相互關聯”，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互“可操作連接”或“可操作耦接”，以實作特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元 件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以根據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語“至少一個”和“一個或多個”，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“a”或“an”介紹請求項的內容，而限制了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語“一個或多個”或“至少有一個”，不定冠詞，例如“a”或“an”，則應被解釋為表示至少一個或者更多，對於用於介紹權利要求的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，“系統包括A、B和C中的至少一個”將包括但不限 於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，權利要求表示真實的範圍和精神。

Claims (20)

  1. 一種方法，包括：接收由一個或多個集群中的多個媒體源所捕獲的多個媒體內容；處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點；以及編碼該多個媒體內容以提供至少一個基礎流。
  2. 如申請專利範圍第1項所述之方法，其中；處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點，包括：產生該多個獨立編解碼的碼點作為來自於該多個媒體源的多個媒體內容的多個信號的特徵。
  3. 如申請專利範圍第1項所述之方法，其中；該多個媒體內容包括多個視訊內容，其中該多個獨立編解碼的碼點表徵投影類型，該投影類型表示視埠清單到區域清單的投影的類型，並且該投影的類型包括球面展開、立方體展開或者環展開。
  4. 如申請專利範圍第3項所述之方法，其中；該多個獨立編解碼的碼點還表徵逆投影類型，該逆投影類型表示該區域清單到該視埠清單的逆投影的類型，其中該逆投影的類型包括球面形成、立方體形成或環形成。
  5. 如申請專利範圍第1項所述之方法，其中；該多個媒體內容包括多個視訊內容，其中該多個獨立編解碼的碼點表徵映射類型，該映射類型表示第一區域清單到第二 區域清單的映射的類型，且該映射的類型包括陣列覆蓋、T覆蓋或者線覆蓋。
  6. 如申請專利範圍第5項所述之方法，其中；該多個獨立編解碼的碼點還表徵逆映射類型，該逆映射類型表示該第二區域清單到該第一區域清單的逆映射的類型，且該逆映射的類型包括陣列去覆蓋、T去覆蓋或者線去覆蓋。
  7. 如申請專利範圍第1項所述之方法，其中，該多個獨立編解碼的碼點表徵該多個獨立編解碼的碼點的一個或多個應用類型的一個或多個配置。
  8. 如申請專利範圍第7項所述之方法，其中，該一個或多個配置中的每個配置包括表示多個方面中一個或多個方面，其中該多個方面包括：該多個媒體源的幾何類型；幾何表面識別；一個或多個視埠中的每個的各自數量的平移；該一個或多個視埠中的每個的各自數量的旋轉；一個或多個區域中的每個的各自的位置；該一個或多個視埠和該一個或多個區域中的每個的各自視圖；投影的類型；映射的類型；在不被該映射的類型暗示時的逆映射的類型；以及在不被該投影的類型暗示時的逆投影的類型。
  9. 如申請專利範圍第7項所述之方法，其中，該一個或多個應 用類型包括虛擬實境，且該一個或多個配置包括球面虛擬實境配置或者立方體虛擬實境配置。
  10. 如申請專利範圍第7項所述之方法，其中，該一個或多個應用類型包括自由視點電視，且該一個或多個配置包括自由視點電視配置。
  11. 如申請專利範圍第1項所述之方法，其中，該多個獨立編解碼的碼點包括用於與該一個或多個集群相關的多個方面中的一個或多個方面的多個碼點，其中該多個方面包括：該一個或多個集群中的每個的集群識別值；該一個或多個集群中的每個的集群尺寸；表示該一個或多個集群中每個集群內的該多個媒體源的各自的位置的集群位置索引；表示該一個或多個集群中每個集群內的該多個媒體源的各自子集的幾何排列的類型的集群幾何類型；一個或多個視埠中的每個的各自數量的平移；該一個或多個視埠中的每個的各自數量的旋轉；一個或多個區域中的每個的各自的位置；該一個或多個視埠和該一個或多個區域中的每個的各自視圖；投影的類型；映射的類型；在不被該映射的類型暗示時的逆映射的類型；以及在不被該投影的類型暗示時的逆投影的類型。
  12. 一種裝置，包括： 處理電路，用於接收由一個或多個集群中的多個媒體源所捕獲的多個媒體內容；該處理電路還用於處理該多個媒體內容以提供用於該多個媒體源的多個獨立編解碼的碼點；以及編碼電路，用於編碼該多個媒體內容以提供至少一個基礎流。
  13. 如申請專利範圍第12項所述之裝置，其中，該多個媒體內容包括多個視訊內容，其中該多個獨立編解碼的碼點表徵投影類型，該投影類型表示視埠清單到區域清單的投影的類型，並且該投影的類型包括球面展開、立方體展開或者環展開；該多個獨立編解碼的碼點還表徵逆投影類型，該逆投影類型表示該區域清單到該視埠清單的逆投影的類型，且該逆投影的類型包括球面形成、立方體形成或環形成。
  14. 如申請專利範圍第12項所述之裝置，其中；該多個媒體內容包括多個視訊內容，其中該多個獨立編解碼的碼點表徵映射類型，該映射類型表示第一區域清單到第二區域清單的映射的類型，且該映射的類型包括陣列覆蓋、T覆蓋或者線覆蓋；該多個獨立編解碼的碼點還表徵逆映射類型，該逆映射類型表示該第二區域清單到該第一區域清單的逆映射的類型，且該逆映射的類型包括陣列去覆蓋、T去覆蓋或者線去覆蓋。
  15. 如申請專利範圍第12項所述之裝置，其中，該多個獨立編 解碼的碼點表徵該多個獨立編解碼的碼點的一個或多個應用類型的一個或多個配置；該一個或多個配置中的每個配置包括表示多個方面中一個或多個方面，其中該多個方面包括：該多個媒體源的幾何類型；幾何表面識別；一個或多個視埠中的每個的各自數量的平移；該一個或多個視埠中的每個的各自數量的旋轉；一個或多個區域中的每個的各自的位置；該一個或多個視埠和該一個或多個區域中的每個的各自視圖；投影的類型；映射的類型；在不被該映射的類型暗示時的逆映射的類型；以及在不被該投影的類型暗示時的逆投影的類型。
  16. 如申請專利範圍第12項所述之裝置，其中，該多個獨立編解碼的碼點表徵該多個獨立編解碼的碼點的一個或多個應用類型的一個或多個配置；該一個或多個應用類型包括虛擬實境，且該一個或多個配置包括球面虛擬實境配置或者立方體虛擬實境配置。
  17. 如申請專利範圍第12項所述之裝置，其中；該多個獨立編解碼的碼點表徵該多個獨立編解碼的碼點的一個或多個應用類型的一個或多個配置；該一個或多個應用類型包括自由視點電視，且該一個或多 個配置包括自由視點電視配置。
  18. 如申請專利範圍第12項所述之裝置，其中，該多個獨立編解碼的碼點包括用於與該一個或多個集群相關的多個方面中的一個或多個方面的多個碼點，其中該多個方面包括：該一個或多個集群中的每個的集群識別值；該一個或多個集群中的每個的集群尺寸；表示該一個或多個集群中每個集群內的該多個媒體源的各自的位置的集群位置索引；表示該一個或多個集群中每個集群內的該多個媒體源的各自子集的幾何排列的類型的集群幾何類型；一個或多個視埠中的每個的各自數量的平移；該一個或多個視埠中的每個的各自數量的旋轉；一個或多個區域中的每個的各自的位置；該一個或多個視埠和該一個或多個區域中的每個的各自視圖；投影的類型；映射的類型；在不被該映射的類型暗示時的逆映射的類型；以及在不被該投影的類型不暗示時的逆投影的類型。
  19. 一種裝置，包括：解碼電路，用於解碼包含由一個或多個集群中多個媒體源所捕獲的編碼視訊內容的至少一個基礎流和用於該多個媒體源的多個獨立編解碼的碼點，以提供一個或多個解碼媒體內容流；以及 渲染電路，用於基於該多個解碼媒體內容流中的多個視訊內容，渲染一個或多個視埠、一個或多個區域及其組合。
  20. 如申請專利範圍第19項所述之裝置，其中，該多個獨立編解碼的碼點還表徵逆投影類型，該逆投影類型表示該區域清單到該視埠清單的逆投影的類型；該多個獨立編解碼的碼點還表徵逆映射類型，該逆映射類型表示第二區域清單到第一區域清單的逆映射的類型；該渲染電路用於使用該多個獨立編解碼的碼點，渲染該一個或多個視埠和該一個或多個區域。
TW106132593A 2016-09-23 2017-09-22 在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置 TWI689896B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662398549P 2016-09-23 2016-09-23
US62/398,549 2016-09-23
US201662401276P 2016-09-29 2016-09-29
US62/401,276 2016-09-29

Publications (2)

Publication Number Publication Date
TW201818351A true TW201818351A (zh) 2018-05-16
TWI689896B TWI689896B (zh) 2020-04-01

Family

ID=61686893

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106132593A TWI689896B (zh) 2016-09-23 2017-09-22 在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置

Country Status (4)

Country Link
US (1) US10623635B2 (zh)
CN (2) CN114666601B (zh)
TW (1) TWI689896B (zh)
WO (1) WO2018054355A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873261B (zh) * 2016-10-04 2022-12-27 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
EP3407607A1 (en) * 2017-05-24 2018-11-28 Thomson Licensing Method and device for encoding and reconstructing a point cloud
KR102262727B1 (ko) * 2017-05-26 2021-06-09 엘지전자 주식회사 360 비디오 처리 방법 및 그 장치
US9998664B1 (en) * 2017-06-20 2018-06-12 Sliver VR Technologies, Inc. Methods and systems for non-concentric spherical projection for multi-resolution view
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2020027349A1 (ko) * 2018-07-31 2020-02-06 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN114503587A (zh) * 2019-10-07 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US20210211723A1 (en) * 2020-01-08 2021-07-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling 2d and 3d regions in immersive media
CN114078191A (zh) * 2020-08-18 2022-02-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及介质
CN115150368B (zh) * 2021-03-31 2023-11-03 腾讯科技（深圳）有限公司 媒体文件的关联处理方法、装置、介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1453311A3 (en) * 1996-10-31 2004-11-10 Sensormatic Electronics Corporation Intelligent video information management system
US6212078B1 (en) * 1999-10-27 2001-04-03 Microcoating Technologies Nanolaminated thin film circuitry materials
CA2677933A1 (en) 2007-02-14 2008-08-21 Photint Venture Group Inc. Fuzzy protection of visual content
KR101433803B1 (ko) * 2007-06-18 2014-08-27 삼성전자주식회사 집적영상기술에서 기초 영상을 생성하는 방법 및 장치
US8270425B2 (en) * 2009-12-29 2012-09-18 Symbol Technologies, Inc. Method and system for multicast video streaming over a wireless local area network (WLAN)
US9049497B2 (en) * 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
CN104350745B (zh) * 2012-07-04 2018-12-11 英特尔公司 基于全景的3d视频译码
US20140078144A1 (en) * 2012-09-14 2014-03-20 Squee, Inc. Systems and methods for avatar creation
CN102946570B (zh) * 2012-09-21 2015-03-04 上海交通大学 一种自适应网络带宽的多流流媒体传输系统与传输方法
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
US11412020B2 (en) * 2012-10-19 2022-08-09 Parallel Wireless, Inc. Wireless broadband network with integrated streaming multimedia services
US9900166B2 (en) * 2013-04-12 2018-02-20 Qualcomm Incorporated Methods for delivery of flows of objects over broadcast/multicast enabled networks
US10110649B2 (en) * 2013-08-01 2018-10-23 Spotify Ab System and method for transitioning from decompressing one compressed media stream to decompressing another media stream
US10313716B2 (en) * 2013-11-01 2019-06-04 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
WO2015102381A1 (en) * 2014-01-03 2015-07-09 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US10476693B2 (en) * 2014-02-24 2019-11-12 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
CN113259731B (zh) * 2015-01-06 2023-07-04 帝威视有限公司 用于编码内容和在设备之间共享内容的系统和方法
US20160277341A1 (en) * 2015-03-20 2016-09-22 Micah Garen Network collaboration tool
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content

Also Published As

Publication number Publication date
US20180091735A1 (en) 2018-03-29
TWI689896B (zh) 2020-04-01
WO2018054355A1 (en) 2018-03-29
CN110036604A (zh) 2019-07-19
CN114666601A (zh) 2022-06-24
CN114666601B (zh) 2024-04-05
US10623635B2 (en) 2020-04-14
CN110036604B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
TWI689896B (zh) 在處理來自於多個媒體源的媒體內容中指定、發信和使用獨立編解碼的碼點的方法及裝置
US11756152B2 (en) Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR102642406B1 (ko) 가상 현실 영상을 처리하는 방법 및 장치
KR102371099B1 (ko) 광시야 비디오를 인코딩하기 위한 구면 회전 기법
WO2020063547A1 (zh) 球面图像处理方法、装置及服务器
JP2020513703A5 (zh)
KR20180029315A (ko) 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
US20200413017A1 (en) Methods and apparatus for projection conversion decoding for applications eco-systems
US10650592B2 (en) Methods and apparatus for providing rotated spherical viewpoints
EP4005202B1 (en) A method and apparatus for delivering a volumetric video content
KR20190074490A (ko) 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
WO2021122983A1 (en) A method and apparatus for coding and decoding volumetric video with view-driven specularity
US11854112B1 (en) Compression of attribute values comprising unit vectors
WO2021259686A1 (en) A method and apparatus for encoding and decoding volumetric content in and from a data stream
EP4038882A1 (en) Haptic atlas coding and decoding format
CN117121059A (zh) 支持光效果的体积视频
CN115462088A (zh) 用于体积视频的不同图集打包