TWI654874B - 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置 - Google Patents

處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置

Info

Publication number
TWI654874B
TWI654874B TW107112015A TW107112015A TWI654874B TW I654874 B TWI654874 B TW I654874B TW 107112015 A TW107112015 A TW 107112015A TW 107112015 A TW107112015 A TW 107112015A TW I654874 B TWI654874 B TW I654874B
Authority
TW
Taiwan
Prior art keywords
projection
resampling
mapping
projection plane
projection surface
Prior art date
Application number
TW107112015A
Other languages
English (en)
Other versions
TW201840182A (zh
Inventor
李亞璇
王鵬
林建良
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201840182A publication Critical patent/TW201840182A/zh
Application granted granted Critical
Publication of TWI654874B publication Critical patent/TWI654874B/zh

Links

Classifications

    • G06T3/08—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

視訊處理方法，包括：從球體之全方位內容獲得複數個投影面，並透過以非均勻映射重新採樣所述複數個投影面之投影面之至少一部分來獲得一重新採樣投影面。所述球體之所述全方位內容係透過360度虛擬實境投影(360 VR)映射至所述複數個投影面上。所述投影面具有第一來源區域和第二來源區域。所述重新採樣投影面具有第一重新採樣區域和第二重新採樣區域。所述第一重新採樣區域係透過以第一採樣密度重新採樣所述第一來源區域所導出。所述第二重新採樣區域係透過以不同於所述第一採樣密度之一第二採樣密度重新採樣所述第二來源區域所導出。

Description

處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置
相關申請的交叉引用：
本申請案主張於2017年4月5日提交的美國臨時申請號62/481,714之優先權，且上述申請實質內容以引用方式併入本文中。
本發明涉及全方位影像/視訊內容之處理，更具體而言，其涉及處理至少一投影面係透過非均勻投影方式生成之投影訊框之方法及裝置。
使用頭戴式顯示(HMD)的虛擬實境(VR)有各種應用方式。其中，將廣闊的視野內容呈現給使用者的能力可用於提供身臨其境的視覺體驗。若要取得對應至一個球體的全方位影像/視訊內容，必須補捉真實世界環境的所有影像/視訊資訊。隨著相機及頭戴式顯示裝置的進步，由於重現此種360度影像/視訊內容需要高比特率(bitrate)，虛擬實境內容的傳送可能即將成為技術發展之瓶頸。當全方位視訊的解析度大於或等於4K時，資料的編碼及壓縮對於降低比特率而言就顯得極其重要。
一般而言，對應球體的全方位影像/視訊內容會被轉換為一系列的影像，而每一個影像皆為具有360度影像/視訊內容的投影訊框(projection-based frame)，投影訊框由以360度虛擬實境(360 VR)投影佈局排列的一或多個投影面表示。而後，將這一系列的投影訊框編碼至比特流(bitstream)以進行傳輸。如果未正確將全方位影像/視訊內容投影至包裝於360VR投影佈局中的投影面上，壓縮後的影像品質和/或編碼效率可能會不佳。
要求保護的本發明的目的之一，係提供一種用於處理具有使用非均勻映射生成的至少一個投影面的投影訊框之方法和裝置。
根據本發明的第一方面，揭露了一種示範性的視訊處理方法。所述示範性視訊處理方法包括：從球體的全方位內容獲得至少一個投影面，其中球體的全方位內容經由360度虛擬實境(360VR)投影映射到所述至少一個投影面，並且所述至少一個投影面包括第一投影面；使用重新採樣電路透過非均勻映射在第一投影面上重新採樣至少一個部分，以獲得第一重新採樣投影面，其中，第一投影面具有第一來源區域及第二來源區域，而第一重新採樣投影面則具有第一重新採樣區域及第二重新採樣區域，其中，第一重新採樣區域係以第一採樣密度重新採樣第一來源區域所導出，而第二重新採樣區域則係以與第一採樣密度不同之第二採樣密度重新採樣第二來源區域所導出；根據360VR投影之投影佈局生成投影訊框，其中投影訊框包含包裝於投影佈局內之第一重新採樣投影面；以及將投影訊框編碼以生成比特流之一部分。
根據本發明的第二方面，揭露了一種示範性的視訊處理方法。所述示範性視訊處理方法包括：接收一比特流之一部分；解碼所述比特流之所述部分以生成投影訊框，其中所述投影訊框具有360度內容，所述360度內容由包裝在360度虛擬實境(360 VR)投影之投影佈局中的至少一個投影面表示，且所述至少一個投影面包含具有至少一部分由編碼器側非均勻映射創建的第一投影面；使用重新採樣電路透過編碼器側之反向非均勻映射在第一投影面上重新採樣至少一個部分，以獲得第一重新採樣投影面，其中，第一投影面具有第一來源區域及第二來源區域，而第一重新採樣投影面則具有第一重新採樣區域及第二重新採樣區域，其中，第一重新採樣區域係以第一採樣密度重新採樣第一來源區域所導出，而第二重新採樣區域則係以與第一採樣密度不同之第二採樣密度重新採樣第二來源區域所導出。
此外，提供了與上述視訊處理方法相關聯之視訊處理裝置。
在結合下面附圖閱讀本發明的推薦實施例的如下詳細描述後，本發明之內容對於本領域之通常技術者而言無疑將是顯而易見的。
以下說明及專利申請範圍之敘述中，使用到的部分詞彙將用來指涉某個具體的元件。如同本領域之通常技術者所熟知地，電子裝置製造者可能使用不同的名稱來指涉同一個元件。此份文件無意區別那些在名稱上有所差別、但在功能上並無差異的元件。在以下說明及專利申請範圍之敘述中，「包括」、「包含」等詞彙係用來做為開放性之敘述，故皆應被解讀為「包括，但不限於……」之意。此外，在本文中「耦合」一詞係有意被用於指涉直接或是間接的電子連接。據此而言，如果將一裝置耦接至另一裝置，其之間之連接可能透過一直接的電子連接，或者透過其他裝置及連結間接進行連接。
第1圖為依據本發明之實施例之360度虛擬實境(360 VR)系統之示意圖。360 VR系統100包含兩個視訊處理裝置(如來源電子裝置102及目標電子裝置104)。來源電子裝置102包含視訊擷取裝置112、轉換電路114、及視訊編碼器116。轉換電路114可以使用複數個電路區塊來實現，如投影電路(以「CKT_PJ」表示)132、重新採樣電路(以「CKT_RS」表示)134、包裝電路(以「CKT_PK」表示)136以及其他電路(未示出)。舉例而言，視訊擷取裝置112可以為用於提供對應至球體的全方位影像/視訊內容(如覆蓋整個周圍環境的多個影像)S_IN的一組相機。轉換電路114耦合於視訊擷取裝置112與視訊編碼器116之間。轉換電路114根據360VR投影格式的投影佈局L_VR和全方位影像/視訊內容S_IN來產生投影訊框IMG。投影訊框IMG可以為包括在從轉換電路114生成的投影訊框序列中的一個幀。視訊編碼器116係用於編碼/壓縮投影訊框IMG以生成部分比特流BS。此外，視訊編碼器116經由傳輸裝置103將比特流BS輸出到目標電子裝置104。舉例而言，投影訊框的序列可被編碼至比特流BS中，且傳輸裝置103可以為有線/無線通訊鏈路或存儲媒介。
目標電子裝置104可以為頭戴式顯示(HMD)裝置。如第1圖所示，目標電子裝置104包括：視訊解碼器122、圖形渲染電路124和顯示螢幕126。圖形渲染電路124可以使用複數個電路區塊來實現，如解包裝電路(以「CKT_UPK」表示)142、重新採樣電路(以「CKT_RS」表示)144以及其他電路(未示出)。視訊解碼器122從傳輸裝置103(如有線/無線通訊鏈路或存儲媒介)接收比特流BS，並解碼接收到的一部分比特流BS以產生已解碼投影訊框IMG'。舉例而言，視訊解碼器122透過對接收到的比特流BS進行解碼來生成解碼訊框序列，其中解碼的投影訊框IMG'為解碼訊框序列中包括的一個訊框。在此實施例中，由編碼器側(即來源電子裝置102)的視訊編碼器116編碼的投影訊框IMG具有360VR投影格式的投影佈局。因此，在解碼器側的解碼電路122(即目標電子裝置104)解碼比特流BS之後，解碼的投影訊框IMG'具有相同的360VR投影格式集相同的投影佈局。圖形渲染電路124耦合於視訊解碼器124和顯示螢幕126之間。圖形渲染電路124根據解碼的投影訊框IMG'在顯示螢幕126上渲染和顯示輸出影像資料。舉例而言，可以經由圖形渲染電路124將與已解碼投影訊框IMG'所攜帶之一部分360度影像/視訊內容相關聯之視區顯示在顯示螢幕126上。
在此實施例中，轉換電路114支援所提出的編碼器側投影面重新採樣函數，且圖形繪製電路124支援所提出的解碼器側投影面重新採樣函數，其中，解碼器側投影面重新採樣函數為編碼器側投影面重新採樣函數之反向。舉例而言，編碼器側投影面重新採樣函數可以在編碼前對投影面應用下採樣，且解碼器側投影面重新採樣函數可以在解碼後對投影面應用上採樣。再舉一例，編碼器側投影面重新採樣功能可以在編碼前對投影面應用上採樣，且解碼器側投影面重新採樣功能可以在解碼後向投影面應用下採樣。再舉一例，編碼器側投影面重新採樣函數可以在編碼之前對投影面應用沒有尺寸改變的重新採樣，而解碼器側投影面重新採樣函數可以在解碼後對投影面應用沒有尺寸改變的反向重新採樣。
具體而言，關於編碼器側(即來源電子裝置102)，投影電路132被配置為從球的全方位影像/視訊內容獲得投影面，其中，球體之全方位影像/視訊內容係透過360VR投影映射至投影面上。重新採樣電路134被配置成透過非均勻映射對投影面的至少一部分(即部分或全部)進行重新採樣來獲得重新採樣之投影面。包裝電路136被配置為根據360VR投影的投影佈局L_VR生成投影訊框IMG，其中投影訊框IMG具有包裝在投影佈局L_VR中的重新採樣之投影面。除了非均勻映射的重新採樣函數之外，重新採樣電路134還可以支援均勻映射的重新採樣函數。均勻映射和非均勻映射的更多細節描述如下。
請綜合參考第2圖及第3圖。第2圖為透過均勻映射重新採樣投影面之範例示意圖。第3圖為依據本發明之實施例之均勻映射函數曲線之示意圖。在本範例中，矩形投影面204係透過在其高度方向上對方形投影面(其也是矩形投影面)202進行下採樣來導出，其中方形投影面202具有寬度w和高度H(H = w)，且矩形投影面204具有寬度w和高度h(h ＜H)。也就是說，透過均勻映射對於一個方形執行具有相同寬度w的從高度H向高度h的下採樣。舉例而言，但並非限制，均勻映射函數可以使用以下公式來表達。
因此，關於位於矩形投影面204中的y軸的坐標y'處的像素位置，可以用公式(1)表示的均勻映射函數來確定位於方形投影面202中的y軸的坐標Y處的對應採樣點之位置。矩形投影面204中的位置P的像素值可透過使用方形投影面202中的對應採樣位置p'的像素值來導出。由於在高度方向上的均勻映射，因此在矩形投影面202垂直方向上相鄰的兩個採樣點係以恆定的距離D均勻分佈。
方形投影面202中的採樣點(即獲得的像素位置p')可能不在整數位置處。如果方形投影面202中的採樣點的y軸坐標Y是非整數位置，則可以將轉換電路114(具體而言，為重新採樣電路134)中的插值濾波器(未示出)應用於在方形投影面202中的採樣點周圍的整數像素，來導出採樣點的像素值。
在矩形投影面204係透過方形投影面202在其寬度方向上進行下採樣而導出的另一種情況下，均勻映射函數可以用下面的公式表示。
在公式(2)中，H可以表示方形投影面202的寬度，而h可以表示矩形投影面204的寬度。因此，關於在矩形投影面204中位於x軸的坐標x'處的像素位置，可以從公式(2)中表示的均勻映射函數來決定位於方形投影面202中的x軸的坐標X處的對應採樣點。矩形投影面204中的位置P的像素值係使用方形投影面202中的相應採樣位置p'的像素值來導出。由於在寬度方向上的均勻映射，因此在矩形投影面202中的兩個水平相鄰採樣點係以恆定的距離均勻分佈。
方形投影面202中的採樣點(即獲得的像素位置p')可能不位於整數位置處。如果方形投影面202中的採樣點的x軸坐標X是非整數位置，則可以將轉換電路114(具體而言，為重新採樣電路134)中的插值濾波器(未示出)應用於整數在方形投影面202中的採樣點周圍的像素，來導出採樣點的像素值。
在另一種情況下，矩形投影面204係透過在其高度方向和寬度方向上對方形投影面202進行下採樣而導出的。因此，關於位於矩形投影面204中的y軸的坐標y'處的像素位置，可以用公式(1)表示的均勻映射函數來決定位於方形投影面202中的y軸的坐標Y處的對應採樣點。此外，關於位於矩形投影面204中的x軸的坐標x'處的像素位置，可以用在公式(2)中表示的均勻映射函數來決定位於方形投影面202中的x軸的坐標X處的對應採樣點。矩形投影面204中的位置P之像素值係透過使用方形投影面202中的對應採樣位置p'的像素值來導出。由於在高度方向和寬度方向上均勻映射，矩形投影面204中的採樣點會均勻分佈。
方形投影面202中的採樣點(即所獲得的像素位置p')可能不位於整數位置。如果方形投影面202中的採樣點的x軸坐標X和y軸坐標Y中的至少一個為非整數位置，則轉換電路114中的插值濾波器(未示出)(具體而言， 為重新採樣電路134)可被應用於方形投影面202中的採樣點周圍的整數像素，以導出採樣點的像素值。
為了保存特定區域(如靠近主視圖的區域或靠近赤道的區域)的更多細節，本發明還提出透過非均勻映射重新採樣投影面。請綜合參考第4圖及第5圖。第4圖為依據本發明之實施例之透過非均勻映射重新採樣投影面之範例之示意圖。第5圖為依據本發明之實施例之非均勻映射函數曲線之示意圖。在此範例中，矩形投影面404係透過在其高度方向上對方形投影面(其亦為矩形投影面)402進行下採樣所導出，其中方形投影面402具有寬度w和高度H(H = w)，且矩形投影面404具有寬度w和高度h(h ＜H)。作為範例而非限制，可以使用以下公式來表達非均勻映射函數。
因此，關於位於矩形投影面404中的y軸的坐標y'處的像素位置，可以根據公式(3)中表示的非均勻映射函數來決定位於方形投影面402中的y軸的坐標Y處的對應採樣點。如第4圖所示，兩個垂直相鄰採樣點之間的間隔並非常數。舉例而言，兩個垂直相鄰採樣點之間的間隔可以為D1、D2、D3和D4當中的一個，其中D4＞ D3＞ D2＞ D1。具體而言，採樣點不均勻分佈於方形投影面402的高度方向上。矩形投影面404中的位置P的像素值係透過方形投影中的對應採樣位置p'之像素值所導出。舉例而言，矩形投影面404之第一重新採樣區域406中之像素值係從重新採樣方形投影面402的第一來源區域410所獲得，而矩形投影面404之第二重新採樣區域408中的像素值係透過重新採樣方形投影面402的第二來源區域412所獲得。由於在高度方向上的不均勻映射，從第一來源區域410獲得的採樣點之密度不同於從第二來源區域412獲得的採樣點之密度。換言之，在方形投影面402的高度方向上係使用不同的採樣率。第一重新採樣區域406係透過第一採樣率(或第一採樣密度)對第一來源區域410進行重新採樣所導出，而第二重新採樣區域408係透過第二採樣率(或第二採樣密度)對第二來源區域412進行重新採樣所導出，其中第二採樣率(或第二採樣密度)係不同於第一採樣率(或第一採樣密度)。
為了保留特定區域(如主視圖附近之區域或赤道附近之區域)的更多細節，透過非均勻映射來適當地控制第一採樣密度和第二採樣密度。假設第一來源區域410更靠近使用者視埠之中心或更靠近赤道，則第一採樣率(或第一採樣密度)被特別設置為高於第二採樣率(或第二採樣密度)。在此方式下，矩形投影面404中的大部分像素係透過重新採樣方形投影面402中的第一來源區域410所導出。
方形投影面402中的採樣點(即所獲得之像素位置p')可能不位於整數位置。如果方形投影面402中的採樣點的y軸坐標Y為非整數位置，則可以將轉換電路114(具體而言，為重新採樣電路134)中的插值濾波器(未示出)應用於方形投影面402中的採樣點周圍的整數像素，以導出採樣點之像素值。
在另一種情況下，矩形投影面404係透過在方形投影面402之寬度方向上進行下採樣所導出。非均勻映射函數可使用以下公式來表示。
在公式(4)中，H可以表示方形投影面402之寬度，而h可以表示矩形投影面404之寬度。因此，關於在矩形投影面404中位於x軸的坐標x'處的像素位置，可以由公式(4)中表示的非均勻映射函數來決定位於方形投影面402中的x軸的坐標X處的對應採樣點。具體而言，採樣點係不均勻分佈於方形投影面402的寬度方向上。矩形投影面404中位置P之像素值係透過方形投影面402中的相應採樣位置p'之像素值所導出。由於在寬度方向上的不均勻映射，矩形投影面404的第一重新採樣區域係透過對方形投影面402的第一來源區域以第一採樣率(或第一採樣密度)重新採樣所導出，而矩形投影面404的第二重新採樣區域係透過對方形投影面402的第二來源區域以第二採樣率(或第二採樣密度)重新採樣來導出，其中第二採樣速率(或第二採樣密度)係不同於第一採樣速率(或第一採樣密度)。舉例而言，當方形投影面402的第一來源區域比方形投影面402的第二來源區域更接近使用者視埠中心(或更靠近赤道)時，第一採樣率(或第一採樣率密度)被特別設定為高於第二採樣率(或第二採樣密度)。
方形投影面402中的採樣點(即所獲得的像素位置p')可能不位於整數位置處。如果方形投影面402中的採樣點的x軸坐標X是非整數位置，則可以將轉換電路114(具體而言，為重新採樣電路134)中的插值濾波器(未示出)應用於在方形投影面402中的採樣點周圍的整數像素，以導出採樣點的像素值。
在另一種情況下，矩形投影面404係透過在高度方向和寬度方向上對方形投影面402進行下採樣來導出。因此，關於位於矩形投影面404中的y軸的坐標y'處的像素位置，位於方形投影面402中的y軸的坐標Y處的對應採樣點可以由公式(3)所示之不均勻映射函數來決定。此外，關於位於矩形投影面404中的x軸的坐標x'處的像素位置，位於方形投影面402中的x軸的坐標X處的對應採樣點可以由公式(4)所示之非均勻映射函數來決定。具體而言，採樣點係不均勻分佈於方形投影面402之高度方向上，且亦不均勻分佈於方形投影面402之寬度方向上。矩形投影面404之位置P之像素值係由方形投影面402之對應採樣點p'之像素值所導出。由於在高度方向和寬度方向上的不均勻映射，矩形投影面404中之第一重新採樣區域係透過對方形投影面402之第一來源區域以第一採樣率(或第一採樣密度)重新採樣所導出，而矩形投影面404的第二重新採樣區域係透過對方形投影面402之第二來源區域以第二採樣率(或第二採樣密度)重新採樣所導出，其中第二採樣率(或第二採樣密度)係不同於第一採樣率(或第一採樣密度)。舉例而言，當方形投影面402之第一來源區域比方形投影面402之第二來源區域更接近使用者視埠中心(或更靠近赤道)時，第一採樣率(或第一採樣密度)被特別設定為高於第二採樣率(或第二採樣密度)。
方形投影面402中的採樣點(即所獲得的像素位置p')可能不為於整數位置。如果方形投影面402中之對應採樣點的x軸坐標X和y軸坐標Y中的至少一個是非整數位置，則轉換電路114(具體而言，即重新採樣電路134)中的插值濾波器(未示出)可以被應用於方形投影面402中的採樣點周圍之整數像素，以導出採樣點之像素值。
關於解碼器側(即目標電子裝置104)，視訊解碼器122被配置為接收比特流BS，並解碼一部分之比特流BS以生成已解碼投影訊框IMG'，其中已解碼投影訊框IMG'具有由投影面表示之360度內容，該投影面被包裝於360 VR投影之相同投影佈局L_VR中，且該投影面包括具有至少一部分(即部分或全部)由編碼器端非均勻映射所創建之投影面。解包裝電路142被配置為根據投影佈局L_VR從已解碼投影訊框IMG'獲得投影面。舉例而言，由來源電子裝置102採用的投影佈局L_VR可經由比特流BS用傳訊至目標電子裝置104。重新採樣電路144被佈置為透過經由反向非均勻映射來重新採樣投影面的至少一部分(即部分或全部)來獲得重新採樣之投影面。換言之，在編碼器側之重新採樣之投影面可以透過對應之反向映射函數在解碼器側恢復。
除了具有反向非均勻映射的重新採樣函數之外，重新採樣電路144還可以支援反向均勻映射支重新採樣函數。第2圖中之均勻映射函數也可以作為反向均勻映射函數使用。因此，關於反向重新採樣面中之像素位置，可以從公式(1)中表示之均勻映射函數來確定位於從解碼的投影訊框IMG'獲得的投影面中的對應採樣點。從解碼的投影訊框IMG'獲得之投影面中之採樣點可能不位於整數位置。可以將圖形渲染電路124(具體而言，為重新採樣電路144)中的插值濾波器(未示出)應用於從解碼的投影訊框IMG'獲得的投影面中之採樣點周圍的整數像素，以導出採樣點之像素值。
請綜合參考第6圖及第7圖。第6圖為依據本發明之實施例之透過反向非均勻映射重新採樣投影面之範例之示意圖。第7圖為依據本發明之實施例之反向非均勻映射函數曲線之示意圖。如上所述，矩形投影面404可透過在高度方向上對方形投影面402進行下採樣來導出、並且包裝在投影訊框IMG中以在編碼器側(即來源電子裝置102)進行編碼。在此範例中，從已解碼投影訊框IMG'獲得的矩形投影面404被重新採樣(如沿其高度方向進行上採樣)以在解碼器側(即目標電子裝置104)恢復方形投影面402'，其中方形投影面402和402'具有相同的形狀和相同的尺寸。如第6圖所示，方形投影面402'具有寬度w和高度H(H = w)，而矩形投影面404具有寬度w和高度h(h ＜ H)。作為範例但並非限制，如第7圖所示的反向非均勻映射函數可以為公式(3)中表達的非均勻映射函數之反向。
因此，關於位於矩形投影面402'中的y軸的坐標Y處的像素位置，位於矩形投影面404中的y軸的坐標y'處的對應採樣點可以由反向非均勻映射函數來決定。如第6圖所示，兩個垂直相鄰採樣點之間的間隔並非常數。舉例而言，兩個垂直相鄰採樣點之間的間隔可以為D1、D2、D3、D4、D5和D6中的一個，其中D6 ＞ D5 ＞ D4 ＞ D3 ＞ D2 ＞ D1。具體而言，採樣點係不均勻分佈於矩形投影面404的高度方向上。矩形投影面402'的位置Q的像素值係透過矩形投影面402'中之相應採樣位置q'之像素值所導出。舉例而言，方形投影面402'之第一重新採樣區域606中之像素係透過重新採樣矩形投影面404之第一來源區域610所獲得，而方形投影面402'之第二重新採樣區域608中之像素係透過重新採樣矩形投影面404之第二來源區域612所獲得。由於在高度方向上的非均勻映射，從第一來源區域610獲得之採樣點的密度係不同於從第二來源區域612獲得的採樣點的密度。換言之，在矩形投影面404之高度方向上係使用不同的採樣率。第一重新採樣區域606係對第一來源區域610以第一採樣速率(或第一採樣密度)進行重新採樣所導出，而第二重新採樣區域608係對第二採樣區域612以第二重新採樣區域(或第二採樣密度)重新採樣所導出，其中第二採樣率(或第二採樣密度)係不同於第一採樣率(或第一採樣密度)。
在矩形投影面404中的採樣點(即所獲得的像素位置q')可能不位於整數位置。如果矩形投影面404中之採樣點之y軸坐標y'為非整數位置，則可以將圖形繪製電路124(具體而言，即重新採樣電路144)中的插值濾波器(未示出)應用於圍繞於矩形投影面404中之採樣點之整數像素，以導出採樣點之像素值。
在另一情形下，矩形投影面404係從寬度方向對方形投影面402進行下採樣、並包裝於投影訊框IMG以在編碼器側(即來源電子裝置102)進行編碼，從解碼的投影訊框IMG'獲得的矩形投影面404被重新採樣(如沿寬度方向進行上採樣)以恢復解碼器側(即目標電子裝置104)處的方形投影面402'，其中，方形投影面402及402'具有相同的形狀即相同的尺寸。反向非均勻映射函數可以透過公式(4)中表達的非均勻映射函數之反向來設置。
因此，關於位於方形投影面402'之x軸之坐標X之像素位置，位於矩形投影面404之x軸之坐標x'之對應採樣點可從一個公式(4)中表示之反向非均勻映射函數之反向來決定。具體而言，採樣點係不均勻分佈於矩形投影面404之寬度方向上。矩形投影面402'之位置Q之像素值係從矩形投影面404之相對採樣位置q'之像素值所導出。由於在寬度方向上之不均勻映射，方形投影面402'的第一重新採樣區域係透過對矩形投影面404的第一來源區域以第一採樣率(或第一採樣密度)重新採樣所導出，而方形投影面402'的第二重新採樣區域係透過對矩形投影面404的第二來源區域以第二採樣率(或第二採樣密度)重新採樣來導出，其中第二採樣率(或第二採樣密度)係不同於第一採樣率(或第一採樣密度)。
矩形投影面404中之採樣點(即所獲得之像素位置q')可能不位於整數位置處。如果矩形投影面404中的採樣點的x軸坐標x'為非整數位置，則可以將圖形渲染電路124(具體而言，即重新採樣電路144)中的插值濾波器(未示出)應用至矩形投影面404中採樣點周圍之整數像素，以導出採樣點之像素值。
在另一情況下，矩形投影面404係從方形投影面402在寬度方向和高度方向上進行下採樣、並包裝於投影訊框IMG中以在編碼器側(即來源電子裝置102)進行編碼，從已解碼投影訊框IMG'獲得之矩形投影面404被重新採樣(如沿其寬度方向和高度方向進行上採樣)以恢復解碼器側(即目標電子裝置104)的方形投影面402'，其中方形投影面402及402'具有相同的形狀及相同的尺寸。
因此，關於位於矩形投影面402'中的y軸的坐標Y處的像素位置，位於矩形投影面404中的y軸的坐標y'處之對應採樣點可以由公式(3)中表示之非均勻映射函數之反向來決定。此外，對於位於矩形投影面402'中之x軸之坐標X處之像素位置，位於矩形投影面404中之x軸之坐標x'處之對應採樣點可以由公式(4)中表示之非均勻映射函數之反向來決定。具體而言，採樣點係不均勻分佈於矩形投影面404之高度方向上，且亦不均勻分佈於矩形投影面404之寬度方向上。方形投影面402'之位置Q之像素值係由矩形投影面404中之對應採樣位置q'之像素值所導出。由於在高度方向和寬度方向上係非均勻映射，方形投影面402'之第一重新採樣區域係對矩形投影面404的第一來源區域以第一採樣率(或第一採樣密度)重新採樣所導出，而方形投影面402'中之第二重新採樣區域係對矩形投影面404之第二來源區域以第二採樣率(或第二採樣密度)重新採樣所導出，其中第二採樣率(或第二採樣密度)係不同於第一採樣率(或第一採樣密度)。
矩形投影面404中之採樣點(即所獲得之像素位置q')可能不位於整數位置。如果矩形投影面404中之對應採樣點之x軸坐標x'及y軸坐標y'中之至少一個為非整數位置，則可以將圖形渲染電路124(具體而言，即重新採樣電路144)中之插值濾波器(圖中未示出)應用於矩形投影面404中之採樣點周圍之整數像素，以導出採樣點之像素值。
在上述在第4圖及第6圖中所示之重新採樣範例中，重新採樣投影面係透過在編碼器側非均勻映射(或在解碼器側反向非均勻映射)對投影面進行重新採樣來獲得，其中重新採樣投影面與投影面具有相同之形狀類型(如矩形的形狀)，但具有不同的尺寸。然而，此僅僅是為了說明之目的，並不意味著對本發明作出限制。
第8圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第一替代範例之示意圖。在此範例中，重新採樣投影面與來源投影面具有相同的形狀類型(如三角形之形狀)，但具有不同的尺寸。具體而言，透過非均勻映射(或反向非均勻映射)對於三角形執行具有相同寬度w之從高度H至高度h之下採樣。
第9圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第二替代範例之示意圖。在此範例中，重新採樣投影面與來源投影面具有不同的形狀類型(如矩形之形狀和梯形之形狀)。具體而言，透過執行非均勻映射(或反向非均勻映射)將矩形重新採樣為梯形。
在上述第4圖及第6圖中所示之重新採樣之範例中，透過對整個來源投影面應用編碼器側非均勻映射(或解碼器側反向非均勻映射)來獲得重新採樣投影面。然而，此僅僅是為了說明之目的，並不意味著對本發明作出限制。第10圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第三替代範例之示意圖。在此範例中，非均勻映射(或反向非均勻映射)僅應用於投影面之一部分。從具有高度H和寬度w之矩形投影面1002獲得具有高度h和寬度w的重新採樣之方形投影面1004。重新採樣之方形投影面1004具有頂部部分1008和底部部分1006。矩形投影面具有頂部部分1012和底部部分1010。透過非均勻映射(或反向非均勻映射)執行以相同寬度w從高度H向高度h下採樣，其中非均勻映射(或反向非均勻映射)僅被應用於頂部部分1012。在此範例中，底部部分1010保持相同，使得重新採樣之方形投影面1004之底部部分1006係由矩形投影面1002之底部部分1010直接設置。因此，重新採樣之方形投影面1004之底部部分1006之影像內容與矩形投影面1002之底部部分1010之影像內容相同。
如第10圖所示，可以透過非均勻映射(或反向非均勻映射)實現具有相同寬度w的從高度H向高度h的下採樣。或者，可以透過非均勻映射(或反向非均勻映射)來實現上採樣。第11圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第四替代範例之示意圖。在此範例中，可以透過非均勻映射(或反向非均勻映射)執行相同寬度w的從高度H到高度h之上採樣。
如第10圖及第11圖所示，來源投影面(即重新採樣前可用之投影面)與重新採樣投影面(即重新採樣後可用之投影面)具有不同之尺寸。或者，沒有尺寸變化之重新採樣可以透過非均勻映射(或反向非均勻映射)來實現。第12圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第五替代範例之示意圖。在此範例中，透過非均勻映射(或反向非均勻映射)執行具有相同寬度w和高度h之重新採樣。因此，來源投影面與重新採樣投影面會具有相同之形狀類型及相同之尺寸，但具有不同之影像內容。
編碼器側非均勻映射(或解碼器側反向非均勻映射)可以僅沿著單個映射方向執行、或者可以沿著不同映射方向執行。舉例而言，可以沿著x軸方向、y軸方向或兩者執行編碼器側非均勻映射(或解碼器側反向非均勻映射)。在本發明的一些實施例中，不同的非均勻映射(或反向非均勻映射)之映射方向不一定為正交。
第13圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第六替代範例之示意圖。在此範例中，透過非均勻映射(或逆非均勻映射)從高度H到高度h執行具有相同寬度w之Y軸下採樣，其中靠近來源投影面中間之採樣點具有更高之採樣率(即高採樣密度)。
第14圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第七替代範例之示意圖。在此範例中，透過非均勻映射(或反向非均勻映射)執行從高度H和寬度W到高度h和寬度w的雙向下採樣，其中更接近於來源投影面右下角之採樣點具有更高之採樣率(即高採樣密度)。
第15圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第八替代範例之示意圖。在此範例中，透過非均勻映射(或反向非均勻映射)執行從高度H和寬度W到高度h和寬度w的雙向下採樣，其中更接近來源投影面中心之採樣點具有更高之採樣率(即高採樣密度)。
應該注意的是，上述非均勻映射函數係用於說明的目的，並不意味著對本發明作出限制。在本發明的一些實施例中，來源電子裝置102之重新採樣電路134可以採用不同的非均勻映射函數來重新採樣形狀。在第16圖至第18圖示意出了用於y軸重新採樣的其他非均勻映射函數。應注意的是，第16圖至第18圖所示意出之非均勻映射函數也可用於x軸重新採樣。此外，當來源電子裝置102之重新採樣電路134採用非均勻映射函數來重新採樣形狀時，目標電子裝置104之重新採樣電路144採用非均勻映射函數之反向來反向重新採樣形狀。
在實務上，可以使用經過(0,0)和(1,1)的任何非遞減函數來實現非均勻映射函數。也就是說，非遞減非均勻映射函數之曲線從(0,0)開始並在(1,1)結束。在一個範例性非均勻映射函數設計中，非均勻映射之起點對應至最高採樣率(即最高採樣密度)，並且非均勻映射之終點對應至最低採樣率(即最低採樣密度)。以第13圖所示之Y軸下採樣為例，非均勻映射之起點位於來源投影面之中間。以第14圖所示之雙向下採樣為例，非均勻映射之起點位於來源投影面之右下角。以第15圖所示之雙向下採樣為例，非均勻映射之起點位於來源投影面之中心。然而，這些僅用於說明性目的，並不意味著對本發明作出限制。在另一個示範性非均勻映射函數設計中，非均勻映射的起點對應至最低採樣率(即最低採樣密度)，而非均勻映射之終點對應至最高採樣率(即最高採樣密度)。
如同非均勻映射函數，對應之反向非均勻映射函數也是經過(0,0)和(1,1)的非遞減函數。 在一個示範性反向非均勻映射函數設計中，反向非均勻映射之起點對應至最高採樣率(即最高採樣密度)，而反向非均勻映射之終點對應至最低採樣率(即最低採樣密度)。在另一個示範性反向非均勻映射函數設計中，反向非均勻映射之起點對應至最低採樣率(即最低採樣密度)，而反向非均勻映射之終點對應至最高採樣率(即最高採樣密度)。
非均勻映射函數可以具有各種類型。作為範例而非限制，非均勻映射函數可以為等面積映射函數、等角映射函數、分段線性函數、指數函數、多項式函數或冪函數。
如上所述，編碼器側非均勻映射(或解碼器側反向非均勻映射)可以僅沿著單個映射方向執行，或者可以沿著不同映射方向執行。在實務上，取決於實際的設計考量，編碼器側非均勻映射(或解碼器側反向非均勻映射)可以應用於任何方向。
第19圖為依據本發明之實施例之三角投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。子圖(A)示出了從三角投影面內之同一起點以徑向方向朝向三角投影面中之不同終點之複數個映射方向。子圖(B)示出了複數個映射方向為與徑向方向相反之集中方向。子圖(C)示出了應用於三角形投影面中之兩種映射方向。子圖(D)示出了從三角形投影面之頂點朝向三角形投影面之邊緣之映射方向。子圖(E)示出了從三角形投影面之邊緣朝向三角形投影面之頂點之映射方向。子圖(F)示出了從三角形投影面之一個頂點朝向三角形投影面之另一個頂點之映射方向。子圖(G)示出了從三角形投影面之一個邊緣至三角形投影面之另一邊緣之映射方向。子圖(H)示出了從位於三角形投影面中的相同曲線(其由虛線表示)之起點朝向三角形投影面中之終點之複數個映射方向。子圖(I)示出了從三角形投影面中之起點至位於三角形投影面中的相同曲線(其由虛線表示)上之終點之複數個映射方向。
第20圖為依據本發明之實施例之矩形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。子圖(A)示出了應用於矩形投影面中之兩種類型之映射方向。子圖(B)示出了從矩形投影面之一個邊緣至矩形投影面之另一邊緣之映射方向。子圖(C)示出了從矩形投影面之一個頂點朝向矩形投影面之另一個頂點之映射方向。子圖(D)示出了從位於矩形投影面中之相同曲線(其由虛線表示)之起點朝向矩形投影面中之終點之複數個映射方向。子圖(E)示出了從矩形投影面中之起點到位於矩形投影面中之相同曲線(其由虛線表示)上之終點之複數個映射方向。子圖(F)示出了從矩形投影面內之相同起點以徑向方向朝向矩形投影面中之不同終點之複數個映射方向。子圖(G)示出了與徑向方向相反集中之複數個映射方向。
第21圖為依據本發明之實施例之四邊形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。子圖(A)示出了從四邊形投影面之一個邊緣朝向四邊形投影面之另一邊緣之映射方向。子圖(B)示出了從四邊形投影面之一個頂點朝向四邊形投影面之另一個頂點之映射方向。子圖(C)示出從位於四邊投影面中之相同曲線(其由虛線表示)起點朝向四邊形投影面中之終點之複數個映射方向。子圖(D)示出從四邊投影面中之起點到四邊投影面中位於同一曲線(其由虛線表示)中之終點之複數個映射方向。子圖(E)示出了從四邊形投影面內的相同起點以徑向方向朝向四邊形投影面中之不同終點之複數個映射方向。子圖(F)示出了複數個與徑向方向相反集中之映射方向。子圖(G)示出了應用於四邊形投影面中之兩種映射方向。
第22圖為依據本發明之實施例之圓形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。子圖(A)示出了從位於圓形投影面中之相同曲線(其由虛線表示)起點朝向圓形投影面中之終點之複數個映射方向。子圖(B)示出了從圓形投影面中之起點到位於圓形投影面中之相同曲線(其由虛線表示)上之終點之複數個映射方向。子圖(C)示出了從圓形投影面中之不同起點朝向圓形投影面中之相同終點之集中方向之複數個映射方向。子圖(D)示出從圓形投影面內的相同起點以徑向方向朝向圓形投影面中之不同終點之複數個映射方向。子圖(E)示出了應用於圓形投影面中之兩種類型之映射方向。第22圖中所示之示範性映射方向也可以透過應用於橢圓投影面之非均勻映射(或反向非均勻映射)來採用。
如上所述，重新採樣電路134生成重新採樣的投影面，而包裝電路136生成具有重新採樣投影面之投影訊框IMG，重新採樣投影面包裝於360 VR投影格式之投影佈局L_VR中。在實務上，360 VR投影格式可以為任何投影格式。作為範例而非限制，非均勻映射/反向非均勻映射可應用於各種投影格式，包括等矩形投影、立方體投影、金字塔投影、截斷球體金字塔投影、視埠立方體投影、八面體投影、四面體投影、四邊形石英投影、二十面體投影、六邊形石英投影、分段球體投影等。
第23圖為依據本發明之實施例之等距離長方圓柱投影(ERP)之非均勻映射之示意圖。投影電路132可以經由球體之全方位影像/視訊內容之等矩形投影來獲得單個投影面。重新採樣電路134可以在y軸方向(即等距離長方圓柱投影面之緯度方向)上對等距離長方圓柱投影面應用非均勻映射，其中在等距離長方圓柱投影面中之採樣點更靠近赤道時，採樣率(採樣密度)較高。在一個示範性設計中，非均勻映射函數可以透過以下具有緯度φ之公式所表示之等面積映射函數來設置。
在另一個示範性設計中，非均勻映射函數可以透過以下具有緯度φ之公式所表示之冪函數來設置。
然而，這些並非有意對本發明作出限制。替代地，等距離長方圓柱投影面之重新採樣可以包括均勻映射、非均勻映射、或者均勻映射與非均勻映射之組合。
第24圖為依據本發明之實施例之立方體映射投影(CMP)之非均勻映射之示意圖。球體2402之全方位影像/視訊內容係透過立方體映射投影映射/投影至六個方形投影面上，包括頂面、底面、正面、反面、左面和右面。根據一般的立方體投影，相同角度會投影到具有不同像素計數的面，導致面之邊界上的過採樣。在透過投影電路132經由球體2402上之全方位影像/視訊內容之立方體映射投影獲得方形投影面後，重新採樣電路134可將非均勻映射應用於方形投影面中的至少一個上，其中當方形投影面中的採樣點更靠近赤道時，採樣率(採樣密度)較高。舉例而言，重新採樣之方形投影面可以等效於透過投影相同像素計數之相同角度而獲得之等角投影面，其中每個位於兩個採樣點之間的間隔在球體2402上具有相同的角度。然而，這並非有意對本發明作出限制。替代地，立方體映射投影面之重新採樣可以包括均勻映射、非均勻映射或均勻映射與非均勻映射之組合。
第25圖為依據本發明之實施例之分段球體投影(SSP)之非均勻映射之示意圖。如子圖(A)所示，球體2402之表面被劃分為以北極為中心之北極區域2516、以南極為中心的南極區域2520、以及北極區域2516與南極區域2520之間的非極區環形區段(如赤道區段)2518。球體2402之赤道為0°。如第25圖所示，以θ表示北極區域2516的最低緯度，以φ表示南極區域2520的最高緯度。應注意的是，根據實際的設計考量，θ可以與φ相同或不相同。舉例而言，θ=φ= 45°。根據分段球體投影(SSP)，球體2402的北極區域2516被投影/映射到第一圓形投影面(標記為「北極」)2502，南極區域2520被投影/映射到第二圓形投影面(標記為「南極」)2506，而非極性環形段2518被投影/映射到矩形投影面(標記為「B」)2504。
在投影電路132經由球體2402上的全方位影像/視訊內容的分段球投影獲得第一圓形投影面2502、矩形投影面2504以及第二圓形投影面2506之後，重新採樣電路134可以將非均勻映射應用至第一圓形投影面2502、矩形投影面2504以及第二圓形投影面2506中的至少一個上。在此範例中，第一圓形投影面2502及第二圓形投影面2506兩者皆透過非均勻映射被重新採樣為另一種形狀(如矩形的形狀)。因此，重新採樣電路134透過重新採樣第一圓形投影面2502獲得第一矩形投影面(標記為「A」)2512，且透過重新採樣第二圓形投影面2506獲得第二矩形投影面(標記為「C」)2514。然而，這並非有意對本發明作出限制。替代地，分段球體投影面之重新採樣可以包括均勻映射，非均勻映射、或是均勻映射和非均勻映射之組合。
如子圖(B)所示，重新採樣之投影面(即第一矩形投影面2512及第二矩形投影面2514)及矩形投影面2504被包裝於分段球體投影格式之投影佈局2510中。由於每個投影面2512、2514及2504具有矩形的形狀，因此具有投影佈局2510的投影訊框IMG不需要在其中填充虛擬區域(如黑色區、灰色區或白色區)。
第26圖為依據本發明之實施例之視埠立方體投影之非均勻映射之示意圖。球體2402的全方位影像/視訊內容被映射/投影到六個方形投影面上，包括頂面(標記為「上」)、底面(標記為「下」)、正面(標記為「前」)、背面(標記為「後」)、左面(標記為「左」)和右面(標記為「右」)。在投影電路132經由球體2402上的全方位影像/視訊內容的立方體映射投影獲得方形投影面後，重新採樣電路134可將非均勻映射應用於部分或全部之方形投影面。舉例而言，頂面、左面、底面、右面和背面中的每一個皆透過非均勻映射來縮小比例。再舉一例，也可以透過非均勻映射重新採樣正面。
當方形投影面中的採樣點更接近正面或主視圖時，採樣率(採樣密度)更高。以重新採樣的右面(其為矩形投影面)為例，靠近邊緣S1的像素係透過以較高採樣率(採樣密度)重新採樣原始右面的第一區域(其為方形投影面)來決定，而靠近邊緣S2的像素係透過以較低採樣率(採樣密度)重新採樣原始右面的第二區域(其為方形投影面)來決定。然而，這並非有意對本發明作出限制。替代地，立方體映射投影面的重新採樣可以包括均勻映射、非均勻映射、或是均勻映射與非均勻映射的組合。
包裝電路136將頂面「上」(其為重新採樣投影面)、底面「下」(其為重新採樣投影面)、正面「前」(其為一主視圖，可以為未重新採樣的投影面、或可以為重新採樣之投影面)、背面(其為重新採樣投影面)，左面「左」(其為重新採樣的投影面)、以及右面「右」(其為重新採樣投影面)包裝於基於視埠之立方體投影佈局2610中，其中重新採樣之底面被等分為四個部分B0 、B1 、B2 、B3 ，分別放置於基於視埠之立方體投影佈局2610的四個角落。
第27圖為依據本發明之實施例之截斷方形金字塔投影(TSP)之非均勻映射之示意圖。將球體2402之全方位影像/視訊內容透過截斷方形金字塔投影映射/投影到兩個方形投影面(即標記為「前」之正面及標記為「後」之背面)和四個梯形投影面(即標記為「上」之頂面、標記為「右」之右面、標記為「下」之底面、以及標記為「左」之左面)。在從投影電路132獲得截斷方形金字塔的方形投影面和梯形投影面後，重新採樣電路134可以將不均勻映射應用至方形投影面及梯形投影面中的至少一個。舉例而言，可以分別使用不同的非均勻映射方向重新採樣方形投影面和梯形投影面。
當投影面(如其中一個梯形投影面)中的採樣點更接近正面或主視圖時，採樣率(採樣密度)較高。以重新採樣之右面(其為梯形投影面)為例，靠近邊緣S1的像素透過以較高的採樣率(採樣密度)重新採樣原始右面(其為梯形投影面)的第一區域來決定，靠近邊緣S2的像素透過以較低採樣率(採樣密度)重新採樣原始右面(其為梯形投影面)的第二區域來決定。然而，這並非有意對本發明作出限制。替代地，截斷方形金字塔投影面之重新採樣可以包括均勻映射、非均勻映射、或是均勻映射與非均勻映射的組合。
包裝電路136將頂面「上」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)、底面「下」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)、正面「前」(其為一視圖，可以為未重新採樣的投影面、或可以為重新採樣之投影面)、背面「後」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)，左面「左」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)、以及右面「右」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)包裝於截斷方形金字塔投影佈局2710。
第28圖為依據本發明之實施例之截斷方形金字塔投影(TSP)之另一個非均勻映射之示意圖。球體2402的全方位影像/視訊內容被映射/投影到六個方形投影面上，包括頂面(標記為「上」)、底面(標記為「下」)、正面(標記為「前」)、背面(標記為「後」)、左面(標記為「左」)和右面(標記為「右」)。在投影電路132獲得方形投影面後，重新採樣電路134可將非均勻映射應用於部分或全部之方形投影面。舉例而言，頂面、左面、底面、右面中的每一個皆透過非均勻映射重新採樣至另一個形狀(如梯形之形狀)，以及背面(其為方形投影面)透過非均勻映射來縮小比例但不改變形狀類型。在本發明的一些實施例中，可以分別使用不同的非均勻映射方向來重新採樣方形投影面。
當投影面中的採樣點(如頂面、左面、底面和右面中的其中一個)更接近正面或主視圖時，採樣率(採樣密度)較高。以重新採樣之右面(其為梯形投影面)為例，靠近邊緣S1的像素透過以較高的採樣率(採樣密度)重新採樣原始右面(其為方形投影面)的第一區域來決定，靠近邊緣S2的像素透過以較低採樣率(採樣密度)重新採樣原始右面(其為方形投影面)的第二區域來決定。然而，這並非有意對本發明作出限制。替代地，立方體映射投影面之重新採樣可以包括均勻映射、非均勻映射、或是均勻映射與非均勻映射的組合。
包裝電路136將頂面「上」(其為重新採樣投影面)、底面「下」(其為重新採樣投影面)、正面「前」(其為一視圖，可以為未重新採樣的投影面、或可以為重新採樣之投影面)、背面「後」(其可以為未重新採樣的投影面、或可以為重新採樣之投影面)，左面「左」(其為重新採樣投影面)、以及右面「右」(其為重新採樣投影面)包裝於截斷方形金字塔投影佈局2710。
第29圖為依據本發明之實施例之金字塔投影之非均勻映射之示意圖。透過金字塔投影將球體2402的全方位影像/視訊內容映射/投影到一個方形投影面(即標記為「前」的正面)和四個三角形投影面(即，由標記為「上」的上面、標記為「左」的左面、標記為「下」的底面、以及標記為「右」的右面)。在此範例中，由金字塔投影獲得的每個三角形投影面具有等腰三角形的形狀。要編碼的投影訊框IMG須為矩形。如果投影佈局L_VR係透過展開金字塔佈局2920設置，則需要在投影訊框IMG中填充虛擬區域(如黑色區、灰色區或白色區)。為了解決這個問題，本發明提出了一種緊密金字塔佈局2910。
在透過投影電路132經由球體2402上的全方位影像/視訊內容的金字塔投影獲得一個方形投影面(即正面)和四個三角形投影面(即上面、左面、底面及右面)後，重新採樣電路134可以將非均勻映射應用於部分或全部的方形投影面(即正面)和三角形投影面(即上面、左面、下面及右面)。舉例而言，將三角形投影面(即上面、左面、底面和右面)中的每一個重新採樣為另一種形狀(如等腰直角三角形的形狀)。具體而言，將具有高度H的等腰三角形投影面下採樣為高度為h的等腰直角三角形投影面。
當投影面(如其中一個三角形投影面)中的採樣點更接近正面或主視圖時，採樣率(採樣密度)較高。以重新採樣的右面(其具有等腰直角三角形的形狀)為例，第一重新採樣區域A1的像素係透過對原始右面(其具有等腰三角形的形狀)的第一來源區域以較高的採樣率(採樣密度)重新採樣來決定，而第二重新採樣區域A2的像素係透過對原始右面(其具有等腰三角形的形狀)的第二來源區域以較低的採樣率(採樣密度)重新採樣來決定。然而，這並非有意對本發明作出限制。替代地，金字塔投影面之重新採樣可以包括均勻映射、非均勻映射、或是均勻映射與非均勻映射的組合。
包裝電路136將頂面「上」(其為重新採樣投影面)、底面「下」(其為重新採樣投影面)、正面「前」(其為一主視圖，可以為未重新採樣的投影面、或可以為重新採樣之投影面)、左面「左」(其為重新採樣投影面)、以及右面「右」(其為重新採樣投影面)包裝於緊密金字塔投影佈局2910。由於緊密金字塔投影佈局2910具有矩形形狀，因此具有緊密金字塔佈局2910的投影訊框IMG不需要具有虛擬區域(如黑色區、灰色區或白色區)。
應注意的是，透過360 VR投影獲得的投影面可以分別使用不同的映射函數重新採樣。舉例而言，編碼器側(即來源電子裝置102)處的重新採樣電路134透過非均勻映射重新採樣至少一部分(即部分或全部)的第一投影面來獲得第一重新採樣投影面，而透過非均勻映射(或均勻映射)重新採樣至少一部分(即部分或全部)的第二投影面來獲得第二重新採樣投影面，其中，用於重新採樣從投影電路132所產生之第一投影面所採用的映射函數係不同於用於重新採樣從投影電路132所生成之第二投影面所採用的映射函數。
相似地，可以分別使用不同的反向映射函數來重新採樣從已解碼投影訊框獲得之投影面。舉例而言，解碼器側的重新採樣電路144(即目標電子裝置104)透過對至少一部分(即部分或全部)的第一投影面以反向非均勻映射重新採樣來獲得第一重新採樣的投影面，並透過對至少一部分(即部分或全部)的第二投影面以反向非均勻映射重新採樣來獲得第二重新採樣的投影面，其中，用於重新採樣從解包裝電路142所獲得之第一投影面所採用的反向映射函數係不同於用於重新採樣從解包裝電路142所獲得之第二投影面所採用的反向映射函數。
此外，可以組合不同的映射函數以重新採樣透過360VR投影獲得的投影面。舉例而言，編碼器側(即來源電子裝置102)處的重新採樣電路134透過對第一部分的投影面以非均勻映射重新採樣來獲得第一部分的重新採樣投影面，並透過對第二部分的投影面以非均勻映射(或均勻映射)重新採樣來獲得第二部分的重新採樣投影面，其中，用於重新採樣從投影電路132所產生之第一投影面所採用的映射函數係不同用於重新採樣從投影電路132所生成之第二投影面所採用的映射函數。
相似地，可以組合不同的反向映射函數以重新採樣從已解碼投影訊框IMG'獲得的投影面。舉例而言，解碼器側的重新採樣電路144(即目標電子裝置104)透過對第一部分的投影面以反向非均勻映射重新採樣來獲得第一部分的重新採樣投影面，並透過對第二部分的投影面以反向非均勻映射(或反向均勻映射)重新採樣來獲得第二部分的重新採樣投影面，其中，用於重新採樣從解包裝電路142所獲得之第一部分之投影面所採用的映射函數係不同於用於重新採樣從解包裝電路142所獲得之第二部分之投影面所採用的映射函數。
本領域之通常技術者可輕易觀察到在維持本發明的教導的同時，仍可對於此裝置及方法進行各種修改及變更。據此，上述揭露之內容應被解釋為僅受所附之專利申請範圍的界限之限制。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧360度虛擬實境系統
200‧‧‧分段球體投影佈局
102、104‧‧‧來源/目標電子裝置
103‧‧‧傳輸裝置
112‧‧‧視訊擷取裝置
114‧‧‧轉換電路
116‧‧‧視訊編碼器
122‧‧‧視訊解碼器
24‧‧‧圖形渲染電路
126‧‧‧顯示螢幕
132‧‧‧投影電路
134、144‧‧‧重新採樣電路
136‧‧‧包裝電路
142‧‧‧解包裝電路
202、402、402’、1004‧‧‧方形投影面
204、404、1002‧‧‧矩形投影面
406、606‧‧‧第一重新採樣區域
408、608‧‧‧第二重新採樣區域
410、610‧‧‧第一來源區域
412、612‧‧‧第二來源區域
1006、1010‧‧‧底部
1008、1012‧‧‧頂部
2402‧‧‧球體
2502‧‧‧第一圓形投影面
2506‧‧‧第二圓形投影面
2516、2520‧‧‧北極區域/南極區域
2518‧‧‧非極區環形區段
2510‧‧‧投影佈局
2512、2514‧‧‧第一/第二矩形投影面
2504‧‧‧矩形投影面
2610‧‧‧基於視埠之立方體投影佈局
2710‧‧‧截斷方形金字塔投影佈局
2910‧‧‧緊密金字塔佈局
2920‧‧‧展開金字塔佈局
第1圖為依據本發明之實施例之360度虛擬實境(360 VR)系統之示意圖。 第2圖為透過均勻映射重新採樣投影面之範例示意圖。 第3圖為依據本發明之實施例之均勻映射函數曲線之示意圖。 第4圖為依據本發明之實施例之透過非均勻映射重新採樣投影面之範例之示意圖。 第5圖為依據本發明之實施例之非均勻映射函數曲線之示意圖。 第6圖為依據本發明之實施例之透過反向非均勻映射重新採樣投影面之範例之示意圖。 第7圖為依據本發明之實施例之反向非均勻映射函數曲線之示意圖。 第8圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第一替代範例之示意圖。 第9圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第二替代範例之示意圖。 第10圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第三替代範例之示意圖。 第11圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第四替代範例之示意圖。 第12圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第五替代範例之示意圖。 第13圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第六替代範例之示意圖。 第14圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第七替代範例之示意圖。 第15圖為依據本發明之實施例之透過非均勻映射(或反向非均勻映射)重新採樣投影面之第八替代範例之示意圖。 第16圖為依據本發明之實施例之第一替代非均勻映射函數曲線之示意圖。 第17圖為依據本發明之實施例之第二替代非均勻映射函數曲線之示意圖。 第18圖為依據本發明之實施例之第三替代非均勻映射函數曲線之示意圖。 第19圖為依據本發明之實施例之三角投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。 第20圖為依據本發明之實施例之矩形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。 第21圖為依據本發明之實施例之四邊形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。 第22圖為依據本發明之實施例之圓形投影面之非均勻映射(或反向非均勻映射)之不同映射方向之複數個範例之示意圖。 第23圖為依據本發明之實施例之等距離長方圓柱投影之非均勻映射之示意圖。 第24圖為依據本發明之實施例之立方體映射投影之非均勻映射之示意圖。 第25圖為依據本發明之實施例之分段球體投影之非均勻映射之示意圖。 第26圖為依據本發明之實施例之視埠立方體投影之非均勻映射之示意圖。 第27圖為依據本發明之實施例之截斷方形金字塔投影之非均勻映射之示意圖。 第28圖為依據本發明之實施例之截斷方形金字塔投影之另一個非均勻映射之示意圖。 第29圖為依據本發明之實施例之金字塔投影之非均勻映射之示意圖。

Claims (22)

  1. 一種視訊處理方法，包括： 從一球體之一全方位內容獲得至少一投影面，其中所述球體之所述全方位內容係經由一360度虛擬實境投影映射至所述至少一投影面上，且所述至少一投影面包括一第一投影面； 使用一重新採樣電路透過非均勻映射藉由重新採樣所述第一投影面的至少一部分來獲得一第一重新採樣投影面，其中所述第一投影面具有一第一來源區域和一第二來源區域，所述第一重新採樣投影面具有一第一重新採樣區域和一第二重新採樣區域，所述第一重新採樣區域係透過對所述第一來源區域以一第一採樣密度重新採樣來導出，所述第二重新採樣區域係對所述第二來源區域以不同於所述第一採樣密度之一第二採樣密度重新採樣來導出； 根據所述360度虛擬實境投影之一投影佈局生成一投影訊框，其中所述投影訊框包含包裝於所述投影佈局中之所述第一重新採樣投影面；以及 編碼所述投影訊框以生成一比特流之一部分。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有一相同之形狀類型。
  3. 如申請專利範圍第2項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有一相同之尺寸。
  4. 如申請專利範圍第2項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有不同之大小。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有不同之形狀類型。
  6. 如申請專利範圍第1項所述之視訊處理方法，其中，所述至少一投影面進一步包括一第二投影面，所述視訊處理方法進一步包括： 透過重新採樣所述第二投影面之至少一部分來獲得一第二重新採樣投影面，其中所述投影訊框進一步包含包裝於所述投影佈局中之所述第二重新採樣投影面；以及 用於重新採樣所述第一投影面之所述至少一部分之一映射函數係不同於用於重新採樣所述第二投影面之所述至少一部分之一映射函數。
  7. 如申請專利範圍第1項所述之視訊處理方法，其中，所述第一重新採樣投影面包含對所述第一投影面之一第一部分以所述非均勻映射重新採樣所獲得之一第一部分、以及對所述第一投影面之一第二部分重新採樣所獲得之一第二部分，且用於重新採樣所述第一投影面之所述第一部分之一映射函數係不同於重新採樣所述第一投影面之所述第二部分之一映射函數。
  8. 如申請專利範圍第1項所述之視訊處理方法，其中，所述非均勻映射係僅沿著一單一映射方向執行。
  9. 如申請專利範圍第1項所述之視訊處理方法，其中，所述非均勻映射係沿著不同之映射方向執行。
  10. 如申請專利範圍第1項所述之視訊處理方法，其中，所述投影佈局係一基於視埠之立方體投影佈局、一截斷方形金字塔投影佈局或一緊密金字塔佈局。
  11. 一種視訊處理方法，包括： 接收一比特流之一部分； 解碼所述比特流之所述部分以生成一投影訊框，其中所述投影訊框具有一360度內容，所述360度內容係由包裝於一360度虛擬實境投影之一投影佈局中之至少一投影面表示，且所述至少一投影面包括具有至少一部分係由編碼器側非均勻映射創建之一第一投影面；以及 使用一重新採樣電路透過所述編碼器側非均勻映射之反向藉由重新採樣所述第一投影面所述至少一部分來獲得一第一重新採樣投影面，其中所述第一投影面具有一第一來源區域和一第二來源區域，所述第一重新採樣投影面具有一第一重新採樣區域和一第二重新採樣區域，所述第一重新採樣區域係透過對所述第一來源區域以一第一採樣密度重新採樣來導出，所述第二重新採樣區域係對所述第二來源區域以不同於所述第一採樣密度之一第二採樣密度重新採樣來導出。
  12. 如申請專利範圍第11項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有一相同之形狀類型。
  13. 如申請專利範圍第12項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣的投影面具有一相同之尺寸。
  14. 如申請專利範圍第12項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣的投影面具有不同之尺寸。
  15. 如申請專利範圍第11項所述之視訊處理方法，其中，所述第一投影面和所述第一重新採樣投影面具有不同之形狀類型。
  16. 如申請專利範圍第11項所述之視訊處理方法，其中，所述至少一投影面進一步包括一第二投影面，其中所述第二投影面之至少一部分係由編碼器側重新採樣所創建，所述視訊處理方法進一步包括： 透過重新採樣所述第二投影面之所述至少一部分來獲得一第二重新採樣投影面；以及 用於重新採樣所述第一投影面之所述至少一部分之一反向映射函數係不同於用於重新採樣所述第二投影面之所述至少一部分之反向映射函數。
  17. 如申請專利範圍第11項所述之視訊處理方法，其中，所述第一重新採樣投影面包括一第一部分和一第二部分，所述第一部分係對所述第一投影面之一第一部分以所述編碼器側非均勻映射之反向重新採樣所獲得，所述第二部分係對所述第一投影面之一第二部分重新採樣所獲得，用於重新採樣所述第一投影面之所述第一部分之一反向映射函數係不同於用於重新採樣所述第一投影面之所述第二部分之反向映射函數。
  18. 如申請專利範圍第11項所述之視訊處理方法，其中，所述編碼器側非均勻映射之反向係僅沿著一單一映射方向執行。
  19. 如申請專利範圍第11項所述之視訊處理方法，其中，所述編碼器側非均勻映射之反向係沿著複數個不同之映射方向執行。
  20. 如申請專利範圍第11項所述之視訊處理方法，其中，所述投影佈局係一基於視埠之立方體投影佈局、一截斷方形金字塔投影佈局或一緊密金字塔佈局。
  21. 一種視訊處理裝置，包括： 一投影電路，其被配置為從一球體之一全方位內容獲得至少一投影面，其中所述球體之所述全方位內容係經由一360度虛擬實境投影映射至所述至少一投影面上，而所述至少一投影面包括一第一投影面； 一重新採樣電路，其被配置為對所述第一投影面的至少一部分以非均勻映射重新採樣來獲得一第一重新採樣投影面，其中所述第一投影面具有一第一來源區域和一第二來源區域，所述第一重新採樣投影面具有一第一重新採樣區域和一第二重新採樣區域，所述第一重新採樣區域係透過對所述第一來源區域以一第一採樣密度重新採樣來導出，所述第二重新採樣區域係對所述第二來源區域以不同於所述第一採樣密度之一第二採樣密度重新採樣來導出； 一包裝電路，其被配置為根據所述360度虛擬實境投影之一投影佈局生成一投影訊框，其中，所述投影訊框包括所述投影佈局中包裝之所述第一重新採樣投影面；以及 一視訊編碼器，其被配置為編碼所述投影訊框以生成一比特流之一部分。
  22. 一種視訊處理裝置，包括： 一視訊解碼器，其被配置為接收一比特流之一部分，並解碼所述比特流之所述部分以生成一投影訊框，其中所述投影訊框具有由至少一投影面所表示之一360度內容，所述投影面係包裝於一360度虛擬實境投影之一投影佈局內，且所述至少一投影面包括至少一部分係由編碼器側非均勻映射創建之一第一投影面； 一解包裝電路，其被配置為根據所述投影佈局從所述投影訊框獲取所述第一投影面；以及 一重新採樣電路，其被配置為對所述第一投影面之所述至少一部分以所述編碼器側非均勻映射之反向重新採樣來獲得一第一重新採樣投影面，其中所述第一投影面具有一第一來源區域和一第二來源區域，所述第一重新採樣投影面具有一第一重新採樣區域和一第二重新採樣區域，所述第一重新採樣區域係透過對所述第一來源區域以一第一採樣密度重新採樣所導出，所述第二重新採樣區域係對所述第二來源區域以不同於所述第一採樣密度之一第二採樣密度重新採樣所導出。
TW107112015A 2017-04-05 2018-04-09 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置 TWI654874B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762481714P 2017-04-05 2017-04-05
US62/481,714 2017-04-05
PCT/CN2018/081723 WO2018184528A1 (en) 2017-04-05 2018-04-03 Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
??PCT/CN2018/081723 2018-04-03

Publications (2)

Publication Number Publication Date
TW201840182A TW201840182A (zh) 2018-11-01
TWI654874B true TWI654874B (zh) 2019-03-21

Family

ID=63713266

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112015A TWI654874B (zh) 2017-04-05 2018-04-09 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置

Country Status (6)

Country Link
US (1) US10356386B2 (zh)
CN (1) CN110506291B (zh)
DE (1) DE112018000660T5 (zh)
GB (1) GB2573951A (zh)
TW (1) TWI654874B (zh)
WO (1) WO2018184528A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
TWI681662B (zh) 2017-08-18 2020-01-01 聯發科技股份有限公司 用於減少基於投影的圖框中的偽影的方法和裝置
DE102018006838A1 (de) * 2017-11-03 2019-05-09 Adobe Inc. Dynamisches Mapping von virtuellen und physischen Interaktionen
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) * 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US11831855B2 (en) * 2018-06-22 2023-11-28 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
WO2004047008A1 (en) 2002-11-15 2004-06-03 Esc Entertainment, A California Corporation Reverse-rendering method for digital modeling
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) * 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
JP6687015B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
DE112016002377T5 (de) 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) * 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法

Also Published As

Publication number Publication date
US20180359459A1 (en) 2018-12-13
CN110506291A (zh) 2019-11-26
US10356386B2 (en) 2019-07-16
WO2018184528A1 (en) 2018-10-11
TW201840182A (zh) 2018-11-01
GB2573951A (en) 2019-11-20
DE112018000660T5 (de) 2019-10-24
CN110506291B (zh) 2021-05-14
GB201912012D0 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
TWI654874B (zh) 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
TW201803358A (zh) 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流
US10963987B2 (en) Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
TWI684359B (zh) 用於沉浸式視頻編解碼的信令語法的方法及裝置
TWI656788B (zh) 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備
TW201943267A (zh) 一種基於立方體的投影方法
CN109716776B (zh) 用于生成且编码全向内容视频的方法及设备
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
TW202123685A (zh) 一種視訊解碼方法