TWI684359B - 用於沉浸式視頻編解碼的信令語法的方法及裝置 - Google Patents
用於沉浸式視頻編解碼的信令語法的方法及裝置 Download PDFInfo
- Publication number
- TWI684359B TWI684359B TW107129203A TW107129203A TWI684359B TW I684359 B TWI684359 B TW I684359B TW 107129203 A TW107129203 A TW 107129203A TW 107129203 A TW107129203 A TW 107129203A TW I684359 B TWI684359 B TW I684359B
- Authority
- TW
- Taiwan
- Prior art keywords
- virtual reality
- viewport
- reality image
- center
- parameters
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根據本發明一方法,在來源側或編碼器側,決定與360°虛擬實境圖像有關的一選擇的視埠。然後決定與選擇金字塔投影格式有關的一或複數個參數。根據本發明,用於該一或複數個參數的一或複數個語法元素包括於該360°虛擬實境圖像的已編碼資料中。提供該360°虛擬實境圖像的該已編碼資料作為輸出資料。在接收器側或解碼器側,從該360°虛擬實境圖像的該已編碼資料中解析用於一或複數個參數的一或複數個語法元素。基於包括該一或複數個參數的資訊決定與該360°虛擬實境圖像有關的選擇的金字塔投影格式。根據該選擇的視埠,恢復該360°虛擬實境圖像。
Description
本發明涉及用於360°虛擬實境(VR)圖像/序列的圖像/視頻處理或編解碼,特別地,本發明涉及用於金字塔投影格式(pyramid projection format)中沉浸式視頻編解碼的語法信令。
360°視頻也稱為沉浸式視頻,是一種新興技術,其可以提供“現場般的感受”。這種沉浸式的感受可以由用環繞式場景環繞用戶來覆蓋全景視野(panoramic view)實現,特別地,覆蓋360°視場(field of view)。該“現場般的感受”可以由立體式渲染進一步提升。因此,全景視頻正被廣泛的用於虛擬實境(VR)應用中。
沉浸式視頻涉及使用複數個攝像機捕獲場景來覆蓋全景視野,例如,360°視場。沉浸式攝像機通常使用全景攝像機或者一組攝像機來捕獲360°視場。典型地,兩個或更多個攝像機用於沉浸式攝像機。所有攝像機必須同時地拍攝並且記錄該場景的複數個分離片段(也稱為分離視角(perspectives))。此外,該組攝像機通常用於水平地捕獲視圖,而該等攝像機的其他佈置也是可能的。
可以使用360°球面全景攝像機捕獲360°虛擬實境圖像或者複數個圖像來覆蓋360°環繞的全部視場。使用傳統的視頻/影像處理裝置難以處理或者存儲三維(3D)球面圖像,因此,通常使用3D至2D投影方法來將360°VR圖像轉換成二維(2D)格式。例如,等矩形投影(equirectangular projection,簡稱ERP)以及立方體球面投影(cubemap projection,簡稱CMP)都是常用的投影方法。因此,可以以等矩形投影的格式存儲360°圖像,等矩形投影將球體的整個表面映射到平面圖像,縱軸是緯度以及橫軸是經度。對於ERP投影,球體北極以及南極中的區域(也就是從單個點變成線)相比於赤道附近的區域被更劇烈地拉伸。而且,由於拉伸所引入的失真,特別是兩極附近,預測編碼工具通常不能做到好的預測,導致編解碼效率的降低。
本發明中,公開了與新的投影格式有關的語法信令。
有鑑於此,本發明公開了一種處理360°虛擬實境圖像的方法及裝置。根據本發明一方法,在來源側或編碼器側,接收360°虛擬實境圖像的輸入資料。決定與該360°虛擬實境圖像有關的一選擇的視埠。決定與對應於該選擇的視埠的一選擇金字塔投影格式有關的一或複數個參數,其中所述金字塔投影格式包括一個主要視埠面以及四個輔助視埠面。根據本發明,用於該一或複數個參數的一或複數個語法元素包括於該360°虛擬實境圖像的已編碼資料中;以及提供該360°虛擬實境圖像的該已編碼資料作為輸出資料。
在接收器側或解碼器側,接收360°虛擬實境圖像的已編碼資料。從該360°虛擬實境圖像的該已編碼資料解析用於一或複數個參數的一或複數個語法元素。基於包括該一或複數個參數的資訊決定與該360°虛擬實境圖像有關的選擇的金字塔投影格式,其中該金字塔投影格式包括主要視埠面以及四個輔助視埠面;以及根據對應於該選擇的金字塔投影格式的一選擇的視埠,恢復該360°虛擬實境圖像。
在一個實施例中,該一或複數個參數包括主要視埠中心的偏航、主要視埠面的俯仰、該主要視埠面的寬度、該主要視埠面的視場角度、用於該四個輔助視埠面的非均勻因數及其組合。在另一個實施例中,該一或複數個參數包括填充類型、關於是否允許輔助視埠面中心位移的位移指示符、水平面中心位移、垂直面中心位移及其組合。當該位移指示符指示允許該輔助視埠面中心位移時,用於該水平面中心位移、該垂直面中心位移或兩者的一或複數個語法元素包括於該360°虛擬實境圖像的該已編碼資料中。
本發明公開了有關金字塔投影佈局格式及相關的語法元素,能夠有效降低球面圖像投影時兩極圖像的失真,提高編解碼的效率。
後續的描述是實施本發明的最佳實施方式。所做之描述是為了說明本發明的基本原理並且不應當對此做限制性理解。本發明的範圍由參考所附申請專利範圍最佳確定。
在JVET-E0058(2017年1月12-20日,瑞士日內瓦,ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視頻開發小組(JEVT)第5次會議,Peng Wang等人提出的“AHG 8: A viewport-based pyramid projection for VR360 video streaming”,文獻:JVET-E0058)中已經公開了用於360VR視頻流的基於視埠的金字塔投影格式。基於視埠的金字塔投影格式由兩個區域組成:主區域(primary region)以及輔助區域(secondary region)。主區域保留由預定義的FOV所指定的高保真度的觀看區域而輔助區域表示在主區域外的區域的下採樣版本。換句話說,對於流媒體應用,基於視埠的投影格式的頻寬可以顯著地減少。視埠轉換機制允許在不同的視埠中觀看VR視頻,這些視埠視頻的這些主區域包括整個360°×180°區域。通常,每一視埠視頻的主區域的中心由偏航角以及俯仰角指示,因此,根據使用者的觀看角度,使用者可以接收包含觀看區域的對應的視埠視頻。
在第1A圖中,視埠被表示為金字塔以及球體上的360VR視頻內容被投射到內接的金字塔上,其包括一個頂點、一個矩形底面以及4個三角形側面。在第1A圖中示出的特定實施例中,金字塔的底面對應於一正方形,如第1B圖所示,該金字塔包括五個面(也就是正方形的底面110以及四個三角形側面),其中底面110稱為正面或主要面以及四個三角形側面標記為R(右)、L(左)、T(頂)以及B(底)。如第1B圖所示,每一未折疊的側面的高度稱為H,主要面是主視埠面,其包括90°×90°區域。其他四個等腰三角形側面稱為輔助面。如第1C圖所示,重新排列具有收縮高度(標記為h)的這些三角形面與正面一起形成非常緊湊的佈局。此外,在緊湊佈局中任意兩個相連的面之間沒有不連續邊界,在第1C圖中,緊湊格式中具有收縮高度的四個輔助面稱為緊湊的輔助視圖130。緊湊格式中的整個圖像(也就是主視圖120以及緊湊的輔助視圖130)稱為金字塔緊湊佈局。
當將五個面填充到緊湊佈局中時,四個三角形面的高度從H收縮到h,可以垂直地下採樣複數個三角形面來減少採樣的數目。線性映射函數(linear mapping function)可以用於在垂直方向將H收縮到h。然而,為了保留主要投影面附近的更多細節,重新採樣進程可以使用非均勻映射函數來導致主要投影面附近的對應的側面投影面U/B/L/R的更密集的取樣。如第1D圖所示,在非均勻映射函數是指數函數的情況下,非均勻映射函數可以藉由使用下列等式來表示:
在上述等式中,n是正數且n≠1,Y是初始側面投影面的垂直座標,以及y’是垂直收縮的側面投影面的垂直座標。本發明中的參數n指非均勻因數。非均勻下採樣進程可以實現接近於主區域的投影區域的圖像品質的降級小於遠離主區域的區域的圖像品質的降級。
為了適應各種基於視埠的金字塔投影格式,需要發信與選擇的金字塔投影格式有關的參數以致解碼器可以適當地重構VR視頻。因此,本發明公開了用於與選擇的金字塔投影格式有關的參數的複數個語法元素。例如,該等語法元素可能包括下列語法元素的一或複數個: · signed int(16) main_viewpoint_center_yaw; · signed int(16) main_viewpoint_center_pitch; · unsigned int(16) main_viewpoint_face_width; · unsigned int(8) main_viewpoint_fov_angle; · unsigned int(32) non_uniform_factor;
在上述清單中,main_viewpoint_center_yaw指定偏航(也就是經度)θ的值,旋轉方向是順時針並且值的範圍是[-180°,180°]。在上述清單中,main_viewpoint_center_pitch指定俯仰(也就是緯度)φ的值,旋轉方向是順時針並且值的範圍是[-90°,90°]。
第2圖示出了基於視點的金字塔投影的示例,其中視埠中心由黑點所指示,也指示了偏航(也就是經度)θ以及俯仰(也就是緯度)φ的值。
第3圖示出了具有(偏航,俯仰)=(0,0)以及非均勻因數n=2.5的提出的佈局的視埠圖像的示例。在第3圖中,主要面的中心由白點所述指示,四個三角形面的邊界由白線所指示。如第3圖所示,穿過邊界的圖像內容是連續的。main_viewpoint_face_width指定主要視埠面的寬度以及高度的像素數量,第3圖中指示了用於金字塔投影格式中示例性圖像的main_viewpoint_face_width。
在第4圖中,如圖式410所示,視埠表示為封閉於球體中金字塔。main_viewpoint_fov_angle指定角的度數,其定義了正方形主視圖區域的視場(FOV)大小。d是球體中心與主要視埠面之間的距離,穿過頂點以及一條線的金字塔的截面(cross section)將主視圖拆分成兩個相等大小的三角形示於第4圖中。主要視埠面的寬度(w)以及金字塔的高度(h’)計算如下:, (1) h’=R+d=+d (2)
第4圖也示出了用於匯出主要視埠面的寬度(w)以及金字塔的高度(h’ )的相關參數。在第4圖中,圖式410示出了封閉於球體中具有主要面在前面的金字塔的透視圖,其中指示了主要視埠圖的寬度(w)。圖式420表示了封閉於球體中金字塔的側視圖,其中指示了球體的半徑(R)、金字塔的高度(h’)、球體的中心422、球體的中心與主要視埠面之間的距離(d)以及視場(FOV)角度(θ)的值。圖式430表示了封閉於球體中金字塔的三維視圖,其中指示了球體的半徑(R)、金字塔的高度(h’)、球體的中心422以及球體的中心與主要視埠面之間的距離(d)。
在第1A-1C圖中,四個三角形側面是對稱地圍繞著主要面的並具有相同的形狀和尺寸。當將四個三角形側面折疊成第1C圖中佈局右側的正方形中時,四個三角形側面是對稱的並且頂點連接於第1C圖中佈局右側的正方形的中心處。在本發明中,也公開了具有非對稱側面的金字塔投影佈局。第5圖示出了兩個填充類型(第一類型510,第二類型520)中非對稱金字塔投影的示例,其中主視圖以及輔助視圖被水平地堆放。非對稱金字塔投影佈局的圖像寬度以及高度分別稱為Wa
以及Ha
。換句話說,非對稱金字塔投影佈局的解析度是Wa
×Ha
,主要視圖的解析度是Ha
×Ha
。輔助視圖的解析度是(Wa
-Ha
)×Ha
。頂點位置(512,522)是從輔助視圖的默認中心(514,524)的偏移並且在第5圖中分別指示了水平偏移距離(516以及526)。此外,緊湊的佈局中任意兩個相連的面之間沒有不連續邊界。
第6圖示出了兩個包裝類型(第三類型610,第四類型620)中非對稱金字塔投影佈局的示例,其中垂直地堆放主視圖以及輔助視圖。非對稱金字塔投影佈局的圖像寬度以及高度分別稱為Wa
以及Ha
。換句話說,非對稱金字塔投影佈局的幀解析度是Wa
×Ha
,主要視圖的解析度是Wa
×Wa
,輔助視圖的解析度是Ha
×(Wa
-Ha
)。頂點位置(612,622)是從輔助視圖的默認中心(614,624)的偏移以及在第6圖中分別指示了垂直偏移距離(616以及626)。此外,緊湊佈局中任意兩個相連的面之間沒有不連續邊界。
第7圖示出了非對稱金字塔投影佈局710的示例,其中水平地堆放主視圖以及輔助視圖(也就是第一類型)。頂點位置712在水平以及垂直方向上偏移默認中心(714)。第7圖中指示了從輔助視圖默認中心的水平偏移距離(716)以及垂直偏移距離(718)。此外,緊湊佈局中任意兩個相連的面之間沒有不連續邊界。
為了支持非對稱金字塔投影佈局,本發明也公開了將在視頻位元流中發信的額外的語法元素,以致解碼器可以相應地恢復選擇的非對稱金字塔投影佈局。額外的語法元素包括: · packing_type; · disable_center_displacement; · center_displacement_x; · center_displacement_y;
如之前所提到的,如第5圖以及第6圖中所示出的,有四種類型的非對稱金字塔投影佈局。語法元素packing_type定義選擇了四種類型的哪一個,語法元素disable_center_displacement定義了中心位移是否禁用,如果disable_center_displacement等於1,推測center_displacement_x以及center_displacement_y為0;否則,使用語法元素center_displacement_x以及center_displacement_y(在圖元單元中)發信中心位移。可以從輔助視圖的默認中心以及偏移值決定非對稱金字塔投影佈局的頂點中心,根據如下方式可以決定用於四種類型的輔助視圖的默認中心的x座標x_c(從幀的左邊界測量)以及y座標y_c(從幀的上邊界測量): Type 1: x_c = (Wa
+ Ha
)/2, y_c = Ha
/2; Type 2: x_c = (Wa
- Ha
)/2, y_c = Ha
/2; Type 3: x_c = Wa
/2, y_c = (Ha
- Wa
) /2; Type 4: x_c = Wa
/2, y_c = (Ha
+ Wa
) /2.
當頂點在默認中心的右邊時,center_displacement_x >0。當頂點在默認中心的左邊時,center_displacement_x <0。當頂點在默認中心的上方時,center_displacement_y >0。當頂點在默認中心的下方時,center_displacement_y <0。當disable_center_displacement等於0時(也就是允許非對稱投影格式),用於四種類型的頂點的中心座標計算如下: Types 1以及2: (x_c + center_displacement_x, y_c); Types 3以及4: (x_c, y_c + center_displacement_y).
對於第7圖中的非對稱金字塔投影佈局,其中頂點位置(712)在水平以及垂直方向偏移默認中心(714),disable_center_displacement等於0時(也就是允許非對稱投影格式),頂點的中心座標計算如下: (x_c + center_displacement_x, y_c + center_displacement_y).
第8圖示出了根據本發明一實施例的用於在來源側或編碼器側處理360°虛擬實境圖像的系統的示例性流程圖。在流程圖中示出的步驟可以實施為在編碼器側的一或複數個處理器(例如,一或複數個CPU)上可執行的程式碼,在流程圖中示出的步驟可以基於硬體實施,如一或複數個電子裝置或處理器用於執行流程圖中的步驟。根據這一方法,在步驟810中,接收360°虛擬實境圖像的輸入資料。在步驟820中,決定與該360°虛擬實境圖像有關的選擇的視埠。在步驟830中,決定對應於該選擇的視埠的選擇的金字塔投影佈局有關的一或複數個參數,其中該金字塔投影佈局包括主視埠面以及四個輔助視埠面。在步驟840中,用於該一或複數個參數的一或複數個語法元素包括於該360°虛擬實境圖像的已編碼資料中。在步驟850中,提供該360°虛擬實境圖像的該已編碼資料作為輸出資料。
第9圖示出了根據本發明一實施例的用於在接收器段或解碼器段處理360°虛擬實境圖像的系統的示例性流程圖。在步驟910中,接收360°虛擬實境圖像的已編碼資料。在步驟920中,從該360°虛擬實境圖像的該已編碼資料中解析用於一或複數個參數的一或複數個語法元素。在步驟930中,基於包括該一或複數個參數的資訊決定與該360°虛擬實境圖像有關的選擇的金字塔投影格式,其中該金字塔投影格式包括主視埠面以及四個輔助視埠面。在步驟940中,根據對應於該選擇的金字塔投影格式的選擇的視埠,恢復該360°虛擬實境圖像。
上述示出的流程圖旨在作為示例來說明本發明的實施例。本領域技術人員可以在不背離本發明精神的情況下,藉由修改單個步驟、拆分或合併步驟來實施本發明。
上述所做的描述能夠讓本領域技術人員在特定應用以及其需求的上下文中實施本發明。對所描述的實施例的各種修正對本領域技術人員將是顯而易見的,並且此處所定義的基本原理也可以應用於其他實施例。因此,本發嗎不旨在限於所示和所描述的特定實施例,而是符合與此處公開的與原理以及新穎特徵一致的最寬範圍。在上述細節描述中,所示出的各種特定細節是為了提供本發明的透徹理解,然而,本領域技術人員能夠理解並實施本發明。
以上所描述的本發明的實施例可以以各種硬體、軟體代碼及其組合來實施。例如,本發明的實施例可以是集成到視訊壓縮晶片的一或複數個電子電路或者集成到視訊壓縮軟體的程式碼來執行此處所描述的處理。本發明的實施例也可以是在數位訊號處理器(DSP)上執行的程式碼來執行此處所描述的處理。本發明也涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以用於配置根據本發明的特定任務,藉由執行定義由本發明實施的特定方法的機器可讀軟體代碼或固件代碼。軟體代碼或固件代碼可以以不同的程式語言包以及不同的格式或風格開發,軟體代碼也可以編譯用於不同的目標平臺。然而,軟體代碼的不同的代碼格式、風格以及語言以及配置代碼來執行與本發明一致的任務的其他方法將不背離本發明的精神以及範圍。
本發明可以以其他特定的形式實施而不背離其精神或基本特徵。所描述逇示例在所有方面僅被認為是說明性的而非限制性的。因此,本發明的範圍由所附申請專利範圍所指示而不是前述的描述。在申請專利範圍等同物的含義與範圍內的所有變化都包括於它們的範圍內。
110‧‧‧底面
120‧‧‧主視圖
130‧‧‧輔助視圖
410、420、430‧‧‧圖式
422‧‧‧球體的中心
516、526、716‧‧‧水平偏移距離
616、626、718‧‧‧垂直偏移距離
512、522、612、622、712‧‧‧頂點位置
514、524、614、624、714‧‧‧默認中心
510 520、610、620‧‧‧填充類型
710‧‧‧非對稱金字塔投影佈局
810~850、910~940‧‧‧步驟
第1A圖示出了表示為金字塔的視埠(viewport)的示例。在球體上的360VR視頻內容被投影到內接的金字塔上,其包括一個頂點、一個矩形底面以及四個三角形側面。 第1B圖示出了包括五個面的金字塔的示例,該五個面稱為正面或主要面以及標記為R(右)、L(左)、T(頂)以及B(底)四個側面。 第1C圖示出了緊湊的金字塔投影佈局的示例,其中重新排列具有收縮高度的三角形投影面與正面一起形成緊湊的佈局。 第1D圖示出了重新採樣進程所使用的非均勻映射函數的示例。 第2圖示出了基於視埠的金字塔投影的示例,其中指示了視埠中心、偏航(也就是經度)θ的值以及俯仰(也就是緯度)φ的值。 第3圖示出了具有(偏航,俯仰)=(0,0)以及非均勻因數n=2.5的提出的佈局的視埠圖像的示例。 第4圖示出了表示為封閉於球體中金字塔的視埠的示例,其中指示了相關的參數。 第5圖示出了兩個填充類型(第一類型、第二類型)中非對稱金字塔投影佈局的示例,其中主視圖以及輔助視圖被水平地堆放。 第6圖示出了兩種填充類型(第三類型、第四類型)中非對稱金字塔投影佈局的示例,其中主視圖以及輔助視圖被垂直地堆放。 第7圖示出了非對稱金字塔投影佈局的示例,其中頂點位置在水平以及垂直方向兩者上偏離默認中心。 第8圖示出了根據本發明實施例的用於在來源側或者編碼器側處理360°虛擬實境圖像的系統的示例性流程圖。 第9圖示出了根據本發明實施例的用於在接收側或解碼器側處理360°虛擬實境圖像的系統的示例性流程圖。
810~850‧‧‧步驟
Claims (10)
- 一種處理360°虛擬實境圖像的方法,該方法包括: 接收該360°虛擬實境圖像的輸入資料; 決定與該360°虛擬實境圖像有關的一選擇的視埠; 決定與對應於該選擇的視埠的一選擇的金字塔投影格式有關的一或複數個參數,其中該金字塔投影格式包括一個主要視埠面以及四個輔助視埠面; 用於該一或複數個參數的一或複數個語法元素包括於該360°虛擬實境圖像的已編碼資料中;以及 提供該360°虛擬實境圖像的該已編碼資料作為輸出資料。
- 如申請專利範圍第1項所述之處理360°虛擬實境圖像的方法,其中該一或複數個參數包括主要視埠中心的偏航、主要視埠面的俯仰、該主要視埠面的寬度、該主要視埠面的視場角度、用於該四個輔助視埠面的非均勻因數及該等參數組合。
- 如申請專利範圍第1項所述之處理360°虛擬實境圖像的方法,其中該一或複數個參數包括包裝類型、關於是否允許輔助視埠面中心位移的位移指示符、水平面中心位移、垂直面中心位移及該等參數組合。
- 如申請專利範圍第3項所述之處理360°虛擬實境圖像的方法,其中當該位移指示符指示允許該輔助視埠面中心位移時,用於該水平面中心位移、該垂直面中心位移或兩者的一或複數個語法元素包括於該360°虛擬實境圖像的該已編碼資料中。
- 一種處理360°虛擬實境圖像的裝置,該裝置包括一或複數個電子裝置用於: 接收該360°虛擬實境圖像的輸入資料; 決定與該360°虛擬實境圖像有關的一選擇的視埠; 決定與對應於該選擇的視埠的一選擇的金字塔投影格式有關的一或複數個參數,其中該金字塔投影格式包括一個主要視埠面以及四個輔助視埠面; 用於該一或複數個參數的一或複數個語法元素包括於該360°虛擬實境圖像的已編碼資料中;以及 提供該360°虛擬實境圖像的該已編碼資料作為輸出資料。
- 一種處理360°虛擬實境圖像的方法,該方法包括: 接收該360°虛擬實境圖像的已編碼資料; 從該360°虛擬實境圖像的該已編碼資料解析用於一或複數個參數的一或複數個語法元素; 基於包括該一或複數個參數的資訊決定與該360°虛擬實境圖像有關的選擇的金字塔投影格式,其中該金字塔投影格式包括主要視埠面以及四個輔助視埠面;以及 根據對應於該選擇的金字塔投影格式的一選擇的視埠,恢復該360°虛擬實境圖像。
- 如申請專利範圍第6項所述之處理360°虛擬實境圖像的方法,其中該一或複數個參數包括主要視埠中心的偏航、主要視埠面的俯仰、該主要視埠面的寬度、該主要視埠面的視場角度、用於該四個輔助視埠面的非均勻因數及該等參數組合。
- 如申請專利範圍第6項所述之處理360°虛擬實境圖像的方法,其中該一或複數個參數包括填充類型、關於是否允許輔助視埠面中心位移的位移指示符、水平面中心位移、垂直面中心位移及該等參數組合。
- 如申請專利範圍第8項所述之處理360°虛擬實境圖像的方法,其中當該位移指示符指示允許該輔助視埠面中心位移時,用於該水平面中心位移、該垂直面中心位移或兩者的一或複數個語法元素包括於該360°虛擬實境圖像的該已編碼資料中。
- 一種用於處理360°虛擬實境圖像的裝置,該裝置包括一或複數個電子裝置或處理器用於: 接收該360°虛擬實境圖像的已編碼資料; 從該360°虛擬實境圖像的該已編碼資料解析用於一或複數個參數的一或複數個語法元素; 基於包括該一或複數個參數的資訊決定與該360°虛擬實境圖像有關的選擇的金字塔投影格式,其中該金字塔投影格式包括主要視埠面以及四個輔助視埠面;以及 根據對應於該選擇的金字塔投影格式的一選擇的視埠,恢復該360°虛擬實境圖像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762549016P | 2017-08-23 | 2017-08-23 | |
US62/549,016 | 2017-08-23 | ||
??PCT/CN2018/100953 | 2018-08-17 | ||
WOPCT/CN2018/100953 | 2018-08-17 | ||
PCT/CN2018/100953 WO2019037656A1 (en) | 2017-08-23 | 2018-08-17 | METHOD AND APPARATUS FOR SYNTAX SIGNALING FOR IMMERSIVE VIDEO ENCODING |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201921950A TW201921950A (zh) | 2019-06-01 |
TWI684359B true TWI684359B (zh) | 2020-02-01 |
Family
ID=65438393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107129203A TWI684359B (zh) | 2017-08-23 | 2018-08-22 | 用於沉浸式視頻編解碼的信令語法的方法及裝置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3656128A4 (zh) |
CN (1) | CN111418213B (zh) |
TW (1) | TWI684359B (zh) |
WO (1) | WO2019037656A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11659206B2 (en) | 2019-07-02 | 2023-05-23 | Mediatek Inc. | Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus |
US11190801B2 (en) | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method |
US11190768B2 (en) * | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898254A (zh) * | 2016-05-17 | 2016-08-24 | 亿唐都科技(北京)有限公司 | 节省带宽的vr全景视频布局方法、装置及展现方法、系统 |
CN106803994A (zh) * | 2017-03-29 | 2017-06-06 | 暴风集团股份有限公司 | 识别四棱锥全景视频的方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110273451A1 (en) * | 2010-05-10 | 2011-11-10 | Salemann Leo J | Computer simulation of visual images using 2d spherical images extracted from 3d data |
CN101931772B (zh) * | 2010-08-19 | 2012-02-29 | 深圳大学 | 一种全景视频融合方法、系统及视频处理设备 |
JP6044328B2 (ja) * | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
CN105245841B (zh) * | 2015-10-08 | 2018-10-09 | 北京工业大学 | 一种基于cuda的全景视频监控系统 |
US10282814B2 (en) * | 2016-01-07 | 2019-05-07 | Mediatek Inc. | Method and apparatus of image formation and compression of cubic images for 360 degree panorama display |
CN106358033B (zh) * | 2016-08-25 | 2018-06-19 | 北京字节跳动科技有限公司 | 一种全景视频关键帧编码方法和装置 |
CN106507094B (zh) * | 2016-10-31 | 2019-01-04 | 北京疯景科技有限公司 | 校正全景视频显示视角的方法及装置 |
CN106780317B (zh) * | 2017-01-25 | 2020-08-11 | 北京数码视讯科技股份有限公司 | 全景投影方法及装置 |
-
2018
- 2018-08-17 WO PCT/CN2018/100953 patent/WO2019037656A1/en unknown
- 2018-08-17 EP EP18847331.8A patent/EP3656128A4/en not_active Withdrawn
- 2018-08-17 CN CN201880050495.5A patent/CN111418213B/zh active Active
- 2018-08-22 TW TW107129203A patent/TWI684359B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898254A (zh) * | 2016-05-17 | 2016-08-24 | 亿唐都科技(北京)有限公司 | 节省带宽的vr全景视频布局方法、装置及展现方法、系统 |
CN106803994A (zh) * | 2017-03-29 | 2017-06-06 | 暴风集团股份有限公司 | 识别四棱锥全景视频的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
TW201921950A (zh) | 2019-06-01 |
EP3656128A1 (en) | 2020-05-27 |
EP3656128A4 (en) | 2020-09-16 |
CN111418213B (zh) | 2022-07-01 |
CN111418213A (zh) | 2020-07-14 |
WO2019037656A1 (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6630891B2 (ja) | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 | |
EP3669333B1 (en) | Sequential encoding and decoding of volymetric video | |
RU2716156C1 (ru) | Способ и устройство для составления всенаправленного изображения в выходной формат макета | |
CN107454468B (zh) | 对沉浸式视频进行格式化的方法、装置和流 | |
JP4550403B2 (ja) | 画像処理装置およびプログラム | |
US10499033B2 (en) | Apparatus, a method and a computer program for coding and rendering volumetric video | |
CN110383842B (zh) | 一种视频处理方法和装置 | |
TWI654874B (zh) | 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置 | |
US20170374385A1 (en) | Method and Apparatus of Inter Coding for VR Video Using Virtual Reference Frames | |
CN110574069B (zh) | 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置 | |
TWI684359B (zh) | 用於沉浸式視頻編解碼的信令語法的方法及裝置 | |
KR20190046850A (ko) | 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림 | |
WO2019209838A1 (en) | Method, apparatus and stream for volumetric video format | |
KR20220069086A (ko) | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 | |
TW201803358A (zh) | 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 | |
US10827159B2 (en) | Method and apparatus of signalling syntax for immersive video coding | |
US11948268B2 (en) | Immersive video bitstream processing | |
US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
TW202126036A (zh) | 具有輔助修補之容積視訊 | |
KR20220035229A (ko) | 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치 | |
US20210195161A1 (en) | Stereo omnidirectional frame packing | |
TWI782342B (zh) | 一種視訊解碼方法 | |
EP4128134A1 (en) | Method and apparatus for processing projection-based frame having projection faces packed in hemisphere cubemap projection layout with face packing constraints |