TW202106000A - 傳送容積視訊內容之方法及裝置 - Google Patents

傳送容積視訊內容之方法及裝置 Download PDF

Info

Publication number
TW202106000A
TW202106000A TW109124496A TW109124496A TW202106000A TW 202106000 A TW202106000 A TW 202106000A TW 109124496 A TW109124496 A TW 109124496A TW 109124496 A TW109124496 A TW 109124496A TW 202106000 A TW202106000 A TW 202106000A
Authority
TW
Taiwan
Prior art keywords
data representation
video
data
representation
viewing direction
Prior art date
Application number
TW109124496A
Other languages
English (en)
Inventor
柏特拉德 丘皮烏
吉拉德 布萊德
雷納德 多里
Original Assignee
美商內數位Ｖｃ專利控股股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商內數位Ｖｃ專利控股股份有限公司 filed Critical 美商內數位Ｖｃ專利控股股份有限公司
Publication of TW202106000A publication Critical patent/TW202106000A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明係為數種方法，裝置及資料流用以傳送容積視訊中導航限制的信號及解碼資訊表示，資料流包括與容積視訊的視訊資料表示有關的元資料，元資料包括該容積視訊的3D空間中曲線路徑的觀看限制盒的資料表示；及與曲線路徑上一點有關的至少一觀看方向範圍的資料表示。

Description

傳送容積視訊內容之方法及裝置
本發明一般涉及三維(3D)場景及容積視訊內容領域，本發明也涉及編碼，質地的資料表示的格式化解碼及3D場景幾何用以產生終端用戶裝置(如行動裝置或頭載式顯示器(HMD))的容積內容，本發明尤其涉及容積視訊中導航限制的傳送信號及解碼資訊表示。
這一段意欲介紹此技藝各個方面，其涉及在此說明的本發明的各個方面及/或申請專利範圍，此討論相信有助於讀者了解先前技術以便於進一步了解本發明的各個方面，因此應該了解的是這些只是說明性質不是承認先前技術的優點。
最近可利用的大視場內容(高達360°)已成長，用戶在沈浸式顯示裝置如頭載顯示器，智慧型眼鏡，電腦螢幕，平板電腦，智慧型手機等上面觀看時不是能看到全部內容，它表示在已知時刻用戶只能看到部分內容，然而用戶能用各種方式，如移動頭部，移動滑鼠，觸摸螢幕語音等在內容中導航，這對於編碼及解碼此內容通常是期望的。
沈浸式視訊也稱為360度平視訊，它允許用戶藉由繞著一固定點轉動頭而觀看自己的四周，旋轉只允許3個自由度(3DoF)經驗，即使3DoF視訊足以用在第一全方向視訊經驗，例如使用頭載顯示裝置(HMD)，然而對於期望更多自由，例如經驗到視差的觀看者，3DoF視訊會很快的令人失望，此外3DoF也會產生頭暈因為用戶不會只轉頭也會在3個方向移動頭部，移動不會在3DoF視訊經驗中複製。
大視場內容是三維電腦圖形影像場景(3D CGI場景)，點雲或沈浸式視訊，可用許多條件例如虛擬實境(VR)，360，全景，4π球面度，沈浸式，全方向或大視場來設計沈浸式視訊。
容積視訊(也稱為6個自由度(6DoF)視訊)是3DoF視訊的替代者，觀看6DoF視訊時，除了旋轉外，用戶在觀看內容及經驗視差及甚至容積中，也能移動頭及甚至身體，這種視訊大幅增加沈浸感覺及景深的接受度以及移動頭時藉由提供一致的視覺回饋而避免暈眩，專屬感測器產生該內容，該感測器可同時記錄色彩及重要場景的深度，彩色相機合併攝影測量法的使用是執行這種記錄的方法，即使仍有技術上的困難。
雖然3DoF視訊包括一序列影像其來自質地影像(如球面影像編碼，其根據緯度/經度投影映射或等矩形投影映射)的未映射，6DoF視訊框含有來自數個視點的資訊，可將其視為來自三維捕捉的點雲的短暫序列，依觀看條件可考慮二種容積視訊，第一者(即完整的6DoF)允許視訊內容中的完全自由導航，而第二者(也稱為3DoF+)限制用戶的觀看空間在稱為觀看限制盒的有限容積，允許頭部的有限移動及視差經驗，此第二上下文是座位觀眾的自由導航與被動觀看條件的有價值評估標準，在3DoF+及6DoF經驗中，能定義4DoF+為3DoF+及6DoF的中間，其中用戶的位移限制在3D場景中的曲線(1D)路徑，繞著各路徑樣本具有有限的水平，垂直及深度移動，用戶能沿著路徑的一種隧道中移動，其具有保證的良好視覺品質，若用戶在隧道外移動其虛擬相機，資料將可能無法用在重建良好品質的3D場景。
在已知容積視訊內容的導航期間，必須限制用戶的虛擬相機及觀看方向的允許位置範圍，否則詢問視埠時，其因缺少可用的視訊資料而無法完全產生，用戶會離開3D場景，因此需要一種方案，當消耗已知容積視訊內容時，用以通知終端用戶裝置關於適合，較佳及/或允許的觀看者(虛擬)位置及觀看方向。
以下是發明的簡短內容以基本上了解本發明的一些方面，此內容不是本發明的廣泛知識，它不意欲識別本發明特徵或最重要元件，以下的發明內容只是以簡化的方式敍述本發明的一些方面作為以下詳細說明的前言。
本發明涉及一種方法及裝置用以在容積視訊中傳送導航限制的資訊表示信號，該方法包括在資料流中編碼元資料，該資料流包括 該容積視訊的視訊資料表示，元資料包括：觀看限制盒的資料表示；該容積視訊的3D空間中一曲線路徑的資料表示；及與該曲線路徑上一點有關聯的至少一觀看方向範圍的資料表示。
根據另一方面，提供第二種方法及第二種裝置用以在容積視訊中解碼導航限制的資訊表示，第二方法包括從一資料流解碼元資料，該資料流包括容積視訊的視訊資料表示，該元資料包括：一觀看限制盒的資料表示；該容積視訊的3D空間中一曲線路徑的資料表示；及與該曲線路徑上一點有關聯的至少一觀看方向範圍的資料表示。
根據至少一實施例的另一方面，提供一種資料流，包括視訊資料及有關聯的元資料，其根據所述任何編碼實施例或變體而產生。
根據至少一實施例的另一方面，提供一種非暫態電腦可讀取媒體，其包含根據所述任何編碼實施例或變體而產生的資料內容。
根據至少一實施例的另一方面，提供一種電腦程式產品，其包括指令，當電腦執行該程式時，令電腦執行所述任何解碼實施例或變體。
10:3D模型
11:點雲
20:3D場景
21:編碼器
211:投影電路
2111:二維框
2112:二維框
212:元資料
213:視訊編碼電路
214:資料封包電路
22:網路
23:解碼器
231:電路
232:元資料
233:視訊解碼器
233:視訊解碼器
234:3D場景序例
24:3D場景序例
30:顯示裝置
31:資料及位址匯流排
32:微處理器
33:唯讀記憶體
34:隨機存取記憶體
35:儲存介面
36:I/O介面
4:結構
41:表頭
42:視訊資料
43:元資料
50:3D場景
51:曲線路徑
52:基本限制盒容積
53:一組觀看方向範圍
54:輕型觀看空間
55:匯聚相機
61:圓形路徑
63:內視場
70:方法
71,72,73:步驟
80:方法
81,82,83:步驟
以下將配合附圖及詳細說明，以更佳了解使本發明以及本發明的其他優點及特徵，其中
圖1是根據本發明的非限制實施例，顯示物件的三維(3D)模型及點雲的點，其對應該3D模型；
圖2是根據本發明的非限制實施例，顯示3D場景序例的資料表示的編碼，傳送及解碼；
圖3顯示根據本發明的非限制實施例的裝置的典型架構，該裝置可實現圖7，圖8所述的方法；
圖4是根據本發明的非限制實施例，顯示當資料在封包式傳送協定上傳送時，流語法的本發明實施例；
圖5是根據本發明的非限制實施例，示意的敍述曲線路徑及沿著球形限制盒的已知位置及觀看方向範圍的虛擬3D場景中的限制導航概念；
圖5B是根據本發明的非限制實施例，繪示在圓弧上的5個聚合相機的取得相機範例，從取得相機的位置及方向而推斷出管狀觀看空間；
圖6是根據本發明的非限制實施例，繪示3D場景四周導航的圓形路徑的特例，其具有位於中央位置的有趣物件；
圖7是根據本發明的非限制實施例，示意的繪示在容積視訊中的導航限制下傳送資訊表示信號的方法70；
圖8是根據本發明的非限制實施例，示意的繪示在容積視訊中的導航限制下解碼資訊表示的方法80。
以下將參考圖示以詳細說明本發明，其中顯示本發明的範例，然而本發明可以許多替代形式實現，及不應該限制本發明在這些範例，因此雖然本發明有各種改良及替代形式，其特例只顯示為圖示中的例子且將在此詳細敍述，然而應該了解的是不意欲將本發明限制在這些揭露的特別形式，相反的，該揭露是要含蓋所有的改良，同等者及替代者，只要其在本發明申請專利範圍界定的精神及範圍內。
本文使用的名詞其目的是說明特例，不是意欲限制本發明，除非另有說明，以下文字「a」，「an」及「the」也包括複數，也需要了解，本文的名詞「comprises」，「comprising」，「includes」及/或「including」是指特徵，整數，步驟，操作，元件，及/或組件的存在，但是不排除至少一其它特徵，整數，步驟，操作，元件，組件及/或群的存在或增加，此外當一元件回應或連接到另一元件時，它可以直接回應或連接到其它元件，或出現介入元件，對比下當一元件直接回應或直接連接到其它元件時，不出現介入元件，在此使用的名詞「及/或」包括至少一關聯的表列項目的任何及所有組合，且可簡寫為「/」。
將了解的是雖然名詞第一，第二等在此用來形容各種元件，這些元件不應該受限於這些名詞，這些名詞的使用只是用來將一元件與另一元件區分.例如在不違反本發明的教示下可以將第一元件視為第二元件及類似的將第二元件視為第一元件。
雖然部分圖形在通信路徑上包括箭頭以顯示主要的通信 方向，該了解的是通知也可發生在所示箭頭的相反方向。
部分所述範例是針對方塊圖及操作流程圖其中各方塊表示一電路元件，模組或碼的一部分其包括至少一可執行指令用以實現特定邏輯功能，也應該注意的是在其它實現，方塊中的功能也不按照所示的順序，例如接連顯示的2個方塊事實上是大致同時執行，或者依涉及的功能，該等方塊是反向執行。
在此所謂「根據一範例」或「在一範例」是指與範例有關特點，結構或特徵的敍述，其可包括在本發明的至少一實現，本文中出現的「根據一範例」或「在一範例」不必然完全是指相同的範例，也不必然是與其它範例互斥的分開或替代範例。
申請專利範圍中出現的參考數字只是用來說明且不是用來限制及申請專利範圍，雖然未明白敍述，這些範例及其變體可以任何組合或次組合來實施。
圖1顯示物件的三維(3D)模型10及點雲11的點其對應3D模型10，3D模型10及點雲11例如對應3D場景的物件的可能3D表示，該3D場景包括其它物件，模型10是3D網狀表示及點雲11的點是網的頂點，點雲11的點也可以網的表面上散播的點，模型10也可以表示為點雲11的長條狀，模型10表面藉由將點雲11的點潑濺而產生，模型10可以用許多不同的表示來表示，如立體像素或方栓，圖1繪示的事實是用3D物件的表面來界定點雲及從點雲產生3D物件的表面，本文所述的3D物件投影在影像的投影點(藉由3D場景的延伸點)等於投影此3D物件的任何表示，例如點雲，網，方栓模型或立體像素模型。
將點雲在記憶體中表示為，例如向量式結構，其中各點有其本身的座標，在視點的參考框中，該視點如三維座標XYZ或固體角及與視點的距離(也稱為深度)及至少一屬性也稱為成分，成分的範例是色彩成分其以各種色彩空間來表示，例如RGB(紅，綠及藍)或YUV(Y是亮度成分及UV是2個色彩成分)，點雲3D場景的表示包括物件，3D場景可以從已知視點或視點範圍看到，可從許多方面得到點雲，例如從相機拍攝的真實物件捕獲，還可以加上深度主動感測裝置；從模型工具中的虛擬相機拍攝的虛擬/合成物件捕獲；從真實及虛擬物件的合成。
圖2顯示非限定範例的3D場景序例的資料表示的編碼，傳送及解碼，編碼格式為例如同時與3DoF，3DoF+及6DoF解碼相容。
得到3D場景20序例，圖像序例是2D視訊，3D場景序例是3D(也稱為容積)視訊，3D場景序例提供給容積視訊產生裝置，用於3DoF，3Dof+或6DoF產生及顯示。
3D場景20序例提供給編碼器21，編碼器21將3D場景或3D場景序例作為輸入及提供該輸入的位元流表示，位元流儲存在記憶體及/或電子資料媒體及在網路22上傳送，3D場景序例位元流表示是從記憶體讀取及/或經由網路22接收自解碼器23，該位元流從解碼器23輸入及提供3D場景序例，例如以點雲格式。
編碼器21包括數個電路實現在數個步驟，在第一步驟，編碼器21將各3D場景投影到至少一2D圖像，3D投影是任何一種方法其將三維點映射到二維平面，由于多數目前的顯示圖形資料的方法是基於平面(來自數個位元平面的像素資訊)二維媒體，這種投影的使用廣泛的，尤其是在電腦圖形，工程及設計，投影電路211提供至少一個二維框2111用於3D場景20序例，框2111包括投影在框2111的3D場景的色彩資訊及深度資訊表示，變體，色彩資訊及深度資訊編碼在二個不同框2111及2112。
使用元資料212及由投影電路211更新元資料212，其包括以下資訊：投影操作(如投影參數)，及色彩及深度資訊組織在框2111及2112中，如圖5-7所述。
視訊編碼電路213將框2111及2112的序例編碼為視訊，視訊編碼器213將3D場景2111及2112的圖像(或3D場景圖像序例)編碼成流，接著由資料封包電路214將視訊資料及元資料212封包在資料流，編碼器213例如與以下編碼器相容：JPEG，規格ISO/CEI10918-1 UIT-T Recommendation T.81,https：//www.itu.int/rec/T-REC-T.81/en；AVC，也稱為MPEG-4 AVC或h264，規範在UIT-T H.264及ISO/CEI MPEG-4 Part10(ISO/CEI 14496-10),http：//www.itu.int/rec/T-REC-H.264/en,HEVC(其規格可參考ITU網站，T recommendation,H series,h265,http：//www.itu.int/rec/T-REC-H.265-201612-I/en)；3D-HEVC(HEVC的延 伸其規格可參考ITU網站，T recommendation,H series,h265,http：//www.itu.int/rec/T-REC-H.265-201612-I/en annex G及I)；VP9由Google開發或AV1(AOMedia視訊1)由Alliance for Open媒體開發。
資料流儲存在記憶體，其係可存取，例如藉由網路22從解碼器23存取，解碼器23包括實現在不同解碼步驟的不同電路，解碼器23將編碼器21產生的資料流視作輸入及提供待產生的3D場景序例24，其被容積視訊顯示裝置(如頭載式裝置(HMD))顯示，解碼器23從來源22取得流，例如，來源22屬於一組其包括：區域記憶體如視訊記憶體或RAM(隨機存取記憶體)，快閃記憶體，ROM(唯讀記憶體)，硬碟；儲存介面例如與主儲存體如，RAM，快閃記憶體，ROM，光碟或磁性支架的介面；通訊介面如有線介面(例如匯流排介面，廣域網路介面，區域網路介面)或無線介面(如IEEE 802.11介面或藍牙Bluetooth®介面)；及用戶介面如圖形用戶介面其允許用戶輸入資料。
解碼器23包括電路234用以擷取資料流中的資料編碼，電路234將資料流作為輸入及提供元資料232，其對應在流中編碼的元資料212及二維視訊，視訊解碼器233將視訊解碼，視訊解碼器233提供框序例，解碼的框包括色彩及深度資訊，在一變體，視訊解碼器233提供二個框序例，一個包括色彩資訊，另一個包括深度資訊，電路231使用元資料232以便從解碼的框解投影色彩及深度資訊提供3D場景序例24，3D場景序例24對應3D場景20序例，可能失去精度，該精度有關於編碼為2D視訊及視訊壓縮。
圖3是顯示裝置30的範例架構，顯示裝置30調配成實現一方法，其在圖7，8中敍述，圖2的編碼器21及/或解碼器23可實現此架構，或者編碼器21及/或解碼器23的各電路可以是根據圖3架構的裝置，其接在一起，例如藉由其匯流排31及/或I/O介面36。
裝置30包括以下元件其藉由資料及位址匯流排31而連接起來：微處理器(CPU)32，其例如是數位信號處理器(DSP)；唯讀記憶體(ROM)33；隨機存取記憶體(RAM)34；儲存介面35；I/O介面36用以從應用程式接收資料及傳送；及電源如電池。
根據範例，電源在裝置外部，在各所述記憶體，本文使用 用的字暫存器對應小容量(一些位元)區域或極大區域(如整個程式或大量收到的或解碼的資料)，ROM33包括至少一程式及參數，ROM33儲存演算法及指令以執行根據本發明的方法，開啟時，CPU32上載RAM中的程式及執行對應的指令。
RAM34包括，在一暫存器中，在CPU32中執行的程式及開啟裝置30後即上載該程式，暫存器中的輸入資料，在暫存器中的方法的不同狀態下是中間資料，及其它變數用於執行暫存器中的方法。
在此所述的實現可實現在例如方法或處理，裝置，電腦程式產品，資料流或信號中，既使只在單一實現形式的上下文中討論(例如只以方法或裝置來討論)，所述的實現特徵也可以它種形式(例如程式)來實現，一裝置可實現在例如適當的硬體，軟體及韌體，方法可實現在例如裝置，例如處理器，其通稱為處理裝置，包括例如電腦，徵處理器，積體電路或可程式邏輯裝置，處理器也包括通訊裝置，例如電腦，行動電話，可攜式/個人數位助理器(PDA)及其它裝置，其利於終端用戶之間資訊的通訊。
根據範例，裝置30調配成實現在圖7，8所述的方法中，且屬於一組其包括：行動裝置，通訊裝置，遊戲裝置，平板電腦，筆記型電腦，靜止圖像相機，視訊相機，編碼晶片，伺服器(如廣播伺服器，隨選視訊伺服器或網路伺服器)。
圖4顯示當資料在封包式傳輸協定上傳送時，流語法實施例的範例，圖4顯示容積視訊流的範例結構4，該結構組成在容器中，將語法的獨立元素組織成流，該結構包括表頭41其係流的每一語法元素共同的一組資料，例如表頭包括語法元素的部分元資料，說明各部分的本質及角色，表頭也包括圖2元資料212的一部分，例如場景的中央點座標用以將3D場景的點投影在框2111及2112，該結構包括一負載其包括語法42的一元素及語法43的至少一元素，語法42元素包括色彩及深度框的資料表示，已根據視訊壓縮方法而壓縮影像。
語法43的元素資料流的負載的一部分，及包括元資料其有關於如何編碼語法42的元素的框，例如參數其用於將3D場景投影在框以及將3D場景的點封裝在框，這種元資料與視訊或框群(也稱為視訊壓縮 標準中的圖像群(GoP))的各框有關。
圖5藉由敍述曲線路徑而示意的說明沿著球形限制盒的已知位置及觀看方向範圍的虛擬3D場景中的限制導航概念導航，限制是依內容而定義，在內容產生級有額外的優點，即潛在地增加主觀的(如藝術的)限制在3D幾何客觀限制。
根據本發明，高階語法元素的配置明白說明觀看位置及方向的子集，其有關於3D場景50的已知容積視訊內容表示，信號資訊包括以下元件：3D空間中的曲線路徑51(或一組曲線路徑)，一基本限制盒容積52，一組觀看方向範圍53，其沿著曲線路徑的位置而標示。
這些元素的合併說明沿著路徑的虛擬位移，該路徑適於，較佳的及/或允許良好品質的3D場景重建，在沿著路徑的各位置，限制盒中的小移動是可能的且觀看方向限制在已知的角度範圍，這可以敍述為4DoF+虛擬導航隧道。
根據第一實施例，該組曲線導航路徑是由多組3D點定義，具有以下的語法及語意：
Figure 109124496-A0202-12-0009-1
Figure 109124496-A0202-12-0010-2
num_paths指定曲線導航路徑的數目，其已定義成導航該內容，Value 0是指可以導航的整個3D空間，num_points指定沿著曲線導航路徑的樣本3D點數，X[n][i],Y[n][i],Z[n][i]是固定點值(例如16.16值)定義在3D場景的全球座標系統中沿著第n個路徑的第i個樣本的3D座標，點是根據沿著路徑的曲線的橫座標而排列，因此將第n個路徑定義在2個3D端點(X[n][0],Y[n][0],Z[n][0])與(X[n][num_points[n]-1],Y[n][num_points[n]-1],Z[n][num_points[n]-1])之間，例如曲線路徑是表中2個連續點之間的垂直路徑的一小段路徑，以及從表的最後一點到第一點，在一變體，曲線路徑可用二次或立體貝茲(Bezier)曲線，其使用3或4個連續點來定義phi_min[n][i],phi_max[n][i]及theta_min[n][i],theta_max[n][i]方位角及高度的極小及極大值，其限制沿著第n個路徑的第i個點的觀看方向在216角度單位，方位角值是例如在-180 * 216至180 * 216-1的範圍，高度值是例如在-90 * 216至90 * 216的範圍，方位角及高度值可以用不同的測量單位(例如弧度)表示，shape_type指定觀看限制盒的形狀，在該觀看限制盒中允許用戶沿著導航路徑在已知位置稍微移動，shape_type等於0表示球形，球的半徑由first_dimension決定，語法允許定義更複雜的橢面或立體3D容積形狀。
根據另一實施例得到輕型觀看空間54規格，得到方式是從取得相機的參數，其有關於容積內容，推斷出導航路徑51，取樣導航路徑的3D點是取得相機的3D位置，在各取樣位置的觀看方向(中央方位角及高度角)是在該位置的取得相機觀看方向，作為取得外在相機，參數已是與容積視訊內容有關的元資料的一部分，傳送額外的元資料以指明觀看空間減少至在各取樣位置的觀看盒的形狀及大小，以及在觀看方向四周的方位角及高度角範圍，語法及有關語意的範例如以下所示：
Figure 109124496-A0202-12-0011-14
num_cams[n]是用以取樣第n個導航路徑的取得相機的子集大小，cam_idx[n][i]是沿著第n個導航路徑的第i個相機的指數(在所有的取得相機表中)，phi_range[n][i]及theta_range[n][i]是沿著第n個導航路徑的第i個位置的方位角及高度角偏移，在第cam_idx[n][i]個取得相機四周的方位角及高度角。
這種觀看空間規格尤其適用於容積內容，其被位於沿著圓弧的相機所捕獲，圖5B繪示觀看空間54的範例，該觀看空間54有關於用這種機具捕獲的3D內容，該機具是指10個相機排成5對匯聚相機55以捕獲該3D場景；在每一相機位置取樣5個球體而定義管狀觀看空間54。
圖6繪示圓形路徑的特例，其繞著3D場景導航而有趣物件在中央位置，在此例允許用戶以水平面中的圓形路徑61繞著3D場景50走，該水平面在全球座標系統中的已知高度值且具有內視場63，限制盒52中允許的位移如同第一實施例，語法及語意的範例如以下所示：
Figure 109124496-A0202-12-0011-4
center_x,center_y,center_z是固定點值(如16.16值)其定義圓形路徑中央的3D座標，半徑是固定點值其定義圓形路徑的半徑，phi_range是角範圍其限制圓形路徑上任何點的方位觀看方向(相對於徑向)，單位是216度，delta_phi值應該在0至360 * 216-1的範圍，theta_min，theta_max是圓形路徑上任何點的觀看高度角的極小及極大值，單位是216度，高度值應該在-90 * 216至90 * 216的範圍。
通常曲線導航路徑是由以下定義：參數3D曲線：X=f(s),Y=g(s),Z=h(S),s是純量值，根據本發明有多個適合的這種函數的參數，此一般方案尤其適用於典型的4DoF+其經驗到產生類似運動或演唱會事件的容積視訊，這種4DoF+視訊，適於，較佳的及/或允許路徑具有簡單的形狀其可參數化使用少數的參數，例如體育場觀眾座位中的橢圓形或階梯四周的矩形或體育場的場地。
圖7以圖形繪示方法70其傳送信號用於容積視訊中導航限制的資訊表示，在步驟71，取得容積視訊資料，同時取得曲線路徑的資料表示及曲線路徑的一些點的觀看方向範圍，與觀看限制盒有關聯的曲線路徑是3D空間中導航限制的表示，包括容積視訊的3D場景，根據本發明的實施例，可以用圖5，6所述的不同資料結構來表示這些資料，在步驟72，容積視訊資料編碼在資料流，其有關於元資料包括在步驟71得到的導航限制，在步驟73，在步驟72的資料流編碼儲存在非暫態媒體中或傳送到主要裝置。
根據一實施例，提議的限制導航路徑信息編碼在專用SEI(輔助增強資訊)信息中的視訊流，根據另一實施例，提議的限制導航路徑信息編碼在容器級其使用ISO式媒體檔案格式，加入這種導航路徑在容積視訊流的元資料中，允許在生產側限制虛擬導航在與編碼3D場景內容一致的觀看位置及方向，因而保證沈浸式經驗的品質。
圖8以圖形繪示方法80其解碼容積視訊中導航限制的資訊表示，在步驟81，資料流包括從一來源取得的容積視訊的視訊資料，資料流也包括元資料其有關於容積視訊及3D空間中導航限制的表示，包括容積視訊的3D場景，在步驟82，將視訊資料及元資料解碼，元資料包括 觀看限制盒的資料表示，容積視訊的3D空間中一曲線路徑的資料表示，及與曲線路徑上一點有關聯的至少一觀看方向範圍的資料表示，根據本發明的實施例，可以用圖5，6所述的不同資料結構來表示這些資料，在步驟83，使用解碼的元資料以擷取3D場景的3D空間中導航限制的資訊表示，及產生者使用此資訊，例如當他試著離開隧道，產生者即警告用戶，其中保證產生良好的品質，產生者也避免虛擬相機移到所述容積外，或是當用戶移到適合路徑外時，修正該產生(例如將影像退色)。
在本文所述實施方式例如可實現在方法或過程，裝置，電腦程式產品，資料流或信號中，即使僅在單一形式的實現的上下文中討論(例如，僅討論作為方法或裝置)，所討論特徵的實現亦可實現在其他形式(例如程式)中。例如可將裝置實現在適當的硬體、軟體及韌體中。例如可將該等方法實現在裝置例如處理器中，處理器通常指處理設備，例如包括電腦、微處理器，積體電路，或可程式化邏輯裝置。處理器亦包括通訊裝置，例如智慧型手機，平板電腦，電腦，手機，可攜式/個人數位助理器(PDA)，及其他有助於終端用戶之間資訊通訊的裝置。
本文提及的各種處理及特徵可實現在各種不同的設備或應用，尤其是例如設備或應用其與資料編碼，資料解碼，景產生，質地處理及影像處理及相關質地資訊及/或深度資訊有關聯，這種設備的範例包括編碼器，解碼器，後處理器處理來自解碼器的輸出，前處理器提供輸入至編碼器，視訊編碼器，視訊解碼器，視訊編碼解碼器，網路伺服器，機上盒，膝上型電腦，個人電腦，手機，PDA及其它通訊裝置，應該明白的是該設備可以是行動的甚至裝在車輛中。
此外該等方法藉由處理器執行指令而實現，及這種指令(及/或一實現產生的資料值)可儲存在處理器可讀取媒體，例如積體電路，軟體載具或其它儲存裝置，例如硬碟，光碟(CD)，光碟(例如DVD，也時常稱為數位多功能光碟或數位視訊光碟)，隨機存取記憶體(RAM)，或唯讀記憶體(ROM)。
指令形成一種應用程式明白地木現在處理器可讀取媒體，指令例如在硬體，軟體，韌體或其組合，可以在例如作業系統，分開的應用或其組合中找到指令，處理器的特徵因此為例如，一裝置調配成執 行處理及一裝置其包括處理器可讀取媒體(如儲存裝置)，其具有指令用以執行處理，處理器可讀取媒體儲，額外地或取代指令，及實現產生的資料值。
熟諳此藝者將了解，實現產生各種格式化的信號以攜帶資訊，例如儲存或傳送，資訊包括例如執行方法的指令，或上述實現之一產生的資料，例如將信號格式化以便依照所述實施例的語法讀寫規則，當成資料攜帶，或依照所述實施例的實際寫入語法值，當成資料攜帶，這種信號格式化，例如成為電磁波(例如使用頻譜的射頻部分)或成為基帶信號，格式化包括，例如編碼資料流且用編碼資料流調變載波，信號攜帶的資訊是，例如類比或數位資訊，通常以各種不同的有線或無線鏈傳送信號，信號儲存在處理器可讀取的媒體中。
已敍述數個實現，然而將了解的是可以作出各種改良，例如將不同實現的元件合併，補充，修正或移除產生其它實現，此外熟諳此藝者將了解其它結構及處理可替代上述揭露的，及最後的實現將執行至少實質上相同的功能及以至少實質上相同的方式，達成至少實質上與所述的實現相同的結果，因此這些及其它實現都在本發明涵蓋的範圍內。
50:3D場景
51:曲線路徑
52:基本限制盒容積
53:一組觀看方向範圍

Claims (28)

  1. 一種方法，用以在一容積視訊中傳送導航限制之資訊表示信號，該方法包括在一資料流中編碼元資料，該資料流包括該容積視訊之視訊資料表示，該元資料包括：
    一觀看限制盒之資料表示；
    該容積視訊之3D空間中一曲線路徑之資料表示；及
    與該曲線路徑上一點有關之至少一觀看方向範圍之資料表示。
  2. 如申請專利範圍第1項之方法，其中一曲線路徑之該資料表示包括一3D點表，及其中該表之一點與至少一觀看方向範圍有關。
  3. 如申請專利範圍第1項之方法，其中一曲線路徑之該資料表示包括參數式3D曲線之參數表示，及其中至少一觀看方向範圍之資料表示與曲線路徑之原點有關。
  4. 如申請專利範圍第1至3項中任一項之方法，其中該元資料包括該容積視訊之3D空間中至少二曲線路徑之資料表示。
  5. 如申請專利範圍第1項之方法，其中一曲線路徑之該資料表示包括一相機參數參考表，其與至少一觀看方向範圍有關。
  6. 一種裝置，用以在一容積視訊中傳送導航限制之資訊表示信號，該裝置包括在一處理器，其調配成編碼元資料在一資料流中，該資料流包括該容積視訊之視訊資料表示，該元資料包括：
    一觀看限制盒之資料表示；
    該容積視訊之3D空間中一曲線路徑之資料表示；及
    與該曲線路徑上一點有關之至少一觀看方向範圍之資料表示。
  7. 如申請專利範圍第6項之裝置，其中一曲線路徑之該資料表示包括一3D點表，及其中該表之一點與至少一觀看方向範圍有關。
  8. 如申請專利範圍第6項之裝置，其中一曲線路徑之該資料表示包括參數式3D曲線之參數表示，及其中至少一觀看方向範圍之資料表示與曲線路徑之原點有關。
  9. 如申請專利範圍第6至8項中任一項之裝置，其中該元資料包括該容積視訊之3D空間中至少二曲線路徑之資料表示。
  10. 如申請專利範圍第6項之裝置，其中一曲線路徑之該資料表示包括一相機參數參考表，其與至少一觀看方向範圍有關。
  11. 一種方法，用以在一容積視訊中解碼導航限制之資訊表示，該方法包括解碼來自一資料流之元資料，該資料流包括該容積視訊之視訊資料表示，該元資料包括：
    一觀看限制盒之資料表示；
    該容積視訊之3D空間中一曲線路徑之資料表示；及
    與該曲線路徑上一點有關之至少一觀看方向範圍之資料表示。
  12. 如申請專利範圍第11項之方法，其中一曲線路徑之該資料表示包括一3D點表，及其中該表之一點與至少一觀看方向範圍有關。
  13. 如申請專利範圍第11項之方法，其中一曲線路徑之該資料表示包括參數式3D曲線之參數表示，及其中至少一觀看方向範圍之資料表示與曲線路徑之原點有關。
  14. 如申請專利範圍第11至13項中任一項之方法，其中該元資料包括該容積視訊之3D空間中至少二曲線路徑之資料表示。
  15. 如申請專利範圍第11項之方法，其中一曲線路徑之該資料表示包括一相機參數參考表，其與至少一觀看方向範圍有關。
  16. 一種裝置，用以在一容積視訊中解碼導航限制之資訊表示，該裝置包括一處理器，其調配成解碼來自一資料流之元資料，該資料流包括該容積視訊之視訊資料表示，該元資料包括：
    一觀看限制盒之資料表示；
    該容積視訊之3D空間中一曲線路徑之資料表示；及
    與該曲線路徑上一點有關之至少一觀看方向範圍之資料表示。
  17. 如申請專利範圍第16項之裝置，其中一曲線路徑之該資料表示包括一3D點表，及其中該表之一點與至少一觀看方向範圍有關。
  18. 如申請專利範圍第16項之裝置，其中一曲線路徑之該資料表示包括參數式3D曲線之參數表示，及其中至少一觀看方向範圍之資料表示與曲線路徑之原點有關。
  19. 如申請專利範圍第16至18項中任一項之裝置，其中該元資料包括該容積視訊之3D空間中至少二曲線路徑之資料表示。
  20. 如申請專利範圍第16項之裝置，其中一曲線路徑之該資料表示包括一相機參數參考表，其與至少一觀看方向範圍有關。
  21. 一種資料流，包括一容積視訊之視訊資料表示及該容積視訊中導航限制之元資料表示，該資料流包括包括：
    一觀看限制盒之資料表示；
    該容積視訊之3D空間中一曲線路徑之資料表示；及
    與該曲線路徑上一點有關之至少一觀看方向範圍之資料表示。
  22. 如申請專利範圍第21項之資料流，其中一曲線路徑之該資料表示包括一3D點表，及其中該表之一點與至少一觀看方向範圍有關。
  23. 如申請專利範圍第21項之資料流，其中一曲線路徑之該資料表示包括參數式3D曲線之參數表示，及其中至少一觀看方向範圍之資料表示與曲線路徑之原點有關。
  24. 如申請專利範圍第21至23項中任一項之資料流，其中該元資料包括該容積視訊之3D空間中至少二曲線路徑之資料表示。
  25. 如申請專利範圍第21項之資料流，其中一曲線路徑之該資料表示包括一相機參數參考表，其與至少一觀看方向範圍有關。
  26. 一種非暫態電腦可讀取儲存媒體，其包含資料內容，該資料內容係根據申請專利範圍第1至5項中任一項之方法而產生，或根據申請專利範圍第6至10項中任一項之裝置而產生，使用一處理器來播放該資料內容。
  27. 一種電腦程式產品，包括指令，當一電腦執行程式時，該指令致給電腦執行如申請專利範圍第1至5項中任一項之方法。
  28. 一種電腦程式產品，包括指令，當一電腦執行程式時，該指令致給電腦執行如申請專利範圍第11至15項中任一項之方法。
TW109124496A 2019-07-22 2020-07-21 傳送容積視訊內容之方法及裝置 TW202106000A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP19305968 2019-07-22
EP19305968.0 2019-07-22
EP19306721 2019-12-20
EP19306721.2 2019-12-20

Publications (1)

Publication Number Publication Date
TW202106000A true TW202106000A (zh) 2021-02-01

Family

ID=71899975

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124496A TW202106000A (zh) 2019-07-22 2020-07-21 傳送容積視訊內容之方法及裝置

Country Status (9)

Country Link
US (1) US20220256134A1 (zh)
EP (1) EP4005202B1 (zh)
JP (1) JP2022541908A (zh)
KR (1) KR20220035229A (zh)
CN (1) CN114342366A (zh)
FI (1) FI4005202T3 (zh)
IL (1) IL289942A (zh)
TW (1) TW202106000A (zh)
WO (1) WO2021015982A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200404241A1 (en) * 2019-06-20 2020-12-24 At&T Intellectual Property I, L.P. Processing system for streaming volumetric video to a client device
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556206B1 (en) * 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
EP2643822B1 (en) * 2010-11-24 2017-03-22 Google, Inc. Guided navigation through geo-located panoramas
US9189884B2 (en) * 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
JP6266761B2 (ja) * 2013-05-10 2018-01-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． マルチビューレンダリング装置とともに使用するためのビデオデータ信号の符号化方法
RU2728766C2 (ru) * 2015-11-09 2020-07-31 Томсон Лайсенсинг Способ и устройство для адаптации видеоконтента, декодированного из элементарных потоков, под характеристики устройства отображения
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US10841557B2 (en) * 2016-05-12 2020-11-17 Samsung Electronics Co., Ltd. Content navigation
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
WO2018069466A1 (en) * 2016-10-12 2018-04-19 Koninklijke Kpn N.V. Processing spherical video data on the basis of a region of interest
EP3329976A1 (en) * 2016-11-30 2018-06-06 Thomson Licensing 3d immersive method and device for a user in a virtual 3d scene
US10742999B2 (en) * 2017-01-06 2020-08-11 Mediatek Inc. Methods and apparatus for signaling viewports and regions of interest
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
US10313651B2 (en) * 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11051040B2 (en) * 2017-07-13 2021-06-29 Mediatek Singapore Pte. Ltd. Method and apparatus for presenting VR media beyond omnidirectional media
EP3457688A1 (en) * 2017-09-15 2019-03-20 Thomson Licensing Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream
US10559126B2 (en) * 2017-10-13 2020-02-11 Samsung Electronics Co., Ltd. 6DoF media consumption architecture using 2D video decoder
EP3489900A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
EP3725070A1 (en) * 2017-12-15 2020-10-21 PCMS Holdings, Inc. A method for using viewing paths in navigation of 360° videos
GB2570708A (en) * 2018-02-05 2019-08-07 Nokia Technologies Oy Switching between multidirectional and limited viewport video content
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
US11245926B2 (en) * 2019-03-19 2022-02-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for track derivation for immersive media data tracks
EP4002277A4 (en) * 2019-08-14 2023-02-22 LG Electronics Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD
US11729243B2 (en) * 2019-09-20 2023-08-15 Intel Corporation Dash-based streaming of point cloud content based on recommended viewports

Also Published As

Publication number Publication date
IL289942A (en) 2022-03-01
FI4005202T3 (fi) 2023-12-28
WO2021015982A1 (en) 2021-01-28
CN114342366A (zh) 2022-04-12
KR20220035229A (ko) 2022-03-21
US20220256134A1 (en) 2022-08-11
EP4005202B1 (en) 2023-11-15
JP2022541908A (ja) 2022-09-28
EP4005202A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
CN111034201B (zh) 编码和解码体积视频的方法、设备和流
US20200374559A1 (en) A method and apparatus for encoding a point cloud representing three-dimensional objects
KR102371099B1 (ko) 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US11178383B2 (en) Method, apparatus and stream for volumetric video format
EP3562159A1 (en) Method, apparatus and stream for volumetric video format
KR20220069086A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
US11968349B2 (en) Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content
TW202106000A (zh) 傳送容積視訊內容之方法及裝置
US12081719B2 (en) Method and apparatus for coding and decoding volumetric video with view-driven specularity
TW202126036A (zh) 具有輔助修補之容積視訊
EP3821596A1 (en) Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
US20220368879A1 (en) A method and apparatus for encoding, transmitting and decoding volumetric video
WO2020185529A1 (en) A method and apparatus for encoding and decoding volumetric video
US20230032599A1 (en) Methods and apparatuses for encoding, decoding and rendering 6dof content from 3dof+ composed elements
WO2021259686A1 (en) A method and apparatus for encoding and decoding volumetric content in and from a data stream