TWI655608B - 標示關注區域之方法與裝置 - Google Patents

標示關注區域之方法與裝置 Download PDF

Info

Publication number
TWI655608B
TWI655608B TW106117141A TW106117141A TWI655608B TW I655608 B TWI655608 B TW I655608B TW 106117141 A TW106117141 A TW 106117141A TW 106117141 A TW106117141 A TW 106117141A TW I655608 B TWI655608 B TW I655608B
Authority
TW
Taiwan
Prior art keywords
time
information
interest
region
oriented
Prior art date
Application number
TW106117141A
Other languages
English (en)
Other versions
TW201805896A (zh
Inventor
柏霖 賴
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201805896A publication Critical patent/TW201805896A/zh
Application granted granted Critical
Publication of TWI655608B publication Critical patent/TWI655608B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明之一方面提供一種裝置，包含：一介面電路，一處理電路與一顯示設備。該介面電路用於接收具有帶時間的指導性信息之媒體資料，該帶時間的指導性信息指示一時間之一關注區域。該處理電路，用於抽取該帶時間的指導性信息，並基於該媒體資料與該帶時間的指導性信息產生該關注區域之一個或多個影像。該顯示設備，用於在該時間顯示該一個或多個影像。

Description

標示關注區域之方法與裝置 【關注申請】
本發明要求2016年5月26日申請的名為"Methods and Apparatus of DASH features for Spatial(VR,360)and Temporal relationships"的美國臨時申請62/341,655之優先權，以及2016年8月10日申請的名為"Methods and Apparatus of Indications of VR and 360 video Content in File Formats"的美國臨時申請62/372,824之優先權，以及2016年9月2日申請的名為"Methods and Apparatus of Indications of VR in File Formats"的美國臨時申請62/382,805之優先權，以及2016年9月7日申請的名為"Methods and Apparatus of VR Region of Interests(ROI)Indications in File Formats and on Rendering Devices"的美國臨時申請62/384,209之優先權，以及2016年11月29日申請的名為"Methods and Apparatus of Indication VR Region"的美國臨時申請62/427,196之優先權，該等申請整體引入為本申請之參考。
此處所提供的背景描述是為了大體展現本發明之內容。本發明的發明人之工作，在此背景技術部分所描述的以及說明書的某些方面可能不構成申請時的先前技術，也並非是明確或暗示承認為本發明之先前技術。
三維環境可渲染以提供特別之用戶體驗。例如，於一虛擬現實應用中，電腦技術創建複製真實環境之現實影像，聲音以及其他感覺或創建虛擬設置，所以用戶能感受到實體三維環境中的模擬體驗。
有鑑於此，本申請特提供一種新型之影像處理裝置與影像渲染方法。
本發明之一方面提供一種裝置，包含：一介面電路，一處理電路與一顯示設備。該介面電路用於接收具有帶時間的指導性信息之媒體資料，該帶時間的指導性信息指示一時間之一關注區域。該處理電路，用於抽取該帶時間的指導性信息，並基於該媒體資料與該帶時間的指導性信息產生該關注區域之一個或多個影像。該顯示設備，用於在該時間顯示該一個或多個影像。
根據本發明之一方面，其中該帶時間的指導性信息指示下列其中至少之一：該關注區域於一矩形平面上之一投射；一球面之一表面上之一區域；一照相機識別；一軌道識別；以及柏拉圖式固體之一面識別。
於一實施例中，該帶時間的指導性信息包含一視點以指示該關注區域。而且，該帶時間的指導性信息指示該視點之一水平覆蓋範圍與一垂直覆蓋範圍。於一例子中，該帶時間的指導性信息指示由大圈構成之邊界。於另一例子中，該帶時間的指導性信息指示由偏航圈與間距圈構成之邊界。
本發明之一方面提供一種影像渲染方法。該方法 包含：接收具有帶時間的指導性信息之媒體資料，該帶時間的指導性信息指示一時間之一關注區域，從該媒體資料抽取該帶時間的指導性信息，基於該媒體資料與該帶時間的指導性信息產生該關注區域之一個或多個影像以及於該時間顯示該一個或多個影像。
本發明之一些方面提供一種裝置包含一記憶體與一處理電路。該記憶體用於緩衝獲取之媒體資料。該處理電路，用於決定一時間之一關注區域，並封裝帶時間的指導性信息與該媒體資料，該帶時間的指導性信息指示在該時間之該關注區域。
本發明之一些方面提供一種影像渲染方法。該方法包含接收獲取之媒體資料，決定一時間之關注區域，以及封裝帶時間的指導性信息與該媒體資料，該帶時間的指導性信息指示在該時間之該關注區域。
本發明所提供之影像處理裝置與影像渲染方法能夠更好地產生三維環境渲染，可提升用戶體驗。
100‧‧‧媒體系統
110‧‧‧來源子系統
112‧‧‧獲取設備
120‧‧‧處理電路
115‧‧‧記憶體
111‧‧‧介面電路
150‧‧‧分發子系統
160‧‧‧渲染子系統
161‧‧‧介面電路
170‧‧‧處理電路
165‧‧‧顯示設備
180‧‧‧解析模組
190‧‧‧影像產生模組
200‧‧‧繪圖
210，240‧‧‧球面表面
211‧‧‧球面
205‧‧‧區域
220，251，252‧‧‧偏航圈
220，261，262‧‧‧間距圈
270‧‧‧矩形平面
281-282‧‧‧垂直線
291-292‧‧‧水平線
310‧‧‧球面表面
315‧‧‧視點
S401-S499，S501-S599，S701-S799‧‧‧步驟
本發明之不同實施例之描述可一併參考後面之圖示，其中同樣的標號代表同樣元件，其中：第1圖顯示根據本發明實施例之媒體系統100之方塊圖；第2圖顯示根據本發明一實施例之關注區域之繪圖200；第3圖顯示根據本發明一實施例之關注區域之繪圖300；第4圖顯示根據本發明一實施例之流程示例400之流程 圖；第5圖顯示根據本發明一實施例之流程500之流程圖；以及第6圖顯示根據本發明一實施例之元資料之部分之600之示意圖。
第7圖顯示根據本發明之一實施例之流程例子700之流程圖。
第1圖顯示根據本發明實施例之媒體系統100之方塊圖。媒體系統100包含相互耦接之來源子系統(source sub-system)110，分發子系統(delivery sub-system)150以及渲染子系統(rendering sub-system)160。來源子系統110用於獲取三維環境之媒體資料並恰當地封裝(encapsulate)該媒體資料。分發子系統150用於將封裝之媒體資料從來源子系統110分發至渲染子系統160。渲染子系統160用於根據媒體資料渲染模擬之三維環境。根據本發明之一方面，來源子系統110對帶時間的指導性信息(timed directorial information)進行封裝，方向信息指示在時間標記(time marks)處的關注區域，所以渲染子系統160根據媒體資料與帶時間的指導性信息呈現在時間標記處的關注區域(regions of interests)之影像。
來源子系統110可使用任何合適之技術實施。於一實施例中，來源子系統110之組件組合於設備封裝內。於一例子中，來源子系統110為一分散式系統(distributed system)，來源子系統110之組件可被安排於不同位置，且可互相恰當地 經由例如有線連接及/或無線連接而連接。
於第1圖之例子中，來源子系統100包含互相耦接之獲取設備(acquisition device)112，處理電路120，記憶體115以及介面電路111。
獲取設備112用於獲取各種媒體資料，例如影像，聲音，等等三維環境資料。獲取設備112可具有恰當設置。於一例子中，獲取設備112包含具有多個照相機之照相機架(camera rig，圖未示)，例如具有兩個魚眼照相機(fisheye camera)之影像系統，具有四個照相機之四面影像系統(tetrahedral imaging system)，具有六個照相機之立方體影像系統(cubic imaging system)，具有八個照相機之八面體影像系統(octahedral imaging system)，具有二十個照相機之二十面體影像系統(icosahedral imaging system)，等等，用於在環繞空間中不同方向照像。
於一實施例中，照相機所拍攝之影像為重疊的，且可拼接為比單個照相機提供更大範圍的環繞空間之影像。於一例子中，照相機所拍攝之影像可提供整個環繞空間的360°球面覆蓋。需要注意的是，照相機所拍攝之影像可提供小於環繞空間的360°球面覆蓋。
由獲取設備112獲取之媒體資料可恰當存儲或緩衝，例如於記憶體115中。處理電路120可存取記憶體115，處理媒體資料，並將該媒體資料封裝進恰當格式。封裝之媒體資料然後恰當地儲存或緩衝於，例如記憶體115中。
於一實施例中，處理電路120包含用於處理聲音 資料之聲音處理路徑，以及用於處理影像/視訊資料之影像/視訊處理路徑。處理電路120然後根據一恰當之格式將聲音，影像及視訊資料與元資料(metadata)封裝。
於一例子中，於影像/視訊處理路徑上，處理電路120能將不同照像機拍攝的影像拼接起來形成一拼接影像，例如全向影像(omnidirectional image)，等等。然後，處理電路120能根據二維(2D)平面投射全向影像來轉換全向影像為2D影像，2D影像可用2D技術編碼。然後處理電路120可恰當編碼影像及/或影像流。
需要注意的是，處理電路120可根據恰當投射技術投射該全向影像。於一例子中，處理電路120能使用等距長方投影(equirectangular projection，ERP)來投射全向影像。ERP投射是投射一個球表面，例如全向影像到一個矩形平面，例如2D影像，類似於將地球表面投射為地圖。於一例子中，球表面(例如地球表面)是用偏航(yaw，例如經度)與間距(pitch，例如緯度)之球面坐標系統，而矩形平面使用XY坐標系統。在投射時，偏航圈(yaw circles)轉換為垂直線而間距圈(pitch circles)轉換為水平線，偏航圈與間距圈在球面坐標系統內是正交的，而垂直線與水平線在XY坐標系統內是正交的。
於另一例子中，處理電路120可投射全向影像到柏拉圖式固體(platonic solid)表面上，例如四面體，立方體，八面體，二十面體等等。投射之表面可分別重新布置，例如旋轉，重新定位來形成2D影像。該2D影像然後被編碼。
需要注意的是，於一實施例中，處理電路120可 編碼從不同照相機來的影像，且不對影像執行拼接操作及/或投射操作。
需要注意的是，處理電路120能使用恰當格式封裝媒體資料。於一例子中，媒體資料被封裝進單個軌道(single track)內。例如，ERP投射將一個球面投射到矩形平面上，而單個軌道能包含矩形平面的矩形影像流。
於另一例子中，媒體資料被封裝進多個軌道。於一例子中，ERP投射投射一球表面到一矩形平面，且矩形平面被劃分為多個分區。軌道能包含一個或多個分區的影像流。於另一例子中，軌道能包含一個或多個照相機之多個影像流。於另一例子中，軌道能包含一個或多個柏拉圖式固體之投射面上的影像流。
根據本發明之一方面，處理電路120用於對指示時間標記處的關注區域的帶時間的指導性信息(timed directorial information)進行封裝。於一例子中，處理電路120包含文件/區段(file/segment)封裝模組130用於將帶時間的指導性關注區域信息封裝進文件/區段。帶時間的指導性信息可用於指揮渲染子系統，例如渲染子系統160，來根據媒體資料與帶時間的指導性信息對時間標記處區域的影像進行渲染。
於一實施例中，處理電路120用於以元資料提供帶時間的指導性信息，且封裝元資料與媒體資料。具體地，於一例子中，處理電路120用於提供元資料內關注的初始區域(initial region of interests)，且封裝元資料與媒體資料。所以，當渲染子系統160開始渲染影像時，渲染子系統160根據元資 料從關注初始區域的影像開始。
於另一例子中，處理電路120用於提供元資料內不同時間的關注區域。在此例子中，渲染子系統160包含顯示設備，例如電視，智慧手機等等。根據不同時間的關注區域，顯示設備能對應不同時間的關注區域而改變顯示的影像。
帶時間的指導性信息能使用任何恰當之技術來指示三維環境內的關注區域。於一例子中，帶時間的指導性信息指明視點/視埠(viewpoint/viewport)來指示關注區域。在此例中，視點是關注區域的中心並指示觀看方向，視埠包含視點，以及視場(field of view，FOV)，在一個例子中其為關注區域的尺寸。
於一實施例中，帶時間的指導性信息指明視點而不指明視場，視場(FOV)可根據例如顯示設備的特性來導出。舉例來說，渲染子系統160包含頭戴設備(head-mounted device，HMD)，其具有內定(default)視場。
於另一實施例中，帶時間的指導性信息指明視場而不指明視點，視點可被導出，例如內定視點，2D影像的中心，等等。
根據本發明之一方面，關注區域可於任何坐標系統下提供。
於一實施例中，關注區域可用球面坐標系統提供。舉例來說，視點提供為球面(地理)坐標系統內的中心點，例如偏航方向的中心與間距方向的中心。於一例子中，視場提供為偏航中的視場(偏航的範圍ROI_fov_hor)以及間距中的視 場(間距的範圍ROI_fov_ver)。於另一例子中，視埠提供為最小偏航值(yaw_min)，最大偏航值(yaw_max)，最小間距值(pitch_min)，最大間距值(pitch_max)。於此例子中，視場由偏航圈與間距圈定義，視場之形狀取決於視點的位置。由偏航圈與間距圈定義之關注區域的例子如第2圖所示。
於另一例子中，視場包含兩個大圈(great circles)之間的偏航內第一角度(ROI_fov_yaw)，以及兩個大圈之間的間距內第二角度(ROI_fov_pitch)。視場由四個大圈所定義。於此例子中，對於同個視場，球面上的視場的形狀是一樣的，並不取決於視點。由大圈所定義之關注領域的一個例子如第3圖所示。
於另一實施例中，關注區域可在2-D平面內提供。舉例來說，視點在XY坐標系統內由(x-坐標，y-坐標)提供。於另一例子中，視點由一個相對位置提供，例如距離2-D平面的左邊界第一百分比(水平長度)的位置，以及例如距離2-D平面的頂邊界第二百分比(垂直高度)的位置。
於一例子中，視場可用2-D平面內提供。於一例子中，視場以在水平方向的第一數目的像素與在垂直方向的第二數目的像素來表示。於另一例子中，視場以在水平方向的範圍的第一百分比與在垂直方向的範圍的第二百分比來表示。
於一實施例中，關注區域可用其他合適信息表示，例如獲取設備112中多個照相機之一的識別(identification)，投射使用之柏拉圖式固體的其中一個面的識別，軌道識別，等等。於一例子中，軌道包含一個旗標(flag)， 用於指示該軌道是否為內定視埠。於另一例子中，視埠用軌道識別來表示。
於一實施例中，處理電路120用一個或多個處理器實施，該等處理器用於運行軟體指令來執行媒體資料處理。於另一實施例中，處理電路120用積體電路實施。
於第1圖之例子中，封裝之媒體資料透過介面電路111提供給分發子系統150。分發子系統150用於恰當地提供媒體資料給客戶設備，例如渲染子系統160。於一實施例中，分發子系統150包含服務器，記憶體設備，網路設備，等等。分發子系統150的組件透過有線及/或無線連接互相耦接。分發子系統150透過有線及/或無線連接恰當地與來源子系統110及渲染子系統160耦接。
渲染子系統160可使用任何合適之技術實施。於一例子中，渲染子系統160之組件可組裝於一設備封裝內。於另一例子中，渲染子系統160是分散式系統，來源子系統110之組件可處於不同位置，且可透過有線及/或無線連接恰當地互相耦接。
於第1圖之例子中，渲染子系統160包含互相耦接之介面電路161，處理電路170以及顯示設備165。介面電路161用於透過任何適合之通信協議接收與封裝之媒體資料對應之資料流。
處理電路170用於處理媒體資料並產生展示給一個或多個用戶之顯示設備165之影像。顯示設備165可為任何顯示器，例如電視，智慧手機，可穿戴顯示，頭戴式顯示等等。
根據本發明之一方面，處理電路170用於從封裝之媒體資料抽取帶時間的指導性信息。帶時間的指導性信息在一個例子中指示模擬環境內具有時間的一關注區域。然後，處理電路170用於基於媒體資料與帶時間的指導性信息產生該時間之區域的一個或多個影像。於一實施例中，處理電路170用於透過介面電路161從分發子系統150請求恰當之媒體資料，例如特定軌道，矩形平面的一個分區之媒體資料，來自特定照相機之媒體資料，等等。
於一實施例中，處理電路170用於從元資料抽取帶時間的指導性信息。於一例子中，處理電路170用於對該媒體資料解封裝(de-capsulate)，解析(parse)元資料，並從元資料抽取帶時間的指導性信息。處理電路170也用於解碼媒體資料。基於解碼之媒體資料與元資料，處理電路170產生影像給一個或多個用戶。
於一例子中，處理電路170用於解析元資料來抽取指示關注初始區域(initial region of interests)之帶時間的指導性信息。然後，處理電路170產生關注初始區域之影像，並提供該等影像給顯示設備165以展現該等影像給一個或多個用戶開始觀看。
於另一例子中，處理電路170用於解析元資料來抽取指示不同時間之關注區域之帶時間的指導性信息。處理電路170然後產生不同時間之關注區域之影像，並提供該等不同時間之影像給顯示設備165以展現該等影像給一個或多個用戶開始觀看。
於另一例子中，帶時間的指導性信息指明時變(time-varying)之視埠，例如一個電影推薦之指示器(director)視埠。處理電路170可抽取時變之視埠，然後產生對應時變之視埠的影像。於此例子中，顯示設備165可根據帶時間的指導性信息播放推薦之指示器視埠的電影。
於一例子中，處理電路170包含解析模組180與影像產生模組190。解析模組180用於解析元資料來抽取指示關注區域之帶時間的指導性信息。影像產生模組190用於產生關注區域之影像。解析模組180與影像產生模組190可實施為運行軟體指令之處理器並可實施於積體電路中。
於一實施例中，帶時間的指導性信息指明一視點，例如偏航與間距的中心點，而不指明視場。處理電路170可例如根據顯示設備165之特性決定該視場。然後，處理電路170根據視點與決定之視場產生影像。
於一實施例中，關注區域以用來獲取影像之多個照像機其中之一的識別來表示。然後，舉例來說，處理電路170抽取該照像機之識別，請求並解碼該照像機拍攝之影像。於另一實施例中，關注區域以投射中使用之柏拉圖式固體之一個面之識別來表示。然後，處理電路170抽取該面之識別，請求並解碼投射到該柏拉圖式固體之面之影像。於另一實施例中，關注區域以複數個軌道中的一個軌道之識別來表示。然後，處理電路170抽取軌道之識別，請求該媒體資料之該軌道並解碼該軌道之媒體資料。
於一實施例中，處理電路170使用一個或多個處 理器實施，且該一個或多個處理器用於運行軟體指令來執行媒體資料處理。於另一實施例中，處理電路170用積體電路實施。
第2圖顯示根據本發明一實施例之關注區域之繪圖200。繪圖200顯示具有球面表面210之球面211。球面表面210(例如地球表面)使用偏航(例如經度方向)與間距(例如緯度方向)之球面坐標系統。於第2圖的例子中，球面表面210上的區域205之邊界由偏航圈220(例如經度線)與間距圈230(例如緯度線)構成。
而且，第2圖顯示從球面表面240到矩形平面270的ERP投射。於此例子中，球面表面240使用偏航與間距的球面坐標系統。於此例子中，球面表面240用偏航圈(例如偏航圈251，偏航圈252)，與間距圈(例如間距圈261，間距圈262)做參考。矩形平面270使用XY坐標系統，並用垂直線與水平線做參考。
ERP投射將球面表面投射到矩形平面，類似於投射地球表面到地圖的方式。於投射中，偏航圈轉換為垂直線以及間距圈轉換為水平線，偏航圈與間距圈在球面坐標系統內是正交的，且垂直線與水平線在XY坐標系統內是正交的。
於第2圖例子中，球面表面240上的關注區域245投射到矩形平面270上的關注區域275。於第2圖例子中，球面表面240上的關注區域245之邊界為偏航圈251-252與間距圈261-262。偏航圈251-252被投射到矩形平面270上成為垂直線281-282，而間距圈261-262投射到矩形平面270上成為水平線291-292。
第3圖顯示根據本發明一實施例之關注區域之繪圖300。於第3圖例子中，球面301包含球面中心(O)與球面表面310。球面表面310的區域由大圈定義。舉例來說，球面表面310上的關注區域340之邊界由大圈定義。
於第3圖例子中，視點315位於球面表面310上。視點315在第一大圈311上，在一個例子中第一大圈是偏航圈。而且，第二大圈317可被決定，且第二大圈317在視點315與第一大圈311正交。
於一例子中，視場由兩個角度表示，例如偏航中的第一角度以及間距中的第二角度。於第3圖例子中，第一大圈311以視點315為中間點，兩個點A與B基於間距旋轉方向中的第二角度決定，其中角度∠ AOB為第二角度。類似地，第二大圈317以視點315為中間點，兩個點C與D基於偏航旋轉方向中的第一角度決定，其中角度∠ COD為第一角度。
而且，基於點C，可確定在點C處正交於第二大圈317之第三大圈321。基於點D，可確定在點D處正交於第二大圈317之第四大圈322。
類似地，基於點A，可確定在點A處正交於第一大圈311之第五大圈323。基於點B，可確定在點B處正交於第一大圈311之第六大圈324。大圈321-324是關注區域340之邊界。
於第3圖例子中，對於同一視場，球面表面上的關注區域的形狀是一樣的，並不取決於視點。
第4圖顯示根據本發明一實施例之示例流程400 之流程圖。於一例子中，流程400由來源子系統執行，例如第1圖例子中的來源子系統110。流程於步驟S401開始並進行到步驟S410。
在步驟S410中，獲取媒體資料。於第1圖的例子中，獲取設備112獲取各種媒體資料，例如三維環境之影像，聲音，等等。於一例子中，獲取設備112包含多個照相機用於在環繞空間內拍攝各方向之影像。於一例子中，照相機所拍攝之影像能提供整個環繞空間之360°球面範圍。需要注意的是，照相機所拍攝之影像能提供小於整個環繞空間之360°球面範圍。獲取設備112獲取之媒體資料可恰當地存儲或緩衝，於例如記憶體115中。
在步驟S420，對媒體資料進行處理。於第1圖的例子中，處理電路120包含一音訊處理路徑用於處理音訊資料，且包含一影像/視訊處理路經用於處理影像/視訊資料。於一例子中，在影像/視訊處理路徑上，處理電路120可將來自不同照相機之影像拼接成一拼接影像，例如全向影像，等等。然後，處理電路120可根據合適的2D平面將拼接影像投射，以轉換全向影像為一個或多個可用2D編碼技術編碼之2D影像。然後，處理電路120可恰當地編碼該影像或影像流。
在步驟S430中，帶時間的指導性關注區域信息與媒體資料封裝進文件/區段中。於第1圖的例子中，處理電路120用於封裝帶時間的指導性信息，該帶時間的指導性信息指示不同時間標記處之環境內的區域。於一例子中，處理電路120用於提供元資料中一初始關注區域，並封裝元資料與媒體資 料。於另一例子中，處理電路120用於提供元資料中的時變視埠。
在步驟S440中，封裝之文件/區段被存儲且分發。於第1圖的例子中，封裝之媒體資料可被存儲於記憶體115內，並透過介面電路111被提供到分發子系統150。分發子系統150可恰當地分發媒體資料給用戶，例如渲染子系統160。然後，流程進行到步驟S499並結束。
第5圖顯示根據本發明一實施例之流程500之流程圖。於一例子中，流程500由渲染子系統運行，例如第1圖例子中的渲染子系統160。於第1圖的例子中，流程開始於步驟S501並進行到步驟S510。
在步驟S510，接收媒體資料與帶時間的指導性關注區域信息。於第1圖的例子中，渲染子系統160中的介面電路161恰當地透過適合之通信協議接收對應封裝之媒體資料。
在步驟S520，從帶時間的指導性關注區域信息決定關注區域。於第1圖的例子中，處理電路170可將媒體資料解封裝，抽取元資料，解析元資料以從元資料抽取帶時間的指導性信息。於一例子中，帶時間的指導性信息指明視點而不指明視場。處理電路170抽取視點並據例如頭戴設備之特性決定該視場。於另一例子中，帶時間的指導性信息指明視點與視場。然後，處理電路170從元資料抽取視點視場。於另一例子中，處理電路170抽取指示關注區域之一面識別，一軌道識別，或一照相機識別。
在步驟S530，產生渲染關注區域視圖的影像。於 第1圖的例子中，處理電路170用於基於媒體資料與帶時間的指導性信息產生關注區域之一個或多個影像。
於一實施例中，處理電路170用於從分發子系統150請求合適之媒體資料，例如媒體資料之特定軌道，矩形平面之部分(section)之媒體資料，來自特定照相機之媒體資料，等等。
在步驟S540，顯示影像。於第1圖的例子中，顯示設備165恰當地展示影像給一個或多個用戶。然後，流程進行到S599並結束。
第6圖顯示根據本發明一實施例之元資料之部分之600之示意圖。元資料之部分600用於指示關注區域。於一例子中，處理電路120封裝元資料之部分600及元資料之其他部分與媒體資料。於另一例子中，處理電路170解析元資料之部分600以抽取關注領域。
於行611，定義參數ROI_viewpoint以指示是否提供了視點。
於行612，當參數ROI_viewpoint為二進制1，關注區域之視點提供於元資料內。
於行613，定義一參數ROI_track以指示是否提供一軌道識別。
於行614，當參數ROI_track為二進制1，關注區域用軌道識別表示。
於行615，定義軌道識別之參數ROI_track_id。
於行616，當參數ROI_track為二進制0，關注區 域以包含一視點的格式表示。
於行617-618，定義視點之偏航之一參數ROI_vp_yaw，並定義視點之間距之一參數ROI_vp_pitch。
於行619，定義一參數ROI_fov以指示是否提供一視場。
於行620，當參數ROI_fov為二進制1，關注區域以視場表示。
於行621-622，定義偏航中兩個大圈之間第一角度之參數ROI_fov_yaw，並定義間距中兩個大圈之間第二角度之參數ROI_fov_pitch。
需要注意的是，部分600可恰當地被調整來使用其他適合之格式來指示關注區域。於一例子中，可定義偏航圈與間距圈之參數ROI_hov及ROI_ver。
第7圖顯示根據本發明之一實施例之流程例子700之流程圖。於一例子中，流程700可用渲染系統實現，例如第1圖例子中的渲染系統160。流程從步驟S701開始進行至步驟S710。
步驟S710中，從元資料接收一第一旗標(例如VIEWPOINT_FLAG)。第一旗標指示是否提供一視點。於一例子中，當第一旗標具有第一值(例如，二進制“1”)時，第一旗標指示視點已提供；且當第一旗標具有第二值(例如，二進制“0”)時，第一旗標指示視點並未提供。
步驟S720中，當第一旗標指示視點已提供(例如，第一旗標等於二進制“1”)時，流程進行到步驟S730；否則， 流程進行到步驟S799並結束。
步驟S730中，關注區域之一視點是從元資料接收。於一例子中，視點是以一偏航值(VIEWPOINT_YAW)與一間距值(VIEWPOINT_PITCH)的形式提供。另外，從元資料接收一第二旗標(例如FOV_FLAG)。第二旗標指示是否提供一視場。於一例子中，當第二旗標具有第一值(例如，二進制“1”)時，第二旗標指示提供了視場；且當第二旗標具有第二值(例如，二進制“0”)時，第二旗標指示視場並未提供。
步驟S740中，當第二旗標指示提供了視場(例如，第二旗標等於二進制“1”)時，流程進行到步驟S750；否則，流程進行到步驟S799並結束。
步驟S750中，從元資料接收視場。視場可以任何適合的形式提供。於一例子中，視場可用偏航值(FOV_YAW)範圍與間距值(FOV_PITCH)範圍的形式提供。流程進行到步驟S799並結束。
需要注意的是，於本發明的一個方面，帶時間的指導性信息指示球面之一表面之一區域。於本發明的另一個方面，帶時間的指導性信息包含一視點與一旗標。例如，當旗標設為第一值時，帶時間的指導性信息包含一水平覆蓋範圍與一垂直覆蓋範圍；且當旗標設為第二值時，帶時間的指導性信息暗含一水平覆蓋範圍與一垂直覆蓋範圍。
當用硬體實施時，硬體可包含一個或多個分離組件，積體電路，專用積體電路(ASIC)，等等。
本發明上面描述以特定實施進行範例說明，但實 施例可被修改，調整，變化。因此，上述實施例僅作為說明而非用來限制本發明。凡依本發明申請專利範圍所做之均等變化與修飾，皆不脫離本發明之精神與範圍。

Claims (13)

  1. 一種影像處理裝置，包含：一介面電路，用於接收具有帶時間的指導性信息之媒體資料，該帶時間的指導性信息指示一時間之一關注區域，其中該帶時間的指導性信息指示由大圈構成之邊界；一處理電路，用於抽取該帶時間的指導性信息，並基於該媒體資料與該帶時間的指導性信息產生該關注區域之一個或多個影像；以及一顯示設備，用於在該時間顯示該一個或多個影像。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該帶時間的指導性信息指示下列其中至少之一：該關注區域於一矩形平面上之一投射；一球面之一表面上之一區域；一照相機識別；一軌道識別；以及一面識別。
  3. 如申請專利範圍第1項所述之影像處理裝置，其中該帶時間的指導性信息包含一視點以指示該關注區域。
  4. 如申請專利範圍第3項所述之影像處理裝置，其中該帶時間的指導性信息指示該視點之一水平覆蓋範圍與一垂直覆蓋範圍。
  5. 一種影像渲染方法，包含：接收具有帶時間的指導性信息之媒體資料，該帶時間的指導性信息指示一時間之一關注區域，其中該帶時間的指導 性信息指示由大圈構成之邊界；從該媒體資料抽取該帶時間的指導性信息；基於該媒體資料與該帶時間的指導性信息產生該關注區域之一個或多個影像；以及於該時間顯示該一個或多個影像。
  6. 如申請專利範圍第5項所述之影像渲染方法，其中接收具有帶時間的指導性信息之媒體資料該步驟包含下列至少一個步驟：接收該帶時間的指導性信息，該帶時間的指導性信息指示該關注區域於一矩形平面上之一投射；接收該帶時間的指導性信息，該帶時間的指導性信息指示一球面之一表面上之一區域；接收該帶時間的指導性信息，該帶時間的指導性信息指示一照相機識別；接收該帶時間的指導性信息，該帶時間的指導性信息指示一軌道識別；以及接收該帶時間的指導性信息，該帶時間的指導性信息指示一面識別。
  7. 如申請專利範圍第5項所述之影像渲染方法，其中接收具有帶時間的指導性信息之媒體資料該步驟更包含：接收該帶時間的指導性信息，該帶時間的指導性信息包含一視點以指示該關注區域。
  8. 如申請專利範圍第7項所述之影像渲染方法，更包含：接收該帶時間的指導性信息，該帶時間的指導性信息指示 該視點之一水平覆蓋範圍與一垂直覆蓋範圍。
  9. 一種影像處理裝置，包含：一記憶體，用於緩衝獲取之媒體資料；以及一處理電路，用於決定一時間之一關注區域，並封裝帶時間的指導性信息與該媒體資料，該帶時間的指導性信息指示在該時間之該關注區域，其中該帶時間的指導性信息指示由大圈構成之邊界。
  10. 如申請專利範圍第9項所述之影像處理裝置，其中該帶時間的指導性信息指示下列其中至少之一：該關注區域於一矩形平面上之一投射；一球面之一表面上之一區域；一照相機識別；一軌道識別；以及一面識別。
  11. 如申請專利範圍第9項所述之影像處理裝置，其中該帶時間的指導性信息包含一視點以指示該關注區域。
  12. 如申請專利範圍第11項所述之影像處理裝置，其中該帶時間的指導性信息指示該視點之一水平覆蓋範圍與一垂直覆蓋範圍。
  13. 一種影像渲染方法，包含：接收獲取之媒體資料；決定一時間之一關注區域；以及封裝帶時間的指導性信息與該媒體資料，該帶時間的指導性信息指示在該時間之該關注區域，其中該帶時間的指導 性信息指示由大圈構成之邊界。
TW106117141A 2016-05-26 2017-05-24 標示關注區域之方法與裝置 TWI655608B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201662341655P 2016-05-26 2016-05-26
US62/341,655 2016-05-26
US201662372824P 2016-08-10 2016-08-10
US62/372,824 2016-08-10
US201662382805P 2016-09-02 2016-09-02
US62/382,805 2016-09-02
US201662384209P 2016-09-07 2016-09-07
US62/384,209 2016-09-07
US201662427196P 2016-11-29 2016-11-29
US62/427,196 2016-11-29
US15/600,256 2017-05-19
US15/600,256 US10360721B2 (en) 2016-05-26 2017-05-19 Method and apparatus for signaling region of interests

Publications (2)

Publication Number Publication Date
TW201805896A TW201805896A (zh) 2018-02-16
TWI655608B true TWI655608B (zh) 2019-04-01

Family

ID=60412137

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117141A TWI655608B (zh) 2016-05-26 2017-05-24 標示關注區域之方法與裝置

Country Status (5)

Country Link
US (1) US10360721B2 (zh)
EP (1) EP3453170B1 (zh)
CN (1) CN109565571B (zh)
TW (1) TWI655608B (zh)
WO (1) WO2017202377A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022077B2 (ja) 2016-05-25 2022-02-17 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間的にタイリングされた全方位ビデオのストリーミング
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
EP3526974B1 (en) * 2016-10-12 2021-06-30 Koninklijke KPN N.V. Processing spherical video data on the basis of a region of interest
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10791373B2 (en) * 2017-12-29 2020-09-29 Intel Corporation Generating 2D video from 360 video
US20200389640A1 (en) * 2018-04-11 2020-12-10 Lg Electronics Inc. Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN114786051B (zh) * 2022-03-31 2023-04-14 北京百度网讯科技有限公司 一种视频渲染方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
TW201445508A (zh) * 2013-04-08 2014-12-01 Lsi Corp 用於影像處理的前端架構
TW201514865A (zh) * 2013-07-24 2015-04-16 西斯維爾科技公司 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195789B1 (en) * 1998-07-10 2001-02-27 Ball Semiconductor, Inc. Method for circuit design on a spherical semiconductor having critical dimensions
US7126603B2 (en) * 2003-05-30 2006-10-24 Lucent Technologies Inc. Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images
US7656403B2 (en) 2005-05-13 2010-02-02 Micoy Corporation Image processing and display
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
US8290285B2 (en) * 2008-06-23 2012-10-16 Mediatek Inc. Method and related apparatuses for decoding multimedia data
CN101853623A (zh) 2009-04-03 2010-10-06 鸿富锦精密工业（深圳）有限公司 影像监控系统及具有该系统的资讯显示系统
KR101613133B1 (ko) 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
CN101561270B (zh) * 2009-05-27 2011-05-04 天津理工大学 嵌入式全向球视觉目标检测和移动监控系统及方法
CN102074165A (zh) 2009-11-20 2011-05-25 鸿富锦精密工业（深圳）有限公司 资讯显示系统及方法
JP5799535B2 (ja) * 2010-03-25 2015-10-28 セイコーエプソン株式会社 空中三次元画像を生成するシステムおよび空中三次元画像を生成する方法
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
CN102509332B (zh) * 2011-10-19 2014-05-07 清华大学 流体模拟渲染方法及装置
GB201302174D0 (en) * 2013-02-07 2013-03-27 Cardiff Metropolitan University Improvements in and relating to image making
US9542585B2 (en) * 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
EP3022934A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Small-screen movie-watching using a viewport
JP6270111B2 (ja) * 2013-10-17 2018-01-31 株式会社熊平製作所 移動体表示システムおよび移動体表示プログラム
CN105224288B (zh) * 2014-06-27 2018-01-23 北京大学深圳研究生院 双目三维图形渲染方法及相关系统
IL233684B (en) * 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
KR102030830B1 (ko) * 2014-07-18 2019-10-10 삼성전자주식회사 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
CN104602116B (zh) * 2014-12-26 2019-02-22 北京农业智能装备技术研究中心 一种交互式富媒体可视化渲染方法及系统
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
TW201445508A (zh) * 2013-04-08 2014-12-01 Lsi Corp 用於影像處理的前端架構
TW201514865A (zh) * 2013-07-24 2015-04-16 西斯維爾科技公司 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置

Also Published As

Publication number Publication date
TW201805896A (zh) 2018-02-16
US10360721B2 (en) 2019-07-23
EP3453170A4 (en) 2019-12-11
CN109565571B (zh) 2021-01-15
EP3453170B1 (en) 2023-07-05
US20170345205A1 (en) 2017-11-30
WO2017202377A1 (en) 2017-11-30
CN109565571A (zh) 2019-04-02
EP3453170A1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
TWI655608B (zh) 標示關注區域之方法與裝置
JP7009606B2 (ja) パノラマビデオのための提案されるビューポート指示
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
KR20200032230A (ko) 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
CN109328462B (zh) 一种用于流视频内容的方法及装置
US10547879B2 (en) Method and apparatus for streaming video content
TWI634516B (zh) 指示視訊內容之文件格式
US10846820B2 (en) Generation device, identification information generation method, reproduction device, and image generation method
KR20190125526A (ko) 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
US11113870B2 (en) Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
CN108769648A (zh) 一种基于720度全景vr的3d场景呈现方法
EP3665656B1 (en) Three-dimensional video processing
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
KR102656191B1 (ko) 360 비디오 환경에서 포인트 클라우드 콘텐트 액세스 및 전달을 위한 방법 및 장치
US20200120325A1 (en) Method for transmitting data relating to three-dimensional image