TW201803358A - 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 - Google Patents

將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 Download PDF

Info

Publication number
TW201803358A
TW201803358A TW106108808A TW106108808A TW201803358A TW 201803358 A TW201803358 A TW 201803358A TW 106108808 A TW106108808 A TW 106108808A TW 106108808 A TW106108808 A TW 106108808A TW 201803358 A TW201803358 A TW 201803358A
Authority
TW
Taiwan
Prior art keywords
video
stream
immersive
syntax element
immersive video
Prior art date
Application number
TW106108808A
Other languages
English (en)
Other versions
TWI735552B (zh
Inventor
雷納德 多里
胡利安 弗雷里
席爾瑞 泰派
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201803358A publication Critical patent/TW201803358A/zh
Application granted granted Critical
Publication of TWI735552B publication Critical patent/TWI735552B/zh

Links

Classifications

    • G06T3/073—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本發明係為一種用以格式化反向相容沈浸式視訊流之方法、裝置或系統，從來源所取得沈浸式視訊中擷取至少一傳統矩形視訊，使用一組攝影機控制資料以判定沈浸式視訊中哪些部分將構成傳統視訊，將此等部分從沈浸式視訊中移除，及將每個製得視訊包裝在一串流中。從串流來之結構係一容器，可將移除部分之位置及大小有關之資訊資料添加至串流中。

Description

將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、 裝置及串流
本發明相關格式化沈浸式視訊的反向相容串流表示的領域，例如當此一串流係分配到異質組合的用戶端裝置時，用戶裝置中有些係配置用以顯示傳統視訊，及其他有些係配置用以顯示沈浸式視訊。
沈浸式視訊不同於傳統視訊之處在於其係顯示在使用者周圍，而非投影在使用者前面的矩形螢幕上。有些裝置係配置用以只呈現傳統視訊(如電視機、視訊投影機)，有些裝置係配置用以只呈現沈浸式視訊(如洞穴、晶洞)，及有些裝置係根據其包括的解碼器(如頭戴顯示裝置(HMD)、數位板、智慧型手機)皆可呈現這兩類型視訊。在此文件中，配置用以呈現沈浸式視訊及包括有適應性解碼器的裝置稱為沈浸式視訊顯像裝置，不配置用以呈現沈浸式視訊或不包括適應性解碼器的裝置稱為傳統視訊顯像裝置。
視訊係至少一影像形成的序列，實際上，一影像係可視為一靜止視訊，視訊係編碼在二維像素(即色彩資訊的元素)陣列的矩形框上，用以呈現訊框，將訊框首先映射在映射表面上，然後投影在螢幕上。立體視訊係編碼在一(或二)矩形框上，訊框係映射在二映射表面上，根據裝置的特性來組合該等映射表面以進行投影。
用於傳統視訊顯像裝置，映射表面及螢幕係平面矩形，對應的映射函數及投影功能係直接的，映射表面係同等於訊框。取決於清晰度，及取決於顯像裝置的解析度，螢幕對應到映射表面的一矩形部分。
用於沈浸式視訊顯像裝置，映射表面係三維凸表面(如球體、立方體、角錐(截斷或不截斷))，映射函數使訊框的各像素關聯到映射表面的一點(反之亦然)。投影功能係依顯像裝置的螢幕而定，若螢幕係三 維凸表面(如洞穴、晶洞)，則直接從映射表面投影，若螢幕係矩形(如頭戴顯示裝置(HMD)、數位板、智慧型手機)，則根據螢幕大小及根據虛擬攝影機的參數(包括有至少一關連到映射表面的三維位置、一目標方向及一視野)，只顯示表面的一部分。此類沈浸式視訊顯像裝置係配備有一虛擬攝影機控制器(如慣性量測單元、定位系統、滑鼠、操控桿)。
準備及格式化視訊流係根據顯像裝置(預定在其上顯示視訊)的類型，傳統視訊顯像裝置未適當地顯示沈浸式視訊，是因其並非配置用以將沈浸式視訊映射在三維凸映射表面上，相互地，沈浸式視訊播放器亦未適當地顯示傳統視訊。可由傳統及沈浸式視訊顯像裝置兩者適當顯示的反向相容沈浸式視訊流，存在一格式缺點。
本發明的目的為克服反向相容沈浸式視訊流可由傳統及沈浸式視訊顯像裝置兩者適當顯示的格式缺點，本發明相關一種從沈浸式視訊中產生串流的方法，該方法包括有：- 產生至少一第一視訊，各第一視訊係代表沈浸式視訊的一部分；- 從已移除該至少一部分的沈浸式視訊中產生一第二視訊；- 藉由將關連到至少一第一視訊的第一語法元素與關連到該第二視訊的第二語法元素組合起來以產生串流。
根據一特殊特性，在該串流中添加一第三語法元素，該第三語法元素係關連到該至少一部分的描述的資訊資料表示。根據一特定特性，該資訊資料係隨時間變化。
本發明亦相關一種配置用以從沈浸式視訊中產生串流的裝置，該裝置包括有：- 第一視訊產生器，用以產生至少一第一視訊，各第一視訊係代表沈浸式視訊的一部分；- 第二視訊產生器，用以從已移除該至少一部分的沈浸式視訊中產生一第二視訊；- 串流產生器，用以藉由將關連到至少一第一視訊的第一語法元素與關連到該第二視訊的第二語法元素組合起來以產生串流。
本發明亦相關一種配置用以從沈浸式視訊中產生串流的 裝置，該裝置包括有至少一處理器，配置用以：- 產生至少一第一視訊，各第一視訊係代表沈浸式視訊的一部分；- 從已移除該至少一部分的沈浸式視訊中產生一第二視訊；- 藉由將關連到至少一第一視訊的第一語法元素與關連到該第二視訊的第二語法元素組合起來以產生串流。
本發明亦相關一種串流，攜帶有沈浸式視訊的資料表示，該資料包括有：- 第一語法元素，關連到至少一第一視訊，該至少一第一視訊中的每一者係代表沈浸式視訊的一部分；- 第二語法元素，關連到一第二視訊，該第二視訊係由已移除該至少一部分的沈浸式視訊所產生。
根據一特定特性，在串流中添加一第三語法元素，關連到該至少一部分的描述的資訊資料表示，有利地，該資訊資料係隨時間變化。
本發明亦相關一種組成視訊的方法，由攜帶有沈浸式視訊的資料表示的串流組成視訊用於顯像裝置，該方法包括有：- 當裝置係傳統視訊顯像裝置時，˙從串流的第一語法元素中取得視訊，第一語法元素關連到至少一第一視訊，該至少一第一視訊中的每一者係代表沈浸式視訊的一部分；- 當裝置係沈浸式視訊顯像裝置時，˙從串流的第一語法元素中取得至少一第一視訊，該至少一第一視訊係代表沈浸式視訊的一部分；˙從串流的第二語法元素中取得一第二視訊，該第二視訊係代表已移除各該至少一部分的沈浸式視訊；˙藉由在第二視訊上重疊該至少一第一視訊中的每一者以組成視訊。
根據一特殊特性，該串流尚包括一第三語法元素，關連到該至少一部分的描述的資訊資料表示，當裝置係沈浸式視訊顯像裝置時，視訊的組成包括根據與各第一視訊關聯的部分的描述，使該第一視訊定標及移位，用以重疊在第二視訊上。
本發明亦相關一種配置用以組成視訊的裝置，由攜帶有沈 浸式視訊的資料表示的串流組成視訊用於顯像裝置，該裝置包括有：- 當裝置係傳統視訊顯像裝置時，˙視訊取得構件，用以從串流的第一語法元素中取得視訊，第一語法元素關連到至少一第一視訊，該至少一第一視訊中的每一者係代表沈浸式視訊的一部分；- 當裝置係沈浸式視訊顯像裝置時，˙第一視訊取得構件，用以從串流的第一語法元素中取得至少一第一視訊，該至少一第一視訊係代表沈浸式視訊的一部分；˙第二視訊取得構件，用以從串流的第二語法元素中取得一第二視訊，該第二視訊係代表已移除各該至少一部分的沈浸式視訊；˙視訊組成構件，用以藉由在第二視訊上重疊該至少一第一視訊中的每一者以組成視訊。
10‧‧‧傳統視訊
11‧‧‧平面矩形映射表面
12,22,32‧‧‧映射函數
13,23‧‧‧螢幕
14,24‧‧‧投影功能
20,30,60‧‧‧沈浸式視訊
21‧‧‧球形映射表面
23a,23b‧‧‧沈浸式視訊的一部分
31‧‧‧立方體映射表面
40‧‧‧球形映射表面的中心
41,51a,51b‧‧‧瞄準方向
42a,42b‧‧‧方向
50‧‧‧立方體的中心
53a,53b‧‧‧訊框
54‧‧‧截頭角錐映射表面
61,63‧‧‧傳統視訊
62,64‧‧‧擷取部分
70‧‧‧裝置
71‧‧‧資料及位址匯流排
72‧‧‧微處理器(或CPU)
73‧‧‧ROM(或唯讀記憶體)
74‧‧‧RAM(或隨機存取記憶體)
75‧‧‧I/O介面
76‧‧‧圖形卡
77‧‧‧電源
80‧‧‧反向相容沈浸式視訊流產生方法
81,91‧‧‧初始化步驟
82‧‧‧第一傳統視訊產生步驟
83‧‧‧第二視訊產生步驟
84‧‧‧部分資料產生步驟
85‧‧‧串流產生步驟
90‧‧‧組成視訊的方法
92‧‧‧條件步驟
93‧‧‧第一視訊選擇步驟
94‧‧‧選取視訊解碼步驟
95‧‧‧每一視訊解碼步驟
96‧‧‧資料解碼步驟
97‧‧‧視訊重疊步驟
100‧‧‧反向相容沈浸式視訊流結構
101‧‧‧檔頭部分
102‧‧‧第一語法元素
103‧‧‧額外第一語法元素
104‧‧‧第二語法元素
105‧‧‧可選第三語法元素
以下配合附圖以說明本發明，閱讀該說明將較佳瞭解本發明及其他特定特徵及優點，圖中：圖1係根據本發明的一特定實施例以描繪傳統視訊映射在二維映射表面的呈現範例；圖2係根據本發明的一特定實施例以描繪沈浸式視訊準備用於球體映射表面的呈現範例，與圖1的二維映射表面相比，映射表面係三維的；圖3係根據本發明的一特定實施例以描繪沈浸式視訊的呈現範例，就像在圖2，在圖3的沈浸式視訊係準備用於立方體映射表面；圖4係根據本發明的一特定實施例以描繪傳統視訊擷取範例，從準備用於球體映射表面(就像在圖2)的沈浸式視訊中擷取一傳統視訊；圖5係根據本發明的一特定實施例以描繪傳統視訊擷取範例，從準備用於立方體映射表面(就像在圖3)的沈浸式視訊中擷取一傳統視訊；圖6係根據本發明的一特定實施例以一範例描繪從圖2的沈浸式視訊中所擷取的二傳統視訊，及以一範例描繪此沈浸式視訊，其中已移除用於該二傳統視訊的二部分；圖7係根據本發明的一特定實施例以顯示一裝置的硬體實施例，配置用以實施相關圖8或9所述方法； 圖8係以圖示意顯示一方法實施例，產生圖6及10的反向相容沈浸式視訊流，如實施在一處理裝置如根據一非限定有利實施例的裝置；圖9係以圖示意顯示一方法實施例，由一反向相容沈浸式視訊流組成一視訊，如實施在一處理裝置如根據一非限定有利實施例的裝置70；圖10係根據本發明的一特定實施例以顯示圖6的反向相容沈浸式視訊流的範例結構。
茲參考附圖以描述本發明技術主題，其中從頭到尾使用相同參考數字符號以表示相同元件。在以下說明中，用於說明目的，提出許多特定細節，為要提供技術主題的徹底理解。不用此等特定細節當然亦可實施技術主題實施例。
根據本發明的一非限定實施例，揭示一種方法及裝置用以產生沈浸式視訊的反向相容視訊流表示，亦揭示此一串流的格式。根據本發明的另一非限定實施例，提出能在接收此一串流時呈現視訊的顯像裝置，及該等裝置用以根據串流的格式來組成待顯示視訊的方法。
本發明提議擷取沈浸式視訊的至少一部分，將此至少一部分從沈浸式視訊中移除，為使其不兩次重複地包含在串流中，進一步準備此至少一部分以構成適合由傳統視訊顯像裝置來呈現的傳統視訊。一方面係不具有該至少一部分的沈浸式視訊，及另一方面係至少一製得傳統視訊，將兩者一起封裝在串流中。在顯像裝置端，當裝置係傳統視訊顯像裝置時，將至少一製得傳統視訊中的一者拆包及作為待顯像視訊使用；當裝置係沈浸式視訊顯像裝置時，使用每一封裝視訊，將沈浸式視訊拆包，並將至少一製得傳統視訊中的每一者映射回已刪除該傳統視訊的部分上。
圖1描繪傳統視訊的顯像範例，影像序列係編碼在一矩形框10上，預定要映射在一平面矩形映射表面11上。映射函數12係直接的，及訊框10與映射表面11係等效的，螢幕13可不與映射表面11具有相同解析度及/或清晰度，結果，投影功能14可在映射表面11的邊重調尺寸及/或修剪或顯示黑邊。在圖1，訊框10及映射表面11具有4：3的長寬比，然而螢幕具有16：9的長寬比，在此範例中，投影功能14係在影像中段操作修剪以產生與螢幕13配合的視訊。在一變化中，投影功能14係 在映射表面11的左右兩邊添加黑邊以取得與螢幕13配合的視訊。在另一實施例中，圖1的視訊係立體的，在此一變化中，訊框10包含二相異影像，其係映射在二相異映射表面11上，映射表面係根據螢幕類型加以組合以呈現立體效果。
圖2描繪沈浸式視訊的顯像範例，準備用於球形映射表面。影像序列係編碼在一矩形框20上，預定要映射在一球體的映射表面21上。映射函數22係在訊框20的各像素與映射表面21上的一點之間建立一映射關係(反之亦然)。在圖2，映射函數22係基於等距矩形投影(亦稱為等距柱狀投影)，訊框20的影像係失真的，距離係在赤道處受尊重及在兩極處拉伸，直線不再筆直及透視圖係失真的，在變化中，映射函數22例如係基於等距錐形投影。若螢幕23係矩形(如用於頭載顯示裝置(HMD)或數位板或智慧型手機)，則選擇映射表面21的一部分。投影功能24在於選擇映射表面21的一部分(如位在球體中央的攝影機所見)，為要產生直接與螢幕23配合的影像，攝影機係按照視野及解析度來配置。所選擇視野係依顯示裝置的特性而定，用於HMD，視野的角度係有利地接近人類立體視野，其大約係一百二十度。攝影機的瞄準方向對應到使用者正向前注視的方向，沈浸式視訊顯像裝置的虛擬攝影機控制器係用來修改攝影機的瞄準方向。在一變化中，圖2的視訊係立體的，在此一變化中，視框20包含二相異影像，其係映射在二相異映射表面21上，映射表面係根據螢幕類型加以組合以呈現立體效果。
利用凸映射表面中央所放置攝影機來獲取視訊，產生從此凸映射表面中央的一視點所擷取的視訊。在圖2中，球體係一凸映射表面，及虛擬攝影機係在此凸映射表面中心構成一視點，從其擷取視訊。
圖3描繪沈浸式視訊的顯像範例，準備用於一立方體映射表面。影像序列係編碼在一矩形(或方形)框30上，預定要映射在一立方體的映射表面31上。映射函數32建立視訊30的方格與立方體31的表面之間的對應關係，反之亦然。映射函數判定立方體31的各面係如何組織在訊框30的表面之內。在各面的影像並未失真，然而，在訊框20的全影像中，線條分段係直線及透視圖係折線。影像可包含空白方格(填滿預設或隨機色彩資訊，在圖3的範例係白色)，投影功能作用如圖3的投影功能。 一攝影機係放置在立方體31的中央並擷取配合顯像裝置的螢幕的影像。
在變化中，使用其他映射表面及/或映射函數，將視訊框例如映射在一柱體上或在一角錐上。
圖2及3所繪示沈浸式視訊的框20及30並非預定要映射在圖1的平面矩形映射表面11上。當沈浸式視訊係傳送到傳統視訊顯像裝置時，螢幕上的影像係失真或分段顯示的，並對應到比人類視野大的視覺內容。相互地，當傳統視訊係傳送到沈浸式視訊顯像裝置時，映射函數產生一失真影像。
此外，傳統視訊的電影語法係不同於沈浸式視訊的電影語法，例如，若情節包括二角色之間的對話，一沈浸式視訊可顯示一長時間靜止序列攝影：觀眾係藉由交替地將頭部轉向一角色及另一角色以產生一些動力學。傳統視訊會由於觀眾在螢幕前係被動的，反而交替在角色中的一者及另一者進行緊密攝影及寬廣攝影，用以在場景中引入一些動力學。然而並不推薦此一影片編輯用於沈浸式視訊，因頻繁鏡頭切換會使觀眾他/她不知定向，甚至令他/她感覺不舒服。傳統視訊可包括縮放效果，然而沈浸式視訊中的縮放效果誘發討厭的相對運動效應(即具有側面視野失真的自運動錯覺)。
本發明提議藉由放置一虛擬攝影機在準備用於沈浸式視訊的映射表面中央，從沈浸式視訊中擷取傳統視訊。取得攝影機控制資料，描述用於攝影機的參數，此等資料至少包括一瞄準方向、一定向及一錐台大小(水平及垂直視野或視角)，攝影機控制資料係用以控制虛擬攝影機，其從沈浸式視訊中擷取傳統視訊。取得此等資料係由於影片導演的手動編輯。在另一實施例中，由於沈浸式視訊中感興趣區域的檢測演算法而自動編輯攝影機控制資料，此類演算法例如係可基於視訊的影像中的顯著性分析，或用於另一範例，係基於觀眾以頭戴顯示裝置(HMD)觀看沈浸式視訊時頭部移動的統計分析。
在圖3中，立方體係一凸映射表面，及虛擬攝影機係在此凸映射表面中央構成一視點，從其擷取視訊。
圖4係以一範例描繪從準備用於球形映射表面的沈浸式視訊中擷取傳統視訊，在球形映射表面21的中心40放置一虛擬攝影機(如 圖2所繪示)，使用攝影機控制資料以導引攝影機朝向一瞄準方向41及傾斜攝影機的參考框達到一定向42a。沈浸式視訊的部分23a(由攝影機錐台與球形映射表面相交所界定)既非平面(即其係球面的一部分)，亦非矩形(即該部分的邊係弧形)。用以編碼為傳統視訊，糾正部分23a的視覺內容，為使其能無失真地映射在平面矩形映射表面上。從攝影機控制資料中取得的攝影機水平及垂直視角判定攝影機錐台的大小，結果判定部分23a的大小。用於視角參數的值必須遵循傳統攝影機的平常值，利用大約六十度的水平視角以取得寬廣攝影，超過六十度即出現廣角失真效應，較窄角度對應到移向目標(zoom in)。至於小值，由於攝影機正利用其自己的最大解析度以擷取沈浸式視訊，因此會引起解析度議題，結果係必須審慎完成攝影機控制資料的版本。
攝影機控制資料會隨時間變化，參數的值突然變動對應到傳統視訊編輯中的鏡頭切換，連續變化對應到攝影效果。例如，若沈浸式視訊的背景不以相同速度朝相同方向旋轉，則在攝影機的瞄準方向的連續變化對應到一平移。亦可使用在傳統攝影機的瞄準方向中的此一連續變化以補償沈浸式視訊中的平移，因此擷取一靜態攝影。其他攝影機控制資料可隨時間變化，如圖4所繪示，視角可變小，使部分23a重調大小到部分23b。此效果可對應到移向目標(zoom in)，錐台的定向例如亦可從方向42a變化到方向42b，操作一攝影機向左傾斜。
圖5係以一範例描繪從準備用於立方體映射表面的沈浸式視訊中擷取傳統視訊，在立方體31的中心50放置一攝影機(如在圖3所繪示)，及根據攝影機控制資料從此視點擷取一傳統視訊。所擷取傳統視訊係映射表面的一部分，可比立方體的一面小或大，及/或可分布在立方體的數面上。在一變化中，如在圖5所顯示，為使傳統視訊的框53a配合立方體的一面，立方體係根據瞄準方向參數51a以重新定向及根據錐台大小參數以重調大小。定向參數控制立方體的傾斜，若框53a係矩形，則映射表面係適應在平行六面體。由於面的重調大小修改了映射表面的面積及映射函數，結果修改了訊框中所編碼影像的解析度，因此此操作必要條件係解析度管理。
攝影機控制資料隨時間變化係可依一突發方式或連續方 式，圖5描繪一範例，其中瞄準方向係從一值51a變化到一值51b，及錐台大小係從一值53a變到一值53b。在此範例中，將映射表面的背面重新定向以垂直於瞄準方向53b，錐台大小變小(其對應到移向目標效果)修改正面的大小，結果修改側面的形狀。映射表面54變成一截頭角錐，導致映射函數(即在沈浸式視訊的訊框中組織像素的方式)的修改。
此一映射表面變換的優點在於促成從沈浸式視訊中移除擷取部分用於傳統視訊。此一技術允許在沈浸式視訊的訊框中用以編碼色彩資訊所需面積減到最小，另一優點在於映射表面用於傳統視訊的表面已係平面及矩形(即不需要片段部分的組成)。
圖6係一範例描繪從一沈浸式視訊60中擷取的二傳統視訊61及63，及以一範例描繪此沈浸式視訊中已移除用於該二傳統視訊的二部分。在圖6的範例中，沈浸式視訊係準備用於圖2所繪示的球形映射表面，由一攝影機(係放置在映射球體中心及瞄準在沈浸式視訊60的部分62的方向)擷取一第一傳統視訊61(亦稱為第一視訊)。為要構成一傳統視訊61，糾正擷取部分62並將其從沈浸式視訊60中移除。在圖6的範例中，移除係採取以一預設顏色填滿移除部分區域的形式，此方式的優點係減輕訊框60的壓縮版本。
根據準備用於沈浸式視訊的映射表面，可採取不同形式從沈浸式視訊中移除一部分，例如具有準備用於平行六面體映射表面的沈浸式視訊，移除可採取修改映射函數的形式，為要使沈浸式視訊的訊框區最佳化(即儘可能地縮減)。如圖5所繪示，可修改映射表面的形狀，結果映射函數變更，及訊框大小係調適用以對應到新映射函數。
從一沈浸式視訊中，係可能利用不同攝影機控制資料以擷取數個傳統視訊(即第一視訊)，在圖6，由一傳統攝影機(放置在球體中心及藉由不同攝影機控制資料導向)擷取一第二傳統視訊63。為要構成傳統視訊63，糾正擷取部分64並將其從沈浸式視訊60中移除。具有球形映射表面，擷取部分在訊框上的投影並非矩形。
圖7顯示裝置70的一硬體實施例，該裝置係配置用以實施相關圖8或9說明的方法，在此範例中，裝置70包括以下元件，藉由一資料及位址匯流排71(其亦傳送一時鐘信號)來互相連接： - 一微處理器72(或CPU)，其例如係一DSP(或數位信號處理器)；- 一ROM(或唯讀記憶體)類型不變性記憶體73；- 一隨機存取記憶體(或RAM)74；- 一I/O(輸入/輸出)介面75，用以從一應用接收資料用於傳送；- 一圖形卡76，其可嵌入隨機存取記憶體的暫存器；及- 一電源77。
根據一範例，電源77係在裝置的外部。在各提及記憶體中，本說明書中使用的«暫存器»一詞可對應到小容量區(一些位元)或對應到極大區(如整個程式，或大量接收或解碼資料)。ROM 73至少包括一程式及參數，ROM 73可儲存演算法及指令用以執行根據本發明的技術，當開關打開時，CPU 72上傳RAM中的程式及執行對應的指令。
RAM 74係在一暫存器包括程式，由CPU 72執行及在裝置70的開關打開後上傳，在一暫存器包括輸入資料，在一暫存器包括該方法在不同狀態的中間資料，及在一暫存器包括執行該方法所使用的其他變數。
在本文說明的實作例如可實現在一方法或處理過程、裝置、軟體程式、資料流，或信號中。即若只在單一形式實作的背景中討論(例如只討論作為一方法或裝置)，所討論特徵的實作亦可實現在其他形式(例如一程式)。一裝置例如可實現在適當硬體、軟體及韌體中，該等方法例如可實現在一裝置如處理器中，其通常指處理裝置，例如包括有電腦、微處理器、積體電路，或可程式邏輯元件。處理器亦包括通訊裝置如電腦、手機、可攜式/個人數位助理器("PDA")、機上盒，及促成終端用戶之間資訊通訊的其他裝置。
根據產生反向相容沈浸式視訊流的一範例，如圖8所繪示，沈浸式視訊及攝影機控制資料係從一來源中取得，例如，該來源屬於一集合，包括有：- 一區域記憶體(73、74或76)，如視訊記憶體或RAM(或隨機存取記憶體)、快閃記憶體、ROM(或唯讀記憶體)、硬碟；- 一儲存介面(75)，如具有大量儲存的介面、RAM、快閃記憶體、ROM、光碟或磁墊；及 - 一通訊介面(75)，如有線介面(例如滙流排介面、廣域網路介面、區域網路介面)，或無線介面(如IEEE 802.11介面或藍牙®介面)。
根據一特殊實施例，實施反向相容沈浸式視訊流產生方法的步驟(以下在圖8說明)，其演算法係儲存在圖形卡76的一記憶體GRAM(與實施此等步驟的裝置70關聯)，根據一變化，CPU(72)指定RAM(74)的一部分用於演算法的儲存。此等步驟導致一視訊流的產生，視訊流係傳送到一目的地，其屬於一集合，包括有：區域記憶體，如視訊記憶體(74)、RAM(74)、ROM(73)、快閃記憶體(73)或硬碟(73)；儲存介面(75)，如具有大量儲存的介面、RAM、ROM、快閃記憶體、光碟或磁墊，及/或一通訊介面(75)，如到點對點鏈接、匯流排、單點對多點鏈接或廣播網路的介面。
根據範例，配置用以實施相關圖8所述反向相容沈浸式視訊流產生方法的裝置70屬於一集合，包括有：- 行動裝置；- 通訊裝置；- 遊戲裝置；- 數位板(或平板電腦)；- 膝上型電腦；- 編碼晶片；- 靜態圖像伺服器；及- 視訊伺服器(如廣播伺服器、視訊隨選伺服器或網站伺服器)。
根據由反向相容沈浸式視訊流組成視訊的一範例，反向相容沈浸式視訊的一串流表示係從一來源中取得，舉例來說，串流係從一區域記憶體中讀取，如視訊記憶體(74)、RAM(74)、ROM(73)、快閃記憶體(73)或硬碟(73)。在一變化中，串流係從一儲存介面(75)接收，如具有大量儲存的介面、RAM、ROM、快閃記憶體、光碟或磁墊，及/或從一通訊介面(75)接收，如到點對點鏈接、滙流排、單點對多點鏈接或廣播網路的介面。
根據一特殊實施例，實施由反向相容沈浸式視訊流組成視訊用於顯像裝置的方法的步驟(以下在圖9說明)，其演算法係儲存在圖形 卡76的記憶體GRAM(與實施此等步驟的裝置70關聯)。根據一變化，CPU(72)指定RAM(74)的一部分用於演算法的儲存。此等步驟導致一視訊組成，其係傳送到一目的地，屬於一集合，包括有：- 行動裝置；- 通訊裝置；- 遊戲裝置；- 機上盒；- 電視機；- 數位板(或平板電腦)；- 膝上型電腦；- 顯示器；及- 解碼晶片。
圖8係以圖示意顯示反向相容沈浸式視訊流產生方法80的一實施例，如實施在一處理裝置如根據一非限定有利實施例的裝置70。
在初始化步驟81中，裝置70從一來源取得一沈浸式視訊，應注意在本文件中從一來源取得資訊的步驟可視為在電子裝置的記憶單元讀取此一資訊的步驟，或視為經由通訊構件(如經由有線或無線連接或藉由接觸連接)從另一電子裝置接收此一資訊的步驟。裝置70從一來源載入攝影機控制資料，資料的來源可與沈浸式視訊的來源相同。在一變化中，二來源係相異，例如，攝影機控制資料係可儲存在裝置70的記憶體中(或甚至寫在實施該方法的程式中)，而沈浸式視訊係從一視訊伺服器取得。
步驟82及83係並列執行，在一變化中，步驟82係在步驟83前執行，在另一變化中，步驟83係在步驟82前執行。在步驟82，將沈浸式視訊映射在為其準備的映射表面上，在映射表面的中心放置一虛擬攝影機，導引攝影機係根據攝影機控制資料，其判定沈浸式視訊中構成各第一傳統視訊的視覺內容的部分。用於第一傳統視訊中的每一者，將擷取部分編碼為傳統視訊且將作為一視訊流。根據一變化，步驟82不使用虛擬攝影機且剪下如來源所取得沈浸式視訊框的一部分，若有需要則糾正視覺內容，並將所計算訊框編碼為一傳統視訊。在步驟83，藉由將擷取 用於第一傳統視訊的部分從來源所取得沈浸式視訊中移除以製得一第二沈浸式視訊框。如在圖4至6所繪示，根據已準備用於沈浸式視訊的映射表面的形狀，從沈浸式視訊中移除一部分可採取不同形式，步驟83使用攝影機控制資料以判定要移除部分的形狀。至於步驟82，可能直接在沈浸式視訊的訊框上處理此步驟83，或可能使用一映射表面的中心放置的一虛擬攝影機，沈浸式視訊係映射在映射表面上。在另一實施例中，在一遠程裝置執行步驟82及82，另一裝置製得第一視訊及第二視訊並將該等視訊儲存在一媒體上或傳送到裝置70。產生步驟82及83在於取得在一遠程裝置所產生的視訊。
一可選步驟84係與步驟82及83並列執行，將擷取第一傳統視訊所使用部分的描述的資訊資料表示進行編碼，在一變化中，依任何順序循序地執行步驟82、83及84，在一變化中，不執行步驟84及未編碼任何資料。此等資料描述沈浸式視訊在步驟83移除的部分。取決於如步驟83所重組沈浸式視訊的映射表面，該資料編碼一描述係依必須映射第一傳統視訊的方式及位置，為要擷取如從來源取得的沈浸式視訊。資訊資料係相關攝影機控制資料，及相關已在擷取第一傳統視訊時準備映射表面的方式。
在步驟85，產生一反向相容沈浸式視訊流，將至少一第一傳統視訊包裝在串流中作為第一語法元素，第二沈浸式視訊包裝在串流中作為第二語法元素。編碼及壓縮所有視訊係利用一影像/視訊編碼器，例如有損編碼器，像JPEG、JPEG2000、MPEG2、HEVC建議書(“高效率視訊編碼(High Efficiency Video Coding)"，系列H：視聽及多媒體系統，建議書ITU-T H.265，ITU電信標準化部門，2013年4月)，或H264/AVC建議書(“先進視訊編碼用於同屬視聽服務(Advanced video coding for generic audiovisual Services)，系列H：視聽及多媒體系統，建議書ITU-T H.264，ITU電信標準化部門，2014年2月)。若已在步驟84產生資訊資料，則在串流中添加資訊資料作為第三語法元素，例如將此二(或三)語法元素包裝在一串流容器(其允許解碼器獨立地擷取各語法元素，如AVI或MPEG4)中。
圖9係以圖示意顯示由反向相容沈浸式視訊流組成視訊 的方法90的一實施例，如實施在一處理裝置如根據一非限定有利實施例的裝置70。
在初始化步驟91中，裝置70從一來源取得一反向相容沈浸式視訊流，當然在本文件中從一來源取得資料的步驟可視為在一電子裝置的記憶單元中讀取此一資訊的步驟，或視為經由通訊構件(如經由有線或無線連接或藉由接觸連接)從另一電子裝置接收此一資訊的步驟。
測試一條件步驟92，當裝置70係(或係連接到)一傳統視訊顯像裝置時，執行一步驟93。當裝置70係(或係連接到)一沈浸式視訊顯像裝置時，執行一步驟95。在另一實施例中，裝置70係連接到數個顯像裝置，有些係傳統視訊顯像裝置及其他係沈浸式視訊顯像裝置。在此一實施例中，並列執行步驟93與95兩者，並將該方法的各分支所組成視訊傳送到各別顯像裝置。
步驟93在於從串流中萃取一傳統視訊。一反向相容沈浸式視訊流的不同語法元素係包裝在一容器中，其允許接收器獨立地萃取一給定語法元素。容器格式例如係AVI或MPEG4。若在串流的檔頭中不存在任何關於要顯示較佳視訊的資訊，則裝置70係正萃取第一語法元素中的第一者。當接收此一容器所組織的串流時，正規傳統視訊播放器係配置用以將最先語法元素顯像。如本發明所述反向相容沈浸式視訊流的優點在於可由正規傳統視訊播放器直接讀取。一旦萃取到編碼選取視訊的語法元素，即執行步驟94。
在步驟94，解碼從串流所萃取的傳統視訊以傳送到顯像裝置，此步驟可包括一解壓縮步驟，係使用一編解碼器，例如MPEG2、HEVC或H264/AVC建議書。將組成的傳統視訊傳送到連接到裝置70的顯像裝置，在一變化中，裝置70係一傳統視訊顯像裝置，及組成的視訊係顯示在裝置70的螢幕上。
在步驟95，從串流中萃取串流的每一第一語法元素及第二語法元素並進行解碼，使用各第一語法元素以解碼一傳統視訊，使用第二語法元素以解碼一沈浸式視訊(其中已移除至少一部分)。當串流中出現一第三語法元素，並列執行步驟96。在一變化中，步驟96係執行在步驟95之前或之後。在步驟96，從串流中萃取串流的第三語法元素並將資訊 資料解碼。此等資訊資料表示描述元素，包括有用以產生第二語法元素已從沈浸式視訊中移除的部分的形狀、位置及大小。
步驟97在於由步驟95所萃取視訊的訊框組成一沈浸式視訊，若在串流結構中未發現任何第三語法元素，則藉由預設值來設定資訊資料。根據資訊資料以使第一傳統視訊的各訊框失真、重調尺寸及移位。在此操作後，在已產生串流時已從沈浸式視訊中移除的部分填上此等已修改訊框，將此等已修改訊框重疊在第二沈浸式視訊框上。此步驟的結果係不具有移除部分的沈浸式視訊框，將此作為結果的訊框映射在沈浸式視訊的映射表面上，在一變化中，在映射表面上完成重疊。在另一實施例中，裝置70能追蹤使用者所觀看沈浸式視訊的部分並將第一傳統視訊重疊在沈浸式視訊上(唯若對應部分屬於使用者的視野(或一稍大部分))。
圖10顯示反向相容沈浸式視訊流的一範例結構100，該結構在於一容器，其將串流組織在獨立語法元素中。該結構可包含一檔頭部分101，其係一資料集，共用於串流的每個語法元素。例如，檔頭部分包含有關語法元素的元資料，描述語法元素中每一者的特質及角色，例如，檔頭部分可包含有關傳統視訊播放器所要萃取較佳第一傳統視訊的資訊。反向相容沈浸式視訊流包含一第一語法元素102，其係關連到一第一傳統視訊，此視訊係代表沈浸式視訊的一部分。此第一語法元素102係串流中必要的，當有關一較佳傳統視訊的資訊未出現在檔頭部分時，藉由預設，將此第一語法元素102視為較佳傳統視訊。藉由如圖8繪示的產生方法，可在串流中添加額外第一語法元素103，此等額外第一語法元素中的每一者係關連到第一傳統視訊，此視訊係代表沈浸式視訊的一部分。較佳傳統視訊可以是串流的此等額外語法元素中的一者(若在檔頭部分將其指定為一較佳者)。一第二語法元素104係必要的，及關連到一第二沈浸式視訊，其係從已移除該至少一部分的沈浸式視訊所產生。此第二語法元素104具有一檔頭部分，其包含準備用於第二沈浸式視訊的映射表面及映射函數有關的資訊，在一變化中，第二語法元素104的檔頭部分與串流的檔頭部分101聚集在一起。根據另一實施例，此資訊係隨時間變化並與第二沈浸式視訊同步，資訊係可一起包括在第二語法元素中(並非包括在一檔頭部分)。
在串流的結構中可包含一可選第三語法元素105，其係關連到該至少一部分的描述的資訊資料表示，此等資訊資料表示描述元素，包括有已從沈浸式視訊中移除以產生第二語法元素的部分的形狀、位置及大小。在一變化中，此等資訊資料係隨時間變化並與第二語法元素的第二沈浸式視訊同步。
當然，本發明係不限於上述實施例，尤其，本發明係不限於產生反向相容沈浸式視訊流用於顯像裝置的方法及由反向相容沈浸式視訊流組成視訊用於顯像裝置的方法。產生此一串流或由此一串流組成視訊所需計算的實作係不限於CPU中的實作，但亦延伸到任一程式類型中的實作，例如可由一GPU類型微處理器執行的程式。
在本文說明的實作例如可實現在方法或過程、裝置、軟體程式、資料流或信號中。即若只在單一形式實作的情境中討論(例如只討論作為方法或裝置)，所討論特徵的實作亦可實現在其他形式(例如程式)中。裝置例如可實現在適當硬體、軟體及韌體中，該等方法例如可實施在一裝置如處理器中，處理器通常指處理裝置，例如包括有電腦、微處理器、積體電路或可程式邏輯裝置。處理器亦包括通訊裝置如智慧型手機、數位板、電腦、行動電話、可攜式/個人數位助理器("PDA")、視訊伺服器、機上盒，及其他裝置。
在本文所說明各種過程及特徵的實作係可具體實現在各式各樣不同設備或應用中，尤其，例如與資料編碼、資料解碼、視圖產生、紋理處理及其他影像及相關紋理資訊及/或深度資訊處理關聯的設備或應用。此類設備的範例包括編碼器、解碼器、後處理器(處理解碼器來的輸出)、前處理器(提供輸入到編碼器)、視訊編碼器、視訊解碼器、網站伺服器、機上盒、膝上型電腦、個人電腦、手機、PDA，及其他通訊裝置。顯然地，設備可係移動式及甚至安裝在汽車中。
此外，該等方法可由處理器正執行的指令來實施，及此類指令(及/或一實作所產生的資料值)係可儲存在處理器可讀取媒體如積體電路、軟體載體，或其他儲存裝置如硬碟、光碟片(“CD”)、光學磁碟(例如DVD，常稱為多樣化數位光碟或數位影碟)、隨機存取記憶體(“RAM”)，或唯讀記憶體(“ROM”)。該等指令可形成一應用程式，有形具體化在一處 理器可讀取媒體上，指令例如係可在硬體、韌體、軟體或其一組合中，指令例如可在作業系統、分開的應用程式，或二者的組合中找到。因此一處理器的特徵例如可係配置用以實施一過程的裝置，及兼作包括有處理器可讀取媒體的裝置(如儲存裝置)，具有指令用以實施一過程。此外，一處理器可讀取媒體可儲存一實作產生的資料值(在指令外添加或代替指令)。
如熟諳此藝者所清楚了解，實作可產生各式各樣格式化用以攜帶資訊的信號，其例如係可儲存或傳送。資訊例如可包括用以執行方法的指令，或包括所述實作中的一者所產生的資料。例如，信號係可格式化用以攜帶為資料，即寫入或讀取所述一實施例的語法所用規則，或用以攜帶為資料，即所述一實施例寫成的實際語法值。此一信號例如係可格式化為一電磁波(例如使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼一資料流及利用已編碼資料流來調變一載波。信號攜帶的資訊例如可係類比或數位資訊，如已知，可透過各種不同有線或無線鏈接以傳送信號，可將信號儲存在處理器可讀取媒體。
已說明數個實作，然而，應瞭解可作出各種修改，例如可將不同實作的元件組合、增補、修改或移除以產生其他實作。此外，本領域的普通技術人員應瞭解其他結構或過程係可替代用於該等揭示者，如所揭示實作，作為結果的實作將依至少大體上相同的(數個)方式，執行至少大體上相同的(數個)功能，以達成至少大體上相同的(數個)結果，因此，本發明涵蓋此等實作及其他實作。
60‧‧‧沈浸式視訊
61,63‧‧‧傳統視訊
62,64‧‧‧擷取部分

Claims (19)

  1. 一種產生串流之方法(80)，由準備用於一凸映射表面之視訊(20、30)產生一串流(100)，該方法包括有：- 產生(82)至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，各第一視訊係代表沈浸式視訊(20、30)之一部分；- 由已移除該至少一部分之沈浸式視訊(20、30)產生(83)一第二視訊(60)；及- 藉由將關連至至少一第一視訊(61、63)之第一語法元素(102、103)與關連至該第二視訊(60)之第二語法元素(104)組合起來以產生(85)串流(100)。
  2. 如申請專利範圍第1項之方法，尚包括有在該串流(100)中添加一第三語法元素(105)，該第三語法元素係關連至該至少一部分之描述之資訊資料表示。
  3. 如申請專利範圍第2項之方法，其中該資訊資料係隨時間變化。
  4. 如申請專利範圍第2項之方法，其中該產生(82)至少一第一視訊尚包括糾正該(虛擬)攝影機所擷取影像。
  5. 如申請專利範圍第2或4項之方法，其中該產生(82)至少一第一視訊尚包括根據該資訊資料以使該映射表面重新定向。
  6. 一種配置用以產生串流之裝置，由準備用於一凸映射表面之視訊(20、30)產生一串流(100)，該裝置包括有：- 第一視訊產生器，用以產生(82)至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，各第一視訊係代表沈浸式視訊(20、30)之一部分；- 第二視訊產生器，用以由已移除該至少一部分之沈浸式視訊(20、30)產生(83)一第二視訊；及- 串流產生器，用以藉由將關連至至少一第一視訊之第一語法元素(102、103)與關連至該第二視訊之第二語法元素(104)組合起來以產生(85)串流(100)。
  7. 如申請專利範圍第6項之裝置，其中串流產生器尚配置用以在串 流(100)中添加一第三語法元素(105)，該第三語法元素係關連至該至少一部分之描述之資訊資料表示。
  8. 如申請專利範圍第7項之裝置，其中該資訊資料係隨時間變化。
  9. 一種串流(100)，攜帶有準備用於一凸映射表面之視訊(20、30)之資料表示，該資料包括有：- 第一語法元素(102、103)，關連至至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，該至少一第一視訊中之每一者係代表沈浸式視訊之一部分；及- 一第二語法元素(104)，關連至一第二視訊(60)，係由已移除該至少一部分之沈浸式視訊所產生。
  10. 如申請專利範圍第9項之串流，尚包括有一第三語法元素(105)，關連至該至少一部分之描述之資訊資料表示。
  11. 如申請專利範圍第10項之串流，其中該資訊資料係隨時間變化。
  12. 一種由串流(100)組成視訊用於顯像裝置之方法(90)，串流攜帶有準備用於凸映射表面之視訊(20、30)之資料表示，該方法包括有：- 當裝置係沈浸式視訊顯像裝置時：˙從第一語法元素(102、103)中取得至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，該至少一第一視訊係代表沈浸式視訊之一部分；˙從串流之第二語法元素中取得一第二視訊(104)，該第二視訊係代表已移除各該至少一部分之沈浸式視訊；及˙藉由在第二視訊上重疊該至少一第一視訊中之每一者以組成視訊。
  13. 如申請專利範圍第12項之方法，其中該方法包括：- 當裝置係傳統視訊顯像裝置時：˙從串流之第一語法元素(102、103)中取得視訊，第一語法元素關連至至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，該至少一第一視訊中之每一係代表沈浸式視訊之一部分。
  14. 如申請專利範圍第12或13項之方法，其中該串流尚包括一第三語法元素(105)，關連至該至少一部分之描述之資訊資料表示。
  15. 如申請專利範圍第14項之方法，其中若裝置係沈浸式視訊顯像裝 置，則視訊之組成包括根據與各第一視訊關聯之部分之描述，使該第一視訊失真、定標及移位，用以重疊在第二視訊上。
  16. 一種配置用以組成視訊之裝置，由一串流(100)組成視訊用於顯像裝置，該串流攜帶有準備用於一凸映射表面之視訊(20、30)之資料表示，該裝置包括有一記憶體，與一處理器關聯，該處理器係配置用以：- 當裝置係沈浸式視訊顯像裝置時：˙從串流之第一語法元素(102、103)中取得至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，該至少一第一視訊係代表沈浸式視訊之一部分；˙從串流之第二語法元素(104)中取得一第二視訊(60)，該第二視訊係代表已移除各該至少一部分之沈浸式視訊；及˙藉由在第二視訊上重疊該至少一第一視訊中之每一者以組成視訊。
  17. 如申請專利範圍第16項之裝置，其中該處理器係配置用以：- 當裝置係傳統視訊顯像裝置時：˙從串流之第一語法元素(102、103)中取得視訊，第一語法元素關連至至少一第一視訊(61、63)，係在該凸映射表面中心從一視點所擷取，該至少一第一視訊中之每一者係代表沈浸式視訊之一部分。
  18. 如申請專利範圍第16或17項之裝置，其中該串流尚包括一第三語法元素(105)，關連至該至少一部分之描述之資訊資料表示。
  19. 如申請專利範圍第18項之裝置，其中若裝置係沈浸式視訊顯像裝置，則視訊之組成包括根據與各第一視訊(61、63)關聯之部分之描述，使該第一視訊失真、定標及移位，用以重疊在第二視訊上。
TW106108808A 2016-03-22 2017-03-17 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 TWI735552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305321.8 2016-03-22
EP16305321.8A EP3223524A1 (en) 2016-03-22 2016-03-22 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
??16305321.8 2016-03-22

Publications (2)

Publication Number Publication Date
TW201803358A true TW201803358A (zh) 2018-01-16
TWI735552B TWI735552B (zh) 2021-08-11

Family

ID=55646505

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108808A TWI735552B (zh) 2016-03-22 2017-03-17 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流

Country Status (11)

Country Link
US (1) US10958950B2 (zh)
EP (2) EP3223524A1 (zh)
JP (1) JP7177034B2 (zh)
KR (1) KR102308604B1 (zh)
CN (1) CN109314791B (zh)
BR (1) BR112018069211A2 (zh)
CA (1) CA3018600C (zh)
MX (1) MX2018011498A (zh)
RU (1) RU2733218C2 (zh)
TW (1) TWI735552B (zh)
WO (1) WO2017162479A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521571A (ja) 2016-05-13 2019-07-25 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 適応クリッピングを用いた映像コード化の方法および装置
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法
EP3297282A1 (en) 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
WO2019117569A1 (en) * 2017-12-14 2019-06-20 Samsung Electronics Co., Ltd. Method and apparatus for managing immersive data
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2005333552A (ja) 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
WO2008047054A2 (fr) 2006-10-18 2008-04-24 France Telecom Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
US7982733B2 (en) * 2007-01-05 2011-07-19 Qualcomm Incorporated Rendering 3D video images on a stereo-enabled display
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US8854428B2 (en) * 2009-03-19 2014-10-07 Lg Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
MX2011000947A (es) * 2009-05-19 2011-03-02 Panasonic Corp Medio de grabacion, dispositivo de reproduccion, dispositivo de codificacion, circuito integrado, y dispositivo de salida de reproduccion.
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
CN101771878B (zh) * 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
US9491432B2 (en) * 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
WO2012017643A1 (ja) 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
JP2012199897A (ja) 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
EP2530642A1 (en) 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
PL3313083T3 (pl) 2011-06-08 2020-05-18 Koninklijke Kpn N.V. Dostarczanie treści segmentowanej przestrzennie
KR101282955B1 (ko) 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
CN103947192A (zh) 2011-11-14 2014-07-23 英特尔公司 视频分析编码
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US10075689B2 (en) 2012-07-04 2018-09-11 Intel Corporation Region-of-interest based 3D video coding
EP2824883A1 (en) 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
KR102107270B1 (ko) * 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
CN104680505A (zh) * 2013-11-29 2015-06-03 陆婷 一种鱼眼镜头校正的全景视图算法
US20150373341A1 (en) 2014-06-23 2015-12-24 Cisco Technology, Inc. Techniques for Interactive Region-Based Scalability
US10694192B2 (en) * 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN104539893B (zh) * 2014-12-23 2017-12-01 福建星网视易信息系统有限公司 实现虚拟云台监控效果的方法、装置及系统
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor

Also Published As

Publication number Publication date
EP3434021A1 (en) 2019-01-30
RU2018136879A3 (zh) 2020-04-22
WO2017162479A1 (en) 2017-09-28
JP2019514313A (ja) 2019-05-30
JP7177034B2 (ja) 2022-11-22
EP3223524A1 (en) 2017-09-27
BR112018069211A2 (pt) 2019-01-22
CN109314791A (zh) 2019-02-05
CN109314791B (zh) 2021-07-20
EP3434021B1 (en) 2021-05-05
US20190104330A1 (en) 2019-04-04
TWI735552B (zh) 2021-08-11
CA3018600A1 (en) 2017-09-28
CA3018600C (en) 2022-07-12
RU2018136879A (ru) 2020-04-22
MX2018011498A (es) 2019-07-04
RU2733218C2 (ru) 2020-09-30
KR102308604B1 (ko) 2021-10-06
KR20190029505A (ko) 2019-03-20
US10958950B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
US11700352B2 (en) Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US10694102B2 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
TWI735552B (zh) 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流
EP3557534A1 (en) Information processing method and apparatus
CN112189345A (zh) 体积式视频格式的方法，装置和流
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN113949829A (zh) 媒体文件封装方法、装置、设备及存储介质
TW202126036A (zh) 具有輔助修補之容積視訊
TW202106000A (zh) 傳送容積視訊內容之方法及裝置
US20230360678A1 (en) Data processing method and storage medium