TW201937937A - 資訊處理裝置及方法 - Google Patents

資訊處理裝置及方法 Download PDF

Info

Publication number
TW201937937A
TW201937937A TW108100148A TW108100148A TW201937937A TW 201937937 A TW201937937 A TW 201937937A TW 108100148 A TW108100148 A TW 108100148A TW 108100148 A TW108100148 A TW 108100148A TW 201937937 A TW201937937 A TW 201937937A
Authority
TW
Taiwan
Prior art keywords
information
image
sub
picture
file
Prior art date
Application number
TW108100148A
Other languages
English (en)
Inventor
高橋遼平
平林光浩
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201937937A publication Critical patent/TW201937937A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本揭露係有關於,可較容易地進行子圖像之串流之選擇的資訊處理裝置及方法。
生成將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案。本揭露係可適用於例如:資訊處理裝置、影像處理裝置、影像編碼裝置、檔案生成裝置、檔案送訊裝置、配訊裝置、檔案收訊裝置、影像解碼裝置、或再生裝置等。

Description

資訊處理裝置及方法
本揭露係有關於資訊處理裝置及方法,特別是有關於,可較容易進行子圖像之串流之選擇的資訊處理裝置及方法。
先前,作為HTTP(Hypertext Transfer Protocol)協定所致之適應性內容配訊技術的標準化規格,係有MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)(例如參照非專利文獻1、非專利文獻2)。
又,作為該MPEG-DASH的檔案格式,係有動畫壓縮的國際標準技術「MPEG-4(Moving Picture Experts Group - 4)」的檔案容器規格也就是ISOBMFF(International Organization for Standardization Base Media File Format)(例如參照非專利文獻3)。
順便一提,將像是所謂全天球映像這類,把水平方向之周圍360度及垂直方向之周圍180度之影像投影至立體結構而成的影像也就是立體結構影像,映射至平面影像而成為全天球影像(亦稱為投影平面影像)之配訊時,考慮利用MPEG-DASH。例如,把立體結構影像映射至單數的平面,該立體結構影像是作為被映射至平面的投影平面影像而進行配訊,藉此就可適用MPEG-DASH。此時,將1個全天球映像的投影平面影像(亦稱為全體圖像)分割成複數子圖像(sub-picture),並儲存至複數訊軌(track),此事也已被提案。此外,在識別sub-picture之顯示領域的情況下,首先根據sub-picture分割資訊而從sub-picture來建構出全體圖像之後,必須要根據region-wise packing資訊而將已被region-wise packing的全體圖像重新配置的處理,係為必須(例如參照非專利文獻4)。
[非專利文獻1] "Information technology . Dynamic adaptive streaming over HTTP (DASH) . Part 1: Media presentation description and segment formats", ISO/IEC23009-1, 2014/05
[非專利文獻2] "Information technology . Dynamic adaptive streaming over HTTP (DASH) . Part 1: Media presentation description and segment formats AMENDMENT2: Spatial relationship description, generalized URL parameters and other extensions", ISO/IEC 23009-1:2014/Amd 2:2015, 2015/07
[非專利文獻3] "Information technology - Coding of audio-visual objects - Part 12: ISO base media file format", ISO/IEC 14496-12, 2005-10-01
[非專利文獻4] Ye-Kui Wang, Youngkwon Lim,"MPEG#120 OMAF meeting agenda and minutes", ISO/IEC JTC1/SC29/WG11 MPEG2017/M41823, October 2017, Macau, China
[發明所欲解決之課題]
然而,在目前正在提案的方法中,未被進行sub-picture化的情況下,每一圖像領域地變更尺寸、位置的配置資訊(分割前之全體圖像的region-wise packing資訊),係在Sub Picture Composition Box之下的Region Wise Packing Box中被傳訊。因此,將sub-picture track予以選擇、再生的情況下,為了識別sub-picture track的projected picture上之顯示領域,必須要將Sub Picture Composition Box予以剖析,並識別region-wise packing資訊與sub-picture分割資訊,相較於將非sub-picture track之track予以選擇、再生的情況,恐怕導致其處理負荷增大。
本揭露係有鑑於此種狀況而研發,目的在於能夠較容易地進行子圖像之串流之選擇。

[用以解決課題之手段]
本技術之一側面的資訊處理裝置,係為一種資訊處理裝置,係具備:檔案生成部,係生成將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
本技術之一側面之資訊處理方法,係為一種資訊處理方法,其係生成將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
本技術之另一側面的資訊處理裝置,係為一種資訊處理裝置,係具備:檔案取得部,係取得將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案;和影像處理部,係基於已被前記檔案取得部所取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
本技術之另一側面的資訊處理方法,係一種資訊處理方法,其係取得將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案;基於已被取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
於本技術之一側面的資訊處理裝置及方法中,將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案,會被生成。
於本技術之另一側面的資訊處理裝置及方法中,將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案,會被取得;基於該已被取得之控制檔案中所含之該領域之相關資訊,影像編碼資料之串流的選擇會被進行。

[發明效果]
若依據本揭露,則可處理資訊。尤其是,可較容易地進行子圖像之串流之選擇。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,說明係用以下順序來進行。
1.sub-picture之相關資訊之傳訊
2.第1實施形態(sub-picture之顯示領域之傳訊,ISOBMFF之擴充)
3.第2實施形態(sub-picture之顯示領域之傳訊,MPD之擴充)
4.第3實施形態(全體圖像之雙視資訊之傳訊,ISOBMFF之擴充)
5.第4實施形態(全體圖像之雙視資訊之傳訊,MPD之擴充)
6.附記
<1.sub-picture之相關資訊之傳訊>
<支持技術內容、技術用語的文獻等>
本技術所揭露之範圍,係不只有實施形態中所記載的內容,還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1:(上述)
非專利文獻2:(上述)
非專利文獻3:(上述)
非專利文獻4:(上述)
亦即,上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使於實施形態中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。
<MPEG-DASH>
先前,例如像是非專利文獻1或非專利文獻2所記載,作為HTTP(Hypertext Transfer Protocol)協定所致之適應性內容配訊技術的標準化規格,係有MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)。
藉由該MPEG-DASH,可使用例如與從網站下載網際網路之網頁時相同的通訊協定也就是HTTP,以隨應於網路頻寬之變動的最佳位元速率來實現視訊再生。
藉由此標準規格,動畫配訊服務所需之基礎建設或適合動畫再生客戶端的技術開發,就可變得較為容易。尤其是,對於涉入配訊服務的事業者而言,除了可以提升動畫配訊服務與動畫再生客戶端之間的相容性,還具有可容易活用既存之內容資產的優點,可期待促進市場成長之效果。
MPEG-DASH,係主要是由2個技術企畫所構成。亦即描述了管理動畫或聲音檔案的後設資料的一種稱作MPD(Media Presentation Description)的規定了宣言檔案規格的規格、和實際傳達動畫內容所需之一種稱作區段格式(segment format)的檔案格式之運用規格。
作為該檔案格式,係例如有如非專利文獻3所記載,動畫壓縮的國際標準技術「MPEG-4(Moving Picture Experts Group - 4)」的檔案容器規格也就是ISOBMFF (International Organization for Standardization Base Media File Format)。在ISOBMFF中,為了滿足MPEG-DASH之要件所需之機能擴充,是作為ISO/IEC(International Organization for Standardization / International Electrotechnical Commission) 14496-12之擴充規格而被追加。
<使用了MPEG-DASH的全天球映像之配訊>
順便一提,將像是所謂的全天球映像這類,把水平方向之周圍360度及垂直方向之周圍180度之影像投影至立體結構而成的立體結構影像,映射至平面影像而成的投影平面影像,係為存在。例如,從將視點觀看周邊之影像(全天球映像)以該視點為中心而做立體結構地算圖而成為立體結構影像,藉此,可較自然地表現視點周邊之影像,或可容易從該立體結構影像生成所望之視線方向之影像等等。
近年來,在該投影平面影像(全天球映像等)之配訊時,考慮利用MPEG-DASH。例如非專利文獻4所記載,把立體結構影像映射至單數的平面,該立體結構影像是作為被映射至平面的投影平面影像而進行配訊,藉此就可適用MPEG-DASH。
作為投影至立體結構,並往平面進行映射的方法(亦稱為投影格式(projection format))係有,例如ERP (Equirectangular projection(正距圓筒))或CMP(Cubemap projection(方塊地圖))等。例如,ERP之情況下,水平方向之周圍360度及垂直方向之周圍180度之影像被投影至球狀之立體結構而成的立體結構影像,是對單數之平面,以球狀之立體結構的緯度方向與經度方向會呈正交的方式,而被映射。又,例如CMP之情況下,水平方向之周圍360度及垂直方向之周圍180度之影像被投影至立方體之各面而成的立體結構影像之各面係被展開,對單數之平面按照所定之順序排列而被映射。
如此全天球映像被投影、映射而成的投影平面影像,亦稱為投影圖像(projected picture)。亦即,所謂projected picture,係為按照每一projection format而決定的,表現全天球映像的2維影像(2維picture)。
非專利文獻4中所記載之MPEG-I Part2
Omnidirectional Media Format(ISO/IEC 23090-2)FDIS(Final Draft International Standards)(以下亦稱為OMAF)中,正在討論將1個全天球映像的投影平面影像(亦稱為全體圖像)分割成複數子圖像(sub-picture),並儲存至複數訊軌(track)的技術。
例如,按照特定之每一視野領域地,構成對應於視野的子圖像訊軌(sub-picture track),客戶端係隨應於自身的視野領域而將該sub-picture track加以選擇、再生,係有如此的使用案例。
<ISOBMFF檔案的Box階層結構>
圖1的Box階層結構11係表示,將全天球映像進行sub-picture track化時的ISOBMFF檔案的Box階層結構之例子。
如Box階層結構11所示,此時,在Track Group Box之下,關於全體圖像之資訊,係被儲存。例如,在Sub Picture Composition Box(spco)中,圖像是否被sub-picture化等,在sub-picture track之grouping時所被使用的資訊,係被儲存。又,在其下係形成有,Sub Picture Region Box (sprg)、Region Wise Packing Box(rwpk)、Stereo Video Box (stvi)等之Box。
在Sub Picture Region Box中係儲存有,表示sub-picture之分割方式等的sub-picture分割資訊。又,在Region Wise Packing Box中係儲存有,分割前的全體圖像的region-wise packing資訊。又,在Stereo Video Box中係儲存有,全體圖像之雙視顯示(立體視顯示)之相關資訊(雙視資訊)。所謂雙視資訊係為例如肩並肩(side by side)或上下併排(top & bottom)等,表示立體視覺顯示用影像之種類等的資訊。
又,在Media Box(mdia)之下的Media Information Box(minf)之下的Sample Table Box(stbl)之下的Sample Description Box(stsd)之下的Restricted Sample Entry(resv)(Sample Entry之一種)之下的Restricted Scheme Information Box(rinf)之下的Scheme Information Box(schi)之下,係被形成有Projected Omnidirectional Video Box (povd)、StereoVideoBox(stvi)等之Box。
在Projected Omnidirectional Video Box中係儲存有,關連於全天球映像的後設資料。在StereoVideoBox中係儲存有,有關該Box所對應之sub-picture的雙視資訊。
圖2的Box階層結構12係表示,不將全天球映像進行sub-picture track化時的ISOBMFF檔案的Box階層結構之例子。
如Box階層結構12所示,此情況下,Track Group Box係未被形成,Region Wise Packing Box係被形成在Projected Omnidirectional Video Box之下。
亦即,在有被sub-picture化的情況下,將每一圖像領域地變更尺寸、位置的配置資訊予以表示的Region Wise Packing Box,係只在Sub Picture Composition Box中被傳訊,具有分割前的全體圖像的region-wise packing資訊。相對於此,在未被sub-picture化的情況下,Region Wise Packing Box,係在Projected Omnidirectional Video Box中被傳訊,具有track中所被儲存之圖像的region-wise packing資訊。以下,將具有Sub Picture Composition Box的track,稱作sub-picture track。
<sub-picture track之選擇>
因此,隨著訊軌(track)是否為sub-picture track,還是未被sub-picture化的通常之track,客戶端用來識別該track之影像在投影平面影像(projected picture)上的顯示領域所需之處理會有所不同。例如,將sub-picture track予以選擇、再生的情況下,為了識別sub-picture track的projected picture上之顯示領域,必須要將Sub Picture Composition Box予以剖析,並識別region-wise packing資訊與sub-picture分割資訊。相對於此,將非sub-picture track之track予以選擇、再生的情況下,就不需要該處理。
圖3的語法21係表示Sub Picture Composition Box的語法之例子。如語法21所示,於該Sub Picture Composition Box中,Sub Picture Region Box與Region Wise Packing Box係被設置。
圖4的語法22係表示Sub Picture Region Box的語法之例子。如語法22所示,於該Sub Picture Region Box中,track_x、track_y、track_width、track_height、composition_width、composition_height等之欄位係被定義。
圖5的語意23係表示Sub Picture Region Box內所被定義之欄位的語意之例子。如語意23所示,track_x係表示,track中所被儲存之sub-picture的,在全體圖像上的水平方向位置。track_y係表示,track中所被儲存之sub-picture的,在全體圖像上的垂直方向位置。track_width係表示,track中所被儲存之sub-picture之寬度。track_height係表示,track中所被儲存之sub-picture之高度。composition_width係表示全體圖像之寬度。composition_height係表示全體圖像之高度。
圖6的語法24係表示Region Wise Packing Box的語法之例子。如語法24所示,於該Region Wise Packing Box中,Region Wise Packing Struct係被設置。
圖7的語法25係表示Region Wise Packing Struct的語法之例子。如語法25所示,於該Region Wise Packing Struct中,constituent_picture_matching_flag、num_regions、proj_picture_width、proj_picture_height、packed_picture_width、packed_picture_height、guard_band_flag[i]、packing_type[i]、GuardBand(i)等之欄位係被設置。
圖8的語意26係表示Region Wise Packing Struct內所被定義之欄位的語意之例子。如語意26所示,constituent_picture_matching_flag,係若圖像是雙視之情況下,則為表示對左目用檢視(Left view)及右目用檢視(Right view)是否適用相同之region-wise packing的旗標資訊。例如,若該欄位之值為0,則表示是單視(單視點檢視)、或者對Left view及Right view適用彼此互異之packing。又,若該欄位之值為1,則表示對Left view及Right view適用相同的packing。
又,num_regions係表示packed region之數量。proj_picture_width係表示projected picture之寬度。proj_picture_height係表示projected picture之高度。packed_picture_width係表示packed picture(已被region-wise packing的picture)之寬度。packed_picture_height係表示packed picture之高度。
又,guard_band_flag[i]係為,表示保護帶是否存在的旗標資訊。例如,若該欄位之值為0,則表示packed region中不存在保護帶,若該欄位之值為1,則表示packed region中存在有保護帶。packing_type[i]係表示packed region之形狀。例如若該欄位之值為0,則表示packed region係為矩形。GuardBand(i)係為領域周圍之保護帶資訊。
又,如語法25所示,於Region Wise Packing Struct中,係還被設置有RectRegionPacking。圖9的語法27係表示該RectRegionPacking的語法之例子。如語法27所示,於該RectRegionPacking中,proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、proj_reg_left[i]、transform_type[i]、packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]、packed_reg_left[i]等之欄位係被設置。
圖10的語意28係表示RectRegionPacking內所被定義之欄位的語意之例子。如語意28所示,proj_reg_width[i]係表示,region-wise packing適用來源的projected region之寬度。proj_reg_height[i]係表示,region-wise packing適用來源的projected region之高度。proj_reg_top[i]係表示,region-wise packing適用來源的projected region之垂直方向位置。proj_reg_left[i]係表示,region-wise packing適用來源的projected region之水平方向位置。transform_type[i]係表示packed region之旋轉或鏡射。packed_reg_width[i]係表示以region-wise packing而被重新配置的packed region之寬度。packed_reg_height[i]係表示以region-wise packing而被重新配置的packed region之高度。packed_reg_top[i]係表示以region-wise packing而被重新配置的packed region之垂直方向位置。packed_reg_left[i]係表示以region-wise packing而被重新配置的packed region之水平方向位置。
亦即,例如客戶端會隨著使用者之視野而選擇sub-picture track的此種情況下,必須要剖析這些資訊,相較於將非sub-picture track之track予以選擇、再生的情況,恐怕導致其處理負荷增大。
<雙視資訊之識別>
又,將雙視全天球映像之全體圖像予以sub-picture化的情況下,表示全體圖像之雙視資訊(全體圖像是哪種種類之立體視覺顯示用影像等)的Stereo Video Box,係在Sub Picture Composition Box中被傳訊,表示sub-picture之雙視資訊(sub-picture是哪種種類之立體視覺顯示用影像等)的Stereo Video Box,係在track的Sample Entry的Scheme Information Box下被傳訊。相對於此,在未被sub-picture化的情況下,Stereo Video Box,係只在Scheme Information Box下被傳訊,具有track中所被儲存之圖像的雙視資訊。
因此,隨著track是否為sub-picture track、或是未被sub-picture化的通常之track,客戶端用來識別該track之雙視資訊所需之處理會有所不同。例如,在全體圖像是雙視影像(立體視用影像)的情況,則已被分割之sub-picture track雖然會含有L view及R view,但會有畫格打包安排既非top & bottom也非side by side的情況。
因此,要識別此種sub-picture是否可用雙視加以顯示的情況下,必須要將Sub Picture Composition Box加以剖析,而是別region-wise packing資訊與sub-picture分割資訊、及雙視資訊的處理。相對於此,將非sub-picture track之track予以選擇、再生的情況下,就不需要該處理。
亦即,例如客戶端會隨應於自身之雙視顯示能力而選擇sub-picture track的情況下,相較於將非sub-picture track之track予以選擇、再生的情況,恐怕導致其處理負荷增大。
以上雖然說明了ISOBMFF檔案中的sub-picture track之選擇,但在MPD檔案中,sub-picture係作為適應集合(Adaptation Set)而被管理。至於參照該MPD檔案中的sub-picture而做的Adaptation Set之選擇也是基於同樣的理由,而恐怕導致處理負荷增大。亦即,無論是ISOBMFF檔案的情況或是MPD檔案的情況,恐怕會增大串流之選擇的負荷。
<sub-picture之顯示領域之傳訊>
於是,將全體圖像予以子圖像(sub-picture)化的情況下,設計成將該sub-picture之顯示領域之相關資訊予以傳訊(提供給內容之再生側)。所謂顯示領域,係指全體圖像中的領域。亦即,所謂sub-picture之顯示領域之相關資訊,係為對應於該sub-picture的圖像全體中的領域之相關資訊,亦即,表示sub-picture是位於全體圖像的哪個部分之影像的資訊。藉由該資訊,可以表示例如對應於sub-picture之領域的位置、大小、形狀等。領域的表現方法係為任意,例如亦可將領域之範圍以座標等而加以表示。
藉由如此設計,將內容進行再生的客戶端,係可基於該資訊,而掌握sub-picture是要被顯示在全天球映像中的何處。
此時,設計成將該sub-picture之顯示領域之相關資訊,作為每一sub-picture之資訊而予以傳訊。藉由如此設計,客戶端就可容易地獲得該資訊。因此,客戶端係可容易地選擇所望之子圖像之串流。例如,隨著使用者之視野而選擇串流的情況下,客戶端係可容易地選擇對應於該視野之方向或範圍的適切之串流。
<被sub-picture化的全體圖像之雙視資訊之傳訊>
又,設計成將被sub-picture化的圖像全體之雙視顯示之相關資訊也就是雙視資訊,予以傳訊。藉由如此設計,將內容進行再生的客戶端,係可基於該資訊而容易地掌握全體圖像是否為雙視影像(立體視用影像),或若為雙視影像的情況則可容易地掌握其種類(類型)等。藉此,客戶端係可容易地掌握sub-picture中所含之影像是哪種影像(例如是對應於哪種類型之雙視影像(或單視影像(單視點影像))的哪個部分等)。
因此,客戶端係可容易地選擇所望之串流。例如,隨著自身之能力(capability)而選擇串流的情況下,客戶端係可容易地選擇相應於自身之能力(capability)的適切之串流。
<檔案生成裝置>
接著說明,進行關於sub-picture之傳訊的裝置之構成。圖11係適用了本技術的資訊處理裝置之一態樣的檔案生成裝置之構成之一例的區塊圖。圖11所示的檔案生成裝置100,係為生成ISOBMFF檔案(區段檔案)或MPD檔案的裝置。例如,檔案生成裝置100,係實作非專利文獻1乃至非專利文獻4所中記載之技術,以符合MPEG-DASH的方法,生成含有串流的ISOBMFF檔案、或串流之配訊控制時所被使用的控制檔案也就是MPD檔案,將這些檔案,透過網路,上傳(發送)至將這些檔案進行配訊的伺服器。
此外,於圖11中係主要表示處理部或資料的流動等,圖11所示者並非全部。亦即,於檔案生成裝置100中,亦可存在有於圖11中未以區塊而被表示的處理部,亦可存在有於圖11中未以箭頭等而表示的處理或資料之流動。
如圖11所示,檔案生成裝置100係具有:控制部101、記憶體102、及檔案生成部103。
控制部101,係控制檔案生成裝置100的全體動作。例如控制部101,係控制檔案生成部103,使其生成ISOBMFF檔案或MPD檔案,或使其將已被生成之ISOBMFF檔案或MPD檔案予以上傳等等。控制部101,係利用記憶體102而進行如此控制的相關處理。例如,控制部101,係將所望之程式等載入記憶體102並執行之,藉此以進行如上述之控制的相關處理。
檔案生成部103,係依照控制部101之控制,而進行ISOBMFF檔案或MPD檔案之生成或上傳(送訊)的相關處理。如圖11所示,檔案生成部103係具有:資料輸入部111、資料編碼生成部112、MPD檔案生成部113、記錄部114、及上傳部115。
資料輸入部111,係進行資料輸入之受理的相關處理。例如,資料輸入部111係受理,紋理或網格之生成時所必須之影像等之資料、或MPD檔案之生成時所必須之後設資料等之輸入。又,資料輸入部111,係將已受理之資料,供給至資料編碼生成部112或MPD檔案生成部113。
資料編碼生成部112,係進行資料之編碼或檔案之生成的相關處理。例如,資料編碼生成部112,係基於從資料輸入部111所被供給之影像等之資料,而生成紋理或網格等之串流。又,資料編碼生成部112,係生成儲存已生成之串流的ISOBMFF檔案。又,資料編碼生成部112,係將已生成之ISOBMFF檔案,供給至記錄部114。
如圖11所示,資料編碼生成部112係具有:前處理部121、編碼部122、及區段檔案生成部123。
前處理部121,係對編碼前之影像等之資料進行處理。例如,前處理部121,係基於從資料輸入部111所被供給之影像等之資料,而生成紋理或網格之串流。又,例如,前處理部121,係將該已生成之串流,供給至編碼部122。
編碼部122,係進行串流之編碼的相關處理。例如,編碼部122,係將從前處理部121所被供給之串流,予以編碼。又,例如,編碼部122係將該編碼所得之編碼資料,供給至區段檔案生成部123。
區段檔案生成部123,係進行區段檔案之生成的相關處理。例如,區段檔案生成部123,係基於從資料輸入部111所被供給之後設資料等,而將從編碼部122所被供給之編碼資料,以區段單位進行檔案化(生成區段檔案)。又,例如,區段檔案生成部123,作為區段檔案之生成的相關處理,是將如以上所生成之ISOBMFF檔案,供給至記錄部114。例如,區段檔案生成部123,係生成ISOBMFF檔案來作為區段檔案,並將已生成之ISOBMFF檔案,供給至記錄部114。
MPD檔案生成部113,係進行MPD檔案之生成的相關處理。例如,MPD檔案生成部113,係基於從資料輸入部111所被供給之後設資料等,而生成MPD檔案。又,例如,MPD檔案生成部113係將已生成之MPD檔案,供給至記錄部114。此外,MPD檔案生成部113,係亦可將MPD檔案之生成時所必須的後設資料等,從區段檔案生成部123加以取得。
記錄部114係具有例如硬碟或半導體記憶體等之任意的記錄媒體,進行資料之記錄等的相關處理。例如,記錄部114,係將從MPD檔案生成部113所被供給之MPD檔案,予以記錄。又,例如,記錄部114係將從區段檔案生成部123所被供給之區段檔案(例如ISOBMFF檔案),予以記錄。
上傳部115,係進行檔案之上傳(送訊)的相關處理。例如,上傳部115,係將記錄部114中所被記錄之MPD檔案,予以讀出。又,例如,上傳部115,係將已讀出之MPD檔案,透過網路等,上傳(發送)至將MPD檔案配訊至客戶端等的伺服器(未圖示)。
又,例如,上傳部115,係將記錄部114中所被記錄之區段檔案(例如ISOBMFF檔案),予以讀出。又,例如,上傳部115,係將已讀出之這些區段檔案,透過網路等,上傳(發送)至將區段檔案配訊至客戶端等的伺服器(未圖示)。
亦即,上傳部115係作為,將MPD檔案或區段檔案(例如ISOBMFF檔案)發送至伺服器的通訊部而發揮機能。此外,上傳部115所致之MPD檔案之送訊目的地與區段檔案(例如ISOBMFF檔案)之送訊目的地,係可彼此相同,也可彼此互異。又,此處雖然針對,檔案生成裝置100是作為,將MPD檔案或區段檔案(例如ISOBMFF檔案),上傳至將這些檔案配訊給客戶端的伺服器的裝置而發揮機能的例子來做說明,但檔案生成裝置100亦可成為該伺服器而發揮機能。此情況下,檔案生成裝置100的上傳部115,係只要透過網路而將MPD檔案或區段檔案(例如ISOBMFF檔案)配訊至客戶端即可。
<客戶端裝置>
圖12係適用了本技術的資訊處理裝置之一態樣的客戶端裝置之構成之一例的區塊圖。圖12所示的客戶端裝置200係為,將MPD檔案或區段檔案(例如ISOBMFF檔案)加以取得,並基於這些檔案而再生內容的裝置。例如,客戶端裝置200,係實作非專利文獻1乃至非專利文獻4中所記載之技術,以符合MPEG-DASH的方法,將區段檔案從伺服器(或上述的檔案生成裝置100)加以取得,將該區段檔案中所含之串流(內容)予以再生。此時,客戶端裝置200係亦可為,將MPD檔案從伺服器(或上述的檔案生成裝置100)加以取得,利用該MPD檔案而選擇所望之區段檔案,並從伺服器加以取得。
此外,於圖12中係主要表示處理部或資料的流動等,圖12所示者並非全部。亦即,於客戶端裝置200中,亦可存在有於圖12中未以區塊而被表示的處理部,亦可存在有於圖12中未以箭頭等而表示的處理或資料之流動。
如圖12所示,客戶端裝置200係具有:控制部201、記憶體202、及再生處理部203。
控制部201,係控制客戶端裝置200的全體動作。例如控制部201,係控制再生處理部203,令其從伺服器取得MPD檔案或區段檔案(例如ISOBMFF檔案),或令其將區段檔案中所含之串流(內容)予以再生等等。控制部201,係利用記憶體202而進行如此控制的相關處理。例如,控制部201,係將所望之程式等載入記憶體202並執行之,藉此以進行如上述之控制的相關處理。
再生處理部203,係依照控制部201之控制,而進行區段檔案中所含之串流(內容)之再生的相關處理。如圖12所示,再生處理部203係具有:計測部211、MPD檔案取得部212、MPD檔案處理部213、區段檔案取得部214、顯示控制部215、資料解析解碼部216、及顯示部217。
計測部211,係進行計測的相關處理。例如,計測部211,係計測客戶端裝置200與伺服器之間的網路之傳輸頻寬。又,例如,計測部211,係將其計測結果,供給至MPD檔案處理部213。
MPD檔案取得部212,係進行MPD檔案之取得的相關處理。例如,MPD檔案取得部212,係將所望之內容(要再生的內容)所對應之MPD檔案,透過網路而從伺服器加以取得。又,例如,MPD檔案取得部212,係將已取得之MPD檔案,供給至MPD檔案處理部213。
MPD檔案處理部213,係基於MPD檔案進行處理。例如,MPD檔案處理部213,係基於從MPD檔案取得部212所被供給之MPD檔案,來選擇要取得的串流。又,例如,MPD檔案處理部213,係將其選擇結果,供給至區段檔案取得部214。此外,在要取得的串流之選擇時,也會適宜利用從計測部211所被供給的計測結果、或從顯示控制部215所被供給的使用者的視點位置或視線方向之相關資訊。
區段檔案取得部214,係進行區段檔案(例如ISOBMFF檔案)之取得的相關處理。例如,區段檔案取得部214,係將所望之內容之再生時所必須之串流所被儲存的區段檔案,透過網路而從伺服器加以取得。又,例如,區段檔案取得部214,係將已取得之區段檔案,供給至資料解析解碼部216。
此外,讓區段檔案取得部214取得區段檔案(例如ISOBMFF檔案)的伺服器,係可和讓MPD檔案取得部212取得MPD檔案的伺服器相同,亦可為不同。又,亦可為,區段檔案取得部214,係基於從MPD檔案處理部213所被供給之串流之選擇結果,而取得區段檔案。亦即,亦可為,區段檔案取得部214,是將基於MPD檔案等而被選擇之串流所被儲存之區段檔案,從伺服器加以取得。
顯示控制部215,係進行內容之再生(顯示)之控制的相關處理。例如,顯示控制部215,係將觀賞內容的使用者的視點位置或視線方向之偵測結果,加以取得。又,例如,顯示控制部215,係將該已取得之偵測結果(使用者的視點位置或視線方向之相關資訊),供給至MPD檔案處理部213或資料解析解碼部216。
資料解析解碼部216,係進行資料之解析或解碼等的相關處理。例如,資料解析解碼部216,係將從區段檔案取得部214所被供給之ISOBMFF檔案加以處理,並生成內容的顯示用影像。又,資料解析解碼部216,係將該顯示用影像之資料,供給至顯示部217。
圖12所示,資料解析解碼部216係具有:區段檔案處理部221、解碼部222、及顯示資訊生成部223。
區段檔案處理部221,係對區段檔案(例如ISOBMFF檔案)進行處理。例如,區段檔案處理部221,係從區段檔案取得部214所被供給之ISOBMFF檔案中,抽出所望之串流的編碼資料。又,例如,區段檔案處理部221,係將已抽出之編碼資料,供給至解碼部222。
此外,亦可為,區段檔案處理部221,是基於從顯示控制部215所被供給之使用者之視點位置或視線方向之相關資訊或於計測部211中所被計測到的傳輸頻寬等,來選擇串流,將該串流的編碼資料,從區段檔案予以抽出。
解碼部222,係進行解碼的相關處理。例如,解碼部222,係將從區段檔案處理部221所被供給之編碼資料,予以解碼。又,例如,解碼部222,係將該解碼所得之串流,供給至顯示資訊生成部223。
顯示資訊生成部223,係進行顯示用影像之資料之生成的相關處理。例如,顯示資訊生成部223,係基於從顯示控制部215所被供給之使用者的視點位置或視線方向之相關資訊、和從解碼部222所被供給之串流,而生成相應於使用者的視點位置或視線方向的顯示用影像之資料。又,例如,顯示資訊生成部223,係將已被生成的顯示用影像之資料,供給至顯示部217。
顯示部217,係具有例如使用液晶顯示面板的顯示器或投影機等任意之顯示裝置,進行使用到該顯示裝置的影像顯示的相關處理。例如,顯示部217,係基於從顯示資訊生成部223所被供給之資料,而進行影像顯示等之內容再生。
<2.第1實施形態>
<ISOBMFF所致之sub-picture之顯示領域資訊之傳訊>
上述的sub-picture之顯示領域之相關資訊之傳訊,亦可於區段檔案也就是ISOBMFF檔案中進行之。
亦即,亦可設計成,會生成檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有該子圖像所被編碼而成之影像編碼資料。
例如,在屬於資訊處理裝置的檔案生成裝置100中,亦可由區段檔案生成部123來發揮機能而成為檔案生成部,而生成檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有該子圖像所被編碼而成之影像編碼資料。亦即亦可讓資訊處理裝置(例如檔案生成裝置100),具備檔案生成部(例如區段檔案生成部123)。
藉由如此設計,如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,於ISOBMFF檔案中,串流係以訊軌(track)的方式而被管理。亦即,使用ISOBMFF檔案的情況下,藉由選擇track,就會進行串流之選擇。
又,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。全天球映像係為,以視點為中心的全方位之影像(亦即從視點觀看的周邊之影像)。該全天球映像,係可進行立體結構地算圖而成為水平方向之周圍360度及垂直方向之周圍180度之影像。如上述,藉由將立體結構影像映射至單數的平面而成為投影平面影像,就可適用MPEG-DASH來做串流配訊控制。亦即,檔案生成裝置100,將如此的投影平面影像之全部或一部當作全體圖像,將其進行sub-picture化的情況下,可如上述般地適用本技術。此外,即使將投影平面影像之一部當作全體圖像的情況下也是,sub-picture於投影平面影像全部中的顯示領域之相關資訊,會被傳訊。
例如,如圖13所示,水平方向之周圍360度及垂直方向之周圍180度之影像是藉由Cubemap projection而被投影至立體結構(立方體)而生成立體結構影像301。又,該立體結構影像301係以所定之方法而被投影至單數之平面,生成投影平面影像(projected picture)302。檔案生成裝置100,係將如此的投影平面影像302進行sub-picture化,生成sub-pictures(sub-picture303乃至sub-picture308),並生成將其分別儲存至彼此互異之track的ISOBMFF檔案。
此時,檔案生成裝置100,係如箭頭311所示,會將表示哪個sub-picture是對應於全體圖像(投影平面影像302)之哪個部分的資訊(顯示領域資訊),於ISOBMFF檔案中進行傳訊。
藉由如此設計,即使在將全天球影像進行配訊的情況下,仍可如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在ISOBMFF檔案中。藉由如此設計,客戶端係只要藉由參照sub-picture track之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<上傳處理之流程>
此時的圖11的檔案生成裝置100所執行的上傳處理的流程之例子,參照圖14的流程圖來加以說明。
一旦上傳處理被開始,則檔案生成裝置100的資料輸入部111,係於步驟S101中,取得影像和後設資料。
於步驟S102中,區段檔案生成部123係生成,以每一sub-picture之資訊之方式而含有於projected picture中的顯示領域資訊的ISOBMFF檔案。
於步驟S103中,記錄部114係將步驟S102之處理所生成的ISOBMFF檔案,予以記錄。
於步驟S104中,上傳部115係將步驟S103中所被記錄之ISOBMFF檔案,從記錄部114予以讀出,並將其上傳至伺服器。
一旦步驟S104的處理結束,則上傳處理就結束。
藉由如以上般地進行上傳處理,檔案生成裝置100係可生成,以每一sub-picture之資訊之方式而含有於projected picture中的顯示領域資訊的ISOBMFF檔案。
因此,客戶端,係可基於該資訊,而較容易地選擇並再生相應於使用者之視野等的適切之串流。
<被ISOBMFF所傳訊之sub-picture之顯示領域資訊之利用>
又,亦可利用被ISOBMFF檔案所傳訊之sub-picture之顯示領域之相關資訊而進行串流之選擇或再生。
亦即,亦可為,取得將所被儲存之子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有該子圖像所被編碼而成之影像編碼資料的檔案,並基於該已被取得之檔案中所含之該領域之相關資訊,來進行影像編碼資料之串流之選擇。
例如,在屬於資訊處理裝置的客戶端裝置200中,亦可為,由區段檔案取得部214來發揮機能成為檔案取得部,而取得檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有該子圖像所被編碼而成之影像編碼資料;由資料解析解碼部216來發揮機能而成為影像處理部,基於已被該檔案取得部所取得之檔案中所含之該領域之相關資訊,來進行影像編碼資料之串流之選擇。亦即,亦可讓資訊處理裝置(例如客戶端裝置200),具備檔案取得部(例如區段檔案取得部214)、和影像處理部(例如資料解析解碼部216)。
藉由如此設計,客戶端裝置200就可較容易地進行串流之選擇。
此外,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,客戶端裝置200,係將如此的投影平面影像之全部或一部當作全體圖像並將其進行sub-picture化而成的串流加以取得、進行再生的情況下,也可如上述般地適用本技術。
又,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在ISOBMFF檔案中。藉由如此設計,客戶端裝置200係只要藉由參照sub-picture track之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<內容再生處理之流程>
此時的客戶端裝置200所執行的內容再生處理的流程之例子,參照圖15的流程圖來加以說明。
一旦內容再生處理被開始,則客戶端裝置200的區段檔案取得部214,係於步驟S121中取得,以每一sub-picture之資訊的方式而含有於projected picture中的顯示領域資訊的ISOBMFF檔案。
於步驟S122中,顯示控制部215係取得使用者的視點位置(及視線方向)之計測結果。
於步驟S123中,計測部211係計測伺服器與客戶端裝置200之間的網路之傳輸頻寬。
於步驟S124中,區段檔案處理部221,係將相當(對應)於客戶端裝置200之使用者之視野的sub-picture track,基於該sub-picture的於projected picture中的顯示領域資訊,而加以選擇。
於步驟S125中,區段檔案處理部221,係將步驟S124中所選擇之track之串流的編碼資料,從步驟S121中所取得的ISOBMFF檔案,予以抽出。
於步驟S126中,解碼部222係將步驟S125中所抽出之串流的編碼資料,加以解碼。
於步驟S127中,顯示資訊生成部223係將步驟S126中被解碼所得的串流(內容),予以再生。更具體而言,顯示資訊生成部223,係從該串流生成顯示用影像之資料,將其供給至顯示部217而顯示之。
一旦步驟S127的處理結束,則內容再生處理就結束。
藉由如以上般地進行內容再生處理,客戶端裝置200係可利用ISOBMFF檔案中所含之sub-picture之顯示領域之相關資訊,而可較容易地選擇串流。例如,客戶端裝置200,係可基於該資訊,而容易地選擇相應於使用者之視野的適切之串流。
<2D Coverage Information Box所致之定義>
如上述,檔案生成裝置100的區段檔案生成部123,係於OMAF的ISOBMFF檔案中,新增定義了表示sub-picture是相當於projected picture中的哪個部分之顯示的sub-picture之顯示領域資訊,並在track中進行傳訊。亦即,區段檔案生成部123,係將sub-picture之顯示領域資訊,作為每一子圖像之資訊而加以定義。
例如,區段檔案生成部123,作為該sub-picture之顯示領域資訊是定義2D Coverage Information Box,並作為與Region Wise Packing Box不同之Box而予以傳訊。例如,區段檔案生成部123,係將該2D Coverage Information Box,定義在Scheme Information Box中。例如,區段檔案生成部123,係亦可將該2D Coverage Information Box,定義在Scheme Information Box之下的Projected Omnidirectional Video Box中。又,區段檔案生成部123,亦可將該2D Coverage Information Box,定義在其他的Box中。
亦即,sub-picture之顯示領域資訊(訊軌中所被儲存之子圖像所對應之圖像全體中的領域之相關資訊),係亦可被儲存在,不同於Region Wise Packing Box的,ISOBMFF檔案的Scheme Information Box、或該Scheme Information Box之下階層的Box中。
藉由如此設計,客戶端裝置200,係不必剖析Sub Picture Composition Box,就可容易地將sub-picture track予以選擇、再生。
此外,該2D Coverage Information Box,係無論是在track中所被儲存之圖像(picture)並非sub-picture的情況、或Region Wise Packing Box為不存在的情況(圖像未被Region Wise Packing的情況)下,都可使用於顯示領域資訊之傳訊。
圖16的語法331係表示,該2D Coverage Information Box的語法之例子。如語法331所示,於2D Coverage Information Box中,proj_picture_width、proj_picture_height、proj_reg_width、proj_reg_height、proj_reg_top,proj_reg_left等之欄位係被設置。
圖17的語意332係表示,於該2D Coverage Information Box中所被定義之欄位的語意之例子。如語意332所示,proj_picture_width係表示projected picture之寬度。proj_picture_height係表示projected picture之高度。proj_reg_width係表示,track的picture所對應的,於projected picture上之領域的寬度。proj_reg_height係表示,track的picture所對應的,於projected picture上之領域的高度。proj_reg_top係表示,track的picture所對應的,於projected picture上之領域的垂直方向座標。proj_reg_left係表示,track的picture所對應的,於projected picture上之領域的水平方向座標。
亦即,如圖18所示的各種資訊,是於2D Coverage Information Box中被定義。
此外,這些各欄位,係亦可用實際的像素數來表示,也可用proj_reg_width、proj_reg_height、proj_reg_top、及proj_reg_left相對於proj_picture_width及proj_picture_height的相對值來表示。以實際的像素數來表示的情況下,對於隨著客戶端的顯示器之解析度而選擇track的情況而言,是有用的。
客戶端裝置200,係藉由參照如此構成之sub-picture track的2D Coverage Information Box,就可不必剖析Sub Picture Composition Box即可容易地識別sub-picture track之顯示領域。藉此,客戶端裝置200係可例如,可較容易地隨應於使用者之視野來進行sub-picture track之選擇。此外,至於非sub-picture track之track也是,客戶端裝置200係可藉由同樣的處理來做選擇。
又,亦可設計成,於圖3的語法21中所示的Sub Picture Composition Box中,如圖73的語法1001所示般地追加定義identical_to_proj_pic_flag欄位,表示全體圖像是否和projected picture相同,若全體圖像是和projected picture相同,則圖4的語法22中所示的Sub Picture Region Box係表示sub-picture track之顯示領域資訊。identical_to_proj_pic_flag欄位之值係為例如,0是表示全體圖像與projected picture不同,1是表示全體圖像與projected picture相同。
此時,identical_to_proj_pic_flag欄位為1的情況下,則全體圖像係不被進行region-wise packing處理,圖5的語意23所示的Sub Picture Region Box的track_x、track_y、track_width、track_height、composition_width、composition_height欄位之語意,係分別和圖17的語意332所示的2D Coverage Information Box的proj_reg_left、proj_reg_top、proj_reg_width、proj_reg_height、proj_picture_width、proj_picture_height欄位之語意相同。
此外,identical_to_proj_pic_flag欄位係亦可被追加定義在Sub Picture Region Box中,亦可在其他的Box中做定義。又,亦可藉由特定的Box之有無,來表示全體圖像是否和projected picture相同。
又,亦可利用Sub Picture Composition Box、或將FullBox予以擴充而成的其他的Box所共通持有的24bit之flags的1bit,來表示全體圖像是否與projected picture相同。
<sub-picture中含有不連續之領域的情況>
此外,在圖16的語法331中,如圖19般地sub-picture含有在projected picture上呈不連續之領域的情況下,就無法支援。圖19的例子的情況下,projected picture351係被sub-picture化,而形成了sub-picture352乃至sub-picture355。此情況下,在sub-picture352中係含有,立體結構影像中的Left面及Right面(Left面及Right面係為相鄰)。該Left面及Right面,係於projected picture351中呈不連續。又,在sub-picture353中係含有,立體結構影像中的Top面及Bottom面(Top面及Bottom面係為相鄰)。該Top面及Bottom面,係於projected picture351中呈不連續。
在圖16的語法331中,由於只能夠指定projected picture的1個整片的領域,因此無法指定此種不連續的複數領域。
於是,亦可設計成,於2D Coverage Information Box中,使其可以指定複數領域,而可指定projected picture中的不連續的複數領域。
圖20的語法371係表示,此時的2D Coverage Information Box的語法之例子。如語法371所示,此情況下,num_regions欄位,係為被追加定義的欄位。圖21的語意372係表示,此時的2D Coverage Information Box中所被追加之欄位的語意之例子。如語意372所示,num_regions係表示,該sub-picture中所含之projected picture上的領域數。
亦即,此情況下,於2D Coverage Information Box中,是使用num_regions欄位,按照projected picture之每一領域地(彼此獨立地),定義圖17所示的各欄位。因此,可指定projected picture的複數領域。藉此,projected picture的不連續之顯示領域之傳訊就成為可能。
此外,2D Coverage Information Box是在Sub Picture Composition Box中被傳訊的情況下,亦可將全體圖像(projected picture)中的顯示領域予以傳訊。
又,亦可為,只要2D Coverage Information Box是不存在於track的Projected Omnidirectional Video Box中,就表示該track是儲存了360°全天球之映像。同樣地,亦可為,只要2D Coverage Information Box是不存在於Sub Picture Composition Box中,就表示sub-picture track所構成的全體圖像是360°全天球之映像。
<Region Wise Packing Box之擴充>
亦可將OMAF中所被規定的Region Wise Packing Box內的Region Wise Packing Struct予以擴充,而將track的sub-picture是相當於projected picture的哪個部分之顯示領域,予以傳訊。Region Wise Packing Box的傳訊場所,係為sub-picture track的Sample Entry的Projected Omnidirectional Video Box下。此外,該Region Wise Packing Box,係亦可在其他的場所中被傳訊。
例如,新定義了表示要將sub-picture之顯示領域資訊予以傳訊的旗標,和將sub-picture之顯示領域資訊予以傳訊的Rect Projected Region結構,以Region Wise Packing Struct進行傳訊。此外,該Region Wise Packing Struct,係即使在track中所被儲存之picture並非sub-picture的情況下,仍可使用於該顯示領域資訊之傳訊。
圖22的語法373係表示,此時的Region Wise Packing Struct的語法之例子。如語法373所示,此情況下,2D_coverage_flag欄位,係為於Region Wise Packing Struct中被追加定義的欄位。圖23的語意374係表示,此時的Region Wise Packing Struct中所被追加定義之欄位的語意之例子。如語意374所示,2D_coverage_flag係為,表示是否只將projected picture上的顯示領域予以傳訊的旗標資訊。例如,若該欄位之值為0,則表示要將region-wise packing資訊予以傳訊。又,若該欄位之值為1,則表示要將projected picture上的顯示領域予以傳訊。
此外,此時的Region Wise Packing Struct中,係還被定義有RectProjetedRegion。圖24的語法375係表示該RectProjetedRegion的語法之例子。如語法375所示,於該RectProjetedRegion中,proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、proj_reg_left[i]等之欄位係被定義。
圖25的語意376係表示於該RectProjetedRegion中所被定義之欄位的語意之例子。如語意376所示,proj_reg_width係表示,track的picture所對應的,於projected picture上之領域的寬度。proj_reg_height係表示,track的picture所對應的,於projected picture上之領域的高度。proj_reg_top係表示,track的picture所對應的,於projected picture上之領域的垂直方向座標。proj_reg_left係表示,track的picture所對應的,於projected picture上之領域的水平方向座標。
此外,上記各欄位,係亦可用實際的像素數來表示,也可用proj_reg_width、proj_reg_height、proj_reg_top及proj_reg_left相對於Region Wise Packing Struct中所被傳訊之proj_picture_width及proj_picture_height的相對值來表示。
又,亦可將Rect Wise Packing Struct予以擴充,當2D_coverage_flag==1時就只將projected picture中的顯示領域資訊予以傳訊。
圖26的語法377係表示,此時的Rect Wise Packing Struct的語法之例子。圖27的語法378係為,此時的Rect Wise Packing Struct中所被設置的RectRegionPacking的語法之例子的圖示。
<Coverage Information Box之擴充>
亦可將OMAF中所被定義之表示track於球面上之顯示領域的Coverage Information Box予以擴充,而可藉由新定義的2D Content Coverage Struct而將projected picture上的顯示領域予以傳訊。
亦即,sub-picture之顯示領域資訊(訊軌中所被儲存之子圖像所對應之圖像全體中的領域之相關資訊),係亦可被儲存在,ISOBMFF檔案的,表示訊軌的於球面上之顯示領域的Coverage Information Box中。
圖28的語法379係表示,已擴充之Coverage
Information Box的語法之例子。如語法379所示,此時的Coverage Information Box中,2D_coverage_flag、ContentCoverageStruct()、2DContentCoverageStruct()係被定義。
圖29的語意380係表示這些欄位的語意之例子。如語意380所示,2D_coverage_flag係為將顯示領域資訊之類型予以傳訊的旗標資訊。若其值為0,則表示要將球面上顯示領域資訊予以傳訊,若其值為1,則表示要將projected picture上的顯示領域予以傳訊。ContentCoverageStruct(),係將track的球面上顯示領域予以傳訊。2DContentCoverageStruct(),係將track的projected picture上的顯示領域予以傳訊。2D Content Coverage Struct內的欄位,係和圖20的2D Coverage Information Box相同。
此外,亦可將Content Coverage Struct予以擴充,除了球面上顯示領域以外,還將projected picture上的顯示領域予以傳訊。
<sub-picture之分割方法為動態地變化時的訊令>
以上說明了,sub-picture之分割方法在串流中不會動態地變化時的訊令。相對於此,在分割方法會動態地變化的情況下,projected picture中的sub-picture之顯示領域資訊會在串流中動態地變化。此情況下,上述的例子就無法支援。
於是,以下說明,用來傳訊sub-picture的動態變化之顯示領域資訊所需之追加訊令例。此外,所被傳訊的資訊,係和上述的2D Coverage Information Box中所被傳訊的資訊(例如圖16等)相同。
<Supplemental Enhancement Information (SEI) message>
於HEVC、AVC中,亦可新增定義2D Coverage Information SEI message,並在其中,將會在串流中動態地變化的sub-picture之顯示領域資訊,以存取單元單位予以傳訊。
亦即,sub-picture之顯示領域資訊(訊軌中所被儲存之子圖像所對應之圖像全體中的領域之相關資訊),係亦可被儲存在,ISOBMFF檔案的Supplemental Enhancement information message中。
圖30的語法381係表示,此時的2D Coverage Information SEI message的語法之例子。如語法381所示,於2D Coverage Information SEI message中,
2D_coverage_information_cancel_flag、
2D_coverage_information_persistence_flag、
2D_coverage_information reserved_zero_6bits、
proj_picture_width、proj_picture_height、num_regions、
proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、proj_reg_left[i]等係被設置。
圖31的語意382係表示,於該2D Coverage Information SEI message中所被定義之欄位的語意之例子。如語意382所示,2D_coverage_information_cancel_flag係為,關於2D_coverage_information之取消的旗標資訊。若其值為1,則輸出順序上先行的SEI之持續性適用會被取消。又,若其值為0,則2D coverage資訊會被傳訊。
2D_coverage_information_persitence_flag,係為關於SEI之適用範圍的旗標資訊。若其值為0,則只對含有SEI的圖像,適用SEI之資訊。又,若其值為1,則SEI的適用係會一直持續到,新的coded video sequence被開始,或是抵達串流之末尾為止。
2D_coverage_information_reserved_zero_6bits,係以0填滿。proj_picture_width係表示projected picture之寬度。proj_picture_height係表示projected picture之高度。num_regions係表示projected picture上的領域數。proj_reg_width係表示,串流所對應的,於projected picture上之領域的寬度。proj_reg_height係表示,串流所對應的,於projected picture上之領域的高度。proj_reg_top係表示,串流所對應的,於projected picture上之領域的垂直方向座標。proj_reg_left係表示,串流所對應的,於projected picture上之領域的水平方向座標。
此外,上記各欄位,係亦可用實際的像素數來表示,也可用proj_reg_width、proj_reg_height、proj_reg_top及proj_reg_left相對於proj_picture_width及proj_picture_height的相對值來表示。
<Timed metadata>
又,亦可利用儲存時序性變化之後設資料的串流也就是timed metadata之機制,來新增定義2D Coverage Information timed metadata,並在其中,將會在所參照之串流內做動態地變化的sub-picture之顯示領域資訊,予以傳訊。對2D Coverage Information timed metadata所對應關連之track的track reference type,係使用例如'2dco'。
亦即,sub-picture之顯示領域資訊(訊軌中所被儲存之子圖像所對應之圖像全體中的領域之相關資訊),係亦可被儲存在,ISOBMFF檔案的timed metadata中。
藉由使用timed metadata,客戶端即使不將sub-picture串流進行解碼,仍可事前識別會動態改變的顯示領域,而作為要選擇哪個串流的基準。
圖32的語法383係表示,2D Coverage Information Sample Entry的語法之例子。圖33的語法384係表示,2D Coverage Information Sample的語法之例子。
在2D Coverage Information Sample Entry中,一般在串流中為不變的proj_picture_width、proj_picture_height,係被傳訊。此外,若這些會在串流中發生變化的情況下,則亦可於2DCoverageInformationSample內被傳訊。
此外,2D Coverage Information Sample Entry及2D Coverage Information Sample內的各欄位(field)之語意,係和圖17及圖21相同。
<Sample Group>
亦可使用ISOBMFF中所被定義的,以sample單位將後設資訊建立關連的機制也就是Sample Group此一工具,而將會在串流內動態地變化的sub-picture之顯示領域資訊,以sample單位予以傳訊。
後設資訊所被描述的Sample Group,係如圖34所示,在樣本表箱盒(Sample Table Box)的樣本群組描述箱盒(Sample Group Description Box)中作為群組項目(Group Entry)而被傳訊,並透過樣本對群組箱盒(Sample To Group Box),而與sample建立關連。
如圖34所示,Sample To Group Box的群組化類型(grouping_type),係表示所被建立關連的Sample Group Description Box的grouping_type。每1項目(1 entry)地,樣本計數(sample_count)與群組描述索引(group_description_index)會被傳訊,該group_description_index,係表示建立關連之群組項目(Group Entry)的索引(index),sample_count係表示該Group Entry中所屬之樣本(sample)之數量。
例如,亦可新定義2D Coverage Information Sample Group Entry,將會在串流內動態地變化的sub-picture之顯示領域資訊,儲存在其中。
亦即,sub-picture之顯示領域資訊(訊軌中所被儲存之子圖像所對應之圖像全體中的領域之相關資訊),係亦可被儲存在,ISOBMFF檔案的Sample Group Entry中。
圖35的語法391係表示,該2D Coverage Information Sample Group Entry的語法之例子。該Sample Group Entry,係如上述,是在Sample Group Description Box中被傳訊,藉由Sample To Group Box,sample與Sample Group Entry係被建立關連。grouping_type係為'2cgp'。
此外,該2D Coverage Information Sample Group Entry內的各欄位之語意,係和圖16及圖21相同。
此外,上述的3個例子(Supplemental Enhancement Information (SEI) message、Timed metadata、Sample Group),係於track中所被儲存之picture並非sub-picture的情況下,仍然可以使用於動態變化之顯示領域資訊的傳訊。
又,如以上般地sub-picture於projected picture上的顯示領域會動態變化的情況下,Projected Omnidirectional Video Box中所被傳訊的2D Coverage Information Box之資訊,係可作為串流之顯示領域的初期值。
又,亦可將表示在串流中sub-picture於projected picture上的顯示領域會動態變化的旗標,在2D Coverage Information Box、或其他的Box內進行傳訊。藉由該資訊,客戶端係可容易地識別這是顯示領域會動態變化的串流。
<3.第2實施形態>
<MPD檔案所致之sub-picture之顯示領域之相關資訊之傳訊>
上述的sub-picture之顯示領域之相關資訊之傳訊,亦可於MPD檔案中進行之。亦即,為了可讓客戶端,將參照sub-picture的Adaptation Set,隨應於例如使用者之視野而加以選擇、再生,而亦可在MPD檔案中,新增定義sub-picture於projected picture上的顯示領域資訊,並在Adaptation Set中進行傳訊。
亦即,亦可生成,將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案。
例如,亦可於屬於資訊處理裝置的檔案生成裝置100中,由MPD檔案生成部113來發揮機能成為檔案生成部,而生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案。亦即亦可讓資訊處理裝置(例如檔案生成裝置100),具備檔案生成部(例如MPD檔案生成部113)。
藉由如此設計,如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,於MPD檔案中,每一串流之後設資料係作為適應集合(Adaptation Set)或表示法(Representation)而被管理。亦即,使用MPD檔案的情況下,藉由選擇適應集合(Adaptation Set)或表示法(Representation),以進行串流之選擇。
又,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,檔案生成裝置100,將如此的投影平面影像之全部或一部當作全體圖像,將其進行sub-picture化的情況下,可如上述般地適用本技術。
藉由如此設計,即使在將全天球影像進行配訊的情況下,仍可如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在MPD檔案中。藉由如此設計,客戶端係只要藉由參照Adaptation Set所參照的sub-picture之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<上傳處理之流程>
此時的圖11的檔案生成裝置100所執行的上傳處理的流程之例子,參照圖36的流程圖來加以說明。
一旦上傳處理被開始,則檔案生成裝置100的資料輸入部111,係於步驟S201中,取得影像和後設資料。
於步驟S202中,區段檔案生成部123係生成該影像之區段檔案。
於步驟S203中,MPD檔案生成部113係生成,以每一sub-picture之資訊之方式而含有projected picture中的顯示領域資訊的MPD檔案。
於步驟S204中,記錄部114係將步驟S202之處理所生成的區段檔案,予以記錄。又,記錄部114係將步驟S203之處理所生成的MPD檔案,予以記錄。
於步驟S205中,上傳部115係將步驟S204中所被記錄之區段檔案,從記錄部114予以讀出,並將其上傳至伺服器。又,上傳部115係將步驟S204中所被記錄之MPD檔案,從記錄部114予以讀出,並將其上傳至伺服器。
一旦步驟S204的處理結束,則上傳處理就結束。
藉由如以上般地進行上傳處理,檔案生成裝置100係可生成,以每一sub-picture之資訊之方式而含有於projected picture中的顯示領域資訊的MPD檔案。
因此,客戶端,係可基於該顯示領域資訊,而例如可較容易地選擇並再生相應於使用者之視野的適切之串流。
<MPD檔案中所被傳訊之sub-picture之顯示領域之相關資訊之利用>
又,亦可利用被MPD檔案所傳訊之sub-picture之顯示領域之相關資訊而進行串流之選擇。
亦即,亦可取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案,基於該已被取得之控制檔案中所含之該領域之相關資訊,來進行影像編碼資料之串流之選擇。
例如,亦可在屬於資訊處理裝置的客戶端裝置200中,由MPD檔案取得部212來發揮機能成為檔案取得部,係取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將該子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,影像編碼資料之配訊控制時所被使用之控制檔案,由MPD檔案處理部213來發揮機能而成為影像處理部,基於已被該檔案取得部所取得之控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。亦即,亦可讓資訊處理裝置(例如客戶端裝置200),具備檔案取得部(例如MPD檔案取得部212)、和影像處理部(例如MPD檔案處理部213)。
藉由如此設計,客戶端裝置200就可較容易地進行串流之選擇。
此外,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,客戶端裝置200,係將如此的投影平面影像之全部或一部當作全體圖像並將其進行sub-picture化而成的串流加以取得、進行再生的情況下,也可如上述般地適用本技術。
又,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在MPD檔案中。藉由如此設計,客戶端裝置200係只要藉由參照Adaptation Set所參照的sub-picture之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<內容再生處理之流程>
此時的客戶端裝置200所執行的內容再生處理的流程之例子,參照圖37的流程圖來加以說明。
一旦內容再生處理被開始,則客戶端裝置200的MPD檔案取得部212,係於步驟S221中取得,以每一sub-picture之資訊的方式而含有於projected picture中的顯示領域資訊的MPD檔案。
於步驟S222中,顯示控制部215係取得使用者的視點位置(及視線方向)之計測結果。
於步驟S223中,計測部211係計測伺服器與客戶端裝置200之間的網路之傳輸頻寬。
於步驟S224中,MPD檔案處理部213,係將參照相當(對應)於客戶端裝置200之使用者之視野之sub-picture的Adaptation Set,基於該sub-picture的於projected picture中的顯示領域資訊,而加以選擇。
於步驟S225中,MPD檔案處理部213,係從步驟S224中所選擇之Adaptation Set之中,選擇出相應於使用者的視點位置及視線方向或客戶端與伺服器之間的網路之傳輸頻寬等的表示法(Representation)。
於步驟S226中,區段檔案取得部214,係將步驟S225中所選擇之表示法(Representation)所對應之區段檔案,加以取得。
於步驟S227中,區段檔案處理部221,係從步驟S226中所取得的區段檔案,抽出編碼資料。
於步驟S228中,解碼部222係將步驟S227中所抽出之串流的編碼資料,加以解碼。
於步驟S229中,顯示資訊生成部223係將步驟S228中被解碼所得的串流(內容),予以再生。更具體而言,顯示資訊生成部223,係從該串流生成顯示用影像之資料,將其供給至顯示部217而顯示之。
一旦步驟S229的處理結束,則內容再生處理就結束。
藉由如以上般地進行內容再生處理,客戶端裝置200係可利用MPD檔案中所含之sub-picture之顯示領域之相關資訊,而可較容易地選擇串流。例如,客戶端裝置200,係可基於該資訊,而容易地選擇相應於使用者之視野的適切之串流。
<2D Coverage Information descriptor所致之定義>
如上述,檔案生成裝置100的MPD檔案生成部113,係於OMAF的MPD檔案中,新增定義了表示Adaptation set所參照的sub-picture是相當於projected picture中的哪個部分之顯示的sub-picture之顯示領域資訊,並予以傳訊。亦即,MPD檔案生成部113,係將sub-picture之顯示領域資訊,作為每一子圖像之資訊而加以定義。
例如,MPD檔案生成部113,作為該sub-picture之顯示領域資訊是定義2D Coverage Information descriptor,並作為與Region wise packing descriptor不同之descriptor而予以傳訊。例如,MPD檔案生成部113,係將@schemeIdUri="urn:mpeg:mpegI:omaf:2017:2dco"的
Supplemental Property,作為2D coverage information descriptor而加以定義。此外,MPD檔案生成部113係亦可使用相同schemeIdUri的Essential Property,來定義2D coverage information descriptor。
亦即,亦可為,每一子圖像之影像編碼資料,係按照每一適應集合而被管理,每一圖像領域之配置資訊,係被儲存至Region-wise packing descripitor,sub-picture之顯示領域資訊(被適應集合所參照的子圖像所對應之圖像全體中的領域之相關資訊),係被定義在MPD檔案的Supplemental Property或Essential Property中。
此外,不支援EssentialProperty的schemeIdUri的DASH客戶端,必須要忽視該Property所被撰寫的Adaptation Set(亦可為Representation等)。又,不支援SupplementalProperty的schemeIdUri的DASH客戶端,亦可忽視該Property值,而利用AdaptationSet(亦可為Representation等)。
此外,該2D Coverage Information descriptor,係除了Adaptation Set以外,亦可還存在於MPD或Representation中。又,該2D Coverage Information descriptor,係即使Adaptation Set所參照之picture並非sub-picture、或即使region-wise packing處理未被進行,仍可適用。
圖38的屬性值411,係表示該2D coverage information descriptor的屬性值之例子。如屬性值411所示,omaf:@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。omaf:@proj_picture_height,其資料類型為xs:unsignedInt,係表示projected picture之高度。omaf:@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。omaf:@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。omaf:@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。omaf:@proj_reg_left,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
上記各屬性值,係亦可用實際的像素數來表示,也可用omaf:@proj_reg_width、omaf:@proj_reg_height、omaf:@proj_reg_top及omaf:@proj_reg_left相對於omaf: @proj_picture_width及omaf:@proj_picture_height的相對值來表示。
又,亦可將表示全體圖像是和projected picture相同的資訊,定義在MPD檔案的Supplemental Property或Essential Property中。例如,MPD檔案生成部113,係將圖74所示的@schemeIdUri="urn:mpeg:mpegI:omaf:2017:prid"的Supplemental Property,作為Projected picture identical descriptor而加以定義。例如該descriptor是存在於AdaptationSet中的情況下,表示由AdaptationSet所參照之sub-picture所構成的全體圖像係未被進行region-wise packing處理,是與projected picture相同。
此時,亦可將Projected picture identical descriptor為存在的AdaptationSet所參照之sub-picture之顯示領域,例如,以將全體圖像分割成2個以上之領域而獨立編碼時的表示各領域之顯示領域的MPEG-DASH SRD(Spatial Relationship Description)來加以表示。雖然沒有圖示,但在SRD中,是與圖4的語法22所示的Sub Picture Region Box同樣地,表示sub-picture之分割方式等的sub-picture分割資訊,係被表示。
此時,於Projected picture identical descriptor為存在的AdaptationSet中,雖然沒有圖示,但SRD的屬性值也就是object_x、object_y、object_width、object_height、total_width、total_height之語意,係分別和圖38的屬性值441所示的2D coverage information descriptor的屬性值也就是omaf:@proj_reg_left、omaf:@proj_reg_top、
omaf:@proj_reg_width、omaf:@proj_reg_height、
omaf:@proj_picture_width、omaf:@proj_picture_height之語意相同。
此外,該Projected picture identical descriptor,係除了Adaptation Set以外,亦可存在於MPD或Representation中,亦可將表示全體圖像是和projected picture相同的資訊,藉由其他的descriptor、要素、屬性而加以定義。
<sub-picture中含有不連續之領域的情況>
此外,在上記的例子中,無法將sub-picture是含有在projected picture上呈不連續之領域時的顯示領域資訊,予以傳訊。於是,亦可設計成,使2D Coverage Information descriptor,即使在sub-picture是含有在projected picture上呈不連續之領域的情況下,仍可支援。
圖39的屬性值412,係表示此時的2D Coverage Information descriptor的屬性值之例子。如屬性值412所示,twoDCoverage係為資料類型是omaf:twoDCoverageType的容器要素。twoDCoverage@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。
twoDCoverage@proj_picture_height,其資料類型為xs:unsignedInt,係表示projected picture之高度。
twoDCoverage.twoDCoverageInfo,其資料類型為omaf:twoDCoverageInfoType,是表示於projected picture上的領域資訊的要素。該屬性值,係可複數傳訊。twoDCoverage.twoDCoverageInfo@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。twoDCoverage.twoDCoverageInfo@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。
twoDCoverage.twoDCoverageInfo@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。twoDCoverage.twoDCoverageInfo@proj_reg_left,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
圖40的資料類型413係表示,該2D Coverage Information descriptor的資料類型之定義之例子。
如以上所述,藉由可將projected picture上之複數領域予以傳訊,在projected picture上呈不連續的顯示領域之傳訊就成為可能。
<Region-wise packing descriptor之擴充>
亦可將OMAF中所被定義之Region-wise packing descriptor予以擴充,而將Adaptation Set所參照之sub-picture的,於projected picture上的顯示領域資訊,予以傳訊。
圖41的屬性值414係表示,根據圖38的屬性值411之傳訊而擴充的Region-wise packing descriptor的屬性值之例子。資料類型係和圖40相同。
如屬性值414所示,omaf:@packing_type,其資料類型為omaf:OptionallistofUnsignedByte,係表示region-wise packing的打包類型。若該屬性值為0,則表示係為矩形領域之打包。
omaf:@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。omaf: @proj_picture_height,其資料類型為xs:unsignedInt,係表示projected picture之高度。omaf:@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。omaf:@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。
omaf:@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。omaf:@proj_reg_left,其資料類型為xs:unsignedInt,係為Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
上記各屬性值,係亦可用實際的像素數來表示,也可用omaf:@proj_reg_width、omaf:@proj_reg_height、omaf: @proj_reg_top及omaf:@proj_reg_left相對於omaf:@proj_picture_width及omaf:@proj_picture_height的相對值來表示。
圖42的屬性值415係表示,根據圖39的屬性值412之傳訊而擴充的Region-wise packing descriptor的屬性值,亦即,支援含不連續領域之情況的Region-wise packing descriptor的屬性值之例子。資料類型係和圖40相同。
如屬性值415所示,omaf:@packing_type,其資料類型為omaf:OptionallistofUnsignedByte,係表示region-wise packing的打包類型。若該屬性值為0,則表示係為矩形領域之打包。
twoDCoverage係為資料類型是omaf:twoDCoverageType的容器要素。twoDCoverage@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。twoDCoverage@proj_picture_height,其資料類型為xs: unsignedInt,係表示projected picture之高度。
twoDCoverage.twoDCoverageInfo,其資料類型為omaf: twoDCoverageInfoType,是表示於projected picture上的領域資訊的要素。該屬性值,係可複數傳訊。
twoDCoverage.twoDCoverageInfo@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。twoDCoverage.twoDCoverageInfo@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。
twoDCoverage.twoDCoverageInfo@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。twoDCoverage.twoDCoverageInfo@proj_reg_left,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
<Content coverage descriptor之擴充>
又,亦可將OMAF中所被定義之,表示Adaptation Set於球面上之顯示領域的Content coverage descriptor予以擴充,而可將projected picture上的顯示領域予以傳訊。
亦即,亦可為,每一子圖像之影像編碼資料,係按照每一適應集合而被管理,每一圖像領域之配置資訊,係被儲存至Region-wise packing descripitor,sub-picture之顯示領域資訊(被適應集合所參照的子圖像所對應之圖像全體中的領域之相關資訊),係亦可於MPD檔案的,表示Adaptation Set於球面上之顯示領域的Coverage Information descriptor中被定義。
圖43的屬性值416及圖44的屬性值417係表示,已擴充的Content coverage descriptor的屬性值之例子。將Content coverage descriptor予以擴充的情況下,與在上述的ISOBMFF檔案中將Content coverage Box予以擴充的情況同樣地,是藉由2D_coverage_flag屬性,來切換是要將球面上領域予以傳訊,還是要將projected picture上的顯示領域予以傳訊。
如屬性值416所示,cc係為資料類型是omaf:CCType的容器要素。cc@2D_coverage_flag,其資料類型為xs:boolean,係為表示顯示領域是在球面上被定義、還是在projected picture上被定義的旗標資訊。若該屬性值為0,則表示是在球面上被定義,若其值為1,則表示是在projected picture上被定義。
cc.sphericalCoverage,係資料類型為omaf:sphericalCoverageType的,球面上顯示領域資訊的容器要素。該要素,係只有當cc@2D_coverage_flag=0時,才會存在。cc.sphericalCoverage @shape_type,其資料類型為xs:unsignedByte,係表示球面上領域之形狀。若該屬性值為0,則表示這是被4 great circles所圍繞之領域。又,若該屬性值為1,則表示這是被2個azimuth circle和2個elevation angle所圍繞之領域。
cc.sphericalCoverage @view_idc_presence_flag,其資料類型為xs:boolean,係為表示view_idc屬性是否存在的旗標資訊。若該屬性值為0,則表示view_idc屬性係為不存在,若該屬性值為1,則表示view_idc屬性係為存在。
cc.sphericalCoverage @default_view_idc,其資料類型為omaf:ViewType,係表示在全部領域為共通的view。例如,若該屬性值為0,則表示sub-picture中所含之所有領域之檢視類型(view_idc)都是單視檢視(mono view)。又,若該屬性值為1,則表示sub-picture中所含之所有領域之檢視類型(view_idc)都是左檢視(left view)。又,若該屬性值為2,則表示sub-picture中所含之所有領域之檢視類型(view_idc)都是右檢視(right view)。又,若該屬性值為3,則表示sub-picture中所含之所有領域之檢視類型(view_idc)都是雙視檢視(stereo view)。該屬性值,係在cc@view_idc_presence_flag=0時,必定存在。又,cc@view_idc_presence_flag=1時,該屬性係不可以存在。
cc.sphericalCoverage.coverageInfo,其資料類型為omaf:coverageInfoType,係為表示球面上領域資訊的要素。該要素係可複數傳訊。
cc.sphericalCoverage.coverageInfo@view_idc,其資料類型為omaf:ViewType,係表示每一領域的view。例如,若該屬性值為0,則表示該屬性值所對應之領域之檢視類型(view_idc)係為單視檢視(mono view)。又,若該屬性值為1,則表示該屬性值所對應之領域之檢視類型(view_idc)係為左檢視(left view)。又,若該屬性值為2,則表示該屬性值所對應之領域之檢視類型(view_idc)係為右檢視(right view)。又,若該屬性值為3,則表示該屬性值所對應之領域之檢視類型(view_idc)係為雙視檢視(stereo view)。該屬性值,係在cc@view_idc_presence_flag=0時,不可以存在。又,cc@view_idc_presence_flag=1時,該屬性係必定存在。
cc.sphericalCoverage.coverageInfo@center_azimuth,其資料類型為omaf:Range1,係表示球面上顯示領域中心的方位角。cc.sphericalCoverage.coverageInfo@center_elevation,其資料類型為omaf:Range2,係表示球面上顯示領域中心的仰角。cc.sphericalCoverage.coverageInfo@center_tilt,其資料類型為omaf:Range1,係表示球面上顯示領域中心的俯角。cc.sphericalCoverage.coverageInfo@azimuth_range,其資料類型為omaf:HRange,係表示球面上顯示領域的方位角範圍。cc.sphericalCoverage.coverageInfo@elevation_range,其資料類型為omaf:VRange,係表示球面上顯示領域的仰角範圍。
cc.twoDCoverage,係資料類型為omaf: twoDCoverageType的projected picture上的顯示領域資訊的容器要素。只有在cc@2D_coverage_flag=1時才會存在。
cc.twoDCoverage@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。cc.twoDCoverage@proj_picture_height,其資料類型為xs:unsignedInt,係表示projected picture之高度。cc.twoDCoverage.twoDCoverageInfo,其資料類型為omaf:twoDCoverageInfoType,係為表示於projected picture上的領域資訊的要素。該要素係可複數傳訊。
cc.twoDCoverage.twoDCoverageInfo@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。cc.twoDCoverage.twoDCoverageInfo@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。
cc.twoDCoverage.twoDCoverageInfo@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。cc.twoDCoverage.twoDCoverageInfo@proj_reg_left,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
圖45的資料類型418、圖46的資料類型419、及圖47的資料類型420係表示,該已擴充之Content coverage descriptor的資料類型之定義之例子。
<sub-picture之分割方法為動態地變化時的訊令>
此外,在串流中於projected picture中的顯示領域會動態地變化的情況下,除了上述的訊令以外,亦可在2D coverage information descriptor、region-wise packing descriptor及Content coverage descriptor中追加地將旗標予以傳訊,來表示這是於projected picture中的顯示領域會動態地變化的串流。
<4.第3實施形態>
<雙視資訊之傳訊>
如<1.sub-picture之相關資訊之傳訊>的<雙視資訊之識別>中所上述,將雙視全天球映像之全體圖像進行sub-picture化的情況下,全體圖像之雙視資訊係在Sub Picture Composition Box下所被傳訊之Stereo Video Box中被傳訊,sub-picture之雙視資訊係在Sample Entry的Scheme Information Box下的Stereo Video Box中被傳訊。
若全體圖像為雙視影像,則可生成的sub-picture之變化係有例如以下的3種模態。
圖48係sub-picture化的第1模態之樣子之例子的圖示。此情況下,projected picture(全體圖像)431係被sub-picture化,生成sub-picture432乃至sub-picture437。projected picture431,係由肩並肩(side by side)之雙視影像所構成。sub-picture432乃至sub-picture437,係分別含有,在projected picture431上為相同顯示領域的Left view與Right view,係為top & bottom或side by side這類可在Stereo Video Box中傳訊的畫格打包安排。
圖49係sub-picture化的第2模態之樣子之例子的圖示。此情況下,projected picture(全體圖像)441係被sub-picture化,生成sub-picture442乃至sub-picture446。projected picture441,係由肩並肩(side by side)之雙視影像所構成。sub-picture442乃至sub-picture446,雖然各自都含有Left view及Right view,但各view的於projected picture441上之顯示領域並非一致,無法成為top & bottom或side by side這類可在Stereo Video Box中傳訊的畫格打包安排。
圖50係sub-picture化的第3模態之樣子之例子的圖示。此情況下,projected picture(全體圖像)451係被sub-picture化,生成sub-picture452及sub-picture453。projected picture451,係由肩並肩(side by side)之雙視影像所構成。sub-picture452,係為只含Left view的單視圖像。sub-picture453,係為只含Right view的單視圖像。
第1模態的情況下,在sub-picture track的Sample Entry/rinf/schi中Stereo Video Box會被傳訊,適切的畫格打包安排資訊會被傳訊。例如圖48的情況下,係為side by side。此外,亦可不是sub-picture之畫格打包安排資訊,而是全體圖像之畫格打包安排資訊被傳訊。
第2模態的情況下,在Sample Entry/rinf/schi中係沒有Stereo Video Box被傳訊。因此,客戶端恐怕無法識別sub-picture究竟是單視圖像,還是雖然含有Left view及Right view但為top & bottom或side by side這類畫格打包安排係為未被適用。
第3模態的情況下,在Sample Entry/rinf/schi中係沒有Stereo Video Box被傳訊。因此,客戶端恐怕無法識別分割前的全體圖像是單視圖像還是雙視影像。算圖時的升頻(upscale)必要與否,係隨著分割前的全體圖像是單視圖像還是雙視影像而有所不同,若無法識別之,則客戶端恐怕無法適切地進行算圖。
例如,如圖50所示,全體圖像係為side by side之雙視影像,針對其中的只具有Left view的sub-picture,係在算圖之際,必須要在水平方向上做2倍的upscale。相對於此,全體圖像為單視圖像的情況下,就不需要該處理。
<ISOBMFF所致之被sub-picture化的全體圖像之雙視資訊之傳訊>
於是,被sub-picture化的圖像全體之雙視顯示之相關資訊也就是雙視資訊,亦可於區段檔案也就是ISOBMFF檔案中進行之。
亦即,亦可生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有該圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案。
例如,亦可在屬於資訊處理裝置的檔案生成裝置100中,由區段檔案生成部123來發揮機能成為檔案生成部,係生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有該圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案。亦即亦可讓資訊處理裝置(例如檔案生成裝置100),具備檔案生成部(例如區段檔案生成部123)。
藉由如此設計,如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
又,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,檔案生成裝置100,將投影平面影像之全部或一部當作全體圖像,將其進行sub-picture化的情況下,可如上述般地適用本技術。
藉由如此設計,即使在將全天球影像進行配訊的情況下,仍可如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,該全體圖像之雙視資訊,係亦可作為每一子圖像(sub-picture)之資訊,而被包含在ISOBMFF檔案中。藉由如此設計,客戶端係只需要參照sub-picture track之資訊,就可容易地掌握該全體圖像之雙視資訊(例如是否為全體圖像雙視影像、或者是哪種類型之雙視影像等)。
<上傳處理之流程>
此時的圖11的檔案生成裝置100所執行的上傳處理的流程之例子,參照圖51的流程圖來加以說明。
一旦上傳處理被開始,則檔案生成裝置100的資料輸入部111,係於步驟S301中,取得影像和後設資料。
於步驟S302中,區段檔案生成部123係生成,以每一sub-picture之資訊而含有全體圖像(projected picture)之雙視資訊的ISOBMFF檔案。
於步驟S303中,記錄部114係將步驟S302之處理所生成的ISOBMFF檔案,予以記錄。
於步驟S304中,上傳部115係將步驟S303中所被記錄之ISOBMFF檔案,從記錄部114予以讀出,並將其上傳至伺服器。
一旦步驟S304的處理結束,則上傳處理就結束。
藉由如以上般地進行上傳處理,檔案生成裝置100係可生成,以每一sub-picture之資訊之方式而含有projected picture之雙視資訊的ISOBMFF檔案。
因此,客戶端,係可基於該資訊,而較容易地選擇並再生相應於自身之能力(capability)等的適切之串流。
<ISOBMFF中所被傳訊之被sub-picture化的全體圖像之雙視資訊之利用>
又,亦可利用ISOBMFF檔案中所被傳訊之,被sub-picture化的全體圖像之雙視資訊,來進行串流之選擇或再生。
亦即,亦可取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有該圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案,並基於該已被取得之檔案中所含之雙視資訊,來進行影像編碼資料之串流的選擇。
例如,亦可在屬於資訊處理裝置的客戶端裝置200中,由區段檔案取得部214來發揮機能成為檔案取得部,係取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有該圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案,由資料解析解碼部216來發揮機能而成為影像處理部,基於已被該檔案取得部所取得之檔案中所含之雙視資訊,來進行影像編碼資料之串流的選擇。亦即,亦可讓資訊處理裝置(例如客戶端裝置200),具備檔案取得部(例如區段檔案取得部214)、和影像處理部(例如資料解析解碼部216)。
藉由如此設計,客戶端裝置200就可較容易地進行串流之選擇。
此外,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,客戶端裝置200,係將如此的投影平面影像之全部或一部當作全體圖像並將其進行sub-picture化而成的串流加以取得、進行再生的情況下,也可如上述般地適用本技術。
又,該全體圖像之雙視資訊,係亦可作為每一子圖像(sub-picture)之資訊,而被包含在ISOBMFF檔案中。藉由如此設計,客戶端裝置200係只需要參照sub-picture track之資訊,就可容易地掌握該全體圖像之雙視資訊(例如是否為全體圖像雙視影像、或者是哪種類型之雙視影像等)。
<內容再生處理之流程>
此時的客戶端裝置200所執行的內容再生處理的流程之例子,參照圖52的流程圖來加以說明。
一旦內容再生處理被開始,則客戶端裝置200的區段檔案取得部214,係於步驟S321中取得,以每一sub-picture之資訊的方式而含有全體圖像(projected picture)之雙視資訊的ISOBMFF檔案。
於步驟S322中,顯示控制部215係取得使用者的視點位置(及視線方向)之計測結果。
於步驟S323中,計測部211係計測伺服器與客戶端裝置200之間的網路之傳輸頻寬。
於步驟S324中,區段檔案處理部221係判定,客戶端裝置200是否進行雙視再生(或是否具有進行雙視再生之機能(capability))。若判定為要進行雙視再生(或有雙視再生之機能),則處理係前進至步驟S325。
於步驟S325中,區段檔案處理部221係將可雙視顯示之sub-picture track,視為選擇候補。此時,區段檔案處理部221,係藉由參照步驟S321中所取得之ISOBMFF檔案中所含之全體圖像之雙視資訊,而把第2模態之畫格打包安排未被適用的可雙視顯示之sub-picture track(例如圖49的sub-picture445或sub-picture446),也含入至選擇候補中。一旦步驟S325之處理結束,則處理係前進至步驟S327。
又,於步驟S324中,若判定為客戶端裝置200不進行雙視再生(或不具雙視再生之機能),則處理係前進至步驟S326。
於步驟S326中,區段檔案處理部221,係基於步驟S321中所取得之ISOBMFF檔案中所含之全體圖像之雙視資訊等,而將單視圖像之sub-picture track視為選擇候補。此時,區段檔案處理部221,係藉由參照步驟S321中所取得之ISOBMFF檔案中所含之全體圖像之雙視資訊,針對第3模態的sub-picture track(例如圖50的sub-picture452或sub-picture453),可以掌握在算圖之際必須要在水平方向上進行2倍之升頻(upscale)。一旦步驟S326之處理結束,則處理係前進至步驟S327。
於步驟S327中,區段檔案處理部221,係從步驟S325或步驟S326中所設定的候補之中,選擇出相應於客戶端裝置200之使用者之視野的sub-picture track。
於步驟S328中,區段檔案處理部221,係將步驟S327中所選擇之sub-picture track之串流的編碼資料,從步驟S321中所取得的ISOBMFF檔案,予以抽出。
於步驟S329中,解碼部222係將步驟S328中所抽出之串流的編碼資料,加以解碼。
於步驟S330中,顯示資訊生成部223係將步驟S329中被解碼所得的串流(內容),予以再生。更具體而言,顯示資訊生成部223,係從該串流生成顯示用影像之資料,將其供給至顯示部217而顯示之。
一旦步驟S330的處理結束,則內容再生處理就結束。
藉由如以上般地進行內容再生處理,客戶端裝置200係可利用ISOBMFF檔案中所含之被sub-picture化的全體圖像之雙視資訊,而可較容易地選擇串流。例如,客戶端裝置200,係可基於該資訊,而較容易地選擇並再生相應於自身之能力(capability)等的適切之串流。
<將全體圖像之雙視資訊在Sample Entry中傳訊>
例如,分割前的全體圖像為雙視影像的情況下,檔案生成裝置100的區段檔案生成部123,係亦可於sub-picture track的Sample Entry中,將全體圖像之雙視資訊予以傳訊。
例如,亦可在ISOBMFF檔案的,該Sample Entry之下的Scheme Information Box、或該Scheme Information Box之下階層的Box中,儲存全體圖像之雙視資訊。
<Original Stereo Video Box>
例如,為了將分割前的全體圖像之雙視資訊予以傳訊,檔案生成裝置100的區段檔案生成部123,係亦可新增定義Original Stereo Video Box,在sub-picture track的Sample Entry的Scheme Information Box(schi)之下,將該Box予以傳訊。亦即,亦可在該Original Stereo Video Box中,儲存分割前的全體圖像之雙視資訊。
此外,該Original Stereo Video Box之場所係為任意,限定於上述的Scheme Information Box。又,在Original Stereo Video Box中所被傳訊的資訊,係和Stereo Video Box相同。
圖53的語法461係表示該Original Stereo Video Box的語法之例子。如語法461所示,於Original Stereo Video Box中,single_view_allowed、stereo_scheme、length、stereo_indication_type等之欄位係被定義。
圖54的語意462係表示,於該Original Stereo Video Box中所被定義之欄位的語意之例子。如語意462所示,single_view_allowed係為表示所被容許的檢視之種類的資訊。例如若該欄位之值為0,則表示內容是意圖只在雙視視域支援之顯示器上被顯示。又,若該欄位之值為1,則表示內容是被允許在單視視域顯示器上進行right view之顯示。又,若該欄位之值為2,則表示內容是被允許在單視視域顯示器上進行left view之顯示。
stereo_scheme,係為畫格打包方法之相關資訊。例如,若該欄位之值為1,則表示畫格打包方法是依照ISO/IEC 14496-10的Frame packing arrangement SEI。又,若該欄位之值為2,則表示畫格打包方法是依照ISO/IEC 13818-2的Annex.L。又,若該欄位之值為3,則表示畫格打包方法是依照ISO/IEC 23000-11的frame/sevice compatible 及2D/3D Mixed sevice。
length,係表示stereo_indication_type的位元組長度。又,stereo_indication_type,係表示依照stereo_shceme的畫格打包方法。
客戶端裝置200的區段檔案處理部221,係藉由參照Original Stereo Video Box及2D Coverage Information Box,就可取得全體圖像之雙視資訊。然後,區段檔案處理部221,係基於該資訊,在sub-picture track的Sample Entry中沒有Stereo Video Box被傳訊的情況下,sub-picture是否為單視,還是雖然含有Left view及Right view,但在Stereo Video Box中所被傳訊之畫格打包安排係不被適用,此事可不必剖析Sub Picture Composition Box,即可容易地識別之。亦即,與非sub-picture track之track之情況同樣地,可以只根據Sample Entry中所被儲存的資訊,就能識別雙視資訊。
亦即客戶端裝置200,係不必剖析Sub Picture Composition Box,就可進行sub-picture track單獨的選擇、再生。
<顯示尺寸之傳訊>
甚至,在將雙視的全體圖像予以分割所生成之單視sub-picture(單視圖像的sub-picture)予以儲存的sub-picture track的Track Header的width及height中,亦可將以全體圖像之畫格打包安排為基礎而upscale過的顯示尺寸,予以傳訊。
亦即,在ISOBMFF檔案中亦可包含有,sub-picture之顯示尺寸之相關資訊。
其樣子之例子,示於圖55。如圖55所示,從雙視影像之全體圖像所生成的sub-picture471及sub-picture472,係各領域之影像係在水平方向上被降頻。因此,在顯示時(算圖)之際,係必須要在水平方向上進行upscale。於是,將該顯示時的影像473之顯示尺寸作為Track Header的width及height而予以傳訊。藉此,客戶端裝置200係可將單視sub-picture適切地進行算圖。
此外,亦可取代該Track Header的width及height中的訊令,而將ISOBMFF中所定義的,將顯示時的像素縱橫比資訊予以傳訊的Pixel Aspect Ratio Box(pasp),在Visual Sample Entry中予以傳訊。此情況下,也可獲得和上述的於Track Header的width及height中傳訊時同等之效果。
圖56的語法481係表示Pixel Aspect Ratio Box的語法之例子。如語法481所示,於Pixel Aspect Ratio Box中,例如hSpacing、vSpacing等之欄位係被定義。
圖57的語意482係表示,於該Pixel Aspect Ratio Box中所被定義之欄位的語意之例子。如語意482所示,hSpacing及vSpacing係為表示相對之像素高度、寬度的資訊。在算圖之際,係基於該資訊,像素寬度係被乘以vSpace/hSpace倍而被顯示。
其樣子之例子,示於圖58。圖58所示的sub-picture491及sub-picture492,係從雙視影像之全體圖像所生成的sub-picture,各領域之影像係在水平方向上被降頻。於是,藉由將hSpace=1、vSpase=2予以傳訊,客戶端裝置200係例如在將sub-picture491予以顯示(算圖)之際,可基於這些資訊,將像素寬度變成2倍而進行算圖,如影像493般地,可以適切的長寬比來顯示影像。亦即,客戶端裝置200係可將單視sub-picture(由單視影像所成之sub-picture)適切地進行算圖。
<Original Scheme Information Box>
又,亦可在sub-picture track的Sample Entry的Restricted Scheme Information Box(rinf)下,新增定義Original Scheme Information Box,在其Box內將分割前的全體圖像之雙視資訊予以傳訊。此外,定義Original Scheme Information Box的場所係為任意,不限定於上述的rinf。
圖59的語法501係表示,此時的Original Scheme Information Box的語法之例子。如語法501所示,於Original Scheme Information Box中,例如scheme_specific_data係被定義。
在該scheme_specific_data中,被分割成sub-picture之前的全體圖像之相關資訊,係被傳訊。例如,全體圖像為雙視的情況下,則亦可將具有全體圖像之雙視資訊的Stereo Video Box予以傳訊。藉由如此設計,客戶端裝置200,係不必剖析Sub Picture Composition Box,就可進行sub-picture track單獨的選擇、再生。
此外,在該scheme_specific_data中,係不限於Stereo Video Box,亦可將關於全體圖像的後處理資訊予以傳訊(例如Region Wise Packing Box等)。
<使sub-picture track選擇變得容易的追加資訊>
甚至,亦可將2D Coverage Information Box予以擴充,而將用來使track選擇變得容易的雙視關連資訊予以傳訊。
例如,亦可在2D Coverage Information Box中追加stereo_presentation_suitable_flag,將表示sub-picture track是否為可雙視顯示,予以傳訊。藉由參照該資訊,客戶端裝置200係即使不基於第3實施形態中所上述的全體圖像之雙視資訊、和第1實施形態中所定義的2D Coverage Information Box中所被傳訊的projected picture上的領域資訊來進行識別是否可雙視顯示的處理,仍可識別是否可雙視顯示。
亦即,ISOBMFF檔案亦可還含有每一子圖像之雙視顯示之相關資訊也就是子雙視資訊。
圖60的語法502係表示,此時的2D Coverage Information Box之例子。如語法502所示,此情況下,還被定義有stereo_presentation_suitable(在所被定義的欄位中追加stereo_presentation_suitable)。
圖61的語意503係表示該被追加之欄位的語意之例子。如語意503所示,stereo_presentation_suitable係為track之圖像的雙視顯示之相關資訊。若該欄位之值為0,則表示track之圖像係為單視、或雖然含有L view、R view但為不可雙視顯示。若該欄位之值為1,則表示track之圖像,係為一部分領域可雙視顯示。若該欄位之值為2,則表示track之圖像係為所有領域都可雙視顯示。
圖62係為stereo_presentation_suitable之傳訊例的圖示。例如,如圖62的上側所示,將side by side之雙視影像亦即全體圖像(projected picture)511進行sub-picture化所生成的sub-picture512乃至sub-picture517,係含有L view與R view,為可雙視顯示。因此,在這些sub-picture中係被設置有stereo_presentation_suitable=2。
相對於此,如圖62的下側所示,將side by side之雙視影像亦即全體圖像(projected picture)521進行sub-picture化所生成的sub-picture522乃至sub-picture526,係含有L view與R view。但是,sub-picture522乃至sub-picture524,係無法進行雙視顯示。因此,在這些sub-picture中係被設置有stereo_presentation_suitable=0。
又,sub-picture525及sub-picture526,係為一部分之領域可雙視顯示。因此,在這些sub-picture中係被設置有stereo_presentation_suitable=1。
此外,亦可將是否可雙視顯示之資訊,新增定義個別的Box(用來儲存該資訊的專用Box),例如Track Stereo Video Box,而在sub-picture track的schi下予以傳訊。
圖63的語法531係表示,此時的Track Stereo Video Box的語法之例子。
又,亦可將sub-picture track的Sample Entry的Projected Omnidirectional Video Box下所被傳訊的Region Wise Packing Box、或第1實施形態中所上述的RectProjected Region結構予以擴充,而將stereo_presentation_suitable_flag予以傳訊。又,亦可在其他的Box中將stereo_presentation_suitable_flag予以傳訊。
甚至,在不可雙視顯示的情況下,亦可使用Track Header Box的track_not_intended_for_presentation_alone旗標,將sub-picture單獨再生係為不理想的這件事情,予以傳訊。
此外,上述的各種資訊,係即使在track中所被儲存之picture並非sub-picture的情況下,仍可適用。
<view資訊之傳訊>
又,亦可將2D Coverage Information Box予以擴充,對sub-picture的於projected picture上之顯示領域,追加view資訊而予以傳訊。藉由參照該資訊,客戶端裝置200係即使不根據第3實施形態中所上述的全體圖像之雙視資訊、與第3實施形態中所定義的2D Coverage Information Box中所被傳訊的projected picture上之領域資訊來進行識別各領域之view資訊的處理,仍可容易地識別sub-picture是單視影像、還是含有L view及R view者。
亦即,ISOBMFF檔案係亦可還含有:表示子圖像之檢視類型的檢視資訊。
圖64的語法532係為此時的2D Coverage
Information Box的語法之例子的圖示。如語法532所示,此情況下,於2D Coverage Information Box中,view_idc_presence_flag、default_view_idc、view_idc等之欄位係被追加定義。
圖65的語意533係表示,於該2D Coverage Information Box中所被追加定義之欄位的語意之例子。如語意533所示,view_idc_presense_flag係表示,在各領域中是否存在個別之view_idc。例如,若該欄位之值為0,則表示在各領域中不存在個別之view_idc。又,若該欄位之值為1,則表示在各領域中存在有個別之view_idc。
亦即,ISOBMFF檔案亦可還含有:表示檢視資訊是否每一領域地存在的資訊。
default_view_idc,係表示全部領域都是共通的view。例如,若該欄位之值為0,則表示該sub-picture內的所有領域都是mono view。又,若該欄位之值為1,則表示該sub-picture內的所有領域都是left view。又,若該欄位之值為2,則表示該sub-picture內的所有領域都是right view。又,若該欄位之值為3,則表示該sub-picture內的所有領域都是stereo view。
view_idc係表示每一領域的view。例如,若該欄位之值為0,則表示該領域係為mono view。又,若該欄位之值為1,則表示該領域係為left view。又,若該欄位之值為2,則表示該領域係為right view。又,若該欄位之值為3,則表示該領域係為stereo view。又,若該欄位不存在,則表示default_view_idc是各領域的view。
亦即,檢視資訊係亦可為,子圖像中所含之每一領域之資訊。
圖66係為將該view_idc予以傳訊之樣子之例子的圖示。如圖66所示,將side by side之全體圖像541,如sub-picture542及sub-picture543般地進行sub-picture化的情況下,在這些sub-picture中分別設置view_idc=3。
相對於此,將全體圖像541,如sub-picture544及sub-picture545般地進行sub-picture化的情況下,對sub-picture544係設置view_idc=1,對sub-picture545係設置view_idc=2。
此外,track中所被儲存之picture並非sub-picture的情況下,仍可適用這些追加資訊。
同樣地,亦可將Region Wise Packing Box、及第1實施形態中所定義的Rect Projected Region結構予以擴充,將view資訊予以傳訊。
<5.第4實施形態>
<MPD檔案所致之被sub-picture化的全體圖像之雙視資訊之傳訊>
亦可將上述的被sub-picture化的全體圖像之雙視資訊之傳訊,於MPD檔案中進行之。亦即,為了可讓客戶端,將參照sub-picture的Adaptation Set隨應於例如客戶端之能力(capability)而加以選擇、再生,而亦可在MPD檔案中,新增定義被sub-picture化的全體圖像之雙視資訊,並在Adaptation Set中進行傳訊。
亦即,亦可生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有該適應集合之雙視顯示之相關資訊也就是雙視資訊的,影像編碼資料之配訊控制時所被使用的控制檔案。
例如,亦可在屬於資訊處理裝置的檔案生成裝置100中,由MPD檔案生成部113來發揮機能成為檔案生成部,生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有該適應集合之雙視顯示之相關資訊也就是雙視資訊的,影像編碼資料之配訊控制時所被使用的控制檔案。亦即亦可讓資訊處理裝置(例如檔案生成裝置100),具備檔案生成部(例如MPD檔案生成部113)。
藉由如此設計,如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
又,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,檔案生成裝置100,將如此的投影平面影像之全部或一部當作全體圖像,將其進行sub-picture化的情況下,可如上述般地適用本技術。
藉由如此設計,即使在將全天球影像進行配訊的情況下,仍可如上述,客戶端係可基於該資訊而較容易地進行串流之選擇。
此外,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在MPD檔案中。藉由如此設計,客戶端係只要藉由參照Adaptation Set所參照的sub-picture之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<上傳處理之流程>
此時的圖11的檔案生成裝置100所執行的上傳處理的流程之例子,參照圖67的流程圖來加以說明。
一旦上傳處理被開始,則檔案生成裝置100的資料輸入部111,係於步驟S401中,取得影像和後設資料。
於步驟S402中,區段檔案生成部123係生成該影像之區段檔案。
於步驟S403中,MPD檔案生成部113係生成,以每一sub-picture之資訊而含有全體圖像(projected picture)之雙視資訊的MPD檔案。
於步驟S404中,記錄部114係將步驟S402之處理所生成的區段檔案,予以記錄。又,記錄部114係將步驟S403之處理所生成的MPD檔案,予以記錄。
於步驟S405中,上傳部115係將步驟S404中所被記錄之區段檔案,從記錄部114予以讀出,並將其上傳至伺服器。又,上傳部115係將步驟S404中所被記錄之MPD檔案,從記錄部114予以讀出,並將其上傳至伺服器。
一旦步驟S404的處理結束,則上傳處理就結束。
藉由如以上般地進行上傳處理,檔案生成裝置100係可生成,以每一sub-picture之資訊之方式而含有全體圖像之雙視資訊的MPD檔案。
因此,客戶端,係可基於該顯示領域資訊,而例如可較容易地選擇並再生相應於客戶端裝置200之機能(capability)的適切之串流。
<MPD檔案中所被傳訊之被sub-picture化的全體圖像之雙視資訊之利用>
又,亦可利用MPD檔案中所被傳訊之,被sub-picture化的全體圖像之雙視資訊,來進行串流之選擇。
亦即,亦可將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並取得含有該適應集合之雙視顯示之相關資訊也就是雙視資訊的,影像編碼資料之配訊控制時所被使用之控制檔案,基於該已被取得之控制檔案中所含之雙視資訊,來進行影像編碼資料之串流的選擇。
例如,亦可在屬於資訊處理裝置的客戶端裝置200中,由MPD檔案取得部212來發揮機能成為檔案生成部,取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有該適應集合之雙視顯示之相關資訊也就是雙視資訊的,影像編碼資料之配訊控制時所被使用的控制檔案;並由MPD檔案處理部213來發揮機能成為影像處理部,基於該已被取得之控制檔案中所含之雙視資訊,來進行影像編碼資料之串流的選擇。亦即,亦可讓資訊處理裝置(例如客戶端裝置200),具備檔案取得部(例如MPD檔案取得部212)、和影像處理部(例如MPD檔案處理部213)。
藉由如此設計,客戶端裝置200就可較容易地進行串流之選擇。
此外,上述的圖像(全體圖像)係亦可為,全天球映像(將水平方向之周圍360度及垂直方向之周圍180度之影像予以投影、映射而成的投影平面影像)的全部或一部。亦即,客戶端裝置200,係將如此的投影平面影像之全部或一部當作全體圖像並將其進行sub-picture化而成的串流加以取得、進行再生的情況下,也可如上述般地適用本技術。
又,該領域之相關資訊(顯示領域資訊),係亦可作為每一子圖像(sub-picture)之資訊,而被包含在MPD檔案中。藉由如此設計,客戶端裝置200係只要藉由參照Adaptation Set所參照的sub-picture之資訊,就可容易地掌握該sub-picture是對應於全體圖像之哪個部分。
<內容再生處理之流程>
此時的客戶端裝置200所執行的內容再生處理的流程之例子,參照圖68的流程圖來加以說明。
一旦內容再生處理被開始,則客戶端裝置200的MPD檔案取得部212,係於步驟S421中取得,以每一sub-picture之資訊的方式而含有全體圖像(projected picture)之雙視資訊的MPD檔案。
於步驟S422中,顯示控制部215係取得使用者的視點位置(及視線方向)之計測結果。
於步驟S423中,計測部211係計測伺服器與客戶端裝置200之間的網路之傳輸頻寬。
於步驟S424中,MPD檔案處理部213係判定,客戶端裝置200是否進行雙視再生(或是否具有進行雙視再生之機能(capability))。若判定為要進行雙視再生(或有雙視再生之機能),則處理係前進至步驟S425。
於步驟S425中,MPD檔案處理部213係將參照可雙視顯示之sub-picture的Adaptation Set,視為選擇候補。此時,MPD檔案處理部213,係藉由參照步驟S421中所取得之MPD檔案中所含之全體圖像之雙視資訊,而把參照第2模態之畫格打包安排未被適用的可雙視顯示之sub-picture(例如圖49的sub-picture445或sub-picture446)的Adaptation Set,也含入至選擇候補中。一旦步驟S425之處理結束,則處理係前進至步驟S427。
又,於步驟S424中,若判定為客戶端裝置200不進行雙視再生(或不具雙視再生之機能),則處理係前進至步驟S426。
於步驟S426中,MPD檔案處理部213,係基於步驟S421中所取得之MPD檔案中所含之全體圖像之雙視資訊等,而將參照單視圖像之sub-picture的Adaptation Set,視為選擇候補。此時,MPD檔案處理部213,係藉由參照步驟S421中所取得之MPD檔案中所含之全體圖像之雙視資訊,針對第3模態的sub-picture(例如圖50的sub-picture452或sub-picture453),可以掌握在算圖之際必須要在水平方向上進行2倍之升頻(upscale)。一旦步驟S426之處理結束,則處理係前進至步驟S427。
於步驟S427中,MPD檔案處理部213,係從步驟S425或步驟S426中所設定的候補之中,選擇出將相當(對應)於客戶端裝置200之使用者之視野的sub-picture予以參照的Adaptation Set。
於步驟S428中,MPD檔案處理部213,係從步驟S424中所選擇之Adaptation Set之中,選擇出相應於使用者的視點位置及視線方向或客戶端與伺服器之間的網路之傳輸頻寬等的表示法(Representation)。
於步驟S429中,區段檔案取得部214,係將步驟S428中所選擇之表示法(Representation)所對應之區段檔案,加以取得。
於步驟S430中,區段檔案處理部221,係從步驟S429中所取得的區段檔案,抽出編碼資料。
於步驟S431中,解碼部222係將步驟S430中所抽出之串流的編碼資料,加以解碼。
於步驟S432中,顯示資訊生成部223係將步驟S431中被解碼所得的串流(內容),予以再生。更具體而言,顯示資訊生成部223,係從該串流生成顯示用影像之資料,將其供給至顯示部217而顯示之。
一旦步驟S432的處理結束,則內容再生處理就結束。
藉由如以上般地進行內容再生處理,客戶端裝置200係可利用MPD檔案中所含之sub-picture之顯示領域之相關資訊,而可較容易地選擇串流。例如,客戶端裝置200,係可基於該資訊,而較容易地選擇並再生相應於自身之能力(capability)等的適切之串流。
<MPD檔案中的雙視資訊之傳訊細節>
例如,亦可將2D coverage information descriptor予以擴充,和第3實施形態中所說明的情況同樣地,將
stereo_presentation_suitable欄位、及view資訊予以傳訊。
亦即,MPD檔案係亦可還含有:表示子圖像之檢視類型的檢視資訊。
又,該檢視資訊係亦可為,子圖像中所含之每一領域之資訊。
甚至,MPD檔案係亦可還含有,表示該檢視資訊是否每一領域地存在的資訊。
圖69的屬性值551及圖70的屬性值552係表示,已擴充的2D coverage information descriptor的屬性值之例子。如屬性值551及屬性值552所示,twoDCoverage係為資料類型是omaf:twoDCoverageType的容器要素。twoDCoverage@stereo_presentation_suitable,其資料類型為omaf:StereoPresentationType,是表示Adaptation Set是否為可雙視顯示。例如,若該屬性值為0,則表示Adaptation Set所參照之圖像係為單視、或是無法雙視顯示。又,若該屬性值為1,則表示Adaptation Set所參照之圖像係為一部分之領域為可雙視顯示。又,若該屬性值為2,則表示Adaptation Set所參照之圖像係為全部之領域皆為可雙視顯示。
twoDCoverage@view_idc_presence_flag,其資料類型為xs:boolean,係表示各領域中是否存在個別之view_idc。例如若該屬性值為0,則表示各領域中不存在個別之view_idc。又,若該屬性值為1,則表示在各領域中存在有個別之view_idc。twoDCoverage@default_view_idc,其資料類型為omaf:ViewType,係表示在全部領域為共通的view。例如,若該屬性值為0,則表示係為mono view,若該屬性值為1,則表示係為left view,若該屬性值為2,則表示係為right view,若該屬性值為3,則表示係為stereo view。此外,twoDCoverage@view_idc_presence_flag=0時,該屬性係必定存在。又,
twoDCoverage@view_idc_presence_flag=1時,該屬性係不可以存在。
twoDCoverage@proj_picture_width,其資料類型為xs:unsignedInt,係表示projected picture之寬度。twoDCoverage@proj_picture_height,其資料類型為
xs:unsignedInt,係表示projected picture之高度。
twoDCoverage.twoDCoverageInfo,其資料類型為
omaf:twoDCoverageInfoType,係為表示於projected picture上的領域資訊的要素。該要素係可複數傳訊。
twoDCoverage.twoDCoverageInfo@view_idc,其資料類型為omaf:ViewType,係表示每一領域的view。例如,若該屬性值為0,則表示係為mono view,若該屬性值為1,則表示係為left view,若該屬性值為2,則表示係為right view,若該屬性值為3,則表示係為stereo view。此外,twoDCoverage@view_idc_presence_flag=0時,該屬性係不可以存在。又,twoDCoverage@view_idc_presence_flag=1時,該屬性係必定存在。
twoDCoverage.twoDCoverageInfo@proj_reg_width,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的寬度。twoDCoverage.twoDCcoverageInfo@proj_reg_height,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的高度。
twoDCoverage.twoDCoverageInfo@proj_reg_top,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的垂直方向座標。twoDCoverage.twoDCoverageInfo@proj_reg_left,其資料類型為xs:unsignedInt,係表示Adaptation Set所參照之picture所對應的,於projected picture上之領域的水平方向座標。
圖71的資料類型553係表示,此時的資料類型之定義之例子。
此外,亦可將第2實施形態中所說明的,已擴充之Region-wise packing descriptor及Content coverage descriptor再予以擴充,而將stereo_presentation_suitable及view資訊予以傳訊。又,亦可使用其他的descriptor來傳訊這些資訊。
<6.附記>
<電腦>
上述之一連串之處理,係可藉由硬體來執行,亦可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖72係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖72所示的電腦900中,CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903,係透過匯流排904而被彼此連接。
匯流排904,係還連接著輸出入介面910。輸出入介面910上係連接有:輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911,係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913,係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中,藉由CPU901而例如將記憶部913中所記憶之程式,透過輸出入介面910及匯流排904,而載入至RAM903裡並加以執行,就可進行上述一連串處理。RAM903中,還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下,程式係藉由將可移除式媒體921裝著至驅動機915,就可透過輸出入介面910,安裝至記憶部913。
又,該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況,程式,係可以通訊部914而接收之,並安裝至記憶部913。
除此以外,該程式係可事前安裝在ROM902或記憶部913中。
<本技術的適用對象>
以上雖然說明了,對ISOBMFF檔案或MPD檔案適用本技術的情況,但本技術係不限於這些例子,亦可對將立體結構影像映射至單數之平面而成的投影平面影像之串流予以配訊的任意規格之檔案做適用。亦即,只要不與上述的本技術產生矛盾,配訊控制、檔案格式、編碼、解碼方式等之各種處理的規格,係為任意。又,只要不與本技術產生矛盾,亦可省略上述的一部分之處理或規格。
又,以上作為本技術之適用例雖然說明了檔案生成裝置100或客戶端裝置200,但本技術係可適用於任意之構成。
例如,本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等,各式各樣的電子機器。
又例如,本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等,作為裝置的部分構成而實施。
又例如,本技術係亦可對由複數裝置所構成的網路系統做適用。例如,亦可將本技術,透過網路而分擔給複數台裝置,以共同進行處理的雲端運算的方式,來加以實施。例如,亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端,提供影像(動態影像)的相關之服務的雲端服務中,實施本技術。
此外,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
<可適用本技術的領域、用途>
適用了本技術的系統、裝置、處理部等係可利用於例如:交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又,其用途也為任意。
例如,本技術係可是用於,供作觀賞用內容等之提供之用的系統或裝置。又例如,本技術係亦可適用於交通狀況之監理或自動駕駛控制等,供作交通之用的系統或裝置。甚至例如,本技術係亦可適用於供作安全之用的系統或裝置。又例如,本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如,本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又,本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如,本技術係亦可適用於供作運動之用的系統或裝置。
<其他>
此外,於本說明書中所謂「旗標」,係為用來識別複數狀態所需之資訊,不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可以識別3種以上之狀態的資訊。因此,該「旗標」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「旗標」的bit數係為任意,可為1bit亦可為複數bit。又,識別資訊(亦包含旗標),係不只將該識別資訊含入至位元串流的形式,也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「旗標」或「識別資訊」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又,例如,上述的程式,係亦可於任意的裝置中被執行。此情況下,只要讓該裝置,具有必要的機能(機能區塊等),能夠獲得必要的資訊即可。
又,例如,1個流程圖的各步驟,亦可由1個裝置來執行,也可由複數裝置來分擔而執行。甚至,1個步驟中包含有複數個處理的情況下,該複數個處理亦可由1個裝置來執行,也可由複數裝置來分擔而執行。換言之,亦可將1個步驟中所含之複數個處理,以複數個步驟之處理的方式而執行之。反之,亦可將以複數個步驟的方式做說明的處理,整合成1個步驟而執行之。
又,例如,電腦所執行的程式,描述程式的步驟之處理,係可為依照本說明書所說明之順序而在時間序列上被執行,也可平行地,或可在進行呼叫時等必要之時序上,而被個別地執行。亦即,只要不產生矛盾,各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至,描述該程式的步驟之處理,亦可與其他程式之處理平行地執行,也可和其他程式之處理組合而執行。
又,例如,本技術所相關之複數個技術,係只要不產生矛盾的況下,都可分別獨立以單體而加以實施。當然,亦可將任意的複數個本技術加以併用而實施。例如,可以將任一實施形態中所說明的本技術的部分或全部,與其他實施形態中所說明的本技術的部分或全部,加以組合而實施。又,亦可將上述的任意之本技術的部分或全部,與未上述的其他技術加以併用而實施。
此外,本技術係亦可採取如以下之構成。
(1)
一種資訊處理裝置,係具備:
檔案生成部,係生成檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有前記子圖像所被編碼而成之影像編碼資料。
(2)
如(1)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(3)
如(1)或(2)所記載之資訊處理裝置,其中,
前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記檔案中。
(4)
如(3)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記每一圖像領域之配置資訊,係為在Region Wise Packing Box中被傳訊之資訊;
前記領域之相關資訊係被儲存在異於Region Wise Packing Box的,前記ISOBMFF檔案的Scheme Information Box、或前記Scheme Information Box之下階層的Box中。
(5)
如(3)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在,表示訊軌於球面上之顯示領域的Coverage Information Box中。
(6)
如(1)乃至(5)之任一項所記載之資訊處理裝置,其中,
前記領域之相關資訊,係在串流中動態地變化。
(7)
如(6)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在Supplemental Enhancement information message中。
(8)
如(6)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在timed metadata中。
(9)
如(6)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在Sample Group Entry中。
(10)
一種資訊處理方法,係:
生成檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有前記子圖像所被編碼而成之影像編碼資料。
(11)
一種資訊處理裝置,係具備:
檔案取得部,係取得檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有前記子圖像所被編碼而成之影像編碼資料;和
影像處理部,係基於已被前記檔案取得部所取得之前記檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流的選擇。
(12)
如(11)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(13)
如(11)或(12)所記載之資訊處理裝置,其中,
前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記檔案中。
(14)
如(13)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在前記ISOBMFF檔案的Scheme Information Box、或前記Scheme Information Box之下階層的Box中。
(15)
如(13)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在,表示訊軌於球面上之顯示領域的Coverage Information Box中。
(16)
如(11)乃至(15)之任一項所記載之資訊處理裝置,其中,
前記領域之相關資訊,係在串流中動態地變化。
(17)
如(16)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在Supplemental Enhancement information message中。
(18)
如(16)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在timed metadata中。
(19)
如(16)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記領域之相關資訊係被儲存在Sample Group Entry中。
(20)
一種資訊處理方法,係:
取得檔案,其係將所被儲存之子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有,而且還含有前記子圖像所被編碼而成之影像編碼資料;
基於已被取得之前記檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流的選擇。
(21)
一種資訊處理裝置,係具備:
檔案生成部,係生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有前記圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案。
(22)
如(21)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(23)
如(21)或(22)所記載之資訊處理裝置,其中,
前記雙視資訊,係作為前記每一子圖像之資訊而被包含在前記檔案中。
(24)
如(23)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記雙視資訊係被儲存在前記ISOBMFF檔案的Scheme Information Box、或前記Scheme Information Box之下階層的Box中。
(25)
如(21)乃至(24)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:前記子圖像之顯示尺寸之相關資訊。
(26)
如(21)乃至(25)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:前記每一子圖像之雙視顯示之相關資訊也就是子雙視資訊。
(27)
如(21)乃至(26)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
(28)
如(27)所記載之資訊處理裝置,其中,
前記檢視資訊係為,前記子圖像中所含之每一領域之資訊。
(29)
如(28)所記載之資訊處理裝置,其中,
前記檔案係還含有,表示前記檢視資訊是否每一前記領域地存在的資訊。
(30)
一種資訊處理方法,係:
生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有前記圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案。
(31)
一種資訊處理裝置,係具備:
檔案取得部,係取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有前記圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案;和
影像處理部,係基於已被前記檔案取得部所取得之前記檔案中所含之前記雙視資訊,來進行前記影像編碼資料之串流之選擇。
(32)
如(31)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(33)
如(31)或(32)所記載之資訊處理裝置,其中,
前記雙視資訊,係作為前記每一子圖像之資訊而被包含在前記檔案中。
(34)
如(33)所記載之資訊處理裝置,其中,
前記檔案係為ISOBMFF(International Organization for Standardization Base Media File Format)檔案;
前記雙視資訊係被儲存在前記ISOBMFF檔案的Scheme Information Box、或前記Scheme Information Box之下階層的Box中。
(35)
如(31)乃至(34)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:前記子圖像之顯示尺寸之相關資訊。
(36)
如(31)乃至(35)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:前記每一子圖像之雙視顯示之相關資訊也就是子雙視資訊。
(37)
如(31)乃至(36)之任一項所記載之資訊處理裝置,其中,
前記檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
(38)
如(37)所記載之資訊處理裝置,其中,
前記檢視資訊係為,前記子圖像中所含之每一領域之資訊。
(39)
如(38)所記載之資訊處理裝置,其中,
前記檔案係還含有,表示前記檢視資訊是否每一前記領域地存在的資訊。
(40)
一種資訊處理方法,係:
取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像資料彼此儲存至訊軌,並含有前記圖像全體之雙視顯示之相關資訊也就是雙視資訊的檔案;
基於已被取得之前記檔案中所含之前記雙視資訊,來進行前記影像編碼資料之串流之選擇。
(41)
一種資訊處理裝置,係具備:
檔案生成部,係生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
(42)
如(41)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(43)
如(41)或(42)所記載之資訊處理裝置,其中,
前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記控制檔案中。
(44)
如(43)所記載之資訊處理裝置,其中,
前記控制檔案,係為MPD(Media Presentation Description)檔案;
前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理;
前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中;
前記領域之相關資訊係被定義在前記MPD檔案的Supplemental Property或Essential Property中。
(45)
如(43)所記載之資訊處理裝置,其中,
前記控制檔案,係為MPD(Media Presentation Description)檔案;
前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理;
前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中;
前記領域之相關資訊係被定義在前記MPD檔案的Content coverage descriptor中。
(46)
一種資訊處理方法,係:
生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
(51)
一種資訊處理裝置,係具備:
檔案取得部,係取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案;和
影像處理部,係基於已被前記檔案取得部所取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
(52)
如(51)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(53)
如(51)或(52)所記載之資訊處理裝置,其中,
前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記控制檔案中。
(54)
如(53)所記載之資訊處理裝置,其中,
前記控制檔案,係為MPD(Media Presentation Description)檔案;
前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理;
前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中;
前記領域之相關資訊係被定義在前記MPD檔案的Supplemental Property或Essential Property中。
(55)
如(53)所記載之資訊處理裝置,其中,
前記控制檔案,係為MPD(Media Presentation Description)檔案;
前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理;
前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中;
前記領域之相關資訊係被定義在前記MPD檔案的Content coverage descriptor中。
(56)
一種資訊處理方法,係:
取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之圖像全體中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案;
基於已被取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
(61)
一種資訊處理裝置,係具備:
檔案生成部,係生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有前記適應集合之雙視顯示之相關資訊也就是雙視資訊的,前記影像編碼資料之配訊控制時所被使用的控制檔案。
(62)
如(61)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(63)
如(61)或(62)所記載之資訊處理裝置,其中,
前記控制檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
(64)
如(63)所記載之資訊處理裝置,其中,
前記檢視資訊係為,前記子圖像中所含之每一領域之資訊。
(65)
如(63)或(64)所記載之資訊處理裝置,其中,
前記控制檔案係還含有,表示前記檢視資訊是否每一前記領域地存在的資訊。
(66)
如(63)乃至(65)之任一項所記載之資訊處理裝置,其中,
前記控制檔案係還含有:表示適應集合是否為可雙視顯示的資訊。
(67)
一種資訊處理方法,係:
生成將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有前記適應集合之雙視顯示之相關資訊也就是雙視資訊的,前記影像編碼資料之配訊控制時所被使用的控制檔案。
(71)
一種資訊處理裝置,係具備:
檔案取得部,係取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有前記適應集合之雙視顯示之相關資訊也就是雙視資訊的,前記影像編碼資料之配訊控制時所被使用的控制檔案;和
影像處理部,係基於已被前記檔案取得部所取得之前記控制檔案中所含之前記雙視資訊,來進行前記影像編碼資料之串流之選擇。
(72)
如(71)所記載之資訊處理裝置,其中,
前記圖像,係為全天球映像。
(73)
如(71)或(72)所記載之資訊處理裝置,其中,
前記控制檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
(74)
如(73)所記載之資訊處理裝置,其中,
前記檢視資訊係為,前記子圖像中所含之每一領域之資訊。
(75)
如(73)或(74)所記載之資訊處理裝置,其中,
前記控制檔案係還含有,表示前記檢視資訊是否每一前記領域地存在的資訊。
(76)
如(73)乃至(75)之任一項所記載之資訊處理裝置,其中,
前記控制檔案係還含有:表示適應集合是否為可雙視顯示的資訊。
(77)
一種資訊處理方法,係:
取得將圖像全體被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料按照每一適應集合而加以管理,並含有前記適應集合之雙視顯示之相關資訊也就是雙視資訊的,前記影像編碼資料之配訊控制時所被使用的控制檔案;
基於已被取得之前記控制檔案中所含之前記雙視資訊,來進行前記影像編碼資料之串流之選擇。
11‧‧‧Box階層結構
12‧‧‧Box階層結構
21‧‧‧語法
22‧‧‧語法
23‧‧‧語意
24‧‧‧語法
25‧‧‧語法
26‧‧‧語意
100‧‧‧檔案生成裝置
101‧‧‧控制部
102‧‧‧記憶體
103‧‧‧檔案生成部
111‧‧‧資料輸入部
112‧‧‧資料編碼生成部
113‧‧‧MPD檔案生成部
114‧‧‧記錄部
115‧‧‧上傳部
121‧‧‧前處理部
122‧‧‧編碼部
123‧‧‧區段檔案生成部
200‧‧‧客戶端裝置
201‧‧‧控制部
202‧‧‧記憶體
203‧‧‧再生處理部
211‧‧‧計測部
212‧‧‧MPD檔案取得部
213‧‧‧MPD檔案處理部
214‧‧‧區段檔案取得部
215‧‧‧顯示控制部
216‧‧‧資料解析解碼部
217‧‧‧顯示部
221‧‧‧區段檔案處理部
222‧‧‧解碼部
223‧‧‧顯示資訊生成部
301‧‧‧立體結構影像
302‧‧‧投影平面影像
303~308‧‧‧sub-pictures
311‧‧‧箭頭
331‧‧‧語法
332‧‧‧語意
351‧‧‧projected picture
352~355‧‧‧sub-picture
371‧‧‧語法
372‧‧‧語意
373‧‧‧語法
374‧‧‧語意
375‧‧‧語法
376‧‧‧語意
377‧‧‧語法
378‧‧‧語法
379‧‧‧語法
380‧‧‧語意
381‧‧‧語法
382‧‧‧語意
383‧‧‧語法
384‧‧‧語法
391‧‧‧語法
411‧‧‧屬性值
412‧‧‧屬性值
413‧‧‧資料類型
414‧‧‧屬性值
415‧‧‧屬性值
416‧‧‧屬性值
417‧‧‧屬性值
418‧‧‧資料類型
419‧‧‧資料類型
420‧‧‧資料類型
431‧‧‧projected picture
432~437‧‧‧sub-picture
441‧‧‧projected picture
442~446‧‧‧sub-picture
451‧‧‧projected picture
452、453‧‧‧sub-picture
461‧‧‧語法
462‧‧‧語意
471‧‧‧sub-picture
472‧‧‧sub-picture
473‧‧‧影像
481‧‧‧語法
482‧‧‧語意
491、492‧‧‧sub-picture
493‧‧‧影像
501‧‧‧語法
502‧‧‧語法
503‧‧‧語意
511‧‧‧全體圖像(projected picture)
512~517‧‧‧sub-picture
521‧‧‧全體圖像(projected picture)
522~526‧‧‧sub-picture
531‧‧‧語法
532‧‧‧語法
533‧‧‧語意
541‧‧‧全體圖像
542~545‧‧‧sub-picture
551‧‧‧屬性值
552‧‧‧屬性值
553‧‧‧資料類型
900‧‧‧電腦
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
904‧‧‧匯流排
910‧‧‧輸出入介面
911‧‧‧輸入部
912‧‧‧輸出部
913‧‧‧記憶部
914‧‧‧通訊部
915‧‧‧驅動機
921‧‧‧可移除式媒體
1001‧‧‧語法
[圖1] ISOBMFF的sub-picture track的Box階層結構之例子的圖示。
[圖2] ISOBMFF的非sub-picture track之track的Box階層結構之例子的圖示。
[圖3] Sub Picture Composition Box的語法之例子的圖示。
[圖4] Sub Picture Region Box的語法之例子的圖示。
[圖5] Sub Picture Region Box內所被定義之欄位的語意之例子的圖示。
[圖6] Region Wise Packing Box的語法之例子的圖示。
[圖7] Region Wise Packing Struct的語法之例子的圖示。
[圖8] Region Wise Packing Struct內所被定義之欄位的語意之例子的圖示。
[圖9] RectRegionPacking的語法之例子的圖示。
[圖10] RectRegionPacking內所被定義之欄位的語意之例子的圖示。
[圖11] 檔案生成裝置之主要構成例的區塊圖。
[圖12] 客戶端裝置之主要構成例的區塊圖。
[圖13] 顯示領域資訊之例子的圖示。
[圖14] 上傳處理的流程之例子的說明用流程圖。
[圖15] 內容再生處理的流程之例子的說明用流程圖。
[圖16] 2D Coverage Information Box的語法之例子的圖示。
[圖17] 2D Coverage Information Box內所被定義之欄位的語意之例子的圖示。
[圖18] 顯示領域資訊之例子的圖示。
[圖19] 含有不連續領域的sub-picture之例子的圖示。
[圖20] 2D Coverage Information Box的語法之例子的圖示。
[圖21] 此情況下所被追加之欄位的語意之例子的圖示。
[圖22] Region Wise Packing Struct的語法之例子的圖示。
[圖23] 此情況下所被追加之欄位的語意之例子的圖示。
[圖24] RectProjectedRegion的語法之例子的圖示。
[圖25] RectProjectedRegion內所被定義之欄位的語意之例子的圖示。
[圖26] Region Wise Packing Struct的語法之例子的圖示。
[圖27] RectRegionPacking的語法之例子的圖示。
[圖28] Coverage Information Box的語法之例子的圖示。
[圖29] Coverage Information Box內所被定義之欄位的語意之例子的圖示。
[圖30] Spherical offset projection SEI message的語法之例子的圖示。
[圖31] Spherical offset projection SEI message內所被定義之欄位的語意之例子的圖示。
[圖32] 2D Coverage Information Sample Entry的語法之例子的圖示。
[圖33] 2D Coverage Information Sample的語法之例子的圖示。
[圖34] Sample Table Box之例子的圖示。
[圖35] 2D Coverage Information Sample Group Entry的語法之例子的圖示。
[圖36] 上傳處理的流程之例子的說明用流程圖。
[圖37] 內容再生處理的流程之例子的說明用流程圖。
[圖38] 2D coverage information descriptor的屬性值之例子的圖示。
[圖39] 2D coverage information descriptor的屬性值之例子的圖示。
[圖40] 資料類型之例子的圖示。
[圖41] Region Wise Packing descriptor的屬性值之例子的圖示。
[圖42] Region Wise Packing descriptor的屬性值之例子的圖示。
[圖43] Content coverage descriptor的屬性值之例子的圖示。
[圖44] Content coverage descriptor的屬性值之例子的接續圖43的圖。
[圖45] 資料類型之例子的圖示。
[圖46] 資料類型之例子的接續圖45的圖。
[圖47] 資料類型之例子的接續圖46的圖。
[圖48] sub-picture化之例子的圖示。
[圖49] sub-picture化之例子的圖示。
[圖50] sub-picture化之例子的圖示。
[圖51] 上傳處理的流程之例子的說明用流程圖。
[圖52] 內容再生處理的流程之例子的說明用流程圖。
[圖53] Original Stereo Video Box的語法之例子的圖示。
[圖54] Original Stereo Video Box內所被定義之欄位的語意之例子的圖示。
[圖55] 顯示尺寸的傳訊之例子的圖示。
[圖56] Pixel Aspect Ratio Box的語法之例子的圖示。
[圖57] Pixel Aspect Ratio Box內所被定義之欄位的語意之例子的圖示。
[圖58] 顯示時的像素縱橫比的傳訊之例子的圖示。
[圖59] Original Scheme Information Box的語法之例子的圖示。
[圖60] 2D Coverage Information Box的語法之例子的圖示。
[圖61] 2D Coverage Information Box內所被定義之欄位的語意之例子的圖示。
[圖62] stereo_presentation_suitable的傳訊之例子的圖示。
[圖63] Track Stereo Video Box的語法之例子的圖示。
[圖64] 2D Coverage Information Box的語法之例子的圖示。
[圖65] 2D Coverage Information Box內所被定義之欄位的語意之例子的圖示。
[圖66] view_idc的傳訊之例子的圖示。
[圖67] 上傳處理的流程之例子的說明用流程圖。
[圖68] 內容再生處理的流程之例子的說明用流程圖。
[圖69] 2D coverage information descriptor的屬性值之例子的圖示。
[圖70] 2D coverage information descriptor的屬性值之例子的接續圖69的圖。
[圖71] 資料類型之例子的圖示。
[圖72] 電腦的主要構成例的區塊圖。
[圖73] Sub Picture Composition Box的語法之例子的圖示。
[圖74] Supplemental Property的語法之例子的圖示。

Claims (20)

  1. 一種資訊處理裝置,係具備: 檔案生成部,係生成將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
  2. 如請求項1所記載之資訊處理裝置,其中, 前記全體圖像,係為全天球映像。
  3. 如請求項1所記載之資訊處理裝置,其中, 前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記控制檔案中。
  4. 如請求項3所記載之資訊處理裝置,其中, 前記控制檔案,係為MPD(Media Presentation Description)檔案; 前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理; 前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中; 前記領域之相關資訊係被定義在前記MPD檔案的Supplemental Property或Essential Property中。
  5. 如請求項1所記載之資訊處理裝置,其中, 前記控制檔案係還含有:適應集合之雙視顯示之相關資訊也就是雙視資訊。
  6. 如請求項5所記載之資訊處理裝置,其中, 前記全體圖像,係為全天球映像。
  7. 如請求項1所記載之資訊處理裝置,其中, 前記控制檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
  8. 如請求項7所記載之資訊處理裝置,其中, 前記檢視資訊係為,前記子圖像中所含之每一領域之資訊。
  9. 如請求項8所記載之資訊處理裝置,其中, 前記控制檔案係還含有,表示前記檢視資訊是否每一前記領域地存在的資訊。
  10. 如請求項7所記載之資訊處理裝置,其中, 前記控制檔案係還含有:表示適應集合是否為可雙視顯示的資訊。
  11. 一種資訊處理方法,係: 生成將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案。
  12. 一種資訊處理裝置,係具備: 檔案取得部,係取得將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案;和 影像處理部,係基於已被前記檔案取得部所取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
  13. 如請求項12所記載之資訊處理裝置,其中, 前記全體圖像,係為全天球映像。
  14. 如請求項12所記載之資訊處理裝置,其中, 前記領域之相關資訊,係作為前記每一子圖像之資訊而被包含在前記控制檔案中。
  15. 如請求項14所記載之資訊處理裝置,其中, 前記控制檔案,係為MPD(Media Presentation Description)檔案; 前記每一子圖像的影像編碼資料,係按照每一適應集合而被管理; 前記每一圖像領域之配置資訊,係被儲存在Region-wise packing descripitor中; 前記領域之相關資訊係被定義在前記MPD檔案的Supplemental Property或Essential Property中。
  16. 如請求項12所記載之資訊處理裝置,其中, 前記控制檔案係還含有:適應集合之雙視顯示之相關資訊也就是雙視資訊。
  17. 如請求項16所記載之資訊處理裝置,其中, 前記全體圖像,係為全天球映像。
  18. 如請求項12所記載之資訊處理裝置,其中, 前記控制檔案係還含有:表示前記子圖像之檢視類型的檢視資訊。
  19. 如請求項18所記載之資訊處理裝置,其中, 前記控制檔案係還含有:表示適應集合是否為可雙視顯示的資訊。
  20. 一種資訊處理方法,係: 取得將全體圖像被分割成複數子圖像而被編碼成的每一子圖像之影像編碼資料加以管理,並將前記子圖像所對應之全體圖像中的領域之相關資訊,作為與每一圖像領域之配置資訊不同的資訊而含有的,前記影像編碼資料之配訊控制時所被使用之控制檔案; 基於已被取得之前記控制檔案中所含之前記領域之相關資訊,來進行前記影像編碼資料之串流之選擇。
TW108100148A 2018-01-12 2019-01-03 資訊處理裝置及方法 TW201937937A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-003796 2018-01-12
JP2018003796 2018-01-12
JP2018127665 2018-07-04
JP2018-127665 2018-07-04

Publications (1)

Publication Number Publication Date
TW201937937A true TW201937937A (zh) 2019-09-16

Family

ID=67218624

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108100148A TW201937937A (zh) 2018-01-12 2019-01-03 資訊處理裝置及方法

Country Status (11)

Country Link
US (2) US20210084282A1 (zh)
EP (1) EP3734982A4 (zh)
JP (2) JP7396047B2 (zh)
KR (1) KR20200107945A (zh)
CN (1) CN111567057B (zh)
BR (1) BR112020013705A2 (zh)
MX (1) MX2020007074A (zh)
RU (1) RU2020122086A (zh)
SG (1) SG11202005090TA (zh)
TW (1) TW201937937A (zh)
WO (1) WO2019138929A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114088A (ko) * 2019-12-31 2022-08-17 노키아 테크놀로지스 오와이 비디오 인코딩 및 비디오 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 제품
JPWO2022210661A1 (zh) * 2021-03-30 2022-10-06

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266737B2 (ja) * 2003-07-31 2009-05-20 キヤノン株式会社 画像処理方法および装置
JP2006107163A (ja) * 2004-10-06 2006-04-20 Konica Minolta Photo Imaging Inc 受付端末及びファイル編集プログラム並びに注文処理方法
JP4993578B2 (ja) * 2007-01-15 2012-08-08 オリンパスイメージング株式会社 画像ファイル再生装置,画像ファイル加工編集装置
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2395772A3 (en) * 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Gnzo 送信装置及び送信方法
JP5144789B2 (ja) * 2011-06-24 2013-02-13 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
CN104113632B (zh) * 2013-04-22 2016-12-28 联想(北京)有限公司 一种信息处理方法及电子设备
RU2018135725A (ru) * 2013-07-19 2018-11-21 Сони Корпорейшн Устройство и способ обработки информации
EP3148200B1 (en) * 2014-06-30 2020-06-17 Sony Corporation Information processing device and method selecting content files based on encoding parallelism type
EP3451675A4 (en) * 2016-04-26 2019-12-04 LG Electronics Inc. -1- METHOD FOR TRANSFERRING 360 DEGREE VIDEOS, METHOD FOR RECEIVING 360 DEGREE VIDEOS, DEVICE FOR TRANSMITTING 360 DEGREE VIDEOS AND DEVICE FOR RECEIVING 360 DEGREE VIDEOS
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
GB2550587B (en) * 2016-05-23 2020-05-20 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
US10547879B2 (en) 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102305633B1 (ko) 2017-03-17 2021-09-28 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US10523913B2 (en) * 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
JP6721631B2 (ja) * 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
JP7085816B2 (ja) * 2017-09-26 2022-06-17 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
GB2567624B (en) 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
KR102202338B1 (ko) 2017-10-24 2021-01-13 엘지전자 주식회사 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR102188270B1 (ko) * 2018-07-06 2020-12-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
WO2020050577A1 (ko) * 2018-09-07 2020-03-12 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치

Also Published As

Publication number Publication date
CN111567057A (zh) 2020-08-21
EP3734982A4 (en) 2020-11-25
JP7396047B2 (ja) 2023-12-12
WO2019138929A1 (ja) 2019-07-18
JPWO2019138929A1 (ja) 2021-01-21
BR112020013705A2 (pt) 2020-12-01
US11729366B2 (en) 2023-08-15
KR20200107945A (ko) 2020-09-16
EP3734982A1 (en) 2020-11-04
SG11202005090TA (en) 2020-06-29
MX2020007074A (es) 2020-09-09
JP2024003189A (ja) 2024-01-11
RU2020122086A (ru) 2022-01-04
CN111567057B (zh) 2022-11-04
US20220224874A1 (en) 2022-07-14
US20210084282A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US10991066B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
US20190141311A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, apparatus for receiving 360-degree video
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
KR20190075040A (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
JP2024003189A (ja) 情報処理装置および方法
CN111919452A (zh) 用于发送信号通知相机参数信息的系统和方法
KR20230022165A (ko) 정보 처리 장치 및 방법
WO2019138928A1 (ja) 情報処理装置および方法
JP2019125865A (ja) 情報処理装置および方法
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
WO2019138927A1 (ja) 情報処理装置および方法