TW202041008A - 資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法 - Google Patents

資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法 Download PDF

Info

Publication number
TW202041008A
TW202041008A TW109106674A TW109106674A TW202041008A TW 202041008 A TW202041008 A TW 202041008A TW 109106674 A TW109106674 A TW 109106674A TW 109106674 A TW109106674 A TW 109106674A TW 202041008 A TW202041008 A TW 202041008A
Authority
TW
Taiwan
Prior art keywords
content
rap
information
preamble
file
Prior art date
Application number
TW109106674A
Other languages
English (en)
Inventor
高橋遼平
平林光浩
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202041008A publication Critical patent/TW202041008A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/418—External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4183—External card to be used in combination with the client device, e.g. for conditional access providing its own processing capabilities, e.g. external module for video decoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

容易提供符合觀賞者期望之觀賞體驗。資料取得部(101)，係取得由複數個分量串流所構成之內容。檔案生成部(105)，係基於已被前記資料取得部(101)所取得的內容之分量串流之隨機存取點，而生成表示前記內容之隨機存取點的內容RAP(Random Access Point)資訊。

Description

資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法
本揭露係有關於資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法。
近年來，作為網際網路上的串流化服務的基礎技術，MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over Hypertext Transfer Protocol)等已經開始普及。又，在使用MPEG-DASH的串流化中，例如，將影片資料或聲音資料儲存在ISOBMFF (International Organization for Standardization Base Media File Format)檔案中並予以傳遞的技術，係被使用。此處，所謂ISOBMFF，係為MPEG-4的檔案格式之標準規格。
又，在MPEG-I Part 5 Video-based Point Cloud Compression (ISO/IEC 23090-5) 中係被規定有，在3維空間上同時具有位置資訊與屬性資訊(尤其是色彩資訊)的點之集合也就是Point Cloud之壓縮方法。作為其中之一的壓縮方法係有，將Point Cloud予以區段化而形成領域，每一領域地做平面投影而生成屬性影像(色彩資訊等)和幾何影像(由depth資訊所構成)、佔用影像、後設資料(用以從patch來重建Point Cloud所需之資訊)，將三個影像藉由影片編解碼器而予以編碼，生成總計4個串流(稱作分量串流)的方法。此方法係被稱為Video-based Point Cloud Coding (V-PCC)。
將使用該V-PCC而被編碼的Point Cloud儲存在ISOBMFF中而成的Point Cloud檔案也就是V-PCC內容 (影片)，在進行再生之際，為了滿足觀賞者的要求，而被要求與2D(Dimension)視訊同樣地，可從內容的中途進行觀賞或提供前進或後退這類的觀賞體驗。作為實現這些觀賞體驗之提供的方法，係存在有隨機存取。在使用ISOBMFF的情況下，檔案生成裝置，係藉由把串流的可進行隨機存取的地點也就是RAP(Random Access Point)加以識別所需之資訊提供給客戶端裝置側，以實現隨機存取。 [先前技術文獻] [非專利文獻]
[非專利文獻1]"ISO/IEC 14496-12", Fifth Edition, 2015 -12-15
[發明所欲解決之課題]
然而，ISOBMFF的內容檔案，有時候會像是例如V-PCC內容般地，是由將第1串流、第2串流、第3串流及第4串流這些複數個分量串流分別予以個別地儲存的訊軌所構成的情況。在對此種ISOBMFF的內容檔案所具有的內容進行隨機存取的情況下，於解碼器側，會進行各分量串流的RAP(Random Access Point)識別而導致很大的處理負擔。
於是，在本揭露中係提供一種，能夠容易提供符合觀賞者期望之觀賞體驗的資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法。 [用以解決課題之手段]
若依據本揭露，則資料取得部，係將由複數個分量串流所構成之內容，加以取得。檔案生成部，係基於已被前記資料取得部所取得的前記內容之前記分量串流之每一者的隨機存取點資訊，而生成表示前記內容之隨機存取點的內容RAP資訊。
以下，將本案所揭露的資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法的實施形態，基於圖式來做詳細說明。此外，本技術所揭露之範圍，係不只有實施形態中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述) 非專利文獻2："N18059", WD of Storage of V-PCC in ISOBMFF Files, 124th MPEG meeting, October 2018, Macau, Macao S. A. R., China 非專利文獻3："N18180", Study text of ISO/IEC CD 23090-5 video based Point Cloud Compression, 125th MPEG meeting, January 2019, Marrakesh, Morocco
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻1中所記載之File Structure、非專利文獻2中所記載之V-PCC(Video codec based point cloud compression)的File Structure中所被使用的用語，即使於實施形態中沒有被直接定義的情況下，仍屬於本技術的揭露範圍內，並視為滿足專利申請範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施形態中沒有被直接定義的情況下，仍屬於本技術的揭露範圍內，並視為滿足專利申請範圍的支持要件。
又，按照以下所示之項目順序來說明本揭露。 1.第1實施形態 2.第2實施形態 2.1 第2實施形態的變形例(1) 2.2 第2實施形態的變形例(2) 2.3 第2實施形態的變形例(3) 3.第3實施形態 4.第4實施形態 5.第5實施形態
(1.第1實施形態) [第1實施形態所述之系統的構成] 在使用ISOBMFF的情況下，檔案生成裝置，係藉由把用來識別可隨機存取之樣本(sample)也就是RAP所需之資訊提供給再生處理裝置，即可實現從內容之中途進行觀賞及快轉或後退等之觀賞體驗。此處，所謂樣本，係為映像資料的最小存取單位。樣本係對應於映像資料中的1畫格，也是解碼的單位。RAP中係有sync sample及open random-access sample之2種類。
sync sample係為，從該樣本開始解碼的情況下，以解碼順序就能將該樣本以後之樣本正確地解碼的RAP。sync sample，係在SyncSmapleBox、TrackFragmentRunBox、TrackFragmentRandomAccessBox等中，儲存其資訊。相對於此，open random-access sample係為，從該樣本開始解碼的情況下，以解碼順序在該樣本以後之樣本之中，會有無法正確解碼的樣本存在。所謂無法正確解碼的樣本，係為例如bi-predictional圖像等。open random-access sample，係在Random access point sample group等中，儲存資訊。
將以V-PCC而被編碼之點雲儲存至ISOBMFF的點雲檔案，係被稱為V-PCC內容。在觀賞V-PCC內容的時候，與2D(Dimension)視訊同樣地，要求能夠提供可從內容之中途進行觀賞或前進或後退這類的觀賞體驗。V-PCC內容，係有屬性(attribute)、幾何(geometry)、佔用(occupancy)及後設資料(metadata)這4個分量串流是被儲存在個別的4訊軌中，而被構成為1個ISOBMFF檔案。屬性、幾何及佔用，係使用影片編解碼器而被編碼。後設資料，係有拼貼序列(patch sequence)及序列參數集(sequence parameter set)。
為了識別V-PCC內容之RAP，再生處理裝置，係在識別了屬性、幾何、佔用及後設資料之各訊軌中的RAP之後，尋找全部4個訊軌都是RAP的解碼時間之樣本。此外，若有在隨機存取之時刻上並非RAP的分量串流存在的情況下，則再生處理裝置，係在隨機存取之際，難以完整地構成該時刻的V-PCC內容。
如此，在再生處理裝置進行RAP的識別及解碼時間的樣本之偵測的處理中，會產生龐大的處理負擔。因此，再生開始會變遲而對使用者體驗造成不良影響。
此外，不限於V-PCC內容，對具有會被同時再生之視訊訊軌與音訊訊軌的多重訊軌進行隨機存取時，也是存在有相同的課題。於V-PCC內容中，由於進行複數影片分量之隨機存取再生處理導致處理負擔變大，因此課題較為顯著。於是，在本實施形態中係提供如下的檔案生成裝置及客戶端裝置。
圖1係為傳遞系統之一例的系統構成圖。傳遞系統100係含有：屬於資訊處理裝置的檔案生成裝置1、屬於再生處理裝置的客戶端裝置2及Web伺服器3。檔案生成裝置1、客戶端裝置2及Web伺服器3，係被連接至網路4。然後，檔案生成裝置1、客戶端裝置2及Web伺服器3，係可透過網路4而相互通訊。此處，於圖1中，雖然各裝置只各圖示了1台，但傳遞系統100係亦可將檔案生成裝置1及客戶端裝置2分別含有複數台。
檔案生成裝置1，係將V-PCC內容予以生成。檔案生成裝置1，係將已生成之V-PCC內容，上傳至Web伺服器3。此處，在本實施形態中，雖然針對由Web伺服器3把V-PCC內容提供給客戶端裝置2的構成加以說明，但傳遞系統100係亦可採取其他的構成。例如，亦可為，檔案生成裝置1是含有Web伺服器3之機能，將已生成之V-PCC內容儲存在自裝置內，並提供給客戶端裝置2的構成。
Web伺服器3，係將從檔案生成裝置1所被上傳的V-PCC內容，加以保持。然後，Web伺服器3，係隨應於來自客戶端裝置2之要求而提供所被指定的V-PCC內容。
客戶端裝置2，係將V-PCC內容之送訊要求，發送至Web伺服器3。然後，客戶端裝置2，係將藉由送訊要求所指定的V-PCC內容，從Web伺服器3加以取得。然後，客戶端裝置2，係將V-PCC內容予以解碼而生成映像，並令該映像被顯示在監視器等之顯示裝置。
[第1實施形態所述之檔案生成裝置的構成] 接著，說明檔案生成裝置1之細節。圖2係為檔案生成裝置的區塊圖。屬於資訊處理裝置的檔案生成裝置1，係如圖2所示，具有生成處理部10及控制部11。控制部11，係執行生成處理部10之控制的相關處理。例如，控制部11係進行生成處理部10之各部的動作時序等之統籌控制。生成處理部10係具有：資料取得部101、轉換部102、編碼部103、串流生成部104、檔案生成部105及送訊部106。
資料取得部101，係接受點雲資料之輸入。資料取得部101，係將已取得之點雲資料，輸出至轉換部102。
轉換部102，係將點雲資料之輸入，從資料取得部101予以接受。然後，轉換部102，係將3維點群之資料轉換成畫面顯示用之2維資料，生成屬性影像、幾何影像、佔用影像及後設資料。後設資料，係有時候也被稱為拼貼序列資料。其後，轉換部102，係將已生成之2維資料，輸出至編碼部103。
編碼部103，係具有對應於屬性影像、幾何影像、佔用影像及後設資料之每一者的4個編碼器。編碼部103，係將已被轉換成2維資料的點雲資料之輸入，從轉換部102予以接受。然後，編碼部103，係將點雲資料予以編碼而生成屬性影像、幾何影像、佔用影像及後設資料之每一者的分量。以下係將各個分量，簡稱為屬性、幾何、佔用或後設資料之分量。
此時，編碼部103係以使得屬性、幾何、佔用及後設資料之每一者的分量串流的編碼結構會是相同的方式，來進行編碼。更具體而言，編碼部103，係如圖3所示，以使得各分量的sync sample及open random-access sample的DTS(Decoding Time Stamp)及CTS(Composition Time Stamp)會是相同的方式，來進行編碼。圖3係為第1實施形態中的編碼狀態的圖示。DTS，係為將映像予以解碼的時刻。又，CTS，係為將映像實際予以顯示的時刻。
在圖3中，被附加有斜線之圖案的樣本301，係相當於sync sample之RAP。又，被塗黑的樣本302，係相當於open random-access sample之RAP。其他未被附加圖案的樣本303，係為RAP以外之非RAP之樣本。然後，在樣本群311、312及314中，於相同DTS時含有屬性、幾何、佔用及後設資料的sync sample之RAP，係為可完整再生V-PCC的RAP。又，於樣本群313中，於相同DTS時含有屬性、幾何、佔用及後設資料的open random-access sample之RAP。以下，將可開始再生V-PCC內容的隨機存取點，稱為V-PCC內容之RAP。
藉由上述的編碼，各分量中的sync sample及open random-access sample之位置會變成相同，各訊軌的RAP資訊就變成表示V-PCC內容全體之RAP。亦即，藉由指定各分量之任一者的RAP，就也指定了剩餘之分量的RAP。藉由使DTS及CTS變成相同，就可在相同時序上進行解碼，藉由該已被解碼之相同時序的資料，就可進行V-PCC內容的完整再生。編碼部103，係將已生成之4種類的分量，輸出至串流生成部104。
串流生成部104，係將屬性、幾何、佔用及後設資料之每一者的分量之輸入，從編碼部103予以接受。然後，串流生成部104，係將各分量之樣本予以排列而生成屬性、幾何、佔用及後設資料之每一者的分量之每一者的分量串流。其後，串流生成部104，係將已生成之4個分量串流，輸出至檔案生成部105。
檔案生成部105，係將屬性、幾何、佔用及後設資料之每一者的分量之每一者的分量串流之輸入，從串流生成部104予以接受。然後，檔案生成部105，係將已取得之各分量串流，每一區段地進行檔案化，而生成分量串流的區段檔案。
然後，檔案生成部105，係將已生成之4個分量串流的區段檔案，儲存至ISOBMFF。此時，檔案生成部105，係為了明示4個分量串流的編碼結構為相同，且以使為RAP為對齊的方式而被進行編碼的事實，而將VPCCGroupBox予以擴充並追加了表示4個分量串流之RAP係為對齊的旗標。將VPCCGroupBox予以擴充而表示4個分量串流之RAP係為對齊的旗標，係可說成是V-PCC之RAP資訊。亦即，檔案生成部105，係將V-PCC之RAP資訊予以儲存。
在本實施形態中，檔案生成部105，係將後設資料之訊軌中所被儲存的VPCCGroupBox予以擴充，而表示4個分量串流之RAP是否對齊。此處，在本實施例中，雖然是將後設資料之訊軌的VPCCGroupBox做了擴充，但不限於此，檔案生成部105係亦可將其他3個分量串流之任一訊軌的VPCCGroupBox予以擴充。此處，檔案生成部105，係將各分量串流之RAP資訊的儲存本身，是使用既存的對ISOBMFF之儲存方法而進行之。
圖4係為第1實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105係生成例如，圖4所示的已被擴充的VPCCGroupBox之語法320。藉由圖4中的行321，來表示4個分量串流之RAP是否對齊。在本實施例中，檔案生成部105，係在各分量串流之RAP係為對齊，各訊軌之RAP資訊是表示V-PCC內容之RAP資訊的情況下，將rap_aligned之值設定成1。相對於此，在各分量串流之RAP未對齊的情況下，檔案生成部105係將rap_aligned之值設定成0。
此外，亦可不是VPCCGroupBox，而是將後設資料之訊軌的SampleEntry予以擴充，來表示4個分量串流之RAP是否對齊。
其後，檔案生成部105，係將各分量串流的區段檔案所被儲存之ISOBMFF檔案，輸出至送訊部106。然後，藉由檔案生成部105而被生成的含有已被擴充之VPCCGroupBox的IBMFF檔案，係相當於「內容RAP資訊是被儲存在檔案之後設資料領域中的內容檔案」之一例。
送訊部106，係將各分量串流的區段檔案所被儲存之ISOBMFF檔案之輸入，從檔案生成部105予以接受。然後，送訊部106，係將已取得之各分量串流的區段檔案所被儲存之ISOBMFF檔案，發送至Web伺服器3以上傳V-PCC內容。 [第1實施形態所述之客戶端裝置的構成]
圖5係為客戶端裝置的區塊圖。如圖5所示，屬於再生處理裝置的客戶端裝置2，係具有再生處理部20及控制部21。控制部21係控制再生處理部20各部的動作。例如，控制部21係統籌控制再生處理部20之各部的動作之時序。再生處理部20係具有：檔案取得部201、資料解析解碼部202及顯示部203。
檔案取得部206，係將要進行再生的V-PCC內容所對應之MPD(Media Presentation Description)檔案，從Web伺服器3加以取得。MPD檔案中係含有：V-PCC內容之資料的儲存地點之資訊、或編碼速度或影像尺寸等之映像再生之相關資訊。然後，檔案取得部206，係將已取得之MPD檔案，輸出至檔案處理部221。其後，檔案取得部201，係將要進行再生的V-PCC內容之資料的儲存地點之資訊之輸入，從檔案處理部221予以接受。
檔案取得部201，係使用已取得之V-PCC內容之資料的儲存地點之資訊，來向Web伺服器3進行V-PCC內容之資料的取得要求。然後，檔案取得部201，係將V-PCC內容之資料的各分量串流的區段檔案所被儲存之ISOBMFF檔案，加以取得。其後，檔案取得部201，係將V-PCC內容之資料的各分量串流的區段檔案所被儲存之ISOBMFF檔案，發送至資料解析解碼部202的檔案處理部221。
資料解析解碼部202係執行：已取得之檔案的解析、基於解析結果的資料的取得要求、資料的解碼及顯示資料的生成。資料解析解碼部202係具有：檔案處理部221、解碼處理部222及顯示資訊生成部223。
檔案處理部221，係將MPD檔案之輸入，從檔案取得部201予以接受。然後，檔案處理部221，係將已取得之MPD檔案予以剖析而從V-PCC內容之適應集合取得要進行再生的V-PCC內容之資料的儲存地點之資訊。然後，檔案處理部221，係將V-PCC內容之資料的儲存地點之資訊發送至檔案取得部201以進行資料的取得要求。
其後，檔案處理部221，係將V-PCC內容之資料的各分量串流的區段檔案所被儲存之ISOBMFF檔案之輸入，從檔案取得部201予以接受。接著，檔案處理部221，係將已取得之ISOBMFF之檔案，予以剖析。然後，檔案處理部221，係將V-PCC內容之資料之各分量串流的區段檔案的資料，加以取得。又，檔案處理部221，係從ISOBMFF之檔案的剖析結果之中，確認後設資料之訊軌中的VPCCGroupBox中所含之旗標。然後，檔案處理部221係判定，V-PCC內容的4個分量串流之RAP是否對齊。然後，檔案處理部221，係將各分量串流之資料，輸出至解碼處理部222。然後，檔案處理部221，係將V-PCC內容的4個分量串流之RAP是否對齊的判定結果，通知給解碼處理部222。
解碼處理部222，係將V-PCC內容的4個分量串流的資料之輸入，從檔案處理部221予以接受。然後，解碼處理部222，係將V-PCC內容的4個分量串流之RAP是否對齊的判定結果之通知，從檔案處理部221予以接受。
解碼處理部222，係進行V-PCC內容之各分量串流之解碼。然後，於隨機存取時，在4個分量串流之RAP有對齊的情況下，則解碼處理部222，係將4個分量串流之其中任一者的RAP資訊加以取得，將RAP的樣本予以特定，從已特定之樣本，執行V-PCC內容之各分量串流之解碼。
相對於此，在4個分量串流之RAP未對齊的情況下，則解碼處理部222係識別各分量串流之RAP。然後，解碼處理部222，係將所有的分量串流之RAP位置為一致的DTS之樣本，予以特定。然後，解碼處理部222，係從已特定之樣本，執行V-PCC內容之各分量串流之解碼。其後，解碼處理部222，係將已解碼之V-PCC內容之各分量串流之資料，輸出至顯示資訊生成部223。
顯示資訊生成部223，係將V-PCC內容之各分量串流的資料之輸入，從解碼處理部222予以接受。然後，顯示資訊生成部223，係使用V-PCC內容之各分量串流之資訊來構成點雲，進行算圖而生成顯示資訊。其後，顯示資訊生成部223，係將顯示資訊輸出至顯示部203。
顯示部203係具有揚聲器或監視器等之顯示裝置。顯示部203，係將已被資料解析解碼部202的顯示資訊生成部223所生成的顯示用之聲音及影像之輸入，予以接受。然後，顯示部203，係令已取得之顯示用之聲音及影像，被顯示於顯示裝置。
[第1實施形態所述之檔案生成程序] 接著，參照圖6，說明第1實施形態所述之檔案生成裝置1所致之檔案生成處理之流程。圖6係為第1實施形態所述之檔案生成裝置所致之檔案生成處理的流程圖。
資料取得部101，係將點雲資料，加以取得(步驟S1)。然後，資料取得部101，係將已取得之點雲資料，輸出至轉換部102。
轉換部102，係將點雲資料之輸入，從資料取得部101予以接受。然後，轉換部102，係將已取得之點雲資料的3維資料轉換成2維資料，生成幾何影像、屬性影像、佔用影像及後設資料(步驟S2)。其後，轉換部102係將幾何影像、屬性影像、佔用影像及後設資料，輸出至編碼部103。
編碼部103，係將幾何影像、屬性影像、佔用影像及後設資料之輸入，從轉換部102予以接受。然後，編碼部103，係以使得各資料之RAP會對齊的方式進行編碼，生成幾何、屬性、佔用及後設資料之分量(步驟S3)。其後，編碼部103，係將已生成之4個分量，輸出至串流生成部104。
串流生成部104，係將4個分量之輸入，從編碼部103予以接受。然後，串流生成部104，係將各分量之樣本予以排列而生成4個分量串流(步驟S4)。其後，串流生成部104，係將已生成之4個分量串流，輸出至檔案生成部105。
檔案生成部105，係將4個分量串流之輸入，從串流生成部104予以接受。然後，檔案生成部105，係將4個分量串流及V-PCC內容之RAP資訊，儲存至ISOBMFF檔案(步驟S5)。其後，檔案生成部105，係將已生成之ISOBMFF檔案，輸出至送訊部106。
送訊部106，係將4個分量串流所被儲存之ISOBMFF檔案之輸入，從檔案生成部105予以接受。然後，送訊部106，係將已取得之ISOBMFF檔案發送至Web伺服器3，將V-PCC內容予以上傳(步驟S6)。
[第1實施形態所述之再生處理程序] 接著，參照圖7，說明藉由本實施形態所述之客戶端裝置2而被執行的再生處理之流程。圖7係為藉由第1實施形態所述之客戶端裝置而被執行的再生處理的流程圖。
檔案取得部201，係將V-PCC內容之取得要求發送至Web伺服器3，並將已指定之V-PCC內容之MPD檔案加以取得(步驟S11)。然後，檔案取得部201，係將MPD檔案，輸出至檔案處理部221。檔案處理部221，係將MPD檔案予以剖析，以取得要進行再生的V-PCC內容之資料的儲存地點資訊，並通知給檔案取得部201。
檔案取得部201，係將要進行再生的V-PCC內容之資料的儲存地點資訊的通知，從檔案處理部221予以接受。然後，檔案取得部201，係將已取得的儲存地點資訊所指定的儲存地點之資料的取得要求，發送至Web伺服器3。其後，檔案取得部201，係將要進行再生的V-PCC內容的4個分量串流所被儲存之ISOBMFF檔案，從Web伺服器3加以取得(步驟S12)。檔案取得部201，係將已取得之ISOBMFF檔案，輸出至檔案處理部221。
檔案處理部221，係將4個分量串流所被儲存之ISOBMFF檔案之輸入，從檔案取得部201予以接受。然後，檔案處理部221，係將已取得之ISOBMFF檔案，予以剖析(步驟S13)。
接著，檔案處理部221，係從後設資料之訊軌的VPCCGroupBox取得RAP資訊，判定4個分量串流之RAP是否對齊(步驟S14)。此處係以4個分量串流之RAP係為對齊的情況來做說明。其後，檔案處理部221，係將4個分量串流之資料及4個分量串流之RAP係為對齊的此一資訊，輸出至解碼處理部222。
解碼處理部222，係從ISOBMFF檔案中所被儲存之V-PCC內容之RAP資訊，選擇所望之時刻之RAP(步驟S15)。
接著，解碼處理部222，係將已選擇之RAP所對應之4個分量串流之樣本，予以抽出(步驟S16)。
接著，解碼處理部222，係對4個分量串流將已抽出之樣本予以解碼(步驟S17)。解碼處理部222，係將已解碼之樣本，輸出至顯示資訊生成部223。
顯示資訊生成部223，係根據已解碼之樣本來構成點雲，並且執行算圖而生成顯示影像(步驟S18)。然後，顯示資訊生成部223，係將已生成之顯示影像發送至顯示部203而令其被顯示。
其後，顯示資訊生成部223係繼續通常再生(步驟S19)。
如以上所說明，本實施例所述之檔案生成裝置，係以使得內容中所含之複數個串流之每一者的隨機存取點之時刻成為一致的方式，進行編碼。藉此，藉由特定出任一串流的隨機存取點，就可特定出內容中所含之所有串流之隨機存取點為一致的內容之隨機存取點。因此，可容易地選擇內容之隨機存取點，可容易實現減輕隨機存取時的處理負擔。藉由如此實現迅速的隨機存取，就可容易提供符合觀賞者期望之觀賞體驗。
(2.第2實施形態) 接著，說明第2實施形態。如第1實施形態般地附加使得各分量串流之RAP會成為相同的方式進行編碼的此一限制的情況下，由於每一分量串流的影像為不同因此有可能導致編碼效率惡化。於是，本實施形態所述之檔案生成裝置，係不限制編碼結構而把各分量串流間會成為相同RAP的地點當作內容之RAP，這是與實施例1不同。本實施形態所述之檔案生成裝置1及客戶端裝置2也是以圖2及圖5的區塊圖來表示。以下的說明中，與實施形態1相同的各部之機能，係省略說明。
本實施形態所述之檔案生成裝置1的編碼部103，係只要於各分量串流中RAP係為可配置，則將該RAP的CTS及DTS視為相同，但RAP的種別是按照每一分量而決定。編碼部103係例如，如圖8所示般地進行各分量之編碼。圖8係為第2實施形態中的編碼狀態的圖示。於圖8中，斜線的樣本係表示sync sample之RAP，塗黑的樣本係表示open random access之RAP。例如，在樣本群401中，於相同DTS時全部4個分量串流之樣本皆為sync sample之RAP。又，在樣本群403中，於相同DTS時全部4個分量串流之樣本皆為open random access之RAP。對此，由於不對編碼結構做限制，因此在樣本群402及樣本群404中，於相同DTS時，在幾何串流中沒有sync sample之RAP存在。此情況下，樣本群401及樣本群403，係可作為V-PCC內容之RAP來使用。
檔案生成部105，係將於4個分量串流中種別皆為相同之RAP的樣本，視為V-PCC內容之RAP。然後，檔案生成部105，係將V-PCC內容之RAP資訊，儲存至V-PCC內容之進入點也就是後設資料之訊軌的VPCCGroupBox中。具體而言，檔案生成部105，係將VPCCGroupBox予以擴充，並追加旗標，其係明示後設資料之訊軌中所被儲存之RAP資訊，係為滿足4個分量串流中種別為相同之RAP此一條件的V-PCC內容之RAP資訊。此處，檔案生成部105，係將各分量串流之RAP資訊的儲存本身，是使用既存的對ISOBMFF之儲存方法而進行之。
圖9係為第2實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105係生成例如，圖4所示的已被擴充的VPCCGroupBox之語法410。檔案生成部105，係藉由語法410中的行411，來表示後設資料之訊軌中所被儲存之RAP資訊是否表示V-PCC內容之RAP資訊。在本實施例中，檔案生成部105，係在後設資料之訊軌的RAP資訊是表示V-PCC內容之RAP資訊的情況下，則將rap_aligned之值設定成1。反之在後設資料之訊軌的RAP資訊不是表示V-PCC內容之RAP資訊的情況下，則檔案生成部105係將rap_aligned之值設定成0。
此外，亦可不是VPCCGroupBox而是把後設資料之訊軌的SampleEntry予以擴充，來表示後設資料之訊軌中所被儲存之RAP資訊是否表示V-PCC內容之RAP資訊。
此處，在本實施例中，雖然是構成為使用後設資料之訊軌的RAP資訊來表示V-PCC內容之RAP資訊，但亦可構成為使用其他分量串流之RAP資訊來表示V-PCC內容之RAP資訊。此情況下，檔案生成部105係生成，明示將V-PCC內容之RAP予以儲存之分量串流的檔案。
客戶端裝置2的檔案處理部221，係將已取得之ISOBMFF檔案予以剖析，確認後設資料之訊軌的VPCCGroupBox之旗標，判定該後設資料之RAP是否表示V-PCC內容之RAP。
解碼處理部222，係在進行隨機存取的情況下，將作為隨機存取點而被指定的位置的，表示V-PCC內容之RAP的後設資料之RAP所對應之樣本，加以特定。然後，解碼處理部222，係將已被特定之樣本予以解碼而生成各分量串流。
如以上所說明，本實施形態所述之檔案生成裝置，係不對編碼結構給予限制，把同種之RAP是在全部的分量串流間為對齊的位置，視為內容之RAP。藉此，可一面減輕編碼效率之惡化同時實現迅速的隨機存取，可容易地提供符合觀賞者期望之觀賞體驗。
[2.1 第2實施形態的變形例(1)] 在本變形例中，為了儲存V-PCC內容之RAP資訊而定義了新的Box。以下說明本變形例所述之V-PCC內容之RAP資訊的儲存方法。
檔案生成部105，係為了儲存V-PCC內容之RAP資訊而新生成VPCCRapInfoBox。圖10係為第2實施形態的變形例(1)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。例如，檔案生成部105係生成，具有如圖10所示之語法420的VPCCRapInfoBox。
此處，entry_count係表示V-PCC內容之RAP數。又，sample_number係表示，構成V-PCC內容之RAP的各訊軌中的各訊軌間為共通之RAP的樣本位置。此處，檔案生成部105，係亦可取代sample_number，改為指定SyncSampleBox或TrackFragmentRandomAccessBox的entry_id。
然後，檔案生成部105，係在例如VPCCGroupBox之下，配置已生成之VPCCRapInfoBox。除此以外，檔案生成部105，係亦可在MovieFragmentBox(moof)/MetaDataBox(meta)之下，配置已生成之VPCCRapInfoBox。又，檔案生成部105，係亦可在各自不同的訊軌中，另外儲存各分量串流的RAP資訊。此情況下，被視為V-PCC內容之RAP的位置間，各分量串流的RAP種別亦可不同。
甚至，除了VPCCRapInfoBox以外，檔案生成部105，係亦可還定義sample Group，來表示該group中所屬之樣本就是V-PCC內容之RAP。
客戶端裝置2的檔案處理部221，係將ISOBMFF檔案予以剖析，從VPCCRapInfoBox特定出V-PCC內容之RAP。然後，檔案處理部221，係確認各分量串流之RAP資訊所被儲存之訊軌，將已特定之V-PCC內容之RAP中的各分量串流之RAP之種別，予以特定。RAP之種別為一致的情況下，檔案處理部221係藉由將已特定之V-PCC內容之RAP通知給解碼處理部222令其進行解碼以實現隨機存取。
如以上所說明，為了儲存V-PCC內容之RAP資訊而定義了新的Box就可實現隨機存取。在如此的方法下也是，可一面減輕編碼效率之惡化同時實現迅速的隨機存取，可容易地提供符合觀賞者期望之觀賞體驗。
[2.2 第2實施形態的變形例(2)] 在本變形例中，即使有非RAP之樣本混合存在的情況下仍視為V-PCC內容之RAP，針對非RAP之樣本係指定解碼開始位置。以下說明本變形例所述之V-PCC內容之RAP資訊的儲存方法。
編碼部103，係與第2實施形態同樣地進行如圖11所示的編碼。圖11係為第2實施形態的變形例(2)中的編碼狀態的圖示。此情況下，在樣本群431中，於相同DTS時全部4個分量串流之樣本皆為sync sample之RAP。又，在樣本群434中，於相同DTS時全部4個分量串流之樣本皆為open random access sample之RAP。相對於此，在樣本群432及樣本群434中，於相同DTS時含有非RAP之樣本。
檔案生成部105，係即使是有非RAP之樣本混合存在的DST，仍視為V-PCC內容之RAP。然後，檔案生成部105，係為了儲存V-PCC內容之RAP資訊而新生成VPCCRapInfoBox。再者，檔案生成部105，係將新生成之VPCCRapInfoBox予以進一步擴充，以指定為了將已視為V-PCC內容之RAP中所含之非RAP之樣本予以解碼所需之解碼開始位置。
例如，檔案生成部105，係在把圖11中的樣本群432及樣本群434設成V-PCC內容的情況，則將這些的RAP資訊連同非RAP之樣本435的解碼開始位置，加以指定。
圖12係為第2實施形態的變形例(2)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105，係作成具有如圖12所示之語法440的VPCCRapInfoBox，並配置在例如VPCCGroupBox之下。
語法440中的is_all_RAP，係若值為1，則表示構成V-PCC內容之RAP的各分量串流之樣本全部都是RAP。又，is_all_RAP，係若值為0，則表示構成V-PCC內容之RAP的各分量串流之樣本之中，係有不是RAP的樣本存在。又，num_entities_in_group係表示V-PCC內容中所含之分量串流之數量。再者，num_entities_in_group，係將以進入順序而於VPCCGroupBox中所被表示的分量串流之種類加以識別。又，is_non_RAP，係若值為1，則表示分量串流之樣本並非RAP。又，is_non_RAP，係若值為0，則表示分量串流之樣本是RAP。又，distance係表示，距離用來解碼非RAP之樣本所需之解碼開始位置的樣本數差分。此處，distance係為，具有非RAP之樣本的分量串流中的，存在於比對象之V-PCC內容之RAP還前面的RAP位置為止的偏置。distance，係以sample_number所表示的樣本位置為基準，而被求出。
例如，若為圖11的樣本435的解碼開始位置，則檔案生成部105，係為了表示含有屬於非RAP的樣本435，而將is_all_RAP設成1。然後，檔案生成部105，係作為用來解碼樣本435所需的解碼開始位置資訊，而將distance設定成10。
除此以外，檔案生成部105，係亦可在圖12的語法440中的num_entities_in_group的迴圈中，指定後設資料訊軌以外之分量串流。
如以上所說明，即使有非RAP之樣本混合存在的情況下仍視為V-PCC內容之RAP，針對非RAP之樣本係指定解碼開始位置，藉此可實現隨機存取。此情況下，相較於變形例(1)的情況，可對V-PCC內容之RAP做指定的上限係可被緩和，可增加V-PCC內容之RAP。因此，可使隨機存取的粒度變得較為細緻，可提供符合觀賞者期望之觀賞體驗。
[第2實施形態的變形例(3)] 在本變形例中，即使有非RAP之樣本混合存在的情況下仍視為V-PCC內容之RAP且在隨機存取時係利用非RAP以外之樣本的分量串流來開始再生。以下說明本變形例所述之V-PCC內容之RAP資訊的儲存方法。
編碼部103，係與第2實施形態同樣地進行如圖13所示的編碼。圖13係為第2實施形態的變形例(3)中的編碼狀態的圖示。此情況下，在樣本群451及樣本群454中，於相同DTS時全部4個分量串流之樣本皆為sync sample之RAP。又，在樣本群453中，於相同DTS時全部4個分量串流之樣本皆為open random access sample之RAP。相對於此，在樣本群452中，於屬性之分量串流中含有非RAP之樣本。
檔案生成部105，係即使是有非RAP之樣本混合存在的DST，仍視為是V-PCC內容之RAP。然後，檔案生成部105，係為了儲存V-PCC內容之RAP資訊而新生成VPCCRapInfoBox。再者，檔案生成部105，係將新生成之VPCCRapInfoBox予以進一步擴充，以表示其為不將具有已視為V-PCC內容之RAP中所含之非RAP之樣本的分量串流予以解碼也無妨的分量串流。藉此，檔案生成部105係表示，這是在該分量串流的下個RAP抵達的時點上對該分量串流所施加之進行影像顯示之處理在客戶端裝置2中亦可不必執行的V-PCC內容之RAP。
例如，檔案生成部105，係在把圖13中的樣本群452設成V-PCC內容的情況下，生成它們的RAP資訊以及表示屬性之分量串流係為此時點上不必解碼亦無妨的分量串流的資訊。
圖14係為第2實施形態的變形例(3)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105，係作成具有如圖14所示之語法460的VPCCRapInfoBox，並配置在例如VPCCGroupBox之下。語法460中的is_decode_optional，係若值為1，則表示其為在隨機存取時係為不解碼亦無妨的分量串流。又，is_decode_optional，係若值為0，則表示這是在隨機存取時要進行解碼的分量串流。
例如，對圖13的樣本群452之樣本做隨機存取的情況下，檔案生成部105，係將屬性之分量串流的is_decode_optional之值設成1。
客戶端裝置2的檔案處理部221係例如，對圖13的樣本群452中的V-PCC內容之RAP進行隨機存取的情況下，則將ISOBMFF予以剖析，並確認VPCCRapInfoBox。然後，檔案處理部221，係針對is_decode_optional之值為1的分量串流，係對解碼處理部222指示不要進行該時點上的解碼。其後，檔案處理部221，係在進行再生之映像已經抵達了屬性之分量串流之RAP的時點上，向解碼處理部222指示全部4個分量串流之解碼。
解碼處理部222係例如，對圖13的樣本群452中的V-PCC內容之RAP進行隨機存取的情況下，對幾何、佔用及後設資料之分量串流中的樣本群452中所含之樣本，進行解碼。然後，解碼處理部222，係將已解碼之幾何、佔用及後設資料之樣本，輸出至顯示資訊生成部223。其後，解碼處理部222，係在進行再生之映像已經抵達了屬性之分量串流之RAP的時點上，將全部4個分量串流之解碼的指示，從檔案處理部221予以接受。然後，從該時點以後，解碼處理部222，係將全部4個分量串流之樣本予以解碼。解碼處理部222，係將已解碼之全部4個分量串流之樣本，輸出至顯示資訊生成部223。
顯示資訊生成部223係例如，對圖13的樣本群452中的V-PCC內容之RAP進行隨機存取的情況下，將已被解碼的幾何、佔用及後設資料之樣本之輸入，從解碼處理部222予以接受。此情況下屬性所致之著色尚未被進行，因此顯示資訊生成部223係根據其他3個分量串流來構成沒有顏色的點雲並作為顯示影像而令顯示部203顯示之。其後，在進行再生之映像抵達了屬性之分量串流之RAP的時點以後，顯示資訊生成部223，係將全部4個分量串流之樣本之輸入，從解碼處理部222予以接受。然後，顯示資訊生成部223，係從該時點起將上了色的點雲予以構成而作為顯示影像而令顯示部203顯示之。
如以上所說明，即使有非RAP之樣本混合存在的情況下仍視為V-PCC內容之RAP，針對非RAP之樣本係藉由在下個RAP時進行映像化，以實現隨機存取。即使是如此的構成，相較於變形例(1)的情況，可對V-PCC內容之RAP做指定的上限係仍可被緩和，可增加V-PCC內容之RAP。因此，可使隨機存取的粒度變得較為細緻，可提供符合觀賞者期望之觀賞體驗。
(3.第3實施形態) 接著，說明第3實施形態。本實施形態所述之檔案生成裝置，係拿掉了各分量串流的作為RAP之樣本的DTS要為一致的此一限制，這點是與實施形態1及實施形態2不同。 此外，本實施形態所述之檔案生成裝置1及客戶端裝置2也是以圖2及圖5的區塊圖來表示。以下的說明中，與實施形態1相同的各部之機能，係省略說明。
本實施形態所述之檔案生成裝置1的編碼部103，係在各分量串流的作為RAP之樣本的DTS即使不同也無妨的此一條件下，執行編碼。亦即，編碼部103係針對各分量串流，以最佳的編碼結構來執行編碼。此情況下，會發生各分量串流中的作為RAP之樣本的DTS為不一致的情況。
編碼部103係例如，如圖15所示般地進行各分量之編碼。圖15係為第3實施形態中的編碼狀態的圖示。於圖15中，斜線的樣本係表示sync sample之RAP，塗黑的樣本係表示open random access之RAP。例如，在樣本群501及樣本群502中，屬性串流的作為RAP之樣本的DTS係不一致。
檔案生成部105，係將各分量串流間DTS為接近的RAP，予以特定。所謂接近，係指例如3個樣本數內等特定之範圍內的DTS中有RAP存在的情況。若有在接近之DST中沒有RAP存在的分量串流的情況下，則檔案生成部105，係判定為沒有該分量串流之RAP。然後，檔案生成部105，係將V-PCC內容之RAP，設成後設資料之內容串流之RAP。接著，檔案生成部105，係以表示V-PCC內容之RAP的後設資料之內容串流之RAP之DST為基準，針對從該DST錯開的分量串流之RAP之DTS，求出偏置值。然後，檔案生成部105，係為了儲存V-PCC內容之RAP資訊而新生成VPCCRapInfoBox。然後，檔案生成部105，係在新生成之VPCCRapInfoBox中，儲存各分量串流之RAP之DTS是否一致之資訊。然後，針對RAP的DTS為不一致的分量串流，係將以後設資料之內容串流之RAP之DTS為基準的偏置值，予以儲存。
圖16係為第3實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105係生成例如，將圖16所示之語法510予以儲存的新的VPCCRapInfoBox。檔案生成部105，係將語法510中的is_DTS_aligned之值設定成1，來表示該分量串流之RAP之DTS是與後設資料之分量串流之RAP之DTS一致。相對於此，檔案生成部105，係將語法510中的is_DTS_aligned之值設定成0，來表示該分量串流之RAP之DTS是與後設資料串流之RAP之DTS不同。然後，檔案生成部105，係在語法510的sample_offset中，以後設資料之分量串流之RAP之DTS為基準來給定偏置值。
此處，在本實施例中雖然有設定樣本數之偏置，但與後設資料之分量串流之RAP不同的DTS上具有RAP的分量串流的RAP之位置的表示方法，係不限於此。例如，檔案生成部105，係亦可省略語法510的sample_offset，而是在distance中，指定用來解碼各分量串流之RAP所需之解碼開始位置。此情況下，客戶端裝置2，係在解碼後的t後設資料之RAP的CTS時，構成點雲。
又，檔案生成部105，係亦可將圖14所示的第2實施形態的變形例(3)中的is_decode_optional，對語法510做追加設定。此情況下，客戶端裝置2，係等待不進行解碼的分量串流的下個RAP，從該時點起開始分量串流之解碼。
又，檔案生成部105係也於語法460中指定當RAP不存在之情況下的對應方法。
如以上所說明，本實施形態所述之檔案生成裝置，係每一分量地以最佳的編碼結構來進行編碼，藉由設定從基準位置起算之偏置值，來實現隨機存取。藉此，可一面提升編碼效率，同時容易地提供符合觀賞者期望之觀賞體驗。
(4.第4實施形態) 接著，說明第4實施形態。本實施形態所述之檔案生成裝置1及客戶端裝置2也是以圖2及圖5的區塊圖來表示。以下的說明中，與實施形態1相同的各部之機能，係省略說明。
檔案生成部105，係亦可將為了解碼構成RAP之各分量串流之樣本所必須的樣本之總數加以生成而儲存至ISOBMFF檔案中。圖17係為第4實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。檔案生成部105，係亦可在新生成之VPCCRapInfoBox中，登錄表示為了解碼構成RAP之各分量串流之樣本而必須追加解碼的樣本數的總和的total_distance。該total_distance，係由內容作成者所提供。total_distance，係為關於進行隨機存取之處理的容易度之指標。該total_distance越小係表示處理越容易。
客戶端裝置2的檔案處理部221，係從VPCCRapInfoBOX取得total_distance。然後，檔案處理部221，係作為隨機存取之時刻是已被指定了所定之時刻的情況下，則偵測DTS是接近該時刻，且V-PCC內容中所含之分量串流的解碼處理較為容易的RAP。
如以上所說明，本實施形態所述之檔案生成裝置，係將關於進行隨機存取之處理的容易度之指標，予以登錄。藉此，客戶端裝置，係可容易特定出解碼為容易的RAP，可減輕處理而容易地提供符合觀賞者期望之觀賞體驗。
(5.第5實施形態) 接著，說明第5實施形態。本實施形態所述之檔案生成裝置1及客戶端裝置2也是以圖2及圖5的區塊圖來表示。以下的說明中，與實施形態1相同的各部之機能，係省略說明。
本實施形態所述之檔案生成部105，係使用alternative track。所謂Alternative track，係為針對各分量之訊軌的替代之訊軌，雖然可以用相同的使用方法來使用，但亦可用來別的用途的訊軌。Alternative track，係與各分量串流之訊軌保持相同的資訊，但編解碼器係為不同的訊軌。檔案生成部105，係將於全部的分量串流之訊軌的組合中可做共通利用的V-PCC內容之RAP資訊，儲存至alternative track。或者，檔案生成部105，係按照訊軌之每種組合而將個別的V-PCC內容之RAP資訊儲存至alternative track。藉此，客戶端裝置2的檔案處理部221，係藉由參照alternative track，就取得所要使用的分量串流之訊軌的組合所對應之V-PCC內容之RAP資訊。客戶端裝置2，係可使用已被檔案處理部221所特定的V-PCC內容之RAP來進行隨機存取。
以上雖然說明了本揭露的實施形態，但本揭露的技術範圍係不限定於上述的實施形態本身，在不脫離本揭露之主旨的範圍內可做各種變更。又，亦可跨越不同實施形態及變形例而將構成要素加以組合。
此外，本說明書中所記載之效果僅為例示並非限定，又，亦可還有其他的效果。
此外，本技術係亦可採取如下之構成。
(1)一種資訊處理裝置，係具備： 資料取得部，係取得由複數個分量串流所構成之內容；和 檔案生成部，係基於已被前記資料取得部所取得的前記內容之前記分量串流之隨機存取點，而生成表示前記內容之隨機存取點的內容RAP資訊。 (2)如附記(1)所記載之資訊處理裝置，其中，前記檔案生成部係生成：前記內容RAP資訊是被儲存在檔案之後設資料領域中的內容檔案。 (3)如附記(2)所記載之資訊處理裝置，其中， 前記內容係為V-PCC內容； 前記內容檔案係為遵循ISOBMFF之檔案。 (4)如附記(3)所記載之資訊處理裝置，其中， 前記分量串流係為，使得前記分量串流之每一者的隨機存取點上的CTS皆為相同的方式而被編碼； 前記檔案生成部係還儲存：各前記分量串流之前記隨機存取點上的DTS係為相同的關於前記隨機存取點之資訊，來作為前記內容RAP資訊。 (5)如附記(4)所記載之資訊處理裝置，其中，還具備：編碼部，係使得所有的前記分量串流中，各個前記隨機存取點上的DTS都會具有相同DTS的方式而進行編碼，以生成前記分量串流； 前記檔案生成部係還儲存：表示前記分量串流之每一者的前記隨機存取點上的CTS係為相同，且DTS也為相同的識別資訊，來作為前記內容RAP資訊。 (6)如附記(4)或(5)所記載之資訊處理裝置，其中，前記內容RAP資訊，係作為後設資料分量串流的隨機存取點資訊而被儲存。 (7)如附記(3)所記載之資訊處理裝置，其中， 前記內容係含有構成點雲畫格的複數個分量串流來作為前記分量串流； 前記檔案生成部，係在構成點雲畫格的前記分量串流之每一者之樣本的DTS為一致的情況下，生成表示已被編碼之前記分量串流之每一者全部皆為隨機存取點的第1位置就是前記內容之隨機存取點的前記內容RAP資訊，並將已生成之前記內容RAP資訊，儲存至對前記內容檔案所追加之新的BOX中。 (8)如附記(7)所記載之資訊處理裝置，其中，前記檔案生成部，係生成表示除了前記第1位置之外，已編碼之前記分量串流之每一者的一部分並非隨機存取點的第2位置也是前記內容之隨機存取點的前記內容RAP資訊，並將已生成之前記內容RAP資訊，儲存至前記新的BOX中。 (9)如附記(8)所記載之資訊處理裝置，其中，前記檔案生成部，係將表示用來解碼前記第2位置上之樣本並非前記隨機存取點的前記分量串流所需之解碼開始位置的資訊，儲存至前記新的BOX中。 (10)如附記(8)或(9)所記載之資訊處理裝置，其中，前記檔案生成部，係在編碼後的前記分量串流之每一者之樣本的DTS為不一致的情況下，將表示前記分量串流之每一者之樣本的作為前記內容之隨機存取點之樣本的位置的資訊，儲存至前記新的BOX而生成前記內容RAP資訊。 (11)如附記(10)所記載之資訊處理裝置，其中，前記檔案生成部，係將為了解碼前記內容之隨機存取點所需使用的前記分量串流之每一者的樣本總數，儲存至前記新的BOX而生成前記內容RAP資訊。 (12)如附記(8)～(11)之任1項所記載之資訊處理裝置，其中，前記檔案生成部，係將表示是否可以不將前記第2位置上之樣本並非前記隨機存取點的前記分量串流進行解碼就作成點雲的旗標，儲存至前記新的BOX中。 (13)一種資訊處理方法，係令電腦執行以下處理： 取得由複數個分量串流所構成之內容； 基於已取得的前記內容之前記分量串流之隨機存取點資訊，而將表示前記內容之隨機存取點的內容RAP資訊，當作新的後設資料而予以生成。 (14)一種再生處理裝置，係具備： 檔案取得部，係將由複數個串流所構成之內容之資訊，予以接收；和 檔案處理部，係從已被前記檔案取得部所接收的前記內容之資訊，取得表示前記內容之隨機存取點的內容RAP資訊，並根據前記內容RAP資訊而特定出前記分量串流之每一者的隨機存取點；和 顯示資訊生成部，係從已被前記檔案處理部所特定的前記分量串流之每一者的隨機存取點起再生前記內容。 (15)一種再生處理方法，係令電腦執行以下處理： 接收由複數個分量串流所構成之內容之資訊； 從前記內容之資訊取得表示前記內容之隨機存取點的內容RAP資訊； 基於已取得之前記內容RAP資訊而特定出前記分量串流之每一者的隨機存取點； 從已特定之前記分量串流之每一者的隨機存取點起再生前記內容。
1:檔案生成裝置 2:客戶端裝置 3:Web伺服器 4:網路 10:生成處理部 11:控制部 20:再生處理部 21:控制部 101:資料取得部 102:轉換部 103:編碼部 104:串流生成部 105:檔案生成部 106:送訊部 201:檔案取得部 202:資料解析解碼部 203:顯示部 221:檔案處理部 222:解碼處理部 223:顯示資訊生成部 301,302,303,435:樣本 311,312,313,314,401,402,403,404,431,432,434,451,452,453,454,501,502:樣本群 320,410,420,440,460,510:語法 321,411:行
[圖1]傳遞系統之一例的系統構成圖。 [圖2]檔案生成裝置的區塊圖。 [圖3]第1實施形態中的編碼狀態的圖示。 [圖4]第1實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖5]客戶端裝置的區塊圖。 [圖6]第1實施形態所述之檔案生成裝置所致之檔案生成處理的流程圖。 [圖7]藉由第1實施形態所述之客戶端裝置而被執行的再生處理的流程圖。 [圖8]第2實施形態中的編碼狀態的圖示。 [圖9]第2實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖10]第2實施形態的變形例(1)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖11]第2實施形態的變形例(2)中的編碼狀態的圖示。 [圖12]第2實施形態的變形例(2)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖13]第2實施形態的變形例(3)中的編碼狀態的圖示。 [圖14]第2實施形態的變形例(3)所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖15]第3實施形態中的編碼狀態的圖示。 [圖16]第3實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。 [圖17]第4實施形態所述之V-PCC內容之RAP資訊所被儲存之語法之一例的圖示。
301,302,303:樣本
311,312,313,314:樣本群

Claims (15)

  1. 一種資訊處理裝置，係具備： 資料取得部，係取得由複數個分量串流所構成之內容；和 檔案生成部，係基於已被前記資料取得部所取得的前記內容之前記分量串流之隨機存取點，而生成表示前記內容之隨機存取點的內容RAP(Random Access Point)資訊。
  2. 如請求項1所記載之資訊處理裝置，其中，前記檔案生成部係生成：前記內容RAP資訊是被儲存在檔案之後設資料領域中的內容檔案。
  3. 如請求項2所記載之資訊處理裝置，其中， 前記內容係為V-PCC(Video codec based point cloud compression)內容； 前記內容檔案係為遵循ISOBMFF之檔案。
  4. 如請求項3所記載之資訊處理裝置，其中， 前記分量串流係為，使得前記分量串流之每一者的隨機存取點上的CTS(Composition Time Stamp)皆為相同的方式而被編碼； 前記檔案生成部係還儲存：各前記分量串流之前記隨機存取點上的DTS(Decoding Time Stamp)係為相同的關於前記隨機存取點之資訊，來作為前記內容RAP資訊。
  5. 如請求項4所記載之資訊處理裝置，其中， 還具備：編碼部，係使得所有的前記分量串流中，各個前記隨機存取點上的DTS都會具有相同DTS的方式而進行編碼，以生成前記分量串流； 前記檔案生成部係還儲存：表示前記分量串流之每一者的前記隨機存取點上的CTS係為相同，且DTS也為相同的識別資訊，來作為前記內容RAP資訊。
  6. 如請求項4或5所記載之資訊處理裝置，其中，前記內容RAP資訊，係作為後設資料分量串流的隨機存取點資訊而被儲存。
  7. 如請求項3所記載之資訊處理裝置，其中， 前記內容係含有構成點雲畫格的複數個分量串流來作為前記分量串流； 前記檔案生成部，係在構成點雲畫格的前記分量串流之每一者之樣本的DTS為一致的情況下，生成表示已被編碼之前記分量串流之每一者全部皆為隨機存取點的第1位置就是前記內容之隨機存取點的前記內容RAP資訊，並將已生成之前記內容RAP資訊，儲存至對前記內容檔案所追加之新的BOX中。
  8. 如請求項7所記載之資訊處理裝置，其中，前記檔案生成部，係生成表示除了前記第1位置之外，已編碼之前記分量串流之每一者的一部分並非隨機存取點的第2位置也是前記內容之隨機存取點的前記內容RAP資訊，並將已生成之前記內容RAP資訊，儲存至前記新的BOX中。
  9. 如請求項8所記載之資訊處理裝置，其中，前記檔案生成部，係將表示用來解碼前記第2位置上之樣本並非前記隨機存取點的前記分量串流所需之解碼開始位置的資訊，儲存至前記新的BOX中。
  10. 如請求項8所記載之資訊處理裝置，其中，前記檔案生成部，係在編碼後的前記分量串流之每一者之樣本的DTS為不一致的情況下，將表示前記分量串流之每一者之樣本的作為前記內容之隨機存取點之樣本的位置的資訊，儲存至前記新的BOX而生成前記內容RAP資訊。
  11. 如請求項10所記載之資訊處理裝置，其中，前記檔案生成部，係將為了解碼前記內容之隨機存取點所需使用的前記分量串流之每一者的樣本總數，儲存至前記新的BOX而生成前記內容RAP資訊。
  12. 如請求項8所記載之資訊處理裝置，其中，前記檔案生成部，係將表示是否可以不將前記第2位置上之樣本並非前記隨機存取點的前記分量串流進行解碼就作成點雲的旗標，儲存至前記新的BOX中。
  13. 一種資訊處理方法，係令電腦執行以下處理： 取得由複數個分量串流所構成之內容； 基於已取得的前記內容之前記分量串流之隨機存取點，而生成表示前記內容之隨機存取點的內容RAP資訊。
  14. 一種再生處理裝置，具備： 檔案取得部，係將由複數個分量串流所構成之內容之資訊，予以接收；和 檔案處理部，係從已被前記檔案取得部所接收的前記內容之資訊，取得表示前記內容之隨機存取點的內容RAP資訊，並根據前記內容RAP資訊而特定出前記分量串流之每一者的隨機存取點；和 顯示資訊生成部，係從已被前記檔案處理部所特定的前記分量串流之每一者的隨機存取點起再生前記內容。
  15. 一種再生處理方法，係令電腦執行以下處理： 接收由複數個分量串流所構成之內容之資訊； 從前記內容之資訊取得表示前記內容之隨機存取點的內容RAP資訊； 基於已取得之前記內容RAP資訊而特定出前記分量串流之每一者的隨機存取點； 從已特定之前記分量串流之每一者的隨機存取點起再生前記內容。
TW109106674A 2019-03-11 2020-03-02 資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法 TW202041008A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962816631P 2019-03-11 2019-03-11
US62/816,631 2019-03-11

Publications (1)

Publication Number Publication Date
TW202041008A true TW202041008A (zh) 2020-11-01

Family

ID=72427250

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109106674A TW202041008A (zh) 2019-03-11 2020-03-02 資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法

Country Status (7)

Country Link
US (1) US11871065B2 (zh)
EP (1) EP3941079B1 (zh)
JP (1) JP7287454B2 (zh)
KR (1) KR20210135226A (zh)
CN (1) CN113545099A (zh)
TW (1) TW202041008A (zh)
WO (1) WO2020183900A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230153532A (ko) * 2019-03-21 2023-11-06 엘지전자 주식회사 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법
WO2021206365A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024014826A1 (ko) * 2022-07-11 2024-01-18 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366102B2 (ja) * 2002-05-01 2009-11-18 キヤノン株式会社 メディアデータ処理装置及びその方法
WO2006115151A1 (ja) * 2005-04-25 2006-11-02 Sharp Kabushiki Kaisha 記録装置、再生装置、記録再生装置、記録プログラムとその記録媒体、再生プログラムとその記録媒体
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
GB2481573A (en) * 2010-06-15 2012-01-04 Nds Ltd Splicng of encoded media content
US9253233B2 (en) * 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9648317B2 (en) * 2012-01-30 2017-05-09 Qualcomm Incorporated Method of coding video and storing video content
JP2015536589A (ja) * 2012-10-10 2015-12-21 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ メディア伝送及び記憶用のランダムアクセス情報をカプセル化する方法及び装置
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US9712843B2 (en) 2013-10-23 2017-07-18 Qualcomm Incorporated Multi-layer video file format designs
JP2015153441A (ja) 2014-02-14 2015-08-24 ソニー株式会社 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
CN108028948B (zh) * 2015-08-07 2021-05-07 联发科技股份有限公司 用于多媒体应用的比特流随机访问与同步的方法及装置
CN108369751B (zh) * 2015-12-14 2023-09-08 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN113008263B (zh) * 2016-11-01 2024-04-30 松下电器（美国）知识产权公司 数据生成方法及数据生成装置
CN110892453B (zh) * 2017-07-10 2024-02-13 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
EP3673665A4 (en) * 2017-08-24 2021-03-10 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2020032248A1 (ja) 2018-08-10 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Also Published As

Publication number Publication date
US20220109901A1 (en) 2022-04-07
JP7287454B2 (ja) 2023-06-06
KR20210135226A (ko) 2021-11-12
EP3941079B1 (en) 2024-04-24
EP3941079A4 (en) 2022-05-04
CN113545099A (zh) 2021-10-22
EP3941079A1 (en) 2022-01-19
WO2020183900A1 (ja) 2020-09-17
US11871065B2 (en) 2024-01-09
JPWO2020183900A1 (zh) 2020-09-17

Similar Documents

Publication Publication Date Title
US20210326378A1 (en) Information processing apparatus and information processing method
US10674185B2 (en) Enhancing a region of interest in video frames of a video stream
JP2020205632A (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
US9538183B2 (en) Audio-visual content delivery with partial encoding of content chunks
US20140086445A1 (en) Watermarking of digital video
US20160029091A1 (en) Method of displaying a region of interest in a video stream
TW202041008A (zh) 資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法
KR20180100716A (ko) 이벤트 스트리밍 프레젠테이션 확립
WO2008134987A1 (en) Method of using information set in video resource
AU2007205046A1 (en) Dynamic media serving infrastructure
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP7246508B2 (ja) Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
JP7238948B2 (ja) 情報処理装置および情報処理方法
JP7392171B2 (ja) メディア・ストリーミング方法及び装置
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2021065605A1 (ja) 情報処理装置および情報処理方法
WO2021002142A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
GB2567485A (en) Method and device for exchanging data between a web application and an associated web engine
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction
US20230224557A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
US20240086451A1 (en) Information processing apparatus, reception apparatus, information processing method, and storage medium
WO2022220207A1 (ja) 情報処理装置および方法
US20230103367A1 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
TW201937938A (zh) 解碼裝置、解碼方法、及程式