WO2016002495A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2016002495A1
WO2016002495A1 PCT/JP2015/067233 JP2015067233W WO2016002495A1 WO 2016002495 A1 WO2016002495 A1 WO 2016002495A1 JP 2015067233 W JP2015067233 W JP 2015067233W WO 2016002495 A1 WO2016002495 A1 WO 2016002495A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
information
files
encoding
metadata
Prior art date
Application number
PCT/JP2015/067233
Other languages
English (en)
French (fr)
Inventor
平林　光浩
央二 中神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15814601.9A priority Critical patent/EP3148200B1/en
Priority to CN201580033825.6A priority patent/CN106464943B/zh
Priority to JP2016531240A priority patent/JP6555263B2/ja
Priority to US15/317,972 priority patent/US20170127073A1/en
Publication of WO2016002495A1 publication Critical patent/WO2016002495A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present technology relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method capable of realizing selection of a reproduction file in accordance with a reproduction side capability.
  • MPEG-DASH Moving Picture Experts Group Dynamic-Adaptive Streaming Over HTTP
  • HTTP HyperText Transfer Protocol
  • MPEG-DASH multiple encoded data in which the same content is expressed at different bit rates are stored in the content server, and the client selects one of the multiple encoded data according to the network bandwidth.
  • ABS Adaptive Bitrate Streaming
  • MPEG-DASH Dynamic-Adaptive-Streaming-over-HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • the conventional MPEG-DASH standard does not have a function for notifying the client side of various parameters related to files.
  • the present technology has been proposed in view of such a situation, and an object thereof is to realize selection of a reproduction file in accordance with the reproduction side ability.
  • One aspect of the present technology includes metadata on a plurality of files including encoded data obtained by encoding image data, and metadata for controlling reproduction of the plurality of files, the information regarding the encoding parameters of each file It is an information processing apparatus provided with the metadata production
  • the information related to the encoding parameter can include information indicating a parallel processing type of the encoding of the image data.
  • the information indicating the parallel processing type may include identification information for identifying whether the parallel processing type is tile division or wavefront parallel processing.
  • the information indicating the parallel processing type may include identification information for identifying whether the parallel processing type is slice division, tile division, or wavefront parallel processing.
  • the information related to the encoding parameter can include information indicating the maximum size that can be taken by the segmentation.
  • the metadata generation unit can set information on the encoding parameter in the representation.
  • the metadata generation unit can set information on the encoding parameter as a value of a supplemental property.
  • One aspect of the present technology is also metadata that includes information on a plurality of files including encoded data obtained by encoding image data, and controls reproduction of the plurality of files, the encoding parameter of each file It is the information processing method which produces
  • Metadata that includes information on a plurality of files including encoded data obtained by encoding image data, and controls reproduction of the plurality of files, and relates to encoding parameters of each file
  • a metadata analysis unit that analyzes the metadata including information, a file selection unit that selects a file to be reproduced from the plurality of files according to an analysis result of the metadata analysis unit, and a file selection unit that is selected by the file selection unit
  • the information processing apparatus includes a file reproduction unit that acquires and reproduces the file.
  • Another aspect of the present technology is also metadata that includes information on a plurality of files including encoded data obtained by encoding image data, and controls reproduction of the plurality of files.
  • the metadata including information on parameters is analyzed, a file to be played back is selected from the plurality of files according to the analysis result, the selected file is acquired, and played back.
  • the metadata includes information on a plurality of files including encoded data obtained by encoding image data, and is metadata that controls reproduction of the plurality of files, and information on encoding parameters of each file Metadata containing is generated.
  • the metadata includes information on a plurality of files including encoded data obtained by encoding image data and controls reproduction of the plurality of files, and relates to encoding parameters of each file. Metadata including information is analyzed, a file to be reproduced is selected from a plurality of files according to the analysis result, and the selected file is acquired and reproduced.
  • This technology can process information. Further, according to the present technology, it is possible to realize selection of a reproduction file according to the reproduction side capability.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • First embodiment file generation apparatus / file reproduction apparatus
  • Second embodiment another configuration example of MPD
  • Third embodiment distributed system
  • Fourth embodiment (computer)
  • the streaming data control software selects an MPD (Media Presentation Description) file of the desired content and acquires it from the Web server.
  • MPD Media Presentation Description
  • MPD is metadata for managing content such as moving images and audio to be distributed.
  • the streaming data control software of the video playback terminal analyzes the MPD and generates data (DASH segment) that matches the quality of the communication line and the performance of the video playback terminal of the desired content.
  • the client software for HTTP access acquires the DASH segment from the Web server using HTTP according to the control.
  • the moving image reproduction software reproduces the content acquired in this way.
  • MPD has a configuration as shown in FIG. 2, for example.
  • the client selects an optimum one from the representation attributes included in the period of the MPD (Media Presentation in FIG. 2).
  • the client reads the first segment (Segment) of the selected representation (Representation), acquires the initialization segment (Initialization Segment), and processes it. Subsequently, the client acquires and reproduces the subsequent segment (Segment).
  • a period (Period), a representation (Representation), and a segment (Segment) in MPD is as shown in FIG. That is, one media content can be managed for each period (Period) that is a data unit in the time direction, and each period (Period) should be managed for each segment (Segment) that is a data unit in the time direction. Can do.
  • a plurality of representations (Representations) having different attributes such as bit rate can be configured for each period (Period), a plurality of representations (Representations) having different attributes such as bit rate can be configured.
  • this MPD file (also referred to as MPD file) has a hierarchical structure as shown in FIG. 4 below the period. Further, when the MPD structures are arranged on the time axis, an example shown in FIG. 5 is obtained. As is clear from the example of FIG. 5, there are a plurality of representations (Representations) for the same segment (Segment). The client can acquire and reproduce appropriate stream data according to the communication environment, its decoding capability, and the like by adaptively selecting one of these.
  • the conventional MPEG-DASH standard does not have a function for notifying the client side of various parameters related to files.
  • MPD there is no mechanism for notifying the client side of information indicating a parallel processing type when encoding image data to be distributed. Therefore, there is a possibility that the client selects a file that is not appropriate for its own performance.
  • the load of playback processing will increase unnecessarily at the client or the quality of the playback image will unnecessarily decrease.
  • Metadata including information on a plurality of files including encoded data obtained by encoding image data, and metadata for controlling reproduction of the plurality of files, including metadata including information on encoding parameters of each file.
  • the information regarding the encoding parameter may include information indicating the parallel processing type of the image data encoding.
  • the information indicating the parallel processing type may include identification information for identifying whether the parallel processing type is tile division or wavefront parallel processing.
  • information regarding the encoding parameters may be set in the MPD representation. Furthermore, information regarding the encoding parameter may be set as the value of the supplemental property.
  • FIG. 6 is a diagram illustrating a main configuration example of an MPD generated by applying the present technology.
  • two types of bandwidth (bandwidth) of 1 mbps and 3 mbps are prepared, and two types of parallel processing types, tile division (Tile) and wavefront parallel processing (wavefront), are prepared.
  • 1 mbps_tile.mp4 is an MP4 file that stores encoded data having a bandwidth of 1 mbps and a parallel processing type of tile division.
  • 1 mbps_wavefront.mp4 is an MP4 file that stores encoded data with a bandwidth of 1 mbps and a parallel processing type of wavefront parallel processing.
  • 3mbps_tile.mp4 is an MP4 file that stores encoded data having a bandwidth of 3 mbps and a parallel processing type of tile division.
  • 3mbps_wavefront.mp4 is an MP4 file that stores encoded data with a bandwidth of 3 mbps and a parallel processing type of wavefront parallel processing.
  • an adaptation set (AdaptationSet) is set below the period (Period), four representations are set below that, and a segment is set below each representation.
  • 1 mbps_tile.mp4, 1 mbps_wavefront.mp4, 3 mbps_tile.mp4, and 3 mbps_wavefront.mp4 are set (registered) in different segments.
  • “hvc1” is identification information indicating that the encoding method is HEVC (High Efficiency Video Coding).
  • HEVC High Efficiency Video Coding
  • this value is another value.
  • SHVC Scalable High Efficiency Video Coding
  • the client refers to various information set for such a representation and selects a file to be played.
  • the client selects a representation
  • the MP4 file registered in the segment belonging to the representation is selected and acquired as a file to be played.
  • the information can be presented to the client. Therefore, the client can select a file more suitable for his / her ability based on the presented information. In other words, it is possible to realize selection of a playback file according to the playback side ability.
  • the parallel processing type when the parallel processing type is tile division, it is suitable for decoding by a hardware decoder, and when the parallel processing type is wavefront parallel processing, it is suitable for decoding by a software decoder. Therefore, a file more suitable for the client is determined depending on whether its decoder is hardware or software.
  • the information set in the representation is arbitrary, and may be information related to encoding such as the parallel processing type shown in the example of FIG. 6, or may be information related to other than encoding. For example, it may be information relating to an encoding target image.
  • FIG. 7 is a block diagram illustrating a main configuration example of a file generation apparatus that is an embodiment of an information processing apparatus to which the present technology is applied.
  • the file generation apparatus 100 includes a plurality of encoding units that perform encoding using different methods, such as an image encoding unit A, an image encoding unit B, an image encoding unit C, and so on. , Using them, the image is encoded by a plurality of methods, and a plurality of encoded data (encoded data A, encoded data B, encoded data C,. ⁇ ⁇ ) Is generated.
  • the image encoding unit 101 supplies the generated encoded data to the MP4 file generation unit 102.
  • the MP4 file generation unit 102 converts the supplied plurality of encoded data into MP4 files, and generates a plurality of MP4 files that store different encoded data.
  • the MP4 file generation unit 102 outputs a plurality of generated MP4 files (MP4 file A, MP4 file B, MP4 file C,).
  • the MP4 file generation unit 102 also supplies the generated plurality of MP4 files (MP4 file A, MP4 file B, MP4 file C,...) To the MPD generation unit 103.
  • the MPD generation unit 103 generates an MPD that controls a plurality of supplied MP4 files.
  • the MPD generation unit 103 outputs the MPD generated in this way.
  • the image encoding unit 101 encodes the image by a plurality of methods in step S101.
  • step S102 the MP4 file generation unit 102 converts each of the plurality of encoded data generated in step S101 into an MP4 file.
  • the MP4 file generation unit 102 When a plurality of MP4 files storing different encoded data are generated, the MP4 file generation unit 102 outputs the generated MP4 file in step S103.
  • step S104 the MPD generation unit 103 acquires the image / encoding information of the encoded data included in the MP4 file from each MP4 file generated in step S102.
  • step S105 the MPD generation unit 103 generates an MPD including information of all the MP4 files using the image / encoding information of each encoded data.
  • step S106 the MPD generation unit 103 outputs the MPD generated in step S105.
  • step S106 ends, the file generation process ends.
  • the MPD generation unit 103 sets an adaptation set in step S121.
  • step S122 the MPD generation unit 103 sets a representation for each MP4 file.
  • step S123 the MPD generation unit 103 sets an MP4 file for each segment.
  • the MPD generation unit 103 sets the image / encoding information of the MP4 file for each representation.
  • image / encoding information information (codecs) indicating the encoding method of encoded data stored in the MP4 file, the bandwidth of the MP4 file, and the supplemental property (SupplementalProperty) ) Is set.
  • codecs information indicating the encoding method of encoded data stored in the MP4 file, the bandwidth of the MP4 file, and the supplemental property (SupplementalProperty)
  • the content of the image / encoded information is arbitrary, and the image / encoded information may include other information.
  • step S124 When the process of step S124 is completed, the MPD generation process is terminated, and the process returns to FIG.
  • the file generating apparatus 100 can set parameters relating to an image and encoding to a representation and present them to the playback side. Therefore, the file generation device 100 can enable the playback side to select a file that is more suitable for its own ability based on the presented information. In other words, it is possible to realize selection of a playback file according to the playback side ability.
  • FIG. 10 is a block diagram illustrating a main configuration example of a file reproduction device which is an embodiment of an information processing device to which the present technology is applied.
  • a file playback apparatus 200 is an apparatus that generates and outputs a decoded image by playing back the MP4 file and MPD generated as described above by the file generation apparatus 100 of FIG.
  • the file playback apparatus 200 includes an MPD analysis unit 201, an MP4 file selection unit 202, an MP4 file playback unit 203, and an image decoding unit 204.
  • the file playback apparatus 200 in FIG. 10 analyzes the input MPD by executing a file playback process, and selects and obtains an MP4 file that stores encoded data more suitable for its own ability based on the information. Then, the MP4 file is reproduced to generate a decoded image.
  • An example of the flow of this file reproduction process will be described with reference to the flowchart of FIG.
  • the MPD analysis unit 201 acquires the MPD in step S201.
  • step S202 the MPD analysis unit 201 extracts the image / encoding information of each MP4 file from the MPD acquired in step S201, and supplies it to the MP4 file selection unit 202.
  • step S203 the MP4 file selection unit 202 selects, as an MP4 file to be reproduced, an MP4 file more suitable for its own ability based on the supplied image / encoding information.
  • step S204 the MP4 file selection unit 202 requests the MP4 file selected by the process in step S203 from the storage destination.
  • step S205 the MP4 file reproduction unit 203 acquires the MP4 file supplied in response to the request in step S204.
  • step S206 the MP4 file reproduction unit 203 reproduces the MP4 file acquired in step S205, extracts encoded data, and supplies the encoded data to the image decoding unit 204.
  • step S207 the image decoding unit 204 decodes the encoded data supplied in step S206 to generate decoded image data.
  • step S208 the image decoding unit 204 outputs the decoded image data generated in step S207.
  • the file playback apparatus 200 can more easily grasp the characteristics of the encoded data by referring to the image and encoding parameters set in the MPD representation. can do. Therefore, the file playback apparatus 200 can select a file that is more suitable for its own ability based on the presented information. In other words, it is possible to realize selection of a playback file according to the playback side ability.
  • the information indicating the parallel processing type may include identification information for identifying whether the parallel processing type is slice division, tile division, or wavefront parallel processing.
  • the information on the encoding parameter may include information indicating the maximum size that can be taken by the segmentation.
  • FIG. 12 is a diagram illustrating another configuration example of the MPD generated by applying the present technology.
  • the configuration example shown in FIG. 12 is basically the same as the example described with reference to FIG. 6, but the value of the supplemental property value is different. For example, it is set as follows.
  • min_spatial_segmentation_idc indicating the maximum size that segmentation can take
  • identification information indicating the parallel processing type of the MP4 file are set as the value (value).
  • the min_spatial_segmentation_idc and the parallelism type are parameters defined in, for example, VUI (Video Usability Information) of encoded data (HEVC).
  • FIG. 13 shows an example of the syntax of the HEVC decoder configuration record (HEVC DecoderConfigurationRecord) generated in this VUI.
  • min_spatial_segmentation_idc and parallelism_Type are set in the HEVC decoder configuration record.
  • An example of parallelism parallelType semantics is shown in FIG. For example, when the value of parallelism Type is “1”, the parallel processing type is slice division, and when the value is “2”, the parallel processing type is tile division, and the value is “3”. Indicates that the parallel processing type is wavefront parallel processing.
  • the MPD generation unit 103 extracts the image / encoded information included in the encoded data, and sets various information in the MPD representation without changing the value. That is, the existing parameters are presented to the playback side. Therefore, the MPD generation unit 103 does not need to define a new parameter, and can more easily present image / encoded information to the reproduction side. Therefore, the client can select a file more suitable for his / her ability based on the presented information. In other words, it is possible to realize selection of a playback file according to the playback side ability.
  • the various processes such as the file generation process and the file reproduction process are basically the same as those in the above-described example, and thus the description thereof is omitted.
  • the information set for the MPD representation is arbitrary.
  • it may be picture type alignment (constraint) information (Pic_type / IRAP align) between layers, bit rate or frame rate information (Bit_rate / pic_rate), color primary, transfer Information (video_signal) related to image data such as Characteristic and Matrix coefficients may be used, adaptive resolution control (Adaptive Resolution ⁇ ⁇ Control), or various flag information such as higher_layer_irap_skip_flag and vert_pahse_position_in_use_flag.
  • HRD-related information such as bistream partition.
  • information other than these may be used.
  • the file playback apparatus 200 has been described so as to realize selection of a playback file according to the playback-side capability from among a plurality of MP4 files. It may be the ability of processing until generation of, or other ability.
  • the MP4 file selection unit 202 may select an MP4 file that is more appropriate for the performance (for example, resolution, color gamut, frame rate, etc.) of the display that displays the obtained decoded image.
  • the display may be a device different from the file playback device 200.
  • FIG. 15 is a diagram illustrating a main configuration example of a distribution system to which the present technology is applied.
  • a distribution system 300 shown in FIG. 15 is a system for distributing still images and moving images. As illustrated in FIG. 15, the distribution system 300 includes a distribution data generation device 301, a distribution server 302, a network 303, a terminal device 304, and a terminal device 305.
  • the distribution data generation device 301 generates distribution data in a distribution format from still image or moving image data to be distributed.
  • the distribution data generation device 301 supplies the generated distribution data to the distribution server 302.
  • the distribution server 302 stores and manages the distribution data generated by the distribution data generation device 301 in a storage unit or the like, and provides the distribution data distribution service to the terminal device 304 or the terminal device 305 via the network 303. To do.
  • the network 303 is a communication network serving as a communication medium.
  • the network 303 may be any communication network, a wired communication network, a wireless communication network, or both of them.
  • it may be a wired LAN (Local Area Network), a wireless LAN, a public telephone line network, a wide area communication network for a wireless mobile body such as a so-called 3G line or 4G line, or the Internet, or a combination thereof. May be.
  • the network 303 may be a single communication network or a plurality of communication networks.
  • the network 303 is partially or entirely configured by a communication cable of a predetermined standard such as a USB (Universal Serial Bus) cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like. You may be made to do.
  • a communication cable of a predetermined standard such as a USB (Universal Serial Bus) cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like. You may be made to do.
  • the distribution server 302, the terminal device 304, and the terminal device 305 are connected to the network 303 and are communicable with each other.
  • the connection method to these networks 303 is arbitrary.
  • these devices may be connected to the network 303 by wired communication or may be connected by wireless communication. Further, for example, these devices may be connected to the network 303 via an arbitrary communication device (communication equipment) such as an access point, a relay device, or a base station.
  • the terminal device 304 and the terminal device 305 are each an arbitrary electronic device having a communication function, such as a mobile phone, a smartphone, a tablet computer, and a notebook computer.
  • the terminal device 304 or the terminal device 305 requests the distribution server 302 to distribute the distribution file based on an instruction from a user or the like.
  • the distribution server 302 transmits the requested distribution data to the request source.
  • the terminal device 304 or the terminal device 305 that has requested the distribution receives and reproduces the distribution data.
  • the present technology described above in each embodiment is applied as the distribution data generation device 301. That is, the above-described file generation device 100 is used as the distribution data generation device 301.
  • the present technology described above in each embodiment is applied as the terminal device 304 or the terminal device 305. That is, the above-described file reproduction device 200 is used as the terminal device 304 or the terminal device 305.
  • the distribution data generation device 301, the terminal device 304, and the terminal device 305 can obtain the same effects as those of the above-described embodiments. That is, the distribution system 300 can realize selection of a reproduction file according to the reproduction side capability.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 410 is also connected to the bus 404.
  • An input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415 are connected to the input / output interface 410.
  • the input unit 411 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 412 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 413 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 414 is composed of a network interface, for example.
  • the drive 415 drives a removable medium 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, a program stored in the storage unit 413 to the RAM 403 via the input / output interface 410 and the bus 404 and executes the program, and the series described above. Is performed.
  • the RAM 403 also appropriately stores data necessary for the CPU 401 to execute various processes.
  • the program executed by the computer (CPU 401) can be recorded and applied to, for example, a removable medium 421 as a package medium or the like.
  • the program can be installed in the storage unit 413 via the input / output interface 410 by attaching the removable medium 421 to the drive 415.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 414 and installed in the storage unit 413.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in the ROM 402 or the storage unit 413 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • this technique can also take the following structures.
  • the metadata including information on a plurality of files including encoded data obtained by encoding image data, and controlling the reproduction of the plurality of files, the information including information on encoding parameters of each file
  • An information processing apparatus including a metadata generation unit that generates data.
  • the information regarding the encoding parameter includes information indicating a parallel processing type of encoding of the image data.
  • the information indicating the parallel processing type includes identification information that identifies whether the parallel processing type is tile division or wavefront parallel processing.
  • the information indicating the parallel processing type includes identification information for identifying whether the parallel processing type is slice partitioning, tile partitioning, or wavefront parallel processing.
  • the information processing apparatus described in 1. The information processing apparatus according to any one of (1) to (4), wherein the information related to the encoding parameter includes information indicating a maximum size that can be taken by segmentation. (6) The information processing apparatus according to any one of (1) to (5), wherein the metadata generation unit sets information relating to the encoding parameter in a representation. (7) The information processing apparatus according to (6), wherein the metadata generation unit sets information on the encoding parameter as a value of a supplemental property. (8) The metadata including information on a plurality of files including encoded data obtained by encoding image data and controlling reproduction of the plurality of files, the information including information on encoding parameters of each file An information processing method that generates data.
  • the metadata including information on a plurality of files including encoded data obtained by encoding image data, and controlling the reproduction of the plurality of files, the information including information on encoding parameters of each file
  • a metadata analysis unit for analyzing data In accordance with the analysis result of the metadata analysis unit, a file selection unit for selecting a file to be reproduced from the plurality of files,
  • An information processing apparatus comprising: a file reproduction unit that acquires and reproduces the file selected by the file selection unit.
  • the meta data including information on a plurality of files including encoded data obtained by encoding image data, and controlling the reproduction of the plurality of files, the meta data including information on encoding parameters of each file. Analyze the data, According to the analysis result, select a file to play from the plurality of files, An information processing method for acquiring and playing back the selected file.
  • 100 file generation device 101 image encoding unit, 102 MP4 file generation unit, 103 MPD generation unit, 200 file playback device, 201 MPD analysis unit, 202 MP4 file selection unit, 203 MP4 file playback unit, 300 distribution system, 301 distribution Data generation device, 302 distribution server, 303 network, 304 and 305 terminal devices, 400 computers

Abstract

　本技術は、再生側の能力に応じた再生ファイルの選択を実現することができるようにする情報処理装置および方法に関する。 本技術の情報処理装置は、画像データが符号化された符号化データを含む複数のファイルの情報を含み、その複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含むメタデータを生成する。本技術は、例えば、情報処理装置、画像処理装置、画像符号化装置、または、画像復号装置等に適用することができる。

Description

情報処理装置および方法
　本技術は、情報処理装置および方法に関し、特に、再生側の能力に応じた再生ファイルの選択を実現することができるようにした情報処理装置および方法に関する。
　近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　ところで、このようなコンテンツ配信のクライアントとなり得る電子機器は多様化の一途を辿っており、それによって、クライアントのコンテンツ再生の性能も多様化している。そのため、MPEG-DASHのようなコンテンツ配信技術においても、例えば、解像度やバンド幅だけでなく、符号化の並列処理タイプ等の符号化パラメータ等、より多様なパラメータについてより多様な値が適用されたより多様なファイルを用意し、クライアントに、自身の再生能力に最適なファイルを選択させるようにすることが求められている。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
　しかしながら、従来のMPEG-DASH規格では、ファイルに関するより多様なパラメータをクライアント側に通知する機能がなかった。
　本技術は、このような状況に鑑みて提案されたものであり、再生側の能力に応じた再生ファイルの選択を実現することができるようにすることを目的とする。
　本技術の一側面は、画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成するメタデータ生成部を備える情報処理装置である。
　前記符号化パラメータに関する情報は、前記画像データの符号化の並列処理タイプを示す情報を含むようにすることができる。
　前記並列処理タイプを示す情報は、前記並列処理タイプがタイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含むようにすることができる。
　前記並列処理タイプを示す情報は、前記並列処理タイプがスライス分割であるか、タイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含むようにすることができる。
　前記符号化パラメータに関する情報は、セグメンテーションの取り得る最大サイズを示す情報を含むようにすることができる。
　前記メタデータ生成部は、前記符号化パラメータに関する情報を、リプレゼンテーションに設定することができる。
　前記メタデータ生成部は、前記符号化パラメータに関する情報を、サプリメンタルプロパティのバリューとして設定することができる。
　本技術の一側面は、また、画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成する情報処理方法である。
　本技術の他の側面は、画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析するメタデータ解析部と、前記メタデータ解析部の解析結果に従って、前記複数のファイルの中から再生するファイルを選択するファイル選択部と、前記ファイル選択部により選択された前記ファイルを取得し、再生するファイル再生部とを備える情報処理装置である。
　本技術の他の側面は、また、画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析し、解析結果に従って、前記複数のファイルの中から再生するファイルを選択し、選択された前記ファイルを取得し、再生する情報処理方法である。
　本技術の一側面においては、画像データが符号化された符号化データを含む複数のファイルの情報を含み、複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含むメタデータが生成される。
　本技術の他の側面においては、画像データが符号化された符号化データを含む複数のファイルの情報を含み、複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含むメタデータが解析され、解析結果に従って、複数のファイルの中から再生するファイルが選択され、選択されたファイルが取得され、再生される。
　本技術によれば、情報を処理することが出来る。また本技術によれば、再生側の能力に応じた再生ファイルの選択を実現することができる。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 MPDの主な構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明するフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 ファイル再生処理の流れの例を説明するフローチャートである。 MPDの主な構成例を示す図である。 HEVCデコーダコンフィギュレーションレコードの例を示す図である。 パラレリズムタイプのセマンティクスの例を示す図である。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（ファイル生成装置・ファイル再生装置）
　２．第２の実施の形態（MPDの他の構成例）
　３．第３の実施の形態（配信システム）
　４．第４の実施の形態（コンピュータ）
　＜１．第１の実施の形態＞
　　＜DASH＞
　従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
　MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
　MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
　クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
　なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
　したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
　しかしながら、従来のMPEG-DASH規格では、ファイルに関するより多様なパラメータをクライアント側に通知する機能がなかった。例えば、従来のMPEG-DASH規格のMPDには、配信する画像データの符号化の際の並列処理タイプを示す情報をクライアント側に通知する仕組みが存在しなかった。そのため、クライアントは、自身の性能にとって適切でないファイルを選択してしまうおそれがあった。このようにクライアントの性能と、再生するファイルの特徴との間にミスマッチが生じると、クライアントにおいて再生処理の負荷が不要に増大したり、不要に再生画像の画質が低減してしまうおそれがあった。
　そこで、画像データが符号化された符号化データを含む複数のファイルの情報を含み、その複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含むメタデータを生成するようにする。
　その符号化パラメータに関する情報が、画像データの符号化の並列処理タイプを示す情報を含むようにしてもよい。
　また、その並列処理タイプを示す情報が、並列処理タイプがタイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含むようにしてもよい。
　また、符号化パラメータに関する情報がMPDのリプレゼンテーションに設定されるようにしてもよい。さらに、符号化パラメータに関する情報が、サプリメンタルプロパティのバリューとして設定されるようにしてもよい。
　　＜MPD構成例＞
　より具体的な例について説明する。図６は、本技術を適用して生成されたMPDの主な構成例を示す図である。この例の場合、バンド幅（bandwidth）が1mbpsと3mbpsとの２種類用意され、さらに、並列処理タイプが、タイル分割（Tile）と、ウェーブフロントパラレルプロセッシング（wavefront）との２種類用意されている。つまり、４つのファイルが用意されている。1mbps_tile.mp4は、バンド幅が1mbpsで並列処理タイプがタイル分割の符号化データを格納するMP4ファイルである。1mbps_wavefront.mp4は、バンド幅が1mbpsで並列処理タイプがウェーブフロントパラレルプロセッシングの符号化データを格納するMP4ファイルである。3mbps_tile.mp4は、バンド幅が3mbpsで並列処理タイプがタイル分割の符号化データを格納するMP4ファイルである。3mbps_wavefront.mp4は、バンド幅が3mbpsで並列処理タイプがウェーブフロントパラレルプロセッシングの符号化データを格納するMP4ファイルである。
　図６に示されるように、このMPDにおいては、ピリオド（Period）の下位にアダプテーションセット（AdaptationSet）が設定され、その下位にリプレゼンテーションが４つ設定され、各リプレゼンテーションの下位にセグメントが設定され、1mbps_tile.mp4、1mbps_wavefront.mp4、3mbps_tile.mp4、3mbps_wavefront.mp4が互いに異なるセグメントに設定（登録）されている。
　各リプレゼンテーションには、MP4ファイルに格納される符号化データの符号化方式を示す情報（<codecs="hvc1">）が格納される。"hvc1"は、符号化方式がHEVC（High Efficiency Video Coding）であることを示す識別情報である。符号化データが他の符号化方式により符号化されている場合、この値が他の値となる。例えば、SHVC（Scalable High Efficiency Video Coding）の場合、値"lhv1"が格納される。
　また、各リプレゼンテーションには、MP4ファイルのバンド幅（bandwidth）が設定されている（<bandwidth="1mbps">, <bandwidth="3mbps">）。
　さらに、各リプレゼンテーションには、サプリメンタルプロパティ（SupplementalProperty）が設定され、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:vui:2014"）が設定され、そのバリュー（value）として、MP4ファイルの並列処理タイプを示す識別情報が設定されている。図６において、値「１」（value="1"）は、並列処理タイプがタイル分割であることを示し、値「２」（value="2"）は、並列処理タイプがウェーブフロントパラレルプロセッシングであることを示す。
　例えば、以下のような情報が設定される。
　<SupplementalProperty schemeIdUri="urm:mpeg:DASH:hevc:vui:2014" value="1">
　または、
　<SupplementalProperty schemeIdUri="urm:mpeg:DASH:hevc:vui:2014" value="2">
　クライアントは、このようなリプレゼンテーションに設定された各種情報を参照して、再生するファイルを選択する。クライアントがリプレゼンテーションを選択すると、そのリプレゼンテーションに属するセグメントに登録されているMP4ファイルが再生するファイルとして選択され、取得される。
　このように、リプレゼンテーションに各種情報を設定することにより、クライアントにその情報を提示することができる。したがって、クライアントは、その提示された情報に基づいて、自身の能力により適したファイルを選択することができる。つまり、再生側の能力に応じた再生ファイルの選択を実現することができる。
　例えば、並列処理タイプがタイル分割の場合、ハードウェアのデコーダによる復号に適しており、並列処理タイプがウェーブフロントパラレルプロセッシングの場合、ソフトウェアのデコーダによる復号に適している。したがって、自身のデコーダがハードウェアであるかソフトウェアであるかによって、クライアントにとってより適切なファイルが決定する。
　なお、リプレゼンテーションに設定される情報は任意であり、図６の例に示される並列処理タイプのような符号化に関する情報であってもよいし、符号化以外に関する情報であってもよい。例えば、符号化対象の画像に関する情報であってもよい。
　　＜ファイル生成装置＞
　次に、このようなファイルを生成する装置について説明する。図７は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図７において、ファイル生成装置１００は、画像符号化部Ａ、画像符号化部Ｂ、画像符号化部Ｃ、・・・のように、互いに異なる方法で符号化する複数の符号化部を有し、それらを用いて、画像を複数の方法で符号化し、画像または符号化に関するパラメータの少なくとも一部が互いに異なる複数の符号化データ（符号化データＡ、符号化データＢ、符号化データＣ、・・・）を生成する。画像符号化部１０１は、生成したこれらの符号化データをMP4ファイル生成部１０２に供給する。
　MP4ファイル生成部１０２は、供給された複数の符号化データをそれぞれMP4ファイル化し、互いに異なる符号化データを格納する複数のMP4ファイルを生成する。MP4ファイル生成部１０２は、生成した複数のMP4ファイル（MP4ファイルＡ、MP4ファイルＢ、MP4ファイルＣ、・・・）を出力する。また、MP4ファイル生成部１０２は、生成した複数のMP4ファイル（MP4ファイルＡ、MP4ファイルＢ、MP4ファイルＣ、・・・）をMPD生成部１０３にも供給する。
　MPD生成部１０３は、供給される複数のMP4ファイルを制御するMPDを生成する。このMPDには、複数のMP4ファイルに格納される、少なくとも一部が互いに異なる画像または符号化に関するパラメータの情報が設定される。MPD生成部１０３は、このように生成したMPDを出力する。
　＜ファイル生成処理の流れ＞
　次に、図８のフローチャートを参照して、図７のファイル生成装置１００により実行されるファイル生成処理の流れの例を説明する。
　ファイル生成処理が開始されると、画像符号化部１０１は、ステップＳ１０１において、画像を複数の方法で符号化する。
　ステップＳ１０２において、MP4ファイル生成部１０２は、ステップＳ１０１において生成された複数の符号化データをそれぞれMP4ファイル化する。
　互いに異なる符号化データを格納する複数のMP4ファイルが生成されると、ステップＳ１０３において、MP4ファイル生成部１０２は、生成したMP4ファイルを出力する。
　ステップＳ１０４において、MPD生成部１０３は、ステップＳ１０２において生成された各MP4ファイルから、そのMP4ファイルに含まれる符号化データの画像・符号化情報を取得する。
　ステップＳ１０５において、MPD生成部１０３は、各符号化データの画像・符号化情報を用いて全MP4ファイルの情報を含むMPDを生成する。
　ステップＳ１０６において、MPD生成部１０３は、ステップＳ１０５において生成したMPDを出力する。
　ステップＳ１０６の処理が終了すると、ファイル生成処理が終了する。
　　＜MPD生成処理の流れ＞
　次に、図９のフローチャートを参照して、図８のステップＳ１０５において実行されるMPD生成処理の詳細な流れの例を説明する。
　MPD生成処理が開始されると、MPD生成部１０３は、ステップＳ１２１において、アダプテーションセットを設定する。
　ステップＳ１２２において、MPD生成部１０３は、MP4ファイル毎にリプレゼンテーションを設定する。
　ステップＳ１２３において、MPD生成部１０３は、各セグメントにMP4ファイルを設定する。
　ステップＳ１２４において、MPD生成部１０３は、各リプレゼンテーションに、そのMP4ファイルの画像・符号化情報を設定する。例えば、図６の場合、画像・符号化情報として、MP4ファイルに格納される符号化データの符号化方式を示す情報（codecs）、MP4ファイルのバンド幅（bandwidth）、並びに、サプリメンタルプロパティ（SupplementalProperty）が設定される。また、サプリメンタルプロパティ（SupplementalProperty）には、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:vui:2014"）が設定され、そのバリュー（value）として、MP4ファイルの並列処理タイプを示す識別情報が設定されている。図６において、値「１」（value="1"）は、並列処理タイプがタイル分割であることを示し、値「２」（value="2"）は、並列処理タイプがウェーブフロントパラレルプロセッシングであることを示す。もちろん、画像・符号化情報の内容は任意であり、画像・符号化情報にこれら以外の情報が含まれていてもよい。
　ステップＳ１２４の処理が終了すると、MPD生成処理が終了し、図８に処理が戻る。
　以上のように各処理を実行することにより、ファイル生成装置１００は、画像や符号化に関するパラメータを、リプレゼンテーションに設定し、再生側に提示することができる。したがって、ファイル生成装置１００は、再生側が、その提示された情報に基づいて、自身の能力により適したファイルを選択することができるようにすることができる。つまり、再生側の能力に応じた再生ファイルの選択を実現することができる。
　　＜ファイル再生装置＞
　次に、ファイル生成装置１００により生成されたMP4ファイルやMPDを再生する装置について説明する。図１０は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図１０において、ファイル再生装置２００は、図７のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生して復号画像を生成し、出力する装置である。
　図１０に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル選択部２０２、MP4ファイル再生部２０３、および画像復号部２０４を有する。
　　＜ファイル再生処理の流れ＞
　図１０のファイル再生装置２００は、ファイル再生処理を実行することにより、入力されるMPDを解析し、その情報に基づいて自身の能力により適した符号化データを格納するMP4ファイルを選択して取得し、そのMP4ファイルを再生して復号画像を生成する。図１１のフローチャートを参照して、このファイル再生処理の流れの例を説明する。
　ファイル再生処理が開始されると、MPD解析部２０１は、ステップＳ２０１において、MPDを取得する。
　ステップＳ２０２において、MPD解析部２０１は、ステップＳ２０１において取得したMPDから各MP4ファイルの画像・符号化情報を抽出し、MP4ファイル選択部２０２に供給する。
　ステップＳ２０３において、MP4ファイル選択部２０２は、供給された画像・符号化情報に基づいて、自身の能力により適したMP4ファイルを再生するMP4ファイルとして選択する。
　ステップＳ２０４において、MP4ファイル選択部２０２は、ステップＳ２０３の処理により選択されたMP4ファイルを、その格納先に要求する。
　ステップＳ２０５において、MP4ファイル再生部２０３は、ステップＳ２０４の要求に応じて供給されたMP4ファイルを取得する。
　ステップＳ２０６において、MP4ファイル再生部２０３は、ステップＳ２０５において取得したMP4ファイルを再生し、符号化データを抽出し、画像復号部２０４に供給する。
　ステップＳ２０７において、画像復号部２０４は、ステップＳ２０６において供給された符号化データを復号し、復号画像データを生成する。
　ステップＳ２０８において、画像復号部２０４は、ステップＳ２０７において生成された復号画像データを出力する。
　復号画像データが出力されるとファイル再生処理が終了する。
　以上のようにファイル作成処理を実行することにより、ファイル再生装置２００は、MPDのリプレゼンテーションに設定された画像や符号化に関するパラメータを参照することにより、より容易に、符号化データの特徴を把握することができる。したがって、ファイル再生装置２００は、その提示された情報に基づいて、自身の能力により適したファイルを選択することができる。つまり、再生側の能力に応じた再生ファイルの選択を実現することができる。
　＜２．第２の実施の形態＞
　　＜MPD構成例＞
　並列処理タイプを示す情報は、並列処理タイプがスライス分割であるか、タイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含むようにしてもよい。
　また、符号化パラメータに関する情報が、セグメンテーションの取り得る最大サイズを示す情報を含むようにしてもよい。
　図１２は、本技術を適用して生成されたMPDの他の構成例を示す図である。図１２に示される構成例は、図６を参照して説明した例と基本的に同様であるが、サプリメンタルプロパティのバリューの値が異なる。例えば、以下のように設定されている。
　<SupplementalProperty schemeIdUri="urm:mpeg:DASH:hevc:vui:pd:2014" value="4,2">
　または、
　<SupplementalProperty schemeIdUri="urm:mpeg:DASH:hevc:vui:pd:2014" value="4,3">
　この場合、バリュー（value）として、セグメンテーションの取り得る最大サイズを示す情報（min_spatial_segmentation_idc）と、MP4ファイルの並列処理タイプを示す識別情報（parallelism Type）が設定されている。
　このmin_spatial_segmentation_idcと、parallelism Typeは、例えば符号化データ（HEVC）のVUI（Video Usability Information）において定義されるパラメータである。図１３に、このVUIに生成されるHEVCデコーダコンフィギュレーションレコード（HEVC DecoderConfigurationRecord）のシンタクスの例を示す。図１３に示されるように、HEVCデコーダコンフィギュレーションレコードにおいて、min_spatial_segmentation_idcと、parallelism Typeが設定されている。parallelism Typeのセマンティクスの例を図１４に示す。例えば、このparallelism Typeの値が「１」の場合、並列処理タイプがスライス分割であることを示し、値が「２」場合、並列処理タイプがタイル分割であることを示し、値が「３」の場合、並列処理タイプがウェーブフロントパラレルプロセッシングであることを示す。
　このように、本実施の形態の場合、MPD生成部１０３は、符号化データに含まれる画像・符号化情報を抽出し、値を変えずに、MPDのリプレゼンテーションに各種情報に設定する。つまり、既存のパラメータを再生側に提示する。したがって、MPD生成部１０３は、新たにパラメータを定義する必要無いので、より容易に、画像・符号化情報を再生側に提示することができる。したがって、クライアントは、その提示された情報に基づいて、自身の能力により適したファイルを選択することができる。つまり、再生側の能力に応じた再生ファイルの選択を実現することができる。
　なお、この場合のファイル生成処理やファイル再生処理等の各種処理は、上述した例と基本的に同様であるので、その説明は省略する。
　以上のようにMPDのリプレゼンテーションに設定される情報は任意である。例えば、レイヤ間でのピクチャータイプのアライン（制約）情報（Pic_type/IRAP align）であってもよいし、ビットレートやフレームレートの情報（Bit_rate/pic_rate）であってもよいし、カラープライマリ、トランスファーCharacteristic、Matrix係数等の画像データに関する情報（video_signal）であってもよいし、アダプティブレゾリューションコントロール（Adaptive Resolution Control）であってもよいし、higher_layer_irap_skip_flagやvert_pahse_position_in_use_flag等の各種フラグ情報であってもよいし、bistream partition 等のHRD関連の情報であってもよい。もちろん、これら以外の情報であってもよい。
　また、以上においては、ファイル再生装置２００が、複数のMP4ファイルの中から、再生側の能力に応じた再生ファイルの選択を実現するように説明したが、この再生側の能力は、復号画像データの生成までの処理の能力であってもよいし、それ以外の能力であってもよい。例えば、MP4ファイル選択部２０２が、得られた復号画像を表示するディスプレイの性能（例えば、解像度、色域、フレームレート等）に対してより適切なMP4ファイルを選択するようにしてもよい。また、MP4ファイル選択部２０２がディスプレイの性能を把握することができるのであれば、このディスプレイがファイル再生装置２００と異なる装置であってもよい。
　＜３．第３の実施の形態＞
　　＜配信システム＞
　各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
　図１５は、本技術を適用した配信システムの主な構成例を示す図である。図１５に示される配信システム３００は、静止画像および動画像を配信するシステムである。図１５に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。
　配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。
　ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
　配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。
　端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。
　配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。
　このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。
　また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。
　このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、再生側の能力に応じた再生ファイルの選択を実現することができる。
　＜４．第４の実施の形態＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１６に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
　バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
　入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成するメタデータ生成部
　を備える情報処理装置。
　（２）　前記符号化パラメータに関する情報は、前記画像データの符号化の並列処理タイプを示す情報を含む
　（１）に記載の情報処理装置。
　（３）　前記並列処理タイプを示す情報は、前記並列処理タイプがタイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含む
　（２）に記載の情報処理装置。
　（４）　前記並列処理タイプを示す情報は、前記並列処理タイプがスライス分割であるか、タイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含む
　（２）または（３）に記載の情報処理装置。
　（５）　前記符号化パラメータに関する情報は、セグメンテーションの取り得る最大サイズを示す情報を含む
　（１）乃至（４）に記載の情報処理装置。
　（６）　前記メタデータ生成部は、前記符号化パラメータに関する情報を、リプレゼンテーションに設定する
　（１）乃至（５）に記載の情報処理装置。
　（７）　前記メタデータ生成部は、前記符号化パラメータに関する情報を、サプリメンタルプロパティのバリューとして設定する
　（６）に記載の情報処理装置。
　（８）　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成する
　情報処理方法。
　（９）　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析するメタデータ解析部と、
　前記メタデータ解析部の解析結果に従って、前記複数のファイルの中から再生するファイルを選択するファイル選択部と、
　前記ファイル選択部により選択された前記ファイルを取得し、再生するファイル再生部と
　を備える情報処理装置。
　（１０）　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析し、
　解析結果に従って、前記複数のファイルの中から再生するファイルを選択し、
　選択された前記ファイルを取得し、再生する
　情報処理方法。
　１００　ファイル生成装置，　１０１　画像符号化部，　１０２　MP4ファイル生成部，　１０３　MPD生成部，　２００　ファイル再生装置，　２０１　MPD解析部，　２０２　MP4ファイル選択部，　２０３　MP4ファイル再生部，　３００　配信システム，　３０１　配信データ生成装置，　３０２　配信サーバ，　３０３　ネットワーク，　３０４および３０５　端末装置，　４００　コンピュータ

Claims (10)

  1. 　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成するメタデータ生成部
    　を備える情報処理装置。
  2. 　前記符号化パラメータに関する情報は、前記画像データの符号化の並列処理タイプを示す情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記並列処理タイプを示す情報は、前記並列処理タイプがタイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含む
    　請求項２に記載の情報処理装置。
  4. 　前記並列処理タイプを示す情報は、前記並列処理タイプがスライス分割であるか、タイル分割であるか、ウェーブフロントパラレルプロセッシングであるかを識別する識別情報を含む
    　請求項２に記載の情報処理装置。
  5. 　前記符号化パラメータに関する情報は、セグメンテーションの取り得る最大サイズを示す情報を含む
    　請求項１に記載の情報処理装置。
  6. 　前記メタデータ生成部は、前記符号化パラメータに関する情報を、リプレゼンテーションに設定する
    　請求項１に記載の情報処理装置。
  7. 　前記メタデータ生成部は、前記符号化パラメータに関する情報を、サプリメンタルプロパティのバリューとして設定する
    　請求項６に記載の情報処理装置。
  8. 　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを生成する
    　情報処理方法。
  9. 　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析するメタデータ解析部と、
    　前記メタデータ解析部の解析結果に従って、前記複数のファイルの中から再生するファイルを選択するファイル選択部と、
    　前記ファイル選択部により選択された前記ファイルを取得し、再生するファイル再生部と
    　を備える情報処理装置。
  10. 　画像データが符号化された符号化データを含む複数のファイルの情報を含み、前記複数のファイルの再生を制御するメタデータであって、各ファイルの符号化パラメータに関する情報を含む前記メタデータを解析し、
    　解析結果に従って、前記複数のファイルの中から再生するファイルを選択し、
    　選択された前記ファイルを取得し、再生する
    　情報処理方法。
PCT/JP2015/067233 2014-06-30 2015-06-16 情報処理装置および方法 WO2016002495A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15814601.9A EP3148200B1 (en) 2014-06-30 2015-06-16 Information processing device and method selecting content files based on encoding parallelism type
CN201580033825.6A CN106464943B (zh) 2014-06-30 2015-06-16 信息处理装置和方法
JP2016531240A JP6555263B2 (ja) 2014-06-30 2015-06-16 情報処理装置および方法
US15/317,972 US20170127073A1 (en) 2014-06-30 2015-06-16 Information processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014134877 2014-06-30
JP2014-134877 2014-06-30

Publications (1)

Publication Number Publication Date
WO2016002495A1 true WO2016002495A1 (ja) 2016-01-07

Family

ID=55019042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067233 WO2016002495A1 (ja) 2014-06-30 2015-06-16 情報処理装置および方法

Country Status (5)

Country Link
US (1) US20170127073A1 (ja)
EP (1) EP3148200B1 (ja)
JP (1) JP6555263B2 (ja)
CN (1) CN106464943B (ja)
WO (1) WO2016002495A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050359A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド 符号化映像におけるクロマフォーマット及びビット深度のインジケーション

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110546688B (zh) * 2017-05-30 2023-11-17 索尼公司 图像处理装置和方法、文件生成装置和方法及程序
CN109309879A (zh) * 2017-07-27 2019-02-05 飞狐信息技术（天津）有限公司 一种解码方法、装置及设备
EP3734982A4 (en) 2018-01-12 2020-11-25 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
CN108513141A (zh) * 2018-03-26 2018-09-07 深圳市景阳信息技术有限公司 一种数据的收发方法、装置及设备
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20220239994A1 (en) * 2019-06-25 2022-07-28 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
CN113766235B (zh) * 2021-08-30 2023-10-17 聚好看科技股份有限公司 一种全景视频传输方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011504337A (ja) * 2007-11-15 2011-02-03 トムソン ライセンシング 映像を符号化するシステムおよび方法
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP2011160077A (ja) * 2010-01-29 2011-08-18 Sony Corp 復号装置および方法
JP2012186763A (ja) * 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI529703B (zh) * 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
EP2833631A4 (en) * 2012-04-15 2015-11-11 Samsung Electronics Co Ltd VIDEO CODING METHOD AND DEVICE AND VIDEO CODING METHOD AND DEVICE FOR PARALLEL PROCESSING
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
EP3657806A1 (en) * 2012-10-12 2020-05-27 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
CN116366835A (zh) * 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
EP3614676B1 (en) * 2013-07-15 2023-11-08 GE Video Compression, LLC Layer id signaling using extension mechanism
CN103699585B (zh) * 2013-12-06 2017-04-19 华为技术有限公司 文件的元数据存储以及文件恢复的方法、装置和系统
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011504337A (ja) * 2007-11-15 2011-02-03 トムソン ライセンシング 映像を符号化するシステムおよび方法
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP2011160077A (ja) * 2010-01-29 2011-08-18 Sony Corp 復号装置および方法
JP2012186763A (ja) * 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050359A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド 符号化映像におけるクロマフォーマット及びビット深度のインジケーション
JP2022050360A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド デコーダコンフィギュレーションレコードにおけるピクチャ寸法インジケーション
JP7202429B2 (ja) 2020-09-17 2023-01-11 レモン インコーポレイテッド 符号化映像におけるクロマフォーマット及びビット深度のインジケーション
JP7203172B2 (ja) 2020-09-17 2023-01-12 レモン インコーポレイテッド デコーダコンフィギュレーションレコードにおけるピクチャ寸法インジケーション
US11729427B2 (en) 2020-09-17 2023-08-15 Lemon Inc. Chroma format and bit depth indication in coded video
US11831921B2 (en) 2020-09-17 2023-11-28 Lemon Inc. Video operating points record syntax and semantics
US11877011B2 (en) 2020-09-17 2024-01-16 Lemon Inc. Picture dimension indication in decoder configuration record

Also Published As

Publication number Publication date
EP3148200A4 (en) 2018-01-03
CN106464943B (zh) 2020-09-11
CN106464943A (zh) 2017-02-22
EP3148200B1 (en) 2020-06-17
EP3148200A1 (en) 2017-03-29
US20170127073A1 (en) 2017-05-04
JP6555263B2 (ja) 2019-08-07
JPWO2016002495A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6555263B2 (ja) 情報処理装置および方法
JP7103402B2 (ja) 情報処理装置および情報処理方法
JP6908098B2 (ja) 情報処理装置および方法
JP6339012B2 (ja) 層状の信号品質階層の再構成データの送信
KR20170109036A (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
JP6508206B2 (ja) 情報処理装置および方法
CA2802264C (en) Remote viewing of media content using layered video encoding
WO2018142946A1 (ja) 情報処理装置および方法
JP6501127B2 (ja) 情報処理装置および方法
WO2018142947A1 (ja) 情報処理装置および方法
Goyal et al. Comparative analysis of performance of WMV & MPEG formats video streaming in a cloud

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814601

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015814601

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015814601

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016531240

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15317972

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE