WO2016199608A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2016199608A1
WO2016199608A1 PCT/JP2016/065866 JP2016065866W WO2016199608A1 WO 2016199608 A1 WO2016199608 A1 WO 2016199608A1 JP 2016065866 W JP2016065866 W JP 2016065866W WO 2016199608 A1 WO2016199608 A1 WO 2016199608A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
encoded stream
information processing
unit
Prior art date
Application number
PCT/JP2016/065866
Other languages
English (en)
French (fr)
Inventor
平林　光浩
矢ケ崎　陽一
伸明 泉
充 勝股
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/578,709 priority Critical patent/US20180176650A1/en
Priority to CN201680032727.5A priority patent/CN107683607A/zh
Priority to JP2017523585A priority patent/JPWO2016199608A1/ja
Publication of WO2016199608A1 publication Critical patent/WO2016199608A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present disclosure relates to an information processing device and an information processing method, and more particularly, to an information processing device and an information processing method capable of recognizing the continuity of the edge of an image.
  • MPEG-DASH Moving / Picture / Experts / Group / phase / Dynamic / Adaptive / Streaming / over / HTTP
  • OTT-V Over The Top Video
  • MPEG-DASH Moving / Picture / Experts / Group / phase / Dynamic / Adaptive / Streaming / over / HTTP
  • the distribution server prepares an encoded stream with a different bit rate for a single video content, and the playback terminal requests an encoded stream with an optimal bit rate, thereby realizing adaptive streaming distribution. Is done.
  • MPEG-DASHDSRD Spatial Relationship Description
  • SRD spatial Relationship Description
  • a bitrateationadaptation mechanism that selectively obtains an encoded stream of a desired bit rate
  • a spatial adaptation ROI Region of Interest that selectively acquires an encoded stream of an image in a desired region.
  • an image of a moving image content not only an image of an angle of view of one camera but also an omnidirectional image obtained by mapping an image of 360 degrees in the horizontal direction and 180 degrees in the vertical direction to a 2D image (planar image). And 360-degree panoramic images in the horizontal direction.
  • the omnidirectional image and the panoramic image are images in which the end portions are continuous, if the encoded stream at a certain end portion of these images is decoded, the region that is likely to be decoded next is It is the other end that is continuous with the end.
  • MPEG-DASH Dynamic-Adaptive-Streaming-over-HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • “Text of ISO / IEC 23009-1: 2014 FDAM 2 Spatial Relationship Description, Generalized URL parameters and other extensions” N15217, MPEG111, Geneva, February 2015
  • WD of ISO / IEC23009-3 2nd edition AMD 1 DASH Implementation Guidelines N14629, MPEG109, Sapporo, July 2014
  • the decoding apparatus cannot recognize the continuity of the end of the omnidirectional image or panoramic image corresponding to the encoded stream. Therefore, the decoding apparatus cannot shorten the decoding processing time by prefetching the encoded stream at the other end that is continuous with the end during decoding of the encoded stream at the end.
  • the present disclosure has been made in view of such a situation, and makes it possible to recognize the continuity of the edge of an image.
  • the information processing apparatus is an information processing apparatus including a setting unit that sets continuous information indicating continuity between end portions of an image corresponding to an encoded stream.
  • the information processing method according to the first aspect of the present disclosure corresponds to the information processing apparatus according to the first aspect of the present disclosure.
  • continuous information indicating the continuity between the end portions of the image corresponding to the encoded stream is set.
  • the information processing apparatus includes an acquisition unit that acquires the encoded stream based on continuous information that represents continuity between end portions of images corresponding to the encoded stream, and the acquisition unit. And a decoding unit that decodes the acquired encoded stream.
  • the information processing method according to the second aspect of the present disclosure corresponds to the information processing apparatus according to the second aspect of the present disclosure.
  • the encoded stream is acquired based on continuous information representing continuity between the end portions of the images corresponding to the encoded stream, and the acquired encoded stream is decoded.
  • the information processing apparatuses according to the first and second aspects can be realized by causing a computer to execute a program.
  • a program to be executed by a computer can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
  • information can be set. According to the first aspect of the present disclosure, information can be set so as to recognize the continuity of the edge of the image.
  • information can be acquired. According to the second aspect of the present disclosure, it is possible to recognize the continuity of the edge of the image.
  • First embodiment Information processing system (FIGS. 1 to 12) 2.
  • Second embodiment Information processing system (FIGS. 13 to 18) 3.
  • Third embodiment Information processing system (FIGS. 19 to 21) 4).
  • Fourth Embodiment Computer (FIG. 22)
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an information processing system to which the present disclosure is applied.
  • the information processing system 10 in FIG. 1 is configured by connecting a Web server 12 connected to a file generation device 11 and a moving image playback terminal 14 via the Internet 13.
  • the Web server 12 distributes the encoded stream of the omnidirectional image as the image of the moving image content to the moving image playback terminal 14 by a method according to MPEG-DASH.
  • the omnidirectional image is based on an equirectangular projection of a sphere obtained by mapping an image of 360 degrees in the horizontal direction and 180 degrees in the vertical direction (hereinafter referred to as an omnidirectional image) onto the surface of the sphere.
  • an image it may be an image of a developed view of a cube when an omnidirectional image is mapped onto a cube (cube) surface.
  • the file generation device 11 of the information processing system 10 encodes a low-resolution spherical image and generates a low-resolution encoded stream. Further, the file generation device 11 independently encodes each divided image obtained by dividing the high-resolution omnidirectional image, and generates a high-resolution encoded stream of each divided image. The file generation device 11 converts the low-resolution encoded stream and the high-resolution encoded stream into a file and generates an image file for each time unit of about several seconds to about 10 seconds called a segment. The file generation device 11 uploads the generated image file to the Web server 12.
  • the file generation device 11 (setting unit) is an information processing device that generates an MPD file (management file) for managing image files and the like.
  • the file generation device 11 uploads the MPD file to the Web server 12.
  • the Web server 12 stores the image file and MPD file uploaded from the file generation device 11.
  • the web server 12 transmits the stored image file, MPD file, and the like to the video playback terminal 14 in response to a request from the video playback terminal 14.
  • the video playback terminal 14 includes streaming data control software (hereinafter referred to as control software) 21, video playback software 22, and client software (hereinafter referred to as access software) for HTTP (HyperText Transfer Protocol) access. 23) is executed.
  • control software hereinafter referred to as control software
  • video playback software video playback software 22
  • client software hereinafter referred to as access software 23
  • the control software 21 is software that controls data streamed from the Web server 12. Specifically, the control software 21 causes the video playback terminal 14 to acquire an MPD file from the Web server 12.
  • control software 21 instructs the access software 23 to transmit a coded stream to be played, which is designated by the moving picture playing software 22, based on the MPD file.
  • the moving image reproduction software 22 is software for reproducing the encoded stream acquired from the Web server 12. Specifically, the moving image playback software 22 designates the encoded stream to be played back to the control software 21. Also, the moving image playback software 22 decodes the encoded stream received by the moving image playback terminal 14 when receiving a notification of reception start from the access software 23. The moving image reproduction software 22 synthesizes the image data obtained as a result of the decoding as necessary and outputs it.
  • the access software 23 is software that controls communication with the Web server 12 via the Internet 13 using HTTP. Specifically, the access software 23 causes the moving image playback terminal 14 to transmit a transmission request for the encoded stream to be played back included in the image file in response to a command from the control software 21. In response to the transmission request, the access software 23 causes the video playback terminal 14 to start receiving the encoded stream transmitted from the Web server 12 and supplies the video playback software 22 with a reception start notification. To do.
  • FIG. 2 is a block diagram illustrating a configuration example of an image file generation unit that generates an image file in the file generation apparatus 11 of FIG.
  • the image file generation unit 150 in FIG. 2 includes a stitching processing unit 151, a mapping processing unit 152, a resolution reduction unit 153, an encoder 154, a division unit 155, encoders 156-1 to 156-4, a storage 157, and a generation unit 158. Consists of.
  • the stitching processing unit 151 makes the color and brightness of the omnidirectional images supplied from a multi-camera (not shown) the same, removes the overlap, and connects.
  • the stitching processing unit 151 supplies the omnidirectional image obtained as a result to the mapping processing unit 152.
  • the mapping processing unit 152 (generation unit) generates an omnidirectional image by mapping the omnidirectional image supplied from the stitching processing unit 151 to a sphere.
  • the mapping processing unit 152 supplies the omnidirectional image to the resolution reducing unit 153 and the dividing unit 155.
  • the stitching processing unit 151 and the mapping processing unit 152 may be integrated.
  • the resolution reduction unit 153 reduces the resolution by halving the horizontal and vertical resolutions of the omnidirectional image supplied from the mapping processing unit 152, and generates a low-resolution omnidirectional image.
  • the resolution reduction unit 153 supplies the low-resolution omnidirectional image to the encoder 154.
  • the encoder 154 encodes a low-resolution omnidirectional image supplied from the resolution reduction unit 153 using an encoding method such as AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding), and generates a low-resolution encoded stream. Is generated.
  • the encoder 154 supplies the low-resolution encoded stream to the storage 157 for recording.
  • the dividing unit 155 divides the omnidirectional image supplied from the mapping processing unit 152 into three high-resolution omnidirectional images in the vertical direction, and divides the central region into three in the horizontal direction so that the center does not become a boundary. .
  • the dividing unit 155 reduces the resolution of the upper and lower regions of the five divided regions so that, for example, the horizontal resolution is halved.
  • the dividing unit 155 supplies the lower resolution upper image, which is the lower area of the lower resolution, to the encoder 156-1, and supplies the lower resolution lower image, which is the lower area of the lower resolution, to the encoder 156-2. To do.
  • the dividing unit 155 combines the left end of the left end area with the right end of the right end area of the central area, and generates an end image.
  • the dividing unit 155 supplies the end image to the encoder 156-3. Further, the dividing unit 155 supplies the central portion of the central region to the encoder 156-4 as a central image.
  • the encoders 156-1 to 156-4 are encoding methods such as AVC and HEVC, respectively, and are supplied from the dividing unit 155, and the lower resolution upper image, the lower resolution lower image, the end image, and the center.
  • the partial image is encoded.
  • the encoders 156-1 to 156-4 supply the encoded stream generated as a result to the storage 157 as a high-resolution stream for recording.
  • the storage 157 records one low-resolution encoded stream supplied from the encoder 154 and four high-resolution encoded streams supplied from the encoders 156-1 to 156-4.
  • the generation unit 158 reads one low-resolution encoded stream and four high-resolution encoded streams recorded in the storage 157, and creates a file for each encoded stream in units of segments.
  • the generation unit 158 transmits the image file generated as a result to the Web server 12 of FIG.
  • FIG. 3 is a diagram illustrating an encoded stream of an omnidirectional image.
  • the horizontal resolution of the low resolution omnidirectional image 161 is This is 1920 pixels, which is half the horizontal resolution of the omnidirectional image.
  • the vertical resolution of the low-resolution omnidirectional image 161 is 1080 pixels, which is half the vertical resolution of the omnidirectional image.
  • the low resolution omnidirectional image 161 is encoded as it is, and one low resolution encoded stream is generated.
  • the omnidirectional image is divided into three parts in the vertical direction, and the central area is divided into three parts in the horizontal direction so that the center O does not become a boundary.
  • the omnidirectional image 170 includes an upper image 171 that is an upper 3840 pixel ⁇ 540 pixel region, a lower image 172 that is a lower 3840 pixel ⁇ 540 pixel region, and a central 3840 pixel ⁇ 1080 pixel region. Divided into regions.
  • the center area of 3840 pixels ⁇ 1080 pixels is a left end image 173-1 that is an area of 960 pixels ⁇ 1080 pixels on the left side, a right end image 173-2 that is an area of 960 pixels ⁇ 1080 pixels on the right side, and The image is divided into a central image 174 that is an area of 1920 pixels ⁇ 1080 pixels in the center.
  • the upper image 171 and the lower image 172 have half the horizontal resolution, and a lower resolution upper image and a lower resolution lower image are generated. Since the omnidirectional image is an image that extends 360 degrees in the horizontal direction and the vertical direction, the left end image 173-1 and the right end image 173-2 facing each other are actually continuous images. Therefore, the left end of the left end image 173-1 is combined with the right end of the right end image 173-2 to generate an end image. Then, the lower resolution upper image, the lower resolution lower image, the edge image, and the center image 174 are encoded independently, and four high resolution encoded streams are generated.
  • the front of the omnidirectional image 170 which is the position on the omnidirectional image 170 located at the center of the visual field in the standard line-of-sight direction, is the center O of the omnidirectional image 170, so that A celestial sphere image 170 is generated.
  • the omnidirectional image 170 is divided so that the center O of the omnidirectional image 170 that is likely to be viewed by the user is not a boundary. As a result, image quality degradation does not occur at the center O, which is highly likely to be viewed by the user, and image quality degradation of the omnidirectional image 170 after decoding is not noticeable.
  • the left end image 173-1 and the right end image 173-2 are synthesized and encoded. Therefore, when the area of the end image and the central image 174 is the same, the high-resolution encoded stream of the omnidirectional image that is maximally necessary when displaying the omnidirectional image of the predetermined viewpoint, regardless of the viewpoint, Two high-resolution encoded streams, one of the low-resolution upper image and the low-resolution lower image, and one of the end image and the central image 174 are obtained. Therefore, the number of high-resolution streams decoded by the video playback terminal 14 can be made the same regardless of the viewpoint.
  • FIG. 4 is a diagram for explaining the definition of the SRD in the first embodiment.
  • SRD is information that can be described in an MPD file, and is information that indicates the position of each area on the screen when an image of a moving image content is divided into one or more areas and independently encoded.
  • “Source_id” is the ID of the video content corresponding to this SRD.
  • “Object_x” and “object_y” are horizontal coordinates and vertical coordinates on the upper left screen of the area corresponding to the SRD, respectively.
  • “Object_width” and “object_height” are the size in the horizontal direction and the size in the vertical direction of the area corresponding to this SRD, respectively.
  • total_width” and “total_height” are respectively the horizontal size and vertical size of the screen on which the area corresponding to this SRD is arranged.
  • “Spatial_set_id” is an ID of a screen on which an area corresponding to this SRD is arranged.
  • the image of the moving image content is a panorama image (panorama image) or a omnidirectional image (celestial sphere dynamic)
  • object_x and “object_width”
  • the sum may exceed “total_width”.
  • the sum of “object_y” and “object_height” may exceed “total_height”.
  • the definition of the SRD in the present embodiment is as shown in FIG.
  • FIG. 6 is a diagram for explaining the SRD of the edge image described in the MPD file.
  • the sum of “object_x” and “object_width” may exceed “total_width”.
  • the file generation device 11 sets the position of the left end image 173-1 on the screen 180 to the right side of the right end image 173-2. Accordingly, as shown in FIG. 6, the position of the left end image 173-1 on the screen 180 protrudes outside the screen 180, but the right end image 173-2 and the left end image 173 constituting the end image 173. ⁇ 1 positions on the screen 180 are continuous. Therefore, the file generation device 11 can describe the position of the end image 173 on the screen 180 in SRD.
  • the file generation device 11 sets the horizontal coordinate of the position on the upper left screen 180 of the right end image 173-2 as the SRD “object_x” and “object_y” of the end image 173, and the vertical direction, respectively. Describes the direction coordinates. Further, the file generation device 11 describes the horizontal size and the vertical size of the end image 173 as “object_width” and “object_height” of the SRD of the end image 173, respectively.
  • the file generation device 11 describes the horizontal size and the vertical size of the screen 180 as the “total_width” and “total_height” of the SRD of the end image 173, respectively. As described above, the file generation apparatus 11 sets a position that protrudes outside the screen 180 as the position of the end image 173 on the screen 180.
  • the sum of “object_x” and “object_width” is less than or equal to “total_width”, and the sum of “object_y” and “object_height” is less than or equal to “total_height”. If the position on the screen of the area corresponding to the SRD is prohibited from protruding from the screen, the position of the left end image 173-1 on the screen 180 is set to the right end image. It cannot be set to the right side of 173-2.
  • the positions of the right end image 173-2 and the left end image 173-1 constituting the end image 173 on the screen 180 are not continuous, and the position of the end image 173 on the screen 180 is determined as the right end image 173-3. 2 and the position on the screen 180 of both the left end image 173-1 need to be described. As a result, the position of the end image 173 on the screen 180 cannot be described in SRD.
  • FIG. 8 is a diagram illustrating an example of an MPD file generated by the file generation device 11 of FIG.
  • “Period” corresponding to the moving image content is described in the MPD file.
  • information indicating the mapping method of the omnidirectional image is described as continuous information indicating the continuity between the ends of the omnidirectional image as the image of the moving image content.
  • Mapping methods include equirectangular projection and cube mapping.
  • the equirectangular projection method is a method in which an omnidirectional image is mapped onto the surface of a sphere, and an image obtained by equirectangular projection of the sphere after mapping is an omnidirectional image.
  • the cube mapping method is a method in which an omnidirectional image is mapped onto a cube (cube) surface, and a developed view of the cube after mapping is an omnidirectional image.
  • AdaptationSet is described for each encoded stream.
  • SRD Session Resolution Protocol
  • Reppresentation information such as the URL (Uniform Resource Locator) of the image file of the corresponding encoded stream is described.
  • “Representation” of the first “AdaptationSet” describes the URL “stream1.mp4” of the image file of the low resolution encoded stream.
  • the URL “stream2.mp4” of the image file of the high-resolution encoded stream of the low-resolution upper image is described.
  • the third “AdaptationSet” in FIG. 8 is an “AdaptationSet” of the high-resolution encoded stream of the central image 174 of the omnidirectional image 170.
  • the URL “stream3.mp4” of the image file of the high-resolution encoded stream of the central image 174 is described.
  • “Representation” of the fourth “AdaptationSet” describes the URL “stream4.mp4” of the image file of the high-resolution encoded stream of the low-resolution lower image.
  • “Representation” of the fifth “AdaptationSet” describes the URL “stream5.mp4” of the image file of the high-resolution encoded stream of the end image 173.
  • continuous information is described in “Period”, but it may be described in “AdaptationSet” or the like.
  • continuous information is described in “AdaptationSet”, it may be described in all “AdaptationSet” described in “Period” or may be described on behalf of any one “AdaptationSet”. Good.
  • FIG. 9 is a diagram illustrating another example of continuous information described in an MPD file.
  • the continuous information can be information indicating the presence or absence of continuity in the horizontal and vertical ends of the omnidirectional image, for example.
  • v is 1 when there is continuity at the horizontal edge, that is, when the left and right edges of the omnidirectional image are continuous, and when there is no continuity at the horizontal edge, It is 0 when the left and right end portions of the omnidirectional image are not continuous. Since the omnidirectional image 170 is an image having continuous horizontal ends, v is set to 1 in the first embodiment.
  • h is 1 when there is continuity at the vertical end, that is, when the top and bottom ends of the omnidirectional image are continuous, and when there is no continuity at the vertical end. That is, it is 0 when the upper and lower ends of the omnidirectional image are not continuous. Since the omnidirectional image 170 is an image in which the end portions in the vertical direction are not continuous, h is set to 0 in the first embodiment.
  • the continuous information can be information representing a side as an end of a continuous omnidirectional image.
  • X1, y1, x2, and y2 are the x-coordinate, y-coordinate, and the x-coordinate and y-coordinate of the end point, respectively, of one of two consecutive sides of the omnidirectional image.
  • x3, y3, x4, and y4 are the x coordinate, the y coordinate, the x coordinate, and the y coordinate of the end point of the other side of the two continuous sides of the omnidirectional image, respectively.
  • x1, y1, x2, y2, x3, y3, x4, and y4 are 0, 0, 2160, 3840, 0, 3840, and 2160, respectively.
  • FIG. 10 is a flowchart illustrating the encoding process of the image file generation unit 150 in FIG.
  • step S11 of FIG. 10 the stitching processing unit 151 makes the colors and brightness of the omnidirectional images supplied from the multi-camera (not shown) the same, removes the overlap, and connects.
  • the stitching processing unit 151 supplies the omnidirectional image obtained as a result to the mapping processing unit 152.
  • step S12 the mapping processing unit 152 generates an omnidirectional image 170 from the omnidirectional image supplied from the stitching processing unit 151, and supplies the omnidirectional image 170 to the resolution reduction unit 153 and the dividing unit 155.
  • step S13 the resolution reduction unit 153 reduces the resolution of the omnidirectional image 170 supplied from the mapping processing unit 152, and generates a low-resolution omnidirectional image 161.
  • the resolution reducing unit 153 supplies the low resolution omnidirectional image 161 to the encoder 154.
  • step S14 the encoder 154 encodes the low resolution omnidirectional image 161 supplied from the resolution reduction unit 153, and generates a low resolution encoded stream.
  • the encoder 154 supplies the low resolution encoded stream to the storage 157.
  • step S15 the dividing unit 155 converts the omnidirectional image 170 supplied from the mapping processing unit 152 into the upper image 171, the lower image 172, the left end image 173-1, the right end image 173-2, and the center image 174. Divide into The dividing unit 155 supplies the center image 174 to the encoder 156-4.
  • step S16 the dividing unit 155 reduces the resolution of the upper image 171 and the lower image 172 so that the resolution in the horizontal direction is halved.
  • the dividing unit 155 supplies the resulting low-resolution upper image to the encoder 156-1 and supplies the lower-resolution lower image, which is the lower resolution-reduced region, to the encoder 156-2.
  • step S17 the dividing unit 155 combines the left end of the left end image 173-1 with the right end of the right end image 173-2 to generate an end image 173.
  • the dividing unit 155 supplies the end image 173 to the encoder 156-3.
  • step S18 the encoders 156-1 to 156-4 encode the low resolution upper image, the low resolution lower image, the end image 173, and the central image 174 supplied from the dividing unit 155, respectively.
  • the encoders 156-1 to 156-4 supply the encoded stream generated as a result to the storage 157 as a high resolution stream.
  • step S19 the storage 157 records one low-resolution encoded stream supplied from the encoder 154 and four high-resolution encoded streams supplied from the encoders 156-1 to 156-4.
  • step S20 the generation unit 158 reads one low-resolution encoded stream and four high-resolution encoded streams recorded in the storage 157, and creates a file by segmenting each encoded stream. Generate a file.
  • the generation unit 158 transmits the image file to the Web server 12 in FIG. 1 and ends the process.
  • FIG. 11 is a block diagram illustrating a configuration example of a streaming playback unit that is realized by the video playback terminal 14 of FIG. 8 executing the control software 21, the video playback software 22, and the access software 23. .
  • the 11 includes an MPD acquisition unit 191, an MPD processing unit 192, an image file acquisition unit 193, decoders 194-1 to 194-3, an arrangement unit 195, a drawing unit 196, and a line-of-sight detection unit 197.
  • the MPD acquisition unit 191 an MPD processing unit 192, an image file acquisition unit 193, decoders 194-1 to 194-3, an arrangement unit 195, a drawing unit 196, and a line-of-sight detection unit 197.
  • the MPD acquisition unit 191 of the streaming playback unit 190 acquires the MPD file from the Web server 12 and supplies it to the MPD processing unit 192.
  • the MPD processing unit 192 can be included in the visual field range of the user from the upper image 171, the lower image 172, the end image 173, and the central image 174 based on the user's gaze direction supplied from the gaze detection unit 197. Two of them are selected as selected images. Specifically, when the omnidirectional image 170 is mapped to the surface of the sphere, the MPD processing unit 192 may be included in the visual field range when the user existing inside the sphere looks at the line of sight. One of the upper image 171 and the lower image 172, and one of the end image 173 and the center image 174 are selected as selection images.
  • the MPD processing unit 192 reads from the MPD file supplied from the MPD acquisition unit 191 information such as the low resolution omnidirectional image 161 of the segment to be reproduced and the URL of the image file of the selected image. Is extracted and supplied to the image file acquisition unit 193. Also, the MPD processing unit 192 extracts the low-resolution omnidirectional image 161 of the segment to be reproduced and the SRD of the selected image from the MPD file, and supplies them to the arrangement unit 195.
  • the MPD processing unit 192 extracts the upper image 171, the lower image, and the lower image having end portions that are continuous with the end portions of the selected image based on the continuous information of the MPD file after extracting the information such as the URL of the image file of the selected image. 172, the edge image 173, or the center image 174 is selected as the selection-scheduled image.
  • the MPD processing unit 192 extracts information such as the URL of the image file of the selection-scheduled image of the segment to be reproduced from the MPD file, and supplies the extracted information to the image file acquisition unit 193.
  • the MPD processing unit 192 extracts the SRD of the selection-scheduled image of the segment to be played back from the MPD file and supplies it to the arrangement unit 195.
  • the image file acquisition unit 193 requests the Web server 12 to acquire a low-resolution encoded stream of the low-resolution omnidirectional image 161 specified by the URL supplied from the MPD processing unit 192 and acquires it. Then, the image file acquisition unit 193 supplies the acquired low resolution encoded stream to the decoder 194-1.
  • the image file acquisition unit 193 requests the Web server 12 for an encoded stream of the image file of the selected image specified by the URL supplied from the MPD processing unit 192. ,get. Then, the image file acquisition unit 193 supplies one high-resolution encoded stream of the selected images to the decoder 194-2, and supplies the other high-resolution encoded stream to the decoder 194-3.
  • the image file acquisition unit 193 obtains the high-resolution encoded stream of the image file of the scheduled image specified by the URL supplied from the MPD processing unit 192 after the selection image is acquired. Request and get to. Then, the image file acquisition unit 193 supplies one high-resolution encoded stream of the images to be selected to the decoder 194-2, and supplies the other high-resolution encoded stream to the decoder 194-3.
  • the decoder 194-1 decodes the low-resolution encoded stream supplied from the image file acquisition unit 193 by a method corresponding to the encoding method such as AVC or HEVC, and obtains a low-resolution spherical image obtained as a result of the decoding. 161 is supplied to the placement unit 195.
  • Each of the decoder 194-2 and the decoder 194-3 (decoding unit) is a high-resolution encoded stream of the selected image supplied from the image file acquisition unit 193 in a method corresponding to an encoding method such as AVC or HEVC. Is decrypted. Then, the decoder 194-2 and the decoder 194-3 supply the selection image obtained as a result of the decoding to the arrangement unit 195.
  • the arrangement unit 195 arranges the low-resolution omnidirectional image 161 supplied from the decoder 194-1 on the screen based on the SRD supplied from the MPD processing unit 192. Thereafter, the arrangement unit 195 superimposes the selection image supplied from the decoders 194-2 and 194-3 on the screen on which the low-resolution omnidirectional image 161 is arranged based on the SRD.
  • the horizontal and vertical sizes of the screen on which the low-resolution spherical image 161 indicated by the SRD is arranged are 1/2 of the horizontal and vertical sizes of the screen on which the selected image is arranged. It is. Therefore, the arrangement unit 195 doubles the horizontal and vertical sizes of the screen on which the low-resolution omnidirectional image 161 is arranged, and superimposes the selected image.
  • the placement unit 195 maps the screen on which the selected image is superimposed on a sphere, and supplies the resulting sphere image to the drawing unit 196.
  • the drawing unit 196 generates an image of the user's visual field range by projecting and projecting the spherical image supplied from the placement unit 195 onto the user's visual field range supplied from the visual line detection unit 197.
  • the drawing unit 196 displays the generated image as a display image on a display device (not shown).
  • the line-of-sight detection unit 197 detects the user's line-of-sight direction.
  • a method for detecting the user's line-of-sight direction for example, there is a method of detecting based on the inclination of the device worn by the user.
  • the line-of-sight detection unit 197 supplies the user's line-of-sight direction to the MPD processing unit 192.
  • the line-of-sight detection unit 197 detects the position of the user.
  • a method for detecting the position of the user for example, there is a method of detecting based on a photographed image such as a marker added to a device worn by the user.
  • the line-of-sight detection unit 197 determines the user's visual field range based on the detected user position and line-of-sight vector, and supplies the determined range to the drawing unit 196.
  • FIG. 12 is a flowchart illustrating the playback process of the streaming playback unit 190 of FIG.
  • the MPD acquisition unit 191 of the streaming playback unit 190 acquires the MPD file from the Web server 12 and supplies the MPD file to the MPD processing unit 192.
  • step S41 the MPD processing unit 192 extracts information such as the URL of the image file of the low resolution omnidirectional image 161 of the segment to be reproduced from the MPD file supplied from the MPD acquisition unit 191, and acquires the image file. To the unit 193.
  • step S ⁇ b> 42 the MPD processing unit 192 determines from the upper image 171, the lower image 172, the end image 173, and the central image 174 based on the user's line-of-sight direction supplied from the line-of-sight detection unit 197. Are selected as selected images.
  • step S43 the MPD processing unit 192 extracts information such as the URL of the image file of the selected image of the segment to be reproduced from the MPD file supplied from the MPD acquisition unit 191, and supplies the extracted information to the image file acquisition unit 193.
  • step S44 the MPD processing unit 192 extracts the SRD of the selected image of the segment to be reproduced from the MPD file, and supplies it to the arrangement unit 195.
  • step S45 the image file acquisition unit 193, based on the URL supplied from the MPD processing unit 192, the low resolution omnidirectional image 161 specified by the URL and the encoded stream of the image file of the selected image, Requests and acquires the Web server 12.
  • the image file acquisition unit 193 supplies the acquired low-resolution encoded stream to the decoder 194-1.
  • the image file acquisition unit 193 supplies one high-resolution encoded stream of the selected images to the decoder 194-2, and supplies the other high-resolution encoded stream to the decoder 194-3.
  • step S46 the decoder 194-1 decodes the low resolution encoded stream supplied from the image file acquisition unit 193, and supplies the low resolution omnidirectional image 161 obtained as a result of the decoding to the arrangement unit 195.
  • step S47 the decoder 194-2 and the decoder 194-3 each decode the high-resolution encoded stream of the selected image supplied from the image file acquisition unit 193. Then, the decoder 194-2 and the decoder 194-3 supply the selection image obtained as a result of the decoding to the arrangement unit 195.
  • step S48 the arrangement unit 195 arranges the low-resolution spherical image 161 supplied from the decoder 194-1 on the screen based on the SRD supplied from the MPD processing unit 192, and then the decoder 194- The selected images supplied from 2 and 194-3 are superimposed.
  • the placement unit 195 maps the screen on which the selected image is superimposed on a sphere, and supplies the resulting sphere image to the drawing unit 196.
  • step S49 the drawing unit 196 generates a display image by projecting and projecting the spherical image supplied from the placement unit 195 onto the visual field range of the user supplied from the line-of-sight detection unit 197.
  • the drawing unit 196 displays the generated image as a display image on a display device (not shown).
  • step S50 the streaming playback unit 190 determines whether to end the playback process. If it is determined in step S50 that the reproduction process is not terminated, the process proceeds to step S51.
  • step S51 the MPD processing unit 192 selects the upper image 171, the lower image 172, the end image 173, or the center image 174 that are continuous with the end of the selected image based on the continuous information of the MPD file. Choose as.
  • step S52 the MPD processing unit 192 extracts information such as the URL of the image file of the image to be selected for the segment to be reproduced from the MPD file and supplies the extracted information to the image file acquisition unit 193.
  • step S53 the image file acquisition unit 193 requests the Web server 12 for a high-resolution encoded stream of the image file of the scheduled image specified by the URL supplied from the MPD processing unit 192, and acquires it.
  • step S54 the MPD processing unit 192 extracts the SRD of the selection-scheduled image of the segment to be played back from the MPD file and supplies it to the placement unit 195.
  • step S55 the MPD processing unit 192 selects a selection image based on the user's line-of-sight direction supplied from the line-of-sight detection unit 197, and determines whether a new selection image is selected. That is, the MPD processing unit 192 determines whether a selected image different from the previously selected image is selected.
  • step S55 If it is determined in step S55 that a new selected image is not selected, the process waits until a new selected image is selected. On the other hand, when a new selected image is selected in step S55, the process proceeds to step S56.
  • step S56 the image file acquisition unit 193 determines whether or not the newly selected selected image is a scheduled image. If it is determined in step S56 that the newly selected selected image is a selection-scheduled image, the process returns to step S46, and the subsequent processes are repeated.
  • step S56 if it is determined in step S56 that the newly selected selected image is not the scheduled image, the process returns to step S43, and the subsequent processes are repeated.
  • the streaming playback unit 190 pre-reads a selection-scheduled image having an edge continuous with the edge of the selected image, which is highly likely to be decoded next to the selected image based on the continuous information, when the selected image is selected. can do.
  • the selection-scheduled image is selected as the selected image, it is not necessary to read the selected image when decoding the selected image, and the decoding processing time can be shortened.
  • the second embodiment of the information processing system to which the present disclosure is applied is the first embodiment except for the segment structure of the image file of the edge image 173 generated by the file generation device 11 and the MPD file. It is the same as the form. Accordingly, only the segment structure of the image file of the end image 173 and the MPD file will be described below.
  • FIG. 13 is a diagram illustrating an example of the segment structure of the image file of the end image 173 in the second embodiment of the information processing system to which the present disclosure is applied.
  • the Initial segment is composed of an ftyp box and a moov box.
  • a stbl box and an mvex box are arranged in the moov box.
  • the stbl box indicates the position of the left edge image 173-1 constituting the edge image 173 on the edge image 173 indicating the position on the edge image 173, and the position of the right edge image 173-2 on the edge image 173.
  • An sgpd box in which Tile, Region, Group, and Entry are sequentially described is arranged. Tile, Region, Group, and Entry are standardized by HEVC, File, Format, HEVC, Tile, and Track.
  • 1 is set as the level for the left edge image 173-1 corresponding to the first Tile Region Group Entry, and 2 is set as the level for the right edge image 173-2 corresponding to the second Tile Region Group Entry.
  • the leva box sets 1 as the level for the leftmost image 173-1 by sequentially describing the level information corresponding to the first Tile Region Group Entry and the level information corresponding to the second Tile Region Region Entry. Then, 2 is set as the level for the right end image 173-2.
  • the level functions as an index when a part of the encoded stream is specified from the MPD file.
  • assignment_type indicating whether the level setting target is an encoded stream arranged in a plurality of tracks is described as information of each level.
  • the encoded stream of the end image 173 is arranged in one track. Therefore, assignment_type is 0 indicating that the level setting target is not an encoded stream arranged in a plurality of tracks.
  • the type of Tile Region Group Entry corresponding to the level is described as information of each level.
  • “trif” that is a type of Tile Region Group Entry described in the sgpd box is described as information of each level. Details of the leva box are described in, for example, ISO / IEC 14496-12 ISO base file media format format 4th edition, July 2012.
  • media segment consists of sidx box, ssix box, and one or more subsegments consisting of a pair of moof and mdat.
  • sidx box position information indicating the position of each subsegment in the image file is arranged.
  • the ssix box includes position information of each level of the encoded stream arranged in the mdat box.
  • Subsegment is provided for each arbitrary length of time.
  • encoded streams are arranged together for an arbitrary time length, and management information of the encoded stream is arranged in the moof box.
  • FIG. 14 is a diagram illustrating an example of the Tile Region Group Entry in FIG.
  • Tile Region Group Entry is the ID of this Tile Region Group Entry, the horizontal and vertical coordinates on the image corresponding to the upper left encoded stream of the corresponding region, and the horizontal and vertical directions of the image corresponding to the encoded stream. The size of the direction is described in order.
  • the end image 173 is obtained by combining the right end of the right end image 173-2 of 960 pixels ⁇ 1080 pixels and the left end of the left end image 173-1 of 960 pixels ⁇ 1080 pixels.
  • Tile Region Group Entry of the left end image 173-1 is (1,960,0,960,1080)
  • Tile Region Group Entry of the right end image 173-2 is (2,0,0,960,1080).
  • FIG. 15 is a diagram illustrating an example of an MPD file.
  • the streaming playback unit 190 based on the SRD of level “1” set in the MPD file, in the decoded end image 173, the left end of the position indicated by the Tile Region Group Entry corresponding to level “1”
  • the image 173-1 is arranged on the screen 180.
  • the streaming playback unit 190 based on the SRD of level “2” set in the MPD file, in the position indicated by the Tile Region Group Entry corresponding to level “2” in the decoded end image 173.
  • the right end image 173-2 is arranged on the screen 180.
  • the encoded stream of the end image 173 is arranged in one track, but the left end image 173-1 and the right end image 173-2 are encoded as different tiles in the HEVC method.
  • the slice data may be arranged on different tracks.
  • FIG. 16 is a diagram illustrating an example of a track structure when slice data of the left end image 173-1 and the right end image 173-2 are arranged on different tracks.
  • Track Reference is placed in the track box of each track.
  • Track Reference represents a reference relationship with another track of the corresponding track.
  • Track Reference represents an ID (hereinafter referred to as a track ID) unique to a track of another track having a reference relationship.
  • the sample of each track is managed by a sample entry (Sample (Entry).
  • the track whose track ID is 1 is a base track that does not include slice data in the encoded stream of the end image 173.
  • the base track samples include VPS (Video Parameter Set), SPS (Sequence Parameter Set), SEI (Supplemental Enhancement Information), and PPS (Picture Parameter Set) in the encoded stream of the end image 173.
  • a parameter set such as is arranged.
  • an extractor in units of samples of tracks other than the base track is arranged as a subsample.
  • the extractor is composed of information indicating the type of extractor and the position and size of the corresponding track sample in the file.
  • the track whose track ID is 2 is a track including the slice data of the left end image 173-1 in the encoded stream of the end image 173 as a sample.
  • the track whose track ID is 3 is a track including the slice data of the right end image 173-2 in the encoded stream of the end image 173 as a sample.
  • Example of leva box The segment structure of the image file of the end image 173 when the slice data of the left end image 173-1 and the right end image 173-2 are arranged in different tracks is the same as the segment structure of FIG. 13 except for the leva box. It is. Therefore, only the leva box will be described below.
  • FIG. 17 is a diagram showing an example of the leva box of the image file of the end image 173 when the slice data of the left end image 173-1 and the right end image 173-2 are arranged in different tracks.
  • the leva box of the image file of the end image 173 when the slice data of the left end image 173-1 and the right end image 173-2 are arranged in different tracks has a track ID “1” to Levels “1” to “3” are set in order for each track “3”.
  • the leva box in FIG. 17 describes the track ID of a track including slice data of an area in the end image 173 in which the level is set as information on each level.
  • track IDs “1”, “2”, and “3” are described as information of levels “1”, “2”, and “3”, respectively.
  • the slice data of the encoded stream of the end image 173, which is the level setting target, is arranged in a plurality of tracks. Therefore, assignment_type included in the level information of each level is 2 or 3 indicating that the level setting target is an encoded stream arranged in a plurality of tracks.
  • Tile Region Group Entry corresponding to level “1” is grouping_type “0” indicating that there is no Tile Region Group Entry.
  • Tile Region Group Entry corresponding to levels “2” and “3” is Tile Region Group Entry included in the sgpd box. Accordingly, the type of Tile Region Group Entry included in the information of level “2” and “3” is “trif” which is the type of Tile Region Group Entry included in the sgpd box.
  • FIG. 18 is a diagram illustrating an example of an MPD file when slice data of the left end image 173-1 and the right end image 173-2 are arranged on different tracks.
  • the MPD file in FIG. 18 is the same as the MPD file in FIG. 15 except for each “SubRepresentation” element of the fifth “AdaptationSet”.
  • the first “SubRepresentation” of the fifth “AdaptationSet” is “SubRepresentation” of level “2”. Therefore, level “2” is described as an element of “SubRepresentation”.
  • the track with track ID “2” corresponding to level “2” has a dependency relationship with the base track with track ID “1”. Therefore, dependencyLevel described as an element of “SubRepresentation” and indicating a level corresponding to a track having a dependency relationship is set to “1”.
  • the track with track ID “2” corresponding to level “2” is HEVCHETile Track. Therefore, the codecs representing the type of encoding described as the “SubRepresentation” element is set to “hvt1.1.2.H93.B0” representing HEVC Tile Track.
  • the second “SubRepresentation” of the fifth “AdaptationSet” is “SubRepresentation” of level “3”. Therefore, level “3” is described as an element of “SubRepresentation”.
  • the track with track ID “3” corresponding to level “3” is HEVCHETile Track. Accordingly, codecs described as an element of “SubRepresentation” is set to “hvt1.1.2.H93.B0”.
  • the partial image 173-2 can be decoded independently. Further, when the slice data of the left end image 173-1 and the right end image 173-2 are arranged on different tracks, only one of the slice data of the left end image 173-1 and the right end image 173-2 is acquired. can do. Therefore, the MPD processing unit 192 can select only one of the left end image 173-1 and the right end image 173-2 as a selection image.
  • the slice data of the left end image 173-1 and the right end image 173-2 encoded as different tiles are arranged in different tracks, but are arranged in one track. It may be.
  • the moving image content image is an omnidirectional image, but may be a panoramic image.
  • ⁇ Third Embodiment> (Example of omnidirectional image in the third embodiment of the information processing system)
  • the configuration of the third embodiment of the information processing system to which the present disclosure is applied is that the omnidirectional image mapping method is a cube mapping method, the omnidirectional image division number is 6, and the filler image
  • the configuration is the same as that of the information processing system 10 in FIG. 1 except that area information representing an area is set in the MPD file. Accordingly, overlapping description will be omitted as appropriate.
  • FIG. 19 is a diagram illustrating an example of an encoding target image in the third embodiment of the information processing system to which the present disclosure is applied.
  • the image 210 to be encoded is a filler in the omnidirectional image 211 of the cube after mapping the omnidirectional image onto the surface of the cube.
  • This is a rectangular image to which images 212-1 to 212-4 are added. That is, in the third embodiment, the mapping processing unit generates the omnidirectional image 211, adds the filler images 212-1 to 212-4 to the omnidirectional image 211, and generates the rectangular image 210. Generated and supplied to the resolution reduction unit and the division unit. As a result, an encoded stream of the image 210 is generated as an encoded stream of the omnidirectional image 211.
  • the image 210 is composed of 2880 pixels ⁇ 2160 pixels.
  • the filler image is an image for filling a hole without actual data.
  • the images of the six faces of the cube are images 221 to 226. Therefore, the image 210 includes, for example, an upper image 231, an image 222, an image 225, an image 221, an image 226, a filler image 212-2 and 212-4, and an image 224 composed of filler images 212-1 and 212-3 and an image 223.
  • the divided upper image 231, image 222, image 225, image 221, image 226, and lower image 232 are encoded independently, and six high-resolution encoded streams are generated.
  • the image 210 is generally generated so that the front of the image 210, which is the position on the image 210 located at the center of the visual field in the standard line-of-sight direction, is the center O of the image 225.
  • FIG. 20 is a diagram illustrating an example of continuous information described in an MPD file.
  • the continuous information is information representing a side as an end of a continuous omnidirectional image
  • seven pieces of continuous information are described as shown in FIG.
  • the continuous information can be information representing the mapping method of the omnidirectional image.
  • FIG. 21 is a diagram illustrating an example of region information of the filler images 212-1 to 212-4 in FIG.
  • the area information is described in the MPD file. Therefore, when there is no actual data in the decoding result, the streaming playback unit can recognize whether the decoding result is due to the filler image or a decoding error.
  • ⁇ Fourth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 905 is further connected to the bus 904.
  • An input unit 906, an output unit 907, a storage unit 908, a communication unit 909, and a drive 910 are connected to the input / output interface 905.
  • the input unit 906 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 909 includes a network interface or the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 908 to the RAM 903 via the input / output interface 905 and the bus 904 and executes the program. A series of processing is performed.
  • the program executed by the computer 900 can be provided by being recorded on a removable medium 911 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 908 via the input / output interface 905 by attaching the removable medium 911 to the drive 910.
  • the program can be received by the communication unit 909 via a wired or wireless transmission medium and installed in the storage unit 908.
  • the program can be installed in the ROM 902 or the storage unit 908 in advance.
  • the program executed by the computer 900 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • this indication can also take the following structures.
  • An information processing apparatus comprising: a setting unit configured to set continuous information representing continuity between end portions of an image corresponding to an encoded stream.
  • the continuous information is information representing a mapping method of the image.
  • the continuous information is information indicating presence / absence of continuity of the end portions in a horizontal direction and a vertical direction of the image.
  • the continuous information is information representing the continuous end portion.
  • a generating unit that adds a filler image to the image whose mapping method is cube mapping, and generates a rectangular image;
  • An encoding unit that encodes the image generated by the generation unit to generate the encoded stream;
  • the information processing apparatus according to any one of (1), (2), and (4), wherein the setting unit is configured to set region information representing a region of the filler image in the image.
  • the information processing apparatus according to any one of (1) to (5), wherein the setting unit is configured to set the continuous information in a management file that manages a file of the encoded stream.
  • Information processing device An information processing method including a setting step of setting continuous information representing continuity between end portions of an image corresponding to an encoded stream.
  • An acquisition unit that acquires the encoded stream based on continuous information representing continuity between end portions of images corresponding to the encoded stream;
  • An information processing apparatus comprising: a decoding unit that decodes the encoded stream acquired by the acquisition unit.
  • the continuous information is information representing a mapping method of the image.
  • the continuous information is information indicating presence / absence of continuity of the end portions in a horizontal direction and a vertical direction of the image.
  • the continuous information is information representing the continuous end portion.
  • the encoded stream is an encoded stream of a rectangular image generated by adding a filler image to the image whose mapping method is cube mapping.
  • the decoding unit is configured to decode the encoded stream based on region information representing a region of the filler image in the image.
  • the decoding unit according to (8), (9), or (11), Information processing device.
  • the information processing apparatus according to any one of (8) to (12), wherein the continuous information is set in a management file that manages a file of the encoded stream.
  • Information processing device An acquisition step of acquiring the encoded stream based on continuous information representing continuity between edges of images corresponding to the encoded stream; A decoding step of decoding the encoded stream acquired by the processing of the acquiring step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、画像の端部の連続性を認識することができるようにする情報処理装置および情報処理方法に関する。 ファイル生成装置は、符号化ストリームに対応する全天球画像の端部どうしの連続性を表す連続情報を設定する。本開示は、例えば、MPEG－DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）に準ずる方式で動画コンテンツの画像としての全天球画像の符号化ストリームを動画再生端末に配信する情報処理システムのファイル生成装置等に適用することができる。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関し、特に、画像の端部の連続性を認識することができるようにした情報処理装置および情報処理方法に関する。
  近年、インターネット上のストリーミングサービスの主流がOTT－V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG－DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。
　MPEG－DASHでは、配信サーバが１本の動画コンテンツ用にビットレートが異なる符号化ストリームを用意し、再生端末が最適なビットレートの符号化ストリームを要求することにより、適応型のストリーミング配信が実現される。
　また、MPEG-DASH SRD（Spatial Relationship Description） extensionでは、動画コンテンツの画像を１以上の領域に分割して独立して符号化したときの各領域の画面上の位置を示すSRDが定義されている（例えば、非特許文献２および３参照）。このSRDにより、所望のビットレートの符号化ストリームを選択的に取得するbitrate adaptationの仕組みを用いて、所望の領域の画像の符号化ストリームを選択的に取得するSpatial adaptationであるROI(Region of Interest)機能を実現することができる。
　一方、動画コンテンツの画像としては、１つのカメラの画角の画像だけでなく、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像や、水平方向の周囲360度のパノラマ画像などがある。
　全天球画像やパノラマ画像は、端部どうしが連続する画像であるため、これらの画像のある端部の符号化ストリームが復号されている場合、次に復号される可能性が高い領域は、その端部と連続する他の端部である。
MPEG－DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg－dash/media－presentation－description－and－segment－formats/text－isoiec－23009－12012－dam－1） "Text of ISO/IEC 23009-1:2014 FDAM 2 Spatial Relationship Description, Generalized URL parameters and other extensions" , N15217, MPEG111, Geneva , February 2015 "WD of ISO/IEC 23009-3 2nd edition AMD 1 DASH Implementation Guidelines", N14629, MPEG109, Sapporo , July 2014
　しかしながら、復号装置は、符号化ストリームに対応する全天球画像やパノラマ画像の端部の連続性を認識することができなかった。従って、復号装置は、ある端部の符号化ストリームの復号中に、その端部と連続する他の端部の符号化ストリームを先読みすることにより、復号処理時間を短縮することができなかった。
　本開示は、このような状況に鑑みてなされたものであり、画像の端部の連続性を認識することができるようにするものである。
　本開示の第１の側面の情報処理装置は、符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報を設定する設定部を備える情報処理装置である。
　本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。
　本開示の第１の側面においては、符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報が設定される。
　本開示の第２の側面の情報処理装置は、符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームを取得する取得部と、前記取得部により取得された前記符号化ストリームを復号する復号部とを備える情報処理装置である。
　本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。
　本開示の第２の側面においては、符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームが取得され、取得された前記符号化ストリームが復号される。
　なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、情報を設定することができる。本開示の第１の側面によれば、画像の端部の連続性を認識することができるように情報を設定することができる。
　また、本開示の第２の側面によれば、情報を取得することができる。本開示の第２の側面によれば、画像の端部の連続性を認識することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。 図１のファイル生成装置のうちの画像ファイル生成部の構成例を示すブロック図である。 全天球画像の符号化ストリームを説明する図である。 第１実施の形態におけるSRDの定義の例を説明する図である。 第１実施の形態におけるSRDの定義の他の例を説明する図である。 MPDファイルに記述される端部画像のSRDを説明する図である。 SRDの定義の一例を説明する図である。 第１実施の形態におけるMPDファイルの例を示す図である。 MPDファイルに記述される連続情報の他の例を示す図である。 図２の画像ファイル生成部の符号化処理を説明するフローチャートである。 図１の動画再生端末が実現するストリーミング再生部の構成例を示すブロック図である。 図１１のストリーミング再生部の再生処理を説明するフローチャートである。 本開示を適用した情報処理システムの第２実施の形態における端部画像の画像ファイルのセグメント構造の例を示す図である。 図１３のTile Region Group Entryの例を示す図である。 第２実施の形態におけるMPDファイルの例を示す図である。 トラック構造の例を示す図である。 第２実施の形態におけるlevaボックスの他の例を示す図である。 第２実施の形態におけるMPDファイルの他の例を示す図である。 本開示を適用した情報処理システムの第３実施の形態における符号化対象の画像の例を示す図である。 MPDファイルに記述される連続情報の例を示す図である。 図１９のフィラー画像の領域情報の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：情報処理システム（図１乃至図１２）
　２．第２実施の形態：情報処理システム（図１３乃至図１８）
　３．第３実施の形態：情報処理システム（図１９乃至図２１）
　４．第４実施の形態：コンピュータ（図２２）
　＜第１実施の形態＞
　（情報処理システムの第１実施の形態の構成例）
　図１は、本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
　図１の情報処理システム１０は、ファイル生成装置１１と接続されるWebサーバ１２と動画再生端末１４が、インターネット１３を介して接続されることにより構成される。
　情報処理システム１０では、MPEG－DASHに準ずる方式で、Webサーバ１２が、動画コンテンツの画像としての全天球画像の符号化ストリームを、動画再生端末１４に配信する。
　本明細書では、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の画像（以下、全方向画像という）を球の面にマッピングしたときの球の正距円筒図法による画像であるものとするが、全方向画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像であるようにしてもよい。
　情報処理システム１０のファイル生成装置１１は、低解像度の全天球画像を符号化し、低解像度符号化ストリームを生成する。また、ファイル生成装置１１は、高解像度の全天球画像を分割した各分割画像を独立に符号化し、各分割画像の高解像度符号化ストリームを生成する。ファイル生成装置１１は、セグメントと呼ばれる数秒から10秒程度の時間単位ごとに、低解像度符号化ストリームと高解像度符号化ストリームをファイル化し、画像ファイルを生成する。ファイル生成装置１１は、生成された画像ファイルをWebサーバ１２にアップロードする。
　また、ファイル生成装置１１（設定部）は、画像ファイル等を管理するMPDファイル（管理ファイル）を生成する情報処理装置である。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
　Webサーバ１２は、ファイル生成装置１１からアップロードされた画像ファイルとMPDファイルを格納する。Webサーバ１２は、動画再生端末１４からの要求に応じて、格納している画像ファイル、MPDファイル等を動画再生端末１４に送信する。
　動画再生端末１４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
　制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
　また、制御用ソフトウエア２１は、MPDファイルに基づいて、動画再生ソフトウエア２２により指定される再生対象の符号化ストリームの送信要求を、アクセス用ソフトウエア２３に指令する。
　動画再生ソフトウエア２２は、Webサーバ１２から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、再生対象の符号化ストリームを制御用ソフトウエア２１に指定する。また、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３から受信開始の通知を受信したとき、動画再生端末１４により受信された符号化ストリームを復号する。動画再生ソフトウエア２２は、復号の結果得られる画像データを必要に応じて合成し、出力する。
　アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、画像ファイルに含まれる再生対象の符号化ストリームの送信要求を、動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる符号化ストリームの受信を動画再生端末１４に開始させ、受信開始の通知を動画再生ソフトウエア２２に供給する。
　（画像ファイル生成部の構成例）
　図２は、図１のファイル生成装置１１のうちの画像ファイルを生成する画像ファイル生成部の構成例を示すブロック図である。
　図２の画像ファイル生成部１５０は、スティッチング処理部１５１、マッピング処理部１５２、低解像度化部１５３、エンコーダ１５４、分割部１５５、エンコーダ１５６－１乃至１５６－４、ストレージ１５７、および生成部１５８により構成される。
　スティッチング処理部１５１は、図示せぬマルチカメラから供給される全方向画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる全方向画像をマッピング処理部１５２に供給する。
　マッピング処理部１５２（生成部）は、スティッチング処理部１５１から供給される全方向画像を球にマッピングすることにより、全天球画像を生成する。マッピング処理部１５２は、全天球画像を低解像度化部１５３と分割部１５５に供給する。なお、スティッチング処理部１５１とマッピング処理部１５２は、一体化されていてもよい。
　低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度の全天球画像を生成する。低解像度化部１５３は、低解像度の全天球画像をエンコーダ１５４に供給する。
　エンコーダ１５４は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などの符号化方式で、低解像度化部１５３から供給される低解像度の全天球画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給し、記録させる。
　分割部１５５は、マッピング処理部１５２から供給される全天球画像を高解像度の全天球画像として垂直方向に３分割し、中央の領域を中心が境界とならないように水平方向に３分割する。分割部１５５は、分割された５つの領域のうちの上側の領域と下側の領域を、例えば水平方向の解像度が半分になるように低解像度化する。
　分割部１５５は、低解像度化された上側の領域である低解像度上画像をエンコーダ１５６－１に供給し、低解像度化された下側の領域である低解像度下画像をエンコーダ１５６－２に供給する。
　また、分割部１５５は、中央の領域のうちの右端部の領域の右端に、左端部の領域の左端を合成し、端部画像を生成する。分割部１５５は、端部画像をエンコーダ１５６－３に供給する。さらに、分割部１５５は、中央の領域のうちの中央部を中央部画像としてエンコーダ１５６－４に供給する。
　エンコーダ１５６－１乃至１５６－４（符号化部）は、それぞれ、AVCやHEVCなどの符号化方式で、分割部１５５から供給される、低解像度上画像、低解像度下画像、端部画像、中央部画像を符号化する。エンコーダ１５６－１乃至１５６－４は、その結果生成される符号化ストリームを高解像度ストリームとしてストレージ１５７に供給し、記録させる。
　ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６－１乃至１５６－４から供給される４本の高解像度符号化ストリームとを記録する。
　生成部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと４本の高解像度符号化ストリームを読み出し、符号化ストリームごとにセグメント単位でファイル化する。生成部１５８は、その結果生成される画像ファイルを図１のWebサーバ１２に伝送する。
　（全天球画像の符号化ストリームの説明）
　図３は、全天球画像の符号化ストリームを説明する図である。
　図３に示すように、全天球画像１７０の解像度が４ｋ（3840画素×2160画素）である場合、図３のＡに示すように、低解像度の全天球画像１６１の水平方向の解像度は、全天球画像の水平方向の解像度の半分である1920画素になる。また、低解像度の全天球画像１６１の垂直方向の解像度は、全天球画像の垂直方向の解像度の半分である1080画素になる。低解像度の全天球画像１６１はそのまま符号化され、１本の低解像度符号化ストリームが生成される。
　また、図３のＢに示すように、全天球画像は、垂直方向に３分割され、中央の領域が、中心Ｏが境界とならないように水平方向に３分割される。その結果、全天球画像１７０は、上側の3840画素×540画素の領域である上画像１７１、下側の3840画素×540画素の領域である下画像１７２、および中央の3840画素×1080画素の領域に分割される。また、中央の3840画素×1080画素の領域は、左側の960画素×1080画素の領域である左端部画像１７３－１、右側の960画素×1080画素の領域である右端部画像１７３－２、および中央の1920画素×1080画素の領域である中央部画像１７４に分割される。
　上画像１７１と下画像１７２は、水平方向の解像度が半分にされ、低解像度上画像と低解像度下画像が生成される。また、全天球画像は水平方向および垂直方向に３６０度広がる画像であるので、対向する左端部画像１７３－１と右端部画像１７３－２は、実際には連続する画像である。従って、右端部画像１７３－２の右端に左端部画像１７３－１の左端が合成されて、端部画像が生成される。そして、低解像度上画像、低解像度下画像、端部画像、および中央部画像１７４は、それぞれ、独立して符号化され、４本の高解像度符号化ストリームが生成される。
　なお、一般的に、標準の視線方向で視野の中心に位置する全天球画像１７０上の位置である全天球画像１７０の正面が、全天球画像１７０の中心Ｏとなるように、全天球画像１７０が生成される。
　また、AVCやHEVC等の時間方向の動き補償により情報圧縮を行う符号化方式では、被写体が画面上を移動すると、圧縮歪みの出方が、ある程度の形状を保ったまま、フレーム間で伝搬される。しかしながら、画面が分割され、分割画像が独立して符号化される場合、動き補償が境界をまたいで行われないため、圧縮歪みは大きくなる傾向がある。その結果、復号された分割画像の動画像では、分割画像の境界において圧縮歪みの出方が変化する筋が発生する。この現象は、AVCのスライス間やHEVCのタイル間において発生することが知られている。従って、復号された低解像度上画像、低解像度下画像、端部画像、および中央部画像１７４の境界では画質の劣化が発生しやすい。
　従って、全天球画像１７０は、ユーザが見る可能性が高い全天球画像１７０の中心Ｏが境界とならないように分割される。その結果、ユーザが見る可能性が高い中心Ｏにおいて画質劣化が発生せず、復号後の全天球画像１７０の画質劣化が目立たない。
　また、左端部画像１７３－１と右端部画像１７３－２は合成されて、符号化される。従って、端部画像と中央部画像１７４の面積が同一である場合、所定の視点の全天球画像の表示時に最大限必要な全天球画像の高解像度符号化ストリームは、視点によらず、低解像度上画像と低解像度下画像のうちのいずれかと、端部画像と中央部画像１７４のうちのいずれかの２つの高解像度符号化ストリームになる。よって、動画再生端末１４で復号する高解像度ストリームの数を、視点によらず同一にすることができる。
　（第１実施の形態におけるSRDの定義の説明）
　図４は、第１実施の形態におけるSRDの定義を説明する図である。
　SRDは、MPDファイルに記述可能な情報であり、動画コンテンツの画像を１以上の領域に分割して独立して符号化したときの各領域の画面上の位置を示す情報である。
　具体的には、SRDは、<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2015" value=“source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id"/>である。
　「source_id」は、このSRDに対応する動画コンテンツのＩＤである。また、「object_x」、「object_y」は、それぞれ、このSRDに対応する領域の左上の画面上の水平方向の座標、垂直方向の座標である。「object_width」、「object_height」は、それぞれ、このSRDに対応する領域の水平方向のサイズ、垂直方向のサイズである。さらに、「total_width」、「total_height」は、それぞれ、このSRDに対応する領域が配置される画面の水平方向のサイズ、垂直方向のサイズである。「spatial_set_id」は、このSRDに対応する領域が配置される画面のＩＤである。
　図４に示すように、本実施の形態におけるSRDの定義では、動画コンテンツの画像がパノラマ画像(panorama image)または全天球画像（celestial sphere dynamic）である場合、「object_x」と「object_width」の和が、「total_width」を超えてもよい。また、「object_y」と「object_height」の和は「total_height」を超えてもよい。
　なお、MPDファイルに、動画コンテンツの画像がパノラマ画像(panorama image)または全天球画像（celestial sphere dynamic）であることを示す情報が記述されるようにしてもよい。この場合、本実施の形態におけるSRDの定義は、図５に示すようになる。
　（端部画像のSRDの説明）
　図６は、MPDファイルに記述される端部画像のSRDを説明する図である。
　図４で説明したように、第１実施の形態におけるSRDでは、動画コンテンツの画像が全天球画像である場合、「object_x」と「object_width」の和が「total_width」を超えてもよい。
　従って、ファイル生成装置１１は、例えば、左端部画像１７３－１の画面１８０上の位置を、右端部画像１７３－２の右側に設定する。これにより、図６に示すように、左端部画像１７３－１の画面１８０上の位置は、画面１８０の外側にはみ出すが、端部画像１７３を構成する右端部画像１７３－２と左端部画像１７３－１の画面１８０上の位置が連続する。従って、ファイル生成装置１１は、端部画像１７３の画面１８０上の位置をSRDで記述することができる。
　具体的には、ファイル生成装置１１は、端部画像１７３のSRDの「object_x」および「object_y」として、それぞれ、右端部画像１７３－２の左上の画面１８０上の位置の水平方向の座標、垂直方向の座標を記述する。また、ファイル生成装置１１は、端部画像１７３のSRDの「object_width」および「object_height」として、それぞれ、端部画像１７３の水平方向のサイズ、垂直方向のサイズを記述する。
　さらに、ファイル生成装置１１は、端部画像１７３のSRDの「total_width」および「total_height」として、それぞれ、画面１８０の水平方向のサイズ、垂直方向のサイズを記述する。以上のように、ファイル生成装置１１は、端部画像１７３の画面１８０上の位置として、画面１８０の外側にはみ出る位置を設定する。
　これに対して、図７に示すように、SRDの定義において、「object_x」と「object_width」の和が「total_width」以下となり、かつ、「object_y」と「object_height」の和が「total_height」以下となるように制限されている場合、即ちSRDに対応する領域の画面上の位置が、画面からはみ出ることが禁止されている場合、左端部画像１７３－１の画面１８０上の位置を、右端部画像１７３－２の右側に設定することはできない。
　従って、端部画像１７３を構成する右端部画像１７３－２と左端部画像１７３－１の画面１８０上の位置が連続せず、端部画像１７３の画面１８０上の位置として、右端部画像１７３－２と左端部画像１７３－１の両方の画面１８０上の位置を記述する必要がある。その結果、端部画像１７３の画面１８０上の位置をSRDで記述することはできない。
　（MPDファイルの例）
　図８は、図１のファイル生成装置１１により生成されるMPDファイルの例を示す図である。
　図８に示すように、MPDファイルには、動画コンテンツに対応する「Period」が記述される。「Period」には、動画コンテンツの画像としての全天球画像の端部どうしの連続性を表す連続情報として、全天球画像のマッピング方式を表す情報が記述される。
　マッピング方式としては、正距円筒図法方式、キューブマッピング方式などがある。正距円筒図法方式とは、全方向画像を球の面にマッピングし、マッピング後の球の正距円筒図法による画像を全天球画像とする方式である。また、キューブマッピング方式とは、全方向画像を立方体（キューブ）の面にマッピングし、マッピング後の立方体の展開図を全天球画像とする方式である。
　第１実施の形態では、全天球画像のマッピング方式は正距円筒図法方式である。従って、「Period」には、マッピング方式が正距円筒図法方式であることを表す<SupplementalProperty schemeIdUri="urn:mpeg:dash:coodinates:2015" value="Equirectangular Panorama "/>が、連続情報として記述される。
　「Period」にはまた、符号化ストリームごとに「AdaptationSet」が記述される。また、各「AdaptationSet」には、対応する領域のSRDが記述されるとともに、「Representation」が記述される。「Representation」には、対応する符号化ストリームの画像ファイルのURL（Uniform Resource Locator）などの情報が記述される。
　具体的には、図８の１番目の「AdaptationSet」は、全天球画像１７０の低解像度の全天球画像１６１の低解像度符号化ストリームの「AdaptationSet」である。従って、１番目の「AdaptationSet」には、低解像度の全天球画像１６１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,1920,1080,1920,1080,1"/>が記述されている。また、１番目の「AdaptationSet」の「Representation」には、低解像度符号化ストリームの画像ファイルのURL「stream1.mp4」が記述されている。
　図８の２番目の「AdaptationSet」は、全天球画像１７０の低解像度上画像の高解像度符号化ストリームの「AdaptationSet」である。従って、２番目の「AdaptationSet」には、低解像度上画像のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,3840,540,3840,2160,2"/>が記述されている。また、２番目の「AdaptationSet」の「Representation」には、低解像度上画像の高解像度符号化ストリームの画像ファイルのURL「stream2.mp4」が記述されている。
　また、図８の３番目の「AdaptationSet」は、全天球画像１７０の中央部画像１７４の高解像度符号化ストリームの「AdaptationSet」である。従って、３番目の「AdaptationSet」には、中央部画像１７４のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,540,1920,1080,3840,2160,2"/>が記述されている。また、３番目の「AdaptationSet」の「Representation」には、中央部画像１７４の高解像度符号化ストリームの画像ファイルのURL「stream3.mp4」が記述されている。
　図８の４番目の「AdaptationSet」は、全天球画像１７０の低解像度下画像の高解像度符号化ストリームの「AdaptationSet」である。従って、４番目の「AdaptationSet」には、低解像度下画像のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,1620,3840,540,3840,2160,2"/>が記述されている。また、４番目の「AdaptationSet」の「Representation」には、低解像度下画像の高解像度符号化ストリームの画像ファイルのURL「stream4.mp4」が記述されている。
　また、図８の５番目の「AdaptationSet」は、全天球画像１７０の端部画像１７３の高解像度符号化ストリームの「AdaptationSet」である。従って、５番目の「AdaptationSet」には、端部画像１７３のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,2880,540,1920,1080,3840,2160,2"/>が記述されている。また、５番目の「AdaptationSet」の「Representation」には、端部画像１７３の高解像度符号化ストリームの画像ファイルのURL「stream5.mp4」が記述されている。
　なお、図８の例では、連続情報が「Period」に記述されるようにしたが、「AdaptationSet」などに記述されるようにしてもよい。連続情報が「AdaptationSet」に記述される場合、「Period」に記述される全ての「AdaptationSet」に記述されてもよいし、いずれか１つの「AdaptationSet」に代表して記述されるようにしてもよい。
　（連続情報の他の例）
　図９は、MPDファイルに記述される連続情報の他の例を示す図である。
　図９に示すように、連続情報は、例えば、全天球画像の水平方向および垂直方向の端部の連続性の有無を表す情報であるようにすることができる。この場合、連続情報としては、<SupplementalProperty schemeIdUri=“urn:mpeg:dash:panorama:2015” value=“ｖ,ｈ"/>が記述される。
　ｖは、水平方向の端部の連続性が有る場合、即ち全天球画像の左右の端部が連続する画像である場合、１であり、水平方向の端部の連続性が無い場合、即ち全天球画像の左右の端部が連続しない画像である場合、０である。全天球画像１７０は、水平方向の端部が連続している画像であるため、第１実施の形態では、ｖは１に設定される。
　また、ｈは、垂直方向の端部の連続性が有る場合、即ち全天球画像の上下の端部が連続する画像である場合、１であり、垂直方向の端部の連続性が無い場合、即ち全天球画像の上下の端部が連続しない画像である場合、０である。全天球画像１７０は、垂直方向の端部が連続していない画像であるため、第１実施の形態では、ｈは０に設定される。
　なお、SRD定義を拡張することにより、この連続情報は、SRDに含まれて記述されるようにしてもよい。この場合、図９に示すように、SRDは、<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2015" value=“source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id, panorama_v,panorama_h"/>となる。panorama_v,panorama_hが、それぞれ、上述したv,hに相当する。
　また、連続情報は、連続する全天球画像の端部としての辺を表す情報であるようにすることができる。この場合、連続情報としては、<SupplementalProperty schemeIdUri="urn:mpeg:dash:wrapwround:2015" value=“x1,y1,x2,y2,x3,y3,x4,y4"/>が記述される。
　x1,y1,x2,y2は、それぞれ、全天球画像の連続する２つの辺のうちの一方の辺の始点のｘ座標、ｙ座標、終点のｘ座標、ｙ座標である。また、x3,y3,x4,y4は、それぞれ、全天球画像の連続する２つの辺のうちの他方の辺の始点のｘ座標、ｙ座標、終点のｘ座標、ｙ座標である。
　例えば、3840画素×2160画素の全天球画像がそのまま画面に配置される場合、始点が(0,0)であり、終点が（0,2160）である左辺と、始点が（3840,0）であり、終点が（3840,2160）である右辺とが連続している。従って、x1,y1,x2,y2,x3,y3,x4,y4は、それぞれ、0,0,2160,3840,0,3840,2160になる。
　（画像ファイル生成部の処理の説明）
　図１０は、図２の画像ファイル生成部１５０の符号化処理を説明するフローチャートである。
　図１０のステップＳ１１において、スティッチング処理部１５１は、図示せぬマルチカメラから供給される全方向画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる全方向画像をマッピング処理部１５２に供給する。
　ステップＳ１２において、マッピング処理部１５２は、スティッチング処理部１５１から供給される全方向画像から全天球画像１７０を生成し、低解像度化部１５３と分割部１５５に供給する。
　ステップＳ１３において、低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像１７０を低解像度化し、低解像度の全天球画像１６１を生成する。低解像度化部１５３は、低解像度の全天球画像１６１をエンコーダ１５４に供給する。
　ステップＳ１４において、エンコーダ１５４は、低解像度化部１５３から供給される低解像度の全天球画像１６１を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給する。
　ステップＳ１５において、分割部１５５は、マッピング処理部１５２から供給される全天球画像１７０を上画像１７１、下画像１７２、左端部画像１７３－１、右端部画像１７３－２、および中央部画像１７４に分割する。分割部１５５は、中央部画像１７４をエンコーダ１５６－４に供給する。
　ステップＳ１６において、分割部１５５は、上画像１７１と下画像１７２を水平方向の解像度が半分になるように低解像度化する。分割部１５５は、その結果得られる低解像度上画像をエンコーダ１５６－１に供給し、低解像度化された下側の領域である低解像度下画像をエンコーダ１５６－２に供給する。
　ステップＳ１７において、分割部１５５は、右端部画像１７３－２の右端に左端部画像１７３－１の左端を合成し、端部画像１７３を生成する。分割部１５５は、端部画像１７３をエンコーダ１５６－３に供給する。
　ステップＳ１８において、エンコーダ１５６－１乃至１５６－４は、それぞれ、分割部１５５から供給される、低解像度上画像、低解像度下画像、端部画像１７３、中央部画像１７４を符号化する。エンコーダ１５６－１乃至１５６－４は、その結果生成される符号化ストリームを高解像度ストリームとしてストレージ１５７に供給する。
　ステップＳ１９において、ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６－１乃至１５６－４から供給される４本の高解像度符号化ストリームを記録する。
　ステップＳ２０において、生成部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと４本の高解像度符号化ストリームを読み出し、符号化ストリームごとにセグメント単位でファイル化することにより画像ファイルを生成する。生成部１５８は、画像ファイルを図１のWebサーバ１２に伝送し、処理を終了する。
　（動画再生端末の機能的構成例）
　図１１は、図８の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
　図１１のストリーミング再生部１９０は、MPD取得部１９１、MPD処理部１９２、画像ファイル取得部１９３、デコーダ１９４－１乃至１９４－３、配置部１９５、描画部１９６、および視線検出部１９７により構成される。
　ストリーミング再生部１９０のMPD取得部１９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１９２に供給する。
　MPD処理部１９２は、視線検出部１９７から供給されるユーザの視線方向に基づいて、上画像１７１、下画像１７２、端部画像１７３、および中央部画像１７４から、ユーザの視野範囲に含まれる可能性のある２つを選択画像として選択する。具体的には、MPD処理部１９２は、全天球画像１７０が球の面にマッピングされたときに、球の内部に存在するユーザが視線方向を見たときに視野範囲に含まれる可能性のある、上画像１７１と下画像１７２のうちの１つと、端部画像１７３と中央部画像１７４のうちの１つとを、選択画像として選択する。
　MPD処理部１９２は、選択画像が変更されたとき、MPD取得部１９１から供給されるMPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。また、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像のSRDを抽出し、配置部１９５に供給する。
　また、MPD処理部１９２は、選択画像の画像ファイルのURL等の情報の抽出後、MPDファイルの連続情報に基づいて、選択画像の端部と連続する端部を有する、上画像１７１、下画像１７２、端部画像１７３、または中央部画像１７４を選択予定画像として選択する。MPD処理部１９２は、MPDファイルから再生対象のセグメントの選択予定画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。さらに、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの選択予定画像のSRDを抽出し、配置部１９５に供給する。
　画像ファイル取得部１９３は、MPD処理部１９２から供給されるURLで特定される低解像度の全天球画像１６１の画像ファイルの低解像度符号化ストリームをWebサーバ１２に要求し、取得する。そして、画像ファイル取得部１９３は、取得された低解像度符号化ストリームをデコーダ１９４－１に供給する。
　また、画像ファイル取得部１９３は、選択画像が前回の選択予定画像ではない場合、MPD処理部１９２から供給されるURLで特定される選択画像の画像ファイルの符号化ストリームをWebサーバ１２に要求し、取得する。そして、画像ファイル取得部１９３は、選択画像のうちの一方の高解像度符号化ストリームをデコーダ１９４－２に供給し、他方の高解像度符号化ストリームをデコーダ１９４－３に供給する。
　さらに、画像ファイル取得部１９３（取得部）は、選択画像が取得された後、MPD処理部１９２から供給されるURLで特定される選択予定画像の画像ファイルの高解像度符号化ストリームをWebサーバ１２に要求し、取得する。そして、画像ファイル取得部１９３は、選択予定画像のうちの一方の高解像度符号化ストリームをデコーダ１９４－２に供給し、他方の高解像度符号化ストリームをデコーダ１９４－３に供給する。
　デコーダ１９４－１は、AVCやHEVCなどの符号化方式に対応する方式で、画像ファイル取得部１９３から供給される低解像度符号化ストリームを復号し、復号の結果得られる低解像度の全天球画像１６１を配置部１９５に供給する。
　また、デコーダ１９４－２とデコーダ１９４－３（復号部）は、それぞれ、AVCやHEVCなどの符号化方式に対応する方式で、画像ファイル取得部１９３から供給される選択画像の高解像度符号化ストリームを復号する。そして、デコーダ１９４－２とデコーダ１９４－３は、復号の結果得られる選択画像を配置部１９５に供給する。
　配置部１９５は、MPD処理部１９２から供給されるSRDに基づいて、デコーダ１９４－１から供給される低解像度の全天球画像１６１を画面上に配置する。その後、配置部１９５は、SRDに基づいて、低解像度の全天球画像１６１が配置された画面上に、デコーダ１９４－２および１９４－３から供給される選択画像を重畳する。
　具体的には、SRDが示す低解像度の全天球画像１６１が配置される画面の水平方向および垂直方向のサイズは、選択画像が配置される画面の水平方向および垂直方向のサイズの1/2である。従って、配置部１９５は、低解像度の全天球画像１６１が配置された画面の水平方向およち垂直方向のサイズを２倍にし、選択画像を重畳する。配置部１９５は、選択画像が重畳された画面を球にマッピングし、その結果得られる球画像を描画部１９６に供給する。
　描画部１９６は、配置部１９５から供給される球画像を、視線検出部１９７から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を生成する。描画部１９６は、生成された画像を表示画像として、図示せぬ表示装置に表示させる。
　視線検出部１９７は、ユーザの視線方向を検出する。ユーザの視線方向の検出方法としては、例えば、ユーザに装着させた機器の傾きなどに基づいて検出する方法がある。視線検出部１９７は、ユーザの視線方向をMPD処理部１９２に供給する。
　また、視線検出部１９７は、ユーザの位置を検出する。ユーザの位置の検出方法としては、例えば、ユーザに装着させた機器に付加されたマーカなどの撮影画像に基づいて検出する方法がある。視線検出部１９７は、検出されたユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定し、描画部１９６に供給する。
　（動画再生端末の処理の説明）
　図１２は、図１１のストリーミング再生部１９０の再生処理を説明するフローチャートである。
　図１２のステップＳ４０において、ストリーミング再生部１９０のMPD取得部１９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１９２に供給する。
　ステップＳ４１において、MPD処理部１９２は、MPD取得部１９１から供給されるMPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。
　ステップＳ４２において、MPD処理部１９２は、視線検出部１９７から供給されるユーザの視線方向に基づいて、上画像１７１、下画像１７２、端部画像１７３、および中央部画像１７４から、ユーザの視野範囲に含まれる可能性のある２つを選択画像として選択する。
　ステップＳ４３において、MPD処理部１９２は、MPD取得部１９１から供給されるMPDファイルから、再生対象のセグメントの選択画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。
　ステップＳ４４において、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの選択画像のSRDを抽出し、配置部１９５に供給する。
　ステップＳ４５において、画像ファイル取得部１９３は、MPD処理部１９２から供給されるURLに基づいて、そのURLで特定される低解像度の全天球画像１６１と選択画像の画像ファイルの符号化ストリームを、Webサーバ１２に要求し、取得する。画像ファイル取得部１９３は、取得された低解像度符号化ストリームをデコーダ１９４－１に供給する。また、画像ファイル取得部１９３は、選択画像のうちの一方の高解像度符号化ストリームをデコーダ１９４－２に供給し、他方の高解像度符号化ストリームをデコーダ１９４－３に供給する。
　ステップＳ４６において、デコーダ１９４－１は、画像ファイル取得部１９３から供給される低解像度符号化ストリームを復号し、復号の結果得られる低解像度の全天球画像１６１を配置部１９５に供給する。
　ステップＳ４７において、デコーダ１９４－２とデコーダ１９４－３は、それぞれ、画像ファイル取得部１９３から供給される選択画像の高解像度符号化ストリームを復号する。そして、デコーダ１９４－２とデコーダ１９４－３は、復号の結果得られる選択画像を配置部１９５に供給する。
　ステップＳ４８において、配置部１９５は、MPD処理部１９２から供給されるSRDに基づいて、デコーダ１９４－１から供給される低解像度の全天球画像１６１を画面上に配置し、その後、デコーダ１９４－２および１９４－３から供給される選択画像を重畳する。配置部１９５は、選択画像が重畳された画面を球にマッピングし、その結果得られる球画像を描画部１９６に供給する。
　ステップＳ４９において、描画部１９６は、配置部１９５から供給される球画像を、視線検出部１９７から供給されるユーザの視野範囲に投射投影することにより、表示画像を生成する。描画部１９６は、生成された画像を表示画像として、図示せぬ表示装置に表示させる。
　ステップＳ５０において、ストリーミング再生部１９０は、再生処理を終了するかどうかを判定する。ステップＳ５０で再生処理を終了しないと判定された場合、処理はステップＳ５１に進む。
　ステップＳ５１において、MPD処理部１９２は、MPDファイルの連続情報に基づいて、選択画像の端部と連続する、上画像１７１、下画像１７２、端部画像１７３、または中央部画像１７４を選択予定画像として選択する。
　ステップＳ５２において、MPD処理部１９２は、MPDファイルから再生対象のセグメントの選択予定画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。
　ステップＳ５３において、画像ファイル取得部１９３は、MPD処理部１９２から供給されるURLで特定される選択予定画像の画像ファイルの高解像度符号化ストリームをWebサーバ１２に要求し、取得する。
　ステップＳ５４において、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの選択予定画像のSRDを抽出し、配置部１９５に供給する。
　ステップＳ５５において、MPD処理部１９２は、視線検出部１９７から供給されるユーザの視線方向に基づいて選択画像を選択し、新たな選択画像が選択されたかどうかを判定する。即ち、MPD処理部１９２は、前回選択された選択画像と異なる選択画像を選択したかどうかを判定する。
　ステップＳ５５で新たな選択画像が選択されていないと判定された場合、新たな選択画像が選択されるまで待機する。一方、ステップＳ５５で新たな選択画像が選択された場合、処理はステップＳ５６に進む。
　ステップＳ５６において、画像ファイル取得部１９３は、新たに選択された選択画像が選択予定画像であるかどうかを判定する。ステップＳ５６で、新たに選択された選択画像が選択予定画像であると判定された場合、処理はステップＳ４６に戻り、以降の処理が繰り返される。
　一方、ステップＳ５６で、新たに選択された選択画像が選択予定画像ではないと判定された場合、処理はステップＳ４３に戻り、以降の処理が繰り返される。
　以上のように、MPDファイルには連続情報が設定されている。従って、ストリーミング再生部１９０は、連続情報に基づいて、選択画像の次に復号される可能性が高い、選択画像の端部と連続する端部を有する選択予定画像を、選択画像の選択時に先読みすることができる。その結果、選択予定画像が選択画像として選択された際、選択画像の復号時に選択画像を読み出す必要がなくなり、復号処理時間を短縮することができる。
　＜第２実施の形態＞
　（端部画像の画像ファイルのセグメント構造の例）
　本開示を適用した情報処理システムの第２実施の形態は、端部画像１７３の符号化ストリームのうちの、左端部画像１７３－１の符号化ストリームと右端部画像１７３－２の符号化ストリームに対して異なるlevel（詳細は後述する）を設定する。これにより、SRDの定義が図７の定義である場合に、SRDを用いて、左端部画像１７３－１と右端部画像１７３－２の画面１８０上の位置を記述可能にする。
　具体的には、本開示を適用した情報処理システムの第２実施の形態は、ファイル生成装置１１で生成される端部画像１７３の画像ファイルのセグメント構造とMPDファイルを除いて、第１実施の形態と同様である。従って、以下では、端部画像１７３の画像ファイルのセグメント構造とMPDファイルについてのみ説明する。
　図１３は、本開示を適用した情報処理システムの第２実施の形態における端部画像１７３の画像ファイルのセグメント構造の例を示す図である。
　図１３に示すように、端部画像１７３の画像ファイルでは、Initial segmentが、ftypボックスとmoovボックスにより構成される。moovボックスには、stblボックスとmvexボックスが配置される。
　stblボックスには、端部画像１７３を構成する左端部画像１７３－１の端部画像１７３上の位置を示すTile Region Group Entryと、右端部画像１７３－２の端部画像１７３上の位置を示すTile Region Group Entryとが順に記述されるsgpdボックスなどが配置される。Tile Region Group Entryは、HEVC File FormatのHEVC Tile Trackで規格化されている。
　mvexボックスには、先頭のTile Region Group Entryに対応する左端部画像１７３－１に対するlevelとして１を設定し、２番目のTile Region Group Entryに対応する右端部画像１７３－２に対するlevelとして２を設定するlevaボックスなどが配置される。
　levaボックスは、先頭のTile Region Group Entryに対応するlevelの情報、２番目のTile Region Group Entryに対応するlevelの情報を順に記述することにより、左端部画像１７３－１に対するlevelとして１を設定し、右端部画像１７３－２に対するlevelとして２を設定する。levelは、MPDファイルから、符号化ストリームの一部を指定するときにインデックスとして機能するものである。
　levaボックスには、各levelの情報として、levelの設定対象が、複数のトラックに配置される符号化ストリームであるかどうかを示すassignment_typeが記述される。図１３の例では、端部画像１７３の符号化ストリームは１つのトラックに配置される。従って、assignment_typeは、levelの設定対象が、複数のトラックに配置される符号化ストリームではないことを表す０である。
　また、levaボックスには、各levelの情報として、そのlevelに対応するTile Region Group Entryのタイプが記述される。図１３の例では、各levelの情報として、sgpdボックスに記述されるTile Region Group Entryのタイプである「trif」が記述される。levaボックスの詳細は、例えば、ISO/IEC 14496-12 ISO base media file format 4th edition, July 2012に記述されている。
　また、media segmentは、sidxボックス、ssixボックス、およびmoofとmdatのペアからなる１以上のsubsegmentにより構成される。sidxボックスには、各subsegmentの画像ファイル内の位置を示す位置情報が配置される。ssixボックスには、mdatボックスに配置される各レベルの符号化ストリームの位置情報が含まれる。
　subsegmentは、任意の時間長ごとに設けられる。mdatボックスには、符号化ストリームが任意の時間長分だけまとめて配置され、moofボックスには、その符号化ストリームの管理情報が配置される。
　（Tile Region Group Entryの例）
　図１４は、図１３のTile Region Group Entryの例を示す図である。
　Tile Region Group Entryは、このTile Region Group EntryのＩＤ、対応する領域の左上の符号化ストリームに対応する画像上の水平方向および垂直方向の座標、並びに符号化ストリームに対応する画像の水平方向および垂直方向のサイズを順に記述したものである。
　端部画像１７３は、図１４に示すように、960画素×1080画素の右端部画像１７３－２の右端に、960画素×1080画素の左端部画像１７３－１の左端が合成されたものである。従って、左端部画像１７３－１のTile Region Group Entryは、（1,960,0,960,1080）になり、右端部画像１７３－２のTile Region Group Entryは、（2,0,0,960,1080）になる。
　（MPDファイルの例）
　図１５は、MPDファイルの例を示す図である。
　図１５のMPDファイルは、端部画像１７３の高解像度符号化ストリームの「AdaptationSet」である５番目の「AdaptationSet」を除いて、図８のMPDファイルと同一である。従って、５番目の「AdaptationSet」についてのみ説明する。
　図１５の５番目の「AdaptationSet」には、端部画像１７３のSRDが記述されず、「Representation」が記述される。この「Representation」には、端部画像１７３の高解像度符号化ストリームの画像ファイルのURL「stream5.mp4」が記述される。また、端部画像１７３の符号化ストリームにはlevelが設定されるので、「Representation」には、levelごとに「SubRepresentation」が記述可能になっている。
　従って、level「１」の「SubRepresentation」には、左端部画像１７３－１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,2880,540,960,1080,3840,2160,2"/>が記述される。これにより、左端部画像１７３－１のSRDが、level「１」に対応するTile Region Group Entryが示す左端部画像１７３－１の端部画像１７３上の位置と対応付けて設定される。
　また、level「２」の「SubRepresentation」には、右端部画像１７３－２のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,540,960,1080,3840,2160,2"/>が記述される。これにより、右端部画像１７３－２のSRDが、level「２」に対応するTile Region Group Entryが示す右端部画像１７３－２の端部画像１７３上の位置と対応付けて設定される。
　以上のように、第２実施の形態では、左端部画像１７３－１と右端部画像１７３－２に対して異なるlevelが設定される。従って、符号化ストリームに対応する端部画像１７３を構成する左端部画像１７３－１と右端部画像１７３－２のそれぞれの画面１８０上の位置をSRDで記述することができる。
　ストリーミング再生部１９０は、MPDファイルに設定されたlevel「１」のSRDに基づいて、復号された端部画像１７３のうちの、level「１」に対応するTile Region Group Entryが示す位置の左端部画像１７３－１を画面１８０上に配置する。また、ストリーミング再生部１９０は、MPDファイルに設定されたlevel「２」のSRDに基づいて、復号された端部画像１７３のうちの、level「２」に対応するTile Region Group Entryが示す位置の右端部画像１７３－２を画面１８０上に配置する。
　なお、第３実施の形態では、端部画像１７３の符号化ストリームは、１つのトラックに配置されたが、左端部画像１７３－１と右端部画像１７３－２がHEVC方式で異なるタイルとして符号化される場合には、それぞれのスライスデータが異なるトラックに配置されてもよい。
　（トラック構造の例）
　図１６は、左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合のトラック構造の例を示す図である。
　左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合、図１６に示すように、端部画像１７３の画像ファイルには、３つのトラックが配置される。
　各トラックのtrackボックスには、Track Referenceが配置される。Track Referenceは、対応するトラックの他のトラックとの参照関係を表す。具体的には、Track Referenceは、参照関係にある他のトラックのトラックに固有のＩＤ（以下、トラックＩＤという）を表す。また、各トラックのサンプルは、サンプルエントリ（Sample Entry）により管理される。
　トラックＩＤが１であるトラックは、端部画像１７３の符号化ストリームのうちのスライスデータを含まないベーストラックである。具体的には、ベーストラックのサンプルとしては、端部画像１７３の符号化ストリームのうちのVPS(Video Parameter Set)、SPS（Sequence Parameter Set）、SEI（Supplemental Enhancement Information）、PPS（Picture Parameter Set）などのパラメータセットが配置される。また、ベーストラックのサンプルとしては、ベーストラック以外のトラックのサンプル単位のextractorがサブサンプルとして配置される。extractorは、extractorの種別、対応するトラックのサンプルのファイル内の位置とサイズを表す情報などにより構成される。
　トラックＩＤが２であるトラックは、端部画像１７３の符号化ストリームのうちの左端部画像１７３－１のスライスデータをサンプルとして含むトラックである。トラックＩＤが３であるトラックは、端部画像１７３の符号化ストリームのうちの右端部画像１７３－２のスライスデータをサンプルとして含むトラックである。
　（levaボックスの例）
　左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのセグメント構造は、levaボックスを除いて、図１３のセグメント構造と同一である。従って、以下では、levaボックスについてのみ説明する。
　図１７は、左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのlevaボックスの例を示す図である。
　図１７に示すように、左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのlevaボックスは、トラックＩＤ「１」乃至「３」の各トラックに対して順にlevel「１」乃至「３」を設定する。
　図１７のlevaボックスは、各levelの情報として、そのlevelが設定される端部画像１７３内の領域のスライスデータを含むトラックのトラックＩＤを記述する。図１７の例では、level「１」、「２」、「３」の情報として、それぞれ、トラックＩＤ「１」、「２」、「３」が記述される。
　また、図１７の場合、levelの設定対象である端部画像１７３の符号化ストリームのスライスデータが、複数のトラックに配置される。従って、各levelのlevel情報に含まれるassignment_typeは、levelの設定対象が、複数のトラックに配置される符号化ストリームであることを表す２または３である。
　さらに、図１７の場合、level「１」に対応するTile Region Group Entryは存在しない。従って、level「１」の情報に含まれるTile Region Group Entryのタイプは、Tile Region Group Entryが存在しないことを表すgrouping_type「０」である。一方、level「２」および「３」に対応するTile Region Group Entryは、sgpdボックスに含まれるTile Region Group Entryである。従って、level「２」および「３」の情報に含まれるTile Region Group Entryのタイプは、sgpdボックスに含まれるTile Region Group Entryのタイプである「trif」である。
　（MPDファイルの他の例）
　図１８は、左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合のMPDファイルの例を示す図である。
　図１８のMPDファイルは、５番目の「AdaptationSet」の各「SubRepresentation」のelementを除いて、図１５のMPDファイルと同一である。
　具体的には、図１８のMPDファイルでは、５番目の「AdaptationSet」の１つ目の「SubRepresentation」がlevel「２」の「SubRepresentation」である。従って、「SubRepresentation」の要素として、level「２」が記述される。
　また、level「２」に対応するトラックＩＤ「２」のトラックは、トラックＩＤ「１」のベーストラックと依存関係がある。従って、「SubRepresentation」の要素として記述される、依存関係のあるトラックに対応するlevelを表すdependencyLevelが「１」に設定する。
　さらに、level「２」に対応するトラックＩＤ「２」のトラックは、HEVC Tile Trackである。従って、「SubRepresentation」の要素として記述される、符号化の種類を表すcodecsが、HEVC Tile Trackを表す「hvt1.1.2.H93.B0」に設定される。
　また、図１８のMPDファイルでは、５番目の「AdaptationSet」の２つ目の「SubRepresentation」がlevel「３」の「SubRepresentation」である。従って、「SubRepresentation」の要素として、level「３」が記述される。
　また、level「３」に対応するトラックＩＤ「３」のトラックは、トラックＩＤ「１」のベーストラックと依存関係がある。従って、「SubRepresentation」の要素として記述されるdependencyLevelが「１」に設定される。
　さらに、level「３」に対応するトラックＩＤ「３」のトラックは、HEVC Tile Trackである。従って、「SubRepresentation」の要素として記述されるcodecsが「hvt1.1.2.H93.B0」に設定される。
　上述したように、左端部画像１７３－１と右端部画像１７３－２が異なるタイルとして符号化される場合、図１１のデコーダ１９４－２またはデコーダ１９４－３は、左端部画像１７３－１と右端部画像１７３－２を独立して復号することができる。また、左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置される場合、左端部画像１７３－１と右端部画像１７３－２のスライスデータのいずれか一方のみを取得することができる。従って、MPD処理部１９２は、左端部画像１７３－１と右端部画像１７３－２のうちの一方のみを選択画像として選択することができる。
　なお、上述した説明では、異なるタイルとして符号化された左端部画像１７３－１と右端部画像１７３－２のスライスデータが異なるトラックに配置されるようにしたが、１つのトラックに配置されるようにしてもよい。
　また、第１および第３実施の形態では、動画コンテンツの画像が全天球画像であるようにしたが、パノラマ画像であってもよい。
　＜第３実施の形態＞
　（情報処理システムの第３実施の形態における全天球画像の例）
　本開示を適用した情報処理システムの第３実施の形態の構成は、全天球画像のマッピング方式がキューブマッピング方式である点、全天球画像の分割数が６である点、およびフィラー画像の領域を表す領域情報がMPDファイルに設定される点を除いて、図１の情報処理システム１０の構成と同一である。従って、重複する説明については適宜省略する。
　図１９は、本開示を適用した情報処理システムの第３実施の形態における符号化対象の画像の例を示す図である。
　図１９に示すように、全天球画像のマッピング方式がキューブマッピングである場合、符号化対象の画像２１０は、全方向画像を立方体の面にマッピングした後の立方体の全天球画像２１１にフィラー画像２１２－１乃至２１２－４を付加した矩形の画像である。即ち、第３実施の形態では、マッピング処理部は、全天球画像２１１を生成した後、全天球画像２１１に対してフィラー画像２１２－１乃至２１２－４を付加し、矩形の画像２１０を生成して、低解像度化部と分割部に供給する。その結果、全天球画像２１１の符号化ストリームとして、画像２１０の符号化ストリームが生成される。図１９の例では、画像２１０は、2880画素×2160画素からなる。また、フィラー画像は、実データがない穴埋め用の画像である。
　全天球画像２１１において、立方体の６つの面の各画像は、画像２２１乃至２２６である。従って、画像２１０は、例えば、フィラー画像２１２－１および２１２－３並びに画像２２３からなる上画像２３１、画像２２２、画像２２５、画像２２１、画像２２６、フィラー画像２１２－２および２１２－４並びに画像２２４からなる下画像２３２に分割される。そして、分割された上画像２３１、画像２２２、画像２２５、画像２２１、画像２２６、および下画像２３２は、それぞれ、独立して符号化され、６本の高解像度符号化ストリームが生成される。
　なお、画像２１０は、一般的に、標準の視線方向で視野の中心に位置する画像２１０上の位置である画像２１０の正面が、画像２２５の中心Ｏとなるように生成される。
　（連続情報の例）
　図２０は、MPDファイルに記述される連続情報の例を示す図である。
　連続情報が、連続する全天球画像の端部としての辺を表す情報である場合、図２０に示すように、７つの連続情報が記述される。
　具体的には、１つ目の連続情報として、連続する画像２２２の上辺２２２Ａ（図１９）と画像２２３の左辺２２３Ａを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“0,720,720,720,0,720,720,720”/>が記述される。
　２つ目の連続情報として、連続する画像２２３の右辺２２３Ｂと画像２２３の上辺２２１Ｂを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“1440,0,1440,720,2160,720,1440,720”/>が記述される。
　３つ目の連続情報として、連続する画像２２６の上辺２２６Ｃと画像２２３の上辺２２３Ｃを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“2160,720,2880,720,1440,0,720,0”/>が記述される。
　４つ目の連続情報として、連続する画像２２２の下辺２２２Ｂと画像２２４の左辺２２４Ｂを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“0,1440,720,1440,720,2160,720,1440/>が記述される。
　５つ目の連続情報として、連続する画像２２４の上辺２２４Ａと画像２２１の左辺２２１Ａを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“1440,2160,1440,1440,2160,1440,1440,1440”/>が記述される。
　６つ目の連続情報として、連続する画像２２６の下辺２２６Ｄと画像２２４の下辺２２４Ｄを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“2160,1440,1880,1440,1440,2160,720,2160”/>が記述される。
　７つ目の連続情報として、連続する画像２２２の左辺２２２Ｅと画像２２３の右辺２２６Ｅを表す<SupplementalProperty schemeIdUri=“urn:mpeg:dash:wrapwround:2015” value=“ 0,720,0,1440,2880,720,2880,1440”/>が記述される。
　なお、第３実施の形態においても、連続情報は、全天球画像のマッピング方式を表す情報であるようにすることができる。この場合、MPDファイルには、マッピング方式がキューブマッピング方式であることを表す<SupplementalProperty schemeIdUri="urn:mpeg:dash:coodinates:2015" value="cube texture map"/>が、連続情報として記述される。
　（領域情報の例）
　図２１は、図１９のフィラー画像２１２－１乃至２１２－４の領域情報の例を示す図である。
　図２１に示すように、領域情報は、フィラー画像の領域の左上の座標（Ｘ,Ｙ）、水平方向のサイズwidthおよび垂直方向のサイズheightを表す<SupplementalProperty schemeIdUri="urn:mpeg:dash:no_image:2015" value=“x,y,width,height"/>である。
　従って、フィラー画像２１２－１の領域情報は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:no_image:2015" value=“ 0,0,720,720"/>であり、フィラー画像２１２－２の領域情報は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:no_image:2015" value=“0,1440,720,720"/>である。
　また、フィラー画像２１２－３の領域画像は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:no_image:2015" value=“ 1440,0,1440,720"/>であり、フィラー画像２１２－４の領域画像は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:no_image:2015" value=“ 1440,1440,1440,720"/>である。
　以上のように、第３実施の形態では、MPDファイルに領域情報が記述される。従って、ストリーミング再生部は、復号結果に実データがない場合に、それが、復号結果がフィラー画像であることによるものなのか、復号エラーが発生したことによるものなのかを認識することができる。
　＜第４実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
　入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
　以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報を設定する設定部
　を備える情報処理装置。
　（２）
　前記連続情報は、前記画像のマッピング方式を表す情報である
　ように構成された
　前記（１）に記載の情報処理装置。
　（３）
　前記連続情報は、前記画像の水平方向および垂直方向の前記端部の連続性の有無を表す情報である
　ように構成された
　前記（１）に記載の情報処理装置。
　（４）
　前記連続情報は、連続する前記端部を表す情報である
　ように構成された
　前記（１）に記載の情報処理装置。
　（５）
　マッピング方式がキューブマッピングである前記画像に対してフィラー画像を付加し、矩形の画像を生成する生成部と、
　前記生成部により生成された前記画像を符号化して前記符号化ストリームを生成する符号化部と
　をさらに備え、
　前記設定部は、前記画像内の前記フィラー画像の領域を表す領域情報を設定する
　ように構成された
　前記（１）、（２）、または（４）のいずれかに記載の情報処理装置。
　（６）
　前記設定部は、前記連続情報を、前記符号化ストリームのファイルを管理する管理ファイルに設定する
　ように構成された
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）
　情報処理装置が、
　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報を設定する設定ステップ
　を含む情報処理方法。
　（８）
　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームを取得する取得部と、
　前記取得部により取得された前記符号化ストリームを復号する復号部と
　を備える情報処理装置。
　（９）
　前記連続情報は、前記画像のマッピング方式を表す情報である
　ように構成された
　前記（８）に記載の情報処理装置。
　（１０）
　前記連続情報は、前記画像の水平方向および垂直方向の前記端部の連続性の有無を表す情報である
　ように構成された
　前記（８）に記載の情報処理装置。
　（１１）
　前記連続情報は、連続する前記端部を表す情報である
　ように構成された
　前記（８）に記載の情報処理装置。
　（１２）
　前記符号化ストリームは、マッピング方式がキューブマッピングである前記画像に対してフィラー画像を付加することにより生成された矩形の画像の符号化ストリームであり、
　前記復号部は、前記画像内の前記フィラー画像の領域を表す領域情報に基づいて、前記符号化ストリームを復号する
　ように構成された
　前記（８）、（９）、または（１１）に記載の情報処理装置。
　（１３）
　前記連続情報は、前記符号化ストリームのファイルを管理する管理ファイルに設定される
　ように構成された
　前記（８）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）
　情報処理装置が、
　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームを取得する取得ステップと、
　前記取得ステップの処理により取得された前記符号化ストリームを復号する復号ステップと
　を含む情報処理方法。
　１１　ファイル生成装置,　１４　動画再生端末,　１５２　マッピング処理部,　１５６－１乃至１５６－４　エンコーダ,　１７０　全天球画像,　１９３　画像ファイル取得部,　１９４－１乃至１９４－３　デコーダ,　２１０　画像,　２１１　全天球画像,　２１２－１乃至２１２－４　フィラー画像

Claims (14)

  1. 　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報を設定する設定部
    　を備える情報処理装置。
  2. 　前記連続情報は、前記画像のマッピング方式を表す情報である
    　ように構成された
    　請求項１に記載の情報処理装置。
  3. 　前記連続情報は、前記画像の水平方向および垂直方向の前記端部の連続性の有無を表す情報である
    　ように構成された
    　請求項１に記載の情報処理装置。
  4. 　前記連続情報は、連続する前記端部を表す情報である
    　ように構成された
    　請求項１に記載の情報処理装置。
  5. 　マッピング方式がキューブマッピングである前記画像に対してフィラー画像を付加し、矩形の画像を生成する生成部と、
    　前記生成部により生成された前記画像を符号化して前記符号化ストリームを生成する符号化部と
    　をさらに備え、
    　前記設定部は、前記画像内の前記フィラー画像の領域を表す領域情報を設定する
    　ように構成された
    　請求項１に記載の情報処理装置。
  6. 　前記設定部は、前記連続情報を、前記符号化ストリームのファイルを管理する管理ファイルに設定する
    　ように構成された
    　請求項１に記載の情報処理装置。
  7. 　情報処理装置が、
    　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報を設定する設定ステップ
    　を含む情報処理方法。
  8. 　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームを取得する取得部と、
    　前記取得部により取得された前記符号化ストリームを復号する復号部と
    　を備える情報処理装置。
  9. 　前記連続情報は、前記画像のマッピング方式を表す情報である
    　ように構成された
    　請求項８に記載の情報処理装置。
  10. 　前記連続情報は、前記画像の水平方向および垂直方向の前記端部の連続性の有無を表す情報である
    　ように構成された
    　請求項８に記載の情報処理装置。
  11. 　前記連続情報は、連続する前記端部を表す情報である
    　ように構成された
    　請求項８に記載の情報処理装置。
  12. 　前記符号化ストリームは、マッピング方式がキューブマッピングである前記画像に対してフィラー画像を付加することにより生成された矩形の画像の符号化ストリームであり、
    　前記復号部は、前記画像内の前記フィラー画像の領域を表す領域情報に基づいて、前記符号化ストリームを復号する
    　ように構成された
    　請求項８に記載の情報処理装置。
  13. 　前記連続情報は、前記符号化ストリームのファイルを管理する管理ファイルに設定される
    　ように構成された
    　請求項８に記載の情報処理装置。
  14. 　情報処理装置が、
    　符号化ストリームに対応する画像の端部どうしの連続性を表す連続情報に基づいて、前記符号化ストリームを取得する取得ステップと、
    　前記取得ステップの処理により取得された前記符号化ストリームを復号する復号ステップと
    　を含む情報処理方法。
PCT/JP2016/065866 2015-06-12 2016-05-30 情報処理装置および情報処理方法 WO2016199608A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/578,709 US20180176650A1 (en) 2015-06-12 2016-05-30 Information processing apparatus and information processing method
CN201680032727.5A CN107683607A (zh) 2015-06-12 2016-05-30 信息处理设备和信息处理方法
JP2017523585A JPWO2016199608A1 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015119361 2015-06-12
JP2015-119361 2015-06-12

Publications (1)

Publication Number Publication Date
WO2016199608A1 true WO2016199608A1 (ja) 2016-12-15

Family

ID=57503439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065866 WO2016199608A1 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US20180176650A1 (ja)
JP (1) JPWO2016199608A1 (ja)
CN (1) CN107683607A (ja)
WO (1) WO2016199608A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123646A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像生成方法
WO2018134947A1 (ja) * 2017-01-19 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
WO2018163891A1 (ja) * 2017-03-09 2018-09-13 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
JP2019521584A (ja) * 2016-05-24 2019-07-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｔｔｐを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング
US10699372B2 (en) 2017-01-19 2020-06-30 Sony Interactive Entertainment Inc. Image generation apparatus and image display control apparatus
JP2020520161A (ja) * 2017-07-09 2020-07-02 エルジー エレクトロニクス インコーポレイティド 領域（ｒｅｇｉｏｎ）ベースの３６０度ビデオを送信する方法、領域ベースの３６０度ビデオを受信する方法、領域ベースの３６０度ビデオ送信装置、領域ベースの３６０度ビデオ受信装置
JP2020521348A (ja) * 2017-10-24 2020-07-16 エルジー エレクトロニクス インコーポレイティド 魚眼ビデオ情報を含む３６０度ビデオを送受信する方法及びその装置
JPWO2022091215A1 (ja) * 2020-10-27 2022-05-05
US11470395B2 (en) 2018-09-07 2022-10-11 Sony Corporation Content distribution system and content distribution method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703742B (zh) * 2018-09-14 2023-03-31 华为技术有限公司 视频译码中的分块指示
US11616822B2 (en) * 2019-09-30 2023-03-28 Tencent America LLC Session-based information for dynamic adaptive streaming over HTTP

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012043357A1 (ja) * 2010-10-01 2012-04-05 ソニー株式会社 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1553521A4 (en) * 2002-10-15 2006-08-02 Seiko Epson Corp PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA
CN100426139C (zh) * 2004-12-24 2008-10-15 上海杰图软件技术有限公司 基于六张鼓形图像生成整球形全景的方法
CN100576907C (zh) * 2007-12-25 2009-12-30 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
CN101924921A (zh) * 2009-12-29 2010-12-22 天津市亚安科技电子有限公司 全景监控云台摄像机和环形及半球形全景监控的控制方法
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
KR101742120B1 (ko) * 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN104282014A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 基于nurbs曲面的多通道几何校正与边缘融合方法
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012043357A1 (ja) * 2010-10-01 2012-04-05 ソニー株式会社 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521584A (ja) * 2016-05-24 2019-07-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｔｔｐを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング
US11375291B2 (en) 2016-05-24 2022-06-28 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
JPWO2018123646A1 (ja) * 2016-12-28 2019-10-31 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像生成方法
JP7017147B2 (ja) 2016-12-28 2022-02-08 ソニーグループ株式会社 生成装置、識別情報生成方法、再生装置および画像生成方法
JP7218826B2 (ja) 2016-12-28 2023-02-07 ソニーグループ株式会社 再生装置および画像生成方法
WO2018123646A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像生成方法
CN114745534A (zh) * 2016-12-28 2022-07-12 索尼公司 再现装置、图像再现方法及计算机可读介质
JP2022040409A (ja) * 2016-12-28 2022-03-10 ソニーグループ株式会社 再生装置および画像生成方法
WO2018134947A1 (ja) * 2017-01-19 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
US10699372B2 (en) 2017-01-19 2020-06-30 Sony Interactive Entertainment Inc. Image generation apparatus and image display control apparatus
JPWO2018134947A1 (ja) * 2017-01-19 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
US11044289B2 (en) 2017-03-09 2021-06-22 Canon Kabushiki Kaisha Sending device, receiving device, information processing method for sending or receiving content divided into segments using MPEG-DASH protocol
JP2018148515A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
WO2018163891A1 (ja) * 2017-03-09 2018-09-13 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
JP6993430B2 (ja) 2017-07-09 2022-01-13 エルジー エレクトロニクス インコーポレイティド 領域（ｒｅｇｉｏｎ）ベースの３６０度ビデオを送信する方法、領域ベースの３６０度ビデオを受信する方法、領域ベースの３６０度ビデオ送信装置、領域ベースの３６０度ビデオ受信装置
JP2020520161A (ja) * 2017-07-09 2020-07-02 エルジー エレクトロニクス インコーポレイティド 領域（ｒｅｇｉｏｎ）ベースの３６０度ビデオを送信する方法、領域ベースの３６０度ビデオを受信する方法、領域ベースの３６０度ビデオ送信装置、領域ベースの３６０度ビデオ受信装置
JP2020521348A (ja) * 2017-10-24 2020-07-16 エルジー エレクトロニクス インコーポレイティド 魚眼ビデオ情報を含む３６０度ビデオを送受信する方法及びその装置
US11470395B2 (en) 2018-09-07 2022-10-11 Sony Corporation Content distribution system and content distribution method
JPWO2022091215A1 (ja) * 2020-10-27 2022-05-05
JP7208695B2 (ja) 2020-10-27 2023-01-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2016199608A1 (ja) 2018-03-29
US20180176650A1 (en) 2018-06-21
CN107683607A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
WO2016199608A1 (ja) 情報処理装置および情報処理方法
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
JP6807032B2 (ja) 情報処理装置および情報処理方法
KR102013403B1 (ko) 구면 영상 스트리밍
US10893278B2 (en) Video bitstream generation method and device for high-resolution video streaming
US10277914B2 (en) Measuring spherical image quality metrics based on user field of view
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10244200B2 (en) View-dependent operations during playback of panoramic video
US10244215B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
JP6305279B2 (ja) 映像圧縮装置および映像再生装置
WO2019137313A1 (zh) 一种媒体信息的处理方法及装置
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
KR20200051605A (ko) 화상 처리 장치 및 파일 생성 장치
WO2018019293A1 (en) Method and apparatus for streaming video content
KR20200051599A (ko) 화상 처리 장치 및 파일 생성 장치
US11653054B2 (en) Method and apparatus for late binding in media content
WO2016199609A1 (ja) 情報処理装置および情報処理方法
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807315

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017523585

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15578709

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807315

Country of ref document: EP

Kind code of ref document: A1