WO2018186272A1 - 再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法 - Google Patents

再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法 Download PDF

Info

Publication number
WO2018186272A1
WO2018186272A1 PCT/JP2018/012999 JP2018012999W WO2018186272A1 WO 2018186272 A1 WO2018186272 A1 WO 2018186272A1 JP 2018012999 W JP2018012999 W JP 2018012999W WO 2018186272 A1 WO2018186272 A1 WO 2018186272A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
partial video
resource position
video data
playback
Prior art date
Application number
PCT/JP2018/012999
Other languages
English (en)
French (fr)
Inventor
徳毛　靖昭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/499,648 priority Critical patent/US20200045359A1/en
Publication of WO2018186272A1 publication Critical patent/WO2018186272A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Definitions

  • the present invention relates to a playback device, a generation device, a playback system, a program, a recording medium, and a generation method.
  • Such a technique includes a technique using a camera capable of photographing in all directions, or a technique of photographing with a plurality of cameras and connecting captured images of the cameras.
  • Patent Document 1 discloses a technique for converting a captured image into a viewpoint conversion image based on images captured by a plurality of cameras and position information, and generating a video viewed from a predetermined virtual viewpoint.
  • DASH Dynamic Adaptive Streaming Over HTTP
  • MPEG Motion Picture Experts Group
  • MPD Media Presentation Description
  • JP 2013-106324 A (published on May 30, 2013)
  • the present invention is based on the above-described problems, and an object of the present invention is to realize a technique for generating and transmitting metadata relating to the omnidirectional video and reproducing the omnidirectional video based on the metadata.
  • a playback device that plays back content data that is time-divided into a plurality of time-sharing data, and the plurality of time-sharing data includes: Of the partial video data constituting the omnidirectional video, one or a plurality of partial video data groups each including partial video data in at least one of the viewpoint and the line-of-sight direction are included.
  • a first acquisition unit that acquires metadata including a plurality of resource position specifier groups configured from resource position specifiers that specify the location of each partial video data included in the plurality of partial video data groups;
  • a second acquisition unit that acquires each partial video data from a location indicated by the data, and a reproduction unit that reproduces a partial video indicated by each partial video data acquired by the second acquisition unit.
  • a generation device generates a metadata that is referred to by a playback device that plays back content data that is time-divided into a plurality of time-sharing data.
  • the plurality of time-sharing data includes one or a plurality of partial video data groups composed of partial video data for each of at least one of the viewpoint and the line-of-sight direction among the partial video data constituting the omnidirectional video.
  • the generation apparatus generates metadata including a plurality of resource position specifier groups each including a resource position specifier that specifies the location of each partial video data included in the one or more partial video data groups.
  • a metadata generation unit is provided.
  • a playback system is a playback system that plays back content data that is time-divided into a plurality of time-sharing data, and the plurality of time-sharing data. Includes one or more partial video data groups composed of partial video data for each of at least one of the viewpoint and the line-of-sight direction among the partial video data constituting the omnidirectional video, A metadata generation unit that generates metadata including a plurality of resource position specifier groups that specify a resource position specifier that is a location of each partial video data included in the partial video data group, and the one or more partial video data A first acquisition unit that acquires metadata including a plurality of resource position specifier groups configured of resource position specifiers that specify the location of each partial video data included in the group; A second acquisition unit that acquires the partial image data from the location indicated by the data, and a reproducing unit for reproducing the partial image shown by the respective partial image data which the second acquisition unit has acquired.
  • a playback method provides a playback method for playing back content data that is time-divided into a plurality of time-sharing data, and the plurality of time-sharing data includes: Among the partial video data constituting the omnidirectional video, one or a plurality of partial video data groups each including partial video data in at least one of the viewpoint and the line-of-sight direction are included.
  • FIG. 1 is a diagram illustrating a playback system 1 according to the present embodiment
  • FIG. 2 is a diagram illustrating an overall configuration of the playback system 1 according to the present embodiment.
  • the playback system 1 is a system including a playback device 100, a generation device 300, and a network storage server (NAS) 400. Further, the playback device 100 and the generation device 300 are connected to the Internet NW.
  • NAS network storage server
  • the playback device 100 the generation device 300, and the NAS 400 will be described.
  • the playback device 100 plays back content data that is time-divided into a plurality of time-sharing data.
  • the playback device 100 configures the omnidirectional video and plays back each partial video indicated by the partial video data included in the time division data for a predetermined period.
  • the playback apparatus 100 includes a control unit 110, a playback unit 120, a storage unit 130, a network I / F 140, a display unit 150, and an operation unit 160.
  • the playback device 100 may include a display unit that displays a partial video played back by the playback unit 120 described later.
  • the head mounted display can include the playback device 100 and the played back partial video can be presented to the user via the display unit 150.
  • the playback unit 120 may supply the partial video data to be played back to the display unit 150 provided separately from the playback device 100.
  • the head-mounted display can include the display unit 150, and the reproduced partial video can be presented to the user via the display unit 150.
  • Control unit 110 When receiving a partial video playback instruction from the user via the operation unit 160, the control unit 110 receives metadata related to the partial video to be played back from the generation device 300. The control unit 110 refers to the metadata and specifies a resource position specifier for reproducing the partial video. The control unit 110 causes the playback unit 120 to play back the partial video by referring to the playback period and the resource position specifier.
  • control unit 110 can reproduce the omnidirectional video based on the metadata regarding the omnidirectional video.
  • examples of the partial video include a media segment defined by DASH (Dynamic Adaptive Streaming over HTTP).
  • DASH-defined MPD Media ⁇ ⁇ ⁇ PresentationDescription
  • the resource location specifier can include a URL of a media segment.
  • Each resource location specifier group can include each Adaptation Set defined by DASH.
  • control unit 110 functions as a first acquisition unit 1100 and a second acquisition unit 1110.
  • the first acquisition unit 1100 acquires metadata including a plurality of resource position specifier groups configured from resource position specifiers that specify the location of each partial video data.
  • the first acquisition unit 1100 will be described more specifically with reference to FIG.
  • FIG. 3 is a diagram illustrating an example of metadata included in content data to be played back by the playback system 1 according to the first embodiment of the present invention.
  • the MPD data 5 includes at least time-division data period 5a from time t1 to t2, and time-division data period 5b from time t2 to t3.
  • Period 5a and Period 5b include partial video data groups for each viewpoint and line-of-sight direction among the partial video data.
  • the partial video data group includes a plurality of AdaptationSets (resource location specifier groups) 50a, 51a, 50b, 51b, 55b, and 59b, each of which includes a resource location designator (URL) that designates the location of each partial video data. include.
  • the line-of-sight directions of the segment data indicated by the URL (resource location specifier) of the Segment included in the AdaptationSets 50a and 51a are different from each other in the Period 5a.
  • Period 5b at least one of the viewpoint and the line-of-sight direction of the segment data indicated by the URL (resource location specifier) of the Segment included in AdaptationSet 50b, 51b, 55b, and 59b is different from each other.
  • any resource position specifier group corresponds to the same viewpoint or the same line-of-sight direction as the resource position specifiers of other resource position specifier groups. Does not contain a position specifier.
  • the playback device 100 of the playback system 1 plays back the partial video in the free viewing mode (first playback mode) in which the user freely switches the viewpoint or line of sight while moving. Can do.
  • the second acquisition unit 1110 acquires each partial video data from the location indicated by the metadata.
  • the second acquisition unit 1110 first detects the position and line-of-sight direction of the user in the virtual space coordinate system.
  • the position of the user can be detected by known position information acquisition means such as various sensors and GPS.
  • the second acquisition unit 1110 identifies a viewpoint determined by the position of the user.
  • the user's line-of-sight direction can be detected by a post-acceleration sensor or the like provided in the head mounted display.
  • the second acquisition unit 1110 selects a resource position specifier group corresponding to the user's viewpoint and line-of-sight direction from one or a plurality of resource position specifier groups.
  • the second acquisition unit 1110 sequentially acquires resource position specifiers (URLs) including information on viewpoints and line-of-sight directions corresponding to the user's position and line-of-sight direction by referring to the resource position specifier group. be able to.
  • the second acquisition unit 1110 can acquire partial video data based on the viewpoint and line-of-sight direction corresponding to the user's position and line-of-sight direction with reference to the URL.
  • the reproduction unit 120 reproduces a partial video indicated by each partial video data acquired by the second acquisition unit 1110.
  • the playback unit 120 plays back the partial video indicated by the partial video data 5000a, 5000n, 5100a, 5100n, etc. from time t1 to t2.
  • the partial video data from t1 to t2 is segment data of the first to kth segments in the viewpoint P1 line-of-sight direction D0 of the 360 video V1, and the viewpoint P1 line-of-sight direction Dn. is there.
  • 360 video means a celestial sphere image viewed from a certain viewpoint in a virtual space.
  • the playback unit 120 plays the 360 video V1 when viewing the line-of-sight directions D0 to Dn from the viewpoint P1 in the virtual space at time t1 to t2.
  • the playback unit 120 plays back the partial video in the free viewing mode.
  • each adaptation set at times t1 to t2 is assigned to partial video data with different line-of-sight directions (D0 to Dn) at the viewpoint P1.
  • partial video data having different viewpoints (P1_1 to P1_9) or line-of-sight directions (D0 to Dn) are assigned to the respective AdaptationSets at times t2 to t3.
  • the playback unit 120 plays the 360 video V1 when viewing the different gaze direction from the viewpoint P1, so as to respond to the change in the gaze direction of the user. Reproduce.
  • the playback unit 120 can cause the user to view a video looking around 360 ° from the viewpoint P1.
  • the reproducing unit 120 reproduces the partial video indicated by the partial video data 5000b, 5100b, 5500b, 5900b, etc. from time t2 to t3.
  • the partial video data in t2 to t3 are the viewpoint 3601 viewing direction D0 of extended 360 video,... Viewing point P1_1 viewing direction Dn,... Viewing point P1_5 viewing direction D0,.
  • the segment data of the first to kth segments in the viewpoint P1_9 line-of-sight direction Dn.
  • the extended 360 video means a celestial sphere image that is viewed from a viewpoint within a predetermined range based on one point in the virtual space.
  • the playback unit 120 plays back the extended 360 video V1 when viewing the line-of-sight directions D0 to Dn from the viewpoints P1_1 to P1_9 within a predetermined range with respect to the viewpoint P1 at the times t2 to t3. To do.
  • the playback unit 120 can cause the user to view a video looking around 360 ° from the viewpoints P1_1 to P1_9.
  • the playback unit 120 can play back a slight change in the viewpoint of the user by reflecting the change in the partial video. Therefore, the playback system 1 can improve the reality when the user views the extended 360 video V1 while wearing the head mounted display.
  • the playback unit 120 can provide partial videos from various angles to the user who views the extended 360 video V1. Details of the viewpoint and the line-of-sight direction will be described later.
  • the storage unit 130 buffers partial video data (segment data) indicated by each resource position specifier that specifies the location of the partial video data to be played back, and stores metadata related to the partial video data to be played back. It is a medium.
  • Network I / F 140 The network I / F 140 transmits / receives data to / from the generation apparatus 300.
  • the display unit 150 is a display that displays a partial video to be reproduced.
  • the operation unit 160 is an operation panel for the user to give instructions to the playback device 100.
  • the generation apparatus 300 generates metadata that is referred to by the reproduction apparatus 100 that reproduces content data that is time-divided into a plurality of time-division data and distributes the metadata to the reproduction apparatus 100.
  • the generation device 300 includes a distribution unit 310, a metadata generation unit 320, and a parameter generation unit 330.
  • Distribution unit 310 Upon receiving a metadata request from the playback device 100, the distribution unit 310 distributes the latest metadata recorded in the NAS 400 to the playback device 100 at that time.
  • the distribution unit 310 can transmit metadata regarding the omnidirectional video.
  • the metadata generation unit 320 generates metadata including a plurality of resource position specifier groups configured from resource position specifiers that specify the location of each partial video data.
  • the metadata generation unit 320 generates MPD data 5 including a plurality of AdaptationSets 50a, 51a, 50b, 51b, 55b, and 59b in FIG.
  • the metadata generation unit 320 can generate metadata regarding the omnidirectional video.
  • the metadata generation unit 320 generates metadata indicating which partial video of the 360 video and the extended 360 video V1.
  • the metadata generation unit 320 distributes metadata generated using these to the playback device 100. By receiving and referring to the metadata, the playback device 100 can play back while switching the viewpoint and line-of-sight direction of 360 video or extended 360 video for each period. For example, as illustrated in FIG. 3, the metadata generation unit 320 can generate time-division data Period 5a related to 360 video and time-division data Period 5b related to extended 360 video.
  • the metadata generation unit 320 views the metadata in the free viewing mode in which the user freely switches the viewpoint or line-of-sight direction while moving, or the video of the viewpoint recommended by the content creator without moving. Generate metadata for the recommended viewing mode.
  • the metadata generation unit 320 uses a resource position specifier (URL) indicating the parameter group regarding the free viewpoint and the free line-of-sight direction generated by the parameter generation unit 330 and the partial video data.
  • URL resource position specifier
  • the metadata generation unit 320 includes a resource group designator (URL) indicating the parameter group regarding the recommended viewpoint and the recommended line-of-sight direction generated by the parameter generation unit 330, and the partial video data.
  • the parameter generation unit 330 generates various parameters referred to by the metadata generation unit 320 to generate metadata.
  • the parameter generation unit 330 generates a parameter group related to the viewpoint and the line-of-sight direction for each AdaptationSet shown in FIG. Thereby, as shown in FIG. 3, the metadata generation unit 320 can add parameters regarding the viewpoint and line-of-sight direction generated by the parameter generation unit 330 to the metadata (MPD data).
  • the NAS 400 is a network storage that holds metadata and each partial video data.
  • the playback system 1 when the free viewing mode is always set, the playback system 1 generates and transmits metadata regarding the omnidirectional video, and reproduces the omnidirectional video based on the metadata.
  • the present embodiment is not limited to this. Even when the playback system 1 is always in the recommended viewing mode (second playback mode), it is possible to generate and transmit metadata related to the omnidirectional video and reproduce the omnidirectional video based on the metadata. .
  • the recommended viewing mode is a viewing mode in which the user views the video of the viewpoint recommended by the content creator without moving, and among a plurality of resource position specifier groups, there is a certain resource position specifier group.
  • the resource position specifiers corresponding to the same viewpoint or the same line-of-sight direction as the resource position specifiers included in the other resource position specifier groups are included.
  • FIG. 4 is a diagram illustrating an example of metadata included in content data to be played back by the playback system 1 according to the first embodiment of the present invention.
  • Segment 500a in AdaptationSet 50a and Segment 510a in AdaptationSet 51a are both associated with partial video data (segment data) 5000a that is the first segment in viewpoint P1 line-of-sight direction D0.
  • the Segment 500n in the AdaptationSet 50a and the Segment 510n in the AdaptationSet 51a are both associated with the partial video data (segment data) 5000n that is the k-th segment in the viewpoint P1 line-of-sight direction D0.
  • Segment 500b in AdaptationSet 50b, Segment 510b in AdaptationSet 51b, Segment 550b in AdaptationSet 55b, and Segment 590b in AdaptationSet 59b all correspond to partial video data (segment data) 5500b that is the first segment in viewpoint P1_5 line-of-sight direction D0. It is attached.
  • the Segment and the partial video data are associated with each other in a many-to-one relationship.
  • the viewpoint and line-of-sight direction recommended by the content creator can be obtained by using the metadata as described above.
  • the user can view the video. Even if the user does not move, the playback device 100 of the playback system 1 can allow the user to view the video from the viewpoint and the line-of-sight direction recommended by the content creator.
  • Supplementary Descriptors 501a and 551b are added to the AdaptationSets 50a and 55b in FIG.
  • SupplementalDescriptor 501a and 551b include a group of parameters related to the viewpoint P1 line-of-sight direction D0 and viewpoint P1_5 line-of-sight direction D0, which are the recommended viewpoint and line-of-sight direction, respectively.
  • the SupplementalDescriptor included in the AdaptationSet includes a parameter group related to the recommended viewpoint and line-of-sight direction.
  • EssentialDescriptors 511a, 501b, 511b and 591b are added to the AdaptationSets 51a, 50b, 51b and 59b in FIG.
  • the EssentialDescriptors 511a, 501b, 511b, and 591b include parameter groups related to the viewpoint P1 line-of-sight direction Dn, the viewpoint P1_1 line-of-sight direction D0, the viewpoint P1_1 line-of-sight direction Dn, and the viewpoint P1_9 line-of-sight direction Dn, respectively.
  • the EssentialDescriptor included in the AdaptationSet includes, for example, a parameter group related to other than the recommended viewpoint and line-of-sight direction.
  • Such SupplementalDescriptor and EssentialDescriptor are generated by the parameter generation unit 330 of the generation device 300.
  • the metadata generation unit 320 adds SupplementalDescriptor and EssentialDescriptor data to the generated metadata. For example, as illustrated in FIG. 4, the metadata generation unit 320 distributes metadata to which the Supplemental Descriptor or Essential Descriptor information is assigned to the playback apparatus 100 for each AdaptationSet.
  • the first acquisition unit 1100 of the playback apparatus 100 acquires a parameter group related to the recommended viewpoint and line-of-sight direction and a resource location specifier (URL) indicating partial video data from the SupplementDescriptors 501a and 551b. Also, the first acquisition unit 1100 acquires a parameter group related to viewpoints and line-of-sight directions other than the recommended viewpoint and line-of-sight direction, and a resource position specifier (URL) indicating partial video data from the EssentialDescriptors 511a, 501b, 511b, and 591b. To do.
  • each partial video data acquired by the second acquisition unit 1110 is as shown in FIG. That is, with respect to Period 5a, partial video data 5000a to 5000n that are the k-th segment from the first segment in the viewpoint P1 line-of-sight direction D0 are obtained.
  • Period 5b partial video data after partial video data 5500b, which is the first segment in the viewpoint P1_5 line-of-sight direction D0, is obtained.
  • the AdaptationSet to which the above-described SupplementalDescriptor is added can be used even in a device that does not support 360 video and a device that does not support extended 360 video. That is, by referring to the AdaptationSet to which the SupplementalDescriptor is added, even in a device that does not support 360 video or extended 360 video, etc., a parameter group relating to the recommended viewpoint and line-of-sight direction, and a resource location specifier (URL) indicating partial video data are set. Can be acquired. As a result, even a 360 video incompatible device or the like can suitably reproduce the video in the viewpoint and line-of-sight direction recommended by the content creator.
  • the metadata relating to the viewpoint and line-of-sight direction used when the recommended viewing mode is selected is not limited to the above-described SupplementalDescriptor and EssentialDescriptor. As long as the recommended viewing mode as described above can be realized, the playback system 1 can use metadata regarding an arbitrary viewpoint and line-of-sight direction.
  • FIG. 5 is a diagram for explaining an example of partial video playback using MPD data in the recommended viewing mode of the playback system 1.
  • FIG. 5 is a diagram for explaining a partial video that is played back when the playback system 1 refers to the MPD data 6 shown in FIG.
  • the partial video data 5000a to 5000n in the viewpoint P1 line-of-sight direction D0 are recommended, and this is schematically shown as (a) in FIG. become.
  • the playback unit 120 of the playback device 100 plays back a partial video from the viewpoint P1 to the line-of-sight direction D0 in the 360 video V1. This means that even if the user changes the line-of-sight direction with the head-mounted display attached, the partial video image from the viewpoint P1 to the line-of-sight direction D0 is viewed in all the line-of-sight directions.
  • the partial video in the viewpoint P1_5 line-of-sight direction D0 is recommended. This means that even if the user changes the line-of-sight direction while wearing the head-mounted display, the partial video in the line-of-sight direction D0 is viewed from the viewpoint P1_5 in all the line-of-sight directions.
  • the playback system 1 uses the MPD data in the recommended viewing mode, so that the playback system 1 can use the specific viewing direction recommended by the content creator regardless of the movement of the user (change in viewpoint and viewing direction). Can be viewed by the user.
  • At least one of the viewpoint and line-of-sight direction recommended by the playback system 1 may change at time t2. Even in this case, the playback system 1 can allow the user to view the partial video recommended by the content creator without moving the user.
  • FIG. 6 is a flowchart showing a flow of generation processing in the generation apparatus 300 of the reproduction system 1 according to the present embodiment.
  • Step S101 As shown in FIG. 6, the metadata generation unit 320 of the generation device 300 first determines whether the viewing mode is the free viewing mode or the recommended viewing mode. When the free viewing mode is selected (YES in step S101), the process proceeds to step S102. When the recommended viewing mode is selected (NO in step S101), the process proceeds to step S103.
  • Step S102 When the free viewing mode is selected, the metadata generation unit 320 of the generation device 300 generates free viewing mode metadata. That is, the metadata generation unit 320 of the generation device 300 generates MPD data 5 as shown in FIG. 3, for example. The metadata generation unit 320 of the generation device 300 ends the generation process after generating the metadata in the free viewing mode.
  • Step S103 When the recommended viewing mode is selected, the metadata generation unit 320 of the generation device 300 generates metadata of the recommended viewing mode. That is, the metadata generation unit 320 of the generation device 300 generates MPD data 6 as shown in FIG. 4, for example. The metadata generation unit 320 of the generation device 300 ends the generation process after generating the metadata of the recommended viewing mode.
  • FIG. 7 is a flowchart showing the flow of playback processing in the playback device 100 of the playback system 1 according to the present embodiment.
  • Step S111 As shown in FIG. 7, the control unit 110 of the playback device 100 first determines whether the viewing mode is the free viewing mode or the recommended viewing mode. When the free viewing mode is selected (YES in step S111), the process proceeds to step S112. When the recommended viewing mode is selected (NO in step S111), the process proceeds to step S113.
  • Step S112 When the free viewing mode is selected, the first acquisition unit 1100 in the control unit 110 of the playback device 100 requests metadata of the free viewing mode from the generation device 300. Subsequently, the first acquisition unit 1100 of the playback device 100 acquires metadata of a free viewing mode including a plurality of resource position specifier groups from the generation device 300 (first acquisition step).
  • Step S113 When the recommended viewing mode is selected, the first acquisition unit 1100 in the control unit 110 of the playback device 100 requests metadata of the recommended viewing mode from the generation device 300. Subsequently, the first acquisition unit 1100 of the playback device 100 acquires metadata of a recommended viewing mode including a plurality of resource position specifier groups from the generation device 300 (first acquisition step).
  • Step S114 The second acquisition unit 1110 of the playback device 100 first detects the user's position and line-of-sight direction. The user's position and line-of-sight direction can be detected by known position information acquisition means such as GPS and various sensors.
  • Step S115 Next, the second acquisition unit 1110 of the playback device 100 selects a resource position specifier group corresponding to the position and line-of-sight direction of the user from one or a plurality of resource position specifier groups.
  • Step S116 The second acquisition unit 1110 of the playback device 100 acquires partial video data by sequentially referring to the resource position specifier from the selected resource position specifier group (second acquisition step).
  • the first acquisition unit 1100 has acquired time-division data Period 5 a in the free viewing mode from time t 1 to t 2 in the MPD data 5.
  • the second acquisition unit 1110 refers to the Segments 500a,... 500n in order from the AdaptationSet 50a, and requests partial video data.
  • the 2nd acquisition part 1110 acquires partial video data 5000a ?? 5000n sequentially from the said Segment.
  • the control unit 110 of the playback apparatus 100 may display a message such as “extended 360 video” on the display unit 150. Thereby, the control part 110 of the reproducing
  • Step S117 The playback unit 120 of the playback device 100 plays back the partial video data acquired by the second acquisition unit 1110 (playback process).
  • the reproduction unit 120 of the reproduction apparatus 100 ends the reproduction process.
  • the playback device 100 executes the above steps S114 to S117 in predetermined time units.
  • the reproducing device 100 executes steps S114 to S117 for each period 5a and 5b shown in FIGS.
  • the playback device 100 of the playback system 1 always plays back the partial video in the free viewing mode or the recommended viewing mode.
  • the playback device may play back the partial video by switching between the free viewing mode and the recommended viewing mode.
  • Embodiment 2 will be described with reference to FIGS.
  • members having the same functions as those described in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 8 is a block diagram showing a main configuration of the playback system 2 according to the present embodiment.
  • the control unit 610 of the playback device 600 of the playback system 2 according to the present embodiment also functions as a switching unit 1120 in addition to the members of the control unit 110. Except for this point, the playback device 600 has the same configuration as the playback device 100.
  • the playback device 600 includes a control unit 610.
  • the control unit 610 functions as the switching unit 1120.
  • the switching unit 1120 switches between the free viewing mode and the recommended viewing mode. In this case, the switching unit 1120 may switch from the free viewing mode to the recommended viewing mode, or may switch from the recommended viewing mode to the free viewing mode.
  • the playback device 600 includes the switching unit 1120, so that the viewing mode can be switched independently of which of 360 video and extended 360 video is played. As a result, the playback device 600 can play 360 videos or extended 360 videos in a viewing mode suitable for each time.
  • FIG. 9 is a diagram illustrating an example of metadata regarding switching of viewing modes included in metadata referred to by the switching unit 1120 of the playback device 600.
  • EventStream 60 is added to FIG. That is, the playback device 600 that has received the metadata of FIG. 9A can play 360 videos in the recommended viewing mode.
  • FIG. 9A some elements of FIG. 3 such as AdaptationSet 51a and Period 5b are omitted.
  • (B) of FIG. 9 is a diagram showing a specific example of EventStream60.
  • EventStream 60 events such as a 360 video distribution start event and an extended 360 video distribution start event can be described.
  • the type of event described in the EventStream 60 is identified by the value of the value attribute of the EventStream element.
  • the meaning of each value described in the value attribute is defined by the URI indicated by the scheme_id_uri attribute of the EventStream element.
  • the switching unit 1120 can switch not only the viewing mode but also the video type.
  • the presentation Time attribute of the Event element indicates the delivery start time of 360 video / extended 360 video.
  • the duration attribute of the Event element indicates the delivery period of 360 videos / extended 360 videos.
  • the num Of View attribute of the Event element indicates the number of viewpoints in the extended 360 video.
  • the playback device 600 acquires MPD data in the free viewing mode from the generation device 300 at an appropriate timing based on the EventStream 60 when the partial video is played back in the free viewing mode of the extended 360 video starting from the time t2. Thereby, it is possible to switch from the recommended viewing mode to the free viewing mode.
  • EventStream 60 is added when MPD data in the recommended viewing mode is first acquired.
  • a DASH MPD update mechanism may be used, for example, MPD data with EventStream 60 added may be acquired at the timing of MPD update immediately before time t2.
  • the switching unit 1120 switches the viewing mode with reference to the EventStream 60, but the present embodiment is not limited to this.
  • the switching unit 1120 may acquire metadata regarding switching of the viewing mode from the Inband Event 70 included in the partial video data, and may switch the viewing mode with reference to the acquired metadata.
  • Inband® Event 70 refers to an event message box specified by DASH.
  • FIG. 10B is a diagram showing the configuration of the event message box. Inband Event 70 is described in fields of scheme_id_uri, value, time_scale, presentation_time_delta, event_duration, id, and message_data [].
  • scheme_id_uri "urn: mpeg: dash: vr: event: 2017”
  • the switching unit 1120 can switch not only the viewing mode but also the video type, similarly to the EventStream 60, by changing the value described in the value attribute of the Inband event 70.
  • Time_scale means the time scale of the value of the time-related field.
  • presentation_time_delta the difference value between the start time of the segment data to which Inband Event 70 is added and the 360 video or extended 360 video distribution start time is described in the above-described time scale.
  • event_duration the delivery period of 360 video or extended 360 video is described in the above time scale.
  • id means an event identifier.
  • the message_data [] describes information indicating the ID of the AdaptationSet corresponding to the current viewpoint and line-of-sight direction. In the case of the extended 360 video, message_data [] may further describe the number of viewpoints and the viewpoint range.
  • FIG. 10 is a diagram illustrating an example of metadata referred to by the playback system 2, partial video data, and metadata related to switching of a viewing mode included in the partial video data.
  • FIG. 10 is different in that an inband event 70 is added to the partial video data 5000n of FIG. That is, the playback device 600 that has received the metadata in FIG. 10A can play 360 videos in the recommended viewing mode.
  • FIG. 10A some elements of FIG. 3 such as AdaptationSet 51a and Period 5b are omitted.
  • an Inband Event 70 indicating that the extended 360 video with the number of viewpoints 9 is distributed to the partial video data 5000n indicated by the Segment 500n during the period from time t2 to t3, as in the case of EventStream60. It is included.
  • the playback device 600 When the playback device 600 plays back the extended 360 video started at time t2 in the free viewing mode, the playback device 600 acquires MPD data in the free viewing mode from the generation device 300 at an appropriate timing based on the Inband Event 70. Accordingly, the switching unit 1120 of the playback device 600 can switch from the recommended viewing mode to the free viewing mode at an appropriate timing.
  • the Inband® Event 70 is configured to multiplex metadata related to switching of viewing modes into partial video data. Therefore, in live distribution or the like, the switching unit 1120 of the playback device 600 can acquire the Inband Event 70 at an appropriate timing even if the type of video to be distributed is not known until immediately before the start of distribution. Thereby, the switching unit 1120 of the playback device 600 can switch the viewing mode at an appropriate timing.
  • the switching unit 1120 may acquire metadata regarding switching of the viewing mode from SEI (Supplemental Enhanced Information) included in the partial video data.
  • SEI Supplemental Enhanced Information
  • the switching unit 1120 may switch the viewing mode with reference to the metadata.
  • FIG. 11 is a diagram illustrating an example of metadata relating to switching of viewing modes included in metadata referred to by the playback system 2, and is also a diagram illustrating segment data having a NAL structure.
  • the NAL is a layer provided for abstracting communication between a VCL (Video Coding Layer) that is a layer that performs a moving image encoding process and a lower system that transmits and stores encoded data. is there.
  • VCL Video Coding Layer
  • AUD means access unit delimiter. AUD indicates the start of one frame such as Frame 50000a.
  • VPS refers to the video parameter set.
  • VPS is a parameter set for defining parameters common to a plurality of frames.
  • VPS defines a set of coding parameters common to a plurality of partial videos, a plurality of layers included in the partial video, and a set of coding parameters related to individual layers in a partial video composed of a plurality of layers. Has been.
  • SPS refers to the sequence parameter set.
  • SPS defines a set of encoding parameters for decoding Frame 50000a. For example, the width and height of the picture are defined.
  • PPS refers to the picture parameter set. PPS defines a set of encoding parameters for decoding each picture in Frame 50000a.
  • SLICE refers to a slice layer.
  • SLICE a set of data for decoding a slice to be processed is defined.
  • the switching unit 1120 can acquire the metadata related to the viewing mode switching from the SEI in the Frame 50000n of the segment data 5000n as shown in FIG.
  • the playback device 600 When the playback device 600 plays back the extended 360 video started at time t2 in the free viewing mode, the playback device 600 acquires the MPD data in the free viewing mode from the generation device 300 at an appropriate timing based on the SEI described above. To do. Accordingly, the switching unit 1120 of the playback device 600 can switch from the recommended viewing mode to the free viewing mode at an appropriate timing.
  • the switching unit 1120 can switch not only the viewing mode but also the video type by SEI.
  • FIG. 12 is a flowchart showing a flow of generation processing relating to video type switching in the generation apparatus 300 of the reproduction system 2 according to the present embodiment.
  • Step S211 As shown in FIG. 12, when the metadata generation unit 320 of the generation device 300 switches the video type (YES in Step S211), the process proceeds to Step S212. If the metadata generation unit 320 of the generation device 300 does not switch the video type (NO in step S211), the metadata generation processing regarding viewing mode switching ends.
  • Step S212 The metadata generation unit 320 of the generation device 300 generates metadata for switching the video type.
  • the metadata generation unit 320 of the generation device 300 generates metadata such as EventStream 60, Inband Event 70, and SEI.
  • Step S213 When the EventStream 60 is used as metadata for switching the video type, the metadata generation unit 320 of the generation device 300 attaches the EventStream 60 to metadata such as MPD data generated separately from the metadata. Subsequently, the distribution unit 310 of the generation device 300 distributes metadata such as MPD data to which the EventStream 60 is assigned to the playback device 600.
  • the metadata generation unit 320 of the generation device 300 assigns the metadata for switching the video type in a form of multiplexing the segment data. Subsequently, the distribution unit 310 of the generation apparatus 300 distributes the segment data to which the Inband Event 70 is assigned to the reproduction apparatus 600.
  • the metadata generation unit 320 of the generation device 300 assigns metadata for switching the video type in a form that is multiplexed with SEI in the segment data. Subsequently, the distribution unit 310 of the generation apparatus 300 distributes the segment data to which the SEI is assigned to the reproduction apparatus 600.
  • the generation apparatus 300 ends the metadata generation processing related to switching of the viewing mode after distributing metadata such as MPD data to which metadata for switching video types is added or segment data.
  • the metadata generation unit 320 of the generation apparatus 300 executes the above steps S211 to S213 for each segment data distribution unit.
  • FIG. 13 is a flowchart showing the flow of playback processing in the playback device 600 of the playback system 2 according to this embodiment.
  • steps S221 to S227 in FIG. 13 are the same as steps S111 to S117 in FIG. 7, the description thereof is omitted here.
  • Step S228 When the second acquisition unit 1110 of the playback device 600 sequentially acquires resource position specifiers from the resource position specifier group, the switching unit 1120 of the playback device 600 views from within MPD data or segment data. Search for metadata about mode switching. When the switching unit 1120 of the playback device 600 detects metadata related to switching from within MPD data or segment data (YES in step S228), the process proceeds to step S229. When the switching unit 1120 of the playback device 600 does not detect metadata related to switching from within MPD data or segment data (NO in step S228), the process returns to step S226.
  • the second acquisition unit 1110 of the playback device 600 detects the EventStream 60 from within the Period 5a as shown in FIG. Further, as shown in FIGS. 10 and 11, the second acquisition unit 1110 of the playback device 600 detects Inband Event 70 or SEI from the segment data 5000n.
  • Step S229 When the switching unit 1120 of the playback device 600 selects to switch the viewing mode (YES in Step S229), the generation process ends. In this case, the switching unit 1120 of the playback device 600 generates MPD data of another viewing mode in the generation device 300 so that time division data obtained by switching from the current viewing mode to another viewing mode can be acquired from the next time. To request. When the switching unit 1120 selects not to switch the viewing mode (NO in step S229), the process returns to step S226.
  • the second acquisition unit 1110 of the playback device 600 can allow the user to view the partial video in the viewing mode.
  • the playback device 600 executes the above steps S224 to S229 in predetermined time units. For example, the playback device 600 executes steps S224 to S229 for each period 5a and 5b shown in FIG.
  • 360 video or extended 360 video shot by one camera is selected and played from a single viewpoint (single view), but the present invention is not limited to this.
  • the playback system may play 360 videos or extended 360 videos reflecting partial videos taken from a plurality of viewpoints (multiviews), like the playback system 3 of the present embodiment.
  • Embodiment 3 will be described with reference to FIGS.
  • members having the same functions as those described in the first and second embodiments are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 14 is a block diagram showing a main configuration of the playback system 3 according to the present embodiment.
  • the playback system 3 includes a playback device 600 and a generation device 900.
  • the generation device 900 of the reproduction system 3 includes a metadata generation unit 920 and a parameter generation unit 930 instead of the metadata generation unit 320 and the parameter generation unit 330. Except for this point, the generation device 900 has the same configuration as the generation device 300.
  • the metadata generation unit 920 of the generation device 900 includes a plurality of resource positions configured from resource position specifiers that specify the location of each partial video data included in each partial video data group captured from the viewpoint P0 and the viewpoint P1. Generate metadata including specifiers.
  • the metadata generation unit 920 causes the parameter generation unit 930 to further generate global position information such as GPS information including the viewpoint P0 and the viewpoint P1, and assigns it to metadata such as MPD data.
  • the metadata generation unit 920 can clarify the relative positional relationship between the viewpoint P0 and the viewpoint P1, and can distinguish the position of the viewpoint.
  • the metadata generation unit 920 includes a resource position specifier group indicating the location of the partial video data captured from the viewpoint P0, and a resource location specifier group indicating the location of the data of the partial video captured from the viewpoint P1. Metadata can be created with distinction.
  • the second acquisition unit 1110 of the playback device 600 acquires the partial video data from P0 and the partial video data from P1 without confusion even when referring to the resource position specifier group of the metadata. can do. Thereby, even if the playback unit 120 of the playback device 600 captures images with a plurality of cameras, the playback device 120 can accurately reproduce the partial images captured by each of the user viewpoints and line-of-sight directions.
  • the playback system 3 switches the camera at the viewpoint P1 from the 360 video V1 to the extended 360 video V1 from time t2 to t3.
  • the metadata generation unit 920 can generate metadata in the same manner as in the above-described embodiment except that global position information is added to the metadata.
  • the metadata generation unit 920 of the playback system 3 distributes global position information including the viewpoints P0 and P1 to the playback device 600 as timed metadata. Further, the metadata generation unit 920 of the reproduction system 3 causes the parameter generation unit 330 to generate an identifier for identifying timed metadata to be referred to by the resource position specifier group (AdaptationSet) in each viewpoint and line-of-sight direction.
  • AdaptationSet resource position specifier group
  • the metadata generation unit 920 of the reproduction system 3 even when the camera moves, the metadata can be created by distinguishing the resource position specifier groups of the plurality of cameras.
  • control blocks (particularly the control units 110 and 610 and the metadata generation units 320 and 920) of the playback devices 100 and 600 and the generation devices 300 and 900 are formed by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. It may be realized or may be realized by software using a CPU (Central Processing Unit).
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the playback devices 100 and 600 and the generation devices 300 and 900 have a CPU that executes instructions of a program that is software that realizes each function, and the program and various data are recorded so as to be readable by a computer (or CPU).
  • ROM Read Only Memory
  • storage device these are referred to as “recording media”
  • RAM Random Access Memory
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • any transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the playback device (100, 600) is the playback device (100, 600) that plays back content data that is time-divided into a plurality of time-sharing data (Periods 5a, 5b).
  • the time-sharing data (Period 5a, 5b) of each of the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) constituting the omnidirectional video is at least one of the viewpoint and the line-of-sight direction.
  • the playback device (100, 600) includes each partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) Metadata including a plurality of resource position specifier groups (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) composed of resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550b, 590b) From the location indicated by the first acquisition unit (1100) for acquiring (MPD data 5, 6) and the metadata (MPD data 5, 6), each partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b) 5500b, 5900b) and the partial image data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) acquired by the second acquisition unit (1110). ) That
  • the playback device (100, 600) includes the first acquisition unit (1100), the second acquisition unit (1110), and the playback unit (120), so that A celestial sphere image can be reproduced based on the metadata about the image.
  • any resource location designation from the plurality of resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b)
  • the child position (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) is also the resource position specifier (Segment 500a, 500n, 510a) included in the other resource position specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b).
  • 510n, 500b, 510b, 550n, 590b may not include resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) corresponding to the same viewpoint or the same line-of-sight direction. .
  • the playback device (100, 600) can play back the partial video in the first playback mode (free viewing mode).
  • any resource location designation among the plurality of resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b)
  • any resource position specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) include any resource location specifier group (AdaptationSet 50a, 51a, 50b) of the other resource location specifier groups (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b).
  • resource location specifiers may include resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) corresponding to the same viewpoint or the same line-of-sight direction.
  • the playback device (100, 600) can play back the partial video in the second playback mode (recommended viewing mode).
  • each partial video included in the time-division data is DASH (Dynamic / Adaptive / Streaming / over / HTTP).
  • the specified media segment, the metadata (MPD data 5, 6) is DASH-specified MPD data related to the content data
  • the resource location specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) is the URL of the media segment
  • each of the resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b) may be each DASH-defined AdaptationSet.
  • Each partial video included in the time division data can be suitably used as a media segment defined by DASH (Dynamic Adaptive Streaming over HTTP).
  • the metadata (MPD data 5 and 6) can be preferably used as MPD data defined by DASH for content data.
  • the resource location specifier (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) can be suitably used as the URL of the media segment.
  • Each of the resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b) can be suitably used as each DASH-defined AdaptationSet.
  • the first acquisition unit (1100) uses the viewpoint and line of sight of each partial video from the Supplemental Descriptor or the Essential Descriptor included in each AdaptationSet.
  • a parameter group including the direction may be acquired.
  • the first acquisition unit (1100) can preferably acquire a parameter group including the viewpoint and line-of-sight direction of each partial video from the SupplementalDescriptor or EssentialDescriptor included in each AdaptationSet.
  • the first acquisition unit (1100) may acquire a parameter group related to a recommended viewpoint and line-of-sight direction from the SupplementaryDescriptor. .
  • 1st acquisition part (1100) can acquire suitably the parameter group regarding a recommended viewpoint and a gaze direction from SupplementalDescriptor.
  • any resource position in the plurality of resource position specifier groups (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b)
  • the specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) is also a resource location specifier (Segment 500a, 500n, 500b, 59b) included in another resource position specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) 510a, 510n, 500b, 510b, 550n, 590b)
  • Among a plurality of resource location specifier groups (AdaptationSet 50a, 51a, 50b, 51b
  • Resources corresponding to the same viewpoint or the same line-of-sight direction as the resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) included in the child group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) Switching to switch between the second playback mode (recommended viewing mode) referring to the metadata (MPD data 6) including the position specifier (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) A portion (1120) may be further provided.
  • the playback device (600) includes the switching unit (1120), so that the playback mode can be switched independently of which of 360 videos and extended 360 videos is played back. it can. Accordingly, the playback device (600) can play back a partial video of 360 video or extended 360 video in a playback mode suitable for the time.
  • the switching unit (1120) acquires metadata relating to switching of the playback mode from the EventStream (60) included in the MPD data, and acquires the acquired meta
  • the playback mode may be switched by referring to the data.
  • the switching unit (1120) of the playback device (600) can suitably use the EventStream (60) for switching the playback mode.
  • the switching unit (1120) is included in the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b).
  • the metadata related to the switching of the playback mode may be acquired from the Inband event (70), and the playback mode may be switched with reference to the acquired metadata.
  • the switching unit (1120) of the playback device (600) can suitably use the Inband Event (70) for switching the playback mode.
  • the switching unit (1120) is included in the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b). Metadata regarding switching of the playback mode may be acquired from SEI (Supplemental Enhanced Information), and the playback mode may be switched with reference to the acquired metadata.
  • SEI Supplemental Enhanced Information
  • the switching unit (1120) of the playback device (600) can suitably use SEI for switching the playback mode.
  • the generation device (300, 900) refers to a meta that is referenced by the playback device (100, 600) that plays back the content data that is time-divided into a plurality of time-sharing data (Period 5a, 5b)
  • the plurality of time-sharing data (Period 5a, 5b) are partial video data (5000a, 5000n, 5100a, 1 or a plurality of partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) for at least one of the viewpoint and the line-of-sight direction among 5100n, 5000b, 5100b, 500b, 5900b)
  • the generation device (300, 9 0) is a resource location specifier (Segment 500a, 500n) that specifies the location of each partial video data (5000
  • the metadata generation unit (320, 920) that performs the processing is provided.
  • the generation device (300, 900) since the generation device (300, 900) includes the metadata generation unit (320, 920), it is possible to generate metadata regarding the omnidirectional video.
  • the metadata generation unit (320, 920) includes the plurality of resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b), any resource location specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) is assigned to another resource location specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b).
  • Resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b) corresponding to the same viewpoint or the same line-of-sight direction as the included resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) 550n, 590b) metadata not included (MPD data 5) Generation may be.
  • the generation device (300, 900) can generate metadata (MPD data 5) for reproducing a partial video in the first reproduction mode (free viewing mode).
  • the metadata generation unit (320, 920) includes the plurality of resource location specifier groups (AdaptationSets 50a, 51a, 50b, 51b, 55b, 59b), a certain resource location specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b) is assigned to another resource location specifier group (AdaptationSet 50a, 51a, 50b, 51b, 55b, 59b).
  • Resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b) corresponding to the same viewpoint or the same line-of-sight direction as the included resource position specifiers (Segment 500a, 500n, 510a, 510n, 500b, 510b, 550n, 590b) 550n, 590b) included metadata (MPD data 6) Generation may be.
  • the generation device (300, 900) can generate metadata (MPD data 6) for reproducing a partial video in the second reproduction mode (recommended viewing mode).
  • the reproduction system (1, 2, 3) reproduces content data distributed in a time-division manner into a plurality of time-division data (Period 5a, 5b).
  • the plurality of time-sharing data (Period 5a, 5b) are the viewpoint and line-of-sight among the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) constituting the omnidirectional video.
  • Including one or a plurality of partial video data groups composed of partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) for each direction.
  • Resource position specifier group Adapt a first acquisition unit (1100) for
  • the playback system (1, 2, 3) includes the playback device (100, 600) and the generation device (300, 900), thereby generating metadata about the omnidirectional video,
  • the omnidirectional video can be reproduced based on the metadata.
  • a program according to aspect 15 of the present invention is a program that causes a computer to function as the playback device (100, 600) according to any one of the above aspects 1 to 10, and that causes the computer to function as each of the above-described units. is there.
  • the program can be preferably used to function as the above-described units of the playback device (100, 600).
  • a program according to the sixteenth aspect of the present invention is a program that causes a computer to function as the generating device (300, 900) according to any one of the above eleventh to thirteenth aspects, and that causes the computer to function as each of the above-described units. is there.
  • the program can be suitably used to function as the above-described units of the generation device (300, 900).
  • a recording medium according to aspect 17 of the present invention is a computer-readable recording medium in which the program according to aspect 15 or 16 is recorded.
  • the computer-readable recording medium can be suitably used for the program described in the above aspect 15 and the program described in the above aspect 16.
  • the reproduction method according to aspect 18 of the present invention is a reproduction method for reproducing content data that is time-divided into a plurality of time-division data (Period 5a, 5b).
  • the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b) constituting the omnidirectional video
  • partial video data (5000a, 5000n, 5100a) for at least one of the viewpoint and the line-of-sight direction.
  • 5100n, 5000b, 5100b, 500b, 5900b including one or a plurality of partial video data groups
  • the reproduction method includes each partial video data ( 5000a, 5000n, 5100a, 5100n, 5000b, 5 00b, 5500b, 5900b), a plurality of resource location specifier groups (AdaptationSets 50a, 51a, 50b) configured from resource location designators (Segment 500a, 500n, 510a, 550n, 500b, 510b, 510n, 590b) 51b, 55b, 59b) including the first acquisition step of acquiring metadata (MPD data 5, 6) and the location indicated by the metadata (MPD data 5, 6), each partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b), and the partial video data (5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b) acquired in the second acquisition step.
  • the reproduction method includes the first acquisition step, the second acquisition step, and the reproduction step, thereby reproducing the omnidirectional video based on the metadata regarding the omnidirectional video. Can do.
  • Playback system 5 6 MPD data (metadata) 5a, 5b Period (time division data) 50a, 51a, 50b, 51b, 55b, 59b AdaptationSet (resource location specifier group) 60 EventStream 70 Inband Event 500a, 500n, 510a, 510n, 500b, 510b, 550b, 590b Segment (resource location specifier) 5000a, 5000n, 5100a, 5100n, 5000b, 5100b, 5500b, 5900b Partial video data 501a, 551b SupplementalDescriptor 511a, 501b, 511b, 591b EssentialDescriptor 100, 600 Playback device 300, 900 Generation device 320, 920 Metadata generation unit 1100 First acquisition unit 1110 Second acquisition unit 1120 Switching unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

再生装置（１００）は、複数の資源位置指定子群を含むメタデータを取得する第１の取得部（１１００）と、メタデータが示す所在から各部分映像データを取得する第２の取得部（１１１０）と、第２の取得部（１１１０）が取得した各部分映像データの示す部分映像を再生する再生部（１２０）とを備えている。

Description

再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法
　本発明は、再生装置、生成装置、再生システム、プログラム、記録媒体及び生成方法に関する。
　近年、仮想空間中のある視点から全周を見渡して視聴することができる全天球映像を再生する技術が着目されている。このような技術には、全方位を撮影可能なカメラを使った技術、又は、複数台のカメラで撮影し、各カメラの撮影映像を繋ぎ合わせる技術がある。
　例えば、特許文献１には、複数のカメラによる撮像画像と位置情報とに基づき、撮像画像を視点変換画像に変換し、所定の仮想視点から眺めた映像を生成する技術が開示されている。
　また、近年、動画等のコンテンツを配信するための様々な技術が開発されている。コンテンツを配信するための技術としては、ＭＰＥＧ（Moving Picture Experts Group）にて現在標準化作業が進められているＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）が挙げられる。ＤＡＳＨでは、ＭＰＤ（Media Presentation Description）データ等のメタデータのフォーマットが規定されている。
日本国公開特許公報「特開２０１３－１０６３２４号公報（２０１３年５月３０日公開）」
　このような背景から、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生することができる技術が求められている。
　しかしながら、全天球映像の撮像に関する技術は開示されていても、全天球映像に関するメタデータをどのように生成、伝送し、当該メタデータに基づき全天球映像をどのように再生するのかについての技術は知られていない。
　本発明は、上記課題を踏まえたものであり、その目的は、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生する技術を実現することにある。
　上記の課題を解決するために、本発明の一態様に係る再生装置は、複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生装置において、上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、当該再生装置は、上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得部と、上記メタデータが示す所在から各部分映像データを取得する第２の取得部と、上記第２の取得部が取得した各部分映像データの示す部分映像を再生する再生部とを備えている。
　上記の課題を解決するために、本発明の一態様に係る生成装置は、複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生装置が参照するメタデータを生成する生成装置において、上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、当該生成装置は、上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを生成するメタデータ生成部を備えている。
　上記の課題を解決するために、本発明の一態様に係る再生システムは、複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生システムであって、上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、上記１又は複数の部分映像データ群に含まれる各部分映像データの所在である資源位置指定子を指定する複数の資源位置指定子群を含むメタデータを生成するメタデータ生成部と、上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得部と、上記メタデータが示す所在から各部分映像データを取得する第２の取得部と、上記第２の取得部が取得した各部分映像データの示す部分映像を再生する再生部とを備えている。
　上記の課題を解決するために、本発明の一態様に係る再生方法は、複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生方法において、上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、当該再生方法は、上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得工程と、上記メタデータが示す所在から各部分映像データを取得する第２の取得工程と、上記第２の取得工程において取得した各部分映像データの示す部分映像を再生する再生工程とを含んでいる。
　本発明の一態様によれば、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生する技術を実現することができる。
本発明の実施形態１に係る再生システムの要部構成を示すブロック図である。 本発明の実施形態１に係る再生システムの全体構成を示した図である。 本発明の実施形態１に係る再生システムが再生するためのコンテンツデータに含まれるメタデータの一例を示す図である。 本発明の実施形態１に係る再生システムが再生するためのコンテンツデータに含まれるメタデータの一例を示す図である。 本発明の実施形態１に係る再生システムの推奨視聴モードによる部分映像の再生例について説明するための図である。 本発明の実施形態１に係る再生システムにおける生成装置の生成処理の流れを示すフローチャートである。 本発明の実施形態１に係る再生システムにおける再生装置の再生処理の流れを示すフローチャートである。 本発明の実施形態２に係る再生システムの要部構成を示すブロック図である。 本発明の実施形態２に係る再生システムが参照するメタデータに含まれる視聴モードの切り替えに関するメタデータの一例を示す図である。 本発明の実施形態２に係る再生システムが参照するメタデータに含まれる視聴モードの切り替えに関するメタデータの一例を示す図である。 本発明の実施形態２に係る再生システムが参照するメタデータに含まれる視聴モードの切り替えに関するメタデータの一例を示す図である。 本発明の実施形態２に係る再生システムにおける再生装置の再生処理の流れを示すフローチャートである。 本発明の実施形態２に係る再生システムにおける再生装置の切り替え処理の流れを示すフローチャートである。 本発明の実施形態３に係る再生システムの要部構成を示すブロック図である。 本発明の実施形態３に係る再生システムにより再生される、全天球映像を構成する部分映像について説明するための図である。
　＜実施形態１＞
　本実施形態に係る再生システム１について図１～図８を参照しながら説明する。
　〔再生システム１〕
　図１は、本実施形態に係る再生システム１を示した図であり、図２は、本実施形態に係る再生システム１の全体構成を示した図である。
　図２に示すように、再生システム１は、再生装置１００と生成装置３００とネットワークストレージサーバ（ＮＡＳ）４００とを含むシステムである。また、再生装置１００及び生成装置３００は、インターネットＮＷに接続している。
　以下、再生装置１００、生成装置３００、及びＮＡＳ４００について説明する。
　〔再生装置１００〕
　再生装置１００は、複数の時分割データに時分割されて配信されるコンテンツデータを再生する。換言すれば、再生装置１００は、全天球映像を構成し、時分割データに含まれる部分映像データの示す各部分映像を所定の期間再生する。
　図１に示すように、再生装置１００は、制御部１１０、再生部１２０、記憶部１３０、ネットワークＩ／Ｆ１４０、表示部１５０、及び操作部１６０を備えている。
　なお、再生装置１００は、後述する再生部１２０が再生した部分映像を表示する表示部を備える構成としてもよい。このような構成では、ヘッドマウントディスプレイが再生装置１００を備え、再生された部分映像を、表示部１５０を介してユーザに提示する構成とすることができる。
　他の例として、再生部１２０は、再生対象の部分映像データを、再生装置１００とは別体で設けられた表示部１５０に供給する構成としてもよい。このような構成では、ヘッドマウントディスプレイが当該表示部１５０を備え、再生された部分映像を、当該表示部１５０を介してユーザに提示する構成とすることができる。
　［制御部１１０］
　制御部１１０は、操作部１６０を介して部分映像の再生指示をユーザから受け付けると、再生対象の部分映像に関するメタデータを生成装置３００から受信する。制御部１１０は、メタデータを参照し、部分映像を再生するための資源位置指定子を特定する。制御部１１０は、再生部１２０に、再生対象の部分映像を再生する期間及び資源位置指定子を参照させ、部分映像を再生させる。
　これにより、制御部１１０は、全天球映像に関するメタデータに基づき全天球映像を再生することができる。
　ここで、上述の部分映像としては、例えば、ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）規定のメディアセグメントを挙げることができる。上述のメタデータとしては、例えば、上述のコンテンツデータに関するＤＡＳＨ規定のＭＰＤ（Media PresentationDescription）データを挙げることができる。資源位置指定子としては、メディアセグメントのＵＲＬを挙げることができる。資源位置指定子群の各々は、ＤＡＳＨ規定の各AdaptationSetを挙げることができる。
　図１に示すように、制御部１１０は、第１の取得部１１００及び第２の取得部１１１０として機能する。
　（第１の取得部１１００）
　第１の取得部１１００は、各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する。
　以下、図３を用いて、第１の取得部１１００についてより具体的に説明する。
　図３は、本発明の実施形態１に係る再生システム１が再生するためのコンテンツデータに含まれるメタデータの一例を示す図である。
　図３に示す例では、ＭＰＤデータ５は、時刻ｔ１～ｔ２の時分割データPeriod５ａと、時刻ｔ２～ｔ３の時分割データPeriod５ｂとを少なくとも含んでいる。また、Period５ａ及びPeriod５ｂは、部分映像データのうち、視点及び視線方向毎の部分映像データ群を含んでいる。部分映像データ群には、各部分映像データの所在を指定する資源位置指定子（ＵＲＬ）から構成される、複数のAdaptationSet（資源位置指定子群）５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ及び５９ｂが含まれている。
　ここで、図３に示す例では、Period５ａにおいて、AdaptationSet５０ａと５１ａとに含まれるSegmentのＵＲＬ（資源位置指定子）の指し示すセグメントデータの視線方向は、互いに異なる。同様に、Period５ｂにおいて、AdaptationSet５０ｂと、５１ｂと、５５ｂと、５９ｂとに含まれるSegmentのＵＲＬ（資源位置指定子）の指し示すセグメントデータの視点及び視線方向の少なくとも一方は、互いに異なる。
　このように、図３では、少なくとも所定の期間に関する時分割データにおいて、何れの資源位置指定子群も、他の資源位置指定子群の資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子を含んでいない。このような構成によれば、再生システム１の再生装置１００は、ユーザが移動しながら自由に視点又は視線方向を切り替えて視聴する自由視聴モード（第１の再生モード）で部分映像を再生することができる。
　以下、再生システム１が常に自由視聴モードである場合における各部材の機能について説明する。
　（第２の取得部１１１０）
　第２の取得部１１１０は、メタデータが示す所在から各部分映像データを取得する。
　第２の取得部１１１０は、まず仮想空間座標系におけるユーザの位置及び視線方向を検出する。ユーザの位置は、例えば、各種センサ及びＧＰＳ等、公知の位置情報取得手段によって、検出することができる。第２の取得部１１１０は、ユーザの位置によって定まる視点を特定する。また、ユーザの視線方向は、ヘッドマウントディスプレイが備える加速後センサ等によって検出することができる。
　第２の取得部１１１０は、１又は複数の資源位置指定子群のうち、ユーザの視点及び視線方向に応じた資源位置指定子群を選択する。
　これにより、第２の取得部１１１０は、資源位置指定子群を参照することで、ユーザの位置及び視線方向に対応する視点及び視線方向に関する情報を含む資源位置指定子（ＵＲＬ）を順次取得することができる。第２の取得部１１１０は、当該ＵＲＬを参照し、ユーザの位置及び視線方向に対応する視点及び視線方向による部分映像のデータを取得することができる。
　［再生部１２０］
　再生部１２０は、第２の取得部１１１０が取得した各部分映像データの示す部分映像を再生する。
　例えば、再生部１２０は、図３のように、時刻ｔ１～ｔ２において、部分映像データ５０００ａ、５０００ｎ、５１００a及び５１００ｎ等が示す部分映像を再生する。ここで、図３に示すように、ｔ１～ｔ２における部分映像データは、３６０ビデオＶ１の視点Ｐ１視線方向Ｄ０、・・・視点Ｐ１視線方向Ｄｎの１番目からｋ番目のセグメントの各セグメントデータである。
　ここで、３６０ビデオとは、仮想空間における、ある視点から周囲を見渡して視聴する全天球映像のことを意味する。
　すなわち、上述の例では、再生部１２０は、時刻ｔ１～ｔ２において、仮想空間における視点Ｐ１から視線方向Ｄ０～Ｄｎを眺めた場合の３６０ビデオＶ１を再生する。
　ここで、上述したように、本実施形態では、再生部１２０は、自由視聴モードの部分映像を再生する。例えば、図３では、時刻ｔ１～ｔ２のそれぞれのAdaptationSetには、視点Ｐ１における視線方向（Ｄ０～Ｄｎ）が異なる部分映像データに割り当てられている。同様に、時刻ｔ２～ｔ３のそれぞれのAdaptationSetには、視点（Ｐ１_１～Ｐ１＿９）又は視線方向（Ｄ０～Ｄｎ）が異なる部分映像データが割り当てられている。
　これにより、ユーザがヘッドマウントディスプレイを装着して、周囲を見渡した場合、ユーザの視線方向の変化に応じるように、再生部１２０は、視点Ｐ１から異なる視線方向を眺めた場合の３６０ビデオＶ１を再生する。その結果、再生部１２０は、ユーザが周囲を見渡した場合、視点Ｐ１から３６０°見渡した映像をユーザに視聴させることができる。
　また、再生部１２０は、図３のように、時刻ｔ２～ｔ３において、部分映像データ５０００ｂ、５１００ｂ、５５００ｂ及び５９００ｂ等が示す部分映像を再生する。ここで、図３に示すように、ｔ２～ｔ３における部分映像データは、拡張３６０ビデオの視点Ｐ１＿１視線方向Ｄ０、・・・視点Ｐ１＿１視線方向Ｄｎ、・・・視点Ｐ１＿５視線方向Ｄ０、・・・及び、視点Ｐ１＿９視線方向Ｄｎの１番目からｋ番目のSegmentの各セグメントデータである。
　ここで、拡張３６０ビデオとは、仮想空間における１点を基準とした所定の範囲内の視点から周囲を見渡して視聴する全天球映像のことを意味する。
　すなわち、上述の例では、再生部１２０は、時刻ｔ２～ｔ３において、視点Ｐ１を基準とした所定の範囲内の視点Ｐ１＿１～Ｐ１＿９から視線方向Ｄ０～Ｄｎを眺めた場合の拡張３６０ビデオＶ１を再生する。すなわち、再生部１２０は、ユーザが周囲を見渡した場合、視点Ｐ１＿１～Ｐ１＿９から３６０°見渡した映像をユーザに視聴させることができる。
　ここで、視点Ｐ１から所定の距離にある視点Ｐ１＿１～Ｐ１＿９が、視点Ｐ１からわずかな距離しか離れていないとする。この場合、再生部１２０は、わずかなユーザの視点の変化も部分映像に反映して再生することができる。そのため、再生システム１は、ユーザがヘッドマウントディスプレイを装着して拡張３６０ビデオＶ１を視聴した場合のリアリティを向上させることができる。また、視点Ｐ１＿１～Ｐ１＿９が、視点Ｐ１から大きく離れている場合には、再生部１２０は、拡張３６０ビデオＶ１を視聴するユーザに様々な角度からの部分映像を提供することができる。視点及び視線方向の詳細については、後述する。
　［記憶部１３０］
　記憶部１３０は、再生対象の部分映像データの所在を指定する各資源位置指定子が指し示す部分映像データ（セグメントデータ）をバッファリングし、再生対象の部分映像データに関するメタデータを記憶するための記憶媒体である。
　［ネットワークＩ／Ｆ１４０］
　ネットワークＩ／Ｆ１４０は、生成装置３００との間でデータの送受信を行う。
　［表示部１５０］
　表示部１５０は、再生対象の部分映像を表示するディスプレイである。
　［操作部１６０］
　操作部１６０は、再生装置１００に対する指示をユーザが行うための操作パネルである。
　〔生成装置３００〕
　続いて、本実施形態に係る生成装置３００について説明する。生成装置３００は、複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生装置１００が参照するメタデータを生成し、再生装置１００に配信する。
　図１に示すように、生成装置３００は、配信部３１０と、メタデータ生成部３２０と、パラメータ生成部３３０と、を備えている。
　［配信部３１０］
　配信部３１０は、再生装置１００からメタデータの要求を受けると、ＮＡＳ４００に記録されている、その時点で最新のメタデータを再生装置１００に配信する。
　これにより、配信部３１０は、全天球映像に関するメタデータを伝送することができる。
　［メタデータ生成部３２０］
　メタデータ生成部３２０は、各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを生成する。
　具体的には、メタデータ生成部３２０は、図３の複数のAdaptationSet５０a、５１a、５０ｂ、５１ｂ、５５ｂ及び５９ｂ等を含むＭＰＤデータ５を生成する。
　これにより、メタデータ生成部３２０は、全天球映像に関するメタデータを生成することができる。
　ここで、メタデータ生成部３２０は、図３に示すように、３６０ビデオ及び拡張３６０ビデオＶ１のうち、何れの部分映像であるかを示すメタデータを生成する。
　メタデータ生成部３２０は、これらを利用して生成したメタデータを再生装置１００に配信する。再生装置１００は、当該メタデータを受信し、参照することで、Period毎に３６０ビデオ、又は拡張３６０ビデオの視点及び視線方向を切り替えながら再生することができる。例えば、図３に示すように、メタデータ生成部３２０は、３６０ビデオに関する時分割データPeriod５ａ、及び、拡張３６０ビデオに関する時分割データPeriod５ｂを生成することができる。
　また、メタデータ生成部３２０は、ユーザが移動しながら自由に視点又は視線方向を切り替えて視聴する自由視聴モードのメタデータ又はユーザは移動せずにコンテンツ制作者の推奨する視点の映像を視聴する推奨視聴モードのメタデータを生成する。自由視聴モードのメタデータを生成する場合、メタデータ生成部３２０は、パラメータ生成部３３０によって生成された自由視点及び自由視線方向に関するパラメータ群、並びに部分映像データを示す資源位置指定子（ＵＲＬ）をメタデータに付与する。また、推奨視聴モードのメタデータを生成する場合、メタデータ生成部３２０は、パラメータ生成部３３０によって生成された推奨視点及び推奨視線方向に関するパラメータ群、並びに部分映像データを示す資源位置指定子（ＵＲＬ）をメタデータに付与する。
　［パラメータ生成部３３０］
　パラメータ生成部３３０は、メタデータ生成部３２０がメタデータを生成するために参照する各種パラメータを生成する。
　例えば、パラメータ生成部３３０は、図３に示す各AdaptationSet毎に、視点及び視線方向に関するパラメータ群を生成する。これにより、メタデータ生成部３２０は、図３に示すように、メタデータ（ＭＰＤデータ）に、パラメータ生成部３３０によって生成された視点及び視線方向に関するパラメータを付与することができる。
　〔ＮＡＳ４００〕
　ＮＡＳ４００は、メタデータ及び各部分映像データを保持するネットワークストレージである。
　＜実施形態１の変形例＞
　上述の例では、常に自由視聴モードである場合において、再生システム１が、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生している。ただし、本実施形態ではこれに限定されない。再生システム１は、常に推奨視聴モード（第２の再生モード）である場合においても、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生することができる。
　ここで、推奨視聴モードとは、ユーザは移動せずにコンテンツ制作者の推奨する視点の映像を視聴する視聴モードであり、複数の資源位置指定子群のうち、ある資源位置指定子群には、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子が含まれている。
　次に、推奨視聴モードのメタデータについて、図４を用いて具体的に説明する。図４は、本発明の実施形態１に係る再生システム１が再生するためのコンテンツデータに含まれるメタデータの一例を示す図である。
　図４に示すように、時刻ｔ１～ｔ２において、AdaptationSet５０ａにおけるSegment５００ａとAdaptationSet５１ａにおけるSegment５１０ａとは、ともに視点Ｐ１視線方向Ｄ０の１番目のセグメントである部分映像データ（セグメントデータ）５０００ａに対応付けられている。同様に、AdaptationSet５０ａにおけるSegment５００ｎとAdaptationSet５１ａにおけるSegment５１０ｎとは、ともに視点Ｐ１視線方向Ｄ０のｋ番目のセグメントである部分映像データ（セグメントデータ）５０００ｎに対応付けられている。また、時刻ｔ２～ｔ３において、AdaptationSet５０ｂにおけるSegment５００ｂ、AdaptationSet５１ｂにおけるSegment５１０ｂ、AdaptationSet５５ｂにおけるSegment５５０ｂ、及びAdaptationSet５９ｂにおけるSegment５９０ｂは、いずれも視点Ｐ１＿５視線方向Ｄ０の１番目のセグメントである部分映像データ（セグメントデータ）５５００ｂに対応付けられている。
　このように、推奨視聴モードでは、Segmentと部分映像データとが、多対一の関係で対応付けられている。
　これにより、３６０ビデオ及び拡張３６０ビデオ等の複数の種類の映像を含むコンテンツを再生する場合であっても、上述のようなメタデータを使用することによって、コンテンツ制作者の推奨する視点及び視線方向でユーザに映像を視聴させることができる。また、ユーザが移動しなくても、再生システム１の再生装置１００は、コンテンツ制作者の推奨する視点及び視線方向でユーザに映像を視聴させることができる。
　（視点及び視線方向に関するメタデータ）
　次に、推奨視聴モードを選択する場合に使用する視点及び視線方向に関するメタデータについて、図４を用いて具体的に説明する。
　図４のAdaptationSet５０ａ及び５５ｂには、それぞれSupplementalDescriptor５０１ａ及び５５１ｂが付加されている。SupplementalDescriptor５０１ａ及び５５１ｂは、それぞれ推奨の視点及び視線方向である視点Ｐ１視線方向Ｄ０及び視点Ｐ１＿５視線方向Ｄ０に関するパラメータ群を含んでいる。このように、AdaptationSetに含まれるSupplementalDescriptorは、推奨の視点及び視線方向に関するパラメータ群を含んでいる。
　また、図４のAdaptationSet５１ａ、５０ｂ、５１ｂ及び５９ｂには、それぞれEssentialDescriptor５１１ａ、５０１ｂ、５１１ｂ及び５９１ｂが付加されている。EssentialDescriptor５１１ａ、５０１ｂ、５１１ｂ、５９１ｂは、それぞれ視点Ｐ１視線方向Ｄｎ、視点Ｐ１＿１視線方向Ｄ０、視点Ｐ１＿１視線方向Ｄｎ、及び視点Ｐ１＿９視線方向Ｄｎに関するパラメータ群を含んでいる。このように、AdaptationSetに含まれるEssentialDescriptorは、例えば、推奨の視点及び視線方向以外に関するパラメータ群を含んでいる。
　このようなSupplementalDescriptor及びEssentialDescriptorは、生成装置３００のパラメータ生成部３３０によって生成される。メタデータ生成部３２０は、生成したメタデータにSupplementalDescriptor及びEssentialDescriptorのデータを付与する。メタデータ生成部３２０は、例えば、図４のように、AdaptationSet毎に、SupplementalDescriptor又はEssentialDescriptorの情報が付与されたメタデータを、再生装置１００に配信する。
　再生装置１００の第１の取得部１１００は、SupplementDescriptor５０１ａ及び５５１ｂから推奨の視点及び視線方向に関するパラメータ群、並びに部分映像データを示す資源位置指定子（ＵＲＬ）を取得する。また、第１の取得部１１００は、EssentialDescriptor５１１ａ、５０１ｂ、５１１ｂ、及び５９１ｂから推奨の視点及び視線方向以外の視点及び視線方向に関するパラメータ群、並びに部分映像データを示す資源位置指定子（ＵＲＬ）を取得する。
　これにより、第２の取得部１１１０が取得する各部分映像データは、図４のようになる。すなわち、Period５ａについては、視点Ｐ１視線方向Ｄ０の１番目のセグメントからｋ番目のセグメントである部分映像データ５０００ａ～５０００ｎが得られる。Period５ｂについては、視点Ｐ１＿５視線方向Ｄ０の１番目のセグメントである部分映像データ５５００ｂ以降の部分映像データが得られる。
　ここで、上述のSupplementalDescriptorが付加されたAdaptationSetは、３６０ビデオ非対応デバイス及び拡張３６０ビデオ非対応デバイスでも利用することができる。すなわち、SupplementalDescriptorが付加されたAdaptationSetを参照することで、３６０ビデオ又は拡張３６０ビデオ非対応デバイス等でも、推奨の視点及び視線方向に関するパラメータ群、並びに部分映像データを示す資源位置指定子（ＵＲＬ）を取得することができる。その結果、３６０ビデオ非対応デバイス等でも、コンテンツ制作者の推奨する視点及び視線方向の映像を好適に再生することができる。
　なお、推奨視聴モードを選択する場合に使用する視点及び視線方向に関するメタデータは、上述のSupplementalDescriptor及びEssentialDescriptorに限定されない。上述のような推奨視聴モードを実現できる範囲で、再生システム１は、任意の視点及び視線方向に関するメタデータを使用することができる。
　（推奨視聴モードによる部分映像の再生例）
　次に、再生システム１の推奨視聴モードのＭＰＤデータによる部分映像の再生例について、図５を用いて説明する。
　図５は、再生システム１の推奨視聴モードのＭＰＤデータによる部分映像の再生例について説明するための図である。換言すれば、図５は、図４に示すＭＰＤデータ６を再生システム１が参照した場合に再生される部分映像を説明するための図である。
　図４に示すように、時刻ｔ１～ｔ２（Period５ａ）においては、視点Ｐ１視線方向Ｄ０の部分映像データ５０００ａ～５０００ｎが推奨されており、これを模式的に示すと図５の（ａ）のようになる。図５の（ａ）のように、時刻ｔ１～ｔ２において、再生装置１００の再生部１２０は、３６０ビデオＶ１における、視点Ｐ１から視線方向Ｄ０の部分映像を再生している。これは、ユーザがヘッドマウントディスプレイを装着した状態で視線方向を変えたとしても、全ての視線方向において、視点Ｐ１から視線方向Ｄ０の部分映像を視聴することを意味する。
　また、図４に示すように、時刻ｔ２～ｔ３（Period５ｂ）においては、視点Ｐ１＿５視線方向Ｄ０の部分映像が推奨されている。これは、ユーザがヘッドマウントディスプレイを装着した状態で視線方向を変えたとしても、全ての視線方向において、視点Ｐ１＿５から視線方向Ｄ０の部分映像を視聴することを意味する。
　このように、再生システム１が推奨視聴モードのＭＰＤデータを利用することにより、ユーザの移動（視点及び視線方向の変更）に関わらず、再生システム１は、コンテンツ制作者の推奨する特定の視線方向からの部分映像をユーザに視聴させることができる。
　また、図５の（ａ）及び（ｂ）に示すように、時刻ｔ２を境に再生システム１の推奨する視点及び視線方向の少なくとも１つが変化する場合がある。この場合においても、再生システム１は、ユーザに移動させることなく、コンテンツ制作者が推奨する部分映像を視聴させることができる。
　〔生成処理〕
　次に、本実施形態に係る再生システム１の生成装置３００における生成処理について、図６を参照して説明する。図６は、本実施形態に係る再生システム１の生成装置３００における生成処理の流れを示すフローチャートである。
　ステップＳ１０１：図６に示すように、生成装置３００のメタデータ生成部３２０は、まず、視聴モードを自由視聴モードにするか、推奨視聴モードにするかを決定する。自由視聴モードを選択する場合（ステップＳ１０１のＹＥＳ）、ステップＳ１０２に進む。推奨視聴モードを選択する場合（ステップＳ１０１のＮＯ）、ステップＳ１０３に進む。
　ステップＳ１０２：自由視聴モードを選択する場合、生成装置３００のメタデータ生成部３２０は、自由視聴モードのメタデータを生成する。すなわち、生成装置３００のメタデータ生成部３２０は、例えば、図３に示すようなＭＰＤデータ５を生成する。生成装置３００のメタデータ生成部３２０は、自由視聴モードのメタデータ生成後、生成処理を終了する。
　ステップＳ１０３：推奨視聴モードを選択する場合、生成装置３００のメタデータ生成部３２０は、推奨視聴モードのメタデータを生成する。すなわち、生成装置３００のメタデータ生成部３２０は、例えば、図４に示すようなＭＰＤデータ６を生成する。生成装置３００のメタデータ生成部３２０は、推奨視聴モードのメタデータ生成後、生成処理を終了する。
　〔再生処理〕
　次に、本実施形態に係る再生システム１の再生装置１００における再生処理（再生方法）について、図７を参照して説明する。図７は、本実施形態に係る再生システム１の再生装置１００における再生処理の流れを示すフローチャートである。
　ステップＳ１１１：図７に示すように、再生装置１００の制御部１１０は、まず、視聴モードを自由視聴モードにするか、推奨視聴モードにするかを決定する。自由視聴モードを選択する場合（ステップＳ１１１のＹＥＳ）、ステップＳ１１２に進む。推奨視聴モードを選択する場合（ステップＳ１１１のＮＯ）、ステップＳ１１３に進む。
　ステップＳ１１２：自由視聴モードを選択する場合、再生装置１００の制御部１１０における第１の取得部１１００は、生成装置３００に自由視聴モードのメタデータを要求する。続いて、再生装置１００の第１の取得部１１００は、生成装置３００から複数の資源位置指定子群を含む自由視聴モードのメタデータを取得する（第１の取得工程）。
　ステップＳ１１３：推奨視聴モードを選択する場合、再生装置１００の制御部１１０における第１の取得部１１００は、生成装置３００に推奨視聴モードのメタデータを要求する。続いて、再生装置１００の第１の取得部１１００は、生成装置３００から複数の資源位置指定子群を含む推奨視聴モードのメタデータを取得する（第１の取得工程）。
　ステップＳ１１４：再生装置１００の第２の取得部１１１０は、まず、ユーザの位置及び視線方向を検出する。ユーザの位置及び視線方向は、例えば、ＧＰＳ及び各種センサ等、公知の位置情報取得手段によって、検出することができる。
　ステップＳ１１５：次に、再生装置１００の第２の取得部１１１０は、１又は複数の資源位置指定子群の中から、ユーザの位置及び視線方向に応じた資源位置指定子群を選択する。
　ステップＳ１１６：再生装置１００の第２の取得部１１１０は、選択した資源位置指定子群から順次、資源位置指定子を参照し、部分映像データを取得する（第２の取得工程）。
　例えば、図３のように、第１の取得部１１００が、ＭＰＤデータ５のうち、時刻ｔ１～ｔ２の自由視聴モードの時分割データPeriod５ａを取得したとする。この場合、第２の取得部１１１０は、AdaptationSet５０ａから順に、Segment５００ａ、・・・５００ｎを参照し、部分映像データを要求する。これにより、第２の取得部１１１０は、当該Segmentから、部分映像データ５０００ａ、・・・５０００ｎを順次取得する。
　ここで、図３に示すように、第２の取得部１１１０が、時刻ｔ１～ｔ２において３６０ビデオに関する部分映像データを取得していたとする。また、時刻ｔ２となり、生成装置３００から、拡張３６０ビデオに関するPeriod５ｂが配信されるとする。この場合、再生装置１００の制御部１１０は、表示部１５０に、「拡張３６０ビデオ」あり等のメッセージを表示させてもよい。これにより、再生装置１００の制御部１１０は、映像種別の変化をユーザに知らせることができる。その結果、再生装置１００は、ユーザに全天球映像をより好適に視聴させることができる。
　ステップＳ１１７：再生装置１００の再生部１２０は、第２の取得部１１１０が取得した部分映像データを再生する（再生工程）。再生後、所定の時刻を経過したら、再生装置１００の再生部１２０は、再生処理を終了する。
　再生装置１００は、上述のステップＳ１１４～Ｓ１１７を所定の時間単位で実行する。例えば、再生装置１００は、ステップＳ１１４～Ｓ１１７を、図３及び図４に示す各period５ａ、５ｂ単位で実行する。
　＜実施形態２＞
　実施形態１では、再生システム１の再生装置１００は、常に自由視聴モード又は常に推奨視聴モードで部分映像を再生している。ただし、実施形態２に係る再生システム２の再生装置６００のように、再生装置は、自由視聴モードと、推奨視聴モードとを切り替えて部分映像を再生してもよい。
　実施形態２について、図８～１３を参照して説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　〔再生システム２〕
　図８は、本実施形態に係る再生システム２の要部構成を示すブロック図である。図８に示すように、本実施形態に係る再生システム２の再生装置６００の制御部６１０は、制御部１１０の各部材に加え、更に、切替部１１２０としても機能する。この点以外は、再生装置６００は、再生装置１００と同様の構成である。
　〔再生装置６００〕
　図８に示すように、再生装置６００は、制御部６１０を備えている。
　制御部６１０は、切替部１１２０として機能する。切替部１１２０は、自由視聴モードと推奨視聴モードとを切り替える。この場合、切替部１１２０は、自由視聴モードから推奨視聴モードに切り替えてもよいし、推奨視聴モードから自由視聴モードに切り替えてもよい。
　再生装置６００は、切替部１１２０を備えていることで、３６０ビデオ及び拡張３６０ビデオのうち何れを再生するかとは独立して、視聴モードを切り替えることができる。これにより、再生装置６００は、３６０ビデオ又は拡張３６０ビデオを、その時々に適した視聴モードで再生することができる。
　以下、図９～１１を用いて、切替部１１２０による視聴モードの切り替えについて、より具体的に説明する。
　（切替部１１２０による視聴モードの切り替えの具体例１）
　まず、図９を用いて、切替部１１２０による視聴モードの切り替えの具体例を説明する。
　図９は、再生装置６００の切替部１１２０が参照するメタデータに含まれる視聴モードの切り替えに関するメタデータの一例を示す図である。
　図９の（ａ）のメタデータは、図３に対してEventStream６０が追加されている点が異なる。すなわち、図９の（ａ）のメタデータを受信した再生装置６００は、３６０ビデオを推奨視聴モードで再生することができる。ただし、図９の（ａ）では、AdaptationSet５１ａ、Period５ｂ等、図３の一部の要素については省略している。
　図９の（ｂ）は、EventStream６０の具体例を示した図である。EventStream６０には、３６０ビデオ配信開始イベント及び拡張３６０ビデオ配信開始イベント等のイベントを記述することができる。EventStream６０に記述されるイベントの種類はEventStream要素のvalue属性の値によって識別される。value属性に記述される各値の意味は、EventStream要素のscheme_id_uri属性で示されるＵＲＩによって規定される。
　例えば、図９の（ｂ）に示すscheme_id_uri="urn:mpeg:dash:vr:event:2017"の場合、value="1"が３６０ビデオ配信開始イベント、value="2"が拡張３６０ビデオ配信開始イベントを意味する。
　このEventStream６０のvalue属性に記述される値を変えることによって、切替部１１２０は、視聴モードだけでなく、映像種別も切り替えることができる。
　３６０ビデオ配信開始イベント、及び拡張３６０ビデオ配信開始イベントの詳細は、EventStream要素内のEvent要素によって記述される。Event要素のpresentation Time属性は、３６０ビデオ／拡張３６０ビデオの配信開始時刻を示す。Event要素のduration属性は、３６０ビデオ／拡張３６０ビデオの配信期間を示す。Event要素のnum Of View属性は、拡張３６０ビデオにおける視点数を示す。図示はしていないが、拡張３６０ビデオにおける視点範囲（例えば、移動可能な視点範囲が周囲１ｍなど）を示すview Range属性を記述してもよい。なお、３６０ビデオ配信開始イベントの場合（value="1"の場合）、num Of View属性及びview Range属性は省略してもよい。
　図９の（ｂ）の例では、時刻ｔ２からｔ３の期間、視点数９の拡張３６０ビデオが配信されることを示している。
　再生装置６００は、時刻ｔ２から始まる拡張３６０ビデオを自由視聴モードで部分映像を再生する場合、EventStream６０に基づき適切なタイミングで自由視聴モードのＭＰＤデータを生成装置３００から取得する。これにより、推奨視聴モードから自由視聴モードに切り替えることができる。
　なお、上述の例では、最初に推奨視聴モードのＭＰＤデータを取得した時点でEventStream６０が付加されている。ただし、ライブ配信等においては、ＤＡＳＨのＭＰＤ更新の仕組みを用い、例えば、時刻ｔ２の直前のＭＰＤ更新のタイミングでEventStream６０が付加されたＭＰＤデータを取得するようにしてもよい。
　（切替部１１２０による視聴モードの切り替えの具体例２）
　上述の例では、切替部１１２０は、EventStream６０を参照して、視聴モードの切り替えを行っているが、本実施形態ではこれに限定されない。本実施形態では、切替部１１２０は、部分映像データに含まれるInband Event７０から視聴モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して視聴モードを切り替えてもよい。
　Inband Event７０とは、ＤＡＳＨ規定のイベントメッセージボックスのことを指す。図１０の（ｂ）は、イベントメッセージボックスの構成を示した図である。Inband Event７０は、scheme_id_uri、value、time_scale、presentation_time_delta、event_duration、id及びmessage_data[]のフィールドで記述される。
　ここで、scheme_id_uri、及びvalueの定義は、EventStream６０の場合と同様である。scheme_id_uri="urn:mpeg:dash:vr:event:2017"の場合、value="1"は、３６０ビデオ配信開始イベントを意味する。value="2"は、拡張３６０ビデオ配信開始イベントを意味する。
　すなわち、切替部１１２０は、Inband Event７０のvalue属性に記述される値を変えることによっても、EventStream６０と同様に、視聴モードだけでなく、映像種別も切り替えることができる。
　time_scaleは、時間関連フィールドの値のタイムスケールを意味する。presentation_time_deltaには、Inband Event７０を付与するセグメントデータの開始時刻と、３６０ビデオ又は拡張３６０ビデオ配信開始時刻との差分値が上述のタイムスケールで記述されている。event_durationには、３６０ビデオ又は拡張３６０ビデオの配信期間が上述のタイムスケールで記述されている。idは、イベント識別子を意味する。message_data[]は、現在の視点及び視線方向に対応するAdaptationSetのID等を示す情報が記述されている。拡張３６０ビデオの場合、message_data[]は、視点数及び視点範囲が更に記述されていてもよい。
　以下、図１０を用いて、Inband Event７０から視聴モードの切り替えに関するメタデータを取得した場合の切替部１１２０による視聴モードの切り替えについて具体的に説明する。
　図１０の（ａ）は、再生システム２が参照するメタデータ、部分映像データ、及び部分映像データに含まれる視聴モードの切り替えに関するメタデータの一例を示す図である。
　図１０の（ａ）は、図３の部分映像データ５０００ｎに対してInband Event７０が追加されている点が異なる。すなわち、図１０の（ａ）のメタデータを受信した再生装置６００は、３６０ビデオを推奨視聴モードで再生することができる。なお、図１０の（ａ）では、AdaptationSet５１ａ及びPeriod５ｂ等、図３の一部の要素については省略している。
　図１０の（ａ）の例では、Segment５００ｎの示す部分映像データ５０００ｎに、EventStream６０の場合と同様に、時刻ｔ２からｔ３の期間、視点数９の拡張３６０ビデオが配信されることを示したInband Event７０が含まれている。
　再生装置６００は、時刻ｔ２から開始される拡張３６０ビデオを自由視聴モードで再生する場合、Inband Event７０に基づき、適切なタイミングで自由視聴モードのＭＰＤデータを生成装置３００から取得する。これにより、再生装置６００の切替部１１２０は、適切なタイミングで推奨視聴モードから自由視聴モードに切り替えることができる。
　また、Inband Event７０は、視聴モードの切り替えに関するメタデータを部分映像データに多重化する構成となっている。そのため、ライブ配信等において、配信する映像の種別が配信開始直前にならないと分からない場合であっても、再生装置６００の切替部１１２０は、適切なタイミングでInband Event７０を取得することができる。これにより、再生装置６００の切替部１１２０は、適切なタイミングで視聴モードを切り替えることができる。
　（切替部１１２０による視聴モードの切り替えの具体例３）
　切替部１１２０は、部分映像データに含まれるＳＥＩ（Supplemental Enhanced Information）から視聴モードの切り替えに関するメタデータを取得してもよい。切替部１１２０は、当該メタデータを参照し、視聴モードを切り替えてもよい。
　以下、図１１を用いて、ＳＥＩから視聴モードの切り替えに関するメタデータを取得した場合の切替部１１２０による視聴モードの切り替えについて具体的に説明する。
　図１１は、再生システム２が参照するメタデータに含まれる視聴モードの切り替えに関するメタデータの一例を示す図であり、ＮＡＬ構造のセグメントデータを示す図でもある。
　ここで、ＮＡＬとは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送及び蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
　ＡＵＤは、アクセスユニットデリミタを意味する。ＡＵＤは、Frame５００００ａ等、１つのFrameの開始を示すものである。
　ＶＰＳは、ビデオパラメータセットのことを指す。ＶＰＳは、複数のFrameに共通するパラメータを規定するためのパラメータセットである。ＶＰＳは、複数のレイヤから構成されている部分映像において、複数の部分映像に共通する符号化パラメータの集合及び部分映像に含まれる複数のレイヤ並びに個々のレイヤに関連する符号化パラメータの集合が規定されている。
　ＳＰＳは、シーケンスパラメータセットのことを指す。ＳＰＳには、Frame５００００ａを復号するための符号化パラメータの集合が規定されている。例えば、ピクチャの幅及び高さが規定されている。
　ＰＰＳは、ピクチャパラメータセットのことを指す。ＰＰＳには、Frame５００００ａ内の各ピクチャを復号するための符号化パラメータの集合が規定されている。
　ＳＬＩＣＥは、スライスレイヤのことを指す。ＳＬＩＣＥは、処理対象のスライスを復号するためのデータの集合が規定されている。
　本実施形態では、図１１のＳＥＩに上述のEventStream６０及びInband Event７０と同等のメタデータが記述されている。図１１から明らかなように、ＳＥＩは、セグメントデータ５０００ｎを構成する各Frameのうちの１つのFrame５００００ｎに含まれている。そのため、切替部１１２０は、図１１に示すようなセグメントデータ５０００ｎのFrame５００００ｎにおけるＳＥＩから、Inband Event７０よりも更に細かく調整されたタイミングで、視聴モード切り替えに関するメタデータを取得できる。
　再生装置６００が、時刻ｔ２から開始される拡張３６０ビデオを自由視聴モードで再生する場合、再生装置６００は、上述のＳＥＩに基づき、適切なタイミングで自由視聴モードのＭＰＤデータを生成装置３００から取得する。これにより、再生装置６００の切替部１１２０は、適切なタイミングで推奨視聴モードから自由視聴モードに切り替えることができる。
　なお、切替部１１２０は、ＳＥＩによっても、視聴モードだけでなく、映像種別も切り替えることができる。
　〔映像種別の切り替えに関するメタデータの生成処理〕
　次に、本実施形態に係る再生システム２の生成装置３００における生成処理について、図１２を参照して説明する。図１２は、本実施形態に係る再生システム２の生成装置３００における映像種別の切り替えに関する生成処理の流れを示すフローチャートである。
　以下では、再生システム２が、EventStream６０、Inband Event７０又はＳＥＩ等のメタデータを利用する場合の映像種別の切り替えに関する生成処理について説明する。
　ステップＳ２１１：図１２に示すように、生成装置３００のメタデータ生成部３２０が映像種別を切り替える場合（ステップＳ２１１のＹＥＳ）、ステップＳ２１２に進む。生成装置３００のメタデータ生成部３２０が映像種別を切り替えない場合（ステップＳ２１１のＮＯ）、視聴モード切替に関するメタデータの生成処理を終了する。
　ステップＳ２１２：生成装置３００のメタデータ生成部３２０は、映像種別を切り替えるメタデータを生成する。
　例えば、生成装置３００のメタデータ生成部３２０は、EventStream６０、Inband Event７０及びＳＥＩ等のメタデータを生成する。
　ステップＳ２１３：映像種別を切り替えるメタデータとしてEventStream６０を利用する場合、生成装置３００のメタデータ生成部３２０は、EventStream６０を、当該メタデータとは別に生成したＭＰＤデータ等のメタデータに付与する。続いて、生成装置３００の配信部３１０は、EventStream６０が付与されたＭＰＤデータ等のメタデータを再生装置６００に配信する。
　映像種別を切り替えるメタデータとしてInband Event７０を利用する場合、生成装置３００のメタデータ生成部３２０は、映像種別を切り替えるメタデータをセグメントデータに多重化する形で付与する。続いて、生成装置３００の配信部３１０は、Inband Event７０が付与されたセグメントデータを再生装置６００に配信する。
　映像種別を切り替えるメタデータとしてＳＥＩを利用する場合、生成装置３００のメタデータ生成部３２０は、映像種別を切り替えるメタデータをセグメントデータ内のＳＥＩに多重化する形で付与する。続いて、生成装置３００の配信部３１０は、ＳＥＩが付与されたセグメントデータを再生装置６００に配信する。
　生成装置３００は、映像種別を切り替えるメタデータを付与したＭＰＤデータ等のメタデータ、又はセグメントデータの配信後、視聴モードの切り替えに関するメタデータの生成処理を終了する。
　生成装置３００のメタデータ生成部３２０は、上述のステップＳ２１１～Ｓ２１３までの各ステップを、セグメントデータの配信単位ごとに実行する。
　〔再生処理〕
　次に、本実施形態に係る再生システム２の再生装置６００における再生処理（再生方法）について、図１３を参照して説明する。図１３は、本実施形態に係る再生システム２の再生装置６００における再生処理の流れを示すフローチャートである。
　図１３におけるステップＳ２２１～Ｓ２２７は、図７におけるステップＳ１１１～Ｓ１１７と同様であるため、ここではその説明を省略する。
　ステップＳ２２８：再生装置６００の第２の取得部１１１０が、資源位置指定子群から順次資源位置指定子を取得している場合、再生装置６００の切替部１１２０は、ＭＰＤデータ又はセグメントデータ内から視聴モードの切り替えに関するメタデータを検索する。再生装置６００の切替部１１２０が、ＭＰＤデータ又はセグメントデータ内から切り替えに関するメタデータを検出した場合（ステップＳ２２８のＹＥＳ）、ステップＳ２２９に進む。再生装置６００の切替部１１２０が、ＭＰＤデータ又はセグメントデータ内から切り替えに関するメタデータを検出しなかった場合（ステップＳ２２８のＮＯ）、ステップＳ２２６に戻る。
　例えば、再生装置６００の第２の取得部１１１０は、図９のように、Period５ａ内からEventStream６０を検出する。また、再生装置６００の第２の取得部１１１０は、図１０及び１１のように、セグメントデータ５０００ｎ内からInband Event７０又はＳＥＩを検出する。
　ステップＳ２２９：再生装置６００の切替部１１２０が、視聴モードを切り替えることを選択する場合（ステップＳ２２９のＹＥＳ）、生成処理を終了する。この場合、再生装置６００の切替部１１２０は、次回以降、現在の視聴モードから別の視聴モードに切り替えた時分割データを取得できるように、生成装置３００に別の視聴モードのＭＰＤデータを生成するように要求する。切替部１１２０が、視聴モードを切り替えないことを選択する場合（ステップＳ２２９のＮＯ）、ステップＳ２２６に戻る。
　これにより、再生装置６００の第２の取得部１１１０は、ユーザに切り替えられた視聴モードの部分映像を視聴させることができる。
　再生装置６００は、上述のステップＳ２２４～Ｓ２２９を所定の時間単位で実行する。例えば、再生装置６００は、ステップＳ２２４～Ｓ２２９を、図４に示す各period５ａ、５ｂ単位で実行する。
　＜実施形態３＞
　実施形態１及び２の再生システム１及び２は、単一視点（単一ビュー）から１つのカメラにより撮影した３６０ビデオ又は拡張３６０ビデオを選択して再生していたが、これに限定されない。再生システムは、本実施形態の再生システム３のように、複数の視点（マルチビュー）から撮影した部分映像を反映した３６０ビデオ又は拡張３６０ビデオを再生してもよい。
　実施形態３について、図１４及び１５を参照して説明する。なお、説明の便宜上、実施形態１及び２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　〔再生システム３〕
　図１４は、本実施形態に係る再生システム３の要部構成を示すブロック図である。再生システム３は、再生装置６００及び生成装置９００を備えている。
　図１４に示すように、本実施形態に係る再生システム３の生成装置９００は、メタデータ生成部３２０及びパラメータ生成部３３０の代わりに、メタデータ生成部９２０及びパラメータ生成部９３０を備えている。この点以外は、生成装置９００は、生成装置３００と同様の構成である。
　以下、具体例を用いながら、再生システム３の機能を説明する。
　（カメラが固定されている場合における再生システム３の機能）
　まず、図１５を用いて、視点Ｐ１におけるカメラと、視点Ｐ０におけるカメラとが固定されている場合について説明する。
　生成装置９００のメタデータ生成部９２０は、視点Ｐ０及び視点Ｐ１から撮影された各部分映像データ群に含まれる、各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを生成する。
　ここで、メタデータ生成部９２０は、パラメータ生成部９３０に、視点Ｐ０と視点Ｐ１とを含むＧＰＳ情報等のグローバルな位置情報を更に生成させ、ＭＰＤデータ等のメタデータに付与する。これにより、メタデータ生成部９２０は、視点Ｐ０と、視点Ｐ１との相対位置関係が明らかになり、当該視点の位置を区別することができる。これにより、メタデータ生成部９２０は、視点Ｐ０から撮影された部分映像データの所在を示す資源位置指定子群と、視点Ｐ１から撮影された部分映像のデータの所在を示す資源位置指定子群とを区別してメタデータを作成できる。
　また、再生装置６００の第２の取得部１１１０は、当該メタデータの資源位置指定子群を参照しても、Ｐ０からの部分映像データと、Ｐ１からの部分映像データとを混同せずに取得することができる。これにより、再生装置６００の再生部１２０は、複数のカメラで撮影した場合であっても、これらにより撮影された部分映像を、ユーザの視点及び視線方向毎に正確に再生することができる。
　また、図１５の（ｂ）のように、時刻ｔ２～ｔ３において、再生システム３が、視点Ｐ１におけるカメラが３６０ビデオＶ１から拡張３６０ビデオＶ１に切り替えたとする。この場合も、メタデータ生成部９２０は、グローバルな位置情報をメタデータに付与する以外は、上述の実施形態と同様にメタデータを生成することができる。
　（カメラが移動する場合における再生システム３の機能）
　また、カメラが移動する場合、再生システム３のメタデータ生成部９２０は、再生装置６００に視点Ｐ０と視点Ｐ１とを含むグローバルな位置情報をタイムドメタデータとして配信する。また、再生システム３のメタデータ生成部９２０は、各視点及び視線方向の資源位置指定子群（AdaptationSet）が参照すべきタイムドメタデータを識別するための識別子をパラメータ生成部３３０に生成させる。
　このように、再生システム３のメタデータ生成部９２０によれば、カメラが移動する場合であっても、複数のカメラによる資源位置指定子群を区別してメタデータを作成できる。
　〔ソフトウェアによる実現例〕
　再生装置１００、６００及び生成装置３００、９００の制御ブロック（特に制御部１１０、６１０及びメタデータ生成部３２０、９２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、再生装置１００、６００及び生成装置３００、９００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ及びプログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワーク又は放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る再生装置（１００、６００）は、複数の時分割データ（Period５ａ、５ｂ）に時分割されて配信されるコンテンツデータを再生する再生装置（１００、６００）において、上記複数の時分割データ（Period５ａ、５ｂ）は、全天球映像を構成する部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）のうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、当該再生装置（１００、６００）は、上記１又は複数の部分映像データ群に含まれる各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の所在を指定する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｂ、５９０ｂ）から構成される複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）を含むメタデータ（ＭＰＤデータ５、６）を取得する第１の取得部（１１００）と、上記メタデータ（ＭＰＤデータ５、６）が示す所在から各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）を取得する第２の取得部（１１１０）と、上記第２の取得部（１１１０）が取得した各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の示す部分映像を再生する再生部（１２０）とを備えている。
　上記の構成によれば、再生装置（１００、６００）が、第１の取得部（１１００）と第２の取得部（１１１０）と再生部（１２０）とを備えていることで、全天球映像に関するメタデータに基づき全天球映像を再生することができる。
　本発明の態様２に係る再生装置（１００、６００）では、上記態様１において、上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）も、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）を含んでいなくてもよい。
　上記の構成によれば、再生装置（１００、６００）は、第１の再生モード（自由視聴モード）で部分映像を再生することができる。
　本発明の態様３に係る再生装置（１００、６００）では、上記態様１において、上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうち、ある資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）には、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）が含まれていてもよい。
　上記の構成によれば、再生装置（１００、６００）は、第２の再生モード（推奨視聴モード）で部分映像を再生することができる。
　本発明の態様４に係る再生装置（１００、６００）では、上記態様１～３の何れかにおいて、上記時分割データ（Period５ａ、５ｂ）に含まれる各部分映像はＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）規定のメディアセグメントであり、上記メタデータ（ＭＰＤデータ５、６）は上記コンテンツデータに関するＤＡＳＨ規定のＭＰＤデータであり、上記資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）は上記メディアセグメントのＵＲＬであり、上記資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）の各々は、ＤＡＳＨ規定の各AdaptationSetであってもよい。
　時分割データ（Period５ａ、５ｂ）に含まれる各部分映像はＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）規定のメディアセグメントとして好適に利用することができる。メタデータ（ＭＰＤデータ５、６）はコンテンツデータに関するＤＡＳＨ規定のＭＰＤデータとして好適に利用することができる。資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）はメディアセグメントのＵＲＬとして好適に利用することができる。資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）の各々は、ＤＡＳＨ規定の各AdaptationSetとして好適に利用することができる。
　本発明の態様５に係る再生装置（１００、６００）では、上記態様４において、上記第１の取得部（１１００）は、上記各AdaptationSetに含まれるSupplementalDescriptor 又はEssentialDescriptorから、各部分映像の視点及び視線方向を含むパラメータ群を取得してもよい。
　第１の取得部（１１００）は、各AdaptationSetに含まれるSupplementalDescriptor又はEssentialDescriptorから、各部分映像の視点及び視線方向を含むパラメータ群を好適に取得することができる。
　本発明の態様６に係る再生装置（１００、６００）では、上記態様５において、上記第１の取得部（１１００）は、推奨の視点及び視線方向に関するパラメータ群を上記SupplementalDescriptorから取得してもよい。
　第１の取得部（１１００）は、推奨の視点及び視線方向に関するパラメータ群をSupplementalDescriptorから好適に取得することができる。
　本発明の態様７に係る（６００）では、上記態様４～６の何れかにおいて、上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）も、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）を含んでいない上記メタデータ（ＭＰＤデータ５）を参照する第１の再生モード（自由視聴モード）と上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうち、ある資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）が含まれている上記メタデータ（ＭＰＤデータ６）を参照する第２の再生モード（推奨視聴モード）とを切り替える切替部（１１２０）を更に備えていてもよい。
　上記の構成によれば、再生装置（６００）は、切替部（１１２０）を備えていることで、３６０ビデオ及び拡張３６０ビデオのうち何れを再生するかとは独立して、再生モードを切り替えることができる。これにより、再生装置（６００）は、３６０ビデオ又は拡張３６０ビデオの部分映像を、その時々に適した再生モードで再生することができる。
　本発明の態様８に係る（６００）では、上記態様７において、上記切替部（１１２０）は、上記ＭＰＤデータに含まれるEventStream（６０）から再生モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して再生モードを切り替えてもよい。
　再生装置（６００）の切替部（１１２０）は、再生モードの切り替えに、EventStream（６０）を好適に利用することができる。
　本発明の態様９に係る再生装置（６００）では、上記態様７において、上記切替部（１１２０）は、上記部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）に含まれるInband Event（７０）から再生モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して再生モードを切り替えてもよい。
　再生装置（６００）の切替部（１１２０）は、再生モードの切り替えに、Inband Event（７０）を好適に利用することができる。
　本発明の態様１０に係る再生装置（６００）では、上記態様７において、上記切替部（１１２０）は、上記部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）に含まれるＳＥＩ（SupplementalEnhanced Information）から再生モードの切り替えに関するメタデータを取得し、取得
したメタデータを参照して再生モードを切り替えてもよい。
　再生装置（６００）の切替部（１１２０）は、再生モードの切り替えに、ＳＥＩを好適に利用することができる。
　本発明の態様１１に係る生成装置（３００、９００）は、複数の時分割データ（Period５ａ、５ｂ）に時分割されて配信されるコンテンツデータを再生する再生装置（１００、６００）が参照するメタデータ（ＭＰＤデータ５、６）を生成する生成装置（３００、９００）において、上記複数の時分割データ（Period５ａ、５ｂ）は、全天球映像を構成する部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５００ｂ、５９００ｂ）のうち、視点及び視線方向の少なくとも何れか毎の部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）から構成される１又は複数の部分映像データ群を含んでおり、当該生成装置（３００、９００）は、上記１又は複数の部分映像データ群に含まれる各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の所在を指定する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）から構成される複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）を含むメタデータ（ＭＰＤデータ５、６）を生成するメタデータ生成部（３２０、９２０）を備えている。
　上記の構成によれば、生成装置（３００、９００）が、メタデータ生成部（３２０、９２０）を備えていることで、全天球映像に関するメタデータを生成することができる。
　本発明の態様１２に係る生成装置（３００、９００）では、上記態様１１において、上記メタデータ生成部（３２０、９２０）は、上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちの何れの資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）も、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）を含んでいないメタデータ（ＭＰＤデータ５）を生成してもよい。
　上記の構成によれば、生成装置（３００、９００）は、第１の再生モード（自由視聴モード）で部分映像を再生するためのメタデータ（ＭＰＤデータ５）を生成することができる。
　本発明の態様１３に係る生成装置（３００、９００）では、上記態様１１において、上記メタデータ生成部（３２０、９２０）は、上記複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）のうちのある資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）には、他の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）に含まれる資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）と同じ視点又は同じ視線方向に対応する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）が含まれているメタデータ（ＭＰＤデータ６）を生成してもよい。
　上記の構成によれば、生成装置（３００、９００）は、第２の再生モード（推奨視聴モード）で部分映像を再生するためのメタデータ（ＭＰＤデータ６）を生成することができる。
　本発明の態様１４に係る再生システム（１、２、３）は、複数の時分割データ（Period５ａ、５ｂ）に時分割されて配信されるコンテンツデータを再生する再生システム（１、２、３）であって、上記複数の時分割データ（Period５ａ、５ｂ）は、全天球映像を構成する部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）のうち、視点及び視線方向の少なくとも何れか毎の部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）から構成される１又は複数の部分映像データ群を含んでおり、上記１又は複数の部分映像データ群に含まれる各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の所在を指定する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｎ、５９０ｂ）から構成される複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）を含むメタデータ（ＭＰＤデータ５、６）を生成するメタデータ生成部（３２０、９２０）と、上記１又は複数の部分映像データ群に含まれる各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の所在を指定する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｂ、５９０ｂ）から構成される複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）を含むメタデータ（ＭＰＤデータ５、６）を取得する第１の取得部（１１００）と、上記メタデータ（ＭＰＤデータ５、６）が示す所在から各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）を取得する第２の取得部（１１１０）と、上記第２の取得部（１１１０）が取得した各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の示す部分映像を再生する再生部（１２０）とを備えている。
　上記の構成によれば、再生システム（１、２、３）は、再生装置（１００、６００）及び生成装置（３００、９００）を備えていることで、全天球映像に関するメタデータを生成、伝送し、当該メタデータに基づき全天球映像を再生することができる。
　本発明の態様１５に係るプログラムは、上記態様１～１０の何れかに記載の再生装置（１００、６００）としてコンピュータを機能させるプログラムであって、当該コンピュータを上記各部として機能させるためのプログラムである。
　プログラムは、再生装置（１００、６００）の上記各部として機能させるために好適に利用することができる。
　本発明の態様１６に係るプログラムは、上記態様１１～１３の何れかに記載の生成装置（３００、９００）としてコンピュータを機能させるプログラムであって、当該コンピュータを上記各部として機能させるためのプログラムである。
　プログラムは、生成装置（３００、９００）の上記各部として機能させるために好適に利用することができる。
　本発明の態様１７に係る記録媒体は、上記態様１５又は１６に記載のプログラムが記録されているコンピュータ読み取り可能な記録媒体である。
　コンピュータ読み取り可能な記録媒体は、上記態様１５に記載のプログラム及び上記態様１６に記載のプログラムに好適に利用することができる。
　本発明の態様１８に係る再生方法は、複数の時分割データ（Period５ａ、５ｂ）に時分割されて配信されるコンテンツデータを再生する再生方法において、上記複数の時分割データ（Period５ａ、５ｂ）は、全天球映像を構成する部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）のうち、視点及び視線方向の少なくとも何れか毎の部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５００ｂ、５９００ｂ）から構成される１又は複数の部分映像データ群を含んでおり、当該再生方法は、上記１又は複数の部分映像データ群に含まれる各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の所在を指定する資源位置指定子（Segment５００ａ、５００ｎ、５１０ａ、５５０ｎ、５００ｂ、５１０ｂ、５１０ｎ、５９０ｂ）から構成される複数の資源位置指定子群（AdaptationSet５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ）を含むメタデータ（ＭＰＤデータ５、６）を取得する第１の取得工程と、上記メタデータ（ＭＰＤデータ５、６）が示す所在から各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）を取得する第２の取得工程と、上記第２の取得工程において取得した各部分映像データ（５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ）の示す部分映像を再生する再生工程とを含んでいる。
　上記の構成によれば、再生方法が、第１の取得工程と第２の取得工程と再生工程とを備えていることで、全天球映像に関するメタデータに基づき全天球映像を再生することができる。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　（関連出願の相互参照）
　本出願は、２０１７年４月４日に出願された日本国特許出願：特願２０１７－０７４５３４に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１～３　再生システム
　５、６　ＭＰＤデータ（メタデータ）
　５ａ、５ｂ　Period（時分割データ）
　５０ａ、５１ａ、５０ｂ、５１ｂ、５５ｂ、５９ｂ　AdaptationSet（資源位置指定子群）
　６０　EventStream
　７０　Inband Event
　５００ａ、５００ｎ、５１０ａ、５１０ｎ、５００ｂ、５１０ｂ、５５０ｂ、５９０ｂ
　Segment（資源位置指定子）
　５０００ａ、５０００ｎ、５１００ａ、５１００ｎ、５０００ｂ、５１００ｂ、５５００ｂ、５９００ｂ　部分映像データ
　５０１ａ、５５１ｂ　SupplementalDescriptor
　５１１ａ、５０１ｂ、５１１ｂ、５９１ｂ　EssentialDescriptor
　１００、６００　再生装置
　３００、９００　生成装置
　３２０、９２０　メタデータ生成部
　１１００　第１の取得部
　１１１０　第２の取得部
　１１２０　切替部

Claims (18)

  1. 　複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生装置において、
    　上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、
    　当該再生装置は、
    　上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得部と、
    　上記メタデータが示す所在から各部分映像データを取得する第２の取得部と、
    　上記第２の取得部が取得した各部分映像データの示す部分映像を再生する再生部と
    を備えている
    ことを特徴とする再生装置。
  2. 　上記複数の資源位置指定子群のうちの何れの資源位置指定子群も、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子を含んでいない
    ことを特徴とする請求項１に記載の再生装置。
  3. 　上記複数の資源位置指定子群のうち、ある資源位置指定子群には、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子が含まれている
    ことを特徴とする請求項１に記載の再生装置。
  4. 　上記時分割データに含まれる各部分映像はＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）規定のメディアセグメントであり、
    　上記メタデータは上記コンテンツデータに関するＤＡＳＨ規定のＭＰＤデータであり、
    　上記資源位置指定子は上記メディアセグメントのＵＲＬであり
    　上記資源位置指定子群の各々は、ＤＡＳＨ規定の各AdaptationSetである
    ことを特徴とする請求項１から３の何れか１項に記載の再生装置。
  5. 　上記第１の取得部は、上記各AdaptationSetに含まれるSupplementalDescriptor 又はEssentialDescriptorから、各部分映像の視点及び視線方向を含むパラメータ群を取得することを特徴とする請求項４に記載の再生装置。
  6. 　上記第１の取得部は、推奨の視点及び視線方向に関するパラメータ群を上記SupplementalDescriptorから取得する
    ことを特徴とする請求項５に記載の再生装置。
  7. 　上記複数の資源位置指定子群のうちの何れの資源位置指定子群も、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子を含んでいない上記メタデータを参照する第１の再生モードと
    　上記複数の資源位置指定子群のうち、ある資源位置指定子群に、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子が含まれている上記メタデータを参照する第２の再生モードとを切り替える切替部を更に備えていることを特徴とする請求項４から６の何れか１項に記載の再生装置。
  8. 　上記切替部は、上記ＭＰＤデータに含まれるEventStreamから再生モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して再生モードを切り替えることを特徴とする請求項７に記載の再生装置。
  9. 　上記切替部は、上記部分映像データに含まれるInband Eventから再生モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して再生モードを切り替えることを特徴とする請求項７に記載の再生装置。
  10. 　上記切替部は、上記部分映像データに含まれるＳＥＩ（Supplemental Enhanced Information）から再生モードの切り替えに関するメタデータを取得し、取得したメタデータを参照して再生モードを切り替えることを特徴とする請求項７に記載の再生装置。
  11. 　複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生装置が参照するメタデータを生成する生成装置において、
    　上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、
    　当該生成装置は、
    　上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを生成するメタデータ生成部
    を備えている
    ことを特徴とする生成装置。
  12. 　上記メタデータ生成部は、上記複数の資源位置指定子群のうちの何れの資源位置指定子群も、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子を含んでいないメタデータを生成する
    ことを特徴とする請求項１１に記載の生成装置。
  13. 　上記メタデータ生成部は、上記複数の資源位置指定子群のうちのある資源位置指定子群には、他の資源位置指定子群に含まれる資源位置指定子と同じ視点又は同じ視線方向に対応する資源位置指定子が含まれているメタデータを生成する
    ことを特徴とする請求項１１に記載の生成装置。
  14. 　複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生システムであって、
    　上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、
    　上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを生成するメタデータ生成部と、
    　上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得部と、
    　上記メタデータが示す所在から各部分映像データを取得する第２の取得部と、
    　上記第２の取得部が取得した各部分映像データの示す部分映像を再生する再生部と
    を備えていることを特徴とする再生システム。
  15. 　請求項１～１０の何れか１項に記載の再生装置としてコンピュータを機能させるプログラムであって、当該コンピュータを上記各部として機能させるためのプログラム。
  16. 　請求項１１～１３の何れか１項に記載の生成装置としてコンピュータを機能させるプログラムであって、当該コンピュータを上記各部として機能させるためのプログラム。
  17. 　請求項１５又は１６に記載のプログラムが記録されているコンピュータ読み取り可能な記録媒体。
  18. 　複数の時分割データに時分割されて配信されるコンテンツデータを再生する再生方法において、
    　上記複数の時分割データは、全天球映像を構成する部分映像データのうち、視点及び視線方向の少なくとも何れか毎の部分映像データから構成される１又は複数の部分映像データ群を含んでおり、
    　当該再生方法は、
    　上記１又は複数の部分映像データ群に含まれる各部分映像データの所在を指定する資源位置指定子から構成される複数の資源位置指定子群を含むメタデータを取得する第１の取得工程と、
    　上記メタデータが示す所在から各部分映像データを取得する第２の取得工程と、
    　上記第２の取得工程において取得した各部分映像データの示す部分映像を再生する再生工程と
    を含んでいる
    ことを特徴とする再生方法。
PCT/JP2018/012999 2017-04-04 2018-03-28 再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法 WO2018186272A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/499,648 US20200045359A1 (en) 2017-04-04 2018-03-28 Reproduction device, generation device, reproduction system, program, recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-074534 2017-04-04
JP2017074534 2017-04-04

Publications (1)

Publication Number Publication Date
WO2018186272A1 true WO2018186272A1 (ja) 2018-10-11

Family

ID=63712128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012999 WO2018186272A1 (ja) 2017-04-04 2018-03-28 再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法

Country Status (2)

Country Link
US (1) US20200045359A1 (ja)
WO (1) WO2018186272A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199607A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199607A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Information technology-Dynamic adaptive streaming over HTTP(DASH)-Part 1: Media presentation description and segment formats AMENDMENT 1: Support for event messages and extended audio channel configuration", DRAFT AMENDMENT ISO/IEC 23009-1:2012/DAM 1, 15 February 2013 (2013-02-15), pages 17 - 23 *

Also Published As

Publication number Publication date
US20200045359A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
JP7072649B2 (ja) 高品質のエクスペリエンスのためのオーディオメッセージの効率的な配信および使用のための方法および装置
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
US11483629B2 (en) Providing virtual content based on user context
US20220256231A1 (en) Systems and methods for synchronizing data streams
CN111837383A (zh) 发送和接收关于动态视点的坐标系的元数据的方法和装置
US11050991B2 (en) Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions
WO2019202207A1 (en) Processing video patches for three-dimensional content
KR20190008325A (ko) 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
EP3681170A1 (en) A method, an apparatus and a computer program product for virtual reality
CN107851425B (zh) 信息处理设备、信息处理方法和程序
US10743003B1 (en) Scalable video coding techniques
KR20090065735A (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
US11228773B1 (en) Scalable video coding techniques
KR20190065838A (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
WO2018186272A1 (ja) 再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
US10553029B1 (en) Using reference-only decoding of non-viewed sections of a projected video
CN114223211A (zh) 信息处理装置和信息处理方法
CN113574899A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
KR102243666B1 (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
WO2019031306A1 (ja) 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
WO2022014369A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18780684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18780684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP