WO2019167761A1 - 生成装置、再生装置、生成方法、制御プログラム、及び記録媒体 - Google Patents

生成装置、再生装置、生成方法、制御プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2019167761A1
WO2019167761A1 PCT/JP2019/006377 JP2019006377W WO2019167761A1 WO 2019167761 A1 WO2019167761 A1 WO 2019167761A1 JP 2019006377 W JP2019006377 W JP 2019006377W WO 2019167761 A1 WO2019167761 A1 WO 2019167761A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
virtual viewpoint
viewpoint image
virtual
image
Prior art date
Application number
PCT/JP2019/006377
Other languages
English (en)
French (fr)
Inventor
徳毛　靖昭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201980015425.0A priority Critical patent/CN111771383A/zh
Priority to US16/971,320 priority patent/US20210092348A1/en
Publication of WO2019167761A1 publication Critical patent/WO2019167761A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • One embodiment of the present invention relates to a structured data generation device, a virtual viewpoint image playback device, a structured data generation method, a control program, and a recording medium that describes the control program.
  • DASH Dynamic Adaptive Streaming over HTTP
  • MPEG Motion Picture Experts Group
  • MPD Media Presentation Description
  • One aspect of the present invention has been made in view of the above problems, and an object thereof is to realize a generation device that generates structured data that can be easily specified and acquired by a playback device. To do.
  • a generation apparatus includes a virtual viewpoint image generation unit that generates a virtual viewpoint image for each arbitrary section in a virtual space, and each of the virtual viewpoint images
  • a data generation unit that generates structured data indicating a data acquisition destination, and the data generation unit has a predetermined range including one or more virtual viewpoint positions in the virtual space in the structured data.
  • subset data defining one or a plurality of predetermined ranges that can be distinguished from each other is included.
  • FIG. 1 is a functional block diagram of an image reproduction system according to Embodiment 1.
  • FIG. It is a figure which shows an example of virtual space and MPD data which shows a virtual viewpoint image. It is the schematic which shows an example of the user who moves on a virtual space. It is a figure which shows an example of MPD data containing the subset data which show subspace. It is a figure which shows an example of the subset data mentioned above which a data generation part includes in MPD data.
  • 3 is a flowchart showing a flow of processing according to the first embodiment. It is the schematic which shows the example which matched one virtual viewpoint image with several AdaptationSet.
  • FIG. 10 is a diagram illustrating an example of MPD data generated by a data generation unit in Modification 1 of Embodiment 1.
  • FIG. 10 is a diagram illustrating an example of MPD data generated by a data generation unit in a second modification of the first embodiment. It is a figure which shows an example of the subset data which a data generation part includes in MPD data. It is the schematic which shows an example of the user who moves on a virtual space. It is a figure which shows a mode that a user is located in the arbitrary positions in virtual space. It is a figure which shows the MPD data which is the data which structured the acquisition destination of each data which comprises a virtual viewpoint image.
  • FIG. 10 is a diagram illustrating a description example of AdaptationSet included in MPD data according to Embodiment 2.
  • FIG. It is a figure which shows an example of the arrangement
  • the MPD data which is the data which structured the acquisition destination of each media segment which comprises a virtual viewpoint image.
  • the MPD data which concerns on Embodiment 3.
  • FIG. 10 It is a figure which shows an example of the arrangement
  • FIG. 10 is a diagram illustrating a description example of MPD data according to a modification of the third embodiment. 10 is a flowchart showing a flow of processing according to the second embodiment. 10 is a flowchart showing a flow of processing according to the third embodiment.
  • Embodiments of the present invention will be described with reference to FIGS. 1 to 21 as follows.
  • Embodiment 1 Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
  • FIG. 1 is a functional block diagram of an image reproduction system 1 according to the present embodiment. As shown in FIG. 1, the image reproduction system 1 includes a generation device 2 and a reproduction device 20.
  • the generation device 2 generates each virtual viewpoint image on the virtual space and MPD (Media Description Description) data that is structured data indicating an acquisition destination of each data (media segment) that constitutes the virtual viewpoint image. It is.
  • the virtual viewpoint image means a viewpoint image at a certain viewpoint position in the virtual space. Details of the MPD data will be described later.
  • the generation device 2 includes a control unit 3, a storage unit 4, and a communication unit 5.
  • the control unit 3 is a control device that controls the entire generation device 2, and includes a virtual viewpoint image generation unit 11, a data generation unit 12, and a communication control unit 13.
  • the virtual viewpoint image generation unit 11 generates a virtual viewpoint image at a virtual viewpoint position in the virtual space.
  • the data generation unit 12 generates the above-described MPD data.
  • the communication control unit 13 performs control related to communication processing by the communication unit 5.
  • the storage unit 4 is a storage device that stores various data.
  • the communication unit 5 performs communication processing with an external device via a network.
  • the playback device 20 is a device that acquires each data constituting the virtual viewpoint image with reference to the MPD data described above, and plays back the virtual viewpoint image.
  • the playback device 20 includes a control unit 21, a storage unit 22, a display unit 23, and a communication unit 24.
  • the control unit 21 is a control device that controls the entire playback device 20, and includes a playback processing unit 31, a data acquisition unit 32, a position acquisition unit 33, a display control unit 34, and a communication control unit 35.
  • the reproduction processing unit 31 performs a process of synthesizing a virtual viewpoint image from the media segment.
  • the data acquisition unit 32 acquires MPD data and media segments.
  • the position acquisition unit 33 acquires the position and orientation (orientation) of the user in the virtual space.
  • the display acquisition unit performs control related to screen display processing by the display unit 23.
  • the communication control unit 35 performs control related to communication processing by the communication unit 24.
  • the storage unit 22 is a storage device that stores various data.
  • the display unit 23 is a display panel that performs display processing of a moving image or a still image.
  • the communication unit 24 performs communication processing with an external device via a network.
  • FIG. 2 is a diagram illustrating an example of a virtual space and MPD data indicating a virtual viewpoint image.
  • A of FIG. 2 is a figure which shows a mode that a user is located in the arbitrary positions on virtual space.
  • the virtual viewpoint image is an omnidirectional image or an image similar to the omnidirectional image.
  • the viewpoint position of the virtual viewpoint image generated by the generation device 2 is not necessarily limited to the position of the grid point in the coordinate system in the virtual space.
  • the virtual viewpoint image generation unit 11 generates a virtual viewpoint image for each arbitrary section in the virtual space, and media segments that are data constituting each virtual viewpoint image are described later. It is stored in the storage unit 4 or a storage device (not shown in FIG. 1) so that it can be referred to by the MPD data.
  • FIG. 2 is a diagram showing MPD data that is data in which the acquisition destination of each data constituting the virtual viewpoint image is structured.
  • MPD data has a hierarchical structure of an MPD element, a Period element, an AdaptationSet element, a Representation element, a SegmentList element, and a SegmentURL element in order from the top.
  • each SegmentList element and SegmentURL element including Segment1 to Segment n are omitted.
  • one virtual viewpoint image as shown in FIG. 2A corresponds to one AdaptatonSet in the MPD data as shown in FIG. 2B.
  • Sengment 1 to Segment n included in (b) AdaptationSet P00 are SegmentURL elements indicating the acquisition destinations of n media segments (n is an integer of 1 or more) constituting the virtual viewpoint image P00 of (a). is there.
  • a predetermined range including one or a plurality of virtual viewpoint positions is defined as a subspace in the virtual space.
  • FIG. 3 is a schematic diagram showing an example of a user moving in the virtual space.
  • the user has moved from the virtual viewpoint position U1 included in the subspace S1 defined on the virtual space to the virtual viewpoint position U2 included in the subspace S2.
  • the adjacent subspace includes one or a plurality of common virtual viewpoint positions.
  • FIG. 4 is a diagram illustrating an example of MPD data including subset data indicating a subspace.
  • the data generation unit 12 is a predetermined range including one or a plurality of virtual viewpoint positions in the virtual space as shown in Subset
  • FIG. 5 is a diagram illustrating an example of the above-described subset data that the data generation unit 12 includes in the MPD data.
  • the subset data includes the identification number of the virtual viewpoint position (P11 and P21 in FIG. 5), the center position (center_x and center_y), the radius (radius), etc. of the subspace. It may be.
  • FIG. 6 is a flowchart showing the flow of processing according to the present embodiment.
  • description will be given assuming that the user moves from the subset S1 to the subset S2 in the virtual space.
  • step S101 the playback device 20 receives MPD data.
  • the communication control unit 13 included in the generation device 2 transmits MPD data including the subset data described above to the playback device 20 as illustrated in FIG.
  • the data acquisition unit 32 acquires the MPD data via the communication unit 24 and stores it in the storage unit 22.
  • step S102 the position acquisition unit 33 acquires the position and orientation of the user in the virtual space.
  • step S103 the control unit 21 refers to the MPD data stored in the storage unit 22 in step S101 and the user position acquired by the position acquisition unit 33 in step S102, and selects the subset in which the user is positioned. select.
  • step S104 the control unit 21 determines whether or not the subspace (subset) in which the user is located has been changed.
  • the process proceeds to step S105.
  • the process proceeds to step S107.
  • step S105 the data acquisition unit 32 refers to the AdaptationSet corresponding to each virtual viewpoint position included in the subspace in which the user is located, acquires the media segment constituting each virtual viewpoint image via the communication unit 24, and Store in the storage unit 22.
  • step S106 the data acquisition unit 32 stops acquiring the media segment included in each AdaptationSet corresponding to the virtual viewpoint position included in the subset other than the subset selected by the control unit 21 in step S103.
  • step S107 the position acquisition unit 33 determines whether or not the user is located in a common range of a plurality of subspaces, that is, an overlap range. If the user is located in the common range of the plurality of subspaces, the process proceeds to step S108, and if not, the process proceeds to step S109.
  • step S108 the reproduction processing unit 31 determines the virtual viewpoint image at the user's virtual viewpoint position from the media segment included in each AdaptationSet corresponding to the virtual viewpoint position included in the common range of the subspace in step S107. Is synthesized.
  • the data acquisition unit 32 may stop acquiring the media segments included in the AdaptaSet other than each AdaptationSet described above. The process in this step is performed, and then the process proceeds to step S110.
  • step S109 the reproduction processing unit 31 synthesizes a virtual viewpoint image at the user's virtual viewpoint position from each media segment corresponding to the virtual viewpoint position included in the subspace where the user is located.
  • step S110 the display control unit 34 refers to the virtual viewpoint image synthesized by the reproduction processing unit 31 in step S108 or step S109 and the position and orientation of the user acquired by the position acquisition unit 33 in step S102. 23, an image corresponding to the field of view from the virtual viewpoint position of the user is displayed.
  • step S111 the control unit 21 determines whether or not a predetermined time has elapsed since the start of counting in this step. If the predetermined time has elapsed, the process proceeds to step S102, and if not, the process proceeds to step S107.
  • the display processing unit from the virtual viewpoint position of the user in step S ⁇ b> 110 from the process in which the position acquisition unit 33 acquires the position and orientation of the user in the virtual space in step S ⁇ b> 102.
  • the process of displaying the image corresponding to the field of view is repeated until the user performs a predetermined end operation or until the moving image indicated by the MPD data stored in the storage unit 22 in step S101 ends.
  • the generation device 2 includes the virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in the virtual space, and the acquisition destination of each data constituting the virtual viewpoint image.
  • the generating apparatus 2 that generates structured data that can be easily specified and acquired by the playback apparatus 20 with an image at a suitable virtual viewpoint position.
  • the playback device 20 is structured data indicating an acquisition destination of each data constituting a virtual viewpoint image generated for each arbitrary section in the virtual space, and is 1 in the virtual space.
  • a data acquisition unit 32 for acquiring structured data including subset data defining a predetermined range including one or a plurality of predetermined ranges that can be distinguished from each other, and a predetermined range including a plurality of virtual viewpoint positions;
  • a position acquisition unit 33 for acquiring a user's position, wherein the data acquisition unit 32 refers to the structured data and the user's position acquired by the position acquisition unit 33, and the predetermined location where the user exists
  • Each data constituting the virtual viewpoint image corresponding to the virtual viewpoint position included in the range is acquired.
  • the playback device 20 that can easily designate and acquire an image at a suitable virtual viewpoint position.
  • FIG. 7 is a schematic diagram showing an example in which one virtual viewpoint image is associated with a plurality of AdaptationSets.
  • each diagram in FIG. 7 is a diagram of the range of the virtual viewpoint image covered by each AdaptationSet as seen from above.
  • a part of the said range may overlap.
  • the virtual viewpoint image generation unit 11 generates a virtual viewpoint image for each arbitrary section in the virtual space, and selects a media segment constituting the virtual viewpoint image so that each virtual viewpoint image can be referred to by a plurality of AdaptationSets.
  • the data is stored in the storage unit 4 or a storage device (not shown in FIG. 1).
  • FIG. 8 is a diagram illustrating an example of MPD data generated by the data generation unit 12 in the present modification.
  • the virtual viewpoint image P00 generated by the virtual viewpoint image generation unit 11 corresponds to AdaptationSet P00a to P00d (P00c and P00d are not shown).
  • the data generation unit 12 includes MPD data including subset data that defines one or a plurality of virtual viewpoint images covering a predetermined range, as illustrated in Subset S1a and Subset S1b in FIG.
  • FIG. 9 is a diagram illustrating an example of the above-described subset data that the data generation unit 12 includes in the MPD data.
  • the subset data includes the identification number of the virtual viewpoint position (P11a and P21a in FIG. 9), the center position (center_x and center_y), and the radius (radius) of the subspace.
  • information (min_azimuth and max_azimuth) indicating what range (angle) the virtual viewpoint image corresponding to the subset covers may be included.
  • the data acquisition unit 32 included in the playback device 20 acquires MPD data as shown in FIG. 8 from the generation device 2 and stores it in the storage unit 22.
  • control unit 21 stores the MPD data stored in the storage unit 22 and the position and orientation of the user in the virtual space acquired by the position acquisition unit 33. With reference to (orientation), the subset in which the user is located is selected.
  • the data acquisition unit 32 since the data acquisition unit 32 does not acquire a virtual viewpoint image in a direction that the user is not facing, there is an effect of reducing the communication processing amount.
  • FIG. 10 is a diagram illustrating an example of a virtual space that is a three-dimensional space.
  • the virtual viewpoint image generation unit 11 according to the present modification generates a virtual viewpoint image for each arbitrary section in a three-dimensional virtual space, and is media that constitutes each virtual viewpoint image.
  • the segment is stored in the storage unit 4 or a storage device (not shown in FIG. 1) so that it can be referred to by the MPD data.
  • FIG. 11 is a diagram illustrating an example of MPD data generated by the data generation unit 12 in the present modification.
  • the data generation unit 12 is a predetermined range including one or a plurality of virtual viewpoint positions in a three-dimensional virtual space as shown in Subset S1 in FIG. MPD data including subset data indicating a subspace defining a range is generated. Also in this modification, adjacent subspaces include one or more common virtual viewpoint positions.
  • FIG. 12 is a diagram illustrating an example of subset data included in the MPD data by the data generation unit 12.
  • the subset data includes the identification number of the virtual viewpoint position (P110 and P210 in FIG. 12) and the center position (center_x, center_y, and center_z) of the subspace on the three-dimensional space. ) And radius etc. may be included.
  • the playback device 20 refers to the MPD data, receives the media segment corresponding to the subset in which the user is located, and uses it for the subsequent processing.
  • the playback device 20 can easily specify an image at a suitable virtual viewpoint position.
  • FIG. 13 is a schematic diagram showing an example of a user moving in the virtual space.
  • the virtual viewpoint image generation unit 11 generates a virtual viewpoint image at an arbitrary position on a one-dimensional straight line, and the user moves on the straight line in the virtual space. It is also applicable to.
  • FIGS. 1 and 14 to 16 A second embodiment of the present invention will be described with reference to FIGS. 1 and 14 to 16.
  • a configuration of the image reproduction system 1 that defines a synthesis level for each virtual viewpoint image will be described.
  • members having the same functions as those described in the above embodiment are given the same reference numerals, and the description thereof will not be repeated.
  • FIG. 1 Configuration of image reproduction system 1
  • the virtual viewpoint image generation unit 11 has a function of recursively synthesizing a virtual viewpoint image from the generated virtual viewpoint image.
  • the data generation unit 12 indicates how many times recursive synthesis is performed for the virtual viewpoint image for the AdaptationSet corresponding to each virtual viewpoint image. Include synthesis level data.
  • FIG. 14 is a diagram illustrating a state where the user is located at an arbitrary position in the virtual space.
  • each virtual viewpoint image is a zeroth-order virtual viewpoint image (P00, P04, P40, and P44 in FIG. 14) that is a captured image of the camera, and a primary virtual viewpoint image (P20, P02, P22, P42, and P24). ) And secondary virtual viewpoint images (P10, P30, etc.).
  • the virtual viewpoint image generation unit 11 generates a primary virtual viewpoint image from a plurality of 0th-order virtual viewpoint images, and generates a secondary virtual viewpoint image from the plurality of 0th-order or primary virtual viewpoint images.
  • FIG. 15 is a diagram showing MPD data, which is data in which the acquisition destination of each data constituting the virtual viewpoint image is structured.
  • FIG. 16 is a diagram showing a description example of AdaptationSet included in the MPD data according to the present embodiment.
  • each AdaptationSet corresponding to each virtual viewpoint image has any of the above-described classifications (0th order, first order, or 2).
  • Synthesis level data which is information indicating whether the virtual viewpoint image belongs to the next virtual viewpoint image) is included.
  • the virtual viewpoint image corresponding to the AdaptationSet refers to the virtual viewpoint image corresponding to any virtual viewpoint position. Information indicating whether they have been combined may be included.
  • FIG. 22 is a flowchart showing the flow of processing according to this embodiment.
  • step S201 the playback device 20 receives MPD data.
  • the communication control unit 13 included in the generation device 2 transmits MPD data including the above-described synthesis level data as illustrated in FIG. 15 to the reproduction device 20 via the communication unit 5.
  • the data acquisition unit 32 acquires the MPD data via the communication unit 24 and stores it in the storage unit 22.
  • step S202 the position acquisition unit 33 acquires the position and posture of the user in the virtual space.
  • the control unit 21 refers to the user's position information acquired by the position acquisition unit 33 as needed, and calculates the speed at which the user moves in the virtual space.
  • step S203 the data acquisition unit 32 includes the synthesis level data included in the AdaptationSet in the MPD data stored in the storage unit 22 in step S201, and the user position acquired by the position acquisition unit 33 in step S202. Then, with reference to the user speed calculated by the control unit 21, which virtual viewpoint image is to be acquired is determined. For example, when the movement speed of the user is fast, the data acquisition unit 32 is a virtual viewpoint image corresponding to the virtual viewpoint position on the movement path of the user. If it is, the structure which is not acquired may be sufficient.
  • the communication speed in the network between the generation device 2 and the playback device 20 is slower, and the generation of the primary virtual viewpoint image, the secondary virtual viewpoint image, or both on the playback device 20 side is more comprehensive in the image playback system 1.
  • the data acquisition unit 32 may be configured not to acquire the primary virtual viewpoint image, the secondary virtual viewpoint image, or both from the generation device 2.
  • step S204 the data acquisition unit 32 refers to the MPD data stored in the storage unit 22 in step S201, acquires the media segment constituting the virtual viewpoint image determined to be acquired in step S203, Store in the storage unit 22.
  • step S205 the reproduction processing unit 31 synthesizes a virtual viewpoint image at the virtual viewpoint position on the movement path of the user from each media segment stored in the storage unit 22 in step S204.
  • step S206 the display control unit 34 refers to the virtual viewpoint image synthesized by the reproduction processing unit 31 in step S205 and the position and posture of the user acquired by the position acquisition unit 33 in step S202. 23, an image corresponding to the field of view from the virtual viewpoint position of the user is displayed. The above is the process in step S206.
  • step S202 the playback apparatus 20 starts from the process in which the position acquisition unit 33 acquires the position and orientation of the user in the virtual space.
  • step S206 the display processing unit causes the display unit 23 to display the position of the user from the virtual viewpoint position. The process of displaying the image corresponding to the field of view is repeated until the user performs a predetermined end operation or until the moving image indicated by the MPD data stored in the storage unit 22 in step S201 ends.
  • the generation device 2 includes the virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in the virtual space, and the acquisition destination of each data constituting the virtual viewpoint image.
  • the virtual viewpoint image generation unit 11 recursively synthesizes a virtual viewpoint image from the generated virtual viewpoint image
  • the data generation unit 12 includes the structure For each data group constituting the virtual viewpoint image of the digitized data, synthesis level data indicating how many times the virtual viewpoint image has undergone recursive synthesis is included.
  • the generation device 2 can obtain only the virtual viewpoint image necessary for the viewpoint synthesis only. Can be generated.
  • the playback device 20 according to the present embodiment is structured data indicating an acquisition destination of each data constituting the virtual viewpoint image generated for each arbitrary section in the virtual space, and configures the virtual viewpoint image.
  • Each data group includes a data acquisition unit 32 that acquires structured data including synthesis level data indicating how many times the virtual viewpoint image has undergone recursive synthesis, and the data acquisition unit 32 includes: The virtual viewpoint image to be acquired is determined with reference to the synthesis level data.
  • the playback device 20 can acquire only the virtual viewpoint image that is the minimum necessary for viewpoint synthesis and use it for image playback when the moving speed of the user in the virtual space is fast, for example,
  • the effect is to reduce the amount of data.
  • FIGS. 1 and 17 to 19 A third embodiment of the present invention will be described with reference to FIGS. 1 and 17 to 19.
  • a configuration of the image reproduction system 1 that defines an arrangement pattern of virtual viewpoint images using an identification number will be described.
  • members having the same functions as those described in the above embodiment are given the same reference numerals, and the description thereof will not be repeated.
  • the data generation unit 12 includes arrangement pattern data indicating in which virtual viewpoint position each virtual viewpoint image is arranged.
  • FIG. 17 is a diagram illustrating an example of an arrangement pattern of virtual viewpoint images. As illustrated in FIGS. 17A and 17B, in the image reproduction system 1 according to the present embodiment, an identification number is defined for the position of each virtual viewpoint image in the virtual space.
  • FIG. 18 is a diagram illustrating MPD data that is data in which the acquisition destinations of the respective media segments constituting the virtual viewpoint image are structured.
  • the MPD data according to the present embodiment includes arrangement pattern data indicating in which virtual viewpoint position each of the virtual viewpoint images is arranged. . Information about what kind of virtual viewpoint position the arrangement pattern data value indicates is shared between the generation apparatus 2 and the reproduction apparatus 20 in advance.
  • FIG. 19 is a diagram showing a description example of MPD data according to the present embodiment.
  • the value indicates the virtual viewpoint arrangement pattern.
  • the data indicating the arrangement pattern of the virtual viewpoint positions may be included in the Period element instead of immediately below the MPD data.
  • the Period element included in the MPD data is an element corresponding to a moving image divided at a predetermined time.
  • FIG. 23 is a flowchart showing the flow of processing according to the present embodiment.
  • step S ⁇ b> 301 the data acquisition unit 32 acquires the MPD data according to the present embodiment generated by the generation device 2 via the communication unit 24 and stores it in the storage unit 22.
  • step S302 the position acquisition unit 33 acquires the position and orientation of the user in the virtual space.
  • step S303 the data acquisition unit 32 appropriately refers to the arrangement pattern data included in the MPD data stored in the storage unit 22 in step S301 and the user position acquired by the position acquisition unit 33 in step S302. Thus, it is determined which AdaptationSet the virtual viewpoint image is to be acquired in the reproduction of the moving image corresponding to Period 0.
  • step S304 the data acquisition unit 32 refers to the MPD data stored in the storage unit 22 in step S301, acquires the media segment constituting the virtual viewpoint image determined to be acquired in step S303, Store in the storage unit 22.
  • step S305 the reproduction processing unit 31 synthesizes a virtual viewpoint image at the virtual viewpoint position on the movement path of the user from each media segment stored in the storage unit 22 in step S304.
  • step S306 the display control unit 34 appropriately displays the virtual viewpoint image synthesized by the reproduction processing unit 31 in step S305 and the position and orientation of the user acquired by the position acquisition unit 33 in step S302. For example, the image corresponding to the field of view from the virtual viewpoint position of the user is displayed on the unit 23.
  • step S307 if there is a next period, the processes in and after step 303 are repeated.
  • the virtual viewpoint position arrangement pattern in Period 0 is different from the virtual viewpoint position arrangement pattern in Period 1, but the data acquisition unit 32, for example, uses the AdaptationSet determined in Step S303. You may decide to acquire the virtual viewpoint image corresponding to AdaptationSet which has the same id.
  • the generation apparatus 2 includes a virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in the virtual space, and structured data indicating an acquisition destination of each data constituting the virtual viewpoint image
  • the data generation unit 12 generates structured data including arrangement pattern data indicating at which virtual viewpoint position each of the virtual viewpoint images is arranged.
  • generation apparatus 2 which can reproduce
  • the playback device 20 is structured data indicating an acquisition destination of each data constituting a virtual viewpoint image generated for each arbitrary section in the virtual space, and each of the virtual viewpoint images Is provided with a data acquisition unit 32 for acquiring structured data including arrangement pattern data indicating at which virtual viewpoint position the data acquisition unit 32 refers to the arrangement pattern data, and Decide whether to acquire the viewpoint image.
  • the playback device 20 that plays back video from the viewpoint recommended by the generation device 2 for each period while the user is in a fixed position.
  • FIG. 20 is a diagram illustrating an example of an arrangement pattern of virtual viewpoint images.
  • FIG. 21 is a diagram illustrating a description example of MPD data according to the present modification. 21 corresponds to the virtual viewpoint image arrangement pattern shown in (a) of FIG. 20, and the value of 4 in Period
  • the number of virtual viewpoint images generated by the generation device 2 may be different among the periods.
  • the generation device 2 does not generate a virtual viewpoint image that is not necessary for reproduction by the reproduction device 20 in a reproduction section of an image corresponding to a part or all of the Period, thereby generating a virtual viewpoint image by the virtual viewpoint image generation unit 11. There is an effect of reducing the amount of processing and the amount of MPD data generated by the data generation unit 12.
  • control block (particularly the data generation unit 12) of the generation device 2 and the control block (particularly the reproduction processing unit 31) of the reproduction device 20 are realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. Alternatively, it may be realized by software.
  • the generation device 2 and the playback device 20 are provided with a computer that executes instructions of a program that is software for realizing each function.
  • the computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the program.
  • the processor reads the program from the recording medium and executes the program, thereby achieving the object of the present invention.
  • a CPU Central Processing Unit
  • the recording medium a “non-temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the generation apparatus 2 includes a virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in a virtual space, and a structure that indicates an acquisition destination of each data constituting the virtual viewpoint image
  • a data generation unit 12 for generating structured data wherein the data generation unit 12 is a predetermined range including one or a plurality of virtual viewpoint positions in the virtual space, and is distinguishable from each other. In this configuration, subset data defining one or more predetermined ranges is included.
  • the generating apparatus 2 that generates structured data that can be easily specified and acquired by the playback apparatus 20 with an image at a suitable virtual viewpoint position.
  • the generation device 2 includes a virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in the virtual space, and a structure that indicates an acquisition destination of each data constituting the virtual viewpoint image
  • a virtual viewpoint image generation unit 11 that recursively synthesizes a virtual viewpoint image from the generated virtual viewpoint image, and the data generation unit 12 includes the data of the structured data.
  • composition level data indicating how many times the virtual viewpoint image has undergone recursive composition is included.
  • the generation device 2 can obtain only the virtual viewpoint image necessary for the viewpoint synthesis only. Can be generated.
  • the generation apparatus 2 includes a virtual viewpoint image generation unit 11 that generates a virtual viewpoint image for each arbitrary section in the virtual space, and a structure that indicates an acquisition destination of each data constituting the virtual viewpoint image
  • the data generation unit 12 generates structured data
  • the data generation unit 12 generates structured data including arrangement pattern data indicating in which virtual viewpoint position each of the virtual viewpoint images is arranged. It is.
  • generation apparatus 2 which can reproduce
  • the playback device 20 is structured data indicating an acquisition destination of each data constituting a virtual viewpoint image generated for each arbitrary section in the virtual space, and is 1 in the virtual space.
  • each piece of data constituting a virtual viewpoint image corresponding to the virtual viewpoint position included in is acquired.
  • the playback device 20 that can easily designate and acquire an image at a suitable virtual viewpoint position.
  • the playback device 20 is structured data indicating the acquisition destination of each data constituting the virtual viewpoint image generated for each arbitrary section in the virtual space, and configures the virtual viewpoint image.
  • Each data group includes a data acquisition unit 32 that acquires structured data including synthesis level data indicating how many times the virtual viewpoint image has undergone recursive synthesis, and the data acquisition unit 32 includes: It is a configuration that determines which virtual viewpoint image is acquired with reference to the synthesis level data.
  • the playback device 20 can acquire only the virtual viewpoint image that is the minimum necessary for viewpoint synthesis and use it for image playback when the moving speed of the user in the virtual space is fast, for example,
  • the effect is to reduce the amount of data.
  • the playback device 20 is structured data indicating an acquisition destination of each data constituting the virtual viewpoint image generated for each arbitrary section in the virtual space, and each of the virtual viewpoint images Includes a data acquisition unit 32 that acquires structured data including arrangement pattern data indicating at which virtual viewpoint position the data acquisition unit 32 refers to the arrangement pattern data. This is a configuration for determining whether to acquire an image.
  • the playback device 20 that plays back video from the viewpoint recommended by the generation device 2 for each period while the user is in a fixed position.
  • a generation method is a data generation method executed by an apparatus, a virtual viewpoint image generation step for generating a virtual viewpoint image for each arbitrary section in a virtual space, and the virtual viewpoint image
  • a generation method is a data generation method executed by an apparatus, and includes a virtual viewpoint image generation step for generating a virtual viewpoint image for each arbitrary section in a virtual space, and the virtual viewpoint image
  • a synthesis level data indicating how many times the virtual viewpoint image has undergone recursive synthesis is included. is there.
  • a generation method is a data generation method executed by an apparatus, a virtual viewpoint image generation step for generating a virtual viewpoint image for each arbitrary section in a virtual space, and the virtual viewpoint image
  • a data generation step for generating structured data indicating an acquisition destination of each data constituting the data, and in the data generation step, an arrangement pattern indicating at which virtual viewpoint position each of the virtual viewpoint images is arranged
  • a control program for causing a computer to function as the generating device 2 described in any one of the embodiments may be configured to cause the computer to function as the generating device 2.
  • a control program for causing a computer to function as the playback device 20 according to aspect 11 of the present invention, wherein the control program causes the computer to function as the playback device 20 includes the above-described modes 4 to 6.
  • a control program for causing a computer to function as the playback device 20 according to any one of the embodiments may be configured to cause the computer to function as the playback device 20.
  • the recording medium according to aspect 12 of the present invention may be a computer-readable recording medium in which the control program according to aspect 10 is recorded.
  • the recording medium according to aspect 13 of the present invention may be a computer-readable recording medium in which the control program according to aspect 11 is recorded.
  • the generation device 2 and the playback device 20 according to each aspect of the present invention may be realized by a computer.
  • the computer is operated as each unit (software element) included in the generation device 2 and the playback device 20.
  • the control program for the generating device 2 and the reproducing device 20 that realizes the generating device 2 and the reproducing device 20 by a computer and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

再生装置が好適な仮想視点画像を容易に指定し、取得できる構造化データを生成する生成装置を実現する。生成装置（２）は、仮想視点画像生成部（１１）と、構造化データを生成するデータ生成部（１２）とを備え、前記データ生成部（１２）は、前記構造化データに、１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる。

Description

生成装置、再生装置、生成方法、制御プログラム、及び記録媒体
　本発明の一様態は、構造化データの生成装置、仮想視点画像の再生装置、構造化データの生成方法、制御プログラム、及び制御プログラムを記載した記録媒体に関する。
　近年、多視点画像、あるいは全天球画像等、大容量の動画像をストリーミング配信する為の様々な技術が開発されている。一例としては、MPEG（Moving Picture Experts Group）にて標準化作業が進められているDASH（Dynamic Adaptive Streaming over HTTP）が挙げられる。DASHにおいては、MPD（Media Presentation Description）データと呼ばれる記述情報およびSegmentデータのフォーマットが規定されている。
ISO/IEC 23009-1 Second edition 2014-05-15
　しかしながら、上述のような従来技術は、画像再生処理を行う再生装置が、画像生成処理を行う生成装置等から仮想視点画像を取得し、任意の視点位置の画像を合成する場合に、生成装置等から何れの仮想視点画像を取得すればよいかの判断が難しいという問題がある。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、再生装置が好適な仮想視点画像を容易に指定し、取得できる構造化データを生成する生成装置を実現することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る生成装置は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部とを備え、前記データ生成部は、前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる。
　本発明の一態様によれば、再生装置が好適な仮想視点位置の画像を容易に指定し、取得できる構造化データを生成する生成装置を実現できる。
実施形態１に係る画像再生システムの機能ブロック図である。 仮想空間と、仮想視点画像を示すMPDデータとの一例を示す図である。 仮想空間上を移動するユーザの一例を示す概略図である。 サブ空間を示すサブセットデータを含むMPDデータの一例を示す図である。 データ生成部がMPDデータに含ませる、上述したサブセットデータの一例を示す図である。 実施形態１に係る処理の流れを示すフローチャートである。 １つの仮想視点画像を複数のAdaptationSetに対応させた例を示す概略図である。 実施形態１の変形例１において、データ生成部が生成するMPDデータの例を示す図である。 データ生成部がMPDデータに含ませる、上述したサブセットデータの一例を示す図である。 ３次元空間である仮想空間の一例を示す図である。 実施形態１の変形例２において、データ生成部が生成するMPDデータの例を示す図である。 データ生成部が、MPDデータに含ませるサブセットデータの一例を示す図である。 仮想空間上を移動するユーザの一例を示す概略図である。 仮想空間内における任意の位置にユーザが位置する様子を示す図である。 仮想視点画像を構成するデータそれぞれの取得先を構造化したデータであるMPDデータを示す図である。 実施形態２に係るMPDデータに含まれるAdaptationSetの記述例を示す図である。 仮想視点画像の配置パターンの一例を示す図である。 仮想視点画像を構成するメディアセグメントそれぞれの取得先を構造化したデータであるMPDデータを示す図である。 実施形態３に係るMPDデータの記述例を示す図である。 仮想視点画像の配置パターンの一例を示す図である。 実施形態３の変形例に係るMPDデータの記述例を示す図である。 実施形態２に係る処理の流れを示すフローチャートである。 実施形態３に係る処理の流れを示すフローチャートである。
　本発明の実施形態について図１～図２１に基づいて説明すれば以下の通りである。
　〔実施形態１〕
　以下、本発明の一実施形態について、図１～図１３に基づいて説明する。
　本実施形態においては、仮想視点空間においてサブ空間を規定する画像再生システムの構成について説明する。なお、本明細書においては、特に断りが無い限り、静止画と動画とを区別せず、共に画像と呼称するものとする。
　〔１．画像再生システム１の構成〕
　図１に基づいて本実施形態に係る画像再生システム１の構成について説明する。図１は、本実施形態に係る画像再生システム１の機能ブロック図である。図１に示す通り、画像再生システム１は生成装置２と、再生装置２０とを備えている。
　生成装置２は、仮想空間上の各仮想視点画像と、当該仮想視点画像を構成する各データ（メディアセグメント）の取得先を示す構造化データであるMPD（Media Presentation Description）データとを生成する装置である。なお、仮想視点画像とは、仮想空間上のある視点位置における視点画像を意味する。また、MPDデータの詳細については後述する。
　生成装置２は、制御部３、記憶部４、及び通信部５を備えている。制御部３は、生成装置２全体を統括する制御装置であって、仮想視点画像生成部１１、データ生成部１２、及び通信制御部１３を備えている。
　仮想視点画像生成部１１は、仮想空間上の仮想視点位置における仮想視点画像を生成する。データ生成部１２は、上述したMPDデータを生成する。通信制御部１３は、通信部５による通信処理に係る制御を行う。
　記憶部４は、各種データを格納する記憶装置である。通信部５は、ネットワークを介して外部の装置との通信処理を行う。
　再生装置２０は、上述したMPDデータを参照して仮想視点画像を構成する各データを取得し、仮想視点画像を再生する装置である。再生装置２０は、制御部２１、記憶部２２、表示部２３、及び通信部２４を備えている。
　制御部２１は、再生装置２０全体を統括する制御装置であって、再生処理部３１、データ取得部３２、位置取得部３３、表示制御部３４、及び通信制御部３５を備えている。
　再生処理部３１は、メディアセグメントから仮想視点画像を合成する処理を行う。データ取得部３２は、MPDデータ及びメディアセグメントの取得を行う。位置取得部３３は、仮想空間上におけるユーザの位置及び姿勢（向き）を取得する。表示取得部は、表示部２３による画面表示処理に係る制御を行う。通信制御部３５は、通信部２４による通信処理に係る制御を行う。
　記憶部２２は、各種データを格納する記憶装置である。表示部２３は、動画又は静止画の表示処理を行う表示パネルである。通信部２４は、ネットワークを介して外部の装置との通信処理を行う。
　〔２．MPDデータについて〕
　本実施形態において生成装置２が生成する仮想視点画像及びMPDデータについて、図２～図５に基づいて説明する。
　図２は、仮想空間と、仮想視点画像を示すMPDデータとの一例を示す図である。図２の（ａ）は、仮想空間上における任意の位置にユーザが位置する様子を示す図である。P00等、各格子点に存在する円形の図は、当該視点位置における仮想視点画像を表す。ここで、当該仮想視点画像は、全天球画像又は全天球画像に準ずる画像である。また、生成装置２が生成する仮想視点画像の視点位置は、必ずしも仮想空間上の座標系における格子点の位置に限定されない。
　仮想視点画像生成部１１は、図２の（ａ）に示すように、仮想空間上の任意の区間ごとに仮想視点画像を生成し、各仮想視点画像を構成するデータであるメディアセグメントを、後述するMPDデータによって参照可能となるように記憶部４又は図１には図示しない記憶装置に格納する。
　図２の（ｂ）は、当該仮想視点画像を構成するデータそれぞれの取得先を構造化したデータであるMPDデータを示す図である。MPDデータは、（ｂ）に示すように、上位から順にMPD要素、Period要素、AdaptationSet要素、Representation要素、SegmentList要素、及びSegmentURL要素という階層構造になっている。また、（ｂ）においては、Segment１からSegment nを含む各SegmentList要素及びSegmentURL要素は省略されている。
　ここで、図２の（ａ）に含まれるような仮想視点画像１つが、図２の（ｂ）に示すようなMPDデータにおけるAdaptatonSet１つに対応する。例えば、（ｂ）のAdaptationSet P00に含まれるSengment 1からSegment nは、（ａ）の仮想視点画像P00を構成するn個（nは１以上の整数）のメディアセグメントの取得先を示すSegmentURL要素である。
　画像再生システム１においては、仮想空間上において、１又は複数の仮想視点位置を含む所定の範囲をサブ空間として規定する。
　図３は、仮想空間上を移動するユーザの一例を示す概略図である。図３に示す例において、ユーザは、仮想空間上に規定されたサブ空間Ｓ１に含まれる仮想視点位置Ｕ１から、サブ空間Ｓ２に含まれる仮想視点位置Ｕ２へ移動している。なお、隣接するサブ空間には、１又は複数の共通する仮想視点位置が含まれる。
　図４は、サブ空間を示すサブセットデータを含むMPDデータの一例を示す図である。
　データ生成部１２は、図４のSubset S1、及びSubset S2に示すような、仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含むMPDデータを生成する。
　図５は、データ生成部１２がMPDデータに含ませる、上述したサブセットデータの一例を示す図である。図５に例示するように、サブセットデータには、含まれる仮想視点位置の識別番号（図５におけるP11及びP21等）、並びにサブ空間の中心位置（center_x及びcenter_y）及び半径（radius）等が含まれていてもよい。
　〔３．処理の流れ〕
　本実施形態における仮想視点画像再生に係る処理の流れについて図１～図６に基づいてステップごとに説明する。図６は、本実施形態に係る処理の流れを示すフローチャートである。以下、一例として、図３に示すように、ユーザが仮想空間内においてサブセットＳ１からサブセットＳ２へ移動する場合を想定して説明する。
　（Ｓ１０１）
　ステップＳ１０１において、再生装置２０は、MPDデータを受信する。生成装置２が備える通信制御部１３は、通信部５を介して、図４に示すような、上述したサブセットデータを含むMPDデータを再生装置２０へ送信する。データ取得部３２は、通信部２４を介して上記MPDデータを取得し、記憶部２２に格納する。
　（Ｓ１０２）
　続いて、ステップＳ１０２において、位置取得部３３は、仮想空間内におけるユーザの位置及び姿勢を取得する。
　（Ｓ１０３）
　続いて、ステップＳ１０３において、制御部２１は、ステップＳ１０１において記憶部２２に格納されたMPDデータと、ステップＳ１０２において位置取得部３３が取得したユーザの位置とを参照し、ユーザが位置するサブセットを選択する。
　（Ｓ１０４）
　続いて、ステップＳ１０４において、制御部２１は、ユーザが位置するサブ空間（サブセット）が変更されたか否かを判定する。ユーザが位置するサブ空間が変更された場合又は本ステップＳ１０４へ初めて遷移する場合は、ステップＳ１０５へ遷移し、ユーザが位置するサブ空間に変更が無い場合は、ステップＳ１０７へ遷移する。
　（Ｓ１０５）
　ステップＳ１０５において、データ取得部３２は、ユーザが位置するサブ空間に含まれる各仮想視点位置に対応するAdaptationSetを参照し、通信部２４を介して各仮想視点画像を構成するメディアセグメントを取得し、記憶部２２に格納する。
　（Ｓ１０６）
　続いて、ステップＳ１０６において、データ取得部３２は、ステップＳ１０３において制御部２１が選択したサブセット以外のサブセットに含まれる仮想視点位置に対応する各AdaptationSetに含まれるメディアセグメントの取得を停止する。
　（Ｓ１０７）
　続いて、ステップＳ１０７において、位置取得部３３は、ユーザが複数のサブ空間の共通範囲、つまりオーバーラップ範囲に位置するか否かの判定を行う。ユーザが、複数のサブ空間の共通範囲に位置する場合は、ステップＳ１０８へ遷移し、位置しない場合は、ステップＳ１０９へ遷移する。
　（Ｓ１０８）
　ステップＳ１０８において、再生処理部３１は、ユーザが位置する、ステップＳ１０７におけるサブ空間の共通範囲に含まれる仮想視点位置に対応する各AdaptationSetに含まれるメディアセグメントから、ユーザの仮想視点位置における仮想視点画像を合成する。また、本ステップにおいて、データ取得部３２は、上述した各AdaptationSet以外のAdaptatonSetに含まれるメディアセグメントの取得を停止しても構わない。本ステップにおける処理を行い、次いでステップＳ１１０へ遷移する。
　（Ｓ１０９）
　ステップＳ１０９において、再生処理部３１は、ユーザが位置するサブ空間に含まれる仮想視点位置に対応する各メディアセグメントから、ユーザの仮想視点位置における仮想視点画像を合成する。
　（Ｓ１１０）
　ステップＳ１１０において、表示制御部３４は、ステップＳ１０８又はステップＳ１０９において再生処理部３１が合成した仮想視点画像と、ステップＳ１０２において位置取得部３３が取得したユーザの位置及び姿勢を参照して、表示部２３に、ユーザの仮想視点位置からの視界に相当する画像を表示させる。
　（Ｓ１１１）
　続いて、ステップＳ１１１において、制御部２１は、本ステップにおいてカウントを開始してから所定の時間が経過したか否かを判定する。所定の時間が経過した場合は、ステップＳ１０２へ遷移し、経過していない場合は、ステップＳ１０７へ遷移する。
　つまり再生装置２０は、ステップＳ１０２において位置取得部３３が、仮想空間内におけるユーザの位置及び姿勢を取得する処理から、ステップＳ１１０において、表示処理部が、表示部２３にユーザの仮想視点位置からの視界に相当する画像を表示させる処理を、ユーザが所定の終了操作を行うまで、又はステップＳ１０１において記憶部２２に格納されたMPDデータが示す動画が終了するまで繰り返す。以上が図６のフローチャートに基づく処理の流れである。
　このように、本実施形態に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、前記データ生成部１２は、前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる。
　上記の構成によれば、再生装置２０が好適な仮想視点位置の画像を容易に指定し、取得できる構造化データを生成する生成装置２を実現できる。
　また、本実施形態に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含む構造化データを取得するデータ取得部３２と、仮想空間上におけるユーザの位置を取得する位置取得部３３とを備え、前記データ取得部３２は、前記構造化データと、前記位置取得部３３が取得した前記ユーザの位置とを参照し、ユーザが存在する前記所定の範囲に含まれる仮想視点位置に対応する仮想視点画像を構成する各データを取得する。
　上記の構成によれば、好適な仮想視点位置の画像を容易に指定し、取得できる再生装置２０を実現できる。
　〔変形例１〕
　実施形態１の第１の変形例について、図１、及び図７～図９に基づいて説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。本変形例においては、１つの仮想視点画像を、複数のAdaptationSetに対応させる構成について説明する。
　図７は、１つの仮想視点画像を複数のAdaptationSetに対応させた例を示す概略図である。ここで、図７の各図は、各AdaptationSetがカバーする仮想視点画像の範囲を上から見た図である。また、図７に示すように、当該範囲の一部が重複していてもよい。
　仮想視点画像生成部１１は、仮想空間上の任意の区間ごとに仮想視点画像を生成し、各仮想視点画像が複数のAdaptationSetによって参照可能となるように、当該仮想視点画像を構成するメディアセグメントを記憶部４又は図１には図示しない記憶装置に格納する。
　図８は、本変形例において、データ生成部１２が生成するMPDデータの例を示す図である。図８に示す例においては、例えば、仮想視点画像生成部１１が生成する仮想視点画像P00は、AdaptationSet P00a～P00d（P00c及びP00dは不図示）に対応する。また、データ生成部１２は、図８のSubset S1a、及びSubset S1bに例示するように、MPDデータに、所定の範囲をカバーする１又は複数の仮想視点画像を規定したサブセットデータを含ませる。
　図９は、データ生成部１２がMPDデータに含ませる、上述したサブセットデータの一例を示す図である。図９に例示するように、当該サブセットデータには、含まれる仮想視点位置の識別番号（図９におけるP11a及びP21a等）、並びに、サブ空間の中心位置（center_x及びcenter_y）及び半径（radius）に加え、当該サブセットに対応する仮想視点画像が、どのような範囲（角度）をカバーするかを示す情報(min_azimuth及びmax_azimuth)等が含まれていてもよい。
　再生装置２０が備えるデータ取得部３２は、生成装置２から図８に示すようなMPDデータを取得し、記憶部２２に格納する。
　本変形例では、実施形態１のステップＳ１０３に相当する処理において、制御部２１は、記憶部２２に格納されたMPDデータ並びに、位置取得部３３が取得した、仮想空間内におけるユーザの位置及び姿勢（向き）を参照して、ユーザが位置するサブセットを選択する。
　上記の構成によれば、データ取得部３２は、ユーザが向いていない方向の仮想視点画像を取得しないので、通信処理量を節減する効果を奏する。
　〔変形例２〕
　実施形態１の第２の変形例について、図１、及び図１０～図１３に基づいて説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。本変形例においては、ユーザが、仮想的な３次元空間に位置する構成について説明する。
　図１０は、３次元空間である仮想空間の一例を示す図である。本変形例に係る仮想視点画像生成部１１は、図１０に示すように、３次元の仮想空間上の任意の区間ごとに仮想視点画像を生成し、各仮想視点画像を構成するデータであるメディアセグメントを、MPDデータによって参照可能となるように記憶部４又は図１には図示しない記憶装置に格納する。
　図１１は、本変形例において、データ生成部１２が生成するMPDデータの例を示す図である。
　データ生成部１２は、図１１におけるSubset S1に示すような、３次元の仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブ空間を示すサブセットデータを含むMPDデータを生成する。また、本変形例においても隣接するサブ空間には、１又は複数の共通する仮想視点位置が含まれる。
　図１２は、データ生成部１２が、MPDデータに含ませるサブセットデータの一例を示す図である。図１２に例示するように、サブセットデータには、含まれる仮想視点位置の識別番号（図１２におけるP110及びP210等）、並びに３次元空間所上におけるサブ空間の中心位置(center_x、center_y、及びcenter_z)及び半径（radius）等が含まれていてもよい。
　本変形例においても、実施形態１と同様に、再生装置２０が当該MPDデータを参照し、ユーザが位置するサブセットに対応するメディアセグメントを受信し、以降の処理に用いる。
　上記の構成によれば、ユーザが仮想的な３次元空間に位置する場合においても、再生装置２０は、好適な仮想視点位置の画像を容易に指定できる。
　また、図１３は、仮想空間上を移動するユーザの一例を示す概略図である。サブセットを含むMPDデータを用いる上述した構成は、仮想視点画像生成部１１が、１次元の直線上の任意の位置に仮想視点画像を生成し、ユーザが仮想空間上の当該直線上を移動する場合においても適用可能である。
　なお、上述した変形例１及び変形例２は、後述する各実施形態に対しても適宜の適用が可能である。
　〔実施形態２〕
　本発明の第２の実施形態について、図１及び図１４～図１６に基づいて説明する。本実施形態においては、各仮想視点画像に合成レベルを規定する画像再生システム１の構成について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　〔１．画像再生システム１の構成〕
　本実施形態においても図１に示す構成を用いる。ただし、本実施形態に係る仮想視点画像生成部１１は、生成済みの仮想視点画像から再帰的に仮想視点画像を合成する機能を有する。また、データ生成部１２は、MPDデータを生成する場合に、各仮想視点画像に対応するAdaptationSetに対して、当該仮想視点画像が、何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる。
　〔２．MPDデータについて〕
　本実施形態において生成装置が生成する仮想視点画像及びMPDデータについて、図１４～図１６に基づいて説明する。
　図１４は、仮想空間内における任意の位置にユーザが位置する様子を示す図である。ここで、各仮想視点画像は、カメラの撮影画像である０次仮想視点画像（図１４におけるP00、P04、P40、及びP44）、１次仮想視点画像（P20、P02、P22、P42、及びP24）、及び、２次仮想視点画像（P10及びP30等）に大別できる。
　仮想視点画像生成部１１は、複数の０次仮想視点画像から１次仮想視点画像を生成し、複数の０次又は１次仮想視点画像から２次仮想視点画像を生成する。
　図１５は、当該仮想視点画像を構成するデータそれぞれの取得先を構造化したデータであるMPDデータを示す図である。また、図１６は、本実施形態に係るMPDデータに含まれるAdaptationSetの記述例を示す図である。
　図１５における仮想視点合成レベル、及び図１６におけるlevelに例示するように、各仮想視点画像に対応する各AdaptationSetには、当該仮想視点画像が、上述した何れの分類（０次、１次又は２次仮想視点画像）に属する仮想視点画像であるかという情報である合成レベルデータが含まれる。また、図１５における参照仮想視点、及び図１６におけるrefIDに例示するように、各AdaptationSetには、当該AdaptationSetに対応する仮想視点画像が、何れの仮想視点位置に対応する仮想視点画像を参照して合成されたかを示す情報が含まれていてもよい。
　〔３．処理の流れ〕
　本実施形態における仮想視点画像再生に係る処理の流れについて図１及び図１４～図１６、図２２に基づいてステップごとに説明する。図２２は、本実施形態に係る処理の流れを示すフローチャートである。
　（Ｓ２０１）
　ステップＳ２０１において、再生装置２０は、MPDデータを受信する。生成装置２が備える通信制御部１３は、通信部５を介して、図１５に示すような、上述した合成レベルデータを含むMPDデータを再生装置２０へ送信する。データ取得部３２は、通信部２４を介して上記MPDデータを取得し、記憶部２２に格納する。
　（Ｓ２０２）
　続いて、ステップＳ２０２において、位置取得部３３は、仮想空間内におけるユーザの位置及び姿勢を取得する。また、制御部２１は、位置取得部３３が取得したユーザの位置情報を随時参照し、ユーザが仮想空間上を移動する速度を算出する。
　（Ｓ２０３）
　続いて、ステップＳ２０３において、データ取得部３２は、ステップＳ２０１において記憶部２２に格納されたMPDデータ内のAdaptationSetに含まれる合成レベルデータ、並びに、ステップＳ２０２において位置取得部３３が取得したユーザの位置、及び、制御部２１が算出したユーザの速度を参照して、何れの仮想視点画像を取得するかを決定する。例えば、データ取得部３２は、当該ユーザの移動速度が速い場合、ユーザの移動経路上の仮想視点位置に対応する仮想視点画像であっても、当該仮想視点画像が、上述した２次仮想視点画像であれば取得しない構成でもよい。
　あるいは、生成装置２及び再生装置２０間のネットワークにおける通信速度が遅く、再生装置２０側で１次仮想視点画像、２次仮想視点画像、又は双方を生成した方が画像再生システム１における総合的な処理速度が速い場合、データ取得部３２は、１次仮想視点画像、２次仮想視点画像、又は双方を生成装置２から取得しない構成でもよい。
　（Ｓ２０４）
　続いて、ステップＳ２０４において、データ取得部３２は、ステップＳ２０１において記憶部２２に格納されたMPDデータを参照し、ステップＳ２０３において取得することを決定した仮想視点画像を構成するメディアセグメントを取得し、記憶部２２に格納する。
　（Ｓ２０５）
　続いて、ステップＳ２０５において、再生処理部３１は、ステップＳ２０４において記憶部２２に格納された各メディアセグメントから、ユーザの移動経路上の仮想視点位置における仮想視点画像を合成する。
　（Ｓ２０６）
　続いて、ステップＳ２０６において、表示制御部３４は、ステップＳ２０５において再生処理部３１が合成した仮想視点画像と、ステップＳ２０２において位置取得部３３が取得したユーザの位置及び姿勢を参照して、表示部２３に、ユーザの仮想視点位置からの視界に相当する画像を表示させる。以上が本ステップＳ２０６における処理である。
　再生装置２０は、ステップＳ２０２において、位置取得部３３が、仮想空間内におけるユーザの位置及び姿勢を取得する処理から、ステップＳ２０６において、表示処理部が、表示部２３にユーザの仮想視点位置からの視界に相当する画像を表示させる処理を、ユーザが所定の終了操作を行うまで又はステップＳ２０１において記憶部２２に格納されたMPDデータが示す動画が終了するまで繰り返す。
　このように、本実施形態に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、前記仮想視点画像生成部１１は、生成済みの仮想視点画像から再帰的に仮想視点画像を合成し、前記データ生成部１２は、前記構造化データの前記仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる。
　上記の構成によれば、生成装置２は、例えば、再生装置２０において、ユーザの仮想空間上の移動速度が速い場合に、視点合成に最低限必要な仮想視点画像だけを取得可能とするMPDデータを生成できる。また、本実施形態に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含む構造化データを取得するデータ取得部３２を備え、前記データ取得部３２は、前記合成レベルデータを参照して、何れの仮想視点画像を取得するかを決定する。
　上記の構成によれば、再生装置２０は、例えばユーザの仮想空間上の移動速度が速い場合に、視点合成に最低限必要な仮想視点画像だけを取得し、画像再生に用いることができ、通信データ量等を節減する効果を奏する。
　〔実施形態３〕
　本発明の第３の実施形態について、図１及び図１７～図１９に基づいて説明する。本実施形態においては、仮想視点画像の配置パターンを、識別番号を用いて規定する画像再生システム１の構成について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　〔１．画像再生システム１の構成〕
　本実施形態においても図１に示す構成を用いる。ただし、本実施形態に係るデータ生成部１２は、MPDデータを生成する場合に、仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含ませる。
　〔２．MPDデータについて〕
　本実施形態において生成装置２が生成する仮想視点画像及びMPDデータについて、図１７～図１９に基づいて説明する。
　図１７は、仮想視点画像の配置パターンの一例を示す図である。図１７の（ａ）及び（ｂ）に例示するように、本実施形態に係る画像再生システム１においては、各仮想視点画像の仮想空間上の位置に対して識別番号が規定される。
　図１８は、当該仮想視点画像を構成するメディアセグメントそれぞれの取得先を構造化したデータであるMPDデータを示す図である。図１８における仮想視点配置パターン１に例示されるように、本実施形態に係るMPDデータには、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータが含まれる。なお、当該配置パターンデータの値が、どのような仮想視点位置の配置を示すかという情報は、事前に生成装置２及び再生装置２０間で共有されている。
　図１９は、本実施形態に係るMPDデータの記述例を示す図である。図１９に示すMPDデータにおいて、valueの値が仮想視点の配置パターンを示している。図１９に例示するように、仮想視点位置の配置パターンを示すデータは、MPDデータの直下ではなく、Period要素に含まれる構成でもよい。また、MPDデータに含まれるPeriod要素とは、所定の時間に分割した動画に対応する要素である。図１９を用いた以下の説明において、再生装置２０は、id=0であるPeriod 0に対応する動画を再生した後、次いで、id=1であるPeriod 1に対応する動画を再生するものとする。
　〔３．処理の流れ〕
　本実施形態における仮想視点画像再生に係る処理の流れについて図１及び図１７～図１９、図２３に基づいてステップごとに説明する。図２３は、本実施形態に係る処理の流れを示すフローチャートである。
　（Ｓ３０１）
　ステップＳ３０１において、データ取得部３２は、通信部２４を介して生成装置２が生成した本実施形態に係るMPDデータを取得し、記憶部２２に格納する。
　（Ｓ３０２）
　続いて、ステップＳ３０２において、位置取得部３３は、仮想空間内におけるユーザの位置及び姿勢を取得する。
　（Ｓ３０３）
　続いて、ステップＳ３０３において、データ取得部３２は、ステップＳ３０１において記憶部２２に格納されたMPDデータに含まれる配置パターンデータ、並びに、ステップＳ３０２において位置取得部３３が取得したユーザの位置を適宜参照して、Period 0に対応する動画の再生において、何れのAdaptationSetに対応する仮想視点画像を取得するかを決定する。
　（Ｓ３０４）
　続いて、ステップＳ３０４において、データ取得部３２は、ステップＳ３０１において記憶部２２に格納されたMPDデータを参照し、ステップＳ３０３において取得することを決定した仮想視点画像を構成するメディアセグメントを取得し、記憶部２２に格納する。
　（Ｓ３０５）
　続いて、ステップＳ３０５において、再生処理部３１は、ステップＳ３０４において記憶部２２に格納された各メディアセグメントから、ユーザの移動経路上の仮想視点位置における仮想視点画像を合成する。
　（Ｓ３０６）
　続いて、ステップＳ３０６において、表示制御部３４は、ステップＳ３０５において再生処理部３１が合成した仮想視点画像と、ステップＳ３０２において位置取得部３３が取得したユーザの位置及び姿勢を適宜参照して、表示部２３に、例えば、ユーザの仮想視点位置からの視界に相当する画像を表示させる。
　（Ｓ３０７）
　続いて、ステップＳ３０７において、次のPeriodが存在する場合にはステップ３０３以降の処理を繰り返す。図１９に示すMPDデータの例においては、Period 0における仮想視点位置の配置パターンと、Period 1における仮想視点位置の配置パターンとは異なるが、例えばデータ取得部３２は、ステップＳ３０３において決定したAdaptationSetと同じidを有するAdaptationSetに対応する仮想視点画像を取得することを決定してもよい。
　本実施形態に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、前記データ生成部１２は、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを生成する。
　上記の構成によれば、配置パターンデータを複数用意してPeriod間で切り替えることによって、ユーザが定位置にいながらPeriod毎に推奨する視点からの映像を再生させることができる生成装置２を実現できる。
　また、本実施形態に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを取得するデータ取得部３２を備え、前記データ取得部３２は、前記配置パターンデータを参照して、何れの仮想視点画像を取得するかを決定する。
　上記の構成によれば、ユーザが定位置にいながらPeriod毎に生成装置２側が推奨する視点からの映像を再生する再生装置２０を実現できる。
　〔変形例〕
　実施形態３の変形例について図２０、及び図２１に基づいて説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。本変形例においては、生成装置２が生成する仮想視点画像が仮想空間上において疎である構成、つまり相対的に少ない構成における実施形態３との相違点について説明する。
　図２０は、仮想視点画像の配置パターンの一例を示す図である。また、図２１は、本変形例に係るMPDデータの記述例を示す図である。図２１のMPDデータに含まれるPeriod 0におけるvalueの値、1が、図２０の（ａ）に示す仮想視点画像の配置パターンに対応し、Period 1におけるvalueの値、4が、図２０の（ｂ）に示す仮想視点画像の配置パターンに対応する。図２０及び図２１に例示するように、生成装置２が生成する仮想視点画像の個数は、各Period間において異なっていてもよい。生成装置２が、一部又は全部のPeriodに対応する画像の再生区間において、再生装置２０での再生に必要の無い仮想視点画像を生成しないことにより、仮想視点画像生成部１１による仮想視点画像生成処理の処理量と、データ生成部１２が生成するMPDデータのデータ量とを軽減する効果を奏する。
　〔ソフトウェアによる実現例〕
　生成装置２の制御ブロック（特にデータ生成部１２）及び再生装置２０の制御ブロック（特に再生処理部３１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、生成装置２及び再生装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、データ生成部１２は、前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる構成である。
　上記の構成によれば、再生装置２０が好適な仮想視点位置の画像を容易に指定し、取得できる構造化データを生成する生成装置２を実現できる。
　本発明の態様２に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、仮想視点画像生成部１１は、生成済みの仮想視点画像から再帰的に仮想視点画像を合成し、データ生成部１２は、前記構造化データの前記仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる構成である。
　上記の構成によれば、生成装置２は、例えば、再生装置２０において、ユーザの仮想空間上の移動速度が速い場合に、視点合成に最低限必要な仮想視点画像だけを取得可能とするMPDデータを生成できる。
　本発明の態様３に係る生成装置２は、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部１１と、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部１２とを備え、データ生成部１２は、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを生成する構成である。
　上記の構成によれば、配置パターンデータを複数用意してPeriod間で切り替えることによって、ユーザが定位置にいながらPeriod毎に推奨する視点からの映像を再生させることができる生成装置２を実現できる。
　本発明の態様４に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含む構造化データを取得するデータ取得部３２と、仮想空間上におけるユーザの位置を取得する位置取得部３３とを備え、データ取得部３２は、前記構造化データと、位置取得部３３が取得した前記ユーザの位置とを参照し、ユーザが存在する前記所定の範囲に含まれる仮想視点位置に対応する仮想視点画像を構成する各データを取得する構成である。
　上記の構成によれば、好適な仮想視点位置の画像を容易に指定し、取得できる再生装置２０を実現できる。
　本発明の態様５に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含む構造化データを取得するデータ取得部３２を備え、データ取得部３２は、前記合成レベルデータを参照して、何れの仮想視点画像を取得するかを決定する構成である。
　上記の構成によれば、再生装置２０は、例えばユーザの仮想空間上の移動速度が速い場合に、視点合成に最低限必要な仮想視点画像だけを取得し、画像再生に用いることができ、通信データ量等を節減する効果を奏する。
　本発明の態様６に係る再生装置２０は、仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを取得するデータ取得部３２を備え、データ取得部３２は、前記配置パターンデータを参照して、何れの仮想視点画像を取得するかを決定する構成である。
　上記の構成によれば、ユーザが定位置にいながらPeriod毎に生成装置２側が推奨する視点からの映像を再生する再生装置２０を実現できる。
　本発明の態様７に係る生成方法は、装置によって実行されるデータの生成方法であって、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、前記データ生成ステップにおいて、前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる方法である。
　本発明の態様８に係る生成方法は、装置によって実行されるデータの生成方法であって、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、前記仮想視点画像生成ステップにおいて、生成済みの仮想視点画像から再帰的に仮想視点画像を合成し、前記データ生成ステップにおいて、前記構造化データの前記仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる方法である。
　本発明の態様９に係る生成方法は、装置によって実行されるデータの生成方法であって、仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、前記データ生成ステップにおいて、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを生成する方法である。
　本発明の態様１０に係る生成装置２としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記生成装置２として機能させることを特徴とする制御プログラムは、上記の態様１から３までの何れかに記載の生成装置２としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記生成装置２として機能させる構成としてもよい。
　本発明の態様１１に係る再生装置２０としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記再生装置２０として機能させることを特徴とする制御プログラムは、上記の態様４から６までの何れかに記載の再生装置２０としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記再生装置２０として機能させる構成としてもよい。
　本発明の態様１２に係る記録媒体は、態様１０に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
　本発明の態様１３に係る記録媒体は、態様１１に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
　本発明の各態様に係る生成装置２及び再生装置２０は、コンピュータによって実現してもよく、この場合には、コンピュータを上記生成装置２及び再生装置２０が備える各部（ソフトウェア要素）として動作させることにより上記生成装置２及び再生装置２０をコンピュータにて実現させる上記生成装置２及び再生装置２０の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
１　画像再生システム
２　生成装置
３、２１　制御部
４、２２　記憶部
５、２４　通信部
１１　仮想視点画像生成部
１２　データ生成部
１３、３５　通信制御部
２０　再生装置
２３　表示部
３１　再生処理部
３２　データ取得部
３３　位置取得部
３４　表示制御部

Claims (13)

  1. 　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部と、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部とを備え、
    　前記データ生成部は、
    　　前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる
    ことを特徴とする生成装置。
  2. 　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部と、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部とを備え、
    　前記仮想視点画像生成部は、生成済みの仮想視点画像から再帰的に仮想視点画像を合成し、
    　前記データ生成部は、
    　　前記構造化データの前記仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる
    ことを特徴とする生成装置。
  3. 　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成部と、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成部とを備え、
    　前記データ生成部は、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを生成する
    ことを特徴とする生成装置。
  4. 　仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含む構造化データを取得するデータ取得部と、
    　仮想空間上におけるユーザの位置を取得する位置取得部とを備え、
    　前記データ取得部は、前記構造化データと、前記位置取得部が取得した前記ユーザの位置とを参照し、ユーザが存在する前記所定の範囲に含まれる仮想視点位置に対応する仮想視点画像を構成する各データを取得する
    ことを特徴とする再生装置。
  5. 　仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含む構造化データを取得するデータ取得部を備え、
    　前記データ取得部は、前記合成レベルデータを参照して、何れの仮想視点画像を取得するかを決定する
    ことを特徴とする再生装置。
  6. 　仮想空間上の任意の区間ごとに生成された仮想視点画像を構成する各データの取得先を示す構造化データであって、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを取得するデータ取得部を備え、
    　前記データ取得部は、前記配置パターンデータを参照して、何れの仮想視点画像を取得するかを決定する
    ことを特徴とする再生装置。
  7. 　装置によって実行されるデータの生成方法であって、
    　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、
    　前記データ生成ステップにおいて、
    　　前記構造化データに、前記仮想空間上における１又は複数の仮想視点位置を含む所定の範囲であって、互いに識別可能である１又は複数の所定の範囲を規定したサブセットデータを含ませる
    ことを特徴とする生成方法。
  8. 　装置によって実行されるデータの生成方法であって、
    　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、
    　前記仮想視点画像生成ステップにおいて、生成済みの仮想視点画像から再帰的に仮想視点画像を合成し、
    　前記データ生成ステップにおいて、
    　　前記構造化データの前記仮想視点画像を構成するデータ群ごとに、前記仮想視点画像が何れの回数の再帰的な合成を経た画像であるかを示す合成レベルデータを含ませる
    ことを特徴とする生成方法。
  9. 　装置によって実行されるデータの生成方法であって、
    　仮想空間上の任意の区間ごとに仮想視点画像を生成する仮想視点画像生成ステップと、
    　前記仮想視点画像を構成する各データの取得先を示す構造化データを生成するデータ生成ステップとを含み、
    　前記データ生成ステップにおいて、前記仮想視点画像のそれぞれが何れの仮想視点位置に配置されるかを示す配置パターンデータを含む構造化データを生成する
    ことを特徴とする生成方法。
  10. 　請求項１から３までの何れか１項に記載の生成装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記生成装置として機能させることを特徴とする制御プログラム。
  11. 　請求項４から６までの何れか１項に記載の再生装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記再生装置として機能させることを特徴とする制御プログラム。
  12. 　請求項１０に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
  13. 　請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/006377 2018-02-27 2019-02-20 生成装置、再生装置、生成方法、制御プログラム、及び記録媒体 WO2019167761A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980015425.0A CN111771383A (zh) 2018-02-27 2019-02-20 生成装置、再现装置、生成方法、控制程序以及记录介质
US16/971,320 US20210092348A1 (en) 2018-02-27 2019-02-20 Generation apparatus, reconstruction apparatus, generation method, control program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-033661 2018-02-27
JP2018033661 2018-02-27

Publications (1)

Publication Number Publication Date
WO2019167761A1 true WO2019167761A1 (ja) 2019-09-06

Family

ID=67808906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006377 WO2019167761A1 (ja) 2018-02-27 2019-02-20 生成装置、再生装置、生成方法、制御プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US20210092348A1 (ja)
CN (1) CN111771383A (ja)
WO (1) WO2019167761A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106324A (ja) * 2011-11-16 2013-05-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2017220703A (ja) * 2016-06-03 2017-12-14 キヤノン株式会社 通信装置、通信制御方法および通信システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106324A (ja) * 2011-11-16 2013-05-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2017220703A (ja) * 2016-06-03 2017-12-14 キヤノン株式会社 通信装置、通信制御方法および通信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
USHIKAWA TOMOYA ET AL.: "Real-time generation of novel view of a dynamic scene using morphing and Visual Hull", MORPHING VISUAL HULL, vol. 104, no. 524, 10 December 2004 (2004-12-10), pages 13 - 18 *

Also Published As

Publication number Publication date
US20210092348A1 (en) 2021-03-25
CN111771383A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
US9363542B2 (en) Techniques to provide an enhanced video replay
US20100156916A1 (en) Display device
CN108377406B (zh) 一种调整音画同步的方法及装置
JP2008146495A (ja) 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
CN109257587A (zh) 一种编解码视频数据的方法及装置
CN108924582A (zh) 视频录制方法、计算机可读存储介质及录播系统
CN113453046B (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
WO2015060165A1 (ja) 表示処理装置、配信装置、および、メタデータ
US11818323B2 (en) Image generation system, method for generating a virtual viewpoint image, and storage medium
CN110663068A (zh) 用于渲染全景场景的坐标映射
JPWO2017022363A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020186478A1 (en) Method and device for transmitting viewpoint switching capabilities in a vr360 application
WO2019167761A1 (ja) 生成装置、再生装置、生成方法、制御プログラム、及び記録媒体
WO2020137876A1 (ja) 生成装置、３次元データ送信装置、及び３次元データ再生装置
JP5624132B2 (ja) 立体視映像の再生装置、集積回路、プログラム
JPWO2019031306A1 (ja) 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
US20220329912A1 (en) Information processing apparatus, information processing method, and program
CN111970572B (zh) 一种智能电视上控制视频遮挡图的方法
CN106792219B (zh) 一种直播回看的方法及装置
US7940230B2 (en) Method and system for depicting digital display elements
CN112804514A (zh) 一种vr全景视频展示交互方法、介质及设备
CN108282699A (zh) 一种显示界面处理方法及装置
JP7467098B2 (ja) スーパー合成装置及びスーパー合成プログラム
KR102541311B1 (ko) 사용자 단말 및 이의 동작 방법
US20240007713A1 (en) Provision of media content

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP