WO2022230186A1 - 配信制御システム、配信制御装置、配信制御方法、及びプログラム - Google Patents

配信制御システム、配信制御装置、配信制御方法、及びプログラム Download PDF

Info

Publication number
WO2022230186A1
WO2022230186A1 PCT/JP2021/017244 JP2021017244W WO2022230186A1 WO 2022230186 A1 WO2022230186 A1 WO 2022230186A1 JP 2021017244 W JP2021017244 W JP 2021017244W WO 2022230186 A1 WO2022230186 A1 WO 2022230186A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
virtual
virtual viewpoint
distribution control
user
Prior art date
Application number
PCT/JP2021/017244
Other languages
English (en)
French (fr)
Inventor
笑添 趙
隆文 奥山
裕之 北田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/017244 priority Critical patent/WO2022230186A1/ja
Priority to US18/557,268 priority patent/US20240144602A1/en
Priority to JP2023517012A priority patent/JPWO2022230186A1/ja
Publication of WO2022230186A1 publication Critical patent/WO2022230186A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Definitions

  • the present invention relates to a distribution control system, a distribution control device, a distribution control method, and a program.
  • Stereoscopic video content with six degrees of freedom (6DoF), typified by volumetric videos and holograms, is known.
  • 6DoF six degrees of freedom
  • Volumetric video is animation data composed of polygon meshes (hereinafter also simply referred to as "mesh”) and textures, and is displayed on the display by rendering together with the virtual environment on the client side. can.
  • Non-Patent Document 1 proposes a method of rendering a volumetric video on the server side based on the movement of the user's head detected by an AR/VR device, which is a client, and transmitting it to the client as 2D data.
  • Non-Patent Document 2 proposes a method of distributing a volumetric video generated in real time to a client and rendering it on the client side.
  • Non-Patent Document 3 proposes a method of reducing the amount of data required for playback by dynamically changing the Level Of Detail of volumetric video according to the bandwidth of the communication network.
  • volumetric video has a large amount of data, and the communication network bandwidth required for its distribution is large, so an efficient distribution method is required.
  • Non-Patent Document 1 rendering for each user needs to be performed on the server side, which imposes a heavy load on the server. Also, when the number of users increases, the division of server resources may cause deterioration in the quality of video viewed by each user. Furthermore, it is necessary to send location information from the client to the server with high frequency and low delay. is large.
  • Non-Patent Document 2 requires a communication band of 4 Gbps, but it is difficult for users to always secure a stable 4 Gbps communication band.
  • the load on the communication network is heavy, the usable bandwidth of other users using the same communication network is narrowed, and the quality of experience of the other users is lowered.
  • Non-Patent Document 3 when the usable bandwidth of the communication network is narrow, the 3D data within the range visible to the user in the volumetric video being viewed (that is, the 3D data corresponding to the front for the user) Since the image quality and Level of Detail, including the 3D data that is displayed, are degraded, the quality of experience is significantly degraded.
  • An embodiment of the present invention has been made in view of the above points, and aims to reduce the amount of data required for distributing stereoscopic video content while maintaining the user's experience quality.
  • a distribution system includes an arrangement unit that arranges a plurality of virtual viewpoints centering on an object represented by stereoscopic data that constitutes stereoscopic video content; a first creation unit for creating, for each of the virtual viewpoints, one-sided stereoscopic data in which a data amount of a portion of the object that cannot be visually recognized from the virtual viewpoint is reduced; a distribution unit that distributes single-panel stereoscopic data of one virtual viewpoint among the single-panel stereoscopic data for each virtual viewpoint to the terminal of the user according to a position and a field of view.
  • FIG. 6 is a flowchart showing an example of one-surface 3D data creation processing according to the present embodiment
  • FIG. 4 is a diagram showing an example of arrangement of virtual viewpoints
  • 6 is a flowchart showing an example of correspondence table creation processing according to the present embodiment
  • FIG. 10 is a diagram showing an example of a viewing angle range
  • FIG. 10 is a diagram showing an example of a viewing angle range correspondence table
  • 6 is a flowchart showing an example of distribution processing according to the embodiment
  • FIG. 4 is a diagram showing an example of specifying a virtual viewpoint
  • the volumetric video is animation data composed of 3D data (also called three-dimensional data or stereoscopic data) represented by meshes and textures. That is, for example, if the 3D data of the frame at time t is d t , the volumetric video is expressed as ⁇ d t
  • t s is the start time of the volumetric video and t e is the end time.
  • volumetric video and can be similarly applied to, for example, stereoscopic video content having six degrees of freedom such as a hologram.
  • FIG. 1 is a diagram showing an example of the overall configuration of a distribution control system 1 according to this embodiment.
  • the distribution control system 1 includes a distribution control server 10, a content server 20, a client 30, and a service site server 40. Also, the distribution control server 10 and the client 30 are communicably connected via a communication network N such as the Internet. Similarly, client 30 and service site server 40 are communicably connected via communication network N.
  • FIG. 1 the distribution control server 10 and the client 30 are communicably connected via a communication network N such as the Internet.
  • client 30 and service site server 40 are communicably connected via communication network N.
  • distribution control server 10 and the content server 20 exist within the same local network and are communicably connected within the local network. It may be communicatively connected.
  • the distribution control server 10 creates a plurality of one-plane 3D data from the 3D data that constitutes the given volumetric video, and stores the plurality of one-plane 3D data in the content server 20 .
  • the one-plane 3D data is three-dimensional data when an object represented by the 3D data that constitutes the volumetric video is viewed from a certain point of view. It has a smaller amount of data than
  • the object is the subject of the volumetric video, and means any object that can be represented by meshes and textures, such as people, animals and plants, structures, buildings, machines, celestial bodies, natural phenomena, etc. do.
  • the distribution control server 10 determines appropriate one-plane 3D data from the user's viewpoint, spatial position, field of view (line-of-sight direction and viewing range), etc., and sends this one-plane 3D data to the client. Deliver to 30.
  • the user's viewpoint and spatial position refer to the user's position in the virtual space in which the target object is arranged.
  • the content server 20 stores a plurality of one-sided 3D data. Also, in response to a data request from the distribution control server 10, the content server 20 sends back to the distribution control server 10 single-sided 3D data corresponding to this data request.
  • the clients 30 are various terminals (eg, XR (VR/AR/MR/SR, etc.) devices, etc.) used by users who watch the volumetric video, and render the one-sided 3D data distributed from the distribution control server 10. , to play a volumetric video.
  • XR devices include smart phones, tablet terminals, wearable devices, etc., which are equipped with application programs that function as XR devices.
  • a user views a volumetric video
  • the following procedure is performed.
  • the user accesses the service site server 40 with the client 30 and acquires a list of contents (volumetric videos) that the user can view.
  • the user selects the volumetric video they wish to view from this list and obtains a link to the selected volumetric video.
  • the client 30 accesses the link, a viewing request is transmitted to the distribution control server 10, and full 3D data is returned in response to this request, thereby starting playback of the volumetric video.
  • the client 30 appropriately transmits information such as the user's viewpoint, spatial position, field of view (hereinafter, information representing the user's viewpoint or spatial position and field of view is also referred to as "user viewpoint information") to the distribution control server 10.
  • information such as the user's viewpoint, spatial position, field of view (hereinafter, information representing the user's viewpoint or spatial position and field of view is also referred to as "user viewpoint information")
  • user viewpoint information information representing the user's viewpoint or spatial position and field of view
  • one-sided 3D data corresponding to the user's viewpoint, spatial position, field of view, etc. is returned from the distribution control server 10 and reproduced by the client 30 .
  • the service site server 40 presents a list of content (volumetric video) that the user can view, and provides the client 30 with a link to content selected from this list.
  • the distribution control server 10 has a full 3D data creation unit 101, a correspondence table creation unit 102, a delivery control unit 103, and a delivery unit 104. These units are implemented by, for example, one or more programs installed in the distribution control server 10 causing a processor such as a CPU (Central Processing Unit) to execute processing.
  • a processor such as a CPU (Central Processing Unit) to execute processing.
  • the distribution control server 10 has a correspondence table storage unit 105 .
  • the correspondence table storage unit 105 is implemented by, for example, an auxiliary storage device such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the one-plane 3D data creation unit 101 creates a plurality of one-plane 3D data from the 3D data that constitutes the volumetric video given to the distribution control server 10 . More specifically, the one-view 3D data creation unit 101 arranges a plurality of virtual viewpoints at equal intervals (or irregular intervals) around the object represented by the 3D data that constitutes the volumetric video, and then creates the virtual viewpoints. Each time, when the object is viewed from the virtual viewpoint, geometry simplification (Level Of Detail lowering processing) is performed on the mesh corresponding to the back surface of the object to create full 3D data. In this way, for each virtual viewpoint, by simplifying the geometry of the mesh behind the object represented by the 3D data (that is, the part that cannot be seen from the virtual viewpoint), one-plane 3D data for each virtual viewpoint is created. do.
  • geometry simplification Level Of Detail lowering processing
  • the one-plane 3D data creation unit 101 saves the created plurality of one-plane 3D data in the content server 20 .
  • the correspondence table creation unit 102 creates a correspondence table (hereinafter also referred to as a "viewing angle range correspondence table") that associates each virtual viewpoint arranged when creating a plurality of one-plane 3D data with the viewing angle range of the virtual viewpoint. ) is created.
  • the viewing angle range is a range in which the same quality of experience can be obtained when viewing an object as when viewing the object from the virtual viewpoint. In other words, it is the range in which the back surface of the geometrically simplified object cannot be seen, similar to the virtual viewpoint.
  • the distribution control unit 103 Upon receiving the user viewpoint information from the client 30, the distribution control unit 103 refers to the viewing angle range correspondence table and determines appropriate one-plane 3D data from this user viewpoint information. More specifically, when at least a part of the target object is captured within the field of view at the viewpoint or the spatial position included in the user viewpoint information, the distribution control unit 103 sets the viewing angle including the viewpoint or the spatial position. A virtual viewpoint corresponding to the range is specified, and one-plane 3D data corresponding to the specified virtual viewpoint is determined as appropriate.
  • the distribution unit 104 transmits the single-sided 3D data determined by the distribution control unit 103 to the client 30 .
  • the correspondence table storage unit 105 stores the viewing angle range correspondence table created by the correspondence table creating unit 102 .
  • the content server 20 has a one-sided 3D data storage unit 201 .
  • the one-sided 3D data storage unit 201 is implemented by, for example, an auxiliary storage device such as an HDD or SSD.
  • the one-side 3D data storage unit 201 stores each one-side 3D data created by the one-side 3D data creating unit 101 .
  • the configuration of the distribution control system 1 shown in FIG. 1 is an example, and other configurations may be used.
  • the distribution control server 10 and content server 20 may be configured as an integrated server.
  • FIG. 2 is a flow chart showing an example of one-plane 3D data creation processing according to the present embodiment. In the following, it is assumed that the volumetric video is provided to the distribution control server 10.
  • FIG. 2 is a flow chart showing an example of one-plane 3D data creation processing according to the present embodiment. In the following, it is assumed that the volumetric video is provided to the distribution control server 10.
  • the full-screen 3D data creation unit 101 acquires 3D data for one frame from the 3D data forming the volumetric video (step S101).
  • the single-sided 3D data creation unit 101 acquires the 3D data dt of the frame at time t .
  • the 3D data is composed of meshes and textures, since the textures are not particularly processed below, only the meshes of the 3D data may be obtained in step S101 above.
  • the one-plane 3D data creation unit 101 arranges N virtual viewpoints around the object represented by the 3D data dt acquired in step S102 (step S102).
  • the line-of-sight direction of each virtual viewpoint is the object.
  • the single-surface 3D data creation unit 101 creates N images with the object in the line-of-sight direction at regular intervals (or non-uniform intervals) on the circumference of a circle with a predetermined radius centered on the object.
  • N is a predetermined integer of 2 or more.
  • virtual viewpoints V 1 to V 8 with the object O as the line-of-sight direction are arranged at regular intervals on the circumference of a circle with a radius R centered on the object O.
  • Arranging the virtual viewpoints on the circumference of the circle is an example, and the present invention is not limited to this.
  • the virtual viewpoints may be arranged on the sides or vertices of a polygon centered on the object.
  • the virtual viewpoints V 1 to V 8 are arranged on the xy plane of the xyz space with the center of the object O as the origin.
  • a virtual viewpoint may be placed on a sphere (or a polyhedron) centered at .
  • the one-plane 3D data creation unit 101 selects one virtual viewpoint from the N virtual viewpoints arranged in step S102 (step S103).
  • the one-sided 3D data creation unit 101 performs geometry simplification (Level Of Detail reduction) on the mesh corresponding to the back surface of the object when the object is viewed from the virtual viewpoint selected in step S103. processing) is performed (step S104).
  • the single-sided 3D data creation unit 101 performs geometry simplification processing on meshes that are invisible (invisible) from the virtual viewpoint among the meshes that make up the object.
  • the quality of experience equivalent to that of the original 3D data dt is obtained, and one-sided 3D data with a data amount reduced from that of the original 3D data dt is obtained. created.
  • the one-plane 3D data creation unit 101 determines whether or not all N virtual viewpoints have been selected (step S105).
  • step S105 If it is determined in step S105 that there is a virtual viewpoint that has not yet been selected, the one-sided 3D data creation unit 101 returns to step S103 and selects one virtual viewpoint from the virtual viewpoints that have not yet been selected. is selected, and the processing from step S104 onwards is executed.
  • step S105 determines whether or not there is a next frame in the given volumetric video.
  • step S106 If it is determined in step S106 that there is a next frame, the single-sided 3D data creation unit 101 returns to step S101, acquires the 3D data of the next frame, and executes the processes from step S102 onward. That is, in this case, the one-surface 3D data creation unit 101 sets t ⁇ t+1, returns to the above step S101, and acquires the 3D data dt of the frame at the next time t .
  • the data is saved in the one-sided 3D data storage unit 201 of the content server 20 (step S107).
  • d ti is the one-plane 3D data corresponding to the viewpoint V i (where i ⁇ [1, N]) at time t
  • t ⁇ [t s , t e ], i ⁇ [1, N] ⁇ are stored in the one-sided 3D data storage unit 201 .
  • the number N of virtual viewpoints arranged is common to all frames, but may be different for each frame. Further, in the present embodiment, the above steps S102 to S105 are repeatedly executed for each frame. When the data dt are the same, the above steps S102 to S105 may be executed only for the 3D data dt of one frame included in the time width.
  • FIG. 4 is a flowchart showing an example of correspondence table creation processing according to the present embodiment.
  • the correspondence table creation unit 102 arranges N virtual viewpoints around the object represented by the 3D data d (step S201), as in step S102 of FIG. Note that the number of virtual viewpoints to be arranged and the method of arrangement (equally spaced or non-equally spaced, arranged on a circle, arranged on a polygon, etc.) are the same as in step S102 in FIG.
  • the correspondence table creation unit 102 selects one virtual viewpoint from the N virtual viewpoints arranged in step S201 (step S202).
  • the correspondence table creation unit 102 calculates the boundary angle between the virtual viewpoint selected in step S202 and the virtual viewpoint adjacent thereto (hereinafter referred to as "adjacent virtual viewpoint") (step S203).
  • the boundary angle is the angle between the line of sight of the virtual viewpoint and the boundary between the virtual viewpoint and the adjacent virtual viewpoint.
  • the adjacent virtual viewpoints of the virtual viewpoint V2 are V1 and V3
  • the angle between the line of sight of the virtual viewpoint V2 and the line of sight of the adjacent virtual viewpoint V1 is ⁇
  • ⁇ 22 be the angle between the line of sight of the adjacent virtual viewpoint V3 .
  • the line that bisects the angle ⁇ 21 is the boundary with the adjacent virtual viewpoint V1
  • the line that bisects the angle ⁇ 22 is the boundary with the adjacent virtual viewpoint V3, and the angle to these boundaries is defined as the boundary angle. .
  • the correspondence table creation unit 102 determines whether or not all N virtual viewpoints have been selected (step S204).
  • step S204 If it is determined in step S204 above that there is a virtual viewpoint that has not yet been selected, the correspondence table creation unit 102 returns to step S202 above, and selects one virtual viewpoint from the virtual viewpoints that have not yet been selected. Then, the processing after step S203 is executed.
  • the correspondence table creation unit 102 calculates the viewing angle range of each virtual viewpoint from the boundary angle calculated in step S203 above.
  • a viewing angle range correspondence table is created, and the created viewing angle range correspondence table is stored in the correspondence table storage unit 105 (step S205).
  • a virtual viewpoint V i (where i ⁇ [1, N]) is positioned at an angle ⁇ i with respect to the object . is calculated as follows: ⁇ i - ⁇ i1 ⁇ ⁇ i ⁇ i + ⁇ i2 .
  • a viewing angle range correspondence table is created by associating the virtual viewpoint V i with the viewing angle range ⁇ i ⁇ i1 ⁇ i ⁇ i + ⁇ i2 .
  • An example of the viewing angle range correspondence table created in this way is shown in FIG.
  • a common viewing angle range correspondence table was created for the 3D data d t at time t ⁇ [t s , t e ].
  • a viewing angle range correspondence table may be created for each number of arranged virtual viewpoints.
  • FIG. 7 is a flowchart showing an example of distribution processing according to this embodiment. Steps S301 to S303 below are executed each time user viewpoint information is received, and steps S304 to S305 are executed at each frame interval. However, hereinafter, it is assumed that at least a part of the target object is included in the field of view of the user.
  • the distribution control unit 103 uses the viewpoint or spatial position included in the user viewpoint information received from the client 30 to calculate the user position with respect to the object (step S301).
  • the user position is the angle of the viewpoint or spatial position with respect to the object. Note that the reference of the angle is the same as when the position of the virtual viewpoint with respect to the object is determined in step S203 of FIG.
  • the distribution control unit 103 refers to the viewing angle range correspondence table stored in the correspondence table storage unit 105, and specifies a virtual viewpoint from the user position calculated in step S301 (step S302). That is, the distribution control unit 103 identifies, among the virtual viewpoints, a virtual viewpoint corresponding to the viewing angle range including the user position.
  • the virtual viewpoint V2 is identified in step S302 above.
  • FIG. 8 assume that ⁇ 3 ⁇ 31 ⁇ B ⁇ 3 + ⁇ 32 where ⁇ B is the user position of a certain user B.
  • FIG. 8 the virtual viewpoint V3 is identified in step S302 above.
  • the object O exists in the line-of-sight direction of the user A, and the object O does not exist in the line-of-sight direction of the user B, but at least a part of the object O is within the field of view. is a case containing
  • the distribution control unit 103 determines the one-view 3D data corresponding to the virtual viewpoint identified in step S302 as a distribution target (step S303). That is, for example, when the virtual viewpoint specified in step S302 is V i , the distribution control unit 103 determines the one-sided 3D data ⁇ d ti ⁇ to be distributed.
  • the distribution unit 104 acquires, from the content server 20, the one-surface 3D data of the frame at the relevant time, among the one-surface 3D data to be distributed determined in step S303 above (step S304).
  • the distribution unit 104 distributes the single-sided 3D data acquired in step S304 to the client 30 (step S305).
  • the client 30 side renders the one-sided 3D data and displays the object on the display.
  • the distribution control server 10 and the content server 20 according to this embodiment are implemented by, for example, the hardware configuration of a computer 500 shown in FIG. Note that the client 30 and the service site server 40 may also be realized with the same hardware configuration.
  • a computer 500 shown in FIG. 9 has an input device 501, a display device 502, an external I/F 503, a communication I/F 504, a processor 505, and a memory device 506. Each of these pieces of hardware is communicably connected via a bus 507 .
  • the input device 501 is, for example, a keyboard, mouse, touch panel, or the like.
  • the display device 502 is, for example, a display. Note that the computer 500 may not have at least one of the input device 501 and the display device 502 .
  • the external I/F 503 is an interface with an external device such as a recording medium 503a.
  • Examples of the recording medium 503a include CD (Compact Disc), DVD (Digital Versatile Disk), SD memory card (Secure Digital memory card), USB (Universal Serial Bus) memory card, and the like.
  • a communication I/F 504 is an interface for performing data communication with other devices, devices, systems, and the like.
  • the processor 505 is, for example, various arithmetic units such as a CPU.
  • the memory device 506 is, for example, various storage devices such as HDD, SSD, RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the distribution control server 10 and the content server 20 have the hardware configuration of the computer 500 shown in FIG. 9, so that the various processes described above can be realized.
  • the hardware configuration of the computer 500 shown in FIG. 9 is an example, and the computer 500 may have other hardware configurations.
  • computer 500 may have multiple processors 505 and may have multiple memory devices 506 .
  • the distribution control system 1 arranges a plurality of virtual viewpoints with respect to the target object represented by the 3D data that constitutes the stereoscopic video content. Simplify the geometry of polygon meshes that are not visible from the viewpoint. As a result, one-plane 3D data with a reduced data amount compared to the original 3D data is created for each virtual viewpoint.
  • Distribution Control System 10 Distribution Control Server 20 Content Server 30 Client 40 Service Site Server 50 Communication Network 101 One-sided 3D Data Creation Section 102 Correspondence Table Creation Section 103 Distribution Control Section 104 Distribution Section 105 Correspondence Table Storage Section 201 One-sided 3D Data Storage Section 500 Computer 501 Input device 502 Display device 503 External I/F 503a recording medium 504 communication I/F 505 processor 506 memory device 507 bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一実施形態に係る配信システムは、立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成部と、前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、を有する。

Description

配信制御システム、配信制御装置、配信制御方法、及びプログラム
　本発明は、配信制御システム、配信制御装置、配信制御方法、及びプログラムに関する。
　ボリュメトリックビデオやホログラム等に代表される６自由度（６ＤｏＦ：six degrees of freedom）を持つ立体映像コンテンツが知られている。このようなコンテンツを通信ネットワークにより高品質に配信するためには、高いデータ圧縮技術や通信ネットワーク／システムの負荷分散技術等の利用といったこと以外に、コンテンツ自体の配信を制御する仕組みが必要である。特に、クライアントとなるＸＲ（ＶＲ／ＡＲ／ＭＲ／ＳＲ等）デバイスの視界情報や仮想空間におけるユーザの位置情報等に応じて、コンテンツの配信を動的に制御する仕組みが重要である。
　ボリュメトリックビデオはポリゴンメッシュ（以下、単に「メッシュ」ともいう。）とテクスチャとで構成されたアニメーションデータであり、クライアント側で仮想環境と合わせてレンダリングすることで、ディスプレイ上に表示され、視聴ができる。
　ボリュメトリックビデオ配信技術として、非特許文献１～３に記載されている技術が知られている。非特許文献１では、クライアントであるＡＲ／ＶＲデバイスで検出されたユーザの頭の動きに基づいて、ボリュメトリックビデオのレンダリングをサーバ側で行い、２Ｄデータとして当該クライアントに送信する手法が提案されている。また、非特許文献２では、リアルタイムで生成されたボリュメトリックビデオをクライアントに配信し、クライアント側でレンダリングする手法が提案されている。更に、非特許文献３では、通信ネットワークの帯域に応じてボリュメトリックビデオのＬｅｖｅｌ　Ｏｆ　Ｄｅｔａｉｌを動的に変更させることで、再生に必要なデータ量を削減する手法が提案されている。
Serhan Gul, Dimitri Podborski, Thomas Buchholz, Thomas Schierl and Cornelius Hellge, "Low-latency cloud-based volumetric video streaming using head motion prediction", NOSSDAV '20: Proceedings of the 30th ACM Workshop on Network and Operating Systems Support for Digital Audio and Video, June 2020, Pages 27-33 Sergio Orts-Escolano, Christoph Rhemann, Sean Fanello, Wayne Chang, Adarsh Kowdle, Yury Degtyarev, et al. "Holoportation: Virtual 3D teleportation in real-time", UIST '16: Proceedings of the 29th Annual Symposium on User Interface Software and Technology, October 2016, Pages 741-754 Holostream/Arctrus, インターネット＜ＵＲＬ：https://arcturus.studio/holostream＞
　ところで、ボリュメトリックビデオはデータ量が大きく、その配信に必要な通信ネットワークの帯域が大きいため、効率的に配信する手法が求められている。
　しかしながら、上記の非特許文献１で提案されている手法では、各ユーザのレンダリングをサーバ側で行う必要があるため、サーバの負荷が大きい。また、ユーザ数が増えた場合にはサーバリソースの分割によって、各ユーザが視聴する映像品質の劣化が発生し得る。更に、クライアントからサーバに対して位置情報を高頻度に低遅延で送信する必要があり、例えば、ＶＲ酔いが発生し始めるＭｏｔｉｏｎ　ｔｏ　Ｐｈｏｔｏｎ遅延を２０ｍｓ以下に抑えることは通信ネットワークとサーバの両方で負担が大きい。
　一方で、上記の非特許文献２で提案されている手法では、通信帯域に４Ｇｂｐｓ必要であるが、４Ｇｂｐｓの通信帯域をユーザが常に安定して確保することは難しい。また、通信ネットワークの負荷が大きいため、同一の通信ネットワークを使用する他のユーザの使用可能帯域が狭まり、他のユーザの体感品質を落としてしまう。
　更に、上記の非特許文献３で提案されている手法では、通信ネットワークの使用可能帯域が狭いときには、視聴中のボリュメトリックビデオでユーザから見える範囲の３Ｄデータ（つまり、ユーザに対して前面に相当する３Ｄデータ）も含めて画質とＬｅｖｅｌ　Ｏｆ　Ｄｅｔａｉｌを落としてしまうため、大幅な体感品質の低下をもたらす。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、ユーザの体感品質を維持しつつ、立体映像コンテンツの配信に要するデータ量を削減することを目的とする。
　上記目的を達成するため、一実施形態に係る配信システムは、立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成部と、前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、を有する。
　ユーザの体感品質を維持しつつ、立体映像コンテンツの配信に要するデータ量を削減することができる。
本実施形態に係る配信制御システムの全体構成の一例を示す図である。 本実施形態に係る一面３Ｄデータ作成処理の一例を示すフローチャートである。 仮想視点の配置例を示す図である。 本実施形態に係る対応表作成処理の一例を示すフローチャートである。 視聴角度範囲の一例を示す図である。 視聴角度範囲対応表の一例を示す図である。 本実施形態に係る配信処理の一例を示すフローチャートである。 仮想視点の特定例を示す図である。 コンピュータのハードウェア構成の一例を示す図である。
　以下、本発明の一実施形態について説明する。本実施形態では、立体映像コンテンツの一例としてボリュメトリックビデオを対象に、ユーザの体感品質を維持しつつ、その配信に要するデータ量を削減することができる配信制御システム１について説明する。ここで、ボリュメトリックビデオとは、メッシュとテクスチャとで表される３Ｄデータ（３次元データ又は立体データともいう。）で構成されたアニメーションデータのことである。すなわち、例えば、時刻ｔのフレームの３Ｄデータをｄｔとすれば、ボリュメトリックビデオは｛ｄｔ｜ｔ∈［ｔｓ，ｔｅ］｝と表される。ｔｓはボリュメトリックビデオの開始時刻、ｔｅは終了時刻である。
　なお、以下で説明する実施形態は、ボリュメトリックビデオに限られず、例えば、ホログラム等といった６自由度を持つ立体映像コンテンツに対しても同様に適用することができる。
　＜全体構成＞
　まず、本実施形態に係る配信制御システム１の全体構成について、図１を参照しながら説明する。図１は、本実施形態に係る配信制御システム１の全体構成の一例を示す図である。
　図１に示すように、本実施形態に係る配信制御システム１には、配信制御サーバ１０と、コンテンツサーバ２０と、クライアント３０と、サービスサイトサーバ４０とが含まれる。また、配信制御サーバ１０とクライアント３０は、インターネット等の通信ネットワークＮを介して通信可能に接続される。同様に、クライアント３０とサービスサイトサーバ４０は、通信ネットワークＮを介して通信可能に接続される。
　なお、配信制御サーバ１０とコンテンツサーバ２０は同一のローカルネットワーク内に存在し、当該ローカルネットワーク内で通信可能に接続されているものとするが、これに限られず、例えば、通信ネットワークＮを介して通信可能に接続されてもよい。
　配信制御サーバ１０は、与えられたボリュメトリックビデオを構成する３Ｄデータから複数の一面３Ｄデータを作成し、これら複数の一面３Ｄデータをコンテンツサーバ２０に保存する。ここで、一面３Ｄデータとは、ボリュメトリックビデオを構成する３Ｄデータが表す対象物を或る１つの視点から見たときの３次元データであり、ユーザの体感品質を維持しつつ元の３Ｄデータよりもデータ量を削減したものである。なお、対象物とは、ボリュメトリックビデオの被写体のことであり、例えば、人、動植物、構造物、建物、機械、天体、自然現象等といったメッシュとテクスチャで表現可能な任意の対象のことを意味する。
　また、配信制御サーバ１０は、クライアント３０からの視聴要求に応じて、ユーザの視点や空間位置、視界（視線方向及び視野範囲）等から適切な一面３Ｄデータを決定し、この一面３Ｄデータをクライアント３０に配信する。なお、ユーザの視点、空間位置とは、対象物が配置されている仮想空間内におけるユーザの位置のことである。
　コンテンツサーバ２０は、複数の一面３Ｄデータを保存する。また、コンテンツサーバ２０は、配信制御サーバ１０からのデータ要求に応じて、このデータ要求に対応する一面３Ｄデータを配信制御サーバ１０に返信する。
　クライアント３０は、ボリュメトリックビデオを視聴するユーザが利用する各種端末（例えば、ＸＲ（ＶＲ／ＡＲ／ＭＲ／ＳＲ等）デバイス等）であり、配信制御サーバ１０から配信された一面３Ｄデータをレンダリングし、ボリュメトリックビデオを再生する。なお、ＸＲデバイスには、ＨＭＤ（Head Mount Display）の他、ＸＲデバイスとして機能するアプリケーションプログラムが搭載されたスマーフォンやタブレット端末、ウェアラブルデバイス等が含まれる。
　ユーザがボリュメトリックビデオを視聴する際には、例えば、以下のような手順が行われる。まず、ユーザは、クライアント３０でサービスサイトサーバ４０にアクセスし、当該ユーザが視聴可能なコンテンツ（ボリュメトリックビデオ）の一覧を取得する。次に、ユーザは、この一覧の中から自身が視聴を所望するボリュメトリックビデオを選択し、選択したボリュメトリックビデオへのリンクを得る。そして、クライアント３０が当該リンクにアクセスすることで、視聴要求が配信制御サーバ１０に送信され、この要求に対して一面３Ｄデータが返信されることでボリュメトリックビデオの再生が開始される。
　また、クライアント３０は、適宜、ユーザの視点や空間位置、視界等といった情報（以下、ユーザの視点又は空間位置と視界とを表す情報を「ユーザ視点情報」ともいう。）を配信制御サーバ１０に送信する。これにより、ユーザの視点や空間位置、視界等に応じた一面３Ｄデータが配信制御サーバ１０から返信され、クライアント３０で再生されることになる。
　サービスサイトサーバ４０は、ユーザが視聴可能なコンテンツ（ボリュメトリックビデオ）の一覧を提示し、この一覧の中から選択されたコンテンツへのリンクをクライアント３０に提供する。
　ここで、本実施形態に係る配信制御サーバ１０は、一面３Ｄデータ作成部１０１と、対応表作成部１０２と、配信制御部１０３と、配信部１０４とを有する。これら各部は、例えば、配信制御サーバ１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。
　また、本実施形態に係る配信制御サーバ１０は、対応表記憶部１０５を有する。対応表記憶部１０５は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置により実現される。
　一面３Ｄデータ作成部１０１は、配信制御サーバ１０に与えられたボリュメトリックビデオを構成する３Ｄデータから複数の一面３Ｄデータを作成する。より具体的には、一面３Ｄデータ作成部１０１は、ボリュメトリックビデオを構成する３Ｄデータが表す対象物を中心に複数の仮想視点を等間隔（又は非等間隔）に配置した上で、仮想視点毎に、当該仮想視点から当該対象物を見たときに、当該対象物の背面に相当するメッシュに対してジオメトリー簡素化（Ｌｅｖｅｌ　Ｏｆ　Ｄｅｔａｉｌ低下処理）を行うことで、一面３Ｄデータを作成する。このように、仮想視点毎に、３Ｄデータが表す対象物の背面（つまり、その仮想視点から見えない部分）のメッシュに対してジオメトリー簡素化を行うことで、仮想視点毎の一面３Ｄデータを作成する。
　そして、一面３Ｄデータ作成部１０１は、作成した複数の一面３Ｄデータをコンテンツサーバ２０に保存する。
　対応表作成部１０２は、複数の一面３Ｄデータを作成する際に配置された各仮想視点と、その仮想視点の視聴角度範囲とを対応付けた対応表（以下、「視聴角度範囲対応表」ともいう。）を作成する。視聴角度範囲とは、対象物を見た際に、当該仮想視点で対象物を見た場合と同一の体感品質を得られる範囲のことである。言い換えれば、当該仮想視点と同様に、ジオメトリー簡素化された対象物の背面が見えない範囲のことである。
　配信制御部１０３は、クライアント３０からユーザ視点情報を受信すると、視聴角度範囲対応表を参照して、このユーザ視点情報から適切な一面３Ｄデータを決定する。より具体的には、配信制御部１０３は、ユーザ視点情報に含まれる視点又は空間位置で視界内に対象物の少なくとも一部の部分を捉えた場合に、当該視点又は空間位置が含まれる視聴角度範囲に対応する仮想視点を特定し、特定した仮想視点に対応する一面３Ｄデータを適切なものとして決定する。
　配信部１０４は、配信制御部１０３によって決定された一面３Ｄデータをクライアント３０に送信する。
　対応表記憶部１０５は、対応表作成部１０２によって作成された視聴角度範囲対応表を記憶する。
　また、本実施形態に係るコンテンツサーバ２０は、一面３Ｄデータ記憶部２０１を有する。一面３Ｄデータ記憶部２０１は、例えば、ＨＤＤやＳＳＤ等の補助記憶装置により実現される。
　一面３Ｄデータ記憶部２０１は、一面３Ｄデータ作成部１０１によって作成された各一面３Ｄデータを記憶する。
　なお、図１に示す配信制御システム１の構成は一例であって、他の構成であってもよい。例えば、配信制御サーバ１０とコンテンツサーバ２０が一体のサーバで構成されていてもよい。
　＜各種処理の詳細＞
　以下、複数の一面３Ｄデータを作成するための一面３Ｄデータ作成処理と、視聴角度範囲対応表を作成するための対応表作成処理と、適切な一面３Ｄデータをクライアント３０に配信するための配信処理との各処理について説明する。なお、一面３Ｄデータ作成処理と対応表作成処理は、配信処理よりも前に実行される事前処理である。
　　≪一面３Ｄデータ作成処理≫
　まず、一面３Ｄデータ作成処理について、図２を参照しながら説明する。図２は、本実施形態に係る一面３Ｄデータ作成処理の一例を示すフローチャートである。なお、以下では、ボリュメトリックビデオが配信制御サーバ１０に与えられているものとする。
　一面３Ｄデータ作成部１０１は、ボリュメトリックビデオを構成する３Ｄデータの中から１フレーム分の３Ｄデータを取得する（ステップＳ１０１）。以下では、一面３Ｄデータ作成部１０１は、時刻ｔのフレームの３Ｄデータｄｔを取得したものとする。なお、ｔの初期値はｔ＝ｔｓとすればよい。
　なお、３Ｄデータはメッシュとテクスチャとで構成されるが、以下ではテクスチャに対しては特に処理を行わないため、上記のステップＳ１０１では、３Ｄデータのメッシュのみを取得してもよい。
　次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０２で取得した３Ｄデータｄｔが表す対象物を中心にＮ個の仮想視点を配置する（ステップＳ１０２）。ただし、各仮想視点の視線方向は対象物であるものとする。例えば、一面３Ｄデータ作成部１０１は、当該対象物を中心とする所定の半径の円の円周上に、等間隔（又は非等間隔でもよい。）に当該対象物を視線方向とするＮ個の仮想視点を配置する。なお、Ｎは予め決められた２以上の整数である。
　ここで、Ｎ＝８である場合における仮想視点の配置例を図３に示す。図３に示す例では、対象物Ｏを中心として、半径Ｒの円の円周上に等間隔で、対象物Ｏを視線方向とする仮想視点Ｖ１～Ｖ８が配置されている。
　なお、円の円周上に仮想視点を配置することは一例であって、これに限られず、例えば、対象物を中心とする多角形の辺上や頂点上に仮想視点を配置してもよい。また、図３に示す例では、簡単のため、対象物Ｏの中心を原点とするｘｙｚ空間のｘｙ平面上に仮想視点Ｖ１～Ｖ８を配置したが、これに限られず、例えば、当該原点を中心とする球面上（又は多面体上）に仮想視点を配置してもよい。
　次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０２で配置したＮ個の仮想視点の中から１つの仮想視点を選択する（ステップＳ１０３）。
　次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０３で選択した仮想視点から当該対象物を見たときに、当該対象物の背面に相当するメッシュに対してジオメトリー簡素化（Ｌｅｖｅｌ　Ｏｆ　Ｄｅｔａｉｌ低下処理）を行う（ステップＳ１０４）。言い換えれば、一面３Ｄデータ作成部１０１は、当該対象物を構成する各メッシュの中で、当該仮想視点からは視認できない（見えない）部分のメッシュに対してジオメトリー簡素化処理を行う。これにより、当該仮想視点から対象物を見た場合には元の３Ｄデータｄｔと同等の体感品質が得られ、かつ、元の３Ｄデータｄｔよりもデータ量が削減された一面３Ｄデータが作成される。
　次に、一面３Ｄデータ作成部１０１は、Ｎ個すべての仮想視点を選択したか否かを判定する（ステップＳ１０５）。
　上記のステップＳ１０５で未だ選択していない仮想視点があると判定された場合、一面３Ｄデータ作成部１０１は、上記のステップＳ１０３に戻り、未だ選択していない仮想視点の中から１つの仮想視点を選択し、ステップＳ１０４以降の処理を実行する。
　一方で、上記のステップＳ１０５でＮ個すべての仮想視点を選択したと判定された場合、一面３Ｄデータ作成部１０１は、与えられたボリュメトリックビデオに次のフレームがあるか否かを判定する（ステップＳ１０６）。
　上記のステップＳ１０６で次のフレームがあると判定された場合、一面３Ｄデータ作成部１０１は、上記のステップＳ１０１に戻り、次のフレームの３Ｄデータを取得し、ステップＳ１０２以降の処理を実行する。すなわち、この場合、一面３Ｄデータ作成部１０１は、ｔ←ｔ＋１として、上記のステップＳ１０１に戻り、次の時刻ｔのフレームの３Ｄデータｄｔを取得する。
　一方で、上記のステップＳ１０６で次のフレームがないと判定された場合（つまり、時刻ｔ＝ｔｅである場合）、一面３Ｄデータ作成部１０１は、上記のステップＳ１０４で作成された各一面３Ｄデータを、コンテンツサーバ２０の一面３Ｄデータ記憶部２０１に保存する（ステップＳ１０７）。これにより、例えば、時刻ｔにおける視点Ｖｉ（ただし、ｉ∈［１，Ｎ］）に対応する一面３Ｄデータをｄｔｉとすれば、一面３Ｄデータの集合｛ｄｔｉ｜ｔ∈［ｔｓ，ｔｅ］，ｉ∈［１，Ｎ］｝が一面３Ｄデータ記憶部２０１に保存されることになる。
　なお、本実施形態では、仮想視点の配置数Ｎは全フレームで共通としたが、フレーム毎に異なっていてもよい。また、本実施形態では、上記のステップＳ１０２～ステップＳ１０５をフレーム毎に繰り返し実行したが、例えば、或る時間幅（時間幅がｔｅ－ｔｓである場合も含む）において、フレーム間で３Ｄデータｄｔが同一である場合は、当該時間幅に含まれる１つのフレームの３Ｄデータｄｔに関してのみ上記のステップＳ１０２～ステップＳ１０５を実行してもよい。
　　≪対応表作成処理≫
　次に、対応表作成処理について、図４を参照しながら説明する。図４は、本実施形態に係る対応表作成処理の一例を示すフローチャートである。以下では、３Ｄデータｄｔ（ただし、ｔ∈［ｔｓ，ｔｅ］）に関する視聴角度範囲対応表を作成する場合について説明する。なお、以下では、ｄ＝ｄｔと表す。
　対応表作成部１０２は、図２のステップＳ１０２と同様に、３Ｄデータｄが表す対象物を中心にＮ個の仮想視点を配置する（ステップＳ２０１）。なお、仮想視点の配置数、配置方法（等間隔又は非等間隔、円周上に配置又は多角形上に配置等）は図２のステップＳ１０２と同様とする。
　次に、対応表作成部１０２は、上記のステップＳ２０１で配置したＮ個の仮想視点の中から１つの仮想視点を選択する（ステップＳ２０２）。
　次に、対応表作成部１０２は、上記のステップＳ２０２で選択した仮想視点と、それに隣接する仮想視点（以下、「隣接仮想視点」という。）との境界角度を算出する（ステップＳ２０３）。境界角度とは、当該仮想視点の視線と、当該仮想視点と隣接仮想視点の境界との間の角度のことである。
　ここで、一例として、図３に示す仮想視点の配置に対して、仮想視点Ｖ２の境界角度を算出する場合について説明する。図５に示すように、仮想視点Ｖ２は、対象物Ｏに対して角度θ２の位置にあるものとする。なお、図５に示す例では、対象物Ｏの中心を原点とするｘｙ平面上におけるｘ軸の正の方向を角度の基準としている。
　このとき、仮想視点Ｖ２の隣接仮想視点はＶ１とＶ３であり、仮想視点Ｖ２の視線と隣接仮想視点Ｖ１の視線との間の角度をφ２１、仮想視点Ｖ２の視線と隣接仮想視点Ｖ３の視線との間の角度をφ２２とする。そして、角度φ２１を２分する線を隣接仮想視点Ｖ１との境界、角度φ２２を２分する線を隣接仮想視点Ｖ３との境界として、これらの境界までの角度を境界角度とする。
　すなわち、隣接仮想視点Ｖ１との境界角度をθ２１、隣接仮想視点Ｖ３との境界角度をθ２２とすれば、θ２１＝φ２１／２、θ２２＝φ２２／２となる。
　なお、他の仮想視点Ｖｉ（ｉ＝１，３，・・・，８）の境界角度θｉ１及びθｉ２に関しても同様に算出することができる。
　次に、対応表作成部１０２は、Ｎ個すべての仮想視点を選択したか否かを判定する（ステップＳ２０４）。
　上記のステップＳ２０４で未だ選択していない仮想視点があると判定された場合、対応表作成部１０２は、上記のステップＳ２０２に戻り、未だ選択していない仮想視点の中から１つの仮想視点を選択し、ステップＳ２０３以降の処理を実行する。
　一方で、上記のステップＳ２０４でＮ個すべての仮想視点を選択したと判定された場合、対応表作成部１０２は、上記のステップＳ２０３で算出した境界角度から各仮想視点の視聴角度範囲を算出することで視聴角度範囲対応表を作成し、作成した視聴角度範囲対応表を対応表記憶部１０５に保存する（ステップＳ２０５）。仮想視点Ｖｉ（ただし、ｉ∈［１，Ｎ］）は対象物に対して角度θｉの位置にあり、仮想視点Ｖｉの境界角度をθｉ１，θｉ２とすれば、仮想視点Ｖｉの視聴角度範囲はθｉ－θｉ１≦θｉ＜θｉ＋θｉ２と算出される。これにより、仮想視点Ｖｉと視聴角度範囲θｉ－θｉ１≦θｉ＜θｉ＋θｉ２とを対応付けることで視聴角度範囲対応表が作成される。このように作成された視聴角度範囲対応表の一例を図６に示す。
　なお、本実施形態では、時刻ｔ∈［ｔｓ，ｔｅ］の３Ｄデータｄｔで共通の視聴角度範囲対応表を作成したが、例えば、フレームによって仮想視点の配置数が異なる場合等には、仮想視点の配置数毎に視聴角度範囲対応表を作成してもよい。
　　≪配信処理≫
　次に、配信処理について、図７を参照しながら説明する。図７は、本実施形態に係る配信処理の一例を示すフローチャートである。以下のステップＳ３０１～ステップＳ３０３はユーザ視点情報を受信する毎に実行され、ステップＳ３０４～ステップＳ３０５はフレーム間隔毎に実行される。ただし、以下では、ユーザの視界内に対象物の少なくとも一部の部分が含まれているものとする。
　配信制御部１０３は、クライアント３０から受信したユーザ視点情報に含まれる視点又は空間位置を用いて、対象物に対するユーザ位置を算出する（ステップＳ３０１）。ここで、ユーザ位置は、対象物に対する視点又は空間位置の角度である。なお、角度の基準は、図４のステップＳ２０３で対象物に対する仮想視点の位置を決定したときと同様とする。
　次に、配信制御部１０３は、対応表記憶部１０５に記憶されている視聴角度範囲対応表を参照して、上記のステップＳ３０１で算出したユーザ位置から仮想視点を特定する（ステップＳ３０２）。すなわち、配信制御部１０３は、各仮想視点のうち、ユーザ位置が含まれる視聴角度範囲に対応する仮想視点を特定する。
　例えば、図８に示すように、或るユーザＡのユーザ位置をθＡとして、θ２－θ２１≦θＡ＜θ２＋θ２２であったとする。この場合、上記のステップＳ３０２では仮想視点Ｖ２が特定される。
　また、例えば、図８に示すように、或るユーザＢのユーザ位置をθＢとして、θ３－θ３１≦θＢ＜θ３＋θ３２であったとする。この場合、上記のステップＳ３０２では仮想視点Ｖ３が特定される。
　なお、図８に示す例のユーザＡは視線方向に対象物Ｏが存在するケースであり、ユーザＢは視線方向には対象物Ｏは存在しないものの視界内に対象物Ｏの少なくとも一部の部分が含まれているケースである。
　次に、配信制御部１０３は、上記のステップＳ３０２で特定した仮想視点に対応する一面３Ｄデータを配信対象に決定する（ステップＳ３０３）。すなわち、例えば、上記のステップＳ３０２で特定した仮想視点がＶｉである場合、配信制御部１０３は、一面３Ｄデータ｛ｄｔｉ｝を配信対象に決定する。
　配信部１０４は、上記のステップＳ３０３で決定した配信対象の一面３Ｄデータのうち、該当の時刻のフレームの一面３Ｄデータをコンテンツサーバ２０から取得する（ステップＳ３０４）。
　そして、配信部１０４は、上記のステップＳ３０４で取得した一面３Ｄデータをクライアント３０に配信する（ステップＳ３０５）。これにより、クライアント３０側で当該一面３Ｄデータがレンダリングされ、ディスプレイ上に対象物が表示される。
　＜ハードウェア構成＞
　最後に、本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０のハードウェア構成について説明する。本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０は、例えば、図９に示すコンピュータ５００のハードウェア構成により実現される。なお、クライアント３０及びサービスサイトサーバ４０も同様のハードウェア構成で実現されていてもよい。
　図９に示すコンピュータ５００は、入力装置５０１と、表示装置５０２と、外部Ｉ／Ｆ５０３と、通信Ｉ／Ｆ５０４と、プロセッサ５０５と、メモリ装置５０６とを有する。これらの各ハードウェアは、それぞれがバス５０７により通信可能に接続される。
　入力装置５０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置５０２は、例えば、ディスプレイ等である。なお、コンピュータ５００は、入力装置５０１及び表示装置５０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ５０３は、記録媒体５０３ａ等の外部装置とのインタフェースである。なお、記録媒体５０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
　通信Ｉ／Ｆ５０４は、他の装置や機器、システム等との間でデータ通信を行うためのインタフェースである。プロセッサ５０５は、例えば、ＣＰＵ等の各種演算装置である。メモリ装置５０６は、例えば、ＨＤＤやＳＳＤ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
　本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０は、図９に示すコンピュータ５００のハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図９に示すコンピュータ５００のハードウェア構成は一例であって、コンピュータ５００は、他のハードウェア構成を有していてもよい。例えば、コンピュータ５００は、複数のプロセッサ５０５を有していてもよいし、複数のメモリ装置５０６を有していてもよい。
　＜まとめ＞
　以上のように、本実施形態に係る配信制御システム１は、立体映像コンテンツを構成する３Ｄデータが表す対象物に対して複数の仮想視点を配置した上で、これらの仮想視点毎に、当該仮想視点から視認できない部分のポリゴンメッシュのジオメトリーを簡素化する。これにより、仮想視点毎に、元の３Ｄデータよりもデータ量を削減した一面３Ｄデータが作成される。
　したがって、クライアント３０におけるユーザの位置や視界に応じて、適切な一面３Ｄデータを配信することで、ユーザの体感品質は維持したまま立体映像コンテンツの配信に要するデータ量を削減することが可能となる。また、これに加えて、クライアント３０側のレンダリング負荷も削減されるため、クライアント３０側の処理負荷の軽減も実現することが可能となる。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１　　　　配信制御システム
　１０　　　配信制御サーバ
　２０　　　コンテンツサーバ
　３０　　　クライアント
　４０　　　サービスサイトサーバ
　５０　　　通信ネットワーク
　１０１　　一面３Ｄデータ作成部
　１０２　　対応表作成部
　１０３　　配信制御部
　１０４　　配信部
　１０５　　対応表記憶部
　２０１　　一面３Ｄデータ記憶部
　５００　　コンピュータ
　５０１　　入力装置
　５０２　　表示装置
　５０３　　外部Ｉ／Ｆ
　５０３ａ　記録媒体
　５０４　　通信Ｉ／Ｆ
　５０５　　プロセッサ
　５０６　　メモリ装置
　５０７　　バス

Claims (7)

  1. 　立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、
    　前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成部と、
    　前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、
    　を有する配信制御システム。
  2. 　前記第１の作成部は、
    　前記仮想視点からは視認できない部分を表すポリゴンメッシュに対してジオメトリー簡素化処理を行うことで、前記部分のデータ量を削減した一面立体データを作成する、請求項１に記載の配信制御システム。
  3. 　前記仮想視点からは視認できない部分は、前記仮想視点から前記対象物を見たときに、前記対象物の背面に相当する部分である、請求項１又は２に記載の配信制御システム。
  4. 　前記仮想視点と、前記仮想視点から前記対象物を見たときに同一の体感品質を得られる範囲とを対応付けた対応表を作成する第２の作成部を有し、
    　前記配信部は、
    　前記視界の中に前記対象物の少なくとも一部の部分が含まれる場合に、前記対応表を参照して、前記位置が含まれる範囲に対応する仮想視点の一面立体データを特定し、
    　特定した一面立体データを前記端末に配信する、請求項１乃至３の何れか一項に記載の配信制御システム。
  5. 　立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、
    　前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成部と、
    　前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、
    　を有する配信制御装置。
  6. 　立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置手順と、
    　前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成手順と、
    　前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信手順と、
    　をコンピュータが実行する配信制御方法。
  7. 　コンピュータを、請求項１乃至４の何れか一項に記載の配信制御システムとして機能させるプログラム。
PCT/JP2021/017244 2021-04-30 2021-04-30 配信制御システム、配信制御装置、配信制御方法、及びプログラム WO2022230186A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/017244 WO2022230186A1 (ja) 2021-04-30 2021-04-30 配信制御システム、配信制御装置、配信制御方法、及びプログラム
US18/557,268 US20240144602A1 (en) 2021-04-30 2021-04-30 Distribution control system, distribution control apparatus, distribution control method, and program
JP2023517012A JPWO2022230186A1 (ja) 2021-04-30 2021-04-30

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/017244 WO2022230186A1 (ja) 2021-04-30 2021-04-30 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022230186A1 true WO2022230186A1 (ja) 2022-11-03

Family

ID=83848244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017244 WO2022230186A1 (ja) 2021-04-30 2021-04-30 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240144602A1 (ja)
JP (1) JPWO2022230186A1 (ja)
WO (1) WO2022230186A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020137876A1 (ja) * 2018-12-26 2020-07-02 シャープ株式会社 生成装置、３次元データ送信装置、及び３次元データ再生装置
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
WO2020195767A1 (ja) * 2019-03-25 2020-10-01 シャープ株式会社 ３ｄモデル送信装置、及び、３ｄモデル受信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020137876A1 (ja) * 2018-12-26 2020-07-02 シャープ株式会社 生成装置、３次元データ送信装置、及び３次元データ再生装置
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
WO2020195767A1 (ja) * 2019-03-25 2020-10-01 シャープ株式会社 ３ｄモデル送信装置、及び、３ｄモデル受信装置

Also Published As

Publication number Publication date
JPWO2022230186A1 (ja) 2022-11-03
US20240144602A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US9420229B2 (en) System and method for managing multimedia data
US11082490B2 (en) Method and apparatus for execution of applications in a cloud system
US7884823B2 (en) Three dimensional rendering of display information using viewer eye coordinates
CA2814809C (en) Composite video streaming using stateless compression
US20180189980A1 (en) Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting
US7656403B2 (en) Image processing and display
US20050033817A1 (en) Sharing OpenGL applications using application based screen sampling
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN108762934B (zh) 远程图形传输系统、方法及云服务器
JP7411791B2 (ja) リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ
Pazzi et al. Propane: A progressive panorama streaming protocol to support interactive 3d virtual environment exploration on graphics-constrained devices
Zhu et al. Towards peer-assisted rendering in networked virtual environments
CN113608613A (zh) 虚拟现实互动方法、装置、电子设备及计算机可读介质
WO2022230186A1 (ja) 配信制御システム、配信制御装置、配信制御方法、及びプログラム
WO2024089875A1 (ja) 配信制御システム、配信制御装置、配信制御方法、及びプログラム
US11677979B2 (en) Freeview video coding
WO2023187936A1 (ja) 配信制御装置、端末、配信制御システム、配信制御方法、及びプログラム
CN104618733A (zh) 图像远程投射方法和相关装置
EP3948790B1 (en) Depth-compressed representation for 3d virtual scene
CN114092362A (zh) 一种全景图片加载方法和装置
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
WO2023084789A1 (ja) 配信装置、配信方法及びプログラム
AU2015203292B2 (en) Composite video streaming using stateless compression
CN117676110A (zh) 视频处理方法、装置及服务器
CN116868107A (zh) 使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的拆分渲染

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939343

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023517012

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18557268

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939343

Country of ref document: EP

Kind code of ref document: A1