WO2022149189A1 - 配信制御装置、配信制御システム、配信制御方法、及びプログラム - Google Patents

配信制御装置、配信制御システム、配信制御方法、及びプログラム Download PDF

Info

Publication number
WO2022149189A1
WO2022149189A1 PCT/JP2021/000101 JP2021000101W WO2022149189A1 WO 2022149189 A1 WO2022149189 A1 WO 2022149189A1 JP 2021000101 W JP2021000101 W JP 2021000101W WO 2022149189 A1 WO2022149189 A1 WO 2022149189A1
Authority
WO
WIPO (PCT)
Prior art keywords
meshlet
distribution control
texture
client
quality
Prior art date
Application number
PCT/JP2021/000101
Other languages
English (en)
French (fr)
Inventor
笑添 趙
隆文 奥山
裕之 北田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022573818A priority Critical patent/JPWO2022149189A1/ja
Priority to US18/260,106 priority patent/US20240064360A1/en
Priority to PCT/JP2021/000101 priority patent/WO2022149189A1/ja
Publication of WO2022149189A1 publication Critical patent/WO2022149189A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Definitions

  • the present invention relates to a technique for distributing stereoscopic images such as volumetric videos and holograms.
  • FIG. 1 shows an example of (a) a point cloud and (b) a polygon mesh.
  • one person as a subject is regarded as one stereoscopic image, and the user views a plurality of stereoscopic images in one content.
  • the polygon mesh has better image quality when comparing the point cloud, which is the display format of the stereoscopic image, with the polygon mesh (for example, Non-Patent Document 2). Therefore, it is considered necessary for the stereoscopic image to be a polygon mesh for high image quality and high presence.
  • Non-Patent Document 1 there is a technology that encodes and saves stereoscopic images taken in the studio with multiple image quality on the server, and transmits and reproduces them from the server via the network in response to the image quality request from the client PC (for example).
  • Non-Patent Document 1 a distribution method such as Non-Patent Document 1 to distribute a stereoscopic image according to the network status and the visibility information of the headset.
  • data using point cloud data is divided into a plurality of cubic tiles, and a large number of stereoscopic images are simultaneously displayed by controlling the density of the point clouds in the cube tiles to be distributed using the visibility information.
  • the transmission of data that is out of sight will be reduced.
  • FIG. 2 shows an example of (a) mesh and (b) meshlet.
  • the same shaded area indicates one meshlet.
  • Non-Patent Document 3 it is also considered to reduce the amount of data required for transmission by compressing the entire mesh data.
  • the representation of the stereoscopic image in the polygon mesh format gives the user higher viewing quality than the point cloud data, so for a high quality stereoscopic image experience, the polygon mesh format is used. Viewing is desired.
  • Non-Patent Document 1 does not consider distribution using high-quality and lightweight polygon mesh data. If the cubic tile division method proposed in Non-Patent Document 1 is applied to polygon mesh data, division occurs inside the mesh at the connection portion of the two divided cubic tiles, and the original shape is significantly changed. Therefore, the quality is reduced.
  • Non-Patent Document 3 As a method for compressing data, a method disclosed in Non-Patent Document 3 can be mentioned. However, in this method, compression is uniformly applied to the entire stereoscopic image, so that the stereoscopic image is stereoscopic regardless of the field of view or the viewpoint. When video data is transmitted and the bandwidth of the network is low, the quality of the entire stereoscopic video deteriorates.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a technique capable of efficiently delivering a stereoscopic image having high viewing quality.
  • a distribution control device that distributes stereoscopic video data composed of a plurality of meshlets and textures for each meshlet to a client PC. Based on the user's viewpoint and field of view information received from the client PC, a high quality meshlet is selected as the meshlet under the user's viewpoint, a high quality texture is selected as the texture, and the user's field of view is within the user's field of view.
  • a delivery control unit that selects a low quality meshlet as a meshlet in a non-existent position and selects a low quality texture as the texture.
  • a distribution control device including a meshlet selected by the distribution control unit and a transmission processing unit that transmits a texture to the client PC is provided.
  • a content server that stores meshlets and textures generated from stereoscopic images at a plurality of resolutions, and distribution control that controls distribution based on user viewing equipment information, network band information, viewpoint information, and the like.
  • a system that has a server, a service site server that presents viewable content and guides it to the server, and a client PC that receives and draws content realizes dynamic stereoscopic video distribution using polygon mesh data. There is.
  • LOD Low LOD corresponds to high quality
  • low LOD corresponds to low quality
  • high compression ratio corresponds to low quality
  • low compression ratio corresponds to high quality
  • high resolution corresponds to high quality
  • low resolution corresponds to low resolution. Corresponds to low quality.
  • FIG. 3 shows a system configuration diagram according to the first embodiment.
  • this system includes a content server 200, a distribution control server 100, a service site server 400, and a client PC 300. These devices are connected to a network 400 (eg, an IP network) and can perform data communication between the devices as shown in FIG.
  • the distribution control server 100 may be referred to as a distribution control device.
  • a system including a distribution control server 100 and a content server 200 may be referred to as a distribution control system.
  • the distribution control server 100 includes a transmission processing unit 110, a distribution control unit 120, and a constraint determination unit 130. The operation of these functional units will be described later.
  • the content server 200 stores meshlets of a plurality of LODs and textures of a plurality of resolutions (multiple image quality). A method of generating data stored in the content server 200 will be described with reference to FIG. The data generation process stored in the content server 200 is performed outside the content server 200, and the generated data is stored in the content server 200.
  • omnidirectional shooting is performed by a plurality of cameras, and stereoscopic image data is generated by a stereoscopic image generation system.
  • Polygon mesh data and its texture exist in the stereoscopic video data.
  • the meshlet generation program generates meshlets having a plurality of different levels of LOD from the stereoscopic video data, and the generated meshlets are stored in the content server 200.
  • the texture is divided into meshlets, encoded at different levels of resolution, and stored on the content server 200. That is, the content server 200 stores meshlets having a plurality of different levels of LOD corresponding to stereoscopic video data, and textures having a plurality of resolutions for each meshlet.
  • the client PC 300 selects the viewing content based on the link to the requested content provided by the service site server 400.
  • the client PC 300 transmits information such as the resolution of the head-mounted display and the processing capacity of the PC to the distribution control server 100. In addition to these information, the client PC 300 sequentially obtains information indicating the movement of the position in the virtual space of the user, information indicating the size and position of the user's viewpoint and field of view, and the buffer amount in the client PC 300. It is transmitted to the distribution control server 100. The information transmitted from the client PC 300 to the distribution control server 100 is input to the distribution control unit 120 and the constraint determination unit 130.
  • the buffer amount is the size of the buffer, that is, the amount of data that can be buffered.
  • the wiring control server 100 acquires, in addition to the information from the client PC 300, the bandwidth usage information of the network 400, the server congestion information, and the like, and performs distribution control.
  • the distribution control unit 120 dynamically determines the LOD of the meshlet and the resolution of the texture from the viewpoint, the field of view, and the position movement information received from the client PC 300, and transmits the determined information to the transmission processing unit 110.
  • the constraint determination unit 130 determines a constraint on the amount of transmission data using the network bandwidth and the buffer amount, and notifies the transmission processing unit 110 of the determined constraint information.
  • the transmission processing unit 110 acquires the meshlet and texture of the LOD determined by the distribution control unit 120 from the content server 200, and under the constraint of the amount of transmission data determined by the constraint determination unit 130, the mesh of the stereoscopic image.
  • the let and texture data are transmitted to the client PC 300.
  • ⁇ Operation of distribution control unit 120> The operation of the distribution control unit 120 will be described in more detail with reference to the flowchart of FIG. It is assumed that the stereoscopic image used for processing by the distribution control unit 120, the meshlet of the stereoscopic image, and the like are held by the distribution control unit 120 or can be acquired from the outside.
  • the distribution control unit 120 receives viewpoint, field of view, and position movement information from the client PC 300.
  • the distribution control unit 120 selects a stereoscopic image close to the user's movement direction in the virtual space based on the position movement information, and generates a meshlet of the stereoscopic image of uniform quality (S102, S104, S105).
  • the distribution control unit 120 maps the user's viewpoint and field of view information on the virtual space (S103), and maps the viewpoint and field of view information to the meshlet of the stereoscopic image (S106).
  • the distribution control unit 120 searches for a meshlet corresponding to the gazing point by using the information of the viewpoint, and is close to the meshlet under the gazing point (the meshlet having the gazing point of the user). Select a meshlet. Adjacent meshlets can be selected from the indexes of vertices close to the gazing point.
  • the distribution control unit 120 determines to apply a high LOD and high resolution texture to the meshlet under the viewpoint and its proximity meshlet. It may be decided to apply a high LOD and high resolution texture to the meshlet under the viewpoint.
  • the distribution control unit 120 determines to apply a low LOD and low resolution texture to a meshlet that is far away and does not exist in the field of view.
  • the meshlet shown by A is a meshlet having a gaze point
  • B and C are meshlets close to A in the field of view
  • A, B, and C are used. Determine to apply high LOD and high resolution textures.
  • the meshlet indicated by D is a meshlet that does not exist in the field of view, it is determined to apply a low LOD and low resolution texture to the meshlet.
  • the distribution control unit 120 may decide to apply the medium LOD and medium resolution textures to the meshlets that are in the field of view but are far from the gazing point. In addition, the distribution control unit 120 uses the user's position movement speed and movement acceleration information to improve the resolution of the meshlet LOD and texture for the stereoscopic image that the user is approaching, and the resolution of the LOD and texture for the stereoscopic image that is moving away. May be reduced.
  • the distribution control unit 120 passes the LOD and texture resolution for each meshlet determined as described above to the transmission processing unit 110, and the transmission processing unit 110 receives the meshlet of the LOD from the content server 200. And get the texture of the resolution.
  • LOD and resolution are classified into “high” and “low”, or “high” and “medium” and “low”, but these are only examples. It may be classified into more levels.
  • the constraint determination unit 130 can further change the distribution data configuration with respect to the distribution data configuration determined by the distribution control unit 120 based on the bandwidth information of the network 400 and the buffer amount in the client PC 300.
  • the constraint determination unit 130 may acquire the network bandwidth information from the mediation switch in the network 400, or may acquire the network bandwidth information from the access status to the distribution control server 100. Further, the buffer amount can be obtained from the client PC 300.
  • a large amount means, for example, that amount is larger than a certain threshold value.
  • An amount “less” means, for example, that amount is less than a certain threshold.
  • the constraint determination unit 130 determines and determines to transmit a high LOD meshlet and a high-quality texture to the client PC 300 when the buffer amount is large and the network bandwidth usable amount is large. Notify the transmission processing unit 110 of the content.
  • the constraint determination unit 130 determines to transmit a high LOD meshlet and a low image quality texture to the client PC 300 when the buffer amount is small and the bandwidth available amount is large, and notifies the transmission processing unit 110 of the determination content. ..
  • the constraint determination unit 130 determines to transmit the high LOD meshlet and the low image quality texture to the client PC 300 even when the buffer amount is large and the bandwidth available amount is low, and the determination content is transmitted to the transmission processing unit 110. Notice.
  • the constraint determination unit 130 determines to transmit the low LOD meshlet and the low image quality texture to the client PC 300 when both the buffer amount and the band usable amount are low, and notifies the transmission processing unit 110 of the determination content. do.
  • the transmission processing unit 110 determines the distribution data to be transmitted to the client PC 300 with the LOD received from the constraint determination unit 130 and the image quality (resolution) as constraints. For example, even when the distribution control unit 120 determines the distribution of the "high LOD meshlet and high image quality texture", the LOD and image quality received from the constraint determination unit 130 are "low LOD meshlet and low image quality”. In the case of "texture”, instead of “high LOD meshlet and high image quality texture", "low LOD meshlet and low image quality texture” is acquired from the content server 200 and distributed to the client PC 300. ..
  • the distribution control server 100 selects an appropriate meshlet LOD and texture resolution, acquires pre-converted data from the content server 200, and transmits the pre-converted data to the client PC 300. conduct.
  • the client PC 300 renders the received stereoscopic image meshlet and texture data, and renders it on the head-mounted display.
  • the content server 200 stores meshlets having a plurality of compression rates and textures having a plurality of resolutions (multiple image quality). A method of generating data stored in the content server 200 will be described with reference to FIG. The data generation process stored in the content server 200 is performed outside the content server 200, and the generated data is stored in the content server 200.
  • omnidirectional shooting is performed by a plurality of cameras, and stereoscopic image data is generated by a stereoscopic image generation system.
  • Polygon mesh data and its texture exist in the stereoscopic video data.
  • the meshlet generation program generates a meshlet from the stereoscopic video data, encodes the meshlet with a plurality of different compression ratios, and stores the encoded meshlet in the content server 200.
  • the texture is divided into meshlets, encoded at different levels of resolution, and stored on the content server 200. That is, the content server 200 stores a plurality of meshlets encoded at different compression rates corresponding to stereoscopic video data, and textures having a plurality of resolutions for each meshlet.
  • the overall operation of the system in the second embodiment is the same as that in the first embodiment. That is, the client PC 300 selects the viewing content based on the link to the requested content provided by the service site server 400.
  • the client PC 300 transmits information such as the resolution of the head-mounted display and the processing capacity of the PC to the distribution control server 100. In addition to these information, the client PC 300 sequentially obtains information indicating the movement of the position in the virtual space of the user, information indicating the size and position of the user's viewpoint and field of view, and the buffer amount in the client PC 300. It is transmitted to the distribution control server 100. The information transmitted from the client PC 300 to the distribution control server 100 is input to the distribution control unit 120 and the constraint determination unit 130.
  • the wiring control server 100 acquires, in addition to the information from the client PC 300, the bandwidth usage information of the network 400, the server congestion information, and the like, and performs distribution control.
  • the distribution control unit 120 dynamically determines the compression rate of the meshlet and the resolution of the texture from the viewpoint, the field of view, and the position movement information received from the client PC 300, and the determined information is transmitted to the transmission processing unit 110.
  • the constraint determination unit 130 determines a constraint on the amount of transmission data using the network bandwidth and the buffer amount, and notifies the transmission processing unit 110 of the determined constraint information.
  • the transmission processing unit 110 acquires the meshlet and texture of the compression rate determined by the distribution control unit 120 from the content server 200, and under the constraint of the amount of transmission data determined by the constraint determination unit 130, the stereoscopic video
  • the meshlet and texture data are transmitted to the client PC 300.
  • ⁇ Operation of distribution control unit 120> The operation of the distribution control unit 120 will be described in more detail with reference to the flowchart of FIG. It is assumed that the stereoscopic image used for processing by the distribution control unit 120, the meshlet of the stereoscopic image, and the like are held by the distribution control unit 120 or can be acquired from the outside.
  • the distribution control unit 120 receives viewpoint, field of view, and position movement information from the client PC 300.
  • the distribution control unit 120 selects a stereoscopic image close to the user's movement direction in the virtual space based on the position movement information, and generates a meshlet of the stereoscopic image of uniform quality (S202, S204, S205).
  • the distribution control unit 120 maps the user's viewpoint and field of view information on the virtual space (S203), and maps the viewpoint and field of view information to the meshlet of the stereoscopic image (S206).
  • the distribution control unit 120 searches for a meshlet corresponding to the gazing point by using the information of the viewpoint, and is close to the meshlet under the viewpoint (the meshlet having the user's gazing point). Select a meshlet. Adjacent meshlets can be selected from the indexes of vertices close to the gazing point.
  • the distribution control unit 120 determines to apply a low compression ratio and a high resolution texture to the meshlet under the viewpoint and its proximity meshlet. It may be decided to apply a low compression ratio and high resolution texture to the meshlet under the viewpoint.
  • the distribution control unit 120 determines to apply a high compression rate and low resolution texture to a meshlet that does not exist in the field of view at a long distance. More specifically, high compressibility meshlets (and low resolution textures) may be applied stepwise as the distance from the viewpoint increases.
  • the meshlet shown by A is a meshlet having a gaze point
  • B and C are meshlets close to A in the field of view
  • A, B, and C are used.
  • the meshlet indicated by D is a meshlet that does not exist in the field of view, it is determined that a high compression rate meshlet and a low resolution texture are applied to the meshlet.
  • the distribution control unit 120 may decide to apply a medium compression rate and a medium resolution texture to a meshlet that exists in the field of view but is far from the gazing point.
  • the distribution control unit 120 uses the user's position movement speed and movement acceleration information to reduce the compression rate of the meshlet for the stereoscopic image that the user is approaching to improve the resolution of the texture, and the mesh for the stereoscopic image that is moving away.
  • the compression ratio of the let may be improved to reduce the resolution of the texture.
  • the distribution control unit 120 passes the compression rate for each meshlet and the resolution of the texture determined as described above to the transmission processing unit 110, and the transmission processing unit 110 receives the compression rate from the content server 200. Get the meshlet and the texture of the resolution.
  • the compression ratio and resolution are classified into “high” and “low”, or “high” and “medium” and “low”, but these are only examples. It may be classified into more levels.
  • the constraint determination unit 130 can further change the distribution data configuration with respect to the distribution data configuration determined by the distribution control unit 120 based on the bandwidth information of the network 400 and the buffer amount in the client PC 300.
  • the constraint determination unit 130 may acquire the network bandwidth information from the mediation switch in the network 400, or may acquire the network bandwidth information from the access status to the distribution control server 100. Further, the buffer amount can be obtained from the client PC 300.
  • a large amount means, for example, that amount is larger than a certain threshold value.
  • An amount “less” means, for example, that amount is less than a certain threshold.
  • the constraint determination unit 130 determines to transmit a low compression rate meshlet and a high-quality texture to the client PC 300 when the buffer amount is large and the network bandwidth usable amount is large. Notify the transmission processing unit 110 of the determined content.
  • the constraint determination unit 130 determines to transmit a meshlet having a low compression rate and a texture having a low image quality to the client PC 300 when the buffer amount is small and the bandwidth available amount is large, and notifies the transmission processing unit 110 of the decision content. do.
  • the constraint determination unit 130 determines to transmit the meshlet having a low compression rate and the texture of low image quality to the client PC 300 even when the buffer amount is large and the bandwidth available amount is low, and the determination content is transmitted to the transmission processing unit 110. Notify to.
  • the constraint determination unit 130 determines to transmit a meshlet having a high compression rate and a texture having a low image quality to the client PC 300 when both the buffer amount and the band usable amount are low, and the determination content is transmitted to the transmission processing unit 110. Notice.
  • the transmission processing unit 110 determines the distribution data to be transmitted to the client PC 300 with the compression rate and the image quality (resolution) received from the constraint determination unit 130 as constraints. For example, even when the distribution control unit 120 determines the distribution of the “low compression rate meshlet and high image quality texture”, the LOD and image quality received from the constraint determination unit 130 are the “high compression rate meshlet and high quality texture”. In the case of "low image quality texture”, instead of “low compression rate meshlet and high image quality texture", "high compression rate meshlet and low image quality texture” is acquired from the content server 200 and the client. Deliver to PC300.
  • the distribution control server 100 selects an appropriate meshlet compression rate and texture resolution, acquires pre-converted data from the content server 200, and transmits the pre-converted data to the client PC 300. I do.
  • the client PC 300 renders the received stereoscopic image meshlet and texture data, and renders it on the head-mounted display.
  • All of the devices (delivery control server, content server, service site server, client PC) described in the present embodiment are, for example, by causing a computer to execute a program describing the processing contents described in the present embodiment. It is feasible.
  • the above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, and distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 11 is a diagram showing an example of the hardware configuration of the above computer.
  • the computer of FIG. 11 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, and the like, which are connected to each other by a bus B, respectively.
  • the program that realizes the processing on the computer is provided by, for example, a recording medium 1001 such as a CD-ROM or a memory card.
  • a recording medium 1001 such as a CD-ROM or a memory card.
  • the program is installed in the auxiliary storage device 1002 from the recording medium 1001 via the drive device 1000.
  • the program does not necessarily have to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores the installed program and also stores necessary files, data, and the like.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when there is an instruction to start the program.
  • the CPU 1004 realizes the function related to the device according to the program stored in the memory device 1003.
  • the interface device 1005 is used as an interface for connecting to a network.
  • the display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • the input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, and the like, and is used for inputting various operation instructions.
  • the output device 1008 outputs the calculation result.
  • the stereoscopic video data is reconstructed into a plurality of video quality data in the server, and the video data of the portion necessary for viewing on the client PC side is displayed.
  • the video quality By selecting and transmitting video quality based on the viewpoint, visibility, and network conditions, it is possible to deliver stereoscopic video with high viewing quality with a small server load and communication data amount.
  • This specification discloses at least the distribution control device, the distribution control system, the distribution control method, and the program according to the following items.
  • (Section 1) It is a distribution control device that distributes stereoscopic video data composed of multiple meshlets and textures for each meshlet to client PCs. Based on the user's viewpoint and field of view information received from the client PC, a high quality meshlet is selected as the meshlet under the user's viewpoint, a high quality texture is selected as the texture, and the user's field of view is within the user's field of view.
  • a delivery control unit that selects a low quality meshlet as a meshlet in a non-existent position and selects a low quality texture as the texture.
  • a distribution control device including a meshlet selected by the distribution control unit and a transmission processing unit that transmits a texture to the client PC.
  • (Section 2) First, a constraint determining unit for determining a constraint on data transmitted to the client PC based on the available bandwidth of the network connecting the distribution control device and the client PC and the buffer amount of the client PC.
  • the delivery control device described in the section.
  • (Section 3) The delivery control device according to item 1 or 2, wherein the quality of the meshlet is LOD or a compression ratio, and the quality of the texture is a resolution.
  • (Section 4) A distribution control system including the distribution control device according to any one of claims 1 to 3 and a content server storing a plurality of quality meshlets and a plurality of quality textures.
  • the distribution control unit is a distribution control system that acquires selected meshlets and textures from the content server.
  • (Section 5) It is a distribution control method executed by a distribution control device that distributes stereoscopic video data composed of a plurality of meshlets and textures for each meshlet to a client PC. Based on the user's viewpoint and field of view information received from the client PC, a high quality meshlet is selected as the meshlet under the user's viewpoint, a high quality texture is selected as the texture, and the user's field of view is within the user's field of view.
  • a delivery control step that selects a low quality meshlet as the meshlet in a non-existent position and selects a low quality texture as the texture.
  • a distribution control method including a meshlet selected by the distribution control step and a transmission processing step of transmitting a texture to the client PC.
  • (Section 6) A program for making a computer function as each part in the distribution control device according to any one of the items 1 to 3.
  • Distribution control server 110 Transmission processing unit 120 Distribution control unit 130 Constraint determination unit 200 Content server 300 Client PC 400 Service site server 1000 Drive device 1001 Recording medium 1002 Auxiliary storage device 1003 Memory device 1004 CPU 1005 Interface device 1006 Display device 1007 Input device

Abstract

複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置であって、前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御部と、前記配信制御部により選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理部とを備える配信制御装置。

Description

配信制御装置、配信制御システム、配信制御方法、及びプログラム
　本発明は、ボリュメトリックビデオやホログラム等の立体映像の配信技術に関連するものである。
　ボリュメトリックビデオ及びホログラムに代表される、ＶＲ（Virtual Realty）／ＡＲ（Augmented Reality）デバイスにより自由視点で視聴できる立体映像配信においては、立体映像データとして、点群又はポリゴンメッシュのアニメーションデータが、クライアントＰＣに配信され、クライアントＰＣにおいて、仮想環境と合わせてレンダリングし、ＡＲ／ＶＲディスプレイ上に表示され、ユーザにより視聴される。図１に（ａ）点群と（ｂ）ポリゴンメッシュの例を示す。
　通常、被写体の人物一人が、一つの立体映像として捉えられ、ユーザは、一つのコンテンツ内において複数の立体映像を視聴する。
　立体映像の表示形式である点群とポリゴンメッシュを比較したときに、ポリゴンメッシュのほうがより画質が優れているとする主観評価調査結果がある（例えば、非特許文献２）。従って、高画質、高臨場には立体映像がポリゴンメッシュであることが必要であると考えられる。
　ここで、立体映像の配信方法として、例えば既存のクラウドゲームサービスにおいて、サーバにコンテンツを伝送し、サーバにおいてユーザ毎にメッシュデータを動的にレンダリングし、クライアントＰＣに配信する技術がある。しかし、この技術では、ユーザ毎に、サーバでレンダリングを実施する必要があり、サーバ負荷が高くなる。
　また、この技術では、ネットワークの帯域状況の変化により、ＡＲ／ＶＲヘッドセットの画面上の画質の変動、センサインプットから映像が反映するまでの遅延（Photon to Motion）が高くなるため、高臨場、高画質なＡＲ／ＶＲが実現できない。
　また、スタジオで撮影された立体映像を用いて、サーバで複数の画質でエンコードと保存を行い、クライアントＰＣからの画質要求に応じてネットワーク経由でサーバから伝送し、再生する技術がある（例えば、非特許文献１）。
　そこで、非特許文献１等の配信手法を用いて、ネットワーク状況やヘッドセットの視界情報に応じた立体映像配信を行うことが考えられる。非特許文献１では、点群データを使用したデータを複数の立方タイルで分割し、視界情報を用いて配信する立方体タイル内の点群の密度を制御することで多数の立体映像を同時に表示するとともに、視界にないデータの伝送を削減することとしている。
　一方、メッシュデータ上のポリゴンメッシュを共有頂点で束ねるメッシュレットを生成することで、レンダリングに必要なポリゴンメッシュの数を動的に変更し、より効率的に複雑なシーンをレンダリングする技術がある。図２に（ａ）メッシュと（ｂ）メッシュレットの例を示す。図２（ｂ）において、同一の網掛けで示された部分が１つのメッシュレットを示す。
　また、非特許文献３に記載されているように、メッシュデータ全体を圧縮することで、伝送に必要なデータ量を削減することも検討されている。
J.Park et al, "Rate-Utility Optimized Streaming of Volumetric Media for Augmented Reality," arXiv:1804.09864, Apr 2018. E.Zerman et al, "Textured Mesh vs Coloured Point Cloud: A Subjective Study for Volumetric Video Compression," 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX), May 2020. "Darco 3D Data Compression" https://github.com/google/draco
　立体映像のポリゴンメッシュ形式での表現は非特許文献２の実験で示すように、点群データと比べて、高い視聴品質をユーザに与えるため、高品質な立体映像体験にはポリゴンメッシュ形式での視聴が望まれる。
　しかしながら、非特許文献１に記載された技術では高品質で軽量なポリゴンメッシュデータを用いた配信は検討されていない。仮に非特許文献１で提案されている立方タイル分割方法をポリゴンメッシュデータに適用すると、分割された２つの立方タイルの接続部で、メッシュの内部で分断が発生し、本来の形状を大きく変えてしまうため、品質が下がってしまう。更に、キューブでの分割では、メッシュが密に含まれるキューブと、メッシュが疎に含まれるキューブが存在することになるため、キューブ内のメッシュの密度に差が生じて、キューブ内の疎の方のメッシュに密度が引っ張られ、想定したＬＯＤ（Level Of Detail）のキューブを生成することができず、立体映像の品質が低下する。
　また、同時に多数の立体映像が必要なコンテンツの視聴には、大量のデータを伝送する必要が生じ、サーバ負荷が増え、より多くの帯域を必要とするためにネットワークコストが増える。
　また、データを圧縮する手法として、非特許文献３に開示された手法が挙げられるが、この手法では、立体映像全体に対して均一に圧縮が適用されるため、視界、視点にかかわらず、立体映像のデータが伝送され、ネットワークの帯域が少ない時には、立体映像全体の品質が低下する。
　すなわち、従来技術では、視聴品質の高い立体映像を効率良く配信することができなかった。
　本発明は上記の点に鑑みてなされたものであり、視聴品質の高い立体映像を効率良く配信することを可能とする技術を提供することを目的とする。
　開示の技術によれば、複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置であって、
　前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御部と、
　前記配信制御部により選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理部と
　を備える配信制御装置が提供される。
　開示の技術によれば、視聴品質の高い立体映像を効率良く配信することを可能とする技術が提供される。
点群データとポリゴンメッシュデータの例を示す図である。 メッシュとメッシュレットの例を示す図である。 本発明の実施の形態におけるシステム構成図である。 メッシュレットの作成及び複数の品質のメッシュレット、テクスチャの生成を説明するための図である。 配信制御の動作を説明するためのフローチャートである。 ＬＯＤや圧縮率の選択方法の例を説明するための図である。 配信データの構成の変更方法を説明するための図である。 メッシュレットの作成とその複数圧縮率によるエンコードを示す図である。 配信制御の動作を説明するためのフローチャートである。 配信データの構成の変更方法を説明するための図である。 装置のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（実施の形態の概要）
　本実施の形態では、ポリゴンメッシュデータの配信をネットワーク帯域と視界情報、視点情報等を用いて制御する動的配信制御技術について説明する。
　本実施の形態では、立体映像から生成されたメッシュレットとテクスチャを複数解像度で保存しているコンテンツサーバと、ユーザの視聴設備情報、ネットワーク帯域情報、視点情報等を基に配信制御を行う配信制御サーバと、視聴可能コンテンツの提示とサーバへの誘導を行うサービスサイトサーバと、コンテンツの受信及び描画を行うクライアントＰＣとを有するシステムにより、ポリゴンメッシュデータを用いた動的立体映像配信を実現している。
　以下、本発明の実施の形態に係るシステムの構成と動作について、より詳細に説明する。以下、第１の実施形態と第２の実施形態について説明する。なお、以下で説明する「ＬＯＤ」、「圧縮率」、「解像度」はいずれも「品質」の例である。高ＬＯＤは高品質に対応し、低ＬＯＤは低品質に対応し、高圧縮率は低品質に対応し、低圧縮率は高品質に対応し、高解像度は高品質に対応し、低解像度は低品質に対応する。
　（第１の実施形態）
　図３に、第１の実施形態におけるシステム構成図を示す。図３に示すように、本システムは、コンテンツサーバ２００、配信制御サーバ１００、サービスサイトサーバ４００、クライアントＰＣ３００を有する。これらの装置は、ネットワーク４００（例えばＩＰネットワーク）に接続されており、図３に示されるように装置間でデータ通信を行うことが可能である。なお、配信制御サーバ１００を配信制御装置と呼んでもよい。また、配信制御サーバ１００とコンテンツサーバ２００からなるシステムを配信制御システムと呼んでもよい。
　図３に示すように、配信制御サーバ１００は、伝送処理部１１０、配信制御部１２０、制約決定部１３０を備える。これら機能部の動作については後述する。
　＜コンテンツサーバに格納されるデータについて＞
　コンテンツサーバ２００には、複数ＬＯＤのメッシュレットと複数解像度（複数画質）のテクスチャが格納されている。図４を参照して、コンテンツサーバ２００に格納されるデータの生成方法について説明する。コンテンツサーバ２００に格納されるデータの生成処理に関しては、コンテンツサーバ２００の外部で実施され、生成されたデータがコンテンツサーバ２００に格納される。
　図４に示すように、複数カメラで全方位の撮影が行われ、立体映像生成システムにより立体映像データが生成される。立体映像データにはポリゴンメッシュデータとそのテクスチャが存在する。メッシュレット生成プログラムにより、立体映像データから、複数の異なるレベルのＬＯＤを持つメッシュレットの生成が行われ、生成されたメッシュレットはコンテンツサーバ２００に保存される。これと同時に、テクスチャはメッシュレットごとに分割され、異なるレベルの解像度でエンコードが行われ、コンテンツサーバ２００に保存される。すなわち、コンテンツサーバ２００には、立体映像データに対応する、複数の異なるレベルのＬＯＤを持つメッシュレットと、メッシュレット毎の複数解像度のテクスチャが格納されている。
　＜システムの動作について＞
　図３を参照して、システムの動作について説明する。
　クライアントＰＣ３００は、サービスサイトサーバ４００から提供される要求コンテンツへのリンクに基づいて、視聴コンテンツを選択する。
　また、クライアントＰＣ３００は、ヘッドマウントディスプレイの解像度、ＰＣの処理能力等の情報を配信制御サーバ１００に送信する。また、クライアントＰＣ３００は、これらの情報以外に、逐次、ユーザの仮想空間内での位置の移動を示す情報、ユーザの視点と視界の大きさ及び位置を示す情報、及び、クライアントＰＣ３００におけるバッファ量を配信制御サーバ１００に送信する。クライアントＰＣ３００から配信制御サーバ１００に送信された情報は、配信制御部１２０と制約決定部１３０に入力される。なお、バッファ量とは、バッファの大きさ、すなわち、バッファ可能なデータ量である。
　配線制御サーバ１００は、クライアントＰＣ３００からの情報に加えて、ネットワーク４００の帯域使用情報、サーバ混雑情報等を取得して配信制御を行う。
　より具体的には、配信制御部１２０は、クライアントＰＣ３００から受信した視点、視界、位置移動情報から、メッシュレットのＬＯＤとテクスチャの解像度を動的に決定し、決定した情報を伝送処理部１１０に通知する。また、制約決定部１３０は、ネットワークの帯域とバッファ量とを用いて送信データ量の制約を決定し、決定した制約の情報を伝送処理部１１０に通知する。
　伝送処理部１１０は、配信制御部１２０により決定されたＬＯＤのメッシュレットとテクスチャをコンテンツサーバ２００から取得して、制約決定部１３０で決定された送信データ量の制約の下で、立体映像のメッシュレットとテクスチャのデータをクライアントＰＣ３００に送信する。
　＜配信制御部１２０の動作＞
　図５のフローチャートを参照して、配信制御部１２０の動作をより詳細に説明する。なお、配信制御部１２０が処理に使用する立体映像や立体映像のメッシュレット等は、配信制御部１２０が保持している、あるいは、外部から取得可能であるとする。
　Ｓ１０１において、配信制御部１２０は、クライアントＰＣ３００から、視点、視界、位置移動情報を受信する。配信制御部１２０は、位置移動情報に基づいて、仮想空間におけるユーザの移動方向に近接する立体映像を選択し、均一品質の立体映像のメッシュレットを生成する（Ｓ１０２、Ｓ１０４、Ｓ１０５）。
　また、配信制御部１２０は、ユーザの視点及び視界の情報を仮想空間上にマッピングする（Ｓ１０３）とともに、視点及び視界の情報を立体映像のメッシュレットへマッピングする（Ｓ１０６）。
　Ｓ１０７において、配信制御部１２０は、視点の情報を用いることにより、注視点に対応するメッシュレットの探索を行って、視点下にあるメッシュレット（ユーザの注視点があるメッシュレット）とそれに近接するメッシュレットを選択する。近接するメッシュレットは、注視点に近接する頂点のインデックスから選択を行うことができる。配信制御部１２０は、視点下にあるメッシュレットとその近接メッシュレットに対して、高ＬＯＤ及び高解像度テクスチャを適用すると決定する。視点下にあるメッシュレットに対して、高ＬＯＤ及び高解像度テクスチャを適用すると決定してもよい。
　Ｓ１０８において、配信制御部１２０は、遠距離にある、視界に存在しないメッシュレットに対して、低ＬＯＤ及び低解像度テクスチャを適用すると決定する。
　例えば、図６に示す例において、Ａで示すメッシュレットが注視点のあるメッシュレットであるとして、Ｂ、Ｃが、視界内のＡに近接するメッシュレットであるとすると、Ａ、Ｂ、Ｃに高ＬＯＤ及び高解像度テクスチャを適用すると決定する。また、Ｄで示すメッシュレットが、視界に存在しないメッシュレットであるとすると、これに対して低ＬＯＤ及び低解像度テクスチャを適用すると決定する。
　配信制御部１２０は、視界内に存在するが、注視点から離れているメッシュレットに対して、中ＬＯＤ及び中解像度テクスチャを適用すると決定してもよい。また、配信制御部１２０は、ユーザの位置移動速度と移動加速度情報を用い、ユーザが近接していく立体映像に対するメッシュレットのＬＯＤ及びテクスチャの解像度を向上させ、遠ざかる立体映像に対するＬＯＤ及びテクスチャの解像度を低下させることとしてもよい。
　Ｓ１０９において、配信制御部１２０は、上記のようにして決定した、メッシュレット毎のＬＯＤとテクスチャの解像度を伝送処理部１１０に渡し、伝送処理部１１０は、コンテンツサーバ２００から、当該ＬＯＤのメッシュレットと、当該解像度のテクスチャを取得する。
　なお、上記の例では、ＬＯＤと解像度のそれぞれについて、「高」と「低」、又は、「高」と「中」と「低」に分類しているが、これらは例に過ぎない。より多くのレベルに分類してもよい。
　＜制約決定部１３０の動作＞
　次に、図７を参照して、制約決定部１３０の動作を説明する。制約決定部１３０は、ネットワーク４００の帯域情報とクライアントＰＣ３００におけるバッファ量に基づいて、配信制御部１２０において決定された配信データの構成に対して更に配信データの構成に変更を加えることができる。なお、制約決定部１３０は、ネットワーク帯域情報を、ネットワーク４００における仲介スイッチから取得してもよいし、配信制御サーバ１００へのアクセス状況から取得してもよい。また、バッファ量についてはクライアントＰＣ３００から取得することができる。
　以下の説明において、ある量が「多い」とは、例えば、その量がある閾値よりも多いことである。ある量が「少ない」とは、例えば、その量がある閾値よりも少ないことである。
　図７に示すように、制約決定部１３０は、バッファ量が多く、かつネットワーク帯域使用可能量が多いときには、高ＬＯＤのメッシュレット及び高画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　制約決定部１３０は、バッファ量が少なく、かつ帯域使用可能量が多い時には高ＬＯＤのメッシュレット及び低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。制約決定部１３０は、バッファ量が多く、帯域使用可能量が低いときも同じく、高ＬＯＤのメッシュレットと低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　また、制約決定部１３０は、バッファ量、帯域使用可能量がともに低いときには、低ＬＯＤのメッシュレットと低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　伝送処理部１１０は、制約決定部１３０から受け取ったＬＯＤと画質（解像度）を制約として、クライアントＰＣ３００に送信する配信データを決定する。例えば、配信制御部１２０により、「高ＬＯＤのメッシュレット及び高画質のテクスチャ」の配信が決定された場合でも、制約決定部１３０から受け取ったＬＯＤと画質が、「低ＬＯＤのメッシュレット及び低画質のテクスチャ」である場合には、「高ＬＯＤのメッシュレット及び高画質のテクスチャ」に代えて、「低ＬＯＤのメッシュレット及び低画質のテクスチャ」をコンテンツサーバ２００から取得してクライアントＰＣ３００に配信する。
　以上の配信制御部１２０と制約決定部１３０により、配信制御サーバ１００は、適切なメッシュレットのＬＯＤ、テクスチャの解像度を選択し、コンテンツサーバ２００から事前変換済みデータを取得し、クライアントＰＣ３００に伝送を行う。
　クライアントＰＣ３００は受信した立体映像のメッシュレットとテクスチャのデータをレンダリングし、ヘッドマウントディスプレイに描写を行う。
　（第２の実施形態）
　次に、第２の実施形態を説明する。第２の実施形態におけるシステム構成は、第１の実施形態におけるシステム構成と同じである、図３に示したとおりである。
　＜コンテンツサーバに格納されるデータについて＞
　コンテンツサーバ２００には、複数圧縮率のメッシュレットと複数解像度（複数画質）のテクスチャが格納されている。図８を参照して、コンテンツサーバ２００に格納されるデータの生成方法について説明する。コンテンツサーバ２００に格納されるデータの生成処理に関しては、コンテンツサーバ２００の外部で実施され、生成されたデータがコンテンツサーバ２００に格納される。
　図８に示すように、複数カメラで全方位の撮影が行われ、立体映像生成システムにより立体映像データが生成される。立体映像データにはポリゴンメッシュデータとそのテクスチャが存在する。メッシュレット生成プログラムにより、立体映像データから、メッシュレットが生成され、複数の異なる圧縮率によりメッシュレットがエンコードされ、エンコードされたメッシュレットはコンテンツサーバ２００に保存される。これと同時に、テクスチャはメッシュレットごとに分割され、異なるレベルの解像度でエンコードが行われ、コンテンツサーバ２００に保存される。すなわち、コンテンツサーバ２００には、立体映像データに対応する、複数の異なる圧縮率でエンコードされたメッシュレットと、メッシュレット毎の複数解像度のテクスチャが格納されている。
　＜システムの動作について＞
　第２の実施形態におけるシステムの全体動作については第１の実施形態と同じである。すなわち、クライアントＰＣ３００は、サービスサイトサーバ４００から提供される要求コンテンツへのリンクに基づいて、視聴コンテンツを選択する。
　また、クライアントＰＣ３００は、ヘッドマウントディスプレイの解像度、ＰＣの処理能力等の情報を配信制御サーバ１００に送信する。また、クライアントＰＣ３００は、これらの情報以外に、逐次、ユーザの仮想空間内での位置の移動を示す情報、ユーザの視点と視界の大きさ及び位置を示す情報、及び、クライアントＰＣ３００におけるバッファ量を配信制御サーバ１００に送信する。クライアントＰＣ３００から配信制御サーバ１００に送信された情報は、配信制御部１２０と制約決定部１３０に入力される。
　配線制御サーバ１００は、クライアントＰＣ３００からの情報に加えて、ネットワーク４００の帯域使用情報、サーバ混雑情報等を取得して配信制御を行う。
　より具体的には、配信制御部１２０は、クライアントＰＣ３００から受信した視点、視界、位置移動情報から、メッシュレットの圧縮率とテクスチャの解像度を動的に決定し、決定した情報を伝送処理部１１０に通知する。また、制約決定部１３０は、ネットワークの帯域とバッファ量とを用いて送信データ量の制約を決定し、決定した制約の情報を伝送処理部１１０に通知する。
　伝送処理部１１０は、配信制御部１２０により決定された圧縮率のメッシュレットとテクスチャをコンテンツサーバ２００から取得して、制約決定部１３０で決定された送信データ量の制約の下で、立体映像のメッシュレットとテクスチャのデータをクライアントＰＣ３００に送信する。
　＜配信制御部１２０の動作＞
　図９のフローチャートを参照して、配信制御部１２０の動作をより詳細に説明する。なお、配信制御部１２０が処理に使用する立体映像や立体映像のメッシュレット等は、配信制御部１２０が保持している、あるいは、外部から取得可能であるとする。
　Ｓ２０１において、配信制御部１２０は、クライアントＰＣ３００から、視点、視界、位置移動情報を受信する。配信制御部１２０は、位置移動情報に基づいて、仮想空間におけるユーザの移動方向に近接する立体映像を選択し、均一品質の立体映像のメッシュレットを生成する（Ｓ２０２、Ｓ２０４、Ｓ２０５）。
　また、配信制御部１２０は、ユーザの視点及び視界の情報を仮想空間上にマッピングする（Ｓ２０３）とともに、視点及び視界の情報を立体映像のメッシュレットへマッピングする（Ｓ２０６）。
　Ｓ２０７において、配信制御部１２０は、視点の情報を用いることにより、注視点に対応するメッシュレットの探索を行って、視点下にあるメッシュレット（ユーザの注視点があるメッシュレット）とそれに近接するメッシュレットを選択する。近接するメッシュレットは、注視点に近接する頂点のインデックスから選択を行うことができる。配信制御部１２０は、視点下にあるメッシュレットとその近接メッシュレットに対して、低圧縮率及び高解像度テクスチャを適用すると決定する。視点下にあるメッシュレットに対して、低圧縮率及び高解像度テクスチャを適用すると決定してもよい。
　Ｓ２０８において、配信制御部１２０は、遠距離にある、視界に存在しないメッシュレットに対して、高圧縮率及び低解像度テクスチャを適用すると決定する。より具体的には、視点から距離が遠くなるに従って、段階的に高圧縮率メッシュレット（及び低解像度テクスチャ）を適用してもよい。
　例えば、図６に示す例において、Ａで示すメッシュレットが注視点のあるメッシュレットであるとして、Ｂ、Ｃが、視界内のＡに近接するメッシュレットであるとすると、Ａ、Ｂ、Ｃに低圧縮率メッシュレット及び高解像度テクスチャを適用すると決定する。また、Ｄで示すメッシュレットが、視界に存在しないメッシュレットであるとすると、これに対して高圧縮率メッシュレット及び低解像度テクスチャを適用すると決定する。
　配信制御部１２０は、視界内に存在するが、注視点から離れているメッシュレットに対して、中圧縮率及び中解像度テクスチャを適用すると決定してもよい。また、配信制御部１２０は、ユーザの位置移動速度と移動加速度情報を用い、ユーザが近接していく立体映像に対するメッシュレットの圧縮率を低下させてテクスチャの解像度を向上させ、遠ざかる立体映像に対するメッシュレットの圧縮率を向上させてテクスチャの解像度を低下させることとしてもよい。
　Ｓ２０９において、配信制御部１２０は、上記のようにして決定した、メッシュレット毎の圧縮率とテクスチャの解像度を伝送処理部１１０に渡し、伝送処理部１１０は、コンテンツサーバ２００から、当該圧縮率のメッシュレットと、当該解像度のテクスチャを取得する。
　なお、上記の例では、圧縮率と解像度のそれぞれについて、「高」と「低」、又は、「高」と「中」と「低」に分類しているが、これらは例に過ぎない。より多くのレベルに分類してもよい。
　＜制約決定部１３０の動作＞
　次に、図１０を参照して、制約決定部１３０の動作を説明する。制約決定部１３０は、ネットワーク４００の帯域情報とクライアントＰＣ３００におけるバッファ量に基づいて、配信制御部１２０において決定された配信データの構成に対して更に配信データの構成に変更を加えることができる。なお、制約決定部１３０は、ネットワーク帯域情報を、ネットワーク４００における仲介スイッチから取得してもよいし、配信制御サーバ１００へのアクセス状況から取得してもよい。また、バッファ量についてはクライアントＰＣ３００から取得することができる。
　以下の説明において、ある量が「多い」とは、例えば、その量がある閾値よりも多いことである。ある量が「少ない」とは、例えば、その量がある閾値よりも少ないことである。
　図１０に示すように、制約決定部１３０は、バッファ量が多く、かつネットワーク帯域使用可能量が多いときには、低圧縮率のメッシュレット及び高画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　制約決定部１３０は、バッファ量が少なく、かつ帯域使用可能量が多い時には低圧縮率のメッシュレット及び低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。制約決定部１３０は、バッファ量が多く、帯域使用可能量が低いときも同じく、低圧縮率のメッシュレットと低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　また、制約決定部１３０は、バッファ量、帯域使用可能量がともに低いときには、高圧縮率のメッシュレットと低画質のテクスチャをクライアントＰＣ３００に送信することを決定し、決定内容を伝送処理部１１０に通知する。
　伝送処理部１１０は、制約決定部１３０から受け取った圧縮率と画質（解像度）を制約として、クライアントＰＣ３００に送信する配信データを決定する。例えば、配信制御部１２０により、「低圧縮率のメッシュレット及び高画質のテクスチャ」の配信が決定された場合でも、制約決定部１３０から受け取ったＬＯＤと画質が、「高圧縮率のメッシュレット及び低画質のテクスチャ」である場合には、「低圧縮率のメッシュレット及び高画質のテクスチャ」に代えて、「高圧縮率のメッシュレット及び低画質のテクスチャ」をコンテンツサーバ２００から取得してクライアントＰＣ３００に配信する。
　以上の配信制御部１２０と制約決定部１３０により、配信制御サーバ１００は、適切なメッシュレットの圧縮率、テクスチャの解像度を選択し、コンテンツサーバ２００から事前変換済みデータを取得し、クライアントＰＣ３００に伝送を行う。
　クライアントＰＣ３００は受信した立体映像のメッシュレットとテクスチャのデータをレンダリングし、ヘッドマウントディスプレイに描写を行う。
　（ハードウェア構成例）
　本実施の形態において説明した装置（配信制御サーバ、コンテンツサーバ、サービスサイトサーバ、クライアントＰＣ）はいずれも、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
　上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図１１は、上記コンピュータのハードウェア構成例を示す図である。図１１のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態の効果）
　以上説明したように、本実施の形態に係る技術によれば、立体映像データをサーバ内で複数の映像品質のデータに再構成しておき、クライアントＰＣ側の視聴に必要な箇所の映像データを、視点、視界、ネットワークの状況に基づいて映像品質を選択して伝送することで、視聴品質の高い立体映像を少ないサーバ負荷及び通信データ量で配信することが可能となる。
　（実施の形態のまとめ）
　本明細書には、少なくとも下記各項の配信制御装置、配信制御システム、配信制御方法、及びプログラムが開示されている。
（第１項）
　複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置であって、
　前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御部と、
　前記配信制御部により選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理部と
　を備える配信制御装置。
（第２項）
　前記配信制御装置と前記クライアントＰＣとを接続するネットワークの帯域使用可能量、及び、前記クライアントＰＣのバッファ量に基づいて、前記クライアントＰＣに送信するデータに対する制約を決定する制約決定部
　を備える第１項に記載の配信制御装置。
（第３項）
　前記メッシュレットの品質は、ＬＯＤ又は圧縮率であり、前記テクスチャの品質は解像度である
　第１項又は第２項に記載の配信制御装置。
（第４項）
　請求項１ないし３のうちいずれか１項に記載の配信制御装置と、複数品質のメッシュレットと複数品質のテクスチャを格納したコンテンツサーバとを備える配信制御システムであって、
　前記配信制御部は、選択したメッシュレットとテクスチャを前記コンテンツサーバから取得する
　配信制御システム。
（第５項）
　複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置が実行する配信制御方法であって、
　前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御ステップと、
　前記配信制御ステップにより選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理ステップと
　を備える配信制御方法。
（第６項）
　コンピュータを、第１項ないし第３項のうちいずれか１項に記載の配信制御装置における各部として機能させるためのプログラム。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　配信制御サーバ
１１０　伝送処理部
１２０　配信制御部
１３０　制約決定部
２００　コンテンツサーバ
３００　クライアントＰＣ
４００　サービスサイトサーバ
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置

Claims (6)

  1. 　複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置であって、
    　前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御部と、
    　前記配信制御部により選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理部と
    　を備える配信制御装置。
  2. 　前記配信制御装置と前記クライアントＰＣとを接続するネットワークの帯域使用可能量、及び、前記クライアントＰＣのバッファ量に基づいて、前記クライアントＰＣに送信するデータに対する制約を決定する制約決定部
    　を備える請求項１に記載の配信制御装置。
  3. 　前記メッシュレットの品質は、ＬＯＤ又は圧縮率であり、前記テクスチャの品質は解像度である
    　請求項１又は２に記載の配信制御装置。
  4. 　請求項１ないし３のうちいずれか１項に記載の配信制御装置と、複数品質のメッシュレットと複数品質のテクスチャを格納したコンテンツサーバとを備える配信制御システムであって、
    　前記配信制御部は、選択したメッシュレットとテクスチャを前記コンテンツサーバから取得する
    　配信制御システム。
  5. 　複数のメッシュレットとメッシュレット毎のテクスチャとから構成される立体映像データをクライアントＰＣに配信する配信制御装置が実行する配信制御方法であって、
    　前記クライアントＰＣから受信するユーザの視点と視界の情報に基づいて、ユーザの視点下のメッシュレットとして高品質のメッシュレットを選択し、そのテクスチャとして高品質のテクスチャを選択し、ユーザの視界内に存在しない位置にあるメッシュレットとして低品質のメッシュレットを選択し、そのテクスチャとして低品質のテクスチャを選択する配信制御ステップと、
    　前記配信制御ステップにより選択されたメッシュレットとテクスチャを前記クライアントＰＣに送信する伝送処理ステップと
    　を備える配信制御方法。
  6. 　コンピュータを、請求項１ないし３のうちいずれか１項に記載の配信制御装置における各部として機能させるためのプログラム。
PCT/JP2021/000101 2021-01-05 2021-01-05 配信制御装置、配信制御システム、配信制御方法、及びプログラム WO2022149189A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022573818A JPWO2022149189A1 (ja) 2021-01-05 2021-01-05
US18/260,106 US20240064360A1 (en) 2021-01-05 2021-01-05 Distribution control apparatus, distribution control system, distribution control method and program
PCT/JP2021/000101 WO2022149189A1 (ja) 2021-01-05 2021-01-05 配信制御装置、配信制御システム、配信制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000101 WO2022149189A1 (ja) 2021-01-05 2021-01-05 配信制御装置、配信制御システム、配信制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022149189A1 true WO2022149189A1 (ja) 2022-07-14

Family

ID=82358135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000101 WO2022149189A1 (ja) 2021-01-05 2021-01-05 配信制御装置、配信制御システム、配信制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240064360A1 (ja)
JP (1) JPWO2022149189A1 (ja)
WO (1) WO2022149189A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087196A (ko) * 2021-12-09 2023-06-16 한국전자통신연구원 영상 기반 경량 3차원 모델 생성 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005522102A (ja) * 2002-03-27 2005-07-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー データストリーミングシステムおよび方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
WO2019003889A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
US20200143590A1 (en) * 2018-11-02 2020-05-07 Nvidia Corporation Reducing level of detail of a polygon mesh to decrease a complexity of rendered geometry within a scene
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020137876A1 (ja) * 2018-12-26 2020-07-02 シャープ株式会社 生成装置、３次元データ送信装置、及び３次元データ再生装置
WO2020195767A1 (ja) * 2019-03-25 2020-10-01 シャープ株式会社 ３ｄモデル送信装置、及び、３ｄモデル受信装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005522102A (ja) * 2002-03-27 2005-07-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー データストリーミングシステムおよび方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
WO2019003889A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
US20200143590A1 (en) * 2018-11-02 2020-05-07 Nvidia Corporation Reducing level of detail of a polygon mesh to decrease a complexity of rendered geometry within a scene
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020137876A1 (ja) * 2018-12-26 2020-07-02 シャープ株式会社 生成装置、３次元データ送信装置、及び３次元データ再生装置
WO2020195767A1 (ja) * 2019-03-25 2020-10-01 シャープ株式会社 ３ｄモデル送信装置、及び、３ｄモデル受信装置

Also Published As

Publication number Publication date
US20240064360A1 (en) 2024-02-22
JPWO2022149189A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
CN111052750B (zh) 用于点云流传输的方法和装置
Shi et al. A survey of interactive remote rendering systems
JP5943330B2 (ja) クラウドソース動画レンダリングシステム
US9659400B2 (en) Efficiently implementing and displaying independent 3-dimensional interactive viewports of a virtual world on multiple client devices
CN108156484B (zh) 利用自适应速率分配优先处理基于图块的虚拟现实视频流
US6377257B1 (en) Methods and apparatus for delivering 3D graphics in a networked environment
US6384821B1 (en) Method and apparatus for delivering 3D graphics in a networked environment using transparent video
US20100045662A1 (en) Method and system for delivering and interactively displaying three-dimensional graphics
Hesina et al. A network architecture for remote rendering
WO2019202207A1 (en) Processing video patches for three-dimensional content
Papaioannou et al. Tile-based caching optimization for 360 videos
JP5973409B2 (ja) プログラム、記録媒体、情報処理装置及び制御方法
Royan et al. Network-based visualization of 3d landscapes and city models
KR20200013232A (ko) 가상 현실 데이터를 맞춤화하기 위한 방법들 및 시스템들
JP2022502755A (ja) 画像合成
Zhu et al. Towards peer-assisted rendering in networked virtual environments
Pazzi et al. Propane: A progressive panorama streaming protocol to support interactive 3d virtual environment exploration on graphics-constrained devices
WO2022149189A1 (ja) 配信制御装置、配信制御システム、配信制御方法、及びプログラム
Chen et al. Interactive, internet delivery of visualization via structured prerendered multiresolution imagery
JP6758268B2 (ja) 表示可能解像度に基づいて配信プロファイルを決定するクライアント、プログラム及び方法
Paul et al. Chromium renderserver: Scalable and open remote rendering infrastructure
Alkhalili et al. A survey of volumetric content streaming approaches
KR102027172B1 (ko) Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
Deb et al. Real-time streaming and rendering of terrains
US11025880B2 (en) ROI-based VR content streaming server and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917417

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573818

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18260106

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917417

Country of ref document: EP

Kind code of ref document: A1