WO2020194821A1 - Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造 - Google Patents

Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造 Download PDF

Info

Publication number
WO2020194821A1
WO2020194821A1 PCT/JP2019/041677 JP2019041677W WO2020194821A1 WO 2020194821 A1 WO2020194821 A1 WO 2020194821A1 JP 2019041677 W JP2019041677 W JP 2019041677W WO 2020194821 A1 WO2020194821 A1 WO 2020194821A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
avatar
distribution server
unit
terminal
Prior art date
Application number
PCT/JP2019/041677
Other languages
English (en)
French (fr)
Inventor
進之介 岩城
Original Assignee
株式会社ドワンゴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ドワンゴ filed Critical 株式会社ドワンゴ
Priority to CN201980094819.XA priority Critical patent/CN113646752B/zh
Priority to US17/598,825 priority patent/US11995768B2/en
Publication of WO2020194821A1 publication Critical patent/WO2020194821A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Definitions

  • the present invention relates to a VR live broadcast distribution system, a distribution server, a distribution server control method, a distribution server program, and a data structure of VR live photo data.
  • a video game including a virtual environment the user can pause the game and take a 3D snapshot for 3D (hereinafter, also referred to as 3D) printing.
  • 3D 3D
  • Patent Document 1 when a 3D snapshot is selected, a technique of supplementing in-game geometry with supplementary geometry is used.
  • the components of the virtual game environment are calculated to support the model in the final print physical form of the model and modified to have a structural shape within the 3D printer geometry.
  • a service that renders the avatar data in the motion data of the distributor and distributes the image of the avatar in the 3D space live. Has been done.
  • the present invention provides a VR raw photo distribution system, a distribution server, a distribution server control method, a distribution server program, and a VR raw that can leave the 3D space as it is in 3D and can make the data compact.
  • An object is to provide a data structure of photographic data.
  • one aspect of the VR live broadcasting distribution system is A 3D computer graphics image in which a distributor terminal, a viewer terminal, and a distribution server are provided and avatar data is rendered into motion data, and a 3D computer graphics image in a 3D space in which the avatar exists.
  • It is a VR live broadcasting distribution system that distributes VR (Virtual Reality) video including at least and in live broadcasting.
  • a shooting instruction input unit provided in the distributor terminal and the viewer terminal to input a shooting instruction of a VR live photograph from the distributor or the viewer, Provided in at least one of the distributor terminal and the distribution server,
  • An appearance data construction unit that constructs appearance data of the entire three-dimensional space including the avatar based on the shooting instruction, and an appearance data construction unit.
  • a VR raw photo data distribution unit that distributes appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as data of the VR raw photo.
  • a display unit for displaying the VR raw photograph is provided.
  • data on the appearance of the entire three-dimensional space including the avatar refers to the surface of all objects existing in the three-dimensional space without distinguishing between the avatar and other objects such as furniture. It is a concept that includes coordinate data and texture (including color) data.
  • the appearance data construction unit is based on the shooting instruction and the three-dimensional space including the avatar. Build overall appearance data.
  • the VR raw photo data distribution unit distributes the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as VR raw photo data.
  • the VR live photograph is displayed by the display unit.
  • the VR raw photo image is based on the VR raw photo data stored as it is in 3D, the viewer and the distributor can change the angle of view of the VR raw photo and view the so-called pulling image. It will be possible. Further, since the VR raw photo image is based on the VR raw photo data as described above, it is possible to distribute the VR raw photo image by leaving the 3D data as it is, not as a captured photo in the 3D space. Although the amount of data in the entire 3D space is large, VR raw photo data is generated and distributed by cutting out the coordinate data and texture (including color) data of the surface of all objects existing in the 3D space including the avatar. It is possible to reduce the load on the distribution server.
  • the VR live photo data distribution unit reduces the data capacity of the distant view in the three-dimensional space that is more than a predetermined distance from a predetermined reference position.
  • the data may be included in the VR raw photo data and distributed. Examples of the data in which the data capacity is reduced include data of a two-dimensional image. According to this aspect, it is possible to simplify the VR raw photo data to be distributed, and it is possible to further reduce the load on the distribution server.
  • one aspect of the distribution server is VR live broadcast distribution that includes a distributor terminal, a viewer terminal, and a distribution server, and delivers a VR image including an image obtained by rendering avatar data in motion data and an image in a three-dimensional space in which the avatar exists.
  • a distribution server in the system An appearance data construction unit that constructs appearance data of the entire three-dimensional space including the avatar based on a VR raw photo shooting instruction from the distributor terminal or the viewer terminal. It includes a VR raw photo data distribution unit that distributes appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as data of the VR raw photo.
  • the appearance data construction unit constructs the appearance data of the avatar from the data of the avatar based on the shooting instruction.
  • the VR raw photo data distribution unit distributes the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as VR raw photo data.
  • the image of the VR raw photograph is not a cutout of one frame of the captured VR image but a VR image generated based on the VR raw photograph data
  • the viewer and the distributor are the VR raw. It is possible to view the photographic image by rotating it or changing the angle.
  • the VR raw photo image is based on the VR raw photo data stored as it is in 3D, the viewer and the distributor can change the angle of view of the VR raw photo and view the so-called pulling image. It will be possible.
  • the VR raw photo image is based on the VR raw photo data as described above, it is possible to distribute the VR raw photo image by leaving the 3D data as it is, not as a captured photo in the 3D space. Although the amount of data in the entire 3D space is large, VR raw photo data is generated and distributed by cutting out the coordinate data and texture (including color) data of the surface of all objects existing in the 3D space including the avatar. It is possible to reduce the load on the distribution server.
  • the VR raw photo data distribution unit obtains data with a reduced data capacity for a distant view separated from a predetermined reference position by a predetermined distance or more in the three-dimensional space. It may be included in the data of the VR raw photograph and distributed. According to this aspect, it is possible to simplify the VR raw photo data to be distributed, and it is possible to further reduce the load on the distribution server.
  • a video receiving unit that receives a captured video that captures the VR video from the distributor terminal, a video distribution unit that distributes the captured video to the viewer terminal, and the like. May be provided. According to this aspect, in the live broadcasting of the VR video, the captured video that captures the VR video is distributed, so that the load on the distribution server can be reduced.
  • the comment receiving unit for receiving the viewer's comment transmitted from the viewer terminal, the comment storage unit for storing the received comment, and the received comment are stored.
  • a comment distribution unit that distributes to the viewer terminal may be provided.
  • the comment input by the viewer is objectified and distributed to the live broadcast of the VR video, and can be further viewed as a VR live photograph.
  • one aspect of the distribution server control method is A 3D computer graphics image in which a distributor terminal, a viewer terminal, and a distribution server are provided and avatar data is rendered into motion data, and a 3D computer graphics image in a 3D space in which the avatar exists.
  • It is a control method of a distribution server in a VR live broadcast distribution system that distributes VR (virtual reality) video including at least and in live broadcast.
  • the VR raw photo data distribution unit includes a step of distributing the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as the VR raw photo data.
  • the appearance data construction unit constructs the appearance data of the avatar from the data of the avatar based on the shooting instruction.
  • the VR raw photo data distribution unit distributes the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as VR raw photo data.
  • the viewer and the distributor are the VR raw. It is possible to view the photographic image by rotating it or changing the angle.
  • the VR raw photo image is based on the VR raw photo data stored as it is in 3D, the viewer and the distributor can change the angle of view of the VR raw photo and view the so-called pulling image.
  • the VR raw photo image is based on the VR raw photo data as described above, it is possible to distribute the VR raw photo image by leaving the 3D data as it is, not as a captured photo in the 3D space. Although the amount of data in the entire 3D space is large, VR raw photo data is generated and distributed by cutting out the coordinate data and texture (including color) data of the surface of all objects existing in the 3D space including the avatar. It is possible to reduce the load on the distribution server.
  • one aspect of the distribution server program is A 3D computer graphics image in which a distributor terminal, a viewer terminal, and a distribution server are provided and avatar data is rendered into motion data, and a 3D computer graphics image in a 3D space in which the avatar exists.
  • It is a distribution server program in a VR live broadcasting distribution system that distributes VR (Virtual Reality) video including at least and in live broadcasting, and the program is a computer.
  • the VR raw photo data distribution unit executes a step of distributing the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as the VR raw photo data.
  • the appearance data construction unit constructs avatar appearance data from avatar data based on shooting instructions.
  • the VR raw photo data distribution unit distributes the appearance data of the entire three-dimensional space including the avatar constructed by the appearance data construction unit as VR raw photo data.
  • the viewer and the distributor are the VR raw. It is possible to view the photographic image by rotating it or changing the angle.
  • the VR raw photo image is based on the VR raw photo data stored as it is in 3D, the viewer and the distributor can change the angle of view of the VR raw photo and view the so-called pulling image. It will be possible.
  • the VR raw photo image is based on the VR raw photo data as described above, it is possible to distribute the VR raw photo image by leaving the 3D data as it is, not as a captured photo in the 3D space. Although the amount of data in the entire 3D space is large, VR raw photo data is generated and distributed by cutting out the coordinate data and texture (including color) data of the surface of all objects existing in the 3D space including the avatar. It is possible to reduce the load on the distribution server.
  • one aspect of the data structure of VR raw photo data is A 3D computer graphics image in which a distributor terminal, a viewer terminal, and a distribution server are provided and avatar data is rendered into motion data, and a 3D computer graphics image in a 3D space in which the avatar exists.
  • the image of the VR raw photo is a VR image generated based on the VR raw photo data
  • the viewer and the distributor rotate the VR raw photo image. It is possible to watch by changing the angle or changing the angle.
  • the VR raw photo image is based on the VR raw photo data stored as it is in 3D
  • the viewer and the distributor can change the angle of view of the VR raw photo and view the so-called pulling image. It will be possible.
  • the VR raw photo image is based on the VR raw photo data as described above, it is possible to distribute the VR raw photo image by leaving the 3D data as it is, not as a captured photo in the 3D space. Although the amount of data in the entire 3D space is large, VR raw photo data is generated and distributed by cutting out the coordinate data and texture (including color) data of the surface of all objects existing in the 3D space including the avatar. It is possible to reduce the load on the distribution server.
  • the 3D space can be left as it is in 3D as a VR raw photograph, and the data can be made compact.
  • FIG. 1 shows schematic the VR live broadcasting distribution system of 1st Embodiment which concerns on this invention. It is a block diagram which shows schematic structure of the distribution server in 1st Embodiment. It is a block diagram which shows schematic the structure of the data server in 1st Embodiment. It is a block diagram which shows schematic structure of the distributor terminal in 1st Embodiment. It is a block diagram which shows schematic structure of the viewer terminal in 1st Embodiment. It is a figure which shows roughly the data structure of VR raw photograph data. It is a flowchart which shows the generation process of VR raw photograph data. It is a figure which shows an example of the VR raw photograph image displayed on a viewer terminal and a distributor terminal.
  • FIG. 1 is a diagram schematically showing a VR live broadcast distribution system of the present embodiment.
  • FIG. 2 is a block diagram schematically showing the configuration of the distribution server in the present embodiment.
  • FIG. 3 is a block diagram schematically showing the configuration of the data server in the present embodiment.
  • FIG. 4 is a block diagram schematically showing the configuration of the distributor terminal in the present embodiment.
  • FIG. 5 is a block diagram schematically showing the configuration of the viewer terminal in the present embodiment.
  • the VR live broadcast distribution system 100 in the present embodiment includes a distribution server 1, a data server 2, a distributor terminal 3, a viewer terminal 4, and a network 5 such as the Internet.
  • the distribution server 1 can communicate with the distributor terminal 3 and the viewer terminal 4 via the network 5. Further, the distributor terminal 3 can communicate not only with the distribution server 1 but also with the data server 2 via the network 5.
  • the distribution server 1 includes a storage unit 10, a control unit 11, and a communication unit 12.
  • the storage unit 10 is composed of, for example, an HDD (Hard Disk Drive) or the like.
  • the storage unit 10 stores the program of the distribution server 1 of the present invention.
  • the storage unit 10 includes a VR video data storage area 10A, a VR raw photo data storage area 10B, and a comment data storage area 10C.
  • VR video data storage area 10A video data of captured VR video including the video of the avatar's 3D computer graphics (hereinafter, also referred to as 3DCG) transmitted from the distributor terminal 3 is stored.
  • the VR raw photo data storage area 10B stores the VR raw photo data transmitted from the distributor terminal 3.
  • Comment data transmitted from the viewer terminal 4 is stored in the comment data storage area 10C as the comment storage unit. Details of VR video, captured video of VR video, live VR photo, and comments will be described later.
  • the control unit 11 is composed of a CPU and the like, and controls the overall operation of the distribution server 1. The operation of storing each of the above-mentioned data in the storage unit 10 is also performed under the control of the control unit 11. Further, the control unit 11 has functions of a VR video data distribution unit 11A as a video distribution unit, a VR raw photo data distribution unit 11B, and a comment data distribution unit 11C as a comment distribution unit.
  • the VR video data distribution unit 11A distributes the video data of the captured VR video stored in the VR video data storage area 10A of the storage unit 10 to the distributor terminal 3 and the viewer terminal 4 via the communication unit 12. ..
  • the VR raw photo data distribution unit 11B distributes the VR raw photo data stored in the VR raw photo data storage area 10B of the storage unit 10 to the distributor terminal 3 and the viewer terminal 4 via the communication unit 12.
  • the comment data distribution unit 11C distributes the comment data stored in the comment data storage area 10C of the storage unit 10 to the distributor terminal 3 via the communication unit 12.
  • the communication unit 12 is an interface for communicating data using the network 5.
  • the Internet is used for the network 5
  • the communication unit 12 is an interface for communicating data via the Internet.
  • the distribution server 1 can communicate with the distributor terminal 3 and the viewer terminal 4 via the network 5.
  • the data server 2 includes a storage unit 20, a control unit 21, and a communication unit 22.
  • the storage unit 20 is composed of, for example, an HDD (Hard Disk Drive) or the like.
  • the program of the data server 2 is stored in the storage unit 20.
  • the storage unit 20 includes an avatar data storage area 20A and a 3D spatial data storage area 20B.
  • the avatar data storage area 20A stores virtual character avatar data transmitted from a distributor terminal 3 or a viewer terminal 4, or a terminal (not shown) of a user other than the distributor terminal 3 and the viewer terminal 4. Will be done.
  • 3D spatial data storage area 20B 3D spatial data transmitted from the distributor terminal 3 or the viewer terminal 4, or the terminals of users other than the distributor terminal 3 and the viewer terminal 4 is stored. Details of the avatar data and 3D spatial data will be described later.
  • the control unit 21 is composed of a CPU and the like, and controls the overall operation of the data server 2. The operation of storing each of the above-mentioned data in the storage unit 20 is also performed under the control of the control unit 21. Further, the control unit 21 has a function as a data distribution unit 21A.
  • the data distribution unit 21A delivers the virtual character avatar data stored in the avatar data storage area 20A of the storage unit 20 and the 3D space data stored in the 3D space data storage area 20B of the storage unit 20 to the distributor terminal. It is delivered to 3 via the communication unit 22.
  • the communication unit 22 is an interface for communicating data using the network 5.
  • the Internet is used for the network 5
  • the communication unit 22 is an interface for communicating data via the Internet.
  • the data server 2 can communicate with the distributor terminal 3 or the viewer terminal 4, or the terminals of users other than the distributor terminal 3 and the viewer terminal 4 via the network 5.
  • the distributor terminal 3 includes a storage unit 30, a control unit 31, a capture unit 32, a display unit 33, an input unit 34, and a communication unit 35.
  • the storage unit 30 is composed of, for example, an HDD (Hard Disk Drive) or the like.
  • the program of the distributor terminal 3 is stored in the storage unit 30.
  • the storage unit 30 includes an avatar data storage area 30A, a 3D spatial data storage area 30B, a comment data storage area 30C, and a VR raw photo data storage area 30D.
  • An example of the distributor terminal 3 is a device such as a personal computer or a head-mounted display.
  • the avatar data storage area 30A stores virtual character avatar data acquired from the data server 2 by the user of the distributor terminal 3 (hereinafter, also referred to as the distributor).
  • the 3D spatial data storage area 30B stores the 3D spatial data acquired by the distributor from the data server 2. Comment data distributed from the distribution server 1 is stored in the comment data storage area 30C.
  • the VR raw photo data distributed from the distribution server 1 is stored in the VR raw photo data storage area 30D.
  • the control unit 31 is composed of a CPU and the like, and controls the entire operation of the distributor terminal 3. The operation of storing each of the above-mentioned data in the storage unit 30 is also performed under the control of the control unit 31. Further, the control unit 31 has functions as a motion data generation unit 31A, a rendering unit 31B, a VR video display control unit 31C, a distribution video display control unit 31D, and a VR raw photo generation unit 31E.
  • the motion data generation unit 31A includes a controller (not shown, the same applies hereinafter) worn by the distributor on the hand, fingers, etc., and a VR headset (not shown, the same applies hereinafter) worn by the distributor on the head. By performing motion capture using.), The coordinates of each part of the distributor's body are measured, and motion data representing the distributor's body movements as three-dimensional time-series data is generated.
  • the rendering unit 31B performs a rendering process in which the avatar data stored in the avatar data storage area 30A and the motion data generated by the motion data generation unit 31A are linked.
  • the VR image display control unit 31C uses the 3D space data stored in the 3D space data storage area 30B, the comment data stored in the comment data storage area 30C, and the rendered avatar data in the 3D space. It controls to display the VR image by 3DCG of the avatar existing in.
  • the VR image is displayed on the display unit 33 and the headset for VR connected to the display unit 33.
  • the VR image display control unit 31C displays the VR raw photo image on the display unit 33 and the display unit 33 based on the VR raw photo data distributed from the distribution server 1 and stored in the VR raw photo data storage area 30D. Display on the VR headset connected to.
  • the distribution video display control unit 31D displays the video distributed from the distribution server 1 and the VR video captured on the display unit 33 and the headset for VR connected to the display unit 33.
  • the VR raw photo generation unit 31E is displayed when the shutter button provided on the input unit 34 as the shooting instruction input unit or the controller (not shown) connected to the input unit 34 is pressed or clicked.
  • VR raw photo data is generated based on VR video data of 3D space, avatar, and comment.
  • the VR raw photo generation unit 31E also generates VR raw photo data when the shutter button provided on the viewer terminal 4 is pressed or clicked.
  • the capture unit 32 captures the VR video displayed on the display unit 33 and the VR headset connected to the display unit 33 as video data, and transmits the VR video to the distribution server 1 via the communication unit 35.
  • the display unit 33 includes a display and a display circuit, and a VR headset can be connected to the display unit 33.
  • the input unit 34 includes a pointing device such as a keyboard and a mouse, and an interface for data input, and a controller for performing motion capture is connected to the input unit 34.
  • the communication unit 35 is an interface for communicating data using the network 5.
  • the Internet is used for the network 5
  • the communication unit 35 is an interface for communicating data via the Internet.
  • the distributor terminal 3 can communicate with the distribution server 1 and the data server 2 via the network 5.
  • the viewer terminal 4 includes a storage unit 40, a control unit 41, a display unit 42, an input unit 43, and a communication unit 44.
  • An example of the viewer terminal 4 is a device such as a personal computer.
  • the storage unit 40 is composed of, for example, an HDD (Hard Disk Drive) or the like.
  • the program of the viewer terminal 4 is stored in the storage unit 40.
  • the storage unit 40 includes a VR raw photo data storage area 40A.
  • the VR raw photo data distributed from the distribution server 1 is stored in the VR raw photo data storage area 40A.
  • the control unit 41 is composed of a CPU and the like, and controls the entire operation of the viewer terminal 4. The operation of storing the VR raw photo data described above in the storage unit 40 is also performed under the control of the control unit 41. Further, the control unit 41 has functions as a VR video display control unit 41A, a distribution video display control unit 41B, and a comment data control unit 41C.
  • the VR image display control unit 41A controls the display unit 33 to display the image of the VR raw photo based on the VR raw photo data stored in the VR raw photo data storage area 40A.
  • the distribution video display control unit 41B displays the VR image of the avatar existing in the commented 3D space captured by the distributor terminal 3 and distributed to the distribution server 1 and distributed again from the distribution server 1 to the display unit 42. Display it.
  • the comment data control unit 41C transmits the comment data input by the user of the viewer terminal 4 as a viewer to the distribution server 1 via the communication unit 44.
  • the display unit 42 includes a display and a display circuit, and displays a VR image of the avatar including a 3D space and a comment, and a VR live photograph image.
  • the input unit 43 includes a pointing device such as a keyboard and a mouse, and an interface for data input.
  • the communication unit 44 is an interface for communicating data using the network 5.
  • the Internet is used for the network 5
  • the communication unit 44 is an interface for communicating data via the Internet.
  • the viewer terminal 4 can communicate with the distribution server 1 via the network 5.
  • VR video distribution (1) Data Selection Next, VR video distribution in the present embodiment will be described.
  • the distributor first accesses the avatar platform using the distributor terminal 3, selects the avatar of the virtual character, and acquires the avatar data.
  • the avatar platform can be accessed with a web browser.
  • the avatar creator accesses the web browser using the same terminal devices as the distributor terminal 3 and the viewer terminal 4, and uploads the created avatar data to the data server 2.
  • Avatar data includes polygon data, texture data that forms the outer surface of the virtual character, and bone data. These data are stored in the avatar data storage area 20A in the storage unit 20 of the data server 2 in a predetermined file format such as VRM.
  • the uploaded avatar data is listed as an icon or an eye-catching image on the avatar platform.
  • the user of the distributor terminal 3 can access the avatar platform with a web browser, select a desired avatar from the displayed icons or featured images, and download the avatar data to the distributor terminal 3. ..
  • the control unit 31 of the distributor terminal 3 stores the downloaded avatar data in the avatar data storage area 30A of the storage unit 30.
  • the avatar platform not only the avatar data but also the 3D space data representing the room where the virtual character avatar exists and the data of accessories such as flowers placed in the room can be selected. These data are also stored in the avatar data storage area 20A in the storage unit 20 of the data server 2 in a predetermined file format such as VRM.
  • the distributor accesses the avatar platform with a web browser, selects desired 3D space data or accessory data from the displayed icons or featured images, and downloads these data to the distributor terminal 3. can do.
  • the control unit 31 of the distributor terminal 3 stores the downloaded data in the spatial data storage area 30B of the storage unit 30.
  • VR video distribution In order to distribute VR video, the distributor preliminarily distributes a studio application for VR and an encoder application for capturing and projecting the state of the studio generated by the studio application for VR. Download it to terminal 3 and install it.
  • the VR studio application is an application that creates a studio in the VR space
  • the encoder application is an encoder application that captures the state of the studio created by the VR studio application and displays it on the distribution platform.
  • the distributor activates the VR studio application when distributing VR video. At this time, the VR headset and the controller are connected to the distributor terminal 3.
  • the distributor selects the avatar data downloaded in advance, and also selects the 3D space data and, if necessary, the accessory data.
  • the rendering unit 31B of the distributor terminal 3 links the avatar data stored in the avatar data storage area 30A with the motion data generated by the motion data generation unit 31A. I do. Further, the VR image display control unit 31C of the distributor terminal 3 displays the VR image of the avatar existing in the 3D space by using the spatial data stored in the spatial data storage area 30B and the rendered avatar data. Control to make it. The VR image is displayed on the display unit 33 and the headset for VR connected to the display unit 33.
  • the movement of the avatar reflects the position of the controller of both hands in the distributor in addition to the VR headset worn on the distributor's head. If the controller is equipped with a trackpad, the facial expression of the avatar can be changed by operating the trackpad.
  • Motion data is data that stores various movements of a user wearing a VR headset and controller for each movement. Specifically, the position of the joint that constitutes the bone data and the bone connected to the joint. It is the data which shows the time-series change about the position of.
  • the motion data to the avatar data, it is possible to make the avatar perform various actions such as walking, running, waving, and taking steps according to the movement of the distributor.
  • the rendering unit 31B of the distributor terminal 3 performs a rendering process in which the avatar data and the motion data as described above are linked, and the VR image display control unit 31C of the distributor terminal 3 uses the rendered avatar data. Then, the VR image of the avatar existing in the 3D space is displayed.
  • the images of the avatar, 3D space, and accessories displayed in the VR space as described above are captured by the capture unit of the distributor terminal 3. Captured by 32.
  • the capture unit 32 performs the above capture operation by the encoder application.
  • the captured video such as an avatar is distributed from the distributor terminal 3 to the distribution server 1 by the distribution video display control unit 31D of the distributor terminal 3.
  • the distribution video display control unit 31D operates by accessing the distribution platform from the distributor terminal 3.
  • the distribution platform is accessible by a web browser.
  • the VR video distribution unit 11A of the distribution server 1 distributes a video such as an avatar distributed from the distributor terminal 3 to the viewer terminal 4.
  • the distribution video display control unit 41B of the viewer terminal 4 causes the display unit 42 to display a video such as an avatar distributed from the distribution server 1. In this way, the viewer can view an image such as an avatar that moves in response to the movement of the user of the distributor terminal 3.
  • the viewer can input a comment by the input unit 43 of the viewer terminal 4 while watching the video such as the avatar.
  • the input comment is transmitted to the distribution server 1 by the comment data control unit 41C of the viewer terminal 4 via the communication unit 44.
  • the comment data distribution unit 11C of the distribution server 1 stores the comment data received from the viewer terminal 4 in the comment data storage area 10C of the storage unit 10, and further distributes the comment data to the distributor terminal 3.
  • the control unit 31 of the distributor terminal 3 stores the comment data received from the distribution server 1 in the comment data storage area 30C of the storage unit 30, and the VR video display control unit of the distributor terminal 3 is based on the comment data.
  • the objectified comment is displayed so as to move in the VR space, for example.
  • the images of the avatar, 3D space, accessories, and comments displayed in the VR space are captured by the capture unit 32 of the distributor terminal 3.
  • the video such as an avatar including the captured comment is distributed from the distributor terminal 3 to the distribution server 1 by the distribution video display control unit 31D of the distributor terminal 3.
  • the VR video distribution unit 11A of the distribution server 1 distributes a video such as an avatar including a comment distributed from the distributor terminal 3 to the viewer terminal 4.
  • the distribution video display control unit 41B of the viewer terminal 4 causes the display unit 42 to display a video such as an avatar including a comment distributed from the distribution server 1. In this way, the viewer can view the comment input and objectified by the viewer together with the video such as the avatar that moves in response to the movement of the user of the distributor terminal 3.
  • a VR raw photograph can be generated during distribution of a VR image such as an avatar.
  • a VR raw photograph does not cut out one frame of the captured VR image, but cuts out the coordinate data and texture (including color) data of the surface of all objects in 3D space at the moment when the shutter button is pressed.
  • a VR raw photograph of the entire 3D space is generated with a feeling like a 3D diorama. That is, when generating a VR raw photograph, the avatar and other objects such as furniture are not distinguished.
  • the VR raw photograph data 60 in the present embodiment includes coordinate data 60A on the surface of all objects in 3D space at the moment when the shutter button is pressed, and texture (including color) data at the same moment. Including 60B. As described above, the VR raw photograph data 60 does not include polygon data, motion data, and bone data.
  • FIG. 7 is a flowchart showing a VR raw photo data generation process and a distribution process in the present embodiment.
  • the VR studio application is downloaded and installed not only on the distributor terminal 3 but also on the viewer terminal 4.
  • the shutter button is displayed on the VR studio application.
  • the user of the distributor terminal 3 or the viewer terminal 4 presses this shutter button (FIG. 7: S1; YES) the generation of the VR raw photograph is started.
  • the shutter button is provided only in the VR studio application of the distributor terminal 3, and the user of the distributor terminal 3 presses the shutter button in response to a request from the user of the viewer terminal 4 or a voice of the user of the distributor terminal 3. You may press it.
  • the VR raw photo data generation unit 31E as the appearance data construction unit of the distributor terminal 3 cuts out the appearance data of the entire 3D space including the avatar, and stores the distributor terminal 3. It is stored in the VR raw photo data storage area 30D in the unit 30 (FIG. 7: S2).
  • the VR raw photo data generation unit 31E of the distributor terminal 3 generates data on the appearance of the entire 3D space including the avatar stored in the VR raw photo data storage area 30D as VR raw photo data, and causes the distribution server 1 to generate data. It is transmitted via the communication unit 35 (FIG. 7: S3).
  • the VR raw photo data distribution unit 11B of the distribution server 1 stores the VR raw photo data transmitted from the distributor terminal 3 in the VR raw photo data storage area 10B of the storage unit 10 (FIG. 7: S4), and further The VR raw photo data is distributed to the viewer terminal 4 and the distributor terminal 3 via the communication unit 12 (FIGS. 7: S5 and S6).
  • the control unit 41 of the viewer terminal 4 stores the VR raw photo data from the distribution server 1 in the VR raw photo data storage area 40A in the storage unit 40 of the viewer terminal 4. Further, the VR image display control unit 41A of the viewer terminal 4 generates a VR raw photo image of the avatar based on the VR raw photo data stored in the VR raw photo data storage area 40A, and displays it on the display unit 42. .. Further, the VR image display control unit 41A generates a VR raw photo image of a 3D space and, if present, an accessory and a comment based on the VR raw photo data, and displays it on the display unit 42.
  • the VR image display control unit 31C of the distributor terminal 3 is based on the VR raw photo data stored in the VR raw photo data storage area 30D in the storage unit 30 of the distributor terminal 3, and the VR raw of the entire 3D space including the avatar.
  • a photographic image is generated and displayed on the display unit 33 and the VR headset connected to the display unit 33.
  • FIG. 8 is a diagram showing an example of a VR raw photograph image 50 displayed on the viewer terminal 4 and the distributor terminal 3.
  • the VR raw photographic image 50 includes an image of an avatar 51, a room 52 as a 3D space, and a flower 53 as an accessory.
  • the comment image is omitted.
  • the VR raw photo image 50 is a VR image generated based on the VR raw photo data, not one frame of the captured VR image, so that the viewer and the distributor can use the VR. You can view the raw photographic image by rotating it or changing the angle.
  • FIG. 9 is a diagram showing an example of a pulling image in a VR raw photograph.
  • the entire image of the building 54 in which the room 52 is located is displayed as a VR raw photograph.
  • the 3D space can be distributed by leaving it as 3D data, not as a captured photograph.
  • the amount of data in the entire 3D space is large, but in this embodiment, VR raw photo data is generated and distributed by cutting out only polygon data and texture data from the avatar data without using bone data and motion data. , The load on the distribution server 1 can be reduced.
  • FIG. 10 is a block diagram schematically showing the configuration of the distribution server in the present embodiment.
  • FIG. 11 is a block diagram schematically showing the configuration of the distributor terminal in the present embodiment.
  • the distribution server 1 of the present embodiment is different from the first embodiment in that the control unit 11 has the function of the VR raw photo generation unit 11D.
  • the distributor terminal 3 of the present embodiment is different from the first embodiment in that the control unit 31 does not have the function of the VR raw photo generation unit 31E.
  • the control unit 31 of the distributor terminal 3 shutters from the avatar data generated by the VR video display control unit 31C.
  • the polygon data and texture data at the moment when the button is pressed are cut out and transmitted to the distribution server 1.
  • the control unit 31 of the distributor terminal 3 further transmits data of the entire 3D space including the avatar at the moment when the shutter button is pressed to the distribution server 1.
  • the VR raw photo generation unit 11D of the distribution server 1 stores the data of the entire 3D space including the avatar received from the distributor terminal 3 in the VR raw photo data storage area 10B of the storage unit 10. Further, the VR raw photo generation unit 11D stores the spatial data received from the distributor terminal 3 and the accessory data, if present, in the VR raw photo data storage area 10B of the storage unit 10.
  • the VR raw photo generation unit 11D of the distribution server 1 communicates VR raw photo data consisting of data of the entire 3D space including the avatar stored in the VR raw photo data storage area 10B to the distributor terminal 3 and the viewer terminal 4. It is transmitted via unit 12.
  • the control unit 41 of the viewer terminal 4 stores the VR raw photo data transmitted from the distribution server 1 in the VR raw photo data storage area 40A in the storage unit 40 of the viewer terminal 4. Further, the VR image display control unit 41A of the viewer terminal 4 generates and displays a VR raw photo image of the entire 3D space including the avatar based on the VR raw photo data stored in the VR raw photo data storage area 40A. It is displayed on the unit 42.
  • the VR video display control unit 31C of the distributor terminal 3 stores the VR raw photo data transmitted from the distribution server 1 in the VR raw photo data storage area 30D in the storage unit 30 of the distributor terminal 3. Further, the VR image display control unit 31C generates a VR raw photo image of the entire 3D space including the avatar based on the VR raw photo data stored in the VR raw photo data storage area 30D, and the display unit 33 and the display unit. It is displayed on the VR headset connected to 33.
  • the subject that generates the VR raw photo data may be the distribution server 1 instead of the distributor terminal 3.
  • the distribution server 1 can distribute the 3D data as VR raw photo data, not as a photograph captured in the 3D space.
  • the amount of data in the entire 3D space is large, in the present embodiment, only the data in the entire 3D space including the avatar is cut out to generate and distribute the VR raw photo data, so that the load on the distribution server 1 can be reduced.
  • FIG. 12 is a block diagram schematically showing the configuration of the distribution server in the present embodiment.
  • FIG. 13 is a block diagram schematically showing the configuration of the distributor terminal in the present embodiment.
  • FIG. 14 is a block diagram schematically showing the configuration of the viewer terminal in the present embodiment.
  • the distribution server 1 in the present embodiment is different from the first embodiment in that the storage unit 10 includes the time-shift data storage area 10D. Further, the distribution server 1 in the present embodiment is different from the first embodiment in that the control unit 11 has the function of the time shift data distribution unit 11E.
  • the distributor terminal 3 in the present embodiment is different from the first embodiment in that the storage unit 10 includes the time-shift data storage area 30E.
  • the viewer terminal 4 in the present embodiment is different from the first embodiment in that the storage unit 40 includes the time shift data storage area 40B. Further, the viewer terminal 4 in the present embodiment is different from the first embodiment in that the control unit 41 has the functions of the rendering unit 41D and the VR raw photo generation unit 41E.
  • the viewer downloads the VR studio application to the viewer terminal 4 in advance in order to perform 3D time-shift playback.
  • the distributor selects the avatar data downloaded in advance when broadcasting the VR video live, and selects the 3D space data and accessory data if they have been stored. To do.
  • the data selected in this way is not only used for live broadcasting of VR video, but also transmitted to the distribution server 1 for 3D time-shift reproduction in the present embodiment.
  • the control unit 31 of the distributor terminal 3 in the present embodiment transmits the data of the avatar selected in this way, and the data of the 3D space and the accessory data to the distribution server 1 via the communication unit 35 if necessary. And send.
  • the control unit 11 of the distribution server 1 stores the avatar data, the 3D space data, and the accessory data transmitted from the distributor terminal 3 in the time shift data storage area 10D of the storage unit 10.
  • the motion data generation unit 31A of the distributor terminal 3 generates motion data according to the operation of the VR headset and the controller when the VR video is broadcast live.
  • the generated motion data is not only used for live broadcasting of VR video, but is also transmitted to the distribution server 1 in the present embodiment.
  • the control unit 31 of the distributor terminal 3 transmits the motion data generated by the motion data generation unit 31A to the distribution server 1 via the communication unit 35.
  • the control unit 11 of the distribution server 1 stores the motion data transmitted from the distributor terminal 3 in the time-shift data storage area 10D of the storage unit 10.
  • the time shift data storage area 10D of the storage unit 10 in the distribution server 1 the data of the avatar used for the live broadcasting of the VR video, the data in the 3D space when selected by the distributor, and the data in the 3D space and Accessory data is stored. Further, the motion data used for the live broadcasting of the VR video is stored in the time shift data storage area 10D.
  • the 3D time-shift playback is executed when the 3D time-shift playback button provided in the VR studio application installed on the distributor terminal 3 and the viewer terminal 4 is pressed.
  • the control unit 11 of the distribution server 1 receives the request for 3D time-shift playback from the distributor terminal 3, the time-shift data including the avatar data stored in the time-shift data storage area 10D of the storage unit 10 and the motion data.
  • the data is transmitted to the distributor terminal 3 via the communication unit 12.
  • the control unit 11 of the distributor terminal 3 stores the time-shift data composed of the avatar data, the motion data, and the like transmitted from the distribution server 1 in the time-shift data storage area 30E of the storage unit 30.
  • the rendering unit 31B of the distributor terminal 3 performs a rendering process in which the avatar data stored in the time-shift data storage area 30E and the motion data are linked. Further, the VR image display control unit 31C of the distributor terminal 3 uses the 3D space data stored in the time shift data storage area 30E and the rendered avatar data, and the VR image of the avatar existing in the 3D space. Is controlled to be displayed. The VR image is displayed on the display unit 33 and the headset for VR connected to the display unit 33.
  • the motion data stored in the time shift data storage area 30E is data that reflects the positions of the VR headset worn on the distributor's head and the controllers of both hands in the distributor during the live broadcast of the VR video. is there. Therefore, the operation of the avatar of the live broadcast of the VR image can be reproduced as 3D time-shift reproduction.
  • the control unit 11 of the distribution server 1 receives the request for 3D time-shift playback from the viewer terminal 4, the time-shift data including the avatar data stored in the time-shift data storage area 10D of the storage unit 10 and the motion data.
  • the data is transmitted to the viewer terminal 4 via the communication unit 12.
  • the control unit 41 of the viewer terminal 4 stores the time shift data including the avatar data and the motion data transmitted from the distribution server 1 in the time shift data storage area 40B of the storage unit 40.
  • the rendering unit 41D of the viewer terminal 4 performs a rendering process in which the avatar data stored in the time-shift data storage area 40B and the motion data are linked. Further, the VR image display control unit 41A of the viewer terminal 4 uses the 3D space data stored in the time shift data storage area 40B and the rendered avatar data to provide a VR image of the avatar existing in the 3D space. Is controlled to be displayed. The VR image is displayed on the display unit 42.
  • the motion data stored in the time shift data storage area 40B is data that reflects the positions of the VR headset worn on the distributor's head and the controllers of both hands in the distributor during the live broadcast of the VR video. is there. Therefore, the operation of the avatar of the live broadcast of the VR image can be reproduced as 3D time-shift reproduction.
  • a VR raw photograph can be generated during 3D time-shift reproduction.
  • the VR image display control unit 31C of the distributor terminal 3 is based on the VR raw photo data stored in the VR raw photo data storage area 30D in the storage unit 30 of the distributor terminal 3, and the VR raw of the entire 3D space including the avatar.
  • a photographic image is generated and displayed on the display unit 33 and the VR headset connected to the display unit 33. Further, the VR image display control unit 31C generates a VR raw photo image of the 3D space and, if present, accessories and comments based on the VR raw photo data, and the VR connected to the display unit 33 and the display unit 33. Display on the headset for.
  • the VR image display control unit 41A of the viewer terminal 4 is based on the VR raw photo data stored in the VR raw photo data storage area 40A in the storage unit 40 of the viewer terminal 4, and the VR raw of the entire 3D space including the avatar.
  • a photographic image is generated and displayed on the display unit 42.
  • the VR raw photo image generated during the 3-time shift playback is not a cutout of one frame of the captured VR image as described above, but is a VR image generated based on the VR raw photo data. Viewers and distributors can view the VR raw photo image by rotating it or changing the angle.
  • viewers and distributors can also change the angle of view of the VR raw photo and view the so-called pulling image.
  • time shift data is stored in each of the distributor terminal 3 and the viewer terminal 4, and polygon data is obtained from the avatar data based on the time shift data without using bone data and motion data. Since only the texture data is cut out to generate VR raw photo data and distributed, the load on the distribution server 1 can be reduced.
  • the data in 3D space may include not only the building as described above but also the background around the building.
  • the background can be divided into a near view in which the distance from the predetermined reference position is within a predetermined value and a distant view in which the distance from the user of the distributor terminal 3 exceeds the predetermined value, with the position of the distributor as a predetermined reference position. it can.
  • the background is relatively well visible to the viewer, so the data is distributed without simplification as in the above-described embodiment.
  • the background cannot be seen very well by the viewer, so that the data can be simplified.
  • the VR raw photo generation unit 31E of the distributor terminal 3 distributes the 3D spatial data as VR raw photo data to the distribution server 1 as in the first embodiment, the VR raw photo generation unit 31E simplifies the data. Do.
  • the VR raw photo generation unit 31E distributes 3D spatial data of a distant view in which the distance from the distributor exceeds a predetermined value to the distribution server 1 as VR raw photo data of, for example, a 2D plane.
  • the VR raw photo generation unit 11D of the distribution server 1 distributes the 3D spatial data as VR raw photo data to the distributor terminal 3 and the viewer terminal 4 as in the second embodiment
  • the VR raw photo generation unit 11D Simplify the data.
  • the VR raw photo generation unit 11D distributes 3D spatial data of a distant view whose distance from the distributor exceeds a predetermined value to the distribution server 1 as VR raw photo data of, for example, a 2D plane.
  • data that can be simplified includes objectified 3D comments, accessories such as equipment in the room, and dropped items.
  • the load on the distribution server 1 can be further reduced.
  • FIG. 15 is a block diagram schematically showing the configuration of the distribution server in the present embodiment.
  • FIG. 16 is a block diagram schematically showing the configuration of the distributor terminal in the present embodiment.
  • the storage unit 10 is provided with an avatar data storage area 10E and a 3D spatial data storage area 10F.
  • the control unit 11 has the functions of the rendering unit 11F, the VR video display control unit 11G, and the VR raw photo generation unit 11H.
  • the storage unit 10 is not provided with the avatar data storage area 30A and the 3D spatial data storage area 30B.
  • the control unit 11 is not provided with the functions of the rendering unit 31B and the VR raw photo generation unit 31E.
  • the virtual character avatar data acquired from the data server 2 by the distributor who is the user of the distributor terminal 3 is transmitted from the distributor terminal 3 or the data server 2 to the distribution server 1. Further, the 3D spatial data acquired by the distributor of the distributor terminal 3 from the data server 2 is transmitted from the distributor terminal 3 or the data server 2 to the distribution server 1.
  • the motion data generation unit 31A of the distributor terminal 3 performs motion capture using a controller worn by the distributor on a hand, a finger, or the like, and a VR headset worn by the distributor on the head, thereby performing motion capture on the distributor.
  • the coordinates of each part of the body are measured, and motion data representing the physical movement of the distributor as three-dimensional time series data is generated. Further, the motion data generation unit 31A of the distributor terminal 3 transmits the generated motion data to the distribution server 1.
  • the avatar data transmitted from the distributor terminal 3 or the data server 2 to the distribution server 1 is stored in the avatar data storage area 10E in the storage unit 10 of the distribution server 1. Further, the 3D spatial data transmitted from the distributor terminal 3 or the data server 2 to the distribution server 1 is stored in the 3D spatial data storage area 10F in the storage unit 10 of the distribution server 1.
  • the rendering unit 11F of the distribution server 1 performs a rendering process that links the avatar data stored in the avatar data storage area 30A with the motion data transmitted from the distributor terminal 3.
  • the VR image display control unit 11G of the distribution server 1 uses the 3D space data stored in the 3D space data storage area 10F, the comment data stored in the comment data storage area 10C, and the rendered avatar data. Generates data for displaying a VR image of an avatar existing in 3D space by 3DCG. Further, the VR image display control unit 11G transmits the data for displaying the generated VR image to the distributor terminal 3.
  • the VR image display control unit 31C of the distributor terminal 3 controls to display the data for displaying the VR image transmitted from the distribution server 1, and the VR image is the display unit 33 of the distributor terminal 3 and the display unit 33. It is displayed on the headset for VR connected to the display unit 33.
  • the VR raw photo generation unit 11H of the distribution server 1 displays when the shutter button provided on the input unit 34 of the distributor terminal 3 or the controller (not shown) connected to the input unit 34 is pressed or clicked. VR raw photo data is generated based on the VR video data of the 3D space, the avatar, and the comment. In addition, the VR raw photo generation unit 31E also generates VR raw photo data when the shutter button provided on the viewer terminal 4 is pressed or clicked. Further, the VR raw photo generation unit 11H of the distribution server 1 transmits the VR raw photo data to the distributor terminal 3 and the viewer terminal 4.
  • the VR image display control unit 31C of the distributor terminal 3 is a VR raw photo image based on the VR raw photo data transmitted from the VR photo generation unit 11J of the distribution server 1 and stored in the VR raw photo data storage area 30D. Is displayed on the display unit 33 and the VR headset connected to the display unit 33.
  • the control unit 41 of the viewer terminal 4 stores the VR raw photo data transmitted from the distribution server 1 in the VR raw photo data storage area 40A in the storage unit 40 of the viewer terminal 4. Further, the VR image display control unit 41A of the viewer terminal 4 generates a VR raw photo image of the avatar based on the VR raw photo data stored in the VR raw photo data storage area 40A, and displays it on the display unit 42. .. Further, the VR image display control unit 41A generates a VR raw photo image of a 3D space and, if present, an accessory and a comment based on the VR raw photo data, and displays it on the display unit 42.
  • the viewer inputs the video such as an avatar that moves in response to the movement of the user of the distributor terminal 3 by the viewer. You can watch the comment that has been rendered and materialized. In addition, the viewer and the distributor can rotate the VR raw photo image or change the angle for viewing.
  • the mode of displaying the shutter button for VR raw photography by the studio application for VR has been described, but the shutter button for VR raw photography is used as a 3D item for the countdown to start VR raw photography in 3D. It may be displayed in the space.
  • a 3D item such as a signboard may be displayed in the 3D space, and characters such as "preparing for shooting", "0 seconds after shooting", and "shutter chance" may be displayed on the 3D item.
  • it may be an expression other than characters.
  • an item such as a lamp in 3D space may be displayed and this item may be blinked.
  • the operation panel for the distributor may be displayed in the 3D space of the VR studio displayed on the distributor terminal 3, and the shutter button or the shooting countdown start button may be provided on the operation panel.
  • the controller used by the distributor may be provided with a shutter button or a shooting countdown start button.
  • the mode of viewing the VR live photo on the distributor terminal 3 or the viewer terminal 4 has been described.
  • the distributor can upload the VR raw photo data to the avatar platform. May be good.
  • the mode of distributing the VR raw photo data to all the viewer terminals 4 has been described, but among the viewers, only the charged viewers, the elected viewers, and the like are the VR students.
  • Photo data may be provided.
  • a method such as teaching a URL in which the VR raw photo can be viewed may be used.
  • the distributor displays the VR live photo on the broadcast screen during the live broadcast of the VR video. You may try to reflect.
  • the VR raw photo may be slightly modified or effected, or the virtual character may be named and a sign of that name may be added to the VR raw photo.
  • a time stamp may be added to the VR raw photograph.
  • a part of the equipment in the 3D space may be randomly changed to generate VR raw photo data.
  • the program title, watermark, or the like may be embedded in the VR raw photo data so that who the program can be identified.
  • the distribution server 1 and the data server 2 are configured as physically separate servers.
  • the present invention is not limited to such an aspect, and all of these servers may be configured by one server, or any two types of servers may be configured by one server.
  • the program of each server according to the above aspect, and the application program of the distributor terminal 3 and the viewer terminal 4 can be provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium such as a CD-ROM is a good example, but any known type such as a semiconductor recording medium or a magnetic recording medium can be used. It may include a recording medium. It is also possible to provide the above-mentioned program in the form of distribution via a communication network and install it on a computer.
  • the VR live broadcast distribution system, the distribution server, the control method of the distribution server, and the data structure of the VR live photo data according to the embodiment of the present invention have been described above, but the present invention is not limited thereto. Various changes can be made without departing from the gist of the invention.
  • the present invention can be used in the field of VR video distribution service.
  • Distribution server 2 Data server 3 Distributor terminal 4 Viewer terminal 5 Network 10 Storage unit 10A VR video data storage area 10B VR raw photo data storage area 10C Comment data storage area 11 Control unit 11A VR video data distribution unit 11B VR raw photo Data distribution unit 11C Comment data distribution unit 12 Communication unit 60 VR Raw photo data 61 Avatar data 61A Polygon data 61B Texture data 62 Object data 62A 3D spatial data 62B Accessory data 62C Comment data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

3D空間を3Dのまま残すことができ、かつ、データをコンパクトにすることができるVR生写真配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびVR生写真データのデータ構造を提供する。モーションデータにアバターのデータをレンダリングした3DCGの映像と、アバターが存在する3次元空間の3DCGの映像とを少なくとも含むVR映像を生放送で配信するVR生放送配信システムであって、配信者または視聴者からのVR生写真の撮影指示を入力する撮影指示入力部と、撮影指示に基づいて、アバターを含む3次元空間全体の外観のデータを構築する外観データ構築部と、外観データ構築部により構築したアバターを含む3次元空間全体の外観のデータを、VR生写真のデータとして配信するVR生写真データ配信部と、VR生写真を表示する表示部と、を備える。

Description

VR生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびVR生写真データのデータ構造
 本発明は、VR生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびVR生写真データのデータ構造に関する。
 仮想環境を含むビデオゲームにおいては、ユーザがゲームを休止し、3次元(以下、3Dとも称する。)プリントのための3Dスナップショットを撮影することができる。例えば、特許文献1においては、3Dスナップショットが選択されると、ゲーム内ジオメトリを補足的ジオメトリで補足する技術が用いられている。この技術では、仮想ゲーム環境の構成要素を、モデルの最終プリント物理形態においてモデルを支持するように計算し、3Dプリンタジオメトリ内の構造形状を有するように修正している。
特開2016-163996号公報
 ところで、従来のようにカメラで撮影した配信者等の映像を生放送する代わりに、配信者のモーションデータにアバターのデータをレンダリングさせて、3D空間にいるアバターの映像を生放送で配信するサービスが提供されている。
 また、このようなサービスで用いることが可能な自作のアバターのデータなどを公開し、シェアすることができるプラットホームも提供されている。
 上述のようなサービスにおいては、単に3D空間にいるアバターの映像を配信するだけではなく、生放送中に記念撮影をして、写真を視聴者に配布するということが考えられている。
 この写真は、特許文献1のような3Dスナップショットではなく、3D空間を3Dのまま残して配布することが想定されている。3Dの写真を配布することにより、アバターおよびアバターがいる部屋の様子だけでなく、その部屋がある家を外側から見たり、さらにその周囲の景色等を自由な角度から見たりすることが可能となる。
 しかしながら、このような3Dの写真を配布しようとすると、3D空間全体はデータ量が大きくなるので、配布するデータをコンパクトにまとめる必要があるという課題があった。
 そこで、本発明は、3D空間を3Dのまま残すことができ、かつ、データをコンパクトにすることができるVR生写真配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびVR生写真データのデータ構造を提供することを課題とする。
 前記課題を解決するため、本発明に係るVR生放送配信システムの一態様は、
 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムであって、
 前記配信者端末および前記視聴者端末に備えられ、配信者または視聴者からのVR生写真の撮影指示を入力する撮影指示入力部と、
 前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
 前記撮影指示に基づいて、前記アバターを含む前記3次元空間全体の外観のデータを構築する外観データ構築部と、
 前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
 前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するVR生写真データ配信部と、
 前記配信者端末および前記視聴者端末に備えられ、
 前記VR生写真を表示する表示部と、を備える。
 本明細書において、「アバターを含む前記3次元空間全体の外観のデータ」は、アバターとそれ以外の家具等のオブジェクトとの区別をせずに、3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを含む概念である。
 前記態様によれば、撮影指示入力部により、配信者または視聴者からのVR生写真の撮影指示が入力されると、外観データ構築部は、撮影指示に基づいて、アバターを含む前記3次元空間全体の外観のデータを構築する。VR生写真データ配信部は、外観データ構築部により構築したアバターを含む前記3次元空間全体の外観のデータを、VR生写真のデータとして配信する。配信者端末および視聴者端末においては、表示部によりVR生写真が表示される。このように、VR生写真の画像は、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、VR生写真画像は、3Dのまま保存されたVR生写真データに基づいているため、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、VR生写真画像は、以上のようなVR生写真データに基づいているため、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することが可能となる。3D空間全体はデータ量が大きいが、VR生写真データは、アバターを含む3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
 本発明に係るVR生放送配信システムの他の態様においては、前記VR生写真データ配信部は、前記3次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記VR生写真データに含めて配信するようにしてもよい。データ容量を下げたデータとしては、例えば、2次元の画像のデータが挙げられる。この態様によれば、配信するVR生写真データの簡略化を行うことができ、配信サーバの負荷をより一層減らすことが可能となる。
 前記課題を解決するため、本発明に係る配信サーバの一態様は、
 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした映像、および前記アバターが存在する3次元空間の映像を含むVR映像を生放送で配信するVR生放送配信システムにおける配信サーバであって、
 前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、前記アバターを含む前記3次元空間全体の外観のデータを構築する外観データ構築部と、
 前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するVR生写真データ配信部と、を備える。
 この態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。VR生写真データ配信部は、外観データ構築部により構築したアバターを含む前記3次元空間全体の外観のデータを、VR生写真のデータとして配信する。このように、VR生写真の画像は、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、VR生写真画像は、3Dのまま保存されたVR生写真データに基づいているため、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、VR生写真画像は、以上のようなVR生写真データに基づいているため、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することが可能となる。3D空間全体はデータ量が大きいが、VR生写真データは、アバターを含む3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
 本発明に係る配信サーバの他の態様においては、前記VR生写真データ配信部は、前記3次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記VR生写真のデータに含めて配信するようにしてもよい。この態様によれば、配信するVR生写真データの簡略化を行うことができ、配信サーバの負荷をより一層減らすことが可能となる。
 本発明に係る配信サーバの他の態様においては、前記VR映像をキャプチャしたキャプチャ映像を前記配信者端末から受信する映像受信部と、前記キャプチャ映像を前記視聴者端末に配信する映像配信部と、を備えてもよい。この態様によれば、VR映像の生放送においては、VR映像をキャプチャしたキャプチャ映像が配信されるので、配信サーバの負荷を減らすことが可能となる。
 本発明に係る配信サーバの他の態様においては、前記視聴者端末から送信される視聴者のコメントを受信するコメント受信部と、前記受信したコメントを記憶するコメント記憶部と、前記受信したコメントを前記視聴者端末に配信するコメント配信部と、を備えてもよい。この態様によれば、視聴者が入力したコメントが物体化されてVR映像の生放送に配信され、さらにVR生写真として閲覧することが可能となる。
 前記課題を解決するため、本発明に係る配信サーバの制御方法の一態様は、
 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおける配信サーバの制御方法であって、
 前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記3次元空間全体の外観のデータを構築するステップと、
 VR生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するステップと、を備える。
 前記配信サーバの制御方法の一態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。VR生写真データ配信部は、外観データ構築部により構築したアバターを含む前記3次元空間全体の外観のデータを、VR生写真のデータとして配信する。このように、VR生写真の画像は、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、VR生写真画像は、3Dのまま保存されたVR生写真データに基づいているため、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、VR生写真画像は、以上のようなVR生写真データに基づいているため、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することが可能となる。3D空間全体はデータ量が大きいが、VR生写真データは、アバターを含む3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
 前記課題を解決するため、本発明に係る配信サーバのプログラムの一態様は、
 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおける配信サーバのプログラムであって、前記プログラムは、コンピュータに、
 前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記3次元空間全体の外観のデータを構築するステップと、
 VR生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するステップと、を実行させる。
 前記配信サーバのプログラムの一態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。VR生写真データ配信部は、外観データ構築部により構築したアバターを含む前記3次元空間全体の外観のデータを、VR生写真のデータとして配信する。このように、VR生写真の画像は、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、VR生写真画像は、3Dのまま保存されたVR生写真データに基づいているため、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、VR生写真画像は、以上のようなVR生写真データに基づいているため、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することが可能となる。3D空間全体はデータ量が大きいが、VR生写真データは、アバターを含む3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
 前記課題を解決するため、本発明に係るVR生写真データのデータ構造の一態様は、
 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおいて、前記配信者端末または前記配信サーバから配信されるVR生写真データのデータ構造であって、
 前記アバターを含む前記3次元空間全体の外観のデータを少なくとも備える。
 前記VR生写真データのデータ構造の一態様によれば、VR生写真の画像は、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、VR生写真画像は、3Dのまま保存されたVR生写真データに基づいているため、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、VR生写真画像は、以上のようなVR生写真データに基づいているため、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することが可能となる。3D空間全体はデータ量が大きいが、VR生写真データは、アバターを含む3次元空間に存在するすべての物の表面の座標データとテクスチャ(色含む)データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
 本発明によれば、VR生写真として、3D空間を3Dのまま残すことができ、かつ、データをコンパクトにすることができる。
本発明に係る第1実施形態のVR生放送配信システムを概略的に示す図である。 第1実施形態における配信サーバの構成を概略的に示すブロック図である。 第1実施形態におけるデータサーバの構成を概略的に示すブロック図である。 第1実施形態における配信者端末の構成を概略的に示すブロック図である。 第1実施形態における視聴者端末の構成を概略的に示すブロック図である。 VR生写真データのデータ構造を概略的に示す図である。 VR生写真データの生成処理を示すフローチャートである。 視聴者端末および配信者端末において表示されるVR生写真画像の一例を示す図である。 VR生写真における引きの画像の一例を示す図である。 本発明の第2実施形態における配信サーバの構成を概略的に示すブロック図である。 第2実施形態における配信者端末の構成を概略的に示すブロック図である。 本発明の第3実施形態における配信サーバの構成を概略的に示すブロック図である。 第3実施形態における配信者端末の構成を概略的に示すブロック図である。 第3実施形態における視聴者端末の構成を概略的に示すブロック図である。 第5実施形態における配信サーバの構成を概略的に示すブロック図である。 第5実施形態における配信者端末の構成を概略的に示すブロック図である。
(第1実施形態)
 以下、本発明の第1実施形態について図面を参照しつつ説明する。図1は、本実施形態のVR生放送配信システムを概略的に示す図である。図2は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図3は、本実施形態におけるデータサーバの構成を概略的に示すブロック図である。図4は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図5は、本実施形態における視聴者端末の構成を概略的に示すブロック図である。
(VR生放送配信システム)
 図1に示すように、本実施形態におけるVR生放送配信システム100は、配信サーバ1と、データサーバ2と、配信者端末3と、視聴者端末4と、インターネット等のネットワーク5とを備える。配信サーバ1は、ネットワーク5を介して、配信者端末3、および視聴者端末4と通信可能となっている。また、配信者端末3は、配信サーバ1だけでなく、データサーバ2ともネットワーク5を介して通信可能となっている。
 複数台の配信者端末3および視聴者端末4をネットワーク5に接続することが可能であるが、本実施形態では、説明の簡略化のために、1台の配信者端末3をネットワーク5に接続した例について説明する。
 図2に示すように、配信サーバ1は、記憶部10と、制御部11と、通信部12とを備える。記憶部10は、例えばHDD(Hard Disk Drive)等から構成される。記憶部10には、本発明の配信サーバ1のプログラムが記憶される。また、記憶部10は、VR映像データ記憶領域10A、VR生写真データ記憶領域10B、およびコメントデータ記憶領域10Cを備えている。
 VR映像データ記憶領域10Aには、配信者端末3から送信されるアバターの3次元コンピュータグラフィックス(以下、3DCGとも称する。)の映像を含むVR映像をキャプチャした映像のデータが記憶される。VR生写真データ記憶領域10Bには、配信者端末3から送信されるVR生写真のデータが記憶される。コメント記憶部としてのコメントデータ記憶領域10Cには、視聴者端末4から送信されるコメントのデータが記憶される。VR映像、VR映像をキャプチャした映像、VR生写真、およびコメントの詳細については後述する。
 制御部11は、CPU等から構成され、配信サーバ1の全体の動作を制御する。上述した各データを記憶部10に記憶させる動作も制御部11の制御により行われる。また、制御部11は、映像配信部としてのVR映像データ配信部11A、VR生写真データ配信部11B、およびコメント配信部としてのコメントデータ配信部11Cの機能を備えている。
 VR映像データ配信部11Aは、記憶部10のVR映像データ記憶領域10Aに記憶させたVR映像をキャプチャした映像のデータを、配信者端末3および視聴者端末4に通信部12を介して配信する。
 VR生写真データ配信部11Bは、記憶部10のVR生写真データ記憶領域10Bに記憶させたVR生写真のデータを、配信者端末3および視聴者端末4に通信部12を介して配信する。
 コメントデータ配信部11Cは、記憶部10のコメントデータ記憶領域10Cに記憶されたコメントのデータを、配信者端末3に通信部12を介して配信する。
 通信部12は、ネットワーク5を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク5にインターネットを用いており、通信部12は、インターネットによりデータの通信を行うインターフェースである。配信サーバ1は、ネットワーク5を介して、配信者端末3、および視聴者端末4と通信可能となっている。
<データサーバ>
 図3に示すように、データサーバ2は、記憶部20と、制御部21と、通信部22とを備える。記憶部20は、例えばHDD(Hard Disk Drive)等から構成される。記憶部20には、データサーバ2のプログラムが記憶される。また、記憶部20は、アバターデータ記憶領域20A、および3D空間データ記憶領域20Bを備えている。
 アバターデータ記憶領域20Aには、配信者端末3または視聴者端末4、あるいは配信者端末3と視聴者端末4以外のユーザの端末(図示せず)から送信されるバーチャルキャラクターのアバターのデータが記憶される。3D空間データ記憶領域20Bには、配信者端末3または視聴者端末4、あるいは配信者端末3と視聴者端末4以外のユーザの端末から送信される3D空間データが記憶される。アバターのデータ、および3D空間データの詳細については後述する。
 制御部21は、CPU等から構成され、データサーバ2の全体の動作を制御する。上述した各データを記憶部20に記憶させる動作も制御部21の制御により行われる。また、制御部21は、データ配信部21Aとしての機能を備えている。
 データ配信部21Aは、記憶部20のアバターデータ記憶領域20Aに記憶されたバーチャルキャラクターのアバターのデータ、および、記憶部20の3D空間データ記憶領域20Bに記憶された3D空間データを、配信者端末3に通信部22を介して配信する。
 通信部22は、ネットワーク5を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク5にインターネットを用いており、通信部22は、インターネットによりデータの通信を行うインターフェースである。データサーバ2は、ネットワーク5を介して、配信者端末3または視聴者端末4、あるいは配信者端末3と視聴者端末4以外のユーザの端末と通信可能となっている。
<配信者端末>
 図4に示すように、配信者端末3は、記憶部30と、制御部31と、キャプチャ部32と、表示部33と、入力部34と、通信部35とを備える。記憶部30は、例えばHDD(Hard Disk Drive)等から構成される。記憶部30には、配信者端末3のプログラムが記憶される。また、記憶部30は、アバターデータ記憶領域30A、3D空間データ記憶領域30B、コメントデータ記憶領域30C、およびVR生写真データ記憶領域30Dを備えている。配信者端末3の一例としては、パーソナルコンピュータ、またはヘッドマウントディスプレイ等の装置が挙げられる。
 アバターデータ記憶領域30Aには、配信者端末3のユーザ(以下、配信者とも称する。)がデータサーバ2から取得したバーチャルキャラクターのアバターのデータが記憶される。3D空間データ記憶領域30Bには、配信者がデータサーバ2から取得した3D空間データが記憶される。コメントデータ記憶領域30Cには、配信サーバ1から配信されるコメントデータが記憶される。VR生写真データ記憶領域30Dには、配信サーバ1から配信されるVR生写真データが記憶される。
 制御部31は、CPU等から構成され、配信者端末3の全体の動作を制御する。上述した各データを記憶部30に記憶させる動作も制御部31の制御により行われる。また、制御部31は、モーションデータ生成部31A、レンダリング部31B、VR映像表示制御部31C、配信映像表示制御部31D、およびVR生写真生成部31Eとしての機能を備えている。
 モーションデータ生成部31Aは、配信者が手や指等に装着したコントローラ(図示せず。以下、同様。)、および配信者が頭部に装着したVR用ヘッドセット(図示せず。以下、同様。)を用いてモーションキャプチャを行うことにより、配信者の身体各部の座標を計測し、配信者の身体動作を3次元時系列のデータとして表すモーションデータを生成する。
 レンダリング部31Bは、アバターデータ記憶領域30Aに記憶されたアバターのデータと、モーションデータ生成部31Aにおいて生成されたモーションデータとを連動させるレンダリング処理を行う。
 VR映像表示制御部31Cは、3D空間データ記憶領域30Bに記憶された3D空間データと、コメントデータ記憶領域30Cに記憶されたコメントデータと、レンダリングされたアバターのデータとを用いて、3D空間内に存在するアバターの3DCGによるVR映像を表示させる制御を行う。VR映像は、表示部33および表示部33に接続されたVR用のヘッドセットに表示される。
 また、VR映像表示制御部31Cは、配信サーバ1から配信され、VR生写真データ記憶領域30Dに記憶されるVR生写真データに基づいて、VR生写真の映像を表示部33、および表示部33に接続されたVR用ヘッドセットに表示させる。
 配信映像表示制御部31Dは、配信サーバ1から配信され、VR映像がキャプチャされた映像を、表示部33および表示部33に接続されたVR用のヘッドセットに表示させる。
 VR生写真生成部31Eは、撮影指示入力部としての入力部34または入力部34に接続されたコントローラ(図示せず)に備えられたシャッターボタンが押下またはクリックされた際に、表示されている3D空間、アバター、およびコメントのVR映像のデータに基づいて、VR生写真データを生成する。また、VR生写真生成部31Eは、視聴者端末4に備えられたシャッターボタンが押下またはクリックされた際にも、VR生写真データを生成する。
 キャプチャ部32は、表示部33および表示部33に接続されたVR用ヘッドセットに表示されるVR映像を、映像データとしてキャプチャし、通信部35を介して配信サーバ1に送信する。
 表示部33は、ディスプレイおよび表示回路を備え、表示部33には、VR用ヘッドセットが接続可能となっている。
 入力部34は、キーボード、およびマウス等のポインティングデバイスと、データ入力用のインターフェースとを備え、入力部34には、モーションキャプチャを行うためのコントローラが接続される。
 通信部35は、ネットワーク5を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク5にインターネットを用いており、通信部35は、インターネットによりデータの通信を行うインターフェースである。配信者端末3は、ネットワーク5を介して、配信サーバ1、およびデータサーバ2と通信可能となっている。
<視聴者端末>
 図5に示すように、視聴者端末4は、記憶部40と、制御部41と、表示部42と、入力部43と、通信部44とを備える。視聴者端末4の一例としては、パーソナルコンピュータ等の装置が挙げられる。
 記憶部40は、例えばHDD(Hard Disk Drive)等から構成される。記憶部40には、視聴者端末4のプログラムが記憶される。また、記憶部40は、VR生写真データ記憶領域40Aを備えている。VR生写真データ記憶領域40Aには、配信サーバ1から配信されたVR生写真データが記憶される。
 制御部41は、CPU等から構成され、視聴者端末4の全体の動作を制御する。上述したVR生写真データを記憶部40に記憶させる動作も制御部41の制御により行われる。また、制御部41は、VR映像表示制御部41A、配信映像表示制御部41B、およびコメントデータ制御部41Cとしての機能を備えている。
 VR映像表示制御部41Aは、VR生写真データ記憶領域40Aに記憶されたVR生写真データに基づいて、VR生写真の映像を表示部33に表示させる制御を行う。
 配信映像表示制御部41Bは、配信者端末3においてキャプチャされて配信サーバ1に配信され、再び配信サーバ1から配信されるコメント入りの3D空間内に存在するアバターのVR映像を、表示部42に表示させる。
 コメントデータ制御部41Cは、視聴者としての視聴者端末4のユーザが、入力部43により入力したコメントのデータを、配信サーバ1に通信部44を介して送信する。
 表示部42は、ディスプレイおよび表示回路を備え、3D空間およびコメントを含むアバターのVR映像、並びに、VR生写真の映像を表示する。
 入力部43は、キーボード、およびマウス等のポインティングデバイスと、データ入力用のインターフェースとを備える。
 通信部44は、ネットワーク5を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク5にインターネットを用いており、通信部44は、インターネットによりデータの通信を行うインターフェースである。視聴者端末4は、ネットワーク5を介して、配信サーバ1と通信可能となっている。
<VR映像配信>
(1)データの選択
 次に、本実施形態におけるVR映像配信について説明する。VR映像を配信するに当たっては、まず、配信者が、配信者端末3を用いてアバター用プラットホームにアクセスし、バーチャルキャラクターのアバターの選択とアバターのデータの取得を行う。
 アバター用プラットホームは、ウェブブラウザによりアクセスすることができる。アバターの作成者は、配信者端末3および視聴者端末4と同様の端末装置を用いてウェブブラウザにアクセスし、作成したアバターのデータをデータサーバ2にアップロードする。
 アバターのデータは、ポリゴンデータと、バーチャルキャラクターの外表面を形作るテクスチャデータと、ボーンデータとを含む。これらのデータは、VRM等の所定のファイル形式でデータサーバ2の記憶部20におけるアバターデータ記憶領域20Aに保存される。
 アップロードされたアバターのデータは、アバター用プラットホームにおいては、アイコンまたはアイキャッチ画像で一覧表示されている。配信者端末3のユーザは、ウェブブラウザによりアバター用プラットホームにアクセスし、一覧表示されたアイコンまたはアイキャッチ画像から、所望のアバターを選択し、アバターのデータを配信者端末3にダウンロードすることができる。この場合、配信者端末3の制御部31は、ダウンロードしたアバターのデータを、記憶部30のアバターデータ記憶領域30Aに記憶させる。
 アバター用プラットホームにおいては、アバターのデータだけでなく、バーチャルキャラクターのアバターが存在する部屋等を表現した3D空間のデータ、および、部屋等に置かれる花等のアクセサリのデータを選択することができる。これらのデータも、VRM等の所定のファイル形式でデータサーバ2の記憶部20におけるアバターデータ記憶領域20Aに保存される。
 配信者は、ウェブブラウザによりアバター用プラットホームにアクセスし、一覧表示されたアイコンまたはアイキャッチ画像から、所望の3D空間のデータ、あるいはアクセサリのデータを選択し、これらのデータを配信者端末3にダウンロードすることができる。この場合、配信者端末3の制御部31は、ダウンロードしたデータを、記憶部30の空間データ記憶領域30Bに記憶させる。
(2)VR映像配信
 配信者は、VR映像配信を行うために、VR用スタジオアプリケーションと、VR用スタジオアプリケーションにて生成したスタジオの様子をキャプチャして映すためのエンコーダアプリケーションとを、予め配信者端末3にダウンロードし、インストールしておく。
 VR用スタジオアプリケーションは、VR空間にスタジオを作るアプリケーションであり、エンコーダアプリケーションは、VR用スタジオアプリケーションによって作成されたスタジオの様子をキャプチャして配信プラットホームに映すエンコーダのアプリケーションである。
 配信者は、VR映像配信を行う場合には、VR用スタジオアプリケーションを起動させる。この際、配信者端末3には、VR用ヘッドセットとコントローラを接続しておく。
 配信者は、予めダウンロードしておいたアバターのデータを選択し、また、3D空間のデータ、および必要な場合には、アクセサリのデータを選択する。
 以上のような選択が行われると、配信者端末3のレンダリング部31Bは、アバターデータ記憶領域30Aに記憶されたアバターデータと、モーションデータ生成部31Aにおいて生成されたモーションデータとを連動させるレンダリング処理を行う。また、配信者端末3のVR映像表示制御部31Cは、空間データ記憶領域30Bに記憶された空間データと、レンダリングされたアバターデータとを用いて、3D空間内に存在するアバターのVR映像を表示させる制御を行う。VR映像は、表示部33および表示部33に接続されたVR用のヘッドセットに表示される。
 アバターの動きは、配信者の頭部に装着したVR用ヘッドセットに加え、配信者における両手のコントローラの位置が反映される。また、コントローラにトラックパッドが備えられている場合には、トラックパッドを操作することにより、アバターの表情を変更することもできる。
 VR用ヘッドセットおよびコントローラの動きは、配信者端末3のモーションデータ生成部31Aによりモーションデータとして生成される。モーションデータは、VR用ヘッドセットおよびコントローラを装着したユーザの様々な動作を、動作毎に記憶したデータであり、具体的には、ボーンデータを構成するジョイントの位置と、ジョイントに接続されるボーンの位置とについての時系列変化を示すデータである。
 したがって、モーションデータをアバターのデータに適用することにより、配信者の動きに応じて、アバターに、歩く、走る、手を振る、ステップを踏むなどの様々な動作をさせることができる。
 配信者端末3のレンダリング部31Bは、アバターのデータと、以上のようなモーションデータとを連動させるレンダリング処理を行い、配信者端末3のVR映像表示制御部31Cは、レンダリングされたアバターデータを用いて、3D空間内に存在するアバターのVR映像を表示させる。
 次に、配信者が、VR用スタジオアプリケーションにおいて表示される配信ボタンを押下すると、以上のようにしてVR空間に表示されるアバター、3D空間、およびアクセサリの映像は、配信者端末3のキャプチャ部32によりキャプチャされる。キャプチャ部32は、エンコーダアプリケーションにより以上のようなキャプチャ動作を行う。キャプチャされたアバター等の映像は、配信者端末3の配信映像表示制御部31Dにより、配信者端末3から配信サーバ1に配信される。配信映像表示制御部31Dは、配信者端末3から配信プラットホームにアクセスすることにより動作する。配信プラットホームは、ウェブブラウザによりアクセス可能となっている。
 配信サーバ1のVR映像配信部11Aは、配信者端末3から配信されたアバター等の映像を、視聴者端末4に配信する。視聴者端末4の配信映像表示制御部41Bは、配信サーバ1から配信されるアバター等の映像を表示部42に表示させる。このようにして、視聴者は、配信者端末3のユーザの動きに対応して動くアバター等の映像を視聴することができる。
 また、視聴者は、アバター等の映像を視聴しながら、視聴者端末4の入力部43により、コメントを入力することができる。入力されたコメントは、視聴者端末4のコメントデータ制御部41Cにより、通信部44を介して配信サーバ1に送信される。
 配信サーバ1のコメントデータ配信部11Cは、視聴者端末4から受信したコメントデータを記憶部10のコメントデータ記憶領域10Cに記憶させ、さらに、配信者端末3に配信する。
 配信者端末3の制御部31は、配信サーバ1から受信したコメントデータを、記憶部30のコメントデータ記憶領域30Cに記憶させ、配信者端末3のVR映像表示制御部は、コメントデータに基づいて物体化させたコメントをVR空間内に例えば移動するように表示させる。
 VR空間に表示されるアバター、3D空間、アクセサリ、およびコメントの映像は、配信者端末3のキャプチャ部32によりキャプチャされる。キャプチャされたコメントを含むアバター等の映像は、配信者端末3の配信映像表示制御部31Dにより、配信者端末3から配信サーバ1に配信される。
 配信サーバ1のVR映像配信部11Aは、配信者端末3から配信されたコメントを含むアバター等の映像を、視聴者端末4に配信する。視聴者端末4の配信映像表示制御部41Bは、配信サーバ1から配信されるコメントを含むアバター等の映像を表示部42に表示させる。このようにして、視聴者は、配信者端末3のユーザの動きに対応して動くアバター等の映像と共に、視聴者によって入力され物体化されたコメントを視聴することができる。
<VR生写真生成>
 次に、本実施形態におけるVR生写真の生成について説明する。本実施形態においては、アバター等のVR映像の配信中に、VR生写真を生成することができる。VR生写真とは、キャプチャされたVR映像の1コマを切り取るのではなく、シャッターボタンが押下された瞬間における3D空間にあるすべての物の表面の座標データとテクスチャ(色含む)データを切り出し、3Dジオラマのような感覚で3D空間全体のVR生写真が生成される。つまり、VR生写真を生成する際には、アバターとそれ以外の家具等のオブジェクトとの区別はされない。
 本実施形態におけるVR生写真データ60は、図6に示すように、シャッターボタンが押下された瞬間における3D空間にあるすべての物の表面の座標データ60Aと、同瞬間におけるテクスチャ(色含む)データ60Bとを含む。このように、VR生写真データ60には、ポリゴンデータ、モーションデータおよびボーンデータは含まれていない。
 次に、図7のフローチャートに基づいて、本実施形態におけるVR生写真データの生成処理と配信処理について説明する。図7は、本実施形態におけるVR生写真データの生成処理と配信処理を示すフローチャートである。
 本実施形態においては、VR用スタジオアプリケーションは、配信者端末3だけでなく、視聴者端末4においてもダウンロードされ、インストールされているものとする。VR用スタジオアプリケーションを配信者端末3または視聴者端末4において起動させると、VR用スタジオアプリケーションには、シャッターボタンが表示される。このシャッターボタンを配信者端末3または視聴者端末4のユーザが押下することにより(図7:S1;YES)、VR生写真の生成が開始される。
 シャッターボタンは、配信者端末3のVR用スタジオアプリケーションのみに設け、視聴者端末4のユーザからのリクエスト、あるいは、配信者端末3のユーザの声かけにより、配信者端末3のユーザがシャッターボタンを押下するようにしてもよい。
 上述したシャッターボタンが押下されると、配信者端末3の外観データ構築部としてのVR生写真データ生成部31Eは、アバターを含む前記3D空間全体の外観のデータを切り出し、配信者端末3の記憶部30におけるVR生写真データ記憶領域30Dに記憶させる(図7:S2)。
 配信者端末3のVR生写真データ生成部31Eは、VR生写真データ記憶領域30Dに記憶させたアバターを含む前記3D空間全体の外観のデータを、VR生写真データとして生成し、配信サーバ1に通信部35を介して送信する(図7:S3)。
 配信サーバ1のVR生写真データ配信部11Bは、配信者端末3から送信されたVR生写真データを、記憶部10のVR生写真データ記憶領域10Bに記憶させ(図7:S4)、さらに、通信部12を介して、VR生写真データを視聴者端末4および配信者端末3に配信する(図7:S5,S6)。
 視聴者端末4の制御部41は、配信サーバ1からVR生写真データを、視聴者端末4の記憶部40におけるVR生写真データ記憶領域40Aに記憶させる。また、視聴者端末4のVR映像表示制御部41Aは、VR生写真データ記憶領域40Aに記憶されたVR生写真データに基づいて、アバターのVR生写真画像を生成し、表示部42に表示させる。また、VR映像表示制御部41Aは、VR生写真データに基づいて、3D空間、および存在する場合にはアクセサリおよびコメントのVR生写真画像を生成し、表示部42に表示させる。
 配信者端末3のVR映像表示制御部31Cは、配信者端末3の記憶部30におけるVR生写真データ記憶領域30Dに記憶させたVR生写真データに基づいて、アバターを含む3D空間全体のVR生写真画像を生成し、表示部33および表示部33に接続したVR用ヘッドセットに表示させる。
 図8は、視聴者端末4および配信者端末3において表示されるVR生写真画像50の一例を示す図である。図8に示すように、VR生写真画像50は、アバター51、3D空間としての部屋52、およびアクセサリとしての花53の画像を含んでいる。図8に示す例においては、コメントの画像は省略している。
 VR生写真画像50は、上述したように、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
 さらに、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することもできる。図9は、VR生写真における引きの画像の一例を示す図である。図9に示す例では、部屋52がある建物54の全体の画像をVR生写真として表示している。
 また、本実施形態によれば、3D空間をキャプチャされた写真としてではなく、3Dのデータのまま残して、配布することができる。3D空間全体はデータ量が大きいが、本実施形態では、アバターのデータから、ボーンデータおよびモーションデータを用いずに、ポリゴンデータとテクスチャデータだけを切り出してVR生写真データを生成し、配信するので、配信サーバ1の負荷を減らすことができる。
(第2実施形態)
 次に、本発明の第2実施形態について添付図面を参照しつつ説明する。第1実施形態においては、配信者端末3においてVR生写真データを生成する態様について説明したが、VR生写真データは、配信サーバ1において生成し、配信するようにしてもよい。
 図10は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図11は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図10に示すように、本実施形態の配信サーバ1は、制御部11において、VR生写真生成部11Dの機能を有しているところが第1実施形態と異なる。さらに、本実施形態の配信者端末3は、図11に示すように、制御部31において、VR生写真生成部31Eの機能を有していないところが第1実施形態と異なる。
 本実施形態においては、配信者端末3または視聴者端末4においてシャッターボタンが押下されると、配信者端末3の制御部31は、VR映像表示制御部31Cによって生成されたアバターのデータから、シャッターボタンが押下された瞬間におけるポリゴンデータとテクスチャデータを切り出し、配信サーバ1に送信する。
 配信者端末3の制御部31は、さらに、シャッターボタンが押下された瞬間のアバターを含む3D空間全体のデータを配信サーバ1に送信する。
 配信サーバ1のVR生写真生成部11Dは、配信者端末3から受信したアバターを含む3D空間全体のデータを、記憶部10のVR生写真データ記憶領域10Bに記憶させる。また、VR生写真生成部11Dは、配信者端末3から受信した空間データ、および存在する場合にはアクセサリデータを、記憶部10のVR生写真データ記憶領域10Bに記憶させる。
 配信サーバ1のVR生写真生成部11Dは、VR生写真データ記憶領域10Bに記憶させたアバターを含む3D空間全体のデータからなるVR生写真データを、配信者端末3および視聴者端末4に通信部12を介して送信する。
 視聴者端末4の制御部41は、配信サーバ1から送信されたVR生写真データを、視聴者端末4の記憶部40におけるVR生写真データ記憶領域40Aに記憶させる。また、視聴者端末4のVR映像表示制御部41Aは、VR生写真データ記憶領域40Aに記憶されたVR生写真データに基づいて、アバターを含む3D空間全体のVR生写真画像を生成し、表示部42に表示させる。
 配信者端末3のVR映像表示制御部31Cは、配信サーバ1から送信されたVR生写真データを、配信者端末3の記憶部30におけるVR生写真データ記憶領域30Dに記憶させる。また、VR映像表示制御部31Cは、VR生写真データ記憶領域30Dに記憶させたVR生写真データに基づいて、アバターを含む3D空間全体のVR生写真画像を生成し、表示部33および表示部33に接続したVR用ヘッドセットに表示させる。
 以上のように、VR生写真データを生成する主体は、配信者端末3ではなく、配信サーバ1であってもよい。この場合でも、配信サーバ1は、3D空間をキャプチャした写真としてではなく、3DのデータのままでVR生写真データとして配布することができる。3D空間全体はデータ量が大きいが、本実施形態では、アバターを含む3D空間全体のデータだけを切り出してVR生写真データを生成し、配信するので、配信サーバ1の負荷を減らすことができる。
(第3実施形態)
 次に、本発明の第3実施形態について添付図面を参照しつつ説明する。上述した実施形態においては、VR映像を生放送する態様について説明したが、生放送後の任意の時間にVR映像を再生する、いわゆる3Dタイムシフト再生を行うようにしてもよい。
 図12は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図13は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図14は、本実施形態における視聴者端末の構成を概略的に示すブロック図である。
 図12に示すように、本実施形態における配信サーバ1は、記憶部10において、タイムシフトデータ記憶領域10Dを備えているところが第1実施形態と異なる。また、本実施形態における配信サーバ1は、制御部11において、タイムシフトデータ配信部11Eの機能を備えているところが第1実施形態と異なる。
 図13に示すように、本実施形態における配信者端末3は、記憶部10において、タイムシフトデータ記憶領域30Eを備えているところが第1実施形態と異なる。
 図14に示すように、本実施形態における視聴者端末4は、記憶部40において、タイムシフトデータ記憶領域40Bを備えているところが第1実施形態と異なる。また、本実施形態における視聴者端末4は、制御部41において、レンダリング部41D、およびVR生写真生成部41Eの機能を備えているところが第1実施形態と異なる。
 本実施形態においては、視聴者は、3Dタイムシフト再生を行うために、VR用スタジオアプリケーションを、予め視聴者端末4にダウンロードしておく。
 配信者は、VR映像の生放送を行う際に、予めダウンロードしておいたアバターのデータを選択し、また、3D空間のデータおよびアクセサリのデータをしておいた場合には、それらのデータを選択する。このように選択されたデータは、VR映像の生放送に用いられるだけでなく、本実施形態においては、3Dタイムシフト再生のために配信サーバ1に送信される。本実施形態における配信者端末3の制御部31は、このように選択されたアバターのデータ、並びに、必要な場合には3D空間のデータおよびアクセサリのデータを、配信サーバ1に通信部35を介して送信する。
 配信サーバ1の制御部11は、配信者端末3から送信されたアバターのデータ、3D空間のデータおよびアクセサリのデータを、記憶部10のタイムシフトデータ記憶領域10Dに記憶させる。
 配信者端末3のモーションデータ生成部31Aは、VR映像の生放送を行う際に、VR用ヘッドセットとコントローラの操作に応じてモーションデータを生成する。生成されたモーションデータは、VR映像の生放送に用いられるだけでなく、本実施形態においては、配信サーバ1に送信される。配信者端末3の制御部31は、モーションデータ生成部31Aにより生成されたモーションデータを、配信サーバ1に通信部35を介して送信する。
 配信サーバ1の制御部11は、配信者端末3から送信されたモーションデータを、記憶部10のタイムシフトデータ記憶領域10Dに記憶させる。
 以上のようにして、配信サーバ1における記憶部10のタイムシフトデータ記憶領域10Dには、VR映像の生放送に用いられたアバターのデータ、並びに、配信者が選択した場合には3D空間のデータおよびアクセサリのデータが記憶される。また、タイムシフトデータ記憶領域10Dには、VR映像の生放送に用いられたモーションデータが記憶される。
 3Dタイムシフト再生は、配信者端末3および視聴者端末4にインストールされたVR用スタジオアプリケーションに設けられた3Dタイムシフト再生ボタンが押下された場合に実行される。
<配信者端末3における3Dタイムシフト再生>
 配信者が、3Dタイムシフト再生を希望し、VR用スタジオアプリケーションに設けられた3Dタイムシフト再生ボタンを押下すると、配信者端末3の制御部31は、配信サーバ1に対して、3Dタイムシフト再生のリクエストを送信する。
 配信サーバ1の制御部11は、配信者端末3から3Dタイムシフト再生のリクエストを受信すると、記憶部10のタイムシフトデータ記憶領域10Dに記憶させたアバターのデータ、およびモーションデータ等から成るタイムシフトデータを、配信者端末3に通信部12を介して送信する。
 配信者端末3の制御部11は、配信サーバ1から送信されたアバターデータ、およびモーションデータ等から成るタイムシフトデータを、記憶部30のタイムシフトデータ記憶領域30Eに記憶させる。
 配信者端末3のレンダリング部31Bは、タイムシフトデータ記憶領域30Eに記憶させたアバターデータと、モーションデータとを連動させるレンダリング処理を行う。また、配信者端末3のVR映像表示制御部31Cは、タイムシフトデータ記憶領域30Eに記憶させた3D空間データと、レンダリングされたアバターデータとを用いて、3D空間内に存在するアバターのVR映像を表示させる制御を行う。VR映像は、表示部33および表示部33に接続されたVR用のヘッドセットに表示される。
 タイムシフトデータ記憶領域30Eに記憶させたモーションデータは、VR映像の生放送の際に、配信者の頭部に装着したVR用ヘッドセット、および配信者における両手のコントローラの位置が反映されたデータである。したがって、VR映像の生放送のアバターの動作等を3Dタイムシフト再生として再現することができる。
<視聴者端末4における3Dタイムシフト再生>
 視聴者が、3Dタイムシフト再生を希望し、VR用スタジオアプリケーションに設けられた3Dタイムシフト再生ボタンを押下すると、視聴者端末4の制御部41は、配信サーバ1に対して、3Dタイムシフト再生のリクエストがあったことを送信する。
 配信サーバ1の制御部11は、視聴者端末4から3Dタイムシフト再生のリクエストを受信すると、記憶部10のタイムシフトデータ記憶領域10Dに記憶させたアバターのデータ、およびモーションデータ等から成るタイムシフトデータを、視聴者端末4に通信部12を介して送信する。
 視聴者端末4の制御部41は、配信サーバ1から送信されたアバターデータ、およびモーションデータ等から成るタイムシフトデータを、記憶部40のタイムシフトデータ記憶領域40Bに記憶させる。
 視聴者端末4のレンダリング部41Dは、タイムシフトデータ記憶領域40Bに記憶させたアバターデータと、モーションデータとを連動させるレンダリング処理を行う。また、視聴者端末4のVR映像表示制御部41Aは、タイムシフトデータ記憶領域40Bに記憶させた3D空間データと、レンダリングされたアバターデータとを用いて、3D空間内に存在するアバターのVR映像を表示させる制御を行う。VR映像は、表示部42に表示される。
 タイムシフトデータ記憶領域40Bに記憶させたモーションデータは、VR映像の生放送の際に、配信者の頭部に装着したVR用ヘッドセット、および配信者における両手のコントローラの位置が反映されたデータである。したがって、VR映像の生放送のアバターの動作等を3Dタイムシフト再生として再現することができる。
<3Dタイムシフト再生中のVR生写真生成>
 次に、本実施形態における3Dタイムシフト再生中のVR生写真の生成について説明する。本実施形態においては、3Dタイムシフト再生中に、VR生写真を生成することができる。
 配信者端末3または視聴者端末4においてVR用スタジオアプリケーションに設けられたシャッターボタンが押下されると、VR生写真の生成が開始される。
<配信者端末3における3Dタイムシフト再生中のVR生写真生成>
 配信者端末3においてシャッターボタンが押下されると、配信者端末3のVR生写真生成部31Eは、シャッターボタンが押下された瞬間におけるアバターを含む3D空間全体のデータを切り出し、配信者端末3の記憶部30におけるVR生写真データ記憶領域30Dに記憶させる。
 配信者端末3のVR映像表示制御部31Cは、配信者端末3の記憶部30におけるVR生写真データ記憶領域30Dに記憶させたVR生写真データに基づいて、アバターを含む3D空間全体のVR生写真画像を生成し、表示部33および表示部33に接続したVR用ヘッドセットに表示させる。また、VR映像表示制御部31Cは、VR生写真データに基づいて、3D空間、および存在する場合にはアクセサリおよびコメントのVR生写真画像を生成し、表示部33および表示部33に接続したVR用ヘッドセットに表示させる。
<視聴者端末4における3Dタイムシフト再生中のVR生写真生成>
 3Dタイムシフト再生中に、視聴者端末4においてシャッターボタンが押下されると、視聴者端末4のVR生写真生成部41Eは、シャッターボタンが押下された瞬間におけるアバターを含む3D空間全体のデータを切り出し、視聴者端末4の記憶部40におけるVR生写真データ記憶領域40Aに記憶させる。
 視聴者端末4のVR映像表示制御部41Aは、視聴者端末4の記憶部40におけるVR生写真データ記憶領域40Aに記憶させたVR生写真データに基づいて、アバターを含む3D空間全体のVR生写真画像を生成し、表示部42に表示させる。
 3タイムシフト再生中に生成されたVR生写真画像は、上述したように、キャプチャされたVR映像の1コマを切り取ったものでなく、VR生写真データに基づいて生成したVR画像であるため、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
 さらに、視聴者および配信者は、VR生写真の画角を変化させ、いわゆる引きの画像を視聴することもできる。
 また、本実施形態によれば、配信者端末3および視聴者端末4のそれぞれにタイムシフトデータを保存し、タイムシフトデータに基づくアバターのデータから、ボーンデータおよびモーションデータを用いずに、ポリゴンデータとテクスチャデータだけを切り出してVR生写真データを生成し、配信するので、配信サーバ1の負荷を減らすことができる。
(第4実施形態)
 次に、本発明の第4実施形態について説明する。上述した実施形態においては、VR生写真データを配信する際に、部屋や建物等の3D空間のデータを簡略化することなく配信する態様について説明した。しかし、3D空間のデータのうち、簡略化可能なデータについては簡略化して配信してもよい。
 例えば、3D空間のデータには、上述したような建物だけでなく、建物の周囲の背景が含まれる場合がある。背景については、配信者の位置を所定の基準位置として、所定の基準位置からの距離が所定値以内の近景と、配信者端末3のユーザからの距離が所定値を超える遠景とに分けることができる。
 配信者からの距離が所定値以内の近景については、視聴者からも比較的によく見える背景であるため、上述した実施形態のようにデータを簡略化することなく配信する。しかし、配信者からの距離が所定値を超える遠景については、視聴者からあまりよく見えない背景であるため、データを簡略化することが可能となる。
 第1実施形態のように配信者端末3のVR生写真生成部31Eが、3D空間データをVR生写真データとして配信サーバ1に配信する場合は、VR生写真生成部31Eがデータの簡略化を行う。VR生写真生成部31Eは、配信者からの距離が所定値を超える遠景の3D空間データを、例えば2D平面のVR生写真データとして配信サーバ1に配信する。
 第2実施形態のように配信サーバ1のVR生写真生成部11Dが、3D空間データをVR生写真データとして配信者端末3および視聴者端末4に配信する場合は、VR生写真生成部11Dがデータの簡略化を行う。VR生写真生成部11Dは、配信者からの距離が所定値を超える遠景の3D空間データを、例えば2D平面のVR生写真データとして配信サーバ1に配信する。
 簡略化され得るデータとしては、上述の背景のデータ以外にも、物体化された3Dコメント、部屋内の備品等のアクセサリ、あるいは、投下されたアイテム等が挙げられる。
 本実施形態によれば、VR生写真データが簡略化されたデータを含むので、配信サーバ1の負荷をより一層減らすことができる。
(第5実施形態)
 次に、本発明の第5実施形態について添付図面を参照しつつ説明する。上述した実施形態では、配信者端末3においてレンダリングを行い、VR生写真データを生成する態様について説明した。しかしながら、本発明はこのような態様に限定される訳ではなく、本実施形態のように、配信サーバ1においてレンダリングを行い、VR生写真データを生成するようにしてもよい。
 図15は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図16は、本実施形態における配信者端末の構成を概略的に示すブロック図である。
 図15に示すように、本実施形態の配信サーバ1においては、記憶部10に、アバターデータ記憶領域10Eと、3D空間データ記憶領域10Fとが設けられている。また、本実施形態の配信サーバ1においては、制御部11は、レンダリング部11F、VR映像表示制御部11G、およびVR生写真生成部11Hの機能を有している。
 図16に示すように、本実施形態の配信者端末3においては、記憶部10には、アバターデータ記憶領域30Aと、3D空間データ記憶領域30Bとが設けられていない。制御部11は、レンダリング部31BとVR生写真生成部31Eの機能が備えられていない。
 配信者端末3のユーザである配信者がデータサーバ2から取得したバーチャルキャラクターのアバターのデータは、配信者端末3またはデータサーバ2から配信サーバ1に送信される。また、配信者端末3の配信者がデータサーバ2から取得した3D空間データは、配信者端末3またはデータサーバ2から配信サーバ1に送信される。
 配信者端末3のモーションデータ生成部31Aは、配信者が手や指等に装着したコントローラ、および配信者が頭部に装着したVR用ヘッドセットを用いてモーションキャプチャを行うことにより、配信者の身体各部の座標を計測し、配信者の身体動作を3次元時系列のデータとして表すモーションデータを生成する。また、配信者端末3のモーションデータ生成部31Aは、生成したモーションデータを配信サーバ1に送信する。
 配信者端末3またはデータサーバ2から配信サーバ1に送信されるアバターデータは、配信サーバ1の記憶部10におけるアバターデータ記憶領域10Eに記憶される。また、配信者端末3またはデータサーバ2から配信サーバ1に送信される3D空間データは、配信サーバ1の記憶部10における3D空間データ記憶領域10Fに記憶される。
 配信サーバ1のレンダリング部11Fは、アバターデータ記憶領域30Aに記憶されたアバターのデータと、配信者端末3から送信されたモーションデータとを連動させるレンダリング処理を行う。
 配信サーバ1のVR映像表示制御部11Gは、3D空間データ記憶領域10Fに記憶された3D空間データと、コメントデータ記憶領域10Cに記憶されたコメントデータと、レンダリングされたアバターのデータとを用いて、3D空間内に存在するアバターの3DCGによるVR映像を表示させるためのデータを生成する。また、VR映像表示制御部11Gは、生成したVR映像を表示させるためのデータを、配信者端末3に送信する。
 配信者端末3のVR映像表示制御部31Cは、配信サーバ1から送信されるVR映像を表示させるためのデータを表示させるための制御を行い、VR映像は、配信者端末3の表示部33および表示部33に接続されたVR用のヘッドセットに表示される。
 配信サーバ1のVR生写真生成部11Hは、配信者端末3の入力部34または入力部34に接続されたコントローラ(図示せず)に備えられたシャッターボタンが押下またはクリックされた際に、表示されている3D空間、アバター、およびコメントのVR映像のデータに基づいて、VR生写真データを生成する。また、VR生写真生成部31Eは、視聴者端末4に備えられたシャッターボタンが押下またはクリックされた際にも、VR生写真データを生成する。さらに、配信サーバ1のVR生写真生成部11Hは、VR生写真データを配信者端末3および視聴者端末4に送信する。
 配信者端末3のVR映像表示制御部31Cは、配信サーバ1のVR写真生成部11Jから送信され、VR生写真データ記憶領域30Dに記憶されるVR生写真データに基づいて、VR生写真の映像を表示部33、および表示部33に接続されたVR用ヘッドセットに表示させる。
 同様に、視聴者端末4の制御部41は、配信サーバ1から送信されるVR生写真データを、視聴者端末4の記憶部40におけるVR生写真データ記憶領域40Aに記憶させる。また、視聴者端末4のVR映像表示制御部41Aは、VR生写真データ記憶領域40Aに記憶されたVR生写真データに基づいて、アバターのVR生写真画像を生成し、表示部42に表示させる。また、VR映像表示制御部41Aは、VR生写真データに基づいて、3D空間、および存在する場合にはアクセサリおよびコメントのVR生写真画像を生成し、表示部42に表示させる。
 以上のように、配信サーバ1においてレンダリングを行い、VR生写真データを生成する場合でも、視聴者は、配信者端末3のユーザの動きに対応して動くアバター等の映像と共に、視聴者によって入力され物体化されたコメントを視聴することができる。また、視聴者および配信者は、VR生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
(変形例)
 以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。
 上述した実施形態においては、VR用スタジオアプリケーションによりVR生写真用のシャッターボタンを表示する態様について説明したが、VR生写真用のシャッターボタンを、VR生写真撮影開始カウントダウン用の3Dアイテムとして、3D空間内に表示するようにしてもよい。例えば、看板のような3Dアイテムを3D空間内に表示させ、この3Dアイテムに「撮影準備中」とか「撮影まで後〇秒」とか「シャッターチャンス」などといった文字を表示させてもよい。あるいは、文字以外の表現でもよい。例えば、3D空間中のランプ等のアイテムを表示させ、このアイテムを点滅させてもよい。
 さらに、配信者端末3において表示されるVR用スタジオの3D空間内に、配信者用の操作パネルを表示させ、操作パネルにシャッターボタンあるいは撮影カウントダウン開始ボタンを設けてもよい。また、配信者が使用するコントローラにシャッターボタンあるいは撮影カウントダウン開始ボタンを設けてもよい。
 VR用スタジオアプリケーションが、配信者の所定の動作またはポーズを入力として検知して、画面上に「撮影準備中」とか「撮影まで後〇秒」とか「シャッターチャンス」などといった文字を表示させてもよい。あるいは、アイコンなどでこれらの状況を報知してもよい。
 上述した実施形態においては、VR生写真を配信者端末3または視聴者端末4において視聴する態様について説明したが、例えば、配信者が、VR生写真のデータをアバター用プラットホームにアップロードできるようにしてもよい。
 上述した実施形態においては、全ての視聴者端末4にVR生写真データを配信する態様について説明したが、視聴者のうち、課金した視聴者、あるいは当選した視聴者等に対してのみ、VR生写真データを提供するようにしてもよい。また、直接にVR生写真データを配信するのではなく、VR生写真を閲覧可能なURLを教えるなどの方法でもよい。
 上述した実施形態においては、VR生写真を配信者端末3および視聴者端末4においてそれぞれ独立して視聴する態様について説明したが、配信者が、VR映像の生放送中に、放送画面にVR生写真を映すようにしてもいい。
 VR生写真は、多少の加工またはエフェクトを加えたり、あるいはバーチャルキャラクターに名前をつけて、その名前のサインをVR生写真に加えたりしてもよい。また、VR生写真にタイムスタンプを付加してもよい。さらに、3D空間内の備品の一部をランダムで変更してVR生写真データを生成してもよい。また、誰の番組かがわかるように、番組タイトル、またはウォーターマーク等をVR生写真データに埋め込んでもよい。
 上述した実施形態では、配信サーバ1およびデータサーバ2を物理的に別々に存在するサーバとして構成した態様について説明した。しかしながら、本発明はこのような態様に限定される訳ではなく、これらのサーバを全て一つのサーバで構成してもよいし、いずれか2種類のサーバを一つのサーバで構成してもよい。
 以上の態様に係る各サーバのプログラム、並びに配信者端末3および視聴者端末4のアプリケーションプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、通信網を介した配信の形態で前述のプログラムを提供してコンピュータにインストールすることも可能である。
 以上、本発明の実施形態に係るVR生放送配信システム、配信サーバ、配信サーバの制御方法、およびVR生写真データのデータ構造について説明したが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々の変更が可能である。
 本発明は、VR動画配信サービスの分野に利用可能である。
1    配信サーバ
2    データサーバ
3    配信者端末
4    視聴者端末
5    ネットワーク
10   記憶部
10A  VR映像データ記憶領域
10B  VR生写真データ記憶領域
10C  コメントデータ記憶領域
11   制御部
11A  VR映像データ配信部
11B  VR生写真データ配信部
11C  コメントデータ配信部
12   通信部
60   VR生写真データ
61   アバターデータ
61A  ポリゴンデータ
61B  テクスチャデータ
62   オブジェクトデータ
62A  3D空間データ
62B  アクセサリデータ
62C  コメントデータ

Claims (9)

  1.  配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムであって、
     前記配信者端末および前記視聴者端末に備えられ、配信者または視聴者からのVR生写真の撮影指示を入力する撮影指示入力部と、
     前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
     前記撮影指示に基づいて、前記アバターを含む前記3次元空間全体の外観のデータを構築する外観データ構築部と、
     前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
     前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するVR生写真データ配信部と、
     前記配信者端末および前記視聴者端末に備えられ、
     前記VR生写真を表示する表示部と、
    を備えるVR生放送配信システム。
  2.  前記VR生写真データ配信部は、前記3次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記VR生写真のデータに含めて配信する、
    請求項1に記載のVR生放送配信システム。
  3.  配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした映像、および前記アバターが存在する3次元空間の映像を含むVR映像を生放送で配信するVR生放送配信システムにおける配信サーバであって、
     前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、前記アバターを含む前記3次元空間全体の外観のデータを構築する外観データ構築部と、
     前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するVR生写真データ配信部と、を備える、
    配信サーバ。
  4.  前記VR生写真データ配信部は、前記3次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記VR生写真のデータに含めて配信する、
    請求項3に記載の配信サーバ。
  5.  前記VR映像をキャプチャしたキャプチャ映像を前記配信者端末から受信する映像受信部と、
     前記キャプチャ映像を前記視聴者端末に配信する映像配信部と、を備える、
    請求項3または請求項4に記載の配信サーバ。
  6.  前記視聴者端末から送信される視聴者のコメントを受信するコメント受信部と、
     前記受信したコメントを記憶するコメント記憶部と、
     前記受信したコメントを前記視聴者端末に配信するコメント配信部と、を備える、
    請求項3ないし請求項5のいずれか1項に記載の配信サーバ。
  7.  配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおける配信サーバの制御方法であって、
     前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記3次元空間全体の外観のデータを構築するステップと、
     VR生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するステップと、を備える、
    配信サーバの制御方法。
  8.  配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおける配信サーバのプログラムであって、前記プログラムは、コンピュータに、
     前記配信者端末または前記視聴者端末からのVR生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記3次元空間全体の外観のデータを構築するステップと、
     VR生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記3次元空間全体の外観のデータを、前記VR生写真のデータとして配信するステップと、を実行させる、
    配信サーバのプログラム。
  9.  配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした3次元コンピュータグラフィックスの映像と、前記アバターが存在する3次元空間の3次元コンピュータグラフィックスの映像とを少なくとも含むVR(バーチャル・リアリティ)映像を生放送で配信するVR生放送配信システムにおいて、前記配信者端末または前記配信サーバから配信されるVR生写真データのデータ構造であって、
     前記アバターを含む前記3次元空間全体の外観のデータを少なくとも備える、
    VR生写真データのデータ構造。
PCT/JP2019/041677 2019-03-27 2019-10-24 Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造 WO2020194821A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980094819.XA CN113646752B (zh) 2019-03-27 2019-10-24 Vr直播发布系统、发布服务器、发布服务器的控制方法、发布服务器程序的计算机可读存储介质、以及vr原始照片数据的处理方法
US17/598,825 US11995768B2 (en) 2019-03-27 2019-10-24 VR live broadcasting distribution system, distribution server, control method for distribution server control method, program for distribution server, and data structure of VR picture data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019059898A JP6581742B1 (ja) 2019-03-27 2019-03-27 Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造
JP2019-059898 2019-03-27

Publications (1)

Publication Number Publication Date
WO2020194821A1 true WO2020194821A1 (ja) 2020-10-01

Family

ID=68053511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041677 WO2020194821A1 (ja) 2019-03-27 2019-10-24 Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造

Country Status (4)

Country Link
US (1) US11995768B2 (ja)
JP (1) JP6581742B1 (ja)
CN (1) CN113646752B (ja)
WO (1) WO2020194821A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
US11995768B2 (en) 2019-03-27 2024-05-28 Dwango Co., Ltd. VR live broadcasting distribution system, distribution server, control method for distribution server control method, program for distribution server, and data structure of VR picture data

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541932B (zh) * 2020-04-30 2022-04-12 广州方硅信息技术有限公司 直播间的用户形象展示方法、装置、设备及存储介质
CN112423020B (zh) * 2020-05-07 2022-12-27 上海哔哩哔哩科技有限公司 动作捕捉数据分发、获取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222698A (ja) * 1997-02-12 1998-08-21 Matsushita Electric Ind Co Ltd 3次元仮想空間の通信装置、および通信方法
JP2009093478A (ja) * 2007-10-10 2009-04-30 Yahoo Japan Corp 仮想空間放送装置
JP2009301477A (ja) * 2008-06-17 2009-12-24 Yahoo Japan Corp コンテンツ編集装置、方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3633452B2 (ja) * 2000-07-14 2005-03-30 日本電気株式会社 3次元仮想空間における動きのある3次元広告システム及び方法並びに記録媒体
JP4137923B2 (ja) * 2005-07-11 2008-08-20 富士通株式会社 画像表示方法および装置
US20100231590A1 (en) * 2009-03-10 2010-09-16 Yogurt Bilgi Teknolojileri A.S. Creating and modifying 3d object textures
US8572177B2 (en) * 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
GB2536061B (en) * 2015-03-06 2017-10-25 Sony Interactive Entertainment Inc System, device and method of 3D printing
US20180348531A1 (en) * 2017-05-31 2018-12-06 Colopl, Inc. Method executed on computer for controlling a display of a head mount device, program for executing the method on the computer, and information processing apparatus therefor
JP6581742B1 (ja) 2019-03-27 2019-09-25 株式会社ドワンゴ Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222698A (ja) * 1997-02-12 1998-08-21 Matsushita Electric Ind Co Ltd 3次元仮想空間の通信装置、および通信方法
JP2009093478A (ja) * 2007-10-10 2009-04-30 Yahoo Japan Corp 仮想空間放送装置
JP2009301477A (ja) * 2008-06-17 2009-12-24 Yahoo Japan Corp コンテンツ編集装置、方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995768B2 (en) 2019-03-27 2024-05-28 Dwango Co., Ltd. VR live broadcasting distribution system, distribution server, control method for distribution server control method, program for distribution server, and data structure of VR picture data
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP2022188335A (ja) * 2021-06-09 2022-12-21 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
US11694389B2 (en) 2021-06-09 2023-07-04 Cluster, Inc Avatar output device, terminal device, avatar output method, and program
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP2023004403A (ja) * 2021-06-25 2023-01-17 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム

Also Published As

Publication number Publication date
JP2020162004A (ja) 2020-10-01
CN113646752B (zh) 2024-04-19
US20220180601A1 (en) 2022-06-09
JP6581742B1 (ja) 2019-09-25
CN113646752A (zh) 2021-11-12
US11995768B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
WO2020194821A1 (ja) Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造
US11861059B2 (en) System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
US10565802B2 (en) Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
US10896322B2 (en) Information processing device, information processing system, facial image output method, and program
US12002223B2 (en) Digital representation of multi-sensor data stream
US20160320833A1 (en) Location-based system for sharing augmented reality content
US11956408B2 (en) Information processing system, information processing method, and storage medium
US20080158242A1 (en) Virtual image preservation
US20200288202A1 (en) Video display system, information processing apparatus, and video display method
JP7324659B2 (ja) Vr生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびvr生写真データのデータ構造
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
WO2022014170A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP7275480B2 (ja) Vrにおける多人数同時操作システム、方法、およびプログラム
WO2023188022A1 (ja) 画像生成装置、画像生成方法、及びプログラム
CN113016010B (zh) 信息处理系统、信息处理方法和存储介质
JP7250721B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
US12041218B2 (en) Three-dimensional content distribution system, three-dimensional content distribution method and computer program
JP6931375B2 (ja) 送信装置および送信方法、プログラム
US20230047123A1 (en) Video Processing Systems and Methods
US20210400255A1 (en) Image processing apparatus, image processing method, and program
US20210211632A1 (en) Three-dimensional content distribution system, three-dimensional content distribution method and computer program
JP2001126082A (ja) ネットワークを用いる映画制作装置
WO2023081213A1 (en) Video processing systems and methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920843

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920843

Country of ref document: EP

Kind code of ref document: A1