WO2022190919A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022190919A1
WO2022190919A1 PCT/JP2022/008144 JP2022008144W WO2022190919A1 WO 2022190919 A1 WO2022190919 A1 WO 2022190919A1 JP 2022008144 W JP2022008144 W JP 2022008144W WO 2022190919 A1 WO2022190919 A1 WO 2022190919A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
image
user
performer
control unit
Prior art date
Application number
PCT/JP2022/008144
Other languages
English (en)
French (fr)
Inventor
拓馬 堂前
淳一 田中
和治 田中
正章 松原
康範 松井
Original Assignee
ソニーグループ株式会社
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, 株式会社ソニー・インタラクティブエンタテインメント filed Critical ソニーグループ株式会社
Priority to US18/276,807 priority Critical patent/US20240114181A1/en
Publication of WO2022190919A1 publication Critical patent/WO2022190919A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a video is generated from an arbitrary viewpoint (free viewpoint) according to user operations in a virtual space in which a 3D model is placed, and provided to the user.
  • the user can view the video (image and sound) of the virtual space using a display device such as a smartphone, tablet terminal, television device, or a non-transmissive HMD (Head Mounted Display) that covers the entire field of view.
  • a display device such as a smartphone, tablet terminal, television device, or a non-transmissive HMD (Head Mounted Display) that covers the entire field of view.
  • Patent Literature 1 relates to the production control of an event carried out in a virtual three-dimensional space. is disclosed.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can switch the appearance of a performer in a virtual space to enhance entertainment.
  • a control unit that performs control for outputting information about an image of a user's viewpoint in a virtual space is provided, and the control unit controls the situation of one or more users in the virtual space, or the situation of the virtual space according to the detection result of, switching the display corresponding to the performer included in the image between the actual image generated based on the captured image of the performer and the character image corresponding to the performer. Suggest.
  • the processor performs control to output information about an image of a user's viewpoint in the virtual space, and furthermore, the situation of one or more users in the virtual space, or the situation of the virtual space.
  • information including performing control to switch display corresponding to the performer included in the image between a live-action image generated based on the captured image of the performer and a character image corresponding to the performer according to the detection result. Suggest a treatment method.
  • a computer is caused to function as a control unit that performs control for outputting information about an image of a user's viewpoint in a virtual space, and the control unit controls the situation of one or more users in the virtual space, or the According to the detection result of the situation in the virtual space, the display corresponding to the performer included in the image is controlled to switch between the actual image generated based on the captured image of the performer and the character image corresponding to the performer.
  • FIG. 10 is a diagram illustrating switching of appearances of performers in an event held in a virtual space according to the present embodiment; It is a block diagram which shows an example of a structure of the delivery server by this embodiment. It is a block diagram which shows an example of a structure of the user terminal by this embodiment.
  • FIG. 10 is a sequence diagram showing an example of the flow of operation processing when distributing a VR event that is performed in real time according to the present embodiment;
  • FIG. 4 is a sequence diagram showing an example of the flow of operation processing when distributing a recorded VR event according to the embodiment; It is a block diagram which shows an example of a structure of the user terminal by the modification of this embodiment.
  • FIG. 11 is a sequence diagram showing an example of the flow of operation processing when live-delivering a VR event according to this modified example of this embodiment.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure. As shown in FIG. 1, the information processing system according to this embodiment has a user terminal 10, a distribution server 20, a performer terminal 30, a rendering server 40, and an event management terminal 50.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure. As shown in FIG. 1, the information processing system according to this embodiment has a user terminal 10, a distribution server 20, a performer terminal 30, a rendering server 40, and an event management terminal 50.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure. As shown in FIG. 1, the information processing system according to this embodiment has a user terminal 10, a distribution server 20, a performer terminal 30, a rendering server 40, and an event management terminal 50.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure. As shown in FIG. 1, the information processing system according to this embodiment has
  • the distribution server 20 is an information processing device that manages the virtual space (VR: Virtual Reality) in which the 3D model is placed, and distributes video from any viewpoint (performer's viewpoint or user's viewpoint) in the virtual space.
  • the distribution server 20 may be a distribution system consisting of multiple servers.
  • the user terminal 10 is an information processing terminal used by a user, such as a smart phone, a tablet terminal, a PC (personal computer), a non-transmissive HMD (Head Mounted Display) that covers the entire field of view, and a transmissive glasses-type device. , a projector, or the like.
  • the user terminal 10 outputs (display output, audio output) video data (image) and audio of the user's viewpoint in the virtual space received from the distribution server 20 . Also, the user terminal 10 acquires input information from the user for the virtual space and transmits it to the distribution server 20 .
  • the distribution server 20 changes the user's viewpoint (the position and direction of the virtual camera) in the virtual space according to input information from the user, and reflects it on the 3D object in the virtual space.
  • a user avatar that acts as an alter ego of the user may exist in the virtual space.
  • a user avatar is included in a 3D object placed in a virtual space, and is generated by, for example, a character 3D model.
  • the user avatar moves, changes facial expressions, and moves according to input information from the user.
  • the user's viewpoint in the virtual space (the position and direction of the virtual camera) may be the viewpoint of the user avatar, or may be the viewpoint that fits the user avatar within the angle of view.
  • the performer terminal 30 acquires input information from the performer and transmits it to the distribution server 20.
  • the virtual space there is a performer avatar that acts as an alter ego of the performer, and the performer avatar moves, changes facial expressions, and moves according to input information from the performer.
  • a performer avatar is included in a 3D object placed in the virtual space.
  • the input information transmitted to the distribution server 20 includes, for example, motion data (including movements of hands and feet, movements of the head, facial expressions, changes in posture, etc.) indicating movements of the performer, and voice data.
  • a performer avatar is generated from 3D model data, and by applying the performer's motion data, the performer avatar can be moved.
  • Motion data is acquired, for example, by a motion capture camera 31 that captures images of a performer in real space.
  • a motion capture camera 31 that captures images of a performer in real space.
  • the motion data of the performer may be acquired by various sensors (acceleration sensor, gyro sensor, etc.) attached to the performer.
  • the performer's motion data may be obtained by combining various sensors and cameras.
  • the voice data is acquired by the microphone 32 worn by the performer himself, held by the performer, or placed around the performer in the real space. It should be noted that voices picked up by a plurality of microphones 32 arranged in real space may be synthesized and transmitted to the distribution server 20 .
  • musical instruments played by the performers, audio data (acoustic data) output from CD players, digital players, etc. are also transmitted from the performer terminals 30 to the distribution server 20 as audio data provided by the performers.
  • the audio data transmitted from the performer terminal 30 to the distribution server 20 may be audio obtained by individually adjusting various sound sources using a mixer arranged in real space and then mixing them.
  • the event management terminal 50 is an information processing terminal that is used when operating the progress and effects of an event that is held in the virtual space.
  • the event management terminal 50 is operated by, for example, an event manager.
  • the event administrator may be the performer himself or may be a person other than the performer. People involved in holding an event, including performers and administrators who appear in the event, are also widely referred to as distributors.
  • the video and audio of the event held in the virtual space can be transmitted from the distribution server 20 to the event management terminal 50 .
  • the event video may be video from multiple viewpoints in the virtual space. For example, it may be an image (performer's viewpoint image) of audience seats (for example, an area where user avatars are arranged) that can be seen from the stage at an event venue held in a virtual space. Also, the image may be an image of the stage viewed from the front, side, or top. Alternatively, the image may be a video in which the entire event venue including the stage and the audience seats can be seen.
  • Such an event video may be displayed on the display unit of the event management terminal 50, or may be displayed on the performer's side display device 51 arranged at a position where the performer can easily see in the real space. Also, a plurality of performer-side display devices 51 may be prepared, and event images in the virtual space from different viewpoints may be displayed. By looking at the performer-side display device 51, the performer can confirm in real time the state of the audience (user avatar) in the virtual space, the state of the stage, the state of the performer's avatar, and the like.
  • a 3D model of the performer is used as an avatar of the performer using a technique (for example, volumetric capture technology) that converts the performer, who is the subject, into 3DCG based on a large number of photographed images (captured images) of the performer. It is also possible to generate it and place it in the virtual space.
  • Data for generating the live-action 3D model may be acquired by the live-action 3D camera 33 .
  • the live-action 3D cameras 33 are installed, for example, in dozens around the performer in real space, and photograph the performer from various angles.
  • the photographed data (imaging data) is transmitted from the performer terminal 30 to the rendering server 40, and the rendering server 40 generates a photographed 3D model.
  • the rendering server 40 may be a cloud server composed of multiple servers. Then, the live-action 3D model generated by the rendering server 40 is output to the distribution server 20 .
  • the live-action 3D camera 33 according to the present embodiment captures a live-action video
  • the rendering server 40 generates a live-action 3D model based on the captured data of the live-action video
  • the delivery server 20 generates a live-action 3D model in the virtual space. placement can be done in real time.
  • FIG. 2 is a diagram explaining the switching of the performer's appearance in the event held in the virtual space according to this embodiment.
  • the left side of FIG. 2 shows an image 700 when the actor avatar is displayed as the character 3D model 7a
  • the right side of FIG. 2 shows an image 710 when the actor avatar is displayed as the live-action 3D model 7b.
  • the switching between displaying the actor avatar as the character 3D model 7a and the live-action 3D model 7b may be arbitrarily (individually) performed for each user, or may be uniformly controlled by the distributor. . Further, the switching may be automatically controlled according to the situation of the user avatar in the virtual space or the situation of the event held in the virtual space.
  • FIG. 3 is a block diagram showing an example of the configuration of the distribution server 20 according to this embodiment.
  • the distribution server 20 is a server that communicates and connects with the user terminal 10, the rendering server 40, and the event management terminal 50 via a network.
  • the distribution server 20 may be a cloud server composed of multiple servers.
  • the distribution server 20 has a communication section 210, a control section 220, and a storage section 230.
  • the communication unit 210 transmits and receives data to and from an external device by wire or wirelessly.
  • the communication unit 210 is, for example, wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile communication network (LTE (Long Term Evolution), 4G (4th generation mobile communication system), 5G (fifth-generation mobile communication system)), etc., to communicate with the user terminal 10, the rendering server 40, and the event management terminal 50.
  • control unit 220 functions as an arithmetic processing device and a control device, and controls overall operations within the distribution server 20 according to various programs.
  • the control unit 220 is implemented by an electronic circuit such as a CPU (Central Processing Unit), a microprocessor, or the like.
  • the control unit 220 may also include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 220 also functions as a virtual space management unit 221, a virtual space information provision unit 222, and a performer display switching control unit 223.
  • the virtual space management unit 221 manages the virtual space. Specifically, the virtual space management unit 221 acquires, adds, updates, etc. various types of information (information on 3D objects placed in the virtual space, etc.) for creating (constructing) the virtual space. For example, the virtual space management unit 221 appropriately reflects input information transmitted from the user terminal 10, the performer terminal 30, the rendering server 40, and the event management terminal 50 in the virtual space. For example, the virtual space management unit 221 moves the limbs and posture of the user's user avatar placed in the virtual space, or moves the position of the user avatar back and forth, left and right (user's viewpoint) according to input information from the user terminal 10 . The position of the virtual camera corresponding to is also changed accordingly).
  • the virtual space management unit 221 controls the implementation of the event in the virtual space according to information transmitted from the event management terminal 50 .
  • Events held in the virtual space are assumed to include, for example, concerts, lectures, plays, festivals, and other various events.
  • the virtual space management unit 221 grasps the IDs, positions, and the like of performers and each user avatar in the virtual space.
  • the virtual space information providing unit 222 provides information on the virtual space to the user terminal 10 and the event management terminal 50.
  • the virtual space information may be information stored in the storage unit 230, or may be information generated by the virtual space information providing unit 222 based on information stored in the storage unit 230. . More specifically, the virtual space information may be video data from the user's viewpoint in the virtual space. Video data from each user's viewpoint in the virtual space is continuously transmitted to each user terminal 10 in real time (so-called VR streaming distribution) and displayed on each user terminal 10, so that multiple users can share the same virtual space. can be shared and viewed at the same time.
  • the virtual space information may be data for generating a video from the user's viewpoint in the virtual space.
  • the data for generating the video from the user's viewpoint in the virtual space includes, for example, the position/posture information of each 3D object (including performers and other users' avatars) placed in the virtual space, and the user's viewpoint in the virtual space. three-dimensional position coordinates of a virtual camera corresponding to .
  • Such data is continuously transmitted to each user terminal 10 in real time, and an image from the user's viewpoint is generated and displayed in each user terminal 10 in real time, so that a plurality of users can share the same virtual space. can be viewed at the same time.
  • the user terminal 10 can acquire information for building a virtual space from the distribution server 20 in advance before participating in the event, and build the virtual space locally.
  • the distribution server 20 continuously transmits virtual space update information (such as information on changes in the virtual space), and the user terminal 10 updates the locally constructed virtual space based on the update information. Update.
  • the user terminal 10 can control the position and direction of the virtual camera in the locally constructed virtual space according to the input information from the user, and generate and display the image of the user's viewpoint.
  • the performer display switching control unit 223 controls switching between displaying the performer avatar in the virtual space as a character 3D model or as a live-action 3D model.
  • the switching may be performed according to an instruction from the user, or may be performed according to an instruction from the distributor.
  • the performer display switching control unit 223 may automatically control switching when at least one of the conditions of one or more user avatars in the virtual space and the status of an event held in the virtual space satisfies the conditions. good. Note that switching between the character 3D model and the actual 3D model may be controlled for each user.
  • the character 3D model may be seen in the field of view of a certain user (image of the user's viewpoint in the virtual space), while the actual 3D model may be seen in the field of view of another user.
  • an effect display
  • the switching trigger As described above, one example is an instruction from a user.
  • the user operates the user terminal 10 to explicitly instruct switching by selecting a switching button displayed on the screen, operating a controller, performing a predetermined gesture, or the like.
  • the user may issue an instruction to switch the virtual camera corresponding to the user's viewpoint to a specified camera (one of the virtual cameras) set for live-action viewing.
  • the performer display switching control unit 223 may perform switching when the user avatar performs some challenge in the virtual space and succeeds (when a hit is determined, when a condition is satisfied, etc.). For example, when the user avatar throws some item and hits the performer avatar, it may be switched for a certain period of time.
  • the user avatar may be switched for a certain period of time according to the amount of billing performed in the virtual space. Moreover, it may be the case that the text amount of the cheering message sent by the user to the performers during the event exceeds a predetermined value.
  • the performer display switching control unit 223 may control switching between the character 3D model and the live-action 3D model for each user. does not affect the user's field of vision).
  • the performer display switching control unit 223 may perform switching when the situation of one or more user avatars in the virtual space satisfies a predetermined condition.
  • a predetermined condition is not particularly limited, it may be, for example, a case where it is detected that a certain number of user avatars have made the same movement. Alternatively, it may be detected that a certain number of user avatars simultaneously perform actions specified by the performer. Also, the excitement of all the event participants in the virtual space (magnitude of movement of the user avatar, jumps, amount of applause, etc.) may be set as a predetermined condition. Moreover, it may be the case that the text amount of messages of support sent from all users to the performer during the event exceeds a predetermined value.
  • the actor display switching control unit 223 may control all users to uniformly switch between the character 3D model and the live-action 3D model. (A sense of unity among participants is born).
  • the performer display switching control unit 223 may perform switching according to the situation of the event being held in the virtual space. For example, when a specific effect occurs at an event, or during a specific time period (such as during the chorus) of a predetermined song played (reproduced) at the event, the performer display switching control unit 223 switches between the character 3D model and the live-action image. You may switch with a 3D model.
  • the performer display switching control unit 223 switches the stage background and the background of the event venue to a virtual background (background generated by 3DCG) or a live-action background (real-life 2D model) in conjunction with switching between the character 3D model and the live-action 3D model. /3D video).
  • the live-action background can be pre-generated.
  • the virtual space information providing unit 222 According to the switching control by the performer display switching control unit 223 described above, the virtual space information providing unit 222 generates an image in which the display of the performer avatar is switched to the character 3D model or the live-action 3D model, and transmits it to the user terminal 10. .
  • the data of the character 3D model is stored in the storage unit 230 of the distribution server 20, and the virtual space information providing unit 222 creates a 3D model of the character arranged in the virtual space based on the motion data transmitted from the performer terminal 30. You can move the model in real time.
  • the live-action 3D model can be generated in real time by the rendering server 40 and transmitted to the distribution server 20 .
  • the character 3D model and the live-action 3D model are associated with the corresponding performer's ID and standing position (3D coordinate position).
  • the virtual space information providing unit 222 may transmit an instruction to switch the display of the performer avatar to the user terminal 10.
  • the data is transmitted to the user terminal 10.
  • the data to be displayed may include an “instruction to switch the display of the performer avatar”.
  • data of the performer's character 3D model is transmitted to the user terminal 10 in advance (before the event starts, etc.), and by transmitting real-time motion data of the performer to the user terminal 10, the user terminal 10 can create a virtual space. You may make it possible to move the character 3D model placed in .
  • the virtual space information providing unit 222 may continuously transmit data including the live-action 3D model in the data to be transmitted to the user terminal 10, or may transmit only while switching to the live-action 3D model is being performed. You may do so.
  • the storage unit 230 is implemented by a ROM (Read Only Memory) that stores programs and calculation parameters used in the processing of the control unit 220, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate. According to this embodiment, the storage unit 230 stores information on the virtual space.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • distribution server 20 may be realized by a plurality of devices.
  • control unit 220 may generate the photographed 3D model by the rendering server 40 .
  • at least part of the functions of the control unit 220 may be performed by the user terminal 10 .
  • FIG. 4 is a block diagram showing an example of the configuration of the user terminal 10 according to this embodiment.
  • the user terminal 10 has a communication section 110 , a control section 120 , an operation input section 130 , a sensor section 140 , a display section 150 , a speaker 160 and a storage section 170 .
  • the communication unit 110 communicates with the distribution server 20 by wire or wirelessly to transmit and receive data.
  • the communication unit 110 is, for example, a wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), infrared communication, or a mobile communication network (4G (fourth generation mobile communication system), Communication using 5G (fifth generation mobile communication system) or the like can be performed.
  • control unit 120 functions as an arithmetic processing device and a control device, and controls overall operations within the user terminal 10 according to various programs.
  • the control unit 120 is realized by an electronic circuit such as a CPU (Central Processing Unit), a microprocessor, or the like.
  • the control unit 120 may also include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 120 controls transmission of input information (operation input information, motion data, etc.) for the virtual space input from the operation input unit 130 and the sensor unit 140 from the communication unit 110 to the distribution server 20. .
  • the control unit 120 inputs input information (operations) to the virtual space based on information acquired from external devices such as a sensor device worn by the user, cameras arranged around the user, and a controller held by the user.
  • input information, motion data, etc. may be transmitted to the user terminal 10 .
  • the user input information transmitted to the distribution server 20 may include an instruction to switch the display of the performer avatar.
  • the control unit 120 can also function as the virtual space image display control unit 121.
  • the virtual space image display control unit 121 performs control to display on the display unit 150 the video data of the user's viewpoint in the virtual space transmitted from the distribution server 20 (so-called VR streaming distribution).
  • the virtual space image display control unit 121 generates and displays video data of the user's viewpoint in the virtual space based on information for generating video data of the user's viewpoint in the virtual space, which is transmitted from the distribution server 20. It controls the display on the unit 150 .
  • the virtual space image display control unit 121 may build the virtual space locally based on the information received from the distribution server 20 (update based on the update information continuously transmitted from the distribution server 20 in real time). conduct).
  • the virtual space image display control unit 121 also controls input information (operation input information, motion data, etc.) may be transmitted to the distribution server 20 (for synchronization) and may control the motion and movement of the user avatar placed in the locally constructed virtual space.
  • control unit 120 also performs control for reproducing, from the speaker 160, the audio data transmitted from the distribution server 20 together with the video data of the user's viewpoint in the virtual space.
  • Operation input unit 130 receives an operation instruction from the user and outputs the operation content to control unit 120 .
  • the operation input unit 130 may be, for example, a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 130 may be a physical configuration such as buttons, switches, and levers.
  • the sensor unit 140 has a function of sensing, for example, the user's position (three-dimensional position coordinates, two-dimensional position coordinates, movement information, etc.), limb movements, posture, head direction, line-of-sight direction, or facial expression. . More specifically, the sensor unit 140 includes a position information acquisition unit, a camera (inward/outward camera), a microphone, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, and a biosensor (pulse, heartbeat, perspiration, detection of blood pressure, body temperature, respiration, myoelectric value, electroencephalogram, etc.).
  • the sensor unit 140 may have a sensor capable of detecting a total of 9 axes including a 3-axis gyro sensor, a 3-axis acceleration sensor, and a 3-axis geomagnetic sensor. Further, the sensor unit 140 may be a line-of-sight detection sensor (infrared sensor) that detects the user's line of sight.
  • a sensor capable of detecting a total of 9 axes including a 3-axis gyro sensor, a 3-axis acceleration sensor, and a 3-axis geomagnetic sensor.
  • the sensor unit 140 may be a line-of-sight detection sensor (infrared sensor) that detects the user's line of sight.
  • the display unit 150 has a function of displaying video data (image) of the user's viewpoint in the virtual space.
  • the display unit 150 may be a display panel such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.
  • the display unit 150 may be implemented by a non-transmissive HMD that covers the entire field of view. In this case, the display unit 150 displays the image for the left eye and the image for the right eye on the left and right screens respectively fixed to the left and right eyes of the user.
  • the screen of the display unit 150 is composed of, for example, a display panel such as a liquid crystal display (LCD) or an organic EL display, or a laser scanning display such as a retinal direct drawing display.
  • the display unit 150 may include an imaging optical system that enlarges and projects the display screen and forms an enlarged virtual image having a predetermined angle of view on the user's pupil.
  • Speaker 160 outputs audio data under the control of control unit 120 .
  • the speaker 160 may be configured as headphones worn on the user's head, or may be configured as earphones or bone conduction speakers.
  • the storage unit 170 is implemented by a ROM (Read Only Memory) that stores programs, calculation parameters, and the like used in the processing of the control unit 120, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 170 may store, for example, user avatar information (character 3D model data), or virtual space information received from the distribution server 20.
  • the configuration of the user terminal 10 is not limited to the example shown in FIG.
  • the user terminal 10 may be realized by multiple devices. Specifically, an output device realized by an HMD or the like (at least corresponding to the display unit 150 and the speaker 160) and an information processing terminal realized by a smartphone, a tablet terminal, a PC or the like (at least corresponding to the control unit 120) It may be realized by a system configuration including
  • the user terminal 10 may be a non-wearable device such as a smartphone or a tablet terminal.
  • FIG. 5 is a sequence diagram showing an example of the flow of operation processing when distributing a VR event in real time according to this embodiment.
  • the performer terminal 30 transmits a live-action 3D captured image of the performer captured by the live-action 3D camera 33 to the rendering server 40 (step S103).
  • the rendering server 40 generates a live-action 3D model of the performer based on the received captured image (step S106), and transmits data of the generated live-action 3D model to the distribution server 20 (step S109).
  • the performer terminal 30 transmits the performer's motion capture data (hereinafter also referred to as motion data) acquired by the motion capture camera 31 to the distribution server 20 (step S112).
  • motion data the performer's motion capture data acquired by the motion capture camera 31
  • the performer terminal 30 transmits the voice data of the performer picked up by the microphone 32 to the distribution server 20 (step S115).
  • steps S103 to S109, the process shown in S112, and the process shown in S115 described above can all be continuously performed in parallel (while the event is being held).
  • various information about the performer acquired in real time is transmitted to the distribution server 20 .
  • the virtual space management unit 221 updates the virtual space information based on these pieces of information.
  • input information from the event management terminal 50 is also sent to the distribution server 20 as appropriate.
  • the input information from the event management terminal 50 includes, for example, input information relating to the progress of the event, input information relating to production, and instructions for switching the display of performer avatars.
  • the user terminal 10 transmits the input information from the user to the distribution server 20 (step S118).
  • the input information from the user is, for example, operation input information, real-time motion data of the user, and the like. Such input information is used, for example, to control the position, posture, etc. of the user avatar placed in the virtual space.
  • the distribution server 20 receives such input information from the user terminals 10 of all users participating in the event.
  • the virtual space management unit 221 updates the virtual space information based on these pieces of information.
  • the virtual space information providing unit 222 of the distribution server 20 generates an image (video data) of the user's viewpoint in the virtual space (step S121).
  • a user viewpoint can be calculated from the position and direction of a virtual camera placed in the virtual space.
  • a large number of virtual cameras may be arranged in the virtual space and associated with each user.
  • a large number of virtual cameras may be arranged in the spectator seating area of the event venue held in the virtual space.
  • a virtual camera is not rendered in virtual space.
  • the image from the user's viewpoint may be an image that includes the entire user avatar within the angle of view, or an image that can be seen from the user avatar's eyes (the user avatar's hand or the like may be included in the field of view).
  • Information for drawing the user avatar may be transmitted in advance from the user terminal 10 to the distribution server 20, or the character 3D model provided by the distribution server 20 may be used.
  • the performer display switching control unit 223 of the distribution server 20 detects the user avatar and event status in the virtual space (step S124).
  • the performer display switching control unit 223 switches the display of the performer avatar (switching between the live-action 3D model and the character 3D model) (step S127).
  • the performer display switching control unit 223 performs processing for switching the display of the performer avatar included in the image of the user's viewpoint generated in step S121 from the live-action 3D model to the character 3D model, or from the character 3D model to the live-action 3D model. .
  • the virtual space information providing unit 222 performs the process of generating the image from the user's viewpoint in step S121. may be performed (that is, the process shown in step S121 may be performed after the process shown in step S127).
  • the switching may be performed according to the user's operation instruction. Also, if the detection result does not satisfy the conditions, the display of the performer avatar is not switched. For example, if the default is a character 3D model, the character 3D model remains displayed.
  • the virtual space information providing unit 222 transmits the user's viewpoint image (video data) and audio data in the virtual space to the user terminal 10 (step S130).
  • the virtual space image display control unit 121 of the user terminal 10 displays an image of the user's viewpoint in the virtual space and outputs audio data (step S133).
  • steps S103 to S133 described above are repeated until the distribution of the VR event is completed.
  • the operation processing shown in FIG. 5 is an example, and the present disclosure is not limited to the example shown in FIG.
  • the present disclosure is not limited to the order of steps shown in FIG. At least some of the steps may be processed in parallel or in reverse order. Also, not all the processes shown in FIG. 5 are necessarily executed.
  • the user terminal 10 may generate an image of the user's viewpoint in the virtual space.
  • the distribution server 20 transmits data for generating an image of the user's viewpoint in the virtual space to the user terminal 10 in step S130.
  • data includes, for example, information on the virtual space (information on each 3D object placed in the virtual space (including information on other user avatars)), the position of the virtual camera corresponding to the user's point of view, and switching of the display of the performer avatar.
  • information, motion data of the performer, live-action 3D models of the performer, etc. may be included.
  • the data of the character 3D model of the performer avatar may be downloaded to the user terminal 10 in advance.
  • VR content data includes data of various 3D objects that make up a VR event (3D data of characters of performers, 3D data of characters for user avatars (general participants) set by the distributor, data of various items, etc.). , background data, and other parameter data.
  • the VR content data includes video data at the time of the event in the virtual space (for example, the visual field image of a specific virtual camera viewpoint), audio data, data of the live-action 3D model of the performer, motion data of the performer, and related to the progress and production of the event. Input information etc. are included. All of these are chronological data from the start of the event to the end of the event.
  • the distribution server 20 can distribute VR events based on pre-recorded and stored VR content data. Even in the distribution of such a recorded VR event, the distribution server 20 can generate video data from the user's viewpoint in the virtual space in real time and distribute it to the user terminal 10 .
  • the user avatar moves in the virtual space or changes the line-of-sight direction in response to input information from the user terminal 10 (for example, input information such as changes in head orientation, positional movement, and line-of-sight direction). It is also possible to
  • FIG. 6 is a sequence diagram showing an example of the flow of operation processing when distributing a recorded VR event according to this embodiment.
  • the distribution server 20 first calls the recorded VR content data (VR event data) in the virtual space (step S203).
  • the distribution server 20 transmits the actual 3D model data (temporal data) of the VR event to the user terminal 10 (step S206), and the user terminal 10 saves the received data (step S209).
  • some data of the VR event is sent to the user terminal 10 in advance. You can download it.
  • the user terminal 10 transmits the input information from the user to the distribution server 20 (step S212).
  • the input information from the user is, for example, operation input information, real-time motion data of the user, and the like. Such input information is used, for example, to control the position, posture, etc. of the user avatar placed in the virtual space.
  • the distribution server 20 receives such input information from the user terminals 10 of all users participating in the event.
  • the virtual space management unit 221 updates the virtual space information based on these pieces of information.
  • the virtual space information providing unit 222 of the distribution server 20 generates an image (video data) of the user's viewpoint in the virtual space (step S215).
  • a user viewpoint can be calculated from the position and direction of a virtual camera placed in the virtual space.
  • a large number of virtual cameras may be arranged in the virtual space and associated with each user.
  • a large number of virtual cameras may be arranged in the spectator seating area of the event venue held in the virtual space.
  • the pre-recorded VR event is, for example, a performer avatar that moves on the stage of the event venue in the virtual space, the voice of the performer, the sound of the venue, the production, etc.
  • user avatars that reflect the real-time movements of each user (viewer) at the time of distribution of the recorded VR event.
  • the performer display switching control unit 223 of the distribution server 20 detects the user avatar and event status in the virtual space (step S218).
  • the actor display switching control unit 223 switches the display of the actor avatar (switching between the live-action 3D model and the character 3D model) (step S221).
  • the performer display switching control unit 223 performs processing for switching the display of the performer avatar included in the image of the user's viewpoint generated in step S215 from the live-action 3D model to the character 3D model, or from the character 3D model to the live-action 3D model. .
  • the virtual space information providing unit 222 performs the process of generating the image from the user's viewpoint in step S215. may be performed (that is, the process shown in step S215 may be performed after the process shown in step S221).
  • the switching may be performed according to the user's operation instruction. Also, if the detection result does not satisfy the conditions, the display of the performer avatar is not switched. For example, if the default is a character 3D model, the character 3D model remains displayed.
  • the virtual space information providing unit 222 transmits the user's viewpoint image (video data) and audio data in the virtual space to the user terminal 10 (step S224).
  • the distribution of the user's viewpoint image (video data) and audio data by the virtual space information providing unit 222 may be so-called streaming distribution.
  • the virtual space image display control unit 121 of the user terminal 10 displays an image of the user's viewpoint in the virtual space and outputs audio data (step S227).
  • step S206 if the user terminal 10 is allowed to download the data of the live-action 3D model of the performer in advance, the virtual space information providing unit 222 of the distribution server 20, in step S224 above, An instruction to switch to the actual 3D model may be transmitted together with the viewpoint image and audio data.
  • the virtual space image display control unit 121 of the user terminal 10 switches (synthesizes) the display of the performer avatar appearing in the image of the user's viewpoint in the virtual space received from the distribution server 20 to the live-action 3D model obtained in advance. to display.
  • the virtual space image display control unit 121 Since the data of the photographed 3D model acquired in advance is chronological data, the virtual space image display control unit 121 synthesizes the image of the photographed 3D model synchronized in time based on the information of the elapsed time from the start of the event, for example. It is possible.
  • the 3D model data of the performer's character and the motion data may be downloaded to the user terminal 10 in advance (before the event starts).
  • the distribution server 20 transmits information (for example, performer ID and 3D coordinate information) may be transmitted, and the user terminal 10 may superimpose the display of the performer avatar (character 3D model or live-action 3D model) on the received image of the user's viewpoint in the virtual space.
  • the data of the live-action 3D model is not downloaded to the user terminal 10 in advance, and the distribution server 20 sends the image and voice data of the user's viewpoint in the virtual space to the user terminal 10 only during the control to switch to the live-action 3D model.
  • Data of the live-action 3D model may be transmitted.
  • the user terminal 10 performs a process of switching (synthesizing) the display of the actor avatar appearing in the image of the user's viewpoint to the received live-action 3D model and displays it.
  • the distribution server 20 generates an image of the user's viewpoint in the virtual space, but the present disclosure is not limited to this.
  • the user terminal 10 downloads information (including VR event data) for building a virtual space in advance (before the event starts), and the user terminal 10 generates an image from the user's viewpoint in the virtual space.
  • the user terminal 10 continuously transmits user input information (motion data of the user avatar, etc.) to the distribution server 20, and receives motion data of other user avatars, etc. from the distribution server 20.
  • the distribution server 20 may As a result, the real-time movement of each user avatar at the event venue is shared with all event participants.
  • FIG. 7 is a block diagram showing an example of the configuration of a user terminal 10' according to a modified example of this embodiment.
  • the configuration shown in FIG. 7 differs from the configuration shown in FIG. 4 in that it includes a control section 120 ′ that also functions as a virtual space image display control section 121 and a performer display switching control section 122 . Since other configurations are the same as those in FIG. 4, detailed description thereof is omitted here.
  • the performer display switching control unit 122 switches between displaying the performer avatar in the virtual space as a character 3D model or as a photographed 3D model, similarly to the performer display switching control unit 223 described with reference to FIG. to control.
  • the switching may be performed according to an instruction from the user, or may be performed according to an instruction from the distributor.
  • the performer display switching control unit 122 may automatically control switching according to the situation of one or more user avatars in the virtual space or the situation of an event held in the virtual space. More detailed examples of these are given above.
  • FIG. 8 is a sequence diagram showing an example of the flow of operation processing when live-distributing a VR event according to this modification.
  • steps S303 to S321 shown in FIG. 8 is the same as the processing shown in steps S103 to S121 shown in FIG.
  • the distribution server 20 transmits the image (video data) of the user's viewpoint in the virtual space and the audio data to the user terminal 10 (step S324).
  • the distribution server 20 may also transmit information used for switching control, which will be described later, such as information on all user avatars present at the event site and information on the event status.
  • transmission of the image from the user's viewpoint from the distribution server 20 to the user terminal 10 may be so-called live streaming distribution.
  • the distribution server 20 may also perform live streaming distribution of live-action 3D model data so that the display of the performer avatar can be switched on the user terminal 10' side as appropriate.
  • the performer display switching control unit 122 of the user terminal 10 detects the user avatar and event status in the virtual space (step S327).
  • the actor display switching control unit 122 switches the display of the actor avatar (switching between the live-action 3D model and the character 3D model) (step S330). Specifically, the performer display switching control unit 122 changes the display of the performer avatar included in the image of the user's viewpoint received from the distribution server 20 from the live-action 3D model to the character 3D model, or from the character 3D model to the live-action 3D model. Perform switching processing.
  • the distribution server 20 distributes actor motion data (data applied to the character 3D model) and live-action 3D model data in real time, and the user terminal 10 can switch the display of the actor avatar as appropriate.
  • the data of the actor's character 3D model is downloaded to the user terminal 10 in advance.
  • the user avatar in the virtual space and the state of the event are detected and the display of the performer avatar is switched. good too. Also, if the detection result does not satisfy the conditions, the display of the performer avatar is not switched. For example, if the default is a character 3D model, the character 3D model may be displayed.
  • the virtual space image display control unit 121 of the user terminal 10 displays an image of the user's viewpoint in the virtual space and outputs audio data (step S333).
  • the processing shown in step S321 may be performed by the virtual space image display control unit 121 of the user terminal 10.
  • the user terminal 10 can download information for building a virtual space in advance from the distribution server 20, locally build the virtual space, and locally generate an image from the user's viewpoint.
  • the information of the event held in the virtual space (three-dimensional position information of the performer, motion data of the performer, live-action 3D model of the performer, information regarding the performance, audio data, etc.) is continuously distributed in real time. , synchronizes with the virtual space locally constructed by the user terminal 10 .
  • the user terminal 10 may continuously transmit user input information (motion data of the user avatar, etc.) to the distribution server 20 and receive motion data, etc.
  • the performer display switching control unit 122 locally determines whether to switch the display of the performer avatar according to the user's operation instruction, the status of the user avatar, the status of the event, and the like.
  • the virtual space image display control unit 121 switches the display of the performer avatar according to the judgment of the performer display switching control unit 122, and then performs the generation processing of the image of the user's viewpoint in the virtual space and controls the display.
  • a live-action image of a performer and a character image corresponding to the performer are distributed from the server to the user terminal.
  • a live action image of a performer or a character image is displayed on the display of a first user terminal (eg, television device, PC, screen, etc.).
  • the user holds a second user terminal (for example, a smart phone, a tablet terminal, a transmissive spectacle-type device, etc.) over the first user terminal, and through-displays the captured image on the display of the first user terminal.
  • the corresponding character image is displayed superimposed on the live-action image of the performer appearing on the display of the first user terminal.
  • a live-action image of the corresponding performer is superimposed on the character image shown on the display of the first user terminal.
  • live-action images or character images of the performers may be associated with each other based on positional information such as standing positions of the performers.
  • control of superimposing a live-action image of the performer or a character image by holding a smartphone or the like over the target can also be realized in the virtual space.
  • a live-action image or a character image may be displayed on the display screen of the virtual smartphone.
  • the functions of the user terminal 10, the user terminal 10', or the distribution server 20 can be exerted on the hardware such as the CPU, ROM, and RAM built in the user terminal 10, the user terminal 10', or the distribution server 20 described above.
  • a computer program can also be written to do so.
  • a computer-readable storage medium storing the computer program is also provided.
  • a control unit that performs control to output information about the image of the user's viewpoint in the virtual space
  • the control unit A live-action image generated based on a captured image of a performer included in the image according to the situation of one or more users in the virtual space or the detection result of the situation of the virtual space.
  • An information processing device that controls switching between an image and a character image corresponding to the performer.
  • the information processing device (4) The information processing device according to (3), wherein the specific situation in the event is occurrence of a specific production or a specific time period in a piece of music. (5) When at least one of the conditions of the one or more users and the situation of the virtual space satisfies the conditions, the control unit switches the display corresponding to the performer to the live-action image or the character image. 1) The information processing apparatus according to any one of (4). (6) The photographed image is a photographed image including three-dimensional information of the performer, The information processing apparatus according to any one of (1) to (5), wherein the character image is an image of a three-dimensional character model that moves based on three-dimensional motion capture data of the performer.
  • the control unit performs control to output information related to the image of the user's viewpoint in an event held in real time in the virtual space or an event recorded in advance in the virtual space, wherein (1) to ( The information processing apparatus according to any one of 6).
  • the information processing device according to any one of (1) to (7), wherein the control unit performs control to output information about the image of the user's viewpoint to a user terminal.
  • the control unit switches the display corresponding to the performer included in the image of the user's viewpoint for each user participating in the event held in the virtual space or uniformly for all users. , the information processing apparatus according to any one of the above (1) to (8).
  • control unit controls display output of an image of a user's viewpoint in the virtual space on a display unit based on information received from a server that distributes information on the virtual space;
  • the information processing device according to claim 1.
  • control unit performs control to switch display corresponding to the performer included in the image of the user's viewpoint between the live-action image and the character image based on an operation instruction from the user. processing equipment.
  • the processor Including controlling output of information about the image of the user's viewpoint in the virtual space, Further, a display corresponding to the performer included in the image is generated based on the captured image of the performer according to the situation of one or more users in the virtual space or the detection result of the situation of the virtual space.
  • a method of information processing including controlling switching between a live-action image that corresponds to the performer and a character image that corresponds to the performer.
  • the computer Functioning as a control unit for controlling output of information about the image of the user's viewpoint in the virtual space
  • the control unit A live-action image generated based on a captured image of a performer included in the image according to the situation of one or more users in the virtual space or the detection result of the situation of the virtual space.
  • a server that distributes information about a virtual space, and a user terminal that displays an image from the user's viewpoint in the virtual space
  • the server is a control unit that controls transmission of information about the image of the user's viewpoint to the user terminal;
  • the control unit A live-action image generated based on a captured image of a performer included in the image according to the situation of one or more users in the virtual space or the detection result of the situation of the virtual space.
  • a system that controls switching between an image and a character image corresponding to the performer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年普及しているＶＲ（Virtual　Reality）の技術では、３Ｄモデルが配置された仮想空間内におけるユーザ操作に応じた任意の視点（自由視点）からの映像が生成され、ユーザに提供される。ユーザは、スマートフォンやタブレット端末、テレビ装置、視界全体を覆う非透過型のＨＭＤ（Head　Mounted　Display）等の表示装置を用いて、仮想空間の映像（画像および音声）を視聴することができる。
　仮想空間での体験をより楽しむためのことの１つとして、仮想空間で行われるイベントに複数のユーザが同時に参加することが挙げられる。例えば下記特許文献１では、仮想３次元空間内で実施されるイベントの演出制御に関し、イベントに参加する複数の参加者の鑑賞位置（仮想カメラの位置）に対して、特別な演出を制御することが開示されている。
特開２０１８－９４３２６号公報
　仮想空間で行われるイベントとしては、例えばアニメやゲーム等のキャラクターによるコンサート等も想定されるが、近年は、キャラクターの人気もさることながら、当該キャラクターを演じている演者（リアルの人間）の人気も高まっている。しかしながら、仮想空間における演者の姿は、演者用のアバター、すなわち所定のキャラクター３Ｄモデル（３次元の立体として生成されたモデルデータ）に固定されている。
　そこで、本開示では、仮想空間における演者の姿を切り替えてエンターテインメント性を高めることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置を提案する。
　本開示によれば、プロセッサが、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラムを提案する。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による仮想空間で行われるイベントにおける演者の姿の切り替えについて説明する図である。 本実施形態による配信サーバの構成の一例を示すブロック図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態によるリアルタイムで行っているＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。 本実施形態による収録されたＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。 本実施形態の変形例によるユーザ端末の構成の一例を示すブロック図である。 本実施形態の本変形例によるＶＲイベントをライブ配信する際の動作処理の流れの一例を示すシーケンス図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．動作処理
　　３－１．ライブ配信時の動作処理
　　３－２．収録配信時の動作処理
　４．変形例
　　４－１．切り替え制御をユーザ端末で行う場合
　　４－２．ＡＲへの適用
　５．補足
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザ端末１０、配信サーバ２０、演者端末３０、レンダリングサーバ４０、およびイベント管理用端末５０を有する。
　配信サーバ２０は、３Ｄモデルが配置される仮想空間（ＶＲ：Virtual　Reality）の管理、および、仮想空間における任意の視点（演者視点やユーザ視点）からの映像の配信を行う情報処理装置である。配信サーバ２０は、複数のサーバから成る配信システムであってもよい。
　ユーザ端末１０は、ユーザに利用される情報処理端末であって、例えばスマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）、視界全体を覆う非透過型のＨＭＤ（Head　Mounted　Display）、透過型のメガネ型デバイス、プロジェクター等により実現される。ユーザ端末１０は、配信サーバ２０から受信した仮想空間におけるユーザ視点の映像データ（画像）および音声を出力（表示出力、音声出力）する。また、ユーザ端末１０は、仮想空間に対するユーザからの入力情報を取得し、配信サーバ２０に送信する。配信サーバ２０は、ユーザからの入力情報に応じて仮想空間におけるユーザ視点（仮想カメラの位置、方向）を変化させたり、仮想空間の３Ｄオブジェクトに反映させたりする。また、仮想空間には、ユーザの分身となるユーザアバターが存在していてもよい。ユーザアバターは、仮想空間に配置される３Ｄオブジェクトに含まれ、例えばキャラクター３Ｄモデルにより生成される。ユーザアバターは、ユーザからの入力情報に従って動いたり、表情を変えたり、移動したりする。仮想空間におけるユーザ視点（仮想カメラの位置、方向）は、ユーザアバターの視点であってもよいし、ユーザアバターを画角内に収める視点であってもよい。
　演者端末３０は、演者からの入力情報を取得し、配信サーバ２０に送信する。仮想空間には、演者の分身となる演者アバターが存在し、演者からの入力情報に従って演者アバターが動いたり、表情を変えたり、移動したりする。演者アバターは、仮想空間に配置される３Ｄオブジェクトに含まれる。配信サーバ２０に送信される入力情報は、例えば演者の動きを示すモーションデータ（手足の動き、頭部の動き、顔の表情、姿勢の変化等を含む）や、音声データが挙げられる。例えば演者アバターは３Ｄモデルデータにより生成されており、演者のモーションデータを当てはめることで、演者アバターを動かすことができる。
　モーションデータは、例えば実空間において演者を撮像するモーションキャプチャカメラ３１により取得される。なお、本実施形態では一例としてモーションデータがカメラにより取得される場合について説明するが、これに限定されない。例えば演者のモーションデータは、演者に装着された各種センサ（加速度センサ、ジャイロセンサ等）により取得されてもよい。また、演者のモーションデータは、各種センサとカメラを組み合わせて取得されてもよい。
　音声データは、実空間において演者自身に装着されたり、演者が把持したり、演者の周囲に配置されたマイク３２により取得される。なお、実空間に配置された複数のマイク３２により収音された音声を合成して配信サーバ２０に送信されてもよい。また、演者が演奏する楽器や、ＣＤプレーヤー、デジタルプレーヤー等から出力される音声データ（音響データ）も、演者側から提供される音声データとして演者端末３０により配信サーバ２０に送信される。また、演者端末３０から配信サーバ２０に送信される音声データは、実空間に配置されたミキサーにより各種音源を個別に調整した上で混合（ミックス）した音声であってもよい。
　イベント管理用端末５０は、仮想空間内で実施されるイベントの進行や演出を操作する際に用いられる情報処理端末である。イベント管理用端末５０は、例えばイベントの管理者により操作される。イベントの管理者は、演者自身であってもよいし、演者とは別の人物であってもよい。イベントに出演する演者や管理者も含め、イベントの開催に関わる者を広く配信者側とも称する。
　また、イベント管理用端末５０には、配信サーバ２０から、仮想空間で実施されるイベントの映像および音声が送信され得る。イベント映像は、仮想空間における複数視点からの映像であってもよい。例えば、仮想空間で実施されるイベントの会場において、ステージ上から見える観客席（例えばユーザアバターが配置されているエリア）の映像（演者視点の映像）であってもよい。また、ステージを正面や横、上から見る映像であってもよい。また、ステージと観客席を含むイベント会場全体が見える映像であってもよい。かかるイベント映像は、イベント管理用端末５０の表示部に表示されてもよいし、実空間において演者の見易い位置等に配置された演者側表示装置５１に表示されてもよい。また、演者側表示装置５１が複数用意され、それぞれ異なる視点の仮想空間におけるイベント映像が表示されてもよい。演者は、演者側表示装置５１を見て仮想空間内の観客（ユーザアバター）の様子や、ステージの様子、自身が演じる演者アバターの様子等をリアルタイムで確認することができる。
　また、本実施形態では、演者を撮像した多数の実写映像（撮像画像）に基づいて被写体である演者を３ＤＣＧ化する技術（例えばVolumetric　Capture技術）を用いて、演者の実写３Ｄモデルを演者アバターとして生成し、仮想空間に配置することも可能である。実写３Ｄモデルを生成するためのデータは、実写３Ｄ用カメラ３３により取得され得る。実写３Ｄ用カメラ３３は、実空間において、例えば演者の周囲に数十台設置され、様々な角度から演者を撮影する。撮影されたデータ（撮像データ）は、演者端末３０によりレンダリングサーバ４０に送信され、レンダリングサーバ４０において実写３Ｄモデルが生成される。レンダリングサーバ４０は、複数のサーバから成るクラウドサーバであってもよい。そして、レンダリングサーバ４０により生成された実写３Ｄモデルは、配信サーバ２０に出力される。また、本実施形態による実写３Ｄ用カメラ３３による実写映像の撮影、レンダリングサーバ４０による当該実写映像の撮像データに基づく実写３Ｄモデルの生成、および、配信サーバ２０での実写３Ｄモデルの仮想空間内での配置は、リアルタイムに行われ得る。
　（課題の整理）
　上述したように、近年では、アニメやゲーム等のキャラクターの人気もさることながら、当該キャラクターを演じている演者（リアルの人間）の人気も高まっている。しかしながら、仮想空間における演者の姿は、対応付けられたアバター（キャラクター３Ｄモデル）に固定されている。
　そこで、本開示による情報処理システムでは、仮想空間における演者の姿を切り替えることで、エンターテインメント性を高めることを可能とする。
　図２は、本実施形態による仮想空間で行われるイベントにおける演者の姿の切り替えについて説明する図である。図２左には、演者アバターがキャラクター３Ｄモデル７ａで表示されている場合の映像７００を示し、図２右には、演者アバターが実写３Ｄモデル７ｂで表示されている場合の映像７１０を示す。演者アバターをキャラクター３Ｄモデル７ａで表示するか実写３Ｄモデル７ｂで表示するかの切り替えは、ユーザ毎に任意に（個別に）行われてもよいし、配信者側で一律に制御されてもよい。また、仮想空間におけるユーザアバターの状況や、仮想空間で行われるイベントの状況に応じて、自動的に切り替えが制御されてもよい。
　以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
　＜＜２．構成例＞＞
　＜２－１．配信サーバ２０の構成例＞
　図３は、本実施形態による配信サーバ２０の構成の一例を示すブロック図である。配信サーバ２０は、ネットワークを介してユーザ端末１０、レンダリングサーバ４０、およびイベント管理用端末５０と通信接続するサーバである。配信サーバ２０は、複数のサーバから成るクラウドサーバであってもよい。
　図３に示すように、配信サーバ２０は、通信部２１０、制御部２２０、および記憶部２３０を有する。
　（通信部２１０）
　通信部２１０は、有線または無線により外部装置とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いて、ユーザ端末１０や、レンダリングサーバ４０、イベント管理用端末５０と通信接続する。
　（制御部２２０）
　制御部２２０は、演算処理装置および制御装置として機能し、各種プログラムに従って配信サーバ２０内の動作全般を制御する。制御部２２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２２０は、仮想空間管理部２２１、仮想空間情報提供部２２２、および演者表示切り替え制御部２２３としても機能する。
　仮想空間管理部２２１は、仮想空間の管理を行う。具体的には、仮想空間管理部２２１は、仮想空間を生成（構築）するための各種情報（仮想空間に配置される３Ｄオブジェクトの情報等）の取得、追加、更新等を行う。例えば仮想空間管理部２２１は、ユーザ端末１０や、演者端末３０、レンダリングサーバ４０、およびイベント管理用端末５０から送信される入力情報を、適宜、仮想空間に反映させる。例えば、仮想空間管理部２２１は、ユーザ端末１０からの入力情報に従って、仮想空間に配置される当該ユーザのユーザアバターの手足や姿勢を動かしたり、ユーザアバターの位置を前後左右に移動させる（ユーザ視点に対応する仮想カメラの位置も追随して変化させる）。また、仮想空間管理部２２１は、イベント管理用端末５０から送信される情報に従って、仮想空間におけるイベントの実施を制御する。なお、仮想空間で実施されるイベントとは、例えば、コンサートや、講演会、演劇、祭り、その他各種催し物が想定される。また、仮想空間管理部２２１は、仮想空間における演者や各ユーザアバターのＩＤ、位置等を把握する。
　仮想空間情報提供部２２２は、仮想空間の情報を、ユーザ端末１０やイベント管理用端末５０に提供する。仮想空間の情報とは、記憶部２３０に格納されている情報であってもよいし、記憶部２３０に格納されている情報に基づいて仮想空間情報提供部２２２が生成した情報であってもよい。より具体的には、仮想空間の情報とは、仮想空間におけるユーザ視点での映像データであってもよい。仮想空間における各ユーザ視点での映像データが継続的にリアルタイムで各ユーザ端末１０に送信され（所謂ＶＲストリーミング配信）、各ユーザ端末１０において表示されることで、複数のユーザが、同一の仮想空間を共有して同時に視聴することができる。
　また、仮想空間の情報とは、仮想空間におけるユーザ視点での映像を生成するためのデータであってもよい。仮想空間におけるユーザ視点での映像を生成するためのデータとは、例えば、仮想空間に配置される各３Ｄオブジェクト（演者や他ユーザのアバターを含む）の位置・姿勢情報や、仮想空間におけるユーザ視点に対応する仮想カメラの３次元位置座標等が挙げられる。このようなデータが継続的にリアルタイムで各ユーザ端末１０に送信され、各ユーザ端末１０においてユーザ視点の映像をリアルタイムに生成し、表示することで、複数のユーザが、同一の仮想空間を共有して同時に視聴することができる。なお、ユーザ端末１０は、イベントに参加する前に予め配信サーバ２０から仮想空間を構築するための情報を取得し、ローカルで仮想空間を構築することも可能である。この場合、イベント中は、配信サーバ２０から継続的に仮想空間の更新情報（仮想空間の変化の情報等）が送信され、ユーザ端末１０は、更新情報に基づいて、ローカルで構築した仮想空間を更新する。また、ユーザ端末１０は、ユーザからの入力情報に従って、ローカルで構築した仮想空間内における仮想カメラの位置・方向を制御し、ユーザ視点の映像を生成し、表示し得る。
　演者表示切り替え制御部２２３は、仮想空間における演者アバターを、キャラクター３Ｄモデルで表示するか、実写３Ｄモデルで表示するかの切り替えを制御する。切り替えは、ユーザからの指示に従って行われてもよいし、配信者側からの指示に従って行われてもよい。また、演者表示切り替え制御部２２３は、仮想空間における１以上のユーザアバターの状況および仮想空間で行われるイベントの状況の少なくともいずれかが条件を満たした場合に、自動的に切り替えを制御してもよい。なお、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替わりは、ユーザ毎に制御されてもよい。すなわち、あるユーザの視界（仮想空間におけるユーザ視点の映像）ではキャラクター３Ｄモデルで見えている一方、他のユーザの視界では実写３Ｄモデルで見えているようにしてもよい。これにより、各ユーザの好みにあった演出（表示）を実現することができ、また、一ユーザによる切り替え指示を他ユーザに影響させないようにすることができる。一方、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを、全ユーザに対して一律に制御することも可能である。これにより、例えばイベント中における特定のタイミングで、キャラクター３Ｄモデルが見えていた状況から、全ユーザに対して一斉に実写３Ｄモデルで見えるよう切り替えるといった演出を実現することもできる。
　本実施形態による切り替えのトリガについて詳述する。上述したように、一例として、ユーザからの指示が挙げられる。例えばユーザは、ユーザ端末１０を操作して、画面上に表示される切り替えボタンを選択したり、コントローラを操作したり、所定のジェスチャを行ったり等することで、切り替えを明示的に指示する。また、ユーザは、ユーザ視点に対応する仮想カメラを、実写視聴用として設定された指定カメラ（仮想カメラの一つ）に切り替える指示を行ってもよい。または、ユーザアバターが仮想空間内で何らかのチャレンジを行って成功した場合（当たり判定が出た場合、条件を満たした場合等）に、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。例えば、ユーザアバターが何らかのアイテムを投げて演者アバターに当たった場合に、一定時間切り替わるようにしてもよい。また、ユーザアバターが仮想空間内で行った課金額に応じて一定時間切り替わるようにしてもよい。また、ユーザがイベント中に演者に対して送った応援メッセージのテキスト量が所定値を超えた場合であってもよい。なお、ユーザによる個別の指示や動き等によって演者アバターの表示を切り替える場合、演者表示切り替え制御部２２３は、ユーザ毎にキャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行うよう制御してもよい（他ユーザの視界には影響を与えない）。
　また、他の例として、仮想空間における１以上のユーザアバターの状況が所定の条件を満たした場合に、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。所定の条件については特に限定しないが、例えば、一定数のユーザアバターが同じ動きを行ったことを検知した場合であってもよい。また、演者が指定した動作を一定数のユーザアバターが同時に行ったことを検知した場合であってもよい。また、仮想空間におけるイベント参加者全体の盛り上がり（ユーザアバターの動きの大きさ、ジャンプ、拍手の多さ等）を所定の条件としてもよい。また、全ユーザからイベント中に演者に送られた応援メッセージのテキスト量が所定値を超えた場合であってもよい。また、イベント参加者（イベントの観客席に居るユーザアバター数）が所定値を超えた場合であってもよい。なお、多数のユーザアバターの状況によって演者アバターの表示を切り替える場合、演者表示切り替え制御部２２３は、全ユーザに対して一律にキャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行うよう制御してもよい（参加者の一体感が生まれる）。
　また、他の例として、仮想空間で実施されているイベントの状況に応じて、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。例えば、イベントにおいて特定の演出が発生した場合や、イベントで演奏（再生）される所定の楽曲における特定の時間帯（サビの間など）に、演者表示切り替え制御部２２３は、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行ってもよい。
　また、演者表示切り替え制御部２２３は、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えに併せて、ステージ背景や、イベント会場の背景も、仮想背景（３ＤＣＧにより生成した背景）または実写背景（実写の２Ｄ／３Ｄ映像）に切り替えるようにしてもよい。実写背景は、予め生成され得る。
　以上説明した演者表示切り替え制御部２２３による切り替え制御に応じて、仮想空間情報提供部２２２は、演者アバターの表示をキャラクター３Ｄモデルまたは実写３Ｄモデルに切り替えた映像を生成し、ユーザ端末１０に送信する。キャラクター３Ｄモデルのデータは、配信サーバ２０の記憶部２３０に格納されており、仮想空間情報提供部２２２は、演者端末３０から送信されるモーションデータに基づいて、仮想空間内に配置されるキャラクター３Ｄモデルをリアルタイムで動かすことができる。また、実写３Ｄモデルは、レンダリングサーバ４０においてリアルタイムに生成され、配信サーバ２０に送信され得る。キャラクター３Ｄモデルおよび実写３Ｄモデルは、対応する演者のＩＤや立ち位置（３Ｄ座標位置）に対応付けられる。
　または、仮想空間情報提供部２２２は、演者アバターの表示の切り替え指示をユーザ端末１０に送信してもよい。例えば仮想空間情報提供部２２２が、仮想空間におけるユーザ視点の映像を生成するためのデータをユーザ端末１０に送信しており、ユーザ端末１０で映像の生成を行っている場合、ユーザ端末１０に送信するデータに、「演者アバターの表示の切り替え指示」を含めてもよい。この場合、演者のキャラクター３Ｄモデルのデータは予め（イベント開始前等）ユーザ端末１０に送信しておき、リアルタイムの演者のモーションデータをユーザ端末１０に送信することで、ユーザ端末１０において、仮想空間に配置されるキャラクター３Ｄモデルを動かせるようにしてもよい。また、仮想空間情報提供部２２２は、ユーザ端末１０に送信するデータに、実写３Ｄモデルも含めて継続的に送信してもよいし、実写３Ｄモデルへの切り替えが行われている間だけ送信するようにしてもよい。
　（記憶部２３０）
　記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。本実施形態により記憶部２３０は、仮想空間の情報を格納する。
　以上、配信サーバ２０の構成について具体的に説明したが、本開示による配信サーバ２０の構成は図３に示す例に限定されない。例えば、配信サーバ２０は、複数の装置により実現されてもよい。また、レンダリングサーバ４０による実写３Ｄモデルの生成を制御部２２０が行ってもよい。また、制御部２２０による機能の少なくとも一部をユーザ端末１０が行ってもよい。
　＜２－２．ユーザ端末１０の構成例＞
　図４は、本実施形態によるユーザ端末１０の構成の一例を示すブロック図である。図４に示すように、ユーザ端末１０は、通信部１１０、制御部１２０、操作入力部１３０、センサ部１４０、表示部１５０、スピーカ１６０、および記憶部１７０を有する。
　（通信部１１０）
　通信部１１０は、有線または無線により、配信サーバ２０と通信接続してデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。
　（制御部１２０）
　制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１０内の動作全般を制御する。制御部１２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　本実施形態による制御部１２０は、操作入力部１３０やセンサ部１４０から入力された仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、通信部１１０から配信サーバ２０に送信する制御を行う。また、制御部１２０は、ユーザが身につけているセンサ装置や、ユーザの周囲に配置されたカメラ、ユーザが把持するコントローラ等の外部装置から取得した情報に基づいて、仮想空間に対する入力情報（操作入力情報、モーションデータ等）をユーザ端末１０に送信してもよい。配信サーバ２０に送信するユーザの入力情報には、演者アバターの表示の切り替え指示が含まれている場合もある。
　また、制御部１２０は、仮想空間画像表示制御部１２１としても機能し得る。仮想空間画像表示制御部１２１は、配信サーバ２０から送信された（所謂ＶＲストリーミング配信）、仮想空間におけるユーザ視点の映像データを、表示部１５０に表示する制御を行う。
　または、仮想空間画像表示制御部１２１は、配信サーバ２０から送信された、仮想空間におけるユーザ視点の映像データを生成するための情報に基づいて、仮想空間におけるユーザ視点の映像データを生成し、表示部１５０に表示する制御を行う。仮想空間画像表示制御部１２１は、配信サーバ２０から受信した情報に基づいて、仮想空間をローカルで構築してもよい（配信サーバ２０から継続的にリアルタイムで送信される更新情報に基づいて更新も行う）。また、仮想空間画像表示制御部１２１は、操作入力部１３０やセンサ部１４０、またはユーザが身に着けているセンサ装置や把持しているコントローラ等から取得される、仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、配信サーバ２０に送信すると共に（同期のため）、ローカルで構築した仮想空間に配置されるユーザアバターの動きや移動を制御してもよい。
　なお、制御部１２０は、配信サーバ２０から、仮想空間におけるユーザ視点の映像データと共に送信される音声データを、スピーカ１６０から再生する制御も行う。
　（操作入力部１３０）
　操作入力部１３０は、ユーザによる操作指示を受付け、その操作内容を制御部１２０に出力する。操作入力部１３０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１３０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
　（センサ部１４０）
　センサ部１４０は、例えばユーザの位置（３次元位置座標、２次元位置座標、移動情報等）、手足の動き、姿勢、頭部の向き、視線方向、または顔の表情等をセンシングする機能を有する。より具体的には、センサ部１４０は、位置情報取得部、カメラ（内向き／外向きカメラ）、マイク（マイクロホン）、加速度センサ、角速度センサ、地磁気センサ、および生体センサ（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波等の検知）等であってもよい。また、センサ部１４０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１４０は、ユーザの視線を検出する視線検出センサ（赤外線センサ）であってもよい。
　（表示部１５０）
　表示部１５０は、仮想空間におけるユーザ視点の映像データ（画像）を表示する機能を有する。例えば表示部１５０は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示パネルであってもよい。また、表示部１５０は、視界全体を覆う非透過型のＨＭＤにより実現されてもよい。この場合、表示部１５０は、ユーザの左右の眼にそれぞれ固定された左右の画面において、左眼用画像および右眼用画像を表示する。表示部１５０の画面は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１５０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
　（スピーカ１６０）
　スピーカ１６０は、制御部１２０の制御に従って、音声データを出力する。スピーカ１６０は、例えばユーザ端末１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成されてもよいし、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
　（記憶部１７０）
　記憶部１７０は、制御部１２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　本実施形態による記憶部１７０には、例えばユーザアバターの情報（キャラクター３Ｄモデルのデータ）が格納されていてもよいし、配信サーバ２０から受信した仮想空間の情報が格納されていてもよい。
　以上、ユーザ端末１０の構成について具体的に説明したが、本開示によるユーザ端末１０の構成は図４に示す例に限定されない。例えば、ユーザ端末１０は、複数の装置により実現されてもよい。具体的には、ＨＭＤ等により実現される出力装置（少なくとも表示部１５０およびスピーカ１６０に対応）と、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理端末（少なくとも制御部１２０に対応）とを含むシステム構成により実現されてもよい。
　また、ユーザ端末１０は、スマートフォンやタブレット端末等の非装着型のデバイスであってもよい。
　＜＜３．動作処理＞＞
　次に、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
　＜３－１．ライブ配信時の動作処理＞
　まず、演者がリアルタイムで行っているＶＲイベントを配信する際の動作処理について、図５を参照して説明する。図５は、本実施形態によるリアルタイムで行っているＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
　図５に示すように、まず、演者端末３０は、実写３D用カメラ３３により撮像した演者の実写３Ｄ用の撮像画像をレンダリングサーバ４０に送信する（ステップＳ１０３）。
　次に、レンダリングサーバ４０は、受信した撮像画像に基づいて、演者の実写３Ｄモデルを生成し（ステップＳ１０６）、生成した実写３Ｄモデルのデータを配信サーバ２０に送信する（ステップＳ１０９）。
　また、演者端末３０は、モーションキャプチャカメラ３１により取得した演者のモーションキャプチャデータ（以下、モーションデータとも称する）を、配信サーバ２０に送信する（ステップＳ１１２）。
　また、演者端末３０は、マイク３２により収音した演者の音声データを、配信サーバ２０に送信する（ステップＳ１１５）。
　以上説明したステップＳ１０３～Ｓ１０９に示す処理と、Ｓ１１２に示す処理と、Ｓ１１５に示す処理は、全て（イベントを実施している間中）継続的に並行して行われ得る。これにより、演者のリアルタイムに取得される各種情報が、配信サーバ２０に送信される。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。なお、図５には図示していないが、イベント管理用端末５０からの入力情報も適宜配信サーバ２０に送信される。イベント管理用端末５０からの入力情報とは、例えばイベントの進行に関する入力情報や、演出に関する入力情報、演者アバターの表示の切り替え指示等である。
　一方、ユーザ端末１０は、ユーザからの入力情報を、配信サーバ２０に送信する（ステップＳ１１８）。ユーザからの入力情報は、例えば操作入力情報や、ユーザのリアルタイムのモーションデータ等である。かかる入力情報は、例えば仮想空間に配置されるユーザアバターの位置や姿勢等の制御に用いられる。配信サーバ２０には、イベントに参加する全ユーザのユーザ端末１０から、かかる入力情報を受信する。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。
　続いて、配信サーバ２０の仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）を生成する（ステップＳ１２１）。ユーザ視点は、仮想空間に配置される仮想カメラの位置および方向から算出され得る。また、仮想空間には多数の仮想カメラが配置され、各ユーザにそれぞれ対応付けられていてもよい。また、多数の仮想カメラは、仮想空間で行われるイベント会場の観客席エリアに配置されていてもよい。仮想カメラは、仮想空間内では描画されない。また、ユーザ視点の画像は、ユーザアバター全体を画角内に含む画像であってもよいし、ユーザアバターの目から見える画像（ユーザアバターの手等は視界に含まれ得る）であってもよい。なお、ユーザアバターを描画するための情報（ユーザアバターのキャラクター３Ｄモデルのデータ）は、予めユーザ端末１０から配信サーバ２０に送信されてもよいし、配信サーバ２０が提供するキャラクター３Ｄモデルが利用されてもよい。
　次に、配信サーバ２０の演者表示切り替え制御部２２３は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ１２４）。
　次いで、演者表示切り替え制御部２２３は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ１２７）。演者表示切り替え制御部２２３は、上記ステップＳ１２１において生成されたユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。若しくは、演者表示切り替え制御部２２３が、演者アバターの表示の設定を実写３Ｄモデルまたはキャラクター３Ｄモデルに切り替えた上で、仮想空間情報提供部２２２が、上記ステップＳ１２１によるユーザ視点の画像の生成処理を行ってもよい（つまりステップＳ１２１に示す処理を、ステップＳ１２７に示す処理の後に行ってもよい）。
　なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、上述したように、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルでの表示のままとされる。
　次に、仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）および音声データを、ユーザ端末１０に送信する（ステップＳ１３０）。
　そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ１３３）。
　以上説明したステップＳ１０３～Ｓ１３３に示す処理は、ＶＲイベントの配信が終了するまで繰り返される。
　また、図５に示す動作処理は一例であって、本開示は図５に示す例に限定されない。例えば、本開示は、図５に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図５に示す全ての処理が必ずしも実行されてなくともよい。
　また、仮想空間におけるユーザ視点の画像の生成は、ユーザ端末１０で行われてもよい。この場合、配信サーバ２０は、上記ステップＳ１３０において、仮想空間におけるユーザ視点の画像を生成するためのデータを、ユーザ端末１０に送信する。かかるデータには、例えば、仮想空間の情報（仮想空間に配置される各３Ｄオブジェクトの情報（他ユーザアバターの情報も含む））、ユーザ視点に対応する仮想カメラの位置、演者アバターの表示の切り替えに関する情報、演者のモーションデータ、演者の実写３Ｄモデル等が含まれていてもよい。また、演者アバターのキャラクター３Ｄモデルのデータは、予めユーザ端末１０にダウンロードされていてもよい。
　＜３－２．収録配信時の動作処理＞
　次に、事前に収録されたＶＲイベントを配信する際の動作処理について説明する。事前に行われるＶＲイベントの収録では、例えば図５を参照して説明した「ライブ配信時の動作処理」におけるステップＳ１０３～Ｓ１１５に示す処理がイベント開始から終了まで一通り行われ、全てのデータが、ＶＲコンテンツデータとして配信サーバ２０に保存される。ＶＲコンテンツデータには、仮想空間で行われるＶＲイベントの全ての情報が含まれる。
　例えば、ＶＲコンテンツデータには、ＶＲイベントを構成する各種３Ｄオブジェクトのデータ（演者のキャラクター３Ｄデータ、配信者側で設定するユーザアバター（一般参加者）用のキャラクター３Ｄデータ、各種アイテムのデータ等）、背景データ、その他パラメータデータ等が含まれる。
　また、ＶＲコンテンツデータには、仮想空間におけるイベント時の映像データ（例えば特定の仮想カメラ視点の視界画像）、音声データ、演者の実写３Ｄモデルのデータ、演者のモーションデータ、イベントの進行や演出に関する入力情報等が含まれる。これらはいずれもイベント開始時から終了時までの経時データである。
　配信サーバ２０は、予め収録され保存されたＶＲコンテンツデータに基づいて、ＶＲイベントの配信を行い得る。かかる収録のＶＲイベントの配信においても、配信サーバ２０は、仮想空間におけるユーザ視点での映像データをリアルタイムに生成してユーザ端末１０に配信することが可能である。また、ユーザ端末１０からの入力情報（例えば頭部の向きの変化や位置移動、視線方向の移動等の入力情報）に応じて、ユーザアバターが仮想空間内で移動したり、視線方向を変えたりすることも可能である。
　以下、図６を参照して収録配信時の動作処理の一例について説明する。図６は、本実施形態による収録されたＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
　図６に示すように、まず、配信サーバ２０は、仮想空間における収録済みＶＲコンテンツデータ（ＶＲイベントのデータ）を呼び出す（ステップＳ２０３）。
　次に、配信サーバ２０は、ＶＲイベントにおける実写３Ｄモデルのデータ（経時データ）等をユーザ端末１０に送信し（ステップＳ２０６）、ユーザ端末１０は受信したデータを保存する（ステップＳ２０９）。ＶＲイベントの配信における配信サーバ２０側での処理負荷や配信サーバ２０とユーザ端末１０の間の通信負荷（遅延）等を考慮し、ＶＲイベントのデータのうち一部のデータを予めユーザ端末１０にダウンロードしておいてもよい。
　次いで、ユーザ端末１０は、ユーザからの入力情報を、配信サーバ２０に送信する（ステップＳ２１２）。ユーザからの入力情報は、例えば操作入力情報や、ユーザのリアルタイムのモーションデータ等である。かかる入力情報は、例えば仮想空間に配置されるユーザアバターの位置や姿勢等の制御に用いられる。配信サーバ２０には、イベントに参加する全ユーザのユーザ端末１０から、かかる入力情報を受信する。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。
　次に、配信サーバ２０の仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）を生成する（ステップＳ２１５）。ユーザ視点は、仮想空間に配置される仮想カメラの位置および方向から算出され得る。また、仮想空間には多数の仮想カメラが配置され、各ユーザにそれぞれ対応付けられていてもよい。また、多数の仮想カメラは、仮想空間で行われるイベント会場の観客席エリアに配置されていてもよい。事前に収録されたＶＲイベントは、例えば仮想空間におけるイベント会場のステージ上で動く演者アバターや、演者の音声、会場の音響、演出等であり、仮想空間管理部２２１は、イベント会場の観客席エリアについては、収録したＶＲイベントの配信時における各ユーザ（視聴者）のリアルタイムの動き等を反映したユーザアバターを配置することも可能である。
　次いで、配信サーバ２０の演者表示切り替え制御部２２３は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ２１８）。
　次に、演者表示切り替え制御部２２３は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ２２１）。演者表示切り替え制御部２２３は、上記ステップＳ２１５において生成されたユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。若しくは、演者表示切り替え制御部２２３が、演者アバターの表示の設定を実写３Ｄモデルまたはキャラクター３Ｄモデルに切り替えた上で、仮想空間情報提供部２２２が、上記ステップＳ２１５によるユーザ視点の画像の生成処理を行ってもよい（つまりステップＳ２１５に示す処理を、ステップＳ２２１に示す処理の後に行ってもよい）。
　なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、上述したように、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルでの表示のままとされる。
　次に、仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）および音声データを、ユーザ端末１０に送信する（ステップＳ２２４）。仮想空間情報提供部２２２によるユーザ視点の画像（映像データ）および音声データの配信は、所謂ストリーミング配信であってもよい。
　そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ２２７）。
　なお、上記ステップＳ２０６に示すように、予め演者の実写３Ｄモデルのデータをユーザ端末１０にダウンロードさせている場合、配信サーバ２０の仮想空間情報提供部２２２は、上記ステップＳ２２４において、仮想空間におけるユーザ視点の画像および音声データと共に、実写３Ｄモデルへの切り替え指示を送信するようにしてもよい。この場合、ユーザ端末１０の仮想空間画像表示制御部１２１は、配信サーバ２０から受信した仮想空間におけるユーザ視点の画像に映る演者アバターの表示を、予め取得した実写３Ｄモデルに切り替える（合成する）処理を行って表示する。予め取得した実写３Ｄモデルのデータは経時データであるため、仮想空間画像表示制御部１２１は、例えばイベント開始からの経過時刻の情報に基づいて、時刻が同期された実写３Ｄモデルの画像を合成することが可能である。
　また、演者のキャラクター３Ｄモデルのデータとモーションデータを予め（イベント開始前に）ユーザ端末１０にダウンロードしてもよい。配信サーバ２０は、仮想空間におけるユーザ視点の画像（演者アバターの表示は含まれない）および音声データと共に、仮想空間における演者の位置（ステージ上の演者アバターの位置）を示す情報（例えば演者ＩＤおよび３次元座標情報）を送信し、ユーザ端末１０において、受信した仮想空間におけるユーザ視点の画像に、演者アバターの表示（キャラクター３Ｄモデルまたは実写３Ｄモデル）を重畳表示するようにしてもよい。
　以上、本実施形態による収録配信時の動作処理について説明した。なお図６に示す動作処理は一例であって、本開示は図６に示す例に限定されない。例えば、本開示は、図６に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図６に示す全ての処理が必ずしも実行されてなくともよい。
　例えば、実写３Ｄモデルのデータを予めユーザ端末１０にダウンロードさせることをせず、実写３Ｄモデルに切り替える制御を行う間だけ、配信サーバ２０が仮想空間におけるユーザ視点の画像および音声データと共にユーザ端末１０に実写３Ｄモデルのデータを送信してもよい。この場合、ユーザ端末１０において、ユーザ視点の画像に映る演者アバターの表示を、受信した実写３Ｄモデルに切り替える（合成する）処理を行い、表示する。
　また、上述した動作処理では配信サーバ２０において、仮想空間におけるユーザ視点の画像を生成しているが、本開示はこれに限定されない。例えば、仮想空間を構築するための情報（ＶＲイベントのデータを含む）を事前に（イベント開始前に）ユーザ端末１０がダウンロードし、ユーザ端末１０において、仮想空間におけるユーザ視点の画像を生成するようにしてもよい。また、この際、ユーザ端末１０は、ユーザの入力情報（ユーザアバターのモーションデータ等）を継続的に配信サーバ２０に送信し、配信サーバ２０からは他ユーザアバターのモーションデータ等を受信するようにしてもよい。これにより、イベント会場における各ユーザアバターのリアルタイムの動き等が、イベントの全参加者に共有される。
　＜＜４．変形例＞＞
　＜４－１．切り替え制御をユーザ端末で行う場合＞
　上述した実施形態では、図３を参照して説明したように、演者アバターの表示の切り替えを配信サーバ２０で制御する旨を述べたが、本開示はこれに限定されない。例えば、演者アバターの表示の切り替えはユーザ端末１０で行ってもよい。以下、本実施形態の変形例によるユーザ端末１０’について説明する。
　（構成例）
　図７は、本実施形態の変形例によるユーザ端末１０’の構成の一例を示すブロック図である。図７に示す構成は、図４を参照して構成に対して、仮想空間画像表示制御部１２１および演者表示切り替え制御部１２２としても機能する制御部１２０’を備える点が異なる。その他の構成は図４と同様であるため、ここでの詳細な説明は省略する。
　演者表示切り替え制御部１２２は、図３を参照して説明した演者表示切り替え制御部２２３と同様に、仮想空間における演者アバターを、キャラクター３Ｄモデルで表示するか、実写３Ｄモデルで表示するかの切り替えを制御する。切り替えは、ユーザからの指示に従って行われてもよいし、配信者側からの指示に従って行われてもよい。また、演者表示切り替え制御部１２２は、仮想空間における１以上のユーザアバターの状況や、仮想空間で行われるイベントの状況に応じて、自動的に切り替えを制御してもよい。これらのより詳細な具体例は、上述の通りである。
　（動作処理）
　続いて、本変形例の動作処理について図８を参照して説明する。図８は、本変形例によるＶＲイベントをライブ配信する際の動作処理の流れの一例を示すシーケンス図である。
　図８に示すステップＳ３０３～Ｓ３２１に示す処理は、図５に示すステップＳ１０３～Ｓ１２１に示す処理と同様である。
　続いて、配信サーバ２０は、仮想空間のユーザ視点の画像（映像データ）および音声データをユーザ端末１０に送信する（ステップＳ３２４）。この際、配信サーバ２０は、イベント会場にいる全てのユーザアバターの情報や、イベント状況に関する情報など、後述する切り替え制御で用いられる情報も送信してもよい。なお、配信サーバ２０からユーザ端末１０へのユーザ視点の画像の送信は、所謂ライブストリーミング配信であってもよい。このとき、例えば演者アバターの表示のデフォルトがキャラクター３Ｄモデルの場合、ライブストリーミング配信されるユーザ視点の画像は、演者アバターとしてキャラクター３Ｄモデルが表示される。また、配信サーバ２０は、適宜ユーザ端末１０’側で演者アバターの表示の切り替えが行えるよう、実写３Ｄモデルのデータも併せてライブストリーミング配信してもよい。
　次に、ユーザ端末１０の演者表示切り替え制御部１２２は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ３２７）。
　次いで、演者表示切り替え制御部１２２は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ３３０）。具体的には、演者表示切り替え制御部１２２は、配信サーバ２０から受信したユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。例えば配信サーバ２０からは、演者のモーションデータ（キャラクター３Ｄモデルに適用するデータ）および実写３Ｄモデルのデータがリアルタイムで配信され、ユーザ端末１０は、適宜演者アバターの表示を切り替えることが可能である。演者のキャラクター３Ｄモデルのデータは、ユーザ端末１０に予めダウンロードされる。
　なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、演者表示切り替え制御部１２２は、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルの表示としてもよい。
　そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ３３３）。
　以上、本実施形態の変形例による動作処理について説明した。なお図８に示す動作処理は一例であって、本開示は図８に示す例に限定されない。
　例えば、ステップＳ３２１に示す処理は、ユーザ端末１０の仮想空間画像表示制御部１２１で行ってもよい。具体的には、ユーザ端末１０は、予め仮想空間を構築するための情報を配信サーバ２０からダウンロードして、ローカルで仮想空間を構築し、ローカルにおいてユーザ視点の画像を生成することも可能である。配信サーバ２０からは、仮想空間で実施されるイベントの情報（演者の３次元位置情報、演者のモーションデータ、演者の実写３Ｄモデル、演出に関する情報、音声データ等）がリアルタイムで継続的に配信され、ユーザ端末１０がローカルで構築した仮想空間と同期する。また、ユーザ端末１０は、ユーザの入力情報（ユーザアバターのモーションデータ等）を継続的に配信サーバ２０に送信し、配信サーバ２０からは他ユーザアバターのモーションデータ等を受信するようにしてもよい。これによりイベント会場における各ユーザアバターのリアルタイムの動き等がイベントの全参加者に共有される。そして、演者表示切り替え制御部１２２は、ユーザの操作指示や、ユーザアバターの状況、イベントの状況等に応じて、演者アバターの表示の切り替えをローカルで判断する。仮想空間画像表示制御部１２１は、演者表示切り替え制御部１２２の判断に従って演者アバターの表示を切り替えた上で、仮想空間におけるユーザ視点の画像の生成処理を行い、表示制御する。
　＜４－２．ＡＲへの適用＞
　上記実施形態は、一例としてＶＲコンテンツにおける演者アバターの表示の切り替えについて説明したが、を想定して述べたが、本開示は、ＡＲ（Augmented　Reality）やＭＲ（Mixed　Reality）に適用することも可能である。
　例えば演者の実写映像と、当該演者に対応するキャラクター映像がサーバからユーザ端末に配信されるシステムを想定する。かかるシステムにおいて、まず、演者の実写映像またはキャラクター映像のいずれかが第１のユーザ端末（例えばテレビ装置、ＰＣ、スクリーン等）のディスプレイに表示される。次いで、ユーザが、第２のユーザ端末（例えばスマートフォンやタブレット端末、透過型のメガネ型デバイス等）を第１のユーザ端末にかざし、第１のユーザ端末のディスプレイの撮像画像をスルー表示する。そして、第２のユーザ端末のスルー表示において、第１のユーザ端末のディスプレイに映る演者の実写映像に、対応するキャラクター映像を重畳表示する。若しくは、第２のユーザ端末のスルー表示において、第１のユーザ端末のディスプレイに映るキャラクター映像に、対応する演者の実写映像を重畳表示する。このように、ユーザの好みに応じてその場でコンテンツ上のオブジェクト切り替えを行えることが可能となる。なお、演者が複数居る場合、演者の立ち位置等の位置情報に基づいて、演者の実写映像やキャラクター映像を対応付けてもよい。
　なお、スマートフォン等を対象にかざして演者の実写映像またはキャラクター映像を重畳表示する制御は、仮想空間内においても実現し得る。例えば仮想空間内においてイベントを視聴している際に、ユーザアバターが仮想スマートフォン等（３Ｄオブジェクト）をステージにかざすと、仮想スマートフォンの表示画面に実写映像またはキャラクター映像が表示されるようにしてもよい。
　＜＜５．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、ＶＲイベントの配信における配信サーバ２０側での処理負荷や配信サーバ２０とユーザ端末１０の間の通信負荷（遅延）等を考慮し、ＶＲイベントのデータのうち一部のデータを予めユーザ端末１０にダウンロードしておいてもよい。また、処理負担等を考慮して、上述した配信サーバ２０で行われる行われる各処理の少なくとも一部をユーザ端末１０で実施するようにしてもよい。本開示によるシステムを実現するために、どの装置がどのようなデータを有し、どの処理をどこで行うかについては様々なバリエーションが想定され、上述した例には限定されない。
　また、上述したユーザ端末１０、ユーザ端末１０’、または配信サーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１０、ユーザ端末１０’、または配信サーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、
　前記制御部は、
　　前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
（２）
　前記仮想空間内での１以上のユーザの状況は、前記仮想空間で実施されるイベントに参加している１以上のユーザアバターに関する状況である、前記（１）に記載の情報処理装置。
（３）
　前記仮想空間の状況は、前記仮想空間で実施されるイベントにおける特定の状況である、前記（１）または（２）に記載の情報処理装置。
（４）
　前記イベントにおける特定の状況は、特定の演出の発生、または、楽曲における特定の時間帯である、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記１以上のユーザの状況、および前記仮想空間の状況の少なくともいずれかが条件を満たした場合、前記演者に対応する表示を、前記実写画像または前記キャラクター画像に切り替える、前記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記実写画像は、前記演者の三次元情報を含む実写画像であって、
　前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動く三次元キャラクターモデルの画像である、前記（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
　前記制御部は、前記仮想空間においてリアルタイムに実施されるイベント、または、前記仮想空間において事前に収録されたイベントにおいて、前記ユーザ視点の画像に関する情報を出力する制御を行う、前記（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記制御部は、前記ユーザ視点の画像に関する情報を、ユーザ端末に出力する制御を行う、前記（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示の切り替えを、前記仮想空間で実施されるイベントに参加しているユーザ毎に、または、全てのユーザに対して一律に切り替える、前記（１）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記制御部は、仮想空間の情報を配信するサーバから受信した情報に基づいて、前記仮想空間におけるユーザ視点の画像を表示部に表示出力する制御を行う、前記（１）～（７）のいずれか１つに記載の情報処理装置。
（１１）
　前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示を、ユーザからの操作指示に基づいて前記実写画像と前記キャラクター画像とで切り替える制御を行う、前記（１０）に記載の情報処理装置。
（１２）
　プロセッサが、
　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
　さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
（１３）
　コンピュータを、
　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
　前記制御部は、
　　前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
（１４）
　仮想空間の情報を配信するサーバと、前記仮想空間におけるユーザ視点の画像を表示するユーザ端末と、を備え、
　前記サーバは、
　　前記ユーザ視点の画像に関する情報を前記ユーザ端末に送信する制御を行う制御部を有し、
　前記制御部は、
　　前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、システム。
　１０　ユーザ端末
　１２１　仮想空間画像表示制御部
　１２２　演者表示切り替え制御部
　２０　配信サーバ
　２２１　仮想空間管理部
　２２２　仮想空間情報提供部
　２２３　演者表示切り替え制御部

Claims (13)

  1. 　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、
    　前記制御部は、
    　　前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
  2. 　前記仮想空間内での１以上のユーザの状況は、前記仮想空間で実施されるイベントに参加している１以上のユーザアバターに関する状況である、請求項１に記載の情報処理装置。
  3. 　前記仮想空間の状況は、前記仮想空間で実施されるイベントにおける特定の状況である、請求項１に記載の情報処理装置。
  4. 　前記イベントにおける特定の状況は、特定の演出の発生、または、楽曲における特定の時間帯である、請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記１以上のユーザの状況、および前記仮想空間の状況の少なくともいずれかが条件を満たした場合、前記演者に対応する表示を、前記実写画像または前記キャラクター画像に切り替える、請求項１に記載の情報処理装置。
  6. 　前記実写画像は、前記演者の三次元情報を含む実写画像であって、
    　前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動く三次元キャラクターモデルの画像である、請求項１に記載の情報処理装置。
  7. 　前記制御部は、前記仮想空間においてリアルタイムに実施されるイベント、または、前記仮想空間において事前に収録されたイベントにおいて、前記ユーザ視点の画像に関する情報を出力する制御を行う、請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記ユーザ視点の画像に関する情報を、ユーザ端末に出力する制御を行う、請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示の切り替えを、前記仮想空間で実施されるイベントに参加しているユーザ毎に、または、全てのユーザに対して一律に切り替える、請求項１に記載の情報処理装置。
  10. 　前記制御部は、仮想空間の情報を配信するサーバから受信した情報に基づいて、前記仮想空間におけるユーザ視点の画像を表示部に表示出力する制御を行う、請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示を、ユーザからの操作指示に基づいて前記実写画像と前記キャラクター画像とで切り替える制御を行う、請求項１０に記載の情報処理装置。
  12. 　プロセッサが、
    　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
    　さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
  13. 　コンピュータを、
    　仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
    　前記制御部は、
    　　前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
PCT/JP2022/008144 2021-03-09 2022-02-28 情報処理装置、情報処理方法、およびプログラム WO2022190919A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/276,807 US20240114181A1 (en) 2021-03-09 2022-02-28 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-037071 2021-03-09
JP2021037071A JP2024061694A (ja) 2021-03-09 2021-03-09 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2022190919A1 true WO2022190919A1 (ja) 2022-09-15

Family

ID=83226614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008144 WO2022190919A1 (ja) 2021-03-09 2022-02-28 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20240114181A1 (ja)
JP (1) JP2024061694A (ja)
WO (1) WO2022190919A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7549062B2 (ja) 2023-02-20 2024-09-10 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163547A1 (ja) * 2018-02-26 2019-08-29 パナソニックＩｐマネジメント株式会社 双方向映像通信システム及びキオスク端末
JP2021009351A (ja) * 2020-02-12 2021-01-28 株式会社ドワンゴ コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163547A1 (ja) * 2018-02-26 2019-08-29 パナソニックＩｐマネジメント株式会社 双方向映像通信システム及びキオスク端末
JP2021009351A (ja) * 2020-02-12 2021-01-28 株式会社ドワンゴ コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7549062B2 (ja) 2023-02-20 2024-09-10 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20240114181A1 (en) 2024-04-04
JP2024061694A (ja) 2024-05-08

Similar Documents

Publication Publication Date Title
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
CN112135673A (zh) 用于电子竞技的虚拟现实观看的场地映射
WO2022190917A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP7465019B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2023169282A (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
WO2022190919A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP7521072B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
US20240054736A1 (en) Adjustable Immersion Level for Content
CN113853571A (zh) 信息处理设备以及信息处理终端
CN114945893A (zh) 信息处理设备以及信息处理终端
CN114930274A (zh) 信息处理设备、信息处理终端和程序
JP7557594B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7495558B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7521074B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7557595B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7521073B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7521039B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7521038B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
WO2024100393A1 (en) Apparatus and methods for virtual events
CN114981760A (zh) 信息处理设备、信息处理终端和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766878

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18276807

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP